JP3613550B2 - ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置 - Google Patents

ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置 Download PDF

Info

Publication number
JP3613550B2
JP3613550B2 JP2000091874A JP2000091874A JP3613550B2 JP 3613550 B2 JP3613550 B2 JP 3613550B2 JP 2000091874 A JP2000091874 A JP 2000091874A JP 2000091874 A JP2000091874 A JP 2000091874A JP 3613550 B2 JP3613550 B2 JP 3613550B2
Authority
JP
Japan
Prior art keywords
web page
acquisition
source
server
page acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000091874A
Other languages
English (en)
Other versions
JP2001282609A (ja
Inventor
乃箴 戚
祐一 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2000091874A priority Critical patent/JP3613550B2/ja
Priority to US09/821,400 priority patent/US7523173B2/en
Publication of JP2001282609A publication Critical patent/JP2001282609A/ja
Application granted granted Critical
Publication of JP3613550B2 publication Critical patent/JP3613550B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests

Description

【0001】
【発明の属する技術分野】
本発明は、インターネットに接続してウェブサーバからウェブページを取得し閲覧する作業を支援するウェブページの取得サービスに関する。
【0002】
【従来の技術】
今日広く普及しているインターネットでは、ユーザの生活パターンに応じて、アクセスの量に時間的な偏りが生じている。すなわち、多くのインターネット・ユーザは日中に仕事を持っているため、個人的な要件でインターネットを利用するユーザは夜間にアクセスする場合が多い。したがって、夜間の通信量が増大し、回線が混雑することとなる。
【0003】
通信ネットワークにおいて、通信量が増大すると、これに伴ってデータ転送に要する時間が長くなる。そのため、インターネットにおいても、夜間の回線混雑時には、ユーザが所望のサイトへのリクエストを送信してから当該サイトのウェブページソースがダウンロードされるまでの待ち時間が長くなり、作業効率が悪い。
また、一般ユーザの多くは、インターネットに接続するために、電話回線を用いたダイヤルアップ接続を行う。そのため、データ転送に長時間を要することによって回線接続の時間が長くなると、それだけ回線使用料も増加することとなり、経済的にも好ましくない。
一方、プロバイダにおいても、特定の時間帯にアクセスが集中すると、サーバの負担が増大するため、サービスが低下するおそれがある。
【0004】
回線が混雑している時間帯にインターネットにアクセスすることを回避する手段として、自動巡回プログラムがある。自動巡回プログラムは、ユーザのクライアントマシンに搭載され、予め設定された時刻に自動的にプロバイダにアクセスして、インターネットに接続する。そして、予め登録されたサイトに自動的にリクエストを送信して、所望のウェブページソースをダウンロードする。
この自動巡回プログラムを、回線が混雑していない時間帯に動作するように設定しておけば、ウェブページソースを取得するための待ち時間を減らすことができる。
【0005】
また、プロバイダのサーバには、通常、ユーザがアクセスしたサイトのウェブページソースを一時的に保持するキャッシュ機能がある。したがって、ユーザが頻繁にアクセスするサイトのウェブページに関しては、サーバのキャッシュメモリにデータが残っている間に再度リクエストがなされたならば、サーバに保持されているウェブページソースを当該ユーザのクライアントマシンに送ることができる。この場合、プロバイダと該当サイトとの間におけるリクエストの送信及びウェブページソースの返送が行われないため、その分だけユーザの待ち時間を減らすことができる。
【0006】
【発明が解決しようとする課題】
上述したように、多くのユーザがインターネットにアクセスする時間帯は、そのアクセスによる通信量の増加のために、ユーザにとっては、待ち時間が長く作業効率の低下を招くと共に、回線使用料が増大し経済的でないという問題があった。
また、プロバイダにおいても、アクセスの集中によりサーバの負担が増大するという問題があった。
【0007】
ユーザが回線混雑時のアクセスを回避するために自動巡回プログラムを用いる場合、当該ユーザに関しては、待ち時間の増加及び回線使用料の増大を抑えることができるものの、相当数のユーザがアクセスする時間帯としてそれぞれ異なる時間を選ぶのでなければ、プロバイダにおけるサーバの負担は軽減しない。
【0008】
また、上述したように、通常、プロバイダのサーバにはキャッシュ機能があるが、キャッシュメモリに蓄えられたデータは、キャッシュメモリがいっぱいになると古いものから順に機械的に削除されてしまうため、ユーザがアクセスしようとするときに、必ずしも所望のデータが残っているとは限らず、ユーザの要求に答えられるものではなかった。
【0009】
そこで本発明は、回線混雑時におけるユーザのアクセスに対して、待ち時間を短縮させると共に、プロバイダにおけるサーバの負担を軽減させることを目的とする。
【0010】
また、本発明は、プロバイダにおいて、ユーザの要求を考慮して効率的にサイトへのアクセスを支援するシステムを提供することを目的とする。
【0011】
【課題を解決するための手段】
かかる目的のもと、本発明は、通信ネットワークに接続されたウェブページ取得サーバとユーザ端末とを備え、このユーザ端末は、種々の取得条件を指定したウェブページ取得要求をウェブページ取得サーバに送信し、このウェブページ取得サーバは、ユーザ端末から受信したウェブページ取得要求の取得条件にしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持し、このウェブページソースを、ウェブページ取得要求の取得条件にしたがって、ユーザ端末に転送することを特徴としている。
【0012】
ここで、このユーザ端末は、ウェブページ取得要求の取得条件として、ウェブページソースを取得するための時間的条件を設定し、このウェブページ取得サーバは、このウェブページ取得要求にて設定された時間的条件に応じて、ウェブページソースを取得し、ユーザ端末に転送することを特徴としている。
時間的条件としては、ユーザ端末からウェブページ取得サーバに対してウェブページの転送要求を行う時刻を設定することができる。
このような構成とすることにより、ユーザは、所望のウェブページを所望の時間に確実に取得できる点で好ましい。
【0013】
さらにここで、このウェブページ取得サーバは、ウェブページ取得要求にて設定された時間的条件と通信ネットワークにおける通信量の多少とを考慮してウェブページソースを取得するためのスケジューリングを行うことを特徴としている。
このような構成とすることにより、回線混雑時を避けてウェブページの取得が行われるため、ウェブページ取得サーバにおける負荷を軽減することができる点で好ましい。
【0014】
またここで、このユーザ端末は、ウェブページ取得要求の取得条件として、ウェブページソースを取得する期限を指定し、このウェブページ取得サーバは、このウェブページ取得要求にて指定された取得期限の間にこのウェブページソースを取得することを特徴としている。
このような構成とすることにより、所望の期間内におけるウェブページソースを取得できる点で優れている。取得期限は、その開始と終了のいずれも指定することができる。
【0015】
さらにここで、ウェブページ取得サーバは、複数のユーザ端末から同一のウェブページに対するウェブページ取得要求を受信した場合に、この複数のウェブページ取得要求に対して、対応するウェブページソースを1回取得して保持し、かつこのウェブページソースを、このウェブページ取得要求を送信した各ユーザ端末に転送することを特徴としている。
このような構成とすることにより、重複したウェブページ取得要求をまとめて処理することができるため、ウェブページ取得サーバにおける負荷を軽減させることができる点で好ましい。
【0016】
また、本発明は、インターネットへの接続サービスを提供するプロバイダにおいて、ウェブページの取得条件を指定したウェブページ取得要求をユーザから受け付ける要求受付部と、このウェブページ取得要求の取得条件にしたがって、ウェブサーバからウェブページソースを取得して保持するウェブページ取得保存部と、このウェブページソースを、このウェブページ取得要求の取得条件にしたがって、このウェブページ取得要求を発信したユーザに転送する転送制御部とを備えることを特徴としている。
【0017】
ここで、この転送制御部は、ウェブページ取得要求に従ってウェブページ取得保存部により取得され保持されているウェブページソースを、書庫ファイルにまとめて転送することを特徴としている。
このような構成とすることにより、ユーザは取得したウェブページソースをローカルな単一のファイルとして扱うことができる点で好ましい。
【0018】
さらにここで、この転送制御部は、ウェブページソースの転送先であるユーザの端末装置において一度に受信できるデータファイルのサイズが限られている場合に、ウェブページ取得保存部に保持されているウェブページソースをこの端末装置が受信可能なサイズに分割した上で、各々書庫ファイルにまとめることを特徴としている。
このような構成とすれば、ユーザの端末装置が一度に受信できるデータファイルのサイズが小さい場合にも、ウェブページの取得サービスを受けることができる点で好ましい。
【0019】
またここで、この転送制御部は、ウェブページ取得保存部に保持されているウェブページソースのリンクを、個々のウェブページソースのURLに基づく絶対的なリンクから、相対的なリンクに置き換えた上で転送することを特徴としている。
このような構成とすることにより、ユーザの端末装置において、ウェブページをローカルなファイルとして扱うことができる。
【0020】
また、本発明は、通信ネットワーク上に設けられたウェブページ取得サーバによるウェブページ取得方法において、ウェブページの取得条件を指定したウェブページ取得要求をユーザから受け付けるステップと、このウェブページ取得要求の取得条件に基づいて、ウェブページソースを取得するためのスケジュールを作成するステップと、作成されたスケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持するステップと、このウェブページソースを、ウェブページ取得要求の取得条件にしたがって、ユーザに転送するステップとを含むことを特徴としている。
【0021】
ここで、このスケジュールを作成するステップは、ウェブページ取得要求にて指定されたウェブページソースを取得するための時間的条件に従い、かつ通信ネットワークにおける通信量の多少に応じて、ウェブページ取得サーバ自身の負荷が少なくなるように、このウェブページ取得要求にて要求されるウェブページソースを取得する時間を決定するステップを含むことを特徴としている。
このような構成とすれば、回線混雑時を避けてウェブページを取得することができるため、効率的にウェブページの取得作業を行うことができる点で好ましい。
【0022】
さらにここで、このスケジュールを作成するステップは、ウェブページ取得要求を受け付けるステップにおいて、複数のユーザから同一のウェブページに対するウェブページ取得要求を受け付けた場合に、各ウェブページ取得要求において指定されたウェブページを取得するための時間的条件を比較して、ウェブサーバからウェブページソースを取得する動作を行う回数ができるだけ少なくなるようにスケジュールを作成するステップを含むことを特徴としている。
このような構成とすれば、重複したウェブページ取得要求をまとめて処理することができるため、効率良くウェブページの取得作業を行うことができる点で好ましい。
【0023】
また、本発明は、インターネットに接続した情報端末装置によるウェブページの取得方法において、プロバイダに対してウェブページの取得条件を指定したウェブページ取得要求を送信するステップと、このウェブページ取得要求の取得条件に含まれる時間的条件に基づいてプロバイダに対してウェブページの転送を要求するステップと、このウェブページの転送要求に応じてプロバイダから転送された、ウェブページの取得条件に適うウェブページソースを受信するステップとを含むことを特徴としている。
【0024】
ここで、このウェブページの転送を要求するステップは、プロバイダからのウェブページを取得したことを知らせる通知を受信した場合に、このウェブページ取得要求の取得条件に含まれる時間的条件に関わらずに、プロバイダに対してウェブページの転送を要求するステップを含むことを特徴としている。
このような構成とすれば、プロバイダにおいて所望のウェブページが取得された後、任意のタイミングでこのウェブページを閲覧できる点で好ましい。
【0025】
さらにここで、ウェブページソースを受信するステップにおいて、このウェブページを書庫ファイルの形式で受信することができる。
【0026】
また、本発明は、コンピュータに実行させるプログラムをこのコンピュータの入力手段が読取可能に記憶した記憶媒体において、このプログラムは、ウェブページの取得条件を指定したウェブページ取得要求をユーザから受け付ける処理と、このウェブページ取得要求の取得条件に基づいて、ウェブページソースを取得するためのスケジュールを作成する処理と、作成されたスケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持する処理と、このウェブページソースを、このウェブページ取得要求の取得条件にしたがって、ユーザに転送する処理とをこのコンピュータに実行させることを特徴としている。
このような構成とすれば、このプログラムをインストールした全てのコンピュータにおいて、ウェブページ取得サービスを実施できる点で好ましい。
【0027】
さらにまた、本発明は、コンピュータに、ウェブページの取得条件を指定したウェブページ取得要求をユーザから受け付ける処理と、このウェブページ取得要求の取得条件に基づいて、ウェブページソースを取得するためのスケジュールを作成する処理と、作成されたスケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持する処理と、このウェブページソースを、このウェブページ取得要求の取得条件にしたがって、ユーザに転送する処理とを実行させるプログラムを記憶する記憶手段と、この記憶手段からこのプログラムを読み出してこのプログラムを送信する送信手段とを備えたことを特徴としている。
このような構成とすれば、このプログラムをダウンロードした全てのコンピュータにおいて、ウェブページ取得サービスを実施できる点で好ましい。
【0028】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。
図1は、本実施の形態によるウェブページ取得サービスの概念を説明する図であり、図2は、本実施の形態におけるウェブページ取得サービスを実現するシステムの全体構成を示す図である。
【0029】
図1を参照すると、本実施の形態によるサービスは、ユーザ120とウェブサイト130との間に介在するプロバイダ110により提供される。図2を参照すると、本実施の形態を実現するシステムは、インターネット200に接続されたウェブページ取得サーバ210と、ユーザ端末220と、ウェブサーバ230とで構成される。
図1において、プロバイダ110には図2に示すウェブページ取得サーバ210が設置される。ユーザ120はユーザ端末220を操作して、ウェブページ取得サーバ210により提供されるサービスを享受する。ウェブサイト130はウェブサーバ230上に構築され、種々のウェブページソースを提供する。
【0030】
図1を参照して本実施の形態によるサービスの概要を説明する。
ユーザ120は、プロバイダ110にアクセスし、当該プロバイダ110に対して、所望のウェブサイト130からウェブページを取得するための要求と当該ユーザ120のプロファイルとを送信する。ただし、ユーザ120のプロファイルはプロバイダ110に一度通知されていれば良く、アクセスのたびに送信する必要はない。プロバイダ110は、ユーザ120からの要求を受け付け、これに基づいてウェブサイト130からウェブページを取得して保持する。そして、ユーザ120の要求の内容に応じて、ユーザ120に対して通知を行い、ウェブページを転送する。
【0031】
図3は、プロバイダ110に設定されるウェブページ取得サーバ210の構成を説明する図である。
図3において、符号310は要求受付部であり、ユーザ端末220から送信されたウェブページ取得要求及びプロファイルを受け付けて管理する。符号320はウェブページ取得保存部であり、要求受付部310で受け付けたユーザ端末220からのウェブページ取得要求に応じてウェブサーバ230からウェブページを取得し保存する。符号330は転送制御部であり、ウェブページ取得保存部320により取得されたウェブページのユーザ端末220への転送を制御する。
【0032】
図4は、ユーザ120がユーザ端末220から送信するユーザプロファイルのフォーマットの例を示す図である。
ユーザプロファイルには、図示のように、ユーザ120に通知を行うための電子メール(E−mail: Electronic mail)アドレス、ユーザ端末220が一度に受信できるデータの最大サイズ(最大転送サイズ)、転送するデータサイズが当該最大転送サイズを超える場合に分割転送をするか否かといった情報が含まれる。また、当該ユーザ120が定期的な取得を希望するウェブページのURL(Uniform Resource Locators)、当該ウェブページの取得頻度、取得する深さといった情報を含めることもできる。
【0033】
ユーザプロファイルに含まれる情報において、分割転送を行うことを指定しておけば、転送するウェブページのデータサイズが最大転送サイズを超えている場合に、当該最大転送サイズ以内のサイズにデータファイルを分割して複数回に分けて転送を行うようにプロバイダ110に要求できる。分割転送を行わないことを指定している場合は、最大転送サイズ分のデータのみを転送することとなる。
ウェブページのURLとしては、ウェブブラウザに管理されているブックマークのデータリストを用いることもできる。
ウェブページの取得頻度とは、指定されたURLのウェブページを取得する頻度を指定する。図示の例では、www.aaa.co.jpというURLを持つウェブページは月曜日、水曜日、金曜日の週3回取得し、www.bbb.co.jp/newsというURLを持つウェブページは毎日取得すると指定されている。例えば、ニュース等を提供しているウェブサイト130では、記事の内容が毎日更新されるので、毎日ウェブページを取得し、あまり頻繁には更新されないウェブサイト130は、数日おきにウェブページを取得するように設定することができる。
取得する深さは、ウェブページのリンクをどこまで辿ってウェブページソースを取得するかを指定する。例えば、ニュースを提供するウェブサイト130では、ウェブページの第1階層に各ニュースのヘッドラインが記述され、第2階層に各記事の内容を記述する。そこで、このようなウェブサイト130でどのようなニュースがあるかだけを知るためにウェブページを取得しようとするならば、第1階層を取得する深さとして指定する。また、各記事の内容までを取得したいのであれば、第2階層までを取得する深さとして指定する。
【0034】
図5は、ユーザ120がユーザ端末220から送信するウェブページ取得要求のフォーマットの例を示す図である。
ウェブページ取得要求には、取得しようとするウェブページのURLのリスト、当該ウェブページをダウンロードする時刻、取得する深さといった情報が含まれる。また、当該ウェブページを取得する期限を指定することもできる。
【0035】
ウェブページ取得要求に含まれる情報において、ウェブページをダウンロードする時刻を指定することによって、プロバイダ110に対していつまでに当該ウェブページをダウンロードすれば良いかを知らせることができる。
ウェブページのダウンロード時刻とは別に、当該ウェブページの取得期限を指定することにより、当該ウェブページのいつの時点における情報を取得するかを指定することができる。例えば、ニュースを提供するウェブサイト130からニュースに関するウェブページをダウンロードする場合、ウェブページの取得が早過ぎるとニュースが古くなってしまう。また、取得するウェブページの内容によっては、いつまでに取得しなければならないといった要請もあり得る。そこで、ウェブページの取得期限を指定して、適切な時期にウェブページを取得するようにすることができる。
【0036】
なお、図4、図5に示したユーザプロファイル及びウェブページ取得要求に含まれる情報は例示に過ぎない。実際には、ウェブページのURLや取得する深さといった必須の情報の他、提供するサービスに応じて種々の情報を入力できるようにフォーマットを構成することができる。また、予めユーザ情報として登録しておくユーザプロファイルの情報と、必要に応じて所望の内容で送信するウェブページ取得要求の情報とを組み合わせることにより、種々のサービスを享受することができる。
【0037】
要求受付部310は、上述したユーザプロファイル及びウェブページ取得要求を受け付けてユーザ120の情報を管理する。図3を参照すると、要求受付部310は、ユーザ120から受け取ったユーザプロファイルを管理するプロファイル管理部311と、ウェブページ取得要求を管理する要求管理部312とを備える。プロファイル管理部311は、受け付けたユーザプロファイルを、ユーザ管理データベース340に格納して管理する。そして、ウェブページ取得要求と共に、後述するスケジューリング処理のためにウェブページ取得保存部320に送る。要求管理部312は、受け付けたウェブページ取得要求をスケジューリング処理のためにウェブページ取得保存部320に送る。
【0038】
ウェブページ取得保存部320は、要求受付部310から受け取ったユーザプロファイル及びウェブページ取得要求に基づいてウェブページを取得するためのスケジューリング処理を行うスケジューリング部321と、スケジューリング部321により作成されたスケジュールにしたがってウェブサーバ230からウェブページを取得するウェブページ取得部322とを備える。ウェブページ取得部322により取得されたウェブページソースはウェブページ保存データベース350に格納される。
【0039】
転送制御部330は、ユーザ120に対して所望のウェブページを取得したことを電子メールにより通知する通知部331と、ウェブページ保存データベース350に格納されているウェブページにおけるリンクの付け替えを行うリンク処理部332と、リンクの付け替えが済んだウェブページをユーザ120に転送するftp/http転送部333とを備える。
【0040】
図6は、本実施の形態におけるウェブページ取得サーバ210の動作を概略的に説明するフローチャートである。
初期条件として、ユーザプロファイルは既にプロバイダ110に送られており、ユーザ管理データベース340に格納されてプロファイル管理部311に管理されているものとする。そして、プロバイダ110によりインターネット接続サービスを受けている複数のユーザ120が、ユーザ端末220を用いてプロバイダ110にアクセスし、ユーザプロファイル及びウェブページ取得要求を送信したものとする。
【0041】
図6を参照すると、まず、要求受付部310の要求管理部312が、ウェブページ取得要求を受信し、プロファイル管理部311にて管理されているユーザプロファイルの情報を加味して要求統合処理を行う(ステップ601)。要求統合処理とは、複数のユーザ120から受け取ったウェブページ取得要求を統合して取得しようとするウェブページのリスト(以下、取得リストと称す)を作成する処理である。この際、重複している要求は一つにまとめ、重複のない取得リストを作成する。ここで、重複している要求を統合するのは、複数のユーザ120からのウェブページ取得要求に対して、当該ウェブページを1回取得することで対応することにより、ウェブページ取得サーバ210の負担を軽減するためである。
なお、ウェブページ取得要求は、複数のユーザ端末220から随時入力されるので、所定の時点でウェブページ取得要求の受付をロックして、要求統合処理を行う。
【0042】
図7は、二つのウェブページ取得要求を統合して重複のない取得リストを作成する例を説明する図である。
図7を参照すると、取得リスト703は、取得するウェブページごとに、当該ウェブページの取得を要求しているユーザ名、ダウンロード時刻、URL、取得する深さ、取得期限等の情報が登録されている。図示のフォーマットによれば、これらの情報が下記のように記述されている。
[ユーザ名]|ダウンロード時刻|URL|取得する深さ|取得期限
【0043】
図7において、ユーザID「01」を持つユーザ120(以下、このユーザ120をユーザ01と表記する)のウェブページ取得要求701では、取得するウェブページのURLとしてwww.aaa.co.jpとwww.bbb.co.jpとが指定されている。また、ユーザID「02」を持つユーザ120(以下、このユーザ120をユーザ02と表記する)のウェブページ取得要求702では、取得するウェブページのURLとしてwww.aaa.co.jpとwww.ccc.comとが指定されている。すなわち、これらのウェブページ取得要求701、702は、www.aaa.co.jpが重複している。これらを統合して取得リスト703を作成すると、図示のように、www.aaa.co.jpのレコードにおけるユーザ名のフィールドには、ユーザ01、02が記述される。ここで、www.aaa.co.jpのウェブページに関して、ユーザ01は第1階層のみの取得を要求するが、ユーザ02は第2階層までの取得を要求しているので、取得リスト703の深度のフィールドには、深い方の2階層までを取得するように記述される。また、www.aaa.co.jpに関しては、ユーザ01、02のいずれも取得期限を指定していないので、ダウンロード時刻までの適当な時間に当該ウェブページソースを取得するように設定することができる。
同様にして、www.bbb.co.jpのレコードにおける各フィールドには、ウェブページ取得要求701から取得された情報が記述され 、www.ccc.comのレコードにおける各フィールドには、ウェブページ取得要求702から取得された情報が記述される。
【0044】
さらに、要求受付部310の要求管理部312は、生成された取得リスト703から、ウェブページのURLと当該ウェブページを要求しているユーザ120との対応関係を示すテーブルを作成し、転送制御部330に渡す。
図8は、図7の取得リスト703から作成された対応テーブルの例を説明する図である。
図8を参照すると、取得リスト703において同一のレコードに記述されていたURLとユーザ名とが対応付けられている。www.aaa.co.jpについては、ユーザ01、02の両方が取得を要求しているので、URLに対応するユーザ名にユーザ01、02の両方が記述されている。
また、図において、URLの後にあるアスタリスク「*」は、当該URLのウェブページからアスタリスクの数だけリンクを辿って得られたウェブページであることを示す。すなわち、2行目のレコードのwww.aaa.co.jp/* とあるのは、www.aaa.co.jpのウェブページから1階層リンクを辿って得られたウェブページとユーザとの対応を示す。
【0045】
図6において、次に、ウェブページ取得保存部320のスケジューリング部321が、取得リスト703に基づいてウェブページを取得するためのスケジュールを作成する(ステップ602)。スケジュールは、取得リスト703に対して所定のスケジューリングルールを適用することにより作成される。スケジューリングルールとしては、システムが提供するサービス内容に応じて種々のルールを採用することができる。例えば、基本的なルールとして、
1.ダウンロード時刻の早いウェブページを優先的に取得する。
2.ネットワークにおける通信量が少ない時間帯に取得処理を行う。
といったルールを設定し、さらに、ウェブサーバ230がダウンしていた場合は一定時間後に再度取得処理を行う、というような特殊な態様に応じたルールを組み合わせることができる。
【0046】
図9は、図7に示した取得リストから上記スケジューリングルール1及び2に基づいて作成されたスケジュールの例を説明する図である。
図9を参照すると、作成されたスケジュール901は、取得するウェブページごとに、ウェブページのURL、ウェブサーバ230にアクセスする時刻、取得する深さ、取得期限などの情報が記述される。図示のフォーマットによれば、これらの情報が下記のように記述されている。
URL|アクセス時刻|取得する深さ|取得期限
【0047】
図9のスケジュール901によれば、www.aaa.co.jpのウェブページソースを10時に、www.ccc.comのウェブページソースを11時に、www.bbb.co.jpのウェブページソースを14時にそれぞれ取得するようにスケジューリングされている。なお、www.ccc.com 及びwww.bbb.co.jpに関しては、それぞれ取得すべき期限が指定されており、www.ccc.comは3月7日までに、www.bbb.co.jpは3月5日以後で3月7日までに取得する。ここで、取得リスト703において、www.bbb.co.jpのダウンロード時刻がwww.ccc.comのダウンロード時刻よりも早いにも関わらず、www.ccc.comのウェブページソースを先に取得するようにスケジューリングされているのは、www.ccc.comが米国のウェブサイト130に存在するために、米国のネットワーク回線が空いている時間帯に合わせて当該ウェブページソースを取得するためである。
【0048】
図6において、次に、ウェブページ取得保存部320のウェブページ取得部322が、スケジューリング部321により作成されたスケジュール901にしたがって、ウェブサーバ230から目的のウェブページを取得する(ステップ603)。この際、2階層以上のウェブページを取得する場合は、リンクを1階層辿るごとに当該リンク先のウェブページのURLを新たに取得することとなる。そこで、新たに得られた当該URLを加えて再帰的にスケジュール901の作成を行うことが必要である。すなわち、スケジュール901はウェブページの取得に伴ってダイナミックに更新される。
【0049】
図10は、ウェブページを取得しながら再帰的にスケジュール901を作成する処理を説明するフローチャートである。
図10を参照すると、まず、スケジューリング部321が、要求受付部310にて作成された取得リスト703に基づいてウェブページを取得するためのスケジュール901を作成する(ステップ1001)。そして、ウェブページ取得部322が、スケジュール901中に未処理のURLがあるかどうかを調べ、あるならば、当該URLのウェブページをスケジュール901にしたがって取得する(ステップ1002、1003)。
次に、スケジュール901の当該ウェブページにおける取得する深さを参照して、取得したウェブページ中のリンク先のソースを取得する必要があるかどうかを調べる(ステップ1004)。取得する必要がなければステップ1002に戻り、取得する必要があれば、当該リンク先のURLを取得リスト703に追加し(ステップ1005)、改めてスケジューリングを行ってステップ1002に戻る(ステップ1006)。
ステップ1002において、スケジュール901中のURLを全て取得したならば、処理を終了する。
【0050】
以上のようにして取得されたウェブページは、ウェブページ保存データベース350に順次格納される。ウェブページ保存データベース350は、仮想的な木構造を構築して取得したウェブページを保存する。この仮想的な木構造により、ウェブサーバ230のディレクトリ構造を再現する。
図11は、ウェブページ保存データベース350の仮想的な木構造を説明する図である。同図において、ルートノード1101にドメイン名が記述され、子ノード1102〜1108にそれぞれウェブサーバ230におけるディレクトリの名前が記述される。また、各ウェブページのHTMLファイルや画像ファイルは、ウェブサーバ230におけるファイル構造と同じ構造となり、対応するディレクトリの下に保存される。
図11の例では、ルートノード1101のwww.aaa.co.jpの下に二つのディレクトリ(ノード1102、1103)と一つのファイル(index.html)とがある。URL形式で表すと、www.aaa.co.jp/services/、www.aaa.co.jp/software/及びwww.aaa.co.jp/index.htmlである。また、ノード1102のディレクトリservicesの下に、さらに二つのディレクトリ(ノード1104、1105)と一つのファイル(index.html)とがある。URL形式で表すと、www.aaa.co.jp/services/e−business/、www.aaa.co.jp/services/it−consl/及びwww.aaa.co.jp/services/index.htmlである。
【0051】
なお、ファイルシステムの規則によって、URLに用いられるwww.aaa.co.jpのようなドメイン名はファイル名として許されないため、各ドメイン名にはユニークなIDを付ける。ユーザ120に対してウェブページソースを転送する際には、当該IDを使用することができる。また、ドメイン名に付加されたIDと対応するドメイン名の組を対応テーブルに登録する。さらに、各ウェブページにある画像ファイル名は、重複する可能性が高いため、同様にユニークなIDを付して、画像フォーマットをディレクトリ名としたディレクトリの下に置く。このIDと画像ファイルの名前の組みも対応テーブルに登録する。
図12に、図11の木構造に対して作成された対応テーブルの例を示す。
【0052】
図6において、所定のウェブページ取得要求に対応するウェブページが取得されると、次に、転送制御部330の通知部331が、当該ウェブページ取得要求を送信したユーザ120に対し、ウェブページを取得したことを示す通知を電子メールにて行う(ステップ604)。
ユーザ120は、ダウンロード時刻、または電子メールによるウェブページ取得の通知を確認した際に、プロバイダ110にアクセスしてウェブページソースのダウンロードを要求する。
【0053】
プロバイダ110のウェブページ取得サーバ210においてユーザ120からのダウンロード要求を受け取ると、要求受付部310のプロファイル管理部311が、当該ユーザ120のプロファイルをユーザ管理データベース340から読み出して、当該ダウンロード要求と共に転送制御部330に渡す。
転送制御部330における動作は、ユーザプロファイルにおいて分割転送を行うように指定してある場合と指定していない場合とで異なる。以下、簡単のため、分割転送を行う指定がない場合について説明し、次に分割転送を行う指定がある場合について説明する。
【0054】
図6において、転送制御部330のリンク処理部332が、ウェブページ保存データベース350から該当するウェブページソースを読み出し、リンク処理を行う(ステップ605)。リンク処理とは、ウェブページのリンクをURLに基づく絶対的(dynamic)なリンクから、ウェブページ保存データベース350における当該木構造中の相対的(local)なリンクに付け替える処理である。当該ウェブページソースがユーザ端末220に送られた後、ユーザ120がウェブページのリンクを辿ろうとした際に、リンクが絶対的なリンクのままであると、インターネット200を介してウェブサイト130にアクセスしてしまうので、ローカルな動作を維持するために上記のリンク処理を行う。
【0055】
なお、リンク処理部332は、要求受付部310の要求管理部312にて作成された、ウェブページのURLと当該ウェブページを要求しているユーザ120との対応関係を示すテーブル(図8参照)を参照し、リンク処理の対象となったウェブページソースを要求しているユーザ120が他にいないか調べる。そして、当該ウェブページソースを要求しているユーザ120が他にいないならば、ウェブページ保存データベース350から当該ウェブページソースを消去し、対応テーブルから当該ウェブページソースに関するレコードを削除する。
図13は、図8に示した対応テーブル801に対して、ユーザ01の要求するウェブページソースが全てダウンロードされた対応テーブル801の状態を示す図である。図13を参照すると、www.aaa.co.jpは、ユーザ01によってダウンロードされたものの、ユーザ02にも要求されているので、レコードは削除されていない。したがって、当該ウェブページソースもウェブページ保存データベース350に残されている。そして、当該レコードのユーザIDが「02」のみに変更されている。また、ユーザ01のみが要求していたwww.bbb.co.jp/news及びwww.bbb.co.jp/news/* のウェブページソースについては、ユーザ01のダウンロードが済んだので、当該レコードが対応テーブル801から削除される。これに伴って、当該ウェブページソース自体もウェブページ保存データベース350から消去される。
【0056】
なお、ダウンロード時刻が過ぎても、ユーザ120からダウンロード要求がなされない場合、当該ウェブページソースの処分については種々の方法が考えられる。例えば、ユーザ120からのダウンロード要求があるまで保持し続けても良いし、一定期間経過後に消去しても良い。さらに、ダウンロード時刻が過ぎた時点で直ちに消去するような設定とすることもできる。これらの処分の方法については、ユーザプロファイルにて指定することができる。
【0057】
図14は、www.aaa.co.jpのウェブページの第2階層までをダウンロードを要求した場合におけるリンク処理の様子を示す図である。
図14において、www.aaa.co.jp/index.htmlのウェブページ及び当該ウェブページ中に記述された二つのリンク先であるwww.aaa.co.jp/services/index.html及びwww.aaa.co.jp/software/index.htmlのウェブページがダウンロードされる。そこで、リンク処理部は、図12に示した対応テーブルを参照し、www.aaa.co.jp/index.htmlの中の絶対リンクを相対リンクに直す。図示の例では、”http://www.aaa.co.jp/services/”の記述が”site12/services/index.html”に変更されている。
これに対し、www.aaa.co.jp/services/index.html及びwww.aaa.co.jp/software/index.htmlのウェブページにあるリンク先、すなわち、www.aaa.co.jp/services/及びwww.aaa.co.jp/software/のディレクトリ(図11のノード1102及びノード1103)以下のウェブページはダウンロードされないため、絶対リンクは変更されない。図示の例では、”http://www.aaa.co.jp/services/e−business/”及び”http://www.aaa.co.jp/services/it−consl/”の記述がそのまま残されている。
【0058】
以上のリンク処理により、www.aaa.co.jpのウェブページの第2階層までをダウンロードしたユーザ端末220において、www.aaa.co.jp に相当するsite12のウェブページをブラウザにて表示し、リンク先を呼び出すと、当該ウェブページと共にダウンロードされたウェブページが表示される。すなわち、ローカルな動作となる。そしてさらに、第2階層より先のリンク先を呼び出そうとする場合に、初めてインターネット200に接続し該当するウェブサイト130にアクセスすることとなる。
【0059】
図6において、上記リンク処理が行われた後、転送制御部330のftp/http転送部333が、リンク処理の施されたウェブページソースをアーカイブして(書庫ファイルに変換して)ユーザ120へ転送する(ステップ606)。
図15は、ユーザ120へ転送されるウェブページソースの木構造を示す図である。
図15には、ユーザID「01」を持つユーザ120が、www.aaa.co.jpに相当するsite12を含むいくつかのウェブページソースをダウンロードする場合の木構造である。site12のウェブページソースに関しては、第3階層までダウンロードする。図示のように、ドメイン名をユニークなIDに置き換えた他は、ウェブページ保存データベース350に保存した時に使うディレクトリ構造をそのまま使用している。ユーザ120に転送されるウェブページソースは、図示の木構造におけるディレクトリの下にある全てのファイルである。
【0060】
ユーザプロファイルにおいて、分割転送を行うことを指定されている場合は、ユーザ120からウェブページソースのダウンロード要求を受け取った後の動作において、分割転送の要否を確認し、必要ならば分割転送を行う。
図16は、分割転送の指定がなされている場合の転送制御部330の動作を説明するフローチャートである。
図16を参照すると、転送制御部330は、要求受付部310からユーザ120のダウンロード要求と当該ユーザ120のプロファイルとを受け取ると(ステップ1601)、まず、転送するウェブページソースのデータサイズが最大転送サイズを越えているかどうかを判断する(ステップ1602)。ウェブページソースのデータサイズが最大転送サイズを超えていなければ、図6に示した動作と同様に、リンク処理部332が当該ウェブページソースのリンクを付け替え、ftp/http転送部333が当該ウェブページソースをユーザ120に転送する(ステップ1603、1604)。
【0061】
一方、ウェブページソースのデータサイズが最大転送サイズを超えているならば、まず、ウェブページソースを当該ユーザ端末220の最大転送サイズごとに分割する。この際、リンクが途切れないようにするため、できるだけ深さ方向の接続を維持するように分割する。そして、分割した各データファイルのリスト(分割ファイルリスト)を作成する(ステップ1605)。
この分割処理の対象は、図15に示したようなウェブページソースの木構造であるため、分割された各データファイルは、元の木構造の部分木となっている。
【0062】
次に、分割ファイルリスト中に未処理のデータファイルがあるかどうかを調べ(ステップ1606)、あるならば、当該データファイルの一つに対してリンク処理部332がリンク処理を行い(ステップ1607)、当該データファイルをアーカイブしてユーザ120へ転送する(ステップ1608)。
分割ファイルリスト中の未処理のデータファイルに対して順次ステップ1607、1608の処理を行い、分割された全てのデータファイルを転送し終えたならば、処理を終了する(ステップ1606)。
【0063】
分割して転送されたファイルは、複数のデータファイルのままであっても良いし、ユーザ端末220に受信された後に単一のファイルにまとめられるようにしても良い。単一のファイルにまとめることとすれば、ユーザ端末220においてローカルなファイルとして扱う場合にも、リンクが途切れてしまうことがない。
【0064】
以上のようにして、ユーザ120は、所望のウェブページを集めたデータファイルをまとめてプロバイダ110からダウンロードできるため、当該ウェブページを閲覧するために各ウェブサイト130にアクセス要求を送信する必要がない。また、この時点では、ウェブページソースのダウンロードにおいても、ユーザ端末220とウェブページ取得サーバ210との間でのみデータ転送が行われ、ウェブサーバ230とウェブページ取得サーバ210との間のデータ転送は発生しない。したがって、ユーザ120において、ウェブページを閲覧するための待ち時間が大幅に短縮されることとなる。
【0065】
また、プロバイダ110においては、予めユーザ120のウェブページ取得要求を受け付けておき、ネットワーク回線の通信量が少ない時間帯にウェブページを取得するためのウェブサーバ230への接続を行い、かつ複数のユーザ120による共通のウェブページ取得要求に関しては、それらをまとめて1回のアクセスで対応することができる。したがって、プロバイダ110におけるサーバの負担が大幅に軽減されることとなる。
【0066】
【発明の効果】
以上説明したように、本発明によれば、回線混雑時におけるユーザのアクセスに対して、待ち時間を短縮させると共に、プロバイダにおけるサーバの負担を軽減させるサービスを提供することができる。
【0067】
また、本発明によればプロバイダにおいて、ユーザの要求を考慮して効率的にサイトへのアクセスを支援するシステムを提供することができる。
【図面の簡単な説明】
【図1】本実施の形態によるウェブページ取得サービスの概念を説明する図である。
【図2】本実施の形態におけるウェブページ取得サービスを実現するシステムの全体構成を示す図である。
【図3】プロバイダに設定されるウェブページ取得サーバの構成を説明する図である。
【図4】ユーザがユーザ端末から送信するユーザプロファイルのフォーマットの例を示す図である。
【図5】ユーザがユーザ端末から送信するウェブページ取得要求のフォーマットの例を示す図である。
【図6】本実施の形態におけるウェブページ取得サーバの動作を概略的に説明するフローチャートである。
【図7】二つのウェブページ取得要求を統合して重複のない取得リストを作成する例を説明する図である。
【図8】図7の取得リストから作成された対応テーブルの例を説明する図である。
【図9】図7に示した取得リストから作成されたスケジュールの例を説明する図である。
【図10】ウェブページを取得しながら再帰的にスケジュール901を作成する処理を説明するフローチャートである。
【図11】ウェブページ保存データベースの仮想的な木構造を説明する図である。
【図12】図11の木構造に対して作成された対応テーブルの例を示す図である。
【図13】図8の対応テーブルにおいて、ユーザ01の要求するウェブページソースが全てダウンロードされた状態を示す図である。
【図14】www.aaa.co.jpのウェブページの第2階層までをダウンロードを要求した場合におけるリンク処理の様子を示す図である。
【図15】ユーザへ転送されるウェブページソースの木構造を示す図である。
【図16】分割転送の指定がなされている場合の転送制御部の動作を説明するフローチャートである。
【符号の説明】
110…プロバイダ、120…ユーザ、130…ウェブサイト、200…インターネット、210…ウェブページ取得サーバ、220…ユーザ端末、230…ウェブサーバ、310…要求受付部、311…プロファイル管理部、312…要求管理部、320…ウェブページ取得保存部、321…スケジューリング部、322…ウェブページ取得部、330…転送制御部、331…通知部、332…リンク処理部、333…ftp/http転送部、340…ユーザ管理データベース、350…ウェブページ保存データベース

Claims (13)

  1. 通信ネットワークに接続されたウェブページ取得サーバと複数のユーザ端末とを備え、
    前記複数のユーザ端末は、
    ウェブページソースを取得するための時間的条件を指定したウェブページ取得要求を前記ウェブページ取得サーバに送信し、
    前記ウェブページ取得サーバは、
    前記複数のユーザ端末から同一のウェブページソースに対する前記ウェブページ取得要求を受信した場合に、各ウェブページ取得要求において指定された前記時間的条件を比較して、ウェブページソースを取得する動作を行う回数が少なくなるようにスケジュールを作成し、当該スケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持し、
    前記ウェブページソースを前記複数のユーザ端末に転送することを特徴とするウェブページ取得サービスシステム。
  2. 前記ウェブページ取得サーバは、前記ウェブページ取得要求にて指定された前記時間的条件と前記通信ネットワークにおける通信量の多少とを考慮して前記スケジュールを作成することを特徴とする請求項1に記載のウェブページ取得サービスシステム。
  3. 前記複数のユーザ端末は、
    前記ウェブページソースを取得するための取得条件を指定した前記ウェブページ取得要求を前記ウェブページ取得サーバに送信し、
    前記ウェブページ取得サーバは、
    前記複数のユーザ端末から受信した前記ウェブページ取得要求の取得条件にしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得することを特徴とする請求項1に記載のウェブページ取得サービスシステム。
  4. 前記複数のユーザ端末は、
    前記ウェブページ取得要求の取得条件として、前記ウェブページソースを取得する期限を指定し、
    前記ウェブページ取得サーバは、
    前記ウェブページ取得要求にて指定された前記取得期限の間に前記ウェブページソースを取得することを特徴とする請求項3に記載のウェブページ取得サービスシステム。
  5. 前記複数のユーザ端末は、
    前記ウェブページ取得要求の取得条件として、ウェブページの階層を指定し、
    前記ウェブページ取得サーバは、
    前記ウェブページ取得要求にて指定された前記ウェブページの階層における前記ウェブページソースを取得することを特徴とする請求項3に記載のウェブページ取得サービスシステム。
  6. インターネットへの接続サービスを提供するプロバイダにおけるサーバであって
    ウェブページソースを取得するための時間的条件を指定したウェブページ取得要求を複数のユーザから受け付ける要求受付部と、
    前記要求受付部にて前記複数のユーザからの同一のウェブページソースに対する前記ウェブページ取得要求を受け付けた場合に、各ウェブページ取得要求において指定された前記時間的条件を比較して、ウェブページソースを取得する動作を行う回数が少なくなるようにスケジュールを作成し、当該スケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持するウェブページ取得保存部と、
    前記ウェブページ取得保存部にて取得した前記ウェブページソースを前記複数のユーザに転送する転送制御部とを備えることを特徴とするサーバ
  7. 前記転送制御部は、前記ウェブページ取得要求に従って前記ウェブページ取得保存部により取得され保持されている前記ウェブページソースを、書庫ファイルにまとめて転送することを特徴とする請求項6に記載のサーバ
  8. 前記転送制御部は、前記ウェブページソースの転送先であるユーザの端末装置において一度に受信できるデータファイルのサイズが限られている場合に、前記ウェブページ取得保存部に保持されている前記ウェブページソースを当該端末装置が受信可能なサイズに分割した上で、各々書庫ファイルにまとめることを特徴とする請求項7に記載のサーバ
  9. 前記転送制御部は、前記ウェブページ取得保存部に保持されている前記ウェブページソースのリンクを、個々のウェブページソースのURLに基づく絶対的なリンクから、相対的なリンクに置き換えた上で転送することを特徴とする請求項6に記載のサーバ
  10. 通信ネットワーク上に設けられたウェブページ取得サーバによるウェブページ取得方法において、
    ウェブページソースを取得するための時間的条件を指定したウェブページ取得要求を複数のユーザから受け付けるステップと、
    前記複数のユーザから同一のウェブページソースに対する前記ウェブページ取得要求を受け付けた場合に、各ウェブページ取得要求において指定された前記時間的条件を比較して、ウェブページソースを取得する動作を行う回数が少なくなるようにスケジュールを作成するステップと、
    作成されたスケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持するステップと、
    前記ウェブページソースを前記複数のユーザに転送するステップとを含むことを特徴とするウェブページ取得方法。
  11. 前記スケジュールを作成するステップは、
    前記ウェブページ取得要求にて指定された前記時間的条件に従い、かつ通信ネットワークにおける通信量の多少に応じて、ウェブページ取得サーバ自身の負荷が少なくなるように、当該ウェブページ取得要求にて要求されるウェブページソースを取得する時間を決定するステップを含むことを特徴とする請求項10に記載のウェブページ取得方法。
  12. コンピュータに実行させるプログラムを当該コンピュータの入力手段が読取可能に記憶した記憶媒体において、
    前記プログラムは、
    ウェブページソースを取得するための時間的条件を指定したウェブページ取得要求を複数のユーザから受け付ける処理と、
    前記複数のユーザから同一のウェブページソースに対する前記ウェブページ取得要求を受け付けた場合に、各ウェブページ取得要求において指定された前記時間的条件を比較して、ウェブページソースを取得する動作を行う回数が少なくなるようにスケジュールを作成する処理と、
    作成されたスケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持する処理と、
    前記ウェブページソースを前記複数のユーザに転送する処理とを前記コンピュータに実行させることを特徴とする記憶媒体。
  13. コンピュータに、ウェブページソースを取得するための時間的条件を指定したウェブページ取得要求を複数のユーザから受け付ける処理と、前記複数のユーザから同一のウェブページソースに対する前記ウェブページ取得要求を受け付けた場合に、各ウェブページ取得要求において指定された前記時間的条件を比較して、ウェブページソースを取得する動作を行う回数が少なくなるようにスケジュールを作成する処理と、作成されたスケジュールにしたがって、通信ネットワーク上のウェブサーバからウェブページソースを取得して保持する処理と、前記ウェブページソースを前記複数のユーザに転送する処理とを実行させるプログラムを記憶する記憶手段と、
    前記記憶手段から前記プログラムを読み出して当該プログラムを送信する送信手段とを備えたことを特徴とするプログラム伝送装置。
JP2000091874A 2000-03-29 2000-03-29 ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置 Expired - Fee Related JP3613550B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000091874A JP3613550B2 (ja) 2000-03-29 2000-03-29 ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置
US09/821,400 US7523173B2 (en) 2000-03-29 2001-03-29 System and method for web page acquisition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000091874A JP3613550B2 (ja) 2000-03-29 2000-03-29 ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置

Publications (2)

Publication Number Publication Date
JP2001282609A JP2001282609A (ja) 2001-10-12
JP3613550B2 true JP3613550B2 (ja) 2005-01-26

Family

ID=18607288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000091874A Expired - Fee Related JP3613550B2 (ja) 2000-03-29 2000-03-29 ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置

Country Status (2)

Country Link
US (1) US7523173B2 (ja)
JP (1) JP3613550B2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7245634B2 (en) * 2000-09-27 2007-07-17 Yen Robert C Wireless internet access with enhanced bandwidth capabilities
US9538386B2 (en) 1999-11-24 2017-01-03 Robert C. Yen Wireless internet access with enhanced bandwidth capabilities
US8516146B1 (en) 1999-11-24 2013-08-20 Robert C. Yen Method and system for reduction of delay and bandwidth requirements in internet data transfer
JP3613550B2 (ja) * 2000-03-29 2005-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置
US7096220B1 (en) * 2000-05-24 2006-08-22 Reachforce, Inc. Web-based customer prospects harvester system
US7003517B1 (en) 2000-05-24 2006-02-21 Inetprofit, Inc. Web-based system and method for archiving and searching participant-based internet text sources for customer lead data
US7120629B1 (en) 2000-05-24 2006-10-10 Reachforce, Inc. Prospects harvester system for providing contact data about customers of product or service offered by business enterprise extracting text documents selected from newsgroups, discussion forums, mailing lists, querying such data to provide customers who confirm to business profile data
US7082427B1 (en) 2000-05-24 2006-07-25 Reachforce, Inc. Text indexing system to index, query the archive database document by keyword data representing the content of the documents and by contact data associated with the participant who generated the document
US20050055426A1 (en) * 2000-06-12 2005-03-10 Kim Smith System, method and computer program product that pre-caches content to provide timely information to a user
US7330850B1 (en) 2000-10-04 2008-02-12 Reachforce, Inc. Text mining system for web-based business intelligence applied to web site server logs
US7043531B1 (en) 2000-10-04 2006-05-09 Inetprofit, Inc. Web-based customer lead generator system with pre-emptive profiling
US7594001B1 (en) * 2001-07-06 2009-09-22 Microsoft Corporation Partial page output caching
AU2002217538A1 (en) * 2001-12-27 2003-07-30 Yozan Inc. Digital content providing system
GB2385741B (en) * 2002-02-25 2004-02-04 3Com Corp Method and apparatus for managing data traffic associated with a user on a network
JP4205357B2 (ja) 2002-03-29 2009-01-07 ブラザー工業株式会社 サービス提供システム、機器及びサービス提供方法
US7613795B2 (en) * 2002-05-09 2009-11-03 Qwest Communications International, Inc. Systems and methods for archiving network planning processes
US7519709B2 (en) * 2002-05-09 2009-04-14 Qwest Communications International Inc. Systems and methods for creating network architecture planning tools
US8335839B2 (en) * 2002-05-09 2012-12-18 Qwest Communications International Inc. Systems and methods for using network architecture planning tools
US20070288556A1 (en) * 2002-05-17 2007-12-13 Anton Richard N System and Method for Encoding and Decoding Data Files
JP4101023B2 (ja) * 2002-11-05 2008-06-11 シャープ株式会社 ネットワークスキャナ
US9003295B2 (en) * 2003-03-17 2015-04-07 Leo Martin Baschy User interface driven access control system and method
EP1460571A1 (en) * 2003-03-18 2004-09-22 Hewlett-Packard Development Company, L.P. Methods relating to agenda planning
US8020086B2 (en) * 2003-11-12 2011-09-13 Canon Kabushiki Kaisha Information processing method, information processing machine, and storage medium for processing document data that includes link information
US9026578B2 (en) 2004-05-14 2015-05-05 Microsoft Corporation Systems and methods for persisting data between web pages
EP1779216A1 (en) * 2004-08-20 2007-05-02 Rhoderick John Kennedy Pugh Server authentication
US9176934B2 (en) 2005-05-06 2015-11-03 Leo Baschy User interface for nonuniform access control system and methods
US9129088B1 (en) 2005-06-04 2015-09-08 Leo Martin Baschy User interface driven access control system and methods for multiple users as one audience
JP2007122450A (ja) * 2005-10-28 2007-05-17 Nippon Telegr & Teleph Corp <Ntt> 自動情報取得装置および自動情報取得方法
US8799302B2 (en) * 2005-12-29 2014-08-05 Google Inc. Recommended alerts
US7904759B2 (en) * 2006-01-11 2011-03-08 Amazon Technologies, Inc. System and method for service availability management
US9037698B1 (en) 2006-03-14 2015-05-19 Amazon Technologies, Inc. Method and system for collecting and analyzing time-series data
US9202068B2 (en) * 2006-03-29 2015-12-01 Leo M. Baschy User interface for variable access control system
JP2007295422A (ja) * 2006-04-27 2007-11-08 Hitachi Ltd メッセージ交換システム及び通信経路切り替え方法
JP2008250475A (ja) * 2007-03-29 2008-10-16 Brother Ind Ltd 情報処理装置、ネットワークシステム、およびプログラム
CN101593146B (zh) * 2008-05-30 2013-01-23 国际商业机器公司 页面自动化测试方法和装置
WO2010050288A1 (ja) * 2008-10-30 2010-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーション サーバシステム、サーバ装置、プログラム、および方法
JP5017299B2 (ja) * 2009-03-13 2012-09-05 ヤフー株式会社 ウェブページ閲覧支援装置、その方法、および、そのプログラム
WO2010118019A1 (en) * 2009-04-06 2010-10-14 Nokia Corporation Methods and systems for using multipart messaging with preset constraints
JP5437335B2 (ja) * 2011-09-09 2014-03-12 ヤフー株式会社 集約装置、集約方法及び集約プログラム
CN103309891B (zh) * 2012-03-15 2017-03-01 阿里巴巴集团控股有限公司 一种信息展示方法和设备
EP3396983A1 (en) 2012-04-10 2018-10-31 Alcatel Lucent Optimizing backhaul and wireless link capacity in mobile telecommunication systems
US9647980B2 (en) * 2012-06-07 2017-05-09 At&T Intellectual Property I, L.P. Apparatus and methods for a scalable communications network
CN103064925B (zh) * 2012-12-21 2016-04-13 广东欧珀移动通信有限公司 定时处理网页的方法装置
US10778680B2 (en) * 2013-08-02 2020-09-15 Alibaba Group Holding Limited Method and apparatus for accessing website
US9729410B2 (en) * 2013-10-24 2017-08-08 Jeffrey T Eschbach Method and system for capturing web content from a web server
CN104156401A (zh) * 2014-07-22 2014-11-19 小米科技有限责任公司 网页加载方法、装置及设备
JP6389142B2 (ja) * 2015-04-23 2018-09-12 日本電信電話株式会社 呼接続システム及び加入者情報送信方法
CN105530292A (zh) * 2015-12-01 2016-04-27 小米科技有限责任公司 页面图像显示方法及装置
US10489390B2 (en) * 2017-09-29 2019-11-26 Salesforce.Com, Inc. Content management in an on-demand environment
CN109284464B (zh) * 2018-08-29 2021-07-23 网宿科技股份有限公司 页面加载方法及终端、页面响应方法及服务器
CN110442770B (zh) * 2019-08-08 2023-06-20 深圳市今天国际物流技术股份有限公司 一种数据抓取及保存方法、装置、计算机设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04186453A (ja) * 1990-11-21 1992-07-03 Nec Corp ファイル転送方式
US5727164A (en) * 1991-12-13 1998-03-10 Max Software, Inc. Apparatus for and method of managing the availability of items
JP4309480B2 (ja) * 1995-03-07 2009-08-05 株式会社東芝 情報処理装置
JP3547840B2 (ja) * 1995-03-16 2004-07-28 株式会社東芝 マルチメディアサーバ
US5768528A (en) * 1996-05-24 1998-06-16 V-Cast, Inc. Client-server system for delivery of online information
US5896506A (en) * 1996-05-31 1999-04-20 International Business Machines Corporation Distributed storage management system having a cache server and method therefor
US5961602A (en) * 1997-02-10 1999-10-05 International Business Machines Corporation Method for optimizing off-peak caching of web data
US6182122B1 (en) * 1997-03-26 2001-01-30 International Business Machines Corporation Precaching data at an intermediate server based on historical data requests by users of the intermediate server
US5978807A (en) * 1997-09-30 1999-11-02 Sony Corporation Apparatus for and method of automatically downloading and storing internet web pages
US6594682B2 (en) * 1997-10-28 2003-07-15 Microsoft Corporation Client-side system for scheduling delivery of web content and locally managing the web content
US6282709B1 (en) * 1997-11-12 2001-08-28 Philips Electronics North America Corporation Software update manager
US6134584A (en) * 1997-11-21 2000-10-17 International Business Machines Corporation Method for accessing and retrieving information from a source maintained by a network server
US6769019B2 (en) * 1997-12-10 2004-07-27 Xavier Ferguson Method of background downloading of information from a computer network
US6745237B1 (en) * 1998-01-15 2004-06-01 Mci Communications Corporation Method and apparatus for managing delivery of multimedia content in a communications system
US6154769A (en) * 1998-03-27 2000-11-28 Hewlett-Packard Company Scheduling server requests to decrease response time and increase server throughput
DE69915661T2 (de) * 1998-10-16 2005-03-24 Iconics, Inc., Foxborough Prozesssteuerung
JP2000293424A (ja) * 1999-04-09 2000-10-20 Hitachi Ltd ネットワークキャッシュ装置およびキャッシュ制御方法
US6377974B1 (en) * 2000-01-19 2002-04-23 Speedbit Ltd. Methods and apparatus for downloading a file from a server
US6993559B2 (en) * 2000-02-14 2006-01-31 Bigbow.Com, Inc. System, method, apparatus and computer program product for operating a web site by electronic mail
JP3613550B2 (ja) * 2000-03-29 2005-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置
US6742033B1 (en) * 2000-06-12 2004-05-25 Gateway, Inc. System, method and computer program product that pre-caches content to provide timely information to a user
US6959327B1 (en) * 2000-08-29 2005-10-25 International Business Machines Corporation System and method for dispatching and scheduling network transmissions with feedback
US6785675B1 (en) * 2000-11-13 2004-08-31 Convey Development, Inc. Aggregation of resource requests from multiple individual requestors

Also Published As

Publication number Publication date
US20010052003A1 (en) 2001-12-13
JP2001282609A (ja) 2001-10-12
US7523173B2 (en) 2009-04-21

Similar Documents

Publication Publication Date Title
JP3613550B2 (ja) ウェブページ取得サービスシステム、サーバ、ウェブページ取得方法、記憶媒体及びプログラム伝送装置
US6182111B1 (en) Method and system for managing distributed data
JP3968119B2 (ja) キャッシュ間情報転送方法
AU772598B2 (en) Selecting a cache
KR100307374B1 (ko) 지연을감소시키고사용자제어를향상시키기위한인터넷데이터전송의여과된사용
CA2369108C (en) Handling a request for information provided by a network site
US6816944B2 (en) Apparatus and methods for providing coordinated and personalized application and data management for resource-limited mobile devices
US7451236B2 (en) Document distribution and storage system
JP3762828B2 (ja) データを複数のユーザに効率的に分配する方法、装置およびプログラムを記憶した記憶媒体
EP0837407B1 (en) Server to cache protocol for improved web performance
US20010054084A1 (en) Method and system for communication in the usenet
WO2001057673A1 (en) Coordinated and personalized application and data management
US6868453B1 (en) Internet home page data acquisition method
JP2002229842A (ja) Httpアーカイブ・ファイル
JP2004094805A (ja) ネットワークシステム、リバースプロキシ、コンピュータ装置、データ処理方法及びプログラム
US6324584B1 (en) Method for intelligent internet router and system
JP3984086B2 (ja) キャッシュサーバ、データ転送装置及びプログラム
CN106557584A (zh) 一种网址收藏方法及装置
JP2003044510A (ja) ゲートウェイ装置
JPH11284683A (ja) データ転送装置とデータの転送方法、及び情報処理システム
JP2003141002A (ja) Url長変換システム及びそのプログラム
JP2003044346A (ja) コンテンツ提供方法およびネットワーク接続装置
JP2007317107A (ja) 情報処理システム、及び情報処理装置、並びに制御プログラム
JP4202534B2 (ja) Webデータのキャッシュ更新方法およびキャッシュ更新システム
EP1052827A2 (en) Dynamic resource modification in a communication network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041019

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20041019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041025

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071105

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091105

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees