JP6488508B2 - ウェブページのアクセス方法、装置、デバイス及びプログラム - Google Patents

ウェブページのアクセス方法、装置、デバイス及びプログラム Download PDF

Info

Publication number
JP6488508B2
JP6488508B2 JP2017548061A JP2017548061A JP6488508B2 JP 6488508 B2 JP6488508 B2 JP 6488508B2 JP 2017548061 A JP2017548061 A JP 2017548061A JP 2017548061 A JP2017548061 A JP 2017548061A JP 6488508 B2 JP6488508 B2 JP 6488508B2
Authority
JP
Japan
Prior art keywords
proxy server
web page
access
information
restricted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017548061A
Other languages
English (en)
Other versions
JP2018514846A (ja
Inventor
パン、カイ
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2018514846A publication Critical patent/JP2018514846A/ja
Application granted granted Critical
Publication of JP6488508B2 publication Critical patent/JP6488508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Description

本出願は、出願日が2015年10月30日で、出願番号が201510725908.3で、発明名称が「ウェブページのアクセス方法及び装置」である中国特許出願の優先権を要求する。
本公開は、インターネット技術に関し、特に、ウェブページのアクセス方法、装置、デバイス及びプログラムに関する。
インターネット産業の発展につれて、ウェブページ内容で提供する情報はますます豊富になり、ウェブページに表示したデータコンテンツもどんどん豊富になっている。ウェブページのアクセス過程で、あるウェブページが属するウェブサイトはアクセス制限ウェブサイト、例えば、外国ウェブサイト又は学校ウェブサイト等であるので、これらのウェブページを正常にアクセスすることができない。
このような場合に、ユーザーは、関連するキーワード、例えば、プロキシサーバ配布ウェブサイト等を利用して検索操作を行って、配布プロキシサーバのウェブサイト入口を獲得する。ユーザーは獲得した配布プロキシサーバのウェブサイトをアクセスし、それが配布したプロキシサーバを利用して、それぞれアクセス代理設置を行って、利用可能なプロキシサーバを利用可能にし、これらのウェブページをアクセスする。このようにして、操作が複雑になり、操作時間が長くなり、成功率が高くなく、ウェブページアクセスの効率と信頼性を低下させる。
本公開の複数の方面は、ウェブページアクセスの効率と信頼性を向上させるウェブページのアクセス方法、装置、デバイス及びプログラムを提供する。
本公開の一方面は、ウェブページのアクセスが制限されたことを確定し、プロキシサーバの情報を獲得し、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスすることを含むウェブページのアクセス方法を提供する。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記ウェブページのアクセスが制限されたことを確定するには、前記ウェブページのアクセス要求を獲得し、前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、前記ウェブページのアクセスが制限されたことを確定することを含む。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記プロキシサーバの情報を獲得することは、前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得することを含む。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記プロキシサーバの情報を獲得する前に、さらに、ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにすることを含む。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、少なくとも一つのプロキシサーバに対して品質検証を行い、品質検証を通過しなかったプロキシサーバの情報を濾過処理することを含む。
本公開の他の一方面は、ウェブページのアクセスが制限されたことを確定するアクセス手段と、プロキシサーバの情報を獲得する獲得手段とを含み、前記アクセス手段は、さらに、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスするウェブページのアクセス装置を提供する。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記アクセス手段は、さらに、前記ウェブページのアクセス要求を獲得し、前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、及び前記ウェブページのアクセスが制限されたことを確定する。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記獲得手段は、具体的に、前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得する。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記装置は、さらに、ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにする収集手段を含む。
前記の方面と何れか一つの可能な実現方式によると、さらに一実現方式を提供するが、前記収集手段は、さらに、少なくとも一つのプロキシサーバに対して品質検証を行い、及び品質検証を通過しなかったプロキシサーバの情報を濾過処理する。
本公開の他の一方面は、一つ又は複数のプロセッサーと、メモリと、一つ又は複数のプログラムを含むデバイスであって、前記一つ又は複数のプログラムは前記メモリに記憶されて、前記一つ又は複数のプロセッサーによって実行される場合に、ウェブページのアクセスが制限されたことを確定し、プロキシサーバの情報を獲得し、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスするデバイスを提供する。
本公開の他の一方面は、一つ又は複数のプログラムであって、一つのデバイスによって実行される場合に、前記デバイスに、ウェブページのアクセスが制限されたことを確定し、プロキシサーバの情報を獲得し、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスさせるプログラムを提供する。
前記技術方案によると、本公開の実施例は、ウェブページのアクセスが制限されたことを確定し、さらに、プロキシサーバの情報を確定することによって、前記プロキシサーバの情報を利用して前記ウェブページをアクセスするようにし、プロキシサーバの情報を自動的に獲得することによって、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、操作が簡単で、成功率が高くなり、ウェブページアクセスの効率と信頼性を向上させる。
また、本公開で提供する技術案を利用して、獲得したプロキシサーバ集合に含まれた利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎に対して品質検証を行い、さらに品質検証を通過しなかったプロキシサーバの情報を濾過処理し、獲得したプロキシサーバの品質を有効に保証できる。
また、本公開で提供する技術案を利用して、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、ユーザーに対して完全に透明であり、ユーザーのアクセス体験を有効に向上できる。
本公開の実施例の技術案を更に明確に説明するために、実施例又は従来技術で使用する必要がある図面を簡単に紹介するが、下に記述する図面は単に本発明の一部の実施例として、本領域の技術者であれば創造的な労働をしない前題でこれらの図面に基づいて他の図面を得られることは容易なことである。
本公開の一実施例で提供するウェブページのアクセス方法のフローチャートである。 本公開の他の一実施例で提供するウェブページのアクセス装置の構造概略図である。 本公開の他の一実施例で提供するウェブページのアクセス装置の構造概略図である。
本公開の実施例の目的、技術案と利点を更によく明確にするために、以下で本公開の実施例における図面と結合して本公開の実施例における技術案を明瞭、完全に記述する。記述する実施例は単に本発明の一部の実施例に過ぎなく、全部の実施例ではないことは明確にしなければならない。本領域の技術者が、本公開の実施例に基づいて創造的な労働をしない前題で得た全てのその他の実施例は、全部本公開が保護する範囲内に属する。
ここで、本公開に関するウェブページは、ウェブページまたはWebウェブページと呼ばれ、ハイパーテキスト・マークアップ・ランゲージ(HyperText Markup Language、HTML)で編集したウェブページ(Web Page)、即ちHTMLウェブページであってもよく、又はHTMLとJava(登録商標)言語で編集したウェブページ、即ちJava(登録商標)サーバウェブページ(Java(登録商標) Server Page、JSP)であってもよく、又は他の言語で編集したウェブページであってもよいが、本実施例はこれを特別に限定しない。Webウェブページは、一つ又は複数のウェブページラベル、例えば、ハイパーテキスト・マークアップ・ランゲージ(HyperText Markup Language、HTML)ラベル、JSPラベル等で定義した一つの表示領域を含んでいてもよく、ウェブページ要素とより、例えば、文字、ピックチャ、ハイパーリンク、ボタン、入力フレーム、プルダウン・リスト・ボックス等を含んでいても良い。
本公開の実施例に関する端末は、携帯電話、個人データアシスタント(Personal Digital Assistant、PDA)、無線携帯デバイス、タブレットコンピューター(Tablet Computer)、個人コンピューター(Personal Computer、PC)、MP3プレイヤー、MP4プレイヤー、着用デバイス(例えば、スマート眼鏡、スマートウォッチ、スマートブレスレット(Smart Bracelet)等)等を含んでいてもよいが、これらに限定されない。
本文に使われる用語「及び/または」は単に関連対象の関連関係を記述し、三つの関係の存在可能を意味する。例えば、A及び/またはBは、Aが単独で存在したり、AとBが同時に存在したり、Bが単独で存在するという3種類の場合を表すことができる。また、本文で文字「/」は一般に前後関連対象が「または」である関係を表す。
図1は、本公開の一実施例で提供するウェブページのアクセス方法のフローチャートであり、図1に示すようである。101、ウェブページのアクセスが制限されたことを確定する。102、プロキシサーバの情報を獲得する。103、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスする。
ここで、101~103の実行主体は、ローカル端末にあるアプリであってもよく、またはローカル端末にあるアプリに設置されているプラグインまたはソフトウェア開発キット(Software Development Kit、SDK)等の機能手段であってもよく、またはネットワーク側のサーバにある処理エンジンであってもよく、またはネットワーク側にある分布式システムであってもよく、本実施例ではこれに対して特別に限定しない。
ここで、前記アプリは、端末にインストールしたネイティブアプリ(nativeApp)、例えば、ブラウザアプリ、携帯電話のバイドウ(百度)アプリ等であってもよく、又は端末上のブラウザの一つのウェブページアプリケーション(webApp)であってもよく、本実施例はこれを特別に限定しない。
このようにして、ウェブページのアクセスが制限されたことを確定し、さらにプロキシサーバの情報を確定することによって、前記プロキシサーバの情報を利用して前記ウェブページをアクセスするようにし、プロキシサーバの情報を自動的に獲得することによって、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、操作が簡単で、成功率が高くなり、ウェブページアクセスの効率と信頼性を向上させる。
ここで、本実施例に関するウェブページは、PCウェブサイトのウェブページであってもよく、又は移動ウェブサイトのウェブページであってもよく、本実施例はこれを特別に限定しない。
今、一つのアプリは、例えば、ブラウザ又はバイドウ(百度)APPがウェブページをアクセスする場合、先ずウェブページのメインリソースをダウンロードし、ウェブページのメインリソースを解析しレンダリングしなければならない。ウェブページのメインリソースで引用したウェブページのサブリソースのユニフォームリソースロケータ(Uniform Resource Locator、URL)を解析した場合、ウェブページのサブリソースのダウンロードを開始し、ウェブページのサブリソースに基づいて、さらにウェブページのメインリソースをレンダリングする。ウェブページが属するウェブサイトがアクセス制限ウェブサイトであれば、ウェブページのメインリソースをダウンロードできなく、ウェブページをアクセスできないことを指示する提示情報を直接に出力する。
好ましくは、本実施例の一つの可能な実現方式で、101で、具体的に、前記ウェブページのアクセス要求を獲得し、前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、さらに、前記ウェブページのアクセスが制限されたことを確定してもよい。
ユーザーが触発した一つのウェブページのアクセス要求を獲得してから、該アクセス要求をウェブページが属するウェブサイトのサーバへ発送する。該ウェブサイトがアクセス制限ウェブサイトであれば、該アクセス要求は遮断され、ウェブサイトのサーバへ発送できなくなる。続いて、ウェブページがアクセスできないことを指示する提示情報を受信する。この場合、該ウェブページがアクセスできないことを確定できる。
ウェブページがアクセスできない原因は多いので、ウェブページがアクセスできないことを確定した後、さらにアクセス制限リストで照合して、該ウェブページが属するウェブサイトがアクセス制限ウェブサイトであるか否かを確定する。該ウェブページが属するウェブサイトがアクセス制限リストにあると、該ウェブページが属するウェブサイトはアクセス制限ウェブサイトであることを確定できる。
以上のように、ユーザーがアクセスしようとするウェブページがアクセスできなく、該ウェブページが属するウェブサイトがアクセス制限ウェブサイトであるので、該ウェブページのアクセスが制限されたことを確定できる。
本公開で、102で、獲得したプロキシサーバの情報は、プロキシサーバのユニフォームリソースロケータ(Uniform Resource Locator、URL)又はユニフォームリソース名称(Uniform Resource Name、URN)、IPアドレス又は他のアクセス標記を含んでいてもよいが、これに限定されていなく、本実施例はこれを特別に限定しない。
好ましくは、本実施例の一つの可能な実現方式で、102で、具体的に、一つのプロキシサーバの情報を獲得してもよく、又はさらに複数プロキシサーバの情報を獲得してもよい。
一つのプロキシサーバの情報を獲得すると、このプロキシサーバの情報を利用して、後の103を実行する。
複数のプロキシサーバの情報を獲得すると、予めに設置した選択策略(ポリシー)を利用して、先ずに一つのプロキシサーバの情報を選択した後、このプロキシサーバの情報を利用して、後の103を実行してもよい。前記ウェブページのアクセスが依然として制限される場合、継続して次の一つのプロキシサーバの情報を選択して、前記ウェブページのアクセスが制限されないまでに前の操作を継続して行う。
好ましくは、本実施例の一つの可能な実現方式で、102で、具体的に、前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得する。具体的に、予めに一つのウェブページと利用可能なプロキシサーバの情報のマッピング関係を格納して、ウェブページとその利用可能なプロキシサーバを関連つける。このようにして、前記ウェブページのウェブページ標記に基づいて、前記マッピング関係を利用して、前記ウェブページ標記に対応するプロキシサーバの情報を獲得して、獲得したプロキシサーバの情報の利用可能性を保証できる。
具体的な実現過程で、具体的に、前記ウェブページの標記と前記プロキシサーバの情報を対応的にデータベース又はファイルシステムに格納してもよい。
具体的に、前記ウェブページの標記、及び該ウェブページの標記に対応するプロキシサーバの情報を対応的にデータベース又はファイルシステムに格納してもよい。
ここで、前記ウェブページの標記は、ウェブページの標記のパラメータ名称とウェブページの標記のパラメータ値を含んでいてもよいが、これに限定されなく、本実施例はこれを特に限定しない。前記プロキシサーバの情報は、プロキシサーバの情報のパラメータ名称とプロキシサーバの情報のパラメータ値を含んでいてもよいが、これに限定されなく、本実施例はこれを特別に限定しない。
ここで、前記データーベースは関係型データーベース、例えば、Oracleデーターベース、DB2データーベース、構造化照会言語(Structured Query Language、SQL)サーバ(Server)データーベース、MySQLデーターベース等であってもよく、又はキー値(Key-Value)型データーベース、例えば、非SQL(Not Only SQL)NoSQLデーターベース、Redisデーターベース等を利用してもよく、本実施例では、これに対して特に限定しない。
例えば、具体的に、前記ウェブページ毎の標記のパラメータ名称とパラメータ値、及び該ウェブページの標記に対応するプロキシサーバの情報のパラメータ値を、対応的にデータベース又はファイルシステムに格納してもよい。例えば、ウェブページ毎の標記に対応するプロキシサーバの情報のパラメータ値を、Keyとしてもよく、該ウェブページの標記のパラメータ名称とパラメータ値を、Valueとしてもよく、両者を対応的にKey-Value型データベースに格納してもよい。
又は、例えば、具体的に、前記ウェブページ毎の標記のパラメータ名称とパラメータ値、及び該ウェブページの標記に対応するプロキシサーバの情報のパラメータ名称とパラメータ値を、対応的にデータベース又はファイルシステムに格納してもよい。ウェブページ毎の標記に対応するプロキシサーバの情報のパラメータ名称とパラメータ値を、Keyとしてもよく、該ウェブページの標記のパラメータ名称とパラメータ値を、Valueとしてもよく、両者を対応的にKey-Value型データベースに格納してもよい。
ここで、前記ウェブページの標記と前記プロキシサーバの情報を格納処理するともに、さらに第一回に格納した時間(Init_time)、及び後の格納更新する時間(update_time)における少なくとも一つを記録して、後の管理操作の一般的な必要を満足させる。
具体的に、前記データベースまたは前記ファイルシステムを、具体的に端末の記憶デバイスに配置してもよい。
例えば、前記端末の記憶デバイスは、 低速度記憶デバイスであってもよく、具体的にコンピューターシステムのハードウェアであってもよく、又は携帯電話の非運転メモリ即ち物理メモリ、例えば、読み取り専用メモリ(Read-Only Memory、ROM)とメモリ等であってもよいが、本実施例はこれを特別に限定しない。
又は、例えば、前記端末の記憶デバイスはさらに高速度記憶デバイスであってもよく、具体的にコンピューターシステムのメモリ、又はさらに携帯電話の運転メモリ即ちシステムメモリ、例えば、ランダム記憶メモリ(Random Access Memory、RAM)等であってもよいが、本実施例はこれを特別に限定しない。
好ましくは、本実施例の一つの可能な実現方式で、102で、さらに、ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにする。
ネットワークワームを利用して、プロキシサーバ集合を獲得した後に、さらに前記少なくとも一つのプロキシサーバに対して品質検証を行い、さらに、品質検証を通過しなかったプロキシサーバの情報を濾過処理する。このようにして、獲得したプロキシサーバ集合に含まれた利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎に対して品質検証を行い、さらに品質検証を通過しなかったプロキシサーバの情報を濾過処理し、獲得したプロキシサーバの品質を有効に保証できる。
所謂品質検証というのは、プロキシサーバに対して安定性、時効性などの検証を行って、プロキシサーバが利用可能になるように確保する。前記品質検証は、定時的に行い、例えば、毎日一回、毎週一回、このようにして、さらに獲得したプロキシサーバの品質を保証できる。
本実施例で、ウェブページのアクセスが制限されたことを確定し、さらに、プロキシサーバの情報を確定することによって、前記プロキシサーバの情報を利用して前記ウェブページをアクセスするようにし、プロキシサーバの情報を自動的に獲得することによって、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、操作が簡単で、成功率が高くなり、ウェブページアクセスの効率と信頼性を向上させる。
また、本公開で提供する技術案を利用して、獲得したプロキシサーバ集合に含まれた利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎に対して品質検証を行い、さらに品質検証を通過しなかったプロキシサーバの情報を濾過処理し、獲得したプロキシサーバの品質を有効に保証できる。
また、本公開で提供する技術案を利用して、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、ユーザーに対して完全に透明であり、ユーザーのアクセス体験を有効に向上できる。
ここで、前記の各方法の実施例を簡単に記述するために、それを全部一連の動作の組合せとして記述したが、本発明によるとあるステップは他の順序で又は同時に実行してもよいので、本分野の当業者であれば、本発明はここで記述した動作順序に限定されないことを了解できる。また、本分野の当業者であれば、明細書に記載した実施例は全部好ましい実施例に属し、それに係る動作及びモジュールは本公開に必ずに必要なものではないことを了解できる。
前記実施例で、各実施例に対する記述は全部重点があり、ある実施例で詳細に記述しなかった部分は、他の実施例の関連記述を参照してもよい。
図2は、本公開の他の一実施例で提供するウェブページのアクセス装置の構造概略図であり、図2に示すようである。本実施例のウェブページのアクセス装置は、アクセス手段21と、獲得手段22とを含んでいてもよい。ここで、アクセス手段21は、ウェブページのアクセスが制限されたことを確定し、獲得手段22は、プロキシサーバの情報を獲得し、前記アクセス手段21は、さらに、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスする。
ここで、本実施例で提供するウェブページのアクセス装置は、ローカル端末にあるアプリであってもよく、またはローカル端末にあるアプリに設置されているプラグインまたはソフトウェア開発キット(Software Development Kit、SDK)等の機能手段であってもよく、またはネットワーク側のサーバにある処理エンジンであってもよく、またはネットワーク側にある分布式システムであってもよく、本実施例ではこれに対して特別に限定しない。
前記アプリは、端末にインストールしたネイティブアプリ(nativeApp)であってもよく、または端末におけるブラウザー上の一つのウェブページアプリ(webApp)であってもよく、本実施例ではこれに対して特別に限定しない。
好ましくは、本実施例の一つの可能な実現方式で、前記アクセス手段21は、さらに、前記ウェブページのアクセス要求を獲得し、前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、及び前記ウェブページのアクセスが制限されたことを確定してもよい。
好ましくは、本実施例の一つの可能な実現方式で、前記獲得手段22は、具体的に、前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得してもよい。
好ましくは、本実施例の一つの可能な実現方式で、図3に示すように、本実施例で提供するウェブページのアクセス装置は、さらに、ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにする収集手段31を含んでいてもよい。
さらに、前記収集手段31は、さらに、少なくとも一つのプロキシサーバに対して品質検証を行い、及び品質検証を通過しなかったプロキシサーバの情報を濾過処理してもよい。
ここで、図1に対応する実施例における方法は、本実施例で提供するウェブページのアクセス装置によって実現される。詳細の技術は、図1に対応する実施例における関連内容を参照してもよく、ここでは重複に記載しない。
本実施例で、アクセス手段によってウェブページのアクセスが制限されたことを確定し、さらに、獲得手段がプロキシサーバの情報を獲得して、前記アクセス手段が前記プロキシサーバの情報を利用して前記ウェブページをアクセスするようにし、プロキシサーバの情報を自動的に獲得することによって、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、操作が簡単で、成功率が高くなり、ウェブページアクセスの効率と信頼性を向上させる。
また、本公開で提供する技術案を利用して、収集手段が獲得したプロキシサーバ集合に含まれた利用可能な少なくとも一つプロキシサーバにおけるプロキシサーバ毎に対して品質検証を行い、さらに、品質検証を通過しなかったプロキシサーバの情報を濾過処理し、獲得したプロキシサーバの品質を有効に保証できる。
また、本公開で提供する技術案を利用して、ユーザーが配布プロキシサーバのウェブサイトを手動的に検索する必要がなくなり、ユーザーに対して完全に透明であり、ユーザーのアクセス体験を有効に向上できる。
所属分野の当業者であれば、記述の便利と簡潔のために、上述記述のシステム、装置と手段の具体的な動作過程は、前述方法の実施例における対応する過程を参照できることを理解すべきで、ここで重複に記述しない。
本公開で提供した幾つの実施例で開示したシステム、装置及び方法は、他の方式によって実現できるのは理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記手段の分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数の手段又はモジュールは結合でき又は他の一つのシステムに集積でき、またはある特徴は無視し、または実行しなくてもよい。他に、示しまたは検討した互いの間の結合または直接に結合又は通信接続は、あるインタフェース、装置または手段の間接のな接合又は通信接続によるものであってもよく、電気的、機械または他の形式であってもよい。
前記で分離部材として説明した手段は、物理上で分離したものであってもよく、物理上で分離しなかったものであってもよく、手段として示した部材は物理的な手段であってもよく、物理的な手段でなくてもよく、即ち、同一の位置にあってもよく、複数のネットワークユニットに分布されていてもよい。実際の必要によってその一部または全部手段を選択して、本実施例の方案の目のを実現してもよい。
また、本公開の各実施例における各機能手段は一つの処理モジュールに集積してもよく、各手段が物理上で単独に存在してもよく、二つ又は二つ以上の手段を一つの手段に集積してもよい。前記集積した手段は、ハードウェアの形式に実現してもよく、ハードウェアにソフトウェアの機能手段を結合する形式で実現してもよい。
上記のソフト機能手段の形式で実現した集積した手段は、一つのコンピューターが可読な記憶媒体に記憶してもよい。前記ソフト機能手段は一つの記憶媒体に記憶してもよく、複数の命令を含んで一つのコンピューターデバイス(パーソナルコンピューター、サーバ、又はネットワークデバイス等)又はプロセッサ(processor)によって、本公開の各実施例の前記方法の一部のステップを実行させてもよい。前記記憶媒体は、Uディスク、ポータブルハードウェア、読み出し専用メモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、ディスク又は光ディスク等の複数のプログラムコードを記憶できる媒体を含む。
最後に、以上の実施例はただ本公開の技術案を説明するためのもので、それについての限定ではなく、前記実施例を参照して本発明を詳細に説明したが、本分野の当業者は、前記の各実施例に記載の技術案を修正でき、又はその一部の技術特徴を等価置換でき、これらの修正又は置換の技術案の本質は本公開の各実施例の技術案の主旨及び範囲を離脱しない。

Claims (8)

  1. ウェブページのアクセスが制限されたことを確定し、
    プロキシサーバの情報を獲得し、
    前記プロキシサーバの情報を利用して、前記ウェブページをアクセスすることを含み、
    前記プロキシサーバの情報を獲得する前に、さらに、
    ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにし、
    前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、
    少なくとも一つのプロキシサーバに対して品質検証を行い、
    品質検証を通過しなかったプロキシサーバの情報を濾過処理する
    ウェブページのアクセス方法。
  2. 前記ウェブページのアクセスが制限されたことを確定するには、
    前記ウェブページのアクセス要求を獲得し、
    前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、
    アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、
    前記ウェブページのアクセスが制限されたことを確定することを含む
    請求項1に記載のウェブページのアクセス方法。
  3. 前記プロキシサーバの情報を獲得することは、
    前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得することを含む
    請求項1又は2に記載のウェブページのアクセス方法。
  4. ウェブページのアクセスが制限されたことを確定するアクセス手段と、
    ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、プロキシサーバの情報を獲得するようにする収集手段と、
    前記プロキシサーバの情報を獲得する獲得手段とを含み、
    前記アクセス手段は、さらに、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスし、
    前記収集手段は、さらに、
    少なくとも一つのプロキシサーバに対して品質検証を行い、及び
    品質検証を通過しなかったプロキシサーバの情報を濾過処理する
    ウェブページのアクセス装置。
  5. 前記アクセス手段は、さらに、
    前記ウェブページのアクセス要求を獲得し、
    前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、
    アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、及び
    前記ウェブページのアクセスが制限されたことを確定する
    請求項に記載のウェブページのアクセス装置。
  6. 前記獲得手段は、
    前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得する
    請求項4又は5に記載のウェブページのアクセス装置。
  7. 一つ又は複数のプロセッサーと、
    メモリと、
    一つ又は複数のプログラムを含むデバイスであって、前記一つ又は複数のプログラムは前記メモリに記憶されて、前記一つ又は複数のプロセッサーによって実行される場合に、
    ウェブページのアクセスが制限されたことを確定し、
    プロキシサーバの情報を獲得し、
    前記プロキシサーバの情報を利用して、前記ウェブページをアクセスし、
    前記プロキシサーバの情報を獲得する前に、さらに、
    ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにし、
    前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、
    少なくとも一つのプロキシサーバに対して品質検証を行い、
    品質検証を通過しなかったプロキシサーバの情報を濾過処理する
    デバイス。
  8. 一つ又は複数のプログラムであって、一つのデバイスによって実行される場合に、前記デバイスに、
    ウェブページのアクセスが制限されたことを確定し、
    プロキシサーバの情報を獲得し、
    前記プロキシサーバの情報を利用して、前記ウェブページをアクセスさせ、
    前記プロキシサーバの情報を獲得する前に、さらに、
    ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにし、
    前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、
    少なくとも一つのプロキシサーバに対して品質検証を行い、
    品質検証を通過しなかったプロキシサーバの情報を濾過処理する
    プログラム。
JP2017548061A 2015-10-30 2016-05-23 ウェブページのアクセス方法、装置、デバイス及びプログラム Active JP6488508B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510725908.3A CN105335511A (zh) 2015-10-30 2015-10-30 网页的访问方法及装置
CN201510725908.3 2015-10-30
PCT/CN2016/082981 WO2017071189A1 (zh) 2015-10-30 2016-05-23 网页的访问方法、装置、设备及非易失性计算机存储介质

Publications (2)

Publication Number Publication Date
JP2018514846A JP2018514846A (ja) 2018-06-07
JP6488508B2 true JP6488508B2 (ja) 2019-03-27

Family

ID=55286038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017548061A Active JP6488508B2 (ja) 2015-10-30 2016-05-23 ウェブページのアクセス方法、装置、デバイス及びプログラム

Country Status (5)

Country Link
US (1) US20180225387A1 (ja)
EP (1) EP3273362A4 (ja)
JP (1) JP6488508B2 (ja)
CN (1) CN105335511A (ja)
WO (1) WO2017071189A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560604B2 (en) 2009-10-08 2013-10-15 Hola Networks Ltd. System and method for providing faster and more efficient data communication
US9241044B2 (en) 2013-08-28 2016-01-19 Hola Networks, Ltd. System and method for improving internet communication by using intermediate nodes
US11057446B2 (en) 2015-05-14 2021-07-06 Bright Data Ltd. System and method for streaming content from multiple servers
CN105335511A (zh) * 2015-10-30 2016-02-17 百度在线网络技术(北京)有限公司 网页的访问方法及装置
EP3767494B1 (en) 2017-08-28 2023-02-15 Bright Data Ltd. Method for improving content fetching by selecting tunnel devices
US11190374B2 (en) 2017-08-28 2021-11-30 Bright Data Ltd. System and method for improving content fetching by selecting tunnel devices
CN108769278B (zh) * 2018-04-11 2021-08-10 北京中科闻歌科技股份有限公司 一种社交媒体账号管理方法及系统
EP4075304B1 (en) 2019-02-25 2023-06-28 Bright Data Ltd. System and method for url fetching retry mechanism
CN111641664B (zh) * 2019-03-01 2023-12-05 北京京东尚科信息技术有限公司 一种爬虫设备业务请求方法、装置、系统和存储介质
US11411922B2 (en) 2019-04-02 2022-08-09 Bright Data Ltd. System and method for managing non-direct URL fetching service
CN110147271B (zh) * 2019-05-15 2020-04-28 重庆八戒传媒有限公司 提升爬虫代理质量的方法、装置及计算机可读存储介质
CN112583780B (zh) * 2019-09-30 2023-04-07 北京国双科技有限公司 使用代理ip访问网站数据的方法、装置、系统和设备
US10637956B1 (en) * 2019-10-01 2020-04-28 Metacluster It, Uab Smart proxy rotator
CN111428179B (zh) * 2020-03-19 2023-09-19 新方正控股发展有限责任公司 图片监测方法、装置及电子设备
CN111488392B (zh) * 2020-04-16 2023-07-07 北京思特奇信息技术股份有限公司 一种查询方法、系统及电子设备
CN111767450A (zh) * 2020-07-27 2020-10-13 深圳快学教育科技有限公司 浏览器数据采集系统及方法
CN114595253A (zh) * 2022-02-22 2022-06-07 深圳海域信息技术有限公司 品牌监测方法、装置、电子设备及介质
KR102681000B1 (ko) * 2023-02-28 2024-07-04 쿠팡 주식회사 정보의 전송을 관리하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829638B1 (en) * 2000-08-03 2004-12-07 International Business Machines Corporation System and method for managing multiple proxy servers
US7483910B2 (en) * 2002-01-11 2009-01-27 International Business Machines Corporation Automated access to web content based on log analysis
US20030145046A1 (en) * 2002-01-31 2003-07-31 Keller S. Brandon Generating a list of addresses on a proxy server
GB2446421B (en) * 2007-02-09 2011-06-22 Proctor & Stevenson Ltd Tracking web server
CN101102313B (zh) * 2007-06-21 2011-02-02 潘晓梅 自动更换代理服务器的网络下载系统及方法
CN101800758B (zh) * 2009-02-09 2012-09-05 华为终端有限公司 一种移动终端访问网络的方法、系统及网关
US20100205215A1 (en) * 2009-02-11 2010-08-12 Cook Robert W Systems and methods for enforcing policies to block search engine queries for web-based proxy sites
CN101931635B (zh) * 2009-06-18 2014-05-28 北京搜狗科技发展有限公司 网络资源访问方法及代理装置
US9634993B2 (en) * 2010-04-01 2017-04-25 Cloudflare, Inc. Internet-based proxy service to modify internet responses
CN102694772B (zh) * 2011-03-23 2014-12-10 腾讯科技(深圳)有限公司 一种访问互联网网页的装置、系统及方法
US9049244B2 (en) * 2011-04-19 2015-06-02 Cloudflare, Inc. Registering for internet-based proxy services
CN103024933B (zh) * 2011-09-28 2016-01-20 腾讯科技(深圳)有限公司 一种移动互联网访问系统及访问移动互联网的方法
US9386114B2 (en) * 2011-12-28 2016-07-05 Google Inc. Systems and methods for accessing an update server
CN103678311B (zh) * 2012-08-31 2018-11-13 腾讯科技(深圳)有限公司 基于中转模式的网页访问方法及系统、抓取路径服务器
US9241044B2 (en) * 2013-08-28 2016-01-19 Hola Networks, Ltd. System and method for improving internet communication by using intermediate nodes
CN104767837B (zh) * 2014-01-08 2018-08-24 阿里巴巴集团控股有限公司 一种识别代理ip地址的方法及装置
CN103973682B (zh) * 2014-04-30 2018-09-04 北京奇虎科技有限公司 进行网页访问的方法及装置
CN104462570B (zh) * 2014-12-26 2019-03-15 小米科技有限责任公司 网页内容获取方法及装置
CN105335511A (zh) * 2015-10-30 2016-02-17 百度在线网络技术(北京)有限公司 网页的访问方法及装置

Also Published As

Publication number Publication date
US20180225387A1 (en) 2018-08-09
EP3273362A1 (en) 2018-01-24
WO2017071189A1 (zh) 2017-05-04
JP2018514846A (ja) 2018-06-07
CN105335511A (zh) 2016-02-17
EP3273362A4 (en) 2018-04-25

Similar Documents

Publication Publication Date Title
JP6488508B2 (ja) ウェブページのアクセス方法、装置、デバイス及びプログラム
US9954746B2 (en) Automatically generating service documentation based on actual usage
US8935798B1 (en) Automatically enabling private browsing of a web page, and applications thereof
US20150256475A1 (en) Systems and methods for designing an optimized infrastructure for executing computing processes
US20170177317A1 (en) Dependency-Aware Transformation of Multi-Function Applications for On-Demand Execution
WO2016016734A1 (en) Managing web browser cache for offline browsing
CN105843815A (zh) 页面评论处理方法、装置和浏览器
CN107526755B (zh) 数据的处理方法及装置
WO2021189766A1 (zh) 数据可视化方法及相关设备
CN116992081A (zh) 页面表单的数据处理方法、装置和用户终端
CN104361007B (zh) 浏览器及其收藏夹的处理方法
CN113282591B (zh) 权限过滤方法、装置、计算机设备及存储介质
US10956026B2 (en) Smart element filtering method via gestures
US10223393B1 (en) Efficient processing of source code objects using probabilistic data structures
KR102290380B1 (ko) 페이지 구축방법, 장치, 디바이스 및 비발휘성 컴퓨터 기억매체
EP4156009A1 (en) Systematic identification and masking of private data for replaying user sessions
EP3188417B1 (en) Information display method, terminal and server
US9342530B2 (en) Method for skipping empty folders when navigating a file system
US20140344295A1 (en) Message based web content retrieval systems and computer implemented methods thereto
US10417296B1 (en) Intelligent bookmarking with URL modification
CN105956050B (zh) 一种数据收集方法、装置及设备
US20150088493A1 (en) Providing descriptive information associated with objects
CN110674224B (zh) 实体数据的处理方法、装置、设备及计算机可读存储介质
US9858250B2 (en) Optimized read/write access to a document object model
US9477448B2 (en) Screen-oriented computing program refactoring

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190206

R150 Certificate of patent or registration of utility model

Ref document number: 6488508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250