JP7322194B2 - データ更新方法、装置、検索サーバ、端末及び記憶媒体 - Google Patents

データ更新方法、装置、検索サーバ、端末及び記憶媒体 Download PDF

Info

Publication number
JP7322194B2
JP7322194B2 JP2021575391A JP2021575391A JP7322194B2 JP 7322194 B2 JP7322194 B2 JP 7322194B2 JP 2021575391 A JP2021575391 A JP 2021575391A JP 2021575391 A JP2021575391 A JP 2021575391A JP 7322194 B2 JP7322194 B2 JP 7322194B2
Authority
JP
Japan
Prior art keywords
web page
stored
page summary
terminal
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021575391A
Other languages
English (en)
Other versions
JP2022537552A (ja
Inventor
チュンチー リウ
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010357679.5A external-priority patent/CN111767442B/zh
Application filed by バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Publication of JP2022537552A publication Critical patent/JP2022537552A/ja
Application granted granted Critical
Publication of JP7322194B2 publication Critical patent/JP7322194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Description

本願は、データ処理技術分野に関し、特に、インテリジェント検索技術に関する。
インテリジェント端末の普及につれ、情報データ量は爆発的な成長を見せ、検索サーバの処理能力に対する要求がより高くなっている。
ユーザにより全面的な検索結果を提供するために、検索サーバは、クローラー技術を利用して各ウェブページに対してクロールする必要があり、ウェブページ検索結果をディスプレイする際に、検索サーバは、ウェブページ及びウェブページ内容に対してクロールして得られた要約情報を同期的にディスプレイする。検索結果の適時性を確保するために、検索サーバは、一般的に、定期的にクロールする方法を採用しており、即ち、所定の時間サイクルにしたがってすべてのウェブページに対してクロールする。
しかし、ウェブページデータ量が多すぎるため、定期的にすべてのウェブページに対してクロールする方法は、クロールするたびに多くの時間がかかり、クロール効率が低い。
上記技術的問題に対し、本願の実施例は、データ更新方法、装置、検索サーバ、端末及び記憶媒体を提供する。
第1の態様では、本願はデータ更新方法を提供し、
端末に、検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを提供するステップと、
端末により送信される、前記端末が、前記端末で目標ウェブページをブラウズする際に目標ウェブページ内容に対してクロールして取得された現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って取得された目標ウェブページの比較情報を受信するステップと、
目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新するステップと、を含む。
第2の態様では、本願はデータ更新方法を提供し、
検索サーバにより提供される、ユーザによりトリガーされる検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、検索サーバが予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを受信してディスプレイするステップと、
前記検索結果ウェブページにおいて目標ウェブページを決定し、前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するステップと、
前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って、比較情報を取得し、前記検索サーバが前記比較情報に基づいて前記予め記憶されたウェブページ要約を更新するように、前記比較情報を検索サーバに送信するステップと、を含む。
第3の態様では、本願はデータ更新装置を提供し、
通信モジュール、クローラーモジュール及び更新モジュールを含み、
前記通信モジュールは、端末に、検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、予めクローラーモジュールを利用して予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを提供するために用いられ、
通信モジュールは、さらに、端末により送信される目標ウェブページの、前記端末が、前記端末で目標ウェブページをブラウズする際に目標ウェブページ内容に対してクロールして取得された現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って取得された比較情報を受信するために用いられ、
更新モジュールは、目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新するために用いられる。
第4の態様では、本願はデータ更新装置を提供し、
送受信モジュール及び比較モジュールを含み、
前記送受信モジュールは、検索サーバにより提供される、ユーザによりトリガーされる検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、検索サーバが予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを受信してディスプレイするために用いられ、
前記比較モジュールは、前記検索結果ウェブページにおいて目標ウェブページを決定し、前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するために用いられ、さらに、前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って、比較情報を取得するために用いられ、
前記送受信モジュールは、さらに、前記検索サーバが前記比較情報に基づいて前記予め記憶されたウェブページ要約を更新するように、前記比較情報を検索サーバに送信するために用いられる。
第5の態様では、本願は検索サーバを提供し、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも1つのプロセッサが第1の態様のいずれか1項に記載の方法を実行できるように、前記少なくとも1つのプロセッサにより実行される。
第6の態様では、本願は端末を提供し、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも1つのプロセッサが第2の態様のいずれか1項に記載の方法を実行できるように、前記少なくとも1つのプロセッサにより実行される。
第7の態様では、本願はコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には、コンピュータ実行命令が記憶されており、プロセッサは前記コンピュータ実行命令を実行すると、第1の態様のいずれか1項に記載の方法を実現する。
第8の態様では、本願は非一時的コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には、コンピュータ実行命令が記憶されており、プロセッサは前記コンピュータ実行命令を実行すると、第2の態様のいずれか1項に記載の方法は実施される。
第9の態様では、本願はプログラムコードを含むコンピュータプログラムを提供し、コンピュータで前記コンピュータプログラムが実行されると、前記プログラムコードは第1の態様又は第2の態様に記載の方法を実行する。
本願の実施例により提供されるデータ更新方法、装置、検索サーバ、端末及び記憶媒体において、検索サーバは、端末に検索キーワードに関連する1つ又は複数のウェブページを含む検索結果ウェブページを提供し、前記検索結果ウェブページは、さらに、検索サーバが予め各ウェブページのウェブページ内容に対してクロールして取得した予め記憶されたウェブページ要約を含み、そして、端末は、ユーザによりトリガーされる目標ウェブページに対してクロールして現在のウェブページ要約を得、端末は、現在のウェブページ要約と予め記憶されたウェブページ要約とに対して一致性の比較を行って得た比較情報を検索サーバに送信し、最後に、検索サーバにより目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
なお、この一部に記載されている内容は、本願の実施例の主要な又は重要な特徴を決定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明を通じて容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の実施例を実現可能なデータ更新方法のジーン図である。 本願により提供されるデータ更新方法の一フローチャートである。 本願により提供されるデータ更新方法の他のフローチャートである。 本願により提供されるデータ更新方法の一インタフェース概略図である。 本願により提供されるデータ更新装置の一構造概略図である。 本願により提供されるデータ更新装置の他の構造概略図である。 本願の実施例に係るデータ更新方法を実現するための電子機器のブロック図である。
以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするために、その中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
本願の技術案を明確に理解するために、まず、従来技術の手段について詳細に説明する。
インテリジェント端末の普及につれ、情報データ量は爆発的な成長を見せ、検索サーバの処理能力に対する要求はより高くなっている。
従来技術において、ユーザにより全面的な検索結果を提供するために、検索サーバは、クローラー技術を利用して各ウェブページに対してクロールし、各ウェブページのウェブページ内容及びウェブページ内容に対応する要約情報を得る必要がある。ユーザが検索キーワードを入力して情報を検索すると、ユーザがトリガーして選択し、チェックするように、検索サーバはクローラーにより得られたウェブページ内容から、当該キーワードに関連するいくつかのウェブページを見つけ、検索結果ページに当該いくつかのウェブページに対応する要約情報をディスプレイする。しかし、ウェブページは更新されるため、このような方法は、ユーザが検索結果ページから見られるウェブページ要約情報が当該ウェブページの実際のウェブページ内容と一致しないという問題が発生しやすくなり、当該問題について、従来技術では、所定の時間サイクルにしたがってウェブページに対してクロールする方法を採用し、検索結果の適時性を確保している。
しかし、このようなクローラー方法は、効率が低く、ウェブページのデータ量が多すぎるため、所定の時間サイクルにしたがってウェブページ全般に対してクロールするには大量のクローラー時間がかかる一方、異なるウェブページの更新速度も差異があり、このようなクローラー方法を採用すると、大量の更新されていないウェブページに対する重複クローラーが発生しやすく、そのクローラーのコンピューティングリソースを十分に利用することができない。
このような問題に対し、発明者は研究中に発見したものとして、検索サーバは、端末を利用して、自分が再度クローラーを必要とするウェブページを決定することを支援することができ、さらに、再度クローラーを必要とするウェブページに対してクロールし、クロールの効率を向上させることができる。具体的に、検索サーバは、端末に検索キーワードに関連する1つ又は複数のウェブページを含む検索結果ウェブページを提供し、前記検索結果ウェブページは、さらに、検索サーバが予め各ウェブページのウェブページ内容に対してクロールして取得した予め記憶されたウェブページ要約を含み、そして、端末は、ユーザによりトリガーされる目標ウェブページに対してクロールして現在のウェブページ要約を得、端末は、現在のウェブページ要約と予め記憶されたウェブページ要約とに対して一致性の比較を行って得た比較情報を検索サーバに送信し、最後に、検索サーバにより目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
以下、本願の実施例により提供されるデータ更新方法、装置、検索サーバ、端末及び記憶媒体の応用シーンについて紹介する。
図1は、本願の実施例を実現することができるデータ更新方法のジーン図であり、図1に示すように、本願の実施例により提供されるデータ更新方法に対応する応用シーンには、端末1及び検索サーバ2が含まれる。
各端末1は、具体的に、ユーザとインタラクションするためのハードウェア機器であってもよく、スマートフォン、タブレットパソコン、デスクトップパソコンなどを含むが、それらに限定されない。ユーザの操作により、端末1において、検索ウェブページ及び検索結果ウェブページなどの、検索サーバ2により提供されるさまざまなウェブページをブラウズすることができる。ユーザのトリガーにより、端末1において、現在のウェブページに基づいて検索サーバ2に、検索キーワードを含む検索要求や検索結果ウェブページにおいて提供される目標ウェブページにアクセスするアクセス要求などのさまざまな要求を送信することができる。
検索サーバ2は、具体的に、ハードウェアサーバ又はクラウドサーバを運ぶハードウェアキャリアであってもよい。検索サーバ2は、各端末1のユーザにキーワード検索やウェブページブラウジングなどのサービスを提供することができる。検索サーバ2は、各端末1とのインタラクションを介して本願の下記実施例に記載のデータ更新方法を採用し、再度クローラーが必要な目標ウェブページを決定して再度クローラーなどの処理を行う。
以下、図面を参照しながら本願の実施例を具体的に説明する。
図2は、本願により提供されるデータ更新方法の一フローチャートであり、図2に示すように、本願の実施例の実行主体は、データ更新装置であり、当該データ更新装置は、前述した検索サーバに運ばれる。
本実施例により提供されるデータ更新方法は、以下のいくつかのステップを含む。
ステップ101、端末に、検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを提供する。
本実施例において、検索結果ウェブページは、検索サーバから端末に提供される、検索結果を示すためのウェブページである。
具体的に、端末は、検索サーバにより提供される検索ウェブページに検索キーワードを入力することができ、検索サーバは当該検索キーワードに基づいて検索エンジンを呼び出し、ネットワーク全体の検索を行い、検索結果ウェブページを生成し、端末に呈する。検索結果ウェブページには、1つ又は複数のウェブページ及び各ウェブページに対応する予め記憶されたウェブページ要約が含まれる。これらのウェブページは、検索キーワードに関連するウェブページであり、如何に検索キーワードに関連するウェブページを取得するかについて、従来の検索エンジンが基づく検索ポリシーを採用することができ、本願では、これは何一つも限定されない。予め記憶されたウェブページ要約は、検索サーバが予めネットワーク全体のウェブページ内容に対してクロールして取得される要約情報であり、当該クローラーの方法は、また、従来のクロールポリシーを参照することができ、本願では、これについて限定しない。
ステップ102、端末により送信される目標ウェブページの、前記端末が、前記端末で目標ウェブページをブラウズする際に目標ウェブページ内容に対してクロールして取得された現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って取得された比較情報を受信する。
本願の実施例において、ウェブページに基づく従来の検索方法と同様に、ユーザは端末を介して検索結果ウェブページをチェックする際に、端末が検索サーバに目標ウェブページへのアクセス要求を開始し、検索サーバにより提供される目標ウェブページのリンクを受信して目標ウェブページへのアクセスを行うように、いずれのウェブページを目標ウェブページとして選定することができる。このとき、従来の方法との相違点として、本願の実施例において、端末は、目標ウェブページへのアクセスを行う際に、さらに、当該目標ウェブページのウェブページ内容に対してクロールし、それにより当該目標ウェブページの現在のウェブページ要約を取得する。
そして、端末は、目標ウェブページへの現在のウェブページ要約と検索結果ウェブページを介して取得された予め記憶されたウェブページ要約とを比較し、両者の一致性を決定する。一致性の比較を完了した後に、端末は、検索サーバが処理するように、生成された比較情報を検索サーバに送信する。
ステップ103、目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。
最後に、検索サーバは受信された比較情報に基づいて目標ウェブページに対して再度クローラーを行う必要があるかどうかを決定し、即ち、目標ウェブページの予め記憶されたウェブページ要約を更新する。比較情報が、予め記憶されたウェブページ要約と現在のウェブページ要約とが一致すると指示すると、当該目標ウェブページは前回検索サーバによりクロールされた後に、そのウェブページ内容が更新されておらず、このとき、検索サーバは、当該目標ウェブページに対してクローラー及び予め記憶されたウェブページ要約の更新を行わなくてもよい反面、比較情報が、予め記憶されたウェブページ要約と現在のウェブページ要約とが一致しないと指示すると、当該目標ウェブページは前回検索サーバによりクロールされた後に、そのウェブページ内容がある程度更新された可能性があり、このとき、検索サーバは、当該目標ウェブページに対して再度クローラー又はその他の処理を行い、予め記憶されたウェブページ要約に対する更新を実現することができる。
本願の上記実施例により提供される方法において、定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
上記実施例に基づき、本実施例は、さらに、目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する具体的な実施形態を提供する。
選択的に、予め記憶されたウェブページ要約に対する迅速な更新を実現するために、そのうちの1つの選択的な実施形態において、検索サーバは、さらに、目標ウェブページの現在の要約情報を受信し、当該ステップ103は、前記現在の要約情報を更新された目標ウェブページの予め記憶されたウェブページ要約情報とすることを含むことができる。即ち、当該実施例において、検索サーバは、比較情報に基づいて予め記憶されたウェブページ要約が更新される必要があると決定すると、直接に受信された端末クロールにより取得された現在のウェブページ要約に基づき、当該予め記憶されたウェブページ要約を取り換え、予め記憶されたウェブページ要約に対する更新を実現することができ、これにより、当該目標ウェブページは次回各端末により検索された際に、その予め記憶されたウェブページ要約は更新されたウェブページ要約である。
選択的に、更新された予め記憶されたウェブページ要約がより正確で全面的であることを確保するために、そのうちの1つの選択的な実施形態において、検索サーバは前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、ステップ103は、具体的に、
前記目標ウェブページに対してクロールし、それにより更新ウェブページ要約を取得するステップ1031と、
取得された更新ウェブページ要約を利用して予め記憶されたウェブページ要約を更新するステップ1032と、を含むことができる。
具体的に、上記に記載のように、検索サーバが前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、検索サーバは、予め記憶されたウェブページ要約を更新する必要がある。本実施例において、当該検索サーバは、まず、目標ウェブページに対してクローラー処理を再度行うことにより、再度クロールされた目標ウェブページの更新ウェブページ要約を取得し、そして、当該更新ウェブページ要約に基づき、検索サーバは、予め記憶されたウェブページ要約を更新し、検索ページのデータ更新を実現することができる。このような方法により、予め記憶されたウェブページ要約を更新することができ、これにより、当該目標ウェブページは次回各端末により検索された際に、その予め記憶されたウェブページ要約が更新されたウェブページ要約になる。
上記実施例に基づき、ウェブページ技術の発展につれ、ウェブページは、そのウェブページ内容を呈する際に、ブラウザ側の設定に基づいてパーソナライズに呈するため、本願の実施例において、検索サーバの設定と端末の設定とが一致しないことにより、比較情報が一致しない状況が発生する場合がある。例えば、検索サーバが設けられている地理的位置と端末が位置する地理的位置が異なると、両方が同じ目標ウェブページのウェブページ内容に対してクロールして取得されるウェブページ要約は異なる可能性があり、さらに、例えば、検索サーバが設けられているネットワーク事業者と端末が位置するネットワーク事業者が異なると、両方が同じ目標ウェブページのウェブページ内容に対してクロールして取得されるウェブページ要約が異なる可能性がある。
このような状況により、本願の実施例において提供されるデータ更新方法が影響されるようなことを回避するために、選択的な実施例において、検索サーバは、更新ウェブページ要約を取得した後に、さらに、予め記憶されたウェブページ要約と更新ウェブページ要約とが同じであるかどうかを判定し、即ち、前回クロールして取得されたウェブページ要約と今回クロールして取得されたウェブページ要約とに対して一致性の比較を行い、端末により報告された現在のウェブページ要約と予め記憶されたウェブページ要約の不一致の原因を決定することができる。
言い換えると、更新ウェブページ要約と予め記憶されたウェブページ要約とが同じであると、端末により報告された比較情報が一致しない現象は、検索サーバの設定と端末の設定とが異なることによるものであると決定することができる。このとき、検索サーバは、端末の端末設定情報を収集し、端末設定情報に対応するクローラー方法を採用して目標ウェブページに対してクロールし、取得されるウェブページ要約を、目標ウェブページが当該端末設定情報で検索されて取得される予め記憶されたウェブページ要約として設定することができ、これにより、当該端末と同じ端末設定情報を有する他の端末において、目標ウェブページに対する検索を行う際に見える予め記憶されたウェブページ要約は、当該方法を採用して設定されたものであるが、当該端末と異なる端末設定情報を有する他の端末において、目標ウェブページに対する検索を行う際に見える予め記憶されたウェブページ要約は、他の方法を採用して設定されたものである。
このような方法により、予め記憶されたウェブページ要約をパーソナライズに更新することを実現することが可能になり、これにより、異なる設定での端末において、検索する際に、端末設定情報に一致する予め記憶されたウェブページ要約を見ることができ、検索時の情報取得の柔軟性は向上する。
当然ながら、他の選択的な実施例において、検索サーバは、更新ウェブページ要約と予め記憶されたウェブページ要約とが同じではないことを発見した場合、目標ウェブページのウェブページ内容が確かに更新されたことを決定することができる。このとき、検索サーバは、直接に前記更新ウェブページ要約を更新された予め記憶されたウェブページ要約とし、即ち、更新ウェブページ要約を新しい予め記憶されたウェブページ要約として記憶することができる。
本願の実施例により提供されるデータ更新方法において、検索サーバは、端末に検索キーワードに関連する1つ又は複数のウェブページを含む検索結果ウェブページを提供し、前記検索結果ウェブページは、さらに、検索サーバが予め各ウェブページのウェブページ内容に対してクロールして取得した予め記憶されたウェブページ要約を含み、そして、端末は、ユーザによりトリガーされる目標ウェブページに対してクロールして現在のウェブページ要約を得、端末は、現在のウェブページ要約と予め記憶されたウェブページ要約とに対して一致性の比較を行って得た比較情報を検索サーバに送信し、最後に、検索サーバにより目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
また、いくつかの人気ウェブページの場合、検索及びトリガーされるたびに、再度クローラーが必要かどうかとの判定が行われ、このような方法により、高頻度にブラウズされるウェブページの予め記憶されたウェブページ要約がリアルタイムで効果的なものであるように効果的に確保することができ、検索サーバのクローラーリソースの最大限の利用に寄与する。
図3は、本願により提供されるデータ更新方法の他のフローチャートであり、図3に示すように、本願の実施例の実行主体は、データ更新装置であり、当該装置は、前述した端末に配置されることができる。
本実施例により提供されるデータ更新方法は、
検索サーバにより提供される、ユーザによりトリガーされる検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、検索サーバが予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを受信してディスプレイするステップ201と、
前記検索結果ウェブページにおいて目標ウェブページを決定し、前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するステップ202と、
前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って、比較情報を取得し、前記検索サーバが前記比較情報に基づいて前記予め記憶されたウェブページ要約を更新するように、前記比較情報を検索サーバに送信するステップ203と、を含む。
具体的に、端末は、検索サーバにより提供される検索サービスを受信することができ、初期ページに、検索サーバは、検索ウェブページを提供し、端末は当該検索ウェブページに検索キーワードを入力し、検索サーバは、当該検索キーワードに基づいて検索エンジンを呼び出してネットワーク全体の検索を行い、検索結果ウェブページを生成し、端末に呈する。
検索サーバにより提供される検索結果ウェブページには、1つ又は複数のウェブページ及び各ウェブページに対応する予め記憶されたウェブページ要約が含まれる。これらのウェブページは、検索キーワードに関連するウェブページであり、如何に検索キーワードに関連するウェブページを取得するかについて、従来の検索エンジンが基づく検索ポリシーを採用することができ、本願では、これについて限定しない。予め記憶されたウェブページ要約は、検索サーバが予めネットワーク全体のウェブページ内容に対してクロールして取得される要約情報であり、当該クローラーの方法は、また、従来のクロールポリシーを参照することができ、本願では、これについて限定しない。
この後に、ユーザは、端末を介して検索結果ウェブページをチェックする際に、端末が検索サーバに目標ウェブページへのアクセス要求を開始し、検索サーバにより提供される目標ウェブページのリンクを受信して目標ウェブページへのアクセスを行うように、いずれのウェブページを目標ウェブページとして選定することができる。即ち、前記検索サーバが前記検索キーワードに基づいて前記検索結果ウェブページを生成するように、端末はユーザによりトリガーされる検索キーワードを検索サーバに送信する。
このとき、従来の方法との相違点として、本願の実施例において、端末は、目標ウェブページへのアクセスを行う際に、さらに、当該目標ウェブページのウェブページ内容に対してクロールし、当該目標ウェブページの現在のウェブページ要約を取得する。
端末は、目標ウェブページへの現在のウェブページ要約と検索結果ウェブページを介して取得される予め記憶されたウェブページ要約とを比較し、両者の一致性を決定する。一致性の比較を完了した後に、端末は、検索サーバが処理するように、生成される比較情報を検索サーバに送信する。
一般的に、検索サーバは、受信された比較情報に基づいて目標ウェブページに対して再度クローラーを行う必要があるかどうかを決定し、即ち、目標ウェブページの予め記憶されたウェブページ要約を更新する。比較情報が、予め記憶されたウェブページ要約と現在のウェブページ要約とが一致すると指示すると、当該目標ウェブページは前回検索サーバによりクロールされた後に、そのウェブページ内容が更新されておらず、このとき、検索サーバは、当該目標ウェブページに対してクローラー及び予め記憶されたウェブページ要約の更新を行わなくてもよい反面、比較情報が、予め記憶されたウェブページ要約と現在のウェブページ要約とが一致しないと指示すると、当該目標ウェブページは前回検索サーバによりクロールされた後に、そのウェブページ内容がある程度更新された可能性があり、このとき、検索サーバは、当該目標ウェブページに対して再度クローラー又はその他の処理を行い、予め記憶されたウェブページ要約に対する更新を実現することができる。
本実施例は、端末に基づくデータ更新方法を提供し、前記検索サーバが比較情報に基づいて目標ウェブページ検索結果ページにおける予め記憶されたウェブページ要約を更新するように、検索サーバに目標ウェブページの当該比較情報を提供することができる。また、当該検索サーバが比較情報に基づいて予め記憶されたウェブページ要約を更新する具体的な実施形態は、前述各実施例を参照することができ、本実施例において繰り返して説明しない。
選択的な実施例において、検索サーバにより提供される比較情報の正確さを確保するために、端末は、さらに、検索サーバにより送信されるクロールポリシーを受信することもできる。クロールポリシーが取得された後に、ステップ202は、具体的に、前記クロールポリシーを採用して前記目標ウェブページのウェブページ内容に対してクロールし、現在のウェブページ要約を取得するステップであってもよい。
そのうちのクロールポリシーは、検索サーバがウェブページ内容に対してクロールする際に採用するクローラー処理方法、クロールされる語彙条件、セマンティック内容、文法形態などを示すために用いられることができる。
端末がクロールポリシーを受信するタイミングは、検索サーバと通信を取るときであってもよく、例えば、端末は検索サーバにより提供される検索ページをロードする際に検索サーバにより提供されるクロールポリシーを直接に取得することができ、端末がクロールポリシーを取得するタイミングは、さらに、検索サーバにより提供される検索結果ページを受信するときであってもよく、即ち、検索サーバは、端末が受信及び使用するように、検索結果ページとクロールポリシーを一同に端末に送信する。このような方法により、端末により採用されるクローラー方法と検索サーバにより採用されるクローラー方法とが一致するようにし、比較情報の正確さをさらに確保することができる。
図4は、本願の実施例により提供されるデータ更新方法の一インタフェース概略図であり、図4に示すように、端末において、検索サーバにより提供される検索結果ページを受信することができ、当該検索結果ページに、検索サーバが検索キーワードを検索して得られる検索結果、即ち、複数のウェブページ及び各ウェブページに対応する予め記憶されたウェブページ要約が呈される。ユーザは、トリガーして図面に示すウェブページ1などのいずれのウェブページを目標ウェブページとして選定し、このとき、端末インタフェースにおいて、ウェブページ1の表示をトリガーするが、端末のバックグランドにおいて、ウェブページ1のウェブページ内容に対してクロールし始め、前述の比較情報を取得する。なお、比較情報を取得する操作は端末フォアグラウンドで表示及び感知されることがなく、即ち、端末インタフェースにおいて、クローラー及び比較情報に対する操作ステップ又は操作結果を呈されない。最後に、端末は比較情報を検索サーバに送信し、図4に示すように、端末が再び当該検索キーワードを検索すると、検索サーバにより呈される検索結果ページにおいて、ウェブページ1の予め記憶されたウェブページ要約は、すべに更新されたウェブページ要約になっている。
本願の実施例により提供されるデータ更新方法において、検索サーバは、端末に検索キーワードに関連する1つ又は複数のウェブページを含む検索結果ウェブページを提供し、前記検索結果ウェブページは、さらに、検索サーバが予め各ウェブページのウェブページ内容に対してクロールして取得した予め記憶されたウェブページ要約を含み、そして、端末は、ユーザによりトリガーされる目標ウェブページに対してクロールして現在のウェブページ要約を得、端末は、現在のウェブページ要約と予め記憶されたウェブページ要約とに対して一致性の比較を行って得た比較情報を検索サーバに送信し、最後に、検索サーバにより目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
図5は、本願により提供されるデータ更新装置の一構造概略図である。図5に示すように、当該データ更新装置は、通信モジュール10、クローラーモジュール20及び更新モジュール30を含み、
前記通信モジュール10は、端末に、検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、予めクローラーモジュール20を利用して予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを提供するために用いられ、
通信モジュール10は、さらに、端末により送信される目標ウェブページの、前記端末が、前記端末で目標ウェブページをブラウズする際に目標ウェブページ内容に対してクロールして取得された現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って取得された比較情報を受信するために用いられ、
更新モジュール30は、目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新するために用いられる。
選択的な実施例において、前記クローラーモジュール20は、具体的に、前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、前記目標ウェブページに対してクロールし、更新ウェブページ要約を取得するために用いられ、
前記更新モジュール30は、具体的に、取得される更新ウェブページ要約を利用して予め記憶されたウェブページ要約を更新するために用いられる。
選択的な実施例において、前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じであると、通信モジュール10を利用して端末の端末設定情報を収集し、
クローラーモジュール20は、さらに、前記端末設定情報に対応するクローラー方法を採用して前記目標ウェブページに対してクロールするために用いられ、
前記更新モジュール30は、前記クローラーモジュール20により取得されるウェブページ要約を前記目標ウェブページが当該端末設定情報で検索される際にディスプレイされる予め記憶されたウェブページ要約とするために用いられる。
選択的な実施例において、前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じではないと、前記更新モジュール30は、さらに、直接に前記更新ウェブページ要約を更新された予め記憶されたウェブページ要約とするために用いられる。
選択的な実施例において、通信モジュール10は、さらに、目標ウェブページの現在の要約情報を受信するために用いられ、
前記更新モジュール30は、具体的に、前記現在の要約情報を前記目標ウェブページの予め記憶されたウェブページ要約情報とするために用いられる。
本願により提供されるデータ更新装置は、前述に示す方法の実施例に係る技術案を実行することができ、その実現原理及び技術的効果が前述方法の実施例に類似するため、ここで一々繰り返して説明しない。
本実施例において、検索サーバは、端末に検索キーワードに関連する1つ又は複数のウェブページを含む検索結果ウェブページを提供し、前記検索結果ウェブページは、さらに、検索サーバが予め各ウェブページのウェブページ内容に対してクロールして取得した予め記憶されたウェブページ要約を含み、そして、端末は、ユーザによりトリガーされる目標ウェブページに対してクロールして現在のウェブページ要約を得、端末は、現在のウェブページ要約と予め記憶されたウェブページ要約とに対して一致性の比較を行って得た比較情報を検索サーバに送信し、最後に、検索サーバにより目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
図6は、本願により提供されるデータ更新装置の他の構造概略図である。図6に示すように、当該データ更新装置は、送受信モジュール40及び比較モジュール50を含み、
前記送受信モジュール40は、検索サーバにより提供される、ユーザによりトリガーされる検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、検索サーバが予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを受信してディスプレイするために用いられ、
前記比較モジュール50は、前記検索結果ウェブページにおいて目標ウェブページを決定し、前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するために用いられ、さらに、前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って、比較情報を取得するために用いられ、
前記送受信モジュール40は、さらに、前記検索サーバが前記比較情報に基づいて前記予め記憶されたウェブページ要約を更新するように、前記比較情報を検索サーバに送信するために用いられる。
選択的な実施例において、前記送受信モジュール40は、さらに、検索サーバにより送信されるクロールポリシーを受信するために用いられ、
クローラーモジュールは、さらに、前記クロールポリシーを採用して前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するために用いられる。
選択的な実施例において、前記送受信モジュール40は、さらに、前記検索サーバが前記検索キーワードに基づいて前記検索結果ウェブページを生成するように、ユーザによりトリガーされる検索キーワードを検索サーバに送信するために用いられる。
本願により提供されるデータ更新装置は、前述に示す方法の実施例に係る技術案を実行することができ、その実現原理及び技術的効果が前述方法の実施例に類似するため、ここで一々繰り返して説明しない。
本実施例において、検索サーバは、端末に検索キーワードに関連する1つ又は複数のウェブページを含む検索結果ウェブページを提供し、前記検索結果ウェブページは、さらに、検索サーバが予め各ウェブページのウェブページ内容に対してクロールして取得した予め記憶されたウェブページ要約を含み、そして、端末は、ユーザによりトリガーされる目標ウェブページに対してクロールして現在のウェブページ要約を得、端末は、現在のウェブページ要約と予め記憶されたウェブページ要約とに対して一致性の比較を行って得た比較情報を検索サーバに送信し、最後に、検索サーバにより目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新する。定期的にウェブページに対してクロールする従来の方法と比べ、本願により、検索サーバは、端末により提供される比較情報を通じて再度クローラーが必要なウェブページを迅速に決定し、再度クローラーが必要なウェブページに対してクロールすることが可能になり、クローラーの作業量及びクロールするたびの所要時間が効果的に削減される上に、更新されていない大量のウェブページを複数回クロールすることによるクローラーコンピューティングリソースの浪費も回避される。
本願の実施例によれば、本願は、さらに、端末、検索サーバ及び読み取り可能な記憶媒体を提供する。そのうちの端末及び検索サーバは、いずれも電子機器に設けられることができる。
図7に示すように、本願の実施例によるデータ更新方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルアシスタント、セルラ電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本願の実施を制限することを意図したものではない。
図7に示すように、当該電子機器は、1つ又は複数のプロセッサ1001と、メモリ1002と、高速インタフェース及び低速インタフェースを含む各コンポーネントを接続するためのインタフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方法で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力/出力装置(例えば、インタフェースに結合されたディスプレイデバイスなど)にグラフィカル・ユーザ・インタフェース(Graphical User Interface、GUI)の図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び/又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各機器は、一部の必要な操作(例えば、サーバアレイ、1グループのブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図7では、1つのプロセッサ1001を例とする。
メモリ1002は、本願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、前記少なくとも1つのプロセッサに本願の実施例により提供されるデータ更新方法を実行させるように、少なくとも1つのプロセッサにより実行可能な命令が記憶されている。本願の実施例の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願の実施例により提供されるデータ更新方法を実行させるためのコンピュータ命令が記憶されている。
メモリ1002は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例におけるデータ更新方法に対応するプログラム命令/モジュール(例えば、図5の通信モジュール10、クローラーモジュール20及び更新モジュール30)のような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられることができる。プロセッサ1001は、メモリ1002に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法の実施例におけるデータ更新方法を実現する。
メモリ1002は、プログラム記憶エリアとデータ記憶エリアとを含むことができ、その中で、プログラム記憶エリアは、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶エリアは、図7の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ1002は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリをさらに含んでもよく、例えば、少なくとも1つの磁気ディスクメモリ装置、フラッシュメモリデバイス、又は他の非一時的なソリッドステートメモリ装置である。いくつかの実施例において、メモリ1002は、プロセッサ1001に対して遠隔に設定されたメモリを選択的に含み、これらの遠隔メモリは、ネットワークを介して図7の電子機器に接続可能である。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びこれらの組み合わせを含むが、これらに限定されない。
図7の電子機器は、入力装置1003と出力装置1004とをさらに含むことができる。プロセッサ1001、メモリ1002、入力装置1003及び出力装置1004は、バス又は他の方法を介して接続することができ、図7では、バスを介して接続することを例とする。
入力装置1003は、入力された数字又は文字情報を受信し、図7の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置1004は、ディスプレイデバイス、補助照明装置(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、決定用途向けASIC(決定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施され、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該記憶システム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び/又は対象指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」の用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」の用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
本願の実施例により、コンピュータプログラムをさらに提供し、コンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶され、電子機器の少なくとも1つのプロセッサは、コンピュータ読み取り可能な記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも1つのプロセッサは、コンピュータプログラムを実行することによって、電子機器に上記実施例に記載の方法を実行させる。
上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができると理解することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。
上記具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができると理解するべきである。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (16)

  1. データ更新方法であって、
    端末に、検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、予めウェブページのウェブページ内容に対してクロールして取得された要約情報を示す予め記憶されたウェブページ要約を含む検索結果ウェブページを提供することと、
    端末により送信される目標ウェブページの、前記端末が、前記端末で目標ウェブページをブラウズする際に目標ウェブページ内容に対してクロールして取得された現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って取得された比較情報を受信することと、
    目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新することと、を含
    前記目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新することは、
    前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、前記目標ウェブページに対してクロールし、更新ウェブページ要約を取得することと、
    取得される更新ウェブページ要約を利用して予め記憶されたウェブページ要約を更新することと、を含み、
    前記取得される更新ウェブページ要約を利用して予め記憶されたウェブページ要約を更新することは、
    前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じであると、端末の端末設定情報を収集し、前記端末設定情報に対応するクローラー方法を採用して前記目標ウェブページに対してクロールし、取得されるウェブページ要約を前記目標ウェブページが当該端末設定情報で検索される際にディスプレイされる予め記憶されたウェブページ要約とすることを含む、
    ことを特徴とするデータ更新方法。
  2. 前記取得される更新ウェブページ要約を利用して予め記憶されたウェブページ要約を更新することは、さらに、
    前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じではないと、直接に前記更新ウェブページ要約を更新された予め記憶されたウェブページ要約とすることを含む、
    ことを特徴とする請求項に記載のデータ更新方法。
  3. データ更新方法であって、
    検索サーバにより提供される、ユーザによりトリガーされる検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、検索サーバが予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを受信してディスプレイすることと、
    前記検索結果ウェブページにおいて目標ウェブページを決定し、前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得することと、
    前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って、比較情報を取得し、前記検索サーバが前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、前記目標ウェブページに対してクロールし、更新ウェブページ要約を取得し、前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じであると、端末の端末設定情報を収集し、前記端末設定情報に対応するクローラー方法を採用して前記目標ウェブページに対してクロールし、取得されるウェブページ要約を前記目標ウェブページが当該端末設定情報で検索される際にディスプレイされる予め記憶されたウェブページ要約とするように、前記比較情報を検索サーバに送信することと、を含む、
    ことを特徴とするデータ更新方法。
  4. 検索サーバにより送信されるクロールポリシーを受信することをさらに含み、
    前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得することは、
    前記クロールポリシーを採用して前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得することを含む、
    ことを特徴とする請求項に記載のデータ更新方法。
  5. 検索サーバにより提供される検索結果ウェブページを受信してディスプレイする前に、
    前記検索サーバが前記検索キーワードに基づいて前記検索結果ウェブページを生成するように、ユーザによりトリガーされる検索キーワードを検索サーバに送信することをさらに含む、
    ことを特徴とする請求項に記載のデータ更新方法。
  6. 通信モジュール、クローラーモジュール及び更新モジュールを含み、
    前記通信モジュールは、端末に、検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、予めクローラーモジュールを利用して予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを提供するために用いられ、
    通信モジュールは、さらに、端末により送信される目標ウェブページの、前記端末が、前記端末で目標ウェブページをブラウズする際に目標ウェブページ内容に対してクロールして取得された現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って取得された比較情報を受信するために用いられ、
    更新モジュールは、目標ウェブページの比較情報に基づいて目標ウェブページの予め記憶されたウェブページ要約を更新するために用いら
    前記クローラーモジュールは、具体的に、前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、前記目標ウェブページに対してクロールし、更新ウェブページ要約を取得するために用いられ、
    前記更新モジュールは、具体的に、取得される更新ウェブページ要約を利用して予め記憶されたウェブページ要約を更新するために用いられ、
    前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じであると、通信モジュールを利用して端末の端末設定情報を収集し、
    クローラーモジュールは、さらに、前記端末設定情報に対応するクローラー方法を採用して前記目標ウェブページに対してクロールするために用いられ、
    前記更新モジュールは、前記クローラーモジュールにより取得されるウェブページ要約を前記目標ウェブページが当該端末設定情報で検索される際にディスプレイされる予め記憶されたウェブページ要約とするために用いられる、
    ことを特徴とするデータ更新装置。
  7. 前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じではないと、前記更新モジュールは、さらに、直接に前記更新ウェブページ要約を更新された予め記憶されたウェブページ要約とするために用いられる、
    ことを特徴とする請求項に記載のデータ更新装置。
  8. 送受信モジュール及び比較モジュールを含み、
    前記送受信モジュールは、検索サーバにより提供される、ユーザによりトリガーされる検索キーワードに関連する1つ又は複数のウェブページ、および、各ウェブページに対応する、検索サーバが予めウェブページのウェブページ内容に対してクロールして取得された要約情報である予め記憶されたウェブページ要約を含む検索結果ウェブページを受信してディスプレイするために用いられ、
    前記比較モジュールは、前記検索結果ウェブページにおいて目標ウェブページを決定し、前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するために用いられ、さらに、前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とに対して一致性の比較を行って、比較情報を取得するために用いられ、
    前記送受信モジュールは、さらに、前記検索サーバが前記目標ウェブページの比較情報に基づいて前記現在のウェブページ要約と前記予め記憶されたウェブページ要約とが一致しないと決定すると、前記目標ウェブページに対してクロールし、更新ウェブページ要約を取得し、前記更新ウェブページ要約と前記予め記憶されたウェブページ要約とが同じであると、端末の端末設定情報を収集し、前記端末設定情報に対応するクローラー方法を採用して前記目標ウェブページに対してクロールし、取得されるウェブページ要約を前記目標ウェブページが当該端末設定情報で検索される際にディスプレイされる予め記憶されたウェブページ要約とするように、前記比較情報を検索サーバに送信するために用いられる、
    ことを特徴とするデータ更新装置。
  9. 前記送受信モジュールは、さらに、検索サーバにより送信されるクロールポリシーを受信するために用いられ、
    前記データ更新装置は、
    前記クロールポリシーを採用して前記目標ウェブページのウェブページ内容に対してクロールして、現在のウェブページ要約を取得するために用いられるクローラーモジュールをさらに含む、
    ことを特徴とする請求項に記載のデータ更新装置。
  10. 前記送受信モジュールは、さらに、前記検索サーバが前記検索キーワードに基づいて前記検索結果ウェブページを生成するように、ユーザによりトリガーされる検索キーワードを検索サーバに送信するために用いられる、
    ことを特徴とする請求項に記載のデータ更新装置。
  11. 検索サーバであって、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも1つのプロセッサが請求項1-のいずれか1項に記載のデータ更新方法を実行できるように、前記少なくとも1つのプロセッサにより実行される、
    ことを特徴とする検索サーバ。
  12. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも1つのプロセッサが請求項3-5のいずれか1項に記載のデータ更新方法を実行できるように、前記少なくとも1つのプロセッサにより実行される、
    ことを特徴とする端末。
  13. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には、コンピュータ実行命令が記憶されており、プロセッサは前記コンピュータ実行命令を実行すると、請求項1-のいずれか1項に記載のデータ更新方法を実現する、
    ことを特徴とする記憶媒体。
  14. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には、コンピュータ実行命令が記憶されており、プロセッサは前記コンピュータ実行命令を実行すると、請求項3-5のいずれか1項に記載のデータ更新方法を実現する、
    ことを特徴とする記憶媒体。
  15. コンピュータプログラムであって、前記コンピュータプログラムはプロセッサで実行されることにより請求項1―のいずれか1項に記載のデータ更新方法を実現する、
    ことを特徴とする、コンピュータプログラム。
  16. コンピュータプログラムであって、前記コンピュータプログラムはプロセッサで実行されることにより請求項3-5のいずれか1項に記載のデータ更新方法を実現する、
    ことを特徴とする、コンピュータプログラム。
JP2021575391A 2020-04-29 2021-03-16 データ更新方法、装置、検索サーバ、端末及び記憶媒体 Active JP7322194B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010357679.5 2020-04-29
CN202010357679.5A CN111767442B (zh) 2020-04-29 2020-04-29 数据更新方法、装置、搜索服务器、终端及存储介质
PCT/CN2021/081142 WO2021218468A1 (zh) 2020-04-29 2021-03-16 数据更新方法、装置、搜索服务器、终端及存储介质

Publications (2)

Publication Number Publication Date
JP2022537552A JP2022537552A (ja) 2022-08-26
JP7322194B2 true JP7322194B2 (ja) 2023-08-07

Family

ID=77316307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575391A Active JP7322194B2 (ja) 2020-04-29 2021-03-16 データ更新方法、装置、検索サーバ、端末及び記憶媒体

Country Status (3)

Country Link
US (1) US11803597B2 (ja)
JP (1) JP7322194B2 (ja)
KR (1) KR102615979B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342371A (ja) 2001-05-16 2002-11-29 Nec Corp Www検索システムおよび方法
JP2005135381A (ja) 2003-09-25 2005-05-26 Microsoft Corp クライアントベースのウェブクローリングのためのシステムおよび方法
WO2007114741A2 (en) 2006-03-30 2007-10-11 Telefonaktiebolaget Lm Ericsson (Publ) A method and apparatus for providing information on web site updates

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169770A1 (en) 2001-04-27 2002-11-14 Kim Brian Seong-Gon Apparatus and method that categorize a collection of documents into a hierarchy of categories that are defined by the collection of documents
US7840893B2 (en) 2005-04-25 2010-11-23 Kulas Charles J Display and manipulation of web page-based search results
US8707451B2 (en) 2006-03-01 2014-04-22 Oracle International Corporation Search hit URL modification for secure application integration
CN102135967B (zh) 2010-01-27 2013-06-05 华为技术有限公司 网页关键词提取方法、装置及系统
CN102446191A (zh) 2010-10-13 2012-05-09 北京创新方舟科技有限公司 一种用于生成网页内容摘要的方法、设备及系统
CN101984429B (zh) 2010-11-04 2012-03-14 北京百度网讯科技有限公司 获取目标页面的方法、装置、搜索引擎和浏览器
US20130117645A1 (en) * 2011-11-03 2013-05-09 Taptu Ltd Method and Apparatus for Generating a Feed of Updating Content
CN102663062B (zh) 2012-03-30 2015-01-14 北京奇虎科技有限公司 一种处理搜索结果中无效链接的方法及装置
WO2015043322A1 (zh) 2013-09-26 2015-04-02 北京奇虎科技有限公司 引擎抓取、验证和提供网页开放式摘要的方法及装置
EP3061272B1 (en) 2013-10-21 2019-09-25 Convida Wireless, LLC Crawling of m2m devices
CN103631888B (zh) 2013-11-15 2017-02-15 北京火信网络科技有限公司 基于位置的多数据源的数据搜索方法和装置
US9747556B2 (en) * 2014-08-20 2017-08-29 Vertafore, Inc. Automated customized web portal template generation systems and methods
US10242102B2 (en) * 2014-12-29 2019-03-26 Samsung Electronics Co., Ltd. Network crawling prioritization
CN107123743B (zh) 2017-05-26 2019-02-12 上海天马有机发光显示技术有限公司 有机发光器件及其制作方法、显示面板和显示装置
CN108415941A (zh) 2018-01-29 2018-08-17 湖北省楚天云有限公司 一种网页爬虫方法、装置以及电子设备
CN110795615B (zh) 2019-10-28 2022-08-09 百度在线网络技术(北京)有限公司 搜索方法、装置、设备和存储介质
CN111767442B (zh) 2020-04-29 2023-12-26 百度在线网络技术(北京)有限公司 数据更新方法、装置、搜索服务器、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342371A (ja) 2001-05-16 2002-11-29 Nec Corp Www検索システムおよび方法
JP2005135381A (ja) 2003-09-25 2005-05-26 Microsoft Corp クライアントベースのウェブクローリングのためのシステムおよび方法
WO2007114741A2 (en) 2006-03-30 2007-10-11 Telefonaktiebolaget Lm Ericsson (Publ) A method and apparatus for providing information on web site updates
JP2009532751A (ja) 2006-03-30 2009-09-10 テレフオンアクチーボラゲット エル エム エリクソン(パブル) ウェブサイトの更新についての情報を提供する方法および装置

Also Published As

Publication number Publication date
US11803597B2 (en) 2023-10-31
US20210342406A1 (en) 2021-11-04
KR20210098542A (ko) 2021-08-10
KR102615979B1 (ko) 2023-12-20
JP2022537552A (ja) 2022-08-26

Similar Documents

Publication Publication Date Title
US11403117B2 (en) Methods for processing mini program, and related devices
JP7087121B2 (ja) ランディングページの処理方法、装置、機器及び媒体
CN111159592B (zh) 搜索结果页生成方法、装置、电子设备及存储介质
US9519703B2 (en) Refining search results for a compound search query
US11157576B2 (en) Method, system and terminal for performing search in a browser
CN112000394B (zh) 用于访问小程序的方法、装置、设备以及存储介质
JP7130803B2 (ja) 検索方法、検索装置、電子機器及び記憶媒体
WO2021218468A1 (zh) 数据更新方法、装置、搜索服务器、终端及存储介质
CN111177539A (zh) 搜索结果页生成方法、装置、电子设备及存储介质
CN113094139B (zh) Ui样式更新方法和装置
CN112163143B (zh) 页面切换的方法、装置、设备以及存储介质
CN108959294B (zh) 一种访问搜索引擎的方法和装置
JP7322194B2 (ja) データ更新方法、装置、検索サーバ、端末及び記憶媒体
US20170193119A1 (en) Add-On Module Search System
JP7316305B2 (ja) グラフ計算の処理方法、装置、電子機器及び記憶媒体
JP2022106948A (ja) 情報表示方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN112446728B (zh) 广告召回方法、装置、设备及存储介质
CN111552879B (zh) 数据处理的方法及装置
CN111552878B (zh) 数据处理的方法及装置
CN111552877B (zh) 数据处理的方法及装置
US20170270132A1 (en) File browser user interface
CN112861029B (zh) 信息展示方法、装置、设备和介质
CN114254216A (zh) 一种提供搜索结果的方法及装置、电子设备和介质
CN114428891A (zh) 一种网络资源的处理方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230726

R150 Certificate of patent or registration of utility model

Ref document number: 7322194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150