WO2021047239A1 - 一种页面获取方法、装置及系统 - Google Patents
一种页面获取方法、装置及系统 Download PDFInfo
- Publication number
- WO2021047239A1 WO2021047239A1 PCT/CN2020/097918 CN2020097918W WO2021047239A1 WO 2021047239 A1 WO2021047239 A1 WO 2021047239A1 CN 2020097918 W CN2020097918 W CN 2020097918W WO 2021047239 A1 WO2021047239 A1 WO 2021047239A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- page
- static
- target
- server
- request
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
Definitions
- This application relates to the field of page acquisition, and in particular to a method, device and system for page acquisition.
- This application provides a method, device and system for obtaining a page to solve the problems of high pressure on the CMS server and slow page obtaining speed in the prior art.
- a method for obtaining a page includes:
- the static page request includes the target page identifier
- obtaining the corresponding page data from the database according to the static page generation request to generate the target static page includes:
- the target static page is generated by obtaining corresponding page data from the database according to the static page generation request.
- the method further includes:
- the static page is acquired.
- the method before sending the static page acquisition request to the static web page server, the method further includes:
- Receive cached page failure information sent by the cache server is that the cache server queries the user's cached page obtaining request, and is generated when the cached page fails to be obtained;
- the cached page request includes the target The identity of the page;
- the second aspect also provides a method for obtaining a page, and the method includes:
- the static webpage server queries the static page corresponding to the target page according to the static page acquisition request and returns the query result to the CMS server;
- the CMS server takes the static page generation request from the asynchronous queue and obtains corresponding page data from the database according to the static page generation request to generate a target static page;
- a static page generating unit configured to take out the static page generation request from the asynchronous queue and obtain corresponding page data from a database according to the static page generation request to generate a target static page;
- the static webpage server is configured to query the static page corresponding to the target page according to the static page acquisition request and return the query result to the CMS server.
- the last aspect provides a computer system, including:
- One or more processors are One or more processors.
- the static page request includes the target page identifier
- the CMS server when it sends a static page request for a target page to the static web server, it also generates a static page generation request for the target page and puts it in the asynchronous queue, and sends the request to the asynchronous queue in the resident asynchronous thread.
- the static page generation request is processed, and the latest static page is generated and uploaded to the static web server to realize the rapid and quasi-real-time generation of static pages.
- Most subsequent page retrieval requests can obtain the latest static pages from the static web server. In this case, there is no need to read the database in real time to obtain page data, and therefore, compared with the prior art, the server performance and the page obtaining speed are improved.
- Figure 2 is a flowchart of a method provided by an embodiment of the present application.
- FIG. 3 is a structural diagram of an apparatus provided by an embodiment of the present application.
- Fig. 4 is an architecture diagram of a computer system provided by an embodiment of the present application.
- This application aims to provide a new way for CMS server page acquisition, by sending a static page request for the target page to the static web server, and at the same time generating a static page generation request for the target page and placing it in an asynchronous queue.
- the resident asynchronous thread processes the static page generation request in the asynchronous queue to generate the latest static page and upload it to the static web server, so that the latest static page is stored in the static web server, and as long as the page that has been requested once has a corresponding
- the updated static page enables the subsequent CMS server to obtain the updated static page of most pages in the static web server, which reduces the real-time request of the page data from the database by the CMS server to solve the problem of high pressure and slow page retrieval speed.
- the system throughput has increased by more than 5 times, and the overall TP999 has dropped below 200ms, which greatly improves the server processing performance.
- the system architecture diagram of this application includes: a CMS server, a cache server, a static web server, and a database server.
- a CMS server When a user browses a page and sends a page acquisition request, the target page is first obtained from the cache server. If there is no corresponding cache page, the source is returned to the CMS server.
- the CMS server is located on each server in the order of the static web server and the database server. Get the target page in. That is, the static web server requests to obtain a static page; when the static web server does not have a corresponding static page, the database server requests to obtain page data to generate a web page to be returned to the user.
- the CMS server queries the static page of the target page on the static web server, regardless of whether the static page is queried, the CMS server will simultaneously generate a static page generation request for the target page and place it in an asynchronous queue.
- the resident asynchronous thread reads the requests of the asynchronous queue in order for processing, generates the latest static page corresponding to the target page and uploads it to the static web server. Because it is an asynchronous request, the latest static page can be generated quickly and quasi real-time, ensuring that the latest static page of most pages can be obtained from the static web server in the future.
- the CMS server obtains the page data from the database to generate the target page, and returns it to the user to ensure the first page acquisition. Since the static page generation request of the page is generated in the asynchronous queue at the same time, the latest static page of the page will also be uploaded to the static web server, and the follow-up only needs to rely on the static web server without calling the database again.
- Embodiment 1 of the present application provides a method for obtaining a page, and the method includes:
- S21 Send a static page acquisition request to a static webpage server and generate a static page generation request for the target page in an asynchronous queue; the static page request includes the target page identifier.
- the user's page acquisition request is usually first sent to the cache server to query the cached page.
- the cache server includes: a CDN server and/or a VARISH server. If there is a corresponding cached page in the cache server, the cached page will be directly returned to the user for display. If there is no corresponding cached page, the CMS server will return to the source to continue the static page. That is, before step S21, the method of this application further includes:
- step S20 Receive failure information sent by the cache server to obtain the cached page. Then, step S21 is executed according to the cache query failure information.
- the CMS server While requesting a static page, regardless of the result of the request, that is, regardless of whether there is a static page in the static web server, the CMS server also generates a static page generation request and places it in the asynchronous queue.
- the corresponding static page is found in the static web server, it can be directly returned to the user for browsing.
- the corresponding page data generation target is obtained from the database according to the static page generation request Static page, if it is smaller than, it will not be processed temporarily.
- the CMS server requests to obtain the static page of the above-mentioned target page next time, the corresponding static page can be obtained from the static web server.
- the second embodiment of the present application also provides a page acquisition device, which is applied in a CMS server, as shown in FIG. 3, the device includes:
- the static page request unit 31 is configured to send a static page acquisition request to a static webpage server and generate a static page generation request for a target page in an asynchronous queue; the static page request includes the target page identifier.
- the user's page acquisition request is usually first sent to the cache server to query the cached page.
- the cache server includes: a CDN server and/or a VARISH server. If there is a corresponding cached page in the cache server, it will directly return the cached page to the user for display. If there is no corresponding cached page, it will return to the source CMS server.
- the static page request unit 31 of the CMS server sends a static page acquisition request to the static The web server obtains the static page.
- the static page request unit 31 While requesting a static page, regardless of the result of the request, that is, regardless of whether there is a static page in the static web server, the static page request unit 31 also generates a static page generation request and places it in the asynchronous queue.
- the CMS server For a request for obtaining a static page, if the target page is requested for the first time, there is no corresponding static page in the static web server. At this time, the CMS server also includes a target page unit 34 for sending a request to the database to obtain page data. The target page is generated and returned to the user.
- the static page request unit 31 can directly return it to the user for browsing.
- the static page upload unit 33 is configured to upload to the static web server.
- the third embodiment of the present application provides a method for obtaining a page, and the method includes:
- the CMS server sends a static page acquisition request to the static web page server and generates a static page generation request for the target page in an asynchronous queue; the static page request includes the identifier of the target page;
- the static webpage server queries the static page corresponding to the target page according to the static page acquisition request and returns the query result to the CMS server;
- the CMS server is uploaded to the static web server.
- Embodiment 4 of the present application provides a computer system, including:
- One or more processors are One or more processors.
- a memory associated with the one or more processors where the memory is used to store program instructions, and when the program instructions are read and executed by the one or more processors, perform the following operations:
- the static page request includes the target page identifier
- FIG. 4 exemplarily shows the architecture of the computer system, which may specifically include a processor 1510, a video display adapter 1511, a disk drive 1512, an input/output interface 1513, a network interface 1514, and a memory 1520.
- the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, and the memory 1520 may be communicatively connected through the communication bus 1530.
- the processor 1510 may be implemented by a general CPU (Central Processing Unit, central processing unit), microprocessor, application specific integrated circuit (Application Specific Integrated Circuit, ASIC), or one or more integrated circuits, etc., for Perform relevant procedures to realize the technical solutions provided in this application.
- a general CPU Central Processing Unit, central processing unit
- microprocessor microprocessor
- application specific integrated circuit Application Specific Integrated Circuit, ASIC
- integrated circuits etc.
- the input/output interface 1513 is used to connect input/output modules to realize information input and output.
- the input/output/module can be configured in the device as a component (not shown in the figure), or it can be connected to the device to provide corresponding functions.
- the input device may include a keyboard, a mouse, a touch screen, a microphone, various sensors, etc., and an output device may include a display, a speaker, a vibrator, an indicator light, and the like.
- the network interface 1514 is used to connect a communication module (not shown in the figure) to realize the communication interaction between the device and other devices.
- the communication module can realize communication through wired means (such as USB, network cable, etc.), or through wireless means (such as mobile network, WIFI, Bluetooth, etc.).
- the bus 1530 includes a path to transmit information between various components of the device (for example, the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, and the memory 1520).
- various components of the device for example, the processor 1510, the video display adapter 1511, the disk drive 1512, the input/output interface 1513, the network interface 1514, and the memory 1520.
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种页面获取方法、装置及系统。其中方法包括：发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；上传所述目标静态页面至所述静态网页服务器。通过本申请在多数情况下都无需实时读取数据库来获得页面数据，因此相比现有技术，提高了服务器性能和页面获取速度。
Description
本申请涉及页面获取领域，特别是涉及页面获取方法、装置及系统。
当前网页内容管理领域的各种CMS服务器，获取页面内容通常有两种方式：
1)首先，在CDN、VARNISH缓存服务器中进行页面获取，当CDN、VARNISH缓存服务器中页面缓存没有命中时，回源应用直接读取数据库获得页面内容，此种方式对CMS服务器压力非常大，难以支持大并发量的页面访问，网页浏览速度慢；
2)首先，在CDN、VARNISH缓存服务器中进行页面获取,当CDN、VARNISH缓存服务器中页面缓存没有命中时，回源应用时首先读取页面更新标志，如果有更新读取数据库获得页面内容，如果无更新读取静态页文件服务器。相比第一种方式，能够提高吞吐量和网页浏览速度，但是当页面发生频繁更新时，依然存在服务器压力较大，响应速度存在噪点等情况。
因此目前急需一种可以减少CMS服务器压力，提高页面获取速度的方法。
发明内容
本申请提供了一种页面获取方法、装置及系统，以解决现有技术中CMS服务器压力大，页面获取速度慢的问题。
本申请提供了如下方案：
一方面公开了一种页面获取方法，所述方法包括：
发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；
从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；
上传所述目标静态页面至所述静态网页服务器。
优选的，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面包括：
当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。
优选的，所述方法还包括：
若所述静态网页服务器中不存在所述目标页面的静态页面，则发送目标页面获取请求至数据库以从数据库获取所述目标页面；
若所述静态网页服务器中存在所述目标页面的静态页面，则获取所述静态页面。
优选的，在发送静态页面获取请求至静态网页服务器之前，所述方法还包括：
接收缓存服务器发送的获取缓存页面失败信息；所述获取缓存页面失败信息为所述缓存服务器针对用户的缓存页面获取请求进行查询，获取缓存页面失败时生成；所述缓存页面请求中包括所述目标页面的标识；
所述发送静态页面获取请求至静态网页服务器包括：
根据获取缓存页面失败信息发送静态页面获取请求至所述静态网页服务器。
优选的，所述缓存服务器包括：CDN服务器和/或VARISH服务器。
第二方面还提供了一种页面获取方法，所述方法包括：
CMS服务器发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；
所述静态网页服务器根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器；
CMS服务器从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；
CMS服务器上传至所述静态网页服务器。
第三方面还提供了一种页面获取装置，所述装置包括：
静态页面请求单元，用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；
静态页面生成单元，用于从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；
静态页面上传单元，用于上传至所述静态网页服务器。
优选的，所述静态页面生成单元，具体用于：
当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。
第四方面还提供一种页面获取系统，所述系统包括：CMS服务器和静态网页服务器；
CMS服务器用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求，从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面以上传至所述静态网页服务器；所述静态页面请求中包括所述目标页面的标识；
所述静态网页服务器用于根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器。
最后一方面提供一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；
从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；
上传所述目标静态页面至所述静态网页服务器。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
本申请的技术方案，CMS服务器在向静态网页服务器发送针对一目标页面的静态页面请求时，同时生成针对该目标页面的静态页面生成请求放在异步队列，并在常驻异步线程中对异步队列的静态页面生成请求进行处理，生成最新的静态页面上传至静态网页服务器，实现静态页面的快速、准实时生成，后续大部分的页面获取请求都可以从静态网页服务器获得最新的静态页面，在多数情况下都无需实时读取数据库来获得页面数据，因此相比现有技术，提高了服务器性能和页面获取速度。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统结构图；
图2是本申请实施例提供的方法流程图；
图3是本申请实施例提供的装置结构图；
图4是本申请实施例提供的计算机系统架构图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请旨在提供一种CMS服务器的页面获取新方式，通过在向静态网页服务器发送针对目标页面的静态页面请求的同时，针对该目标页面生成一个静态页面生成请求放置在异步队列中，通过常驻异步线程对异步队列中的静态页面生成请求进行处理生成一最新的静态页面上传至静态网页服务器，使得静态网页服务器中存储有最新的静态页面，且只要是被请求过一次的页面均有对应的更新的静态页面，使得后续CMS服务器在静态网页服务器即可获得大多数页面的更新后的静态页面，减少了CMS服务器向数据库实时请求页面数据从而解决压力大，页面获取速度慢的问题。据统计，利用本申请方式，系统吞吐量增加了5倍以上，整体TP999下降到200ms以下，大大提高了服务器处理性能。
如图1所示，为本申请的系统架构图，包括：CMS服务器、缓存服务器、静态网页服务器以及数据库服务器。当用户进行页面浏览，发出页面获取请求时，首先在缓存服务器对目标页面进行获取，若不存在对应缓存页面时，回源至CMS服务器，CMS服务器按照静态网页服务器以及数据库服务器的顺序在各服务器中对目标页面进行获取。即在静态网页服务器请求获取静态页面；静态网页服务器不存在对应静态页面时，在数据库服务器请求获取页面数据生成网页页面以返回至用户。当CMS服务器在静态网页服务器查询目标页面的静态页面时，不论是否查询到该静态页面，CMS服务器都会同时生成针对该目标页面的静态页面生成请求并置于异步队列。常驻异步线程按照次序读取异步队列的请求进行处理，生成对应的目标页面的最新静态页面上传至静态网页服务器。由于是异步请求，因此可以快速、准实时的生成最新静态页面，保证了后续可以在静态网页服务器获取大部分页面的最新静态页面。
对于静态网页服务器中尚不存在的页面(该页面第一次被请求获取)，CMS服务器从数据库中获取页面数据生成目标页面，返回至用户保证第一次的页面获取。由于同时在异步队列生成了该页面的静态页面生成请求，因此该页面的最新静态页面也会被上传至静态网页服务器，后续只需依赖静态网页服务器即可，无需再次调用数据库。
实施例一
如图2所示，针对上述系统，本申请实施例一提供了一种页面获取方法，所述方法包括：
S21、发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识。
为更快的获取目标页面，用户的页面获取请求通常都会先发送至缓存服务器中进行缓存页面的查询。该缓存服务器包括：CDN服务器和/或VARISH服务器。若缓存服务器中存在相应的缓存页面，则直接返回缓存页面给用户展示，若不存在相应的缓存页面，则回源CMS服务器继续进行静态页面。即本申请方法在步骤S21之前还包括：
S20：接收缓存服务器发送的获取缓存页面失败信息。之后根据缓存查询失败信息执行步骤S21。
在请求静态页面的同时，不论请求结果如何，即不论静态网页服务器中是否存在静态页面，CMS服务器都还生成了静态页面生成请求并置于异步队列。
针对静态页面获取请求，如果目标页面是首次被请求，那么在静态网页服务器中就不存在对应的静态页面，此时需要进一步至数据库中获取页面数据生成目标页面返回给用户。
如果在静态网页服务器中查询到了对应的静态页面，可直接返回给用户进行浏览。
S22、从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。
针对异步队列中的异步请求，常驻异步线程对其进行处理，可以快速的生成最新的静态页面以上传至静态网页服务器。基于此，只要是CMS服务器请求过一次的目标页面，其静态页面都会存在于静态网页服务器中，便于后续大部分页面在静态网页服务器中的查询。
在该步骤中，如果同一用户或不同用户对同一页面频繁请求，远远超出页面的更新频率，那么可以在对异步请求进行处理时，判断该目标页面在一段时 间内是否已经进行过更新，如果进行过，则在预设时间内不对该异步请求进行处理，以避免对页面频繁重复的更新操作。
具体的，判断所述目标页面对应的前次静态页面生成时间与当前时间的时间差是否满足预设时间条件，如果大于一定时间，则根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面，若小于，则暂不处理。
S23、上传所述目标静态页面至所述静态网页服务器。
当CMS服务器下一次请求获取上述目标页面的静态页面时，可在静态网页服务器获得对应的静态页面。
实施例二
对应上述实施例一的方法，本申请实施例二还提供一种页面获取装置，应用在CMS服务器中，如图3所示，所述装置包括：
静态页面请求单元31，用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识。
为更快的获取目标页面，用户的页面获取请求通常都会先发送至缓存服务器中进行缓存页面的查询。该缓存服务器包括：CDN服务器和/或VARISH服务器。若缓存服务器中存在相应的缓存页面，则直接返回缓存页面给用户展示，若不存在相应的缓存页面，则回源CMS服务器，CMS服务器的静态页面请求单元31此时发送静态页面获取请求至静态网页服务器进行静态页面获取。
在请求静态页面的同时，不论请求结果如何，即不论静态网页服务器中是否存在静态页面，静态页面请求单元31都还生成了静态页面生成请求并置于异步队列。
针对静态页面获取请求，如果目标页面是首次被请求，那么在静态网页服务器中就不存在对应的静态页面，此时CMS服务器还包括目标页面单元34，用于发送请求至数据库中获取页面数据以生成目标页面返回给用户。
如果在静态网页服务器中查询到了对应的静态页面，静态页面请求单元 31可直接返回给用户进行浏览。
静态页面生成单元32，用于从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。
针对异步队列中的异步请求，静态页面生成单元32常驻异步线程对该其进行处理，可以快速的生成最新的静态页面并通过静态页面上传单元33上传至静态网页服务器。基于此，只要是CMS服务器请求过一次的目标页面，其静态页面都会存在于静态网页服务器中，便于后续大部分页面在静态网页服务器中的查询。
为避免同一用户或不同用户对同一页面频繁请求，远远超出页面的更新频率导致静态页面的频繁生成，该装置还包括判断单元35，用于在对异步请求进行处理时，判断该目标页面在一段时间内是否已经进行过更新，如果进行过，则静态页面生成单元32在预设时间内不对该异步请求进行处理，以避免对页面频繁重复的更新操作。
具体的，判断单元35判断所述目标页面对应的前次静态页面生成时间与当前时间的时间差是否满足预设时间条件，如果大于一定时间，则静态页面生成单元32根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面，若小于，则暂不处理。
静态页面上传单元33，用于上传至所述静态网页服务器。
实施例三
针对上述系统，本申请实施例三提供一种页面获取方法，所述方法包括：
CMS服务器发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；
所述静态网页服务器根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器；
CMS服务器从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；
CMS服务器上传至所述静态网页服务器。
本实施例可参见实施例一，其他部分不在详述。
实施例四
对应上述方法和装置，本申请实施例四提供一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；
从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；
上传所述目标静态页面至所述静态网页服务器。
其中，图4示例性的展示出了计算机系统的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。
其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521，用于 控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。
输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。
另外，该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。
需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、 光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的数据处理方法、装置及设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
- 一种页面获取方法，其特征在于，所述方法包括：发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；上传所述目标静态页面至所述静态网页服务器。
- 如权利要求1所述的页面获取方法，其特征在于，所述根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面包括：当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。
- 如权利要求1或2所述的页面获取方法，其特征在于，所述方法还包括：若所述静态网页服务器中不存在所述目标页面的静态页面，则发送目标页面获取请求至数据库以从数据库获取所述目标页面；若所述静态网页服务器中存在所述目标页面的静态页面，则获取所述静态页面。
- 如权利要求1或2任一项所述的页面获取方法，其特征在于，在发送静态页面获取请求至静态网页服务器之前，所述方法还包括：接收缓存服务器发送的获取缓存页面失败信息；所述获取缓存页面失败信息为所述缓存服务器针对用户的缓存页面获取请求进行查询，获取缓存页面失败时生成；所述缓存页面请求中包括所述目标页面的标识；所述发送静态页面获取请求至静态网页服务器包括：根据获取的所述缓存页面失败信息发送静态页面获取请求至所述静态网 页服务器。
- 如权利要求4所述的页面获取方法，其特征在于，所述缓存服务器包括：CDN服务器和/或VARISH服务器。
- 一种页面获取方法，其特征在于，所述方法包括：CMS服务器发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；所述静态网页服务器根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器；CMS服务器从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；CMS服务器上传所述目标静态页面至所述静态网页服务器。
- 一种页面获取装置，其特征在于，所述装置包括：静态页面请求单元，用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；静态页面生成单元，用于从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；静态页面上传单元，用于上传至所述静态网页服务器。
- 如权利要求7所述的页面获取装置，其特征在于，所述静态页面生成单元，具体用于：当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生 成目标静态页面。
- 一种页面获取系统，其特征在于，所述系统包括：CMS服务器和静态网页服务器；CMS服务器用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求，从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面以上传至所述静态网页服务器；所述静态页面请求中包括所述目标页面的标识；所述静态网页服务器用于根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器。
- 一种计算机系统，其特征在于，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；上传所述目标静态页面至所述静态网页服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CA3154032A CA3154032A1 (en) | 2019-09-10 | 2020-06-24 | Page obtaining method, device and system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910851433.0 | 2019-09-10 | ||
| CN201910851433.0A CN110737856A (zh) | 2019-09-10 | 2019-09-10 | 一种页面获取方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021047239A1 true WO2021047239A1 (zh) | 2021-03-18 |
Family
ID=69267889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/097918 WO2021047239A1 (zh) | 2019-09-10 | 2020-06-24 | 一种页面获取方法、装置及系统 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110737856A (zh) |
| CA (1) | CA3154032A1 (zh) |
| WO (1) | WO2021047239A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113742551A (zh) * | 2021-09-07 | 2021-12-03 | 贵州电子商务云运营有限责任公司 | 一种基于scrapy和puppeteer的动态数据抓取方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110737856A (zh) * | 2019-09-10 | 2020-01-31 | 苏宁云计算有限公司 | 一种页面获取方法、装置及系统 |
| CN111783000B (zh) * | 2020-06-30 | 2023-08-08 | 中国工商银行股份有限公司 | 门户网站的静态化处理方法及装置 |
| CN112347107A (zh) * | 2020-11-11 | 2021-02-09 | Oppo（重庆）智能科技有限公司 | 数据持久化方法、移动终端及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045372A (zh) * | 2009-10-20 | 2011-05-04 | 上海及第熊软件科技有限公司 | 一种实现远程静态化的网站内容发布方法和系统 |
| CN102479241A (zh) * | 2010-11-30 | 2012-05-30 | 英业达股份有限公司 | 先提供预建立文件的查找系统及其方法 |
| CN104376097A (zh) * | 2014-11-25 | 2015-02-25 | 同程网络科技股份有限公司 | 基于Windows服务程序的主动式缓存方法 |
| CN106202547A (zh) * | 2016-07-26 | 2016-12-07 | 努比亚技术有限公司 | 一种站点管理方法、装置以及一种网站系统 |
| US20170111508A1 (en) * | 2014-10-23 | 2017-04-20 | Bruce A. Sharpe | Method for connecting users with agents based on user values dynamically determined according to a set of rules or algorithms |
| CN109032797A (zh) * | 2018-07-18 | 2018-12-18 | 上海恺英网络科技有限公司 | 用于提供网页访问的方法及设备 |
| CN109165369A (zh) * | 2018-07-12 | 2019-01-08 | 北京猫眼文化传媒有限公司 | 网页显示方法和装置 |
| CN110737856A (zh) * | 2019-09-10 | 2020-01-31 | 苏宁云计算有限公司 | 一种页面获取方法、装置及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090119329A1 (en) * | 2007-11-02 | 2009-05-07 | Kwon Thomas C | System and method for providing visibility for dynamic webpages |
| CN106407341A (zh) * | 2016-09-05 | 2017-02-15 | 努比亚技术有限公司 | 页面处理的方法、装置及系统 |
| CN107071066A (zh) * | 2017-06-07 | 2017-08-18 | 北京潘达互娱科技有限公司 | 页面访问方法及装置 |
-
2019
- 2019-09-10 CN CN201910851433.0A patent/CN110737856A/zh active Pending
-
2020
- 2020-06-24 WO PCT/CN2020/097918 patent/WO2021047239A1/zh active Application Filing
- 2020-06-24 CA CA3154032A patent/CA3154032A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045372A (zh) * | 2009-10-20 | 2011-05-04 | 上海及第熊软件科技有限公司 | 一种实现远程静态化的网站内容发布方法和系统 |
| CN102479241A (zh) * | 2010-11-30 | 2012-05-30 | 英业达股份有限公司 | 先提供预建立文件的查找系统及其方法 |
| US20170111508A1 (en) * | 2014-10-23 | 2017-04-20 | Bruce A. Sharpe | Method for connecting users with agents based on user values dynamically determined according to a set of rules or algorithms |
| CN104376097A (zh) * | 2014-11-25 | 2015-02-25 | 同程网络科技股份有限公司 | 基于Windows服务程序的主动式缓存方法 |
| CN106202547A (zh) * | 2016-07-26 | 2016-12-07 | 努比亚技术有限公司 | 一种站点管理方法、装置以及一种网站系统 |
| CN109165369A (zh) * | 2018-07-12 | 2019-01-08 | 北京猫眼文化传媒有限公司 | 网页显示方法和装置 |
| CN109032797A (zh) * | 2018-07-18 | 2018-12-18 | 上海恺英网络科技有限公司 | 用于提供网页访问的方法及设备 |
| CN110737856A (zh) * | 2019-09-10 | 2020-01-31 | 苏宁云计算有限公司 | 一种页面获取方法、装置及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113742551A (zh) * | 2021-09-07 | 2021-12-03 | 贵州电子商务云运营有限责任公司 | 一种基于scrapy和puppeteer的动态数据抓取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110737856A (zh) | 2020-01-31 |
| CA3154032A1 (en) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021047239A1 (zh) | 一种页面获取方法、装置及系统 | |
| EP3146698B1 (en) | Method and system for acquiring web pages | |
| CN106933871B (zh) | 短链接处理方法、装置及短链接服务器 | |
| JP5826266B2 (ja) | ウェブページのネストしたフラグメントキャッシングを処理する方法および装置 | |
| JP2019504412A (ja) | ショートリンクの処理方法、デバイス、及びサーバ | |
| US9432484B1 (en) | CIM-based data storage management system having a restful front-end | |
| US10803232B2 (en) | Optimizing loading of web page based on aggregated user preferences for web page elements of web page | |
| US10296485B2 (en) | Remote direct memory access (RDMA) optimized high availability for in-memory data storage | |
| CN109992406B (zh) | 图片请求方法、响应图片请求的方法及客户端 | |
| CN103051706A (zh) | 应用于动态网站的动态网页请求处理系统和方法 | |
| US20170153909A1 (en) | Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine | |
| WO2013188981A1 (en) | Common web accessible data store for client side page processing | |
| WO2015179244A1 (en) | Method and system for acquiring web pages | |
| JP2018532202A (ja) | クラウドファイル処理方法および装置 | |
| CN107918617B (zh) | 数据查询方法和装置 | |
| CN110943876B (zh) | Url状态检测方法、装置、设备和系统 | |
| WO2018177286A1 (zh) | 一种静态资源请求处理方法及装置 | |
| US10827035B2 (en) | Data uniqued by canonical URL for rest application | |
| WO2015058614A1 (zh) | 一种书签存储方法及装置、确定待浏览书签的方法及装置 | |
| US9516130B1 (en) | Canonical API parameters | |
| CN111885177A (zh) | 一种基于云计算技术的生物信息分析云计算方法、系统 | |
| CN104580392B (zh) | 一种用于维持长连接的方法、装置与设备 | |
| US11134116B2 (en) | System and method for dynamically loading a webpage | |
| US11323537B1 (en) | Generating early hints informational responses at an intermediary server | |
| WO2002061586A2 (en) | Smart-caching system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20864175 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 3154032 Country of ref document: CA |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20864175 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20864175 Country of ref document: EP Kind code of ref document: A1 |