TWI734681B - 資料緩存的預熱方法及其裝置 - Google Patents

資料緩存的預熱方法及其裝置 Download PDF

Info

Publication number
TWI734681B
TWI734681B TW105106906A TW105106906A TWI734681B TW I734681 B TWI734681 B TW I734681B TW 105106906 A TW105106906 A TW 105106906A TW 105106906 A TW105106906 A TW 105106906A TW I734681 B TWI734681 B TW I734681B
Authority
TW
Taiwan
Prior art keywords
copy
data
user request
data corresponding
cache
Prior art date
Application number
TW105106906A
Other languages
English (en)
Other versions
TW201712574A (zh
Inventor
鄧文佳
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201712574A publication Critical patent/TW201712574A/zh
Application granted granted Critical
Publication of TWI734681B publication Critical patent/TWI734681B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1021—Hit rate improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/28—Using a specific disk cache architecture
    • G06F2212/281—Single cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/602—Details relating to cache prefetching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/6024—History based prefetching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申請案提供一種資料緩存的預熱方法及其裝置，所述方法包括：接收使用者請求；根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例；按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。本申請案能夠在高性能、高併發的情況下完成緩存預熱工作，且無需人工干預，對系統負載無影響。

Description

資料緩存的預熱方法及其裝置
本申請案涉及資訊技術領域，尤其涉及一種資料緩存的預熱方法及其裝置。
在資料處理過程中，通常會存在訪問量大，使用者併發訪問高的資料。為了減小系統回應時間，緩解系統及資料庫壓力，對於資料結果採用緩存的方式來提高系統性能，減少系統壓力。在資料請求之前將資料寫入緩存，被稱之為緩存預熱。但是緩存預熱通常需要人工干預類比生成使用者請求對應的資料並載入到緩存中供使用者使用，需要實施的工作量比較大。
有鑑於此，本申請案提供一種資料緩存的預熱方法及其裝置，其能夠在高性能、高併發的情況下完成緩存預熱工作，且無需人工干預，對系統負載無影響。
本申請案提供一種資料緩存的預熱方法，所述方法包括： 接收使用者請求；根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例；按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
在本申請案一具體實現中，所述流量複製控制信號為根據使用者請求對應的資料量獲得。
在本申請案一具體實現中，所述根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例為：接收第一流量複製控制信號和第二流量複製控制信號，所述第一流量複製控制信號對應第一資料量，所述第二流量複製信號對應第二資料量，第一資料量大於第二資料量時，第一流量複製信號的複製比例高於第二流量複製信號的複製比例。
在本申請案一具體實現中，所述根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例為：根據接收的流量複製控制信號，逐漸線性的調整對所述使用者請求對應的資料的複製比例。
在本申請案一具體實現中，所述根據接收的流量複製控制信號，逐漸線性的調整對所述使用者請求對應的資料的複製比例為：根據接收的流量複製控制信號，逐漸線性的提高對所 述使用者請求對應的資料的複製比例。
在本申請案一具體實現中，所述按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中為：從資料來源中獲取所述使用者請求對應的資料，將符合複製比例的所述使用者請求對應的資料複製到緩存中；或者，從資料來源中獲取符合複製比例的所述使用者請求對應的資料，並將所獲取的資料複製到緩存中。
在本申請案一具體實現中，所述方法還包括：如查詢緩存中並未儲存使用者請求對應的資料，從資料來源載入使用者請求對應的資料，並將所述使用者請求對應的資料複製到緩存。
對應於上述方法，本申請案還提供一種資料緩存的預熱裝置，所述裝置包括：請求接收模組，用於接收使用者請求；比例確定模組，用於根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例；資料複製模組，用於按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
在本申請案一具體實現中，所述流量複製控制信號為根據使用者請求對應的資料量獲得。
在本申請案一具體實現中，所述比例確定模組具體用於接收第一流量複製控制信號和第二流量複製控制信號，所述第一流量複製控制信號對應第一資料量，所述第二流 量複製信號對應第二資料量，當第一資料量大於第二資料量時，第一流量複製信號的複製比例高於第二流量複製信號的複製比例。
在本申請案一具體實現中，所述比例確定模組具體用於根據接收的流量複製控制信號，逐漸線性的調整對所述使用者請求對應的資料的複製比例。
在本申請案一具體實現中，所述比例確定模組具體用於根據接收的流量複製控制信號，逐漸線性的提高對所述使用者請求對應的資料的複製比例。
在本申請案一具體實現中，所述資料複製模組具體用於從資料來源中獲取所述使用者請求對應的資料，將符合複製比例的所述使用者請求對應的資料複製到緩存中；或者， 從資料來源中獲取符合複製比例的所述使用者請求對應的資料，並將所獲取的資料複製到緩存中。
在本申請案一具體實現中，所述裝置還包括：資料查詢模組，用於如查詢緩存中並未儲存使用者請求對應的資料，從資料來源載入使用者請求對應的資料，並將所述使用者請求對應的資料複製到緩存。
由以上技術方案可見，本申請案接收使用者請求，並從資料來源中獲得使用者請求對應的資料。進而根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例，按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。因此，本申請案在緩存預熱 過程中，不需要人工干預類比生成使用者請求的資料，對系統當前負載無影響。本申請案緩存預熱是根據使用者請求對應的資料確定將哪些資料複製到緩存中，提高了預先寫入的資料包含使用者請求對應的資料的機率，進而提高了緩存的命中率，改善了緩存效果。
11‧‧‧控制器
12‧‧‧記憶體
13‧‧‧其他硬體
41‧‧‧請求接收模組
42‧‧‧比例確定模組
43‧‧‧資料複製模組
44‧‧‧資料查詢模組
61‧‧‧緩存
62‧‧‧資料庫
為了更清楚地說明本申請案實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請案中記載的一些實施例，對於本領域普通技術人員來講，還可以根據這些附圖獲得其他的附圖。
圖1是資料緩存的預熱方法及其裝置所應用分散式伺服器的硬體結構圖；圖2是本申請案資料緩存的預熱方法一實施例的流程圖；圖3是本申請案資料緩存的預熱方法另一實施例的流程圖；圖4是本申請案資料緩存的預熱裝置一實施例的結構圖；圖5是本申請案資料緩存的預熱裝置另一實施例的結構圖；圖6是本申請案資料緩存的預熱一應用場景的示意圖。
本申請案接收使用者請求，並從資料來源中獲得使用者請求對應的資料。進而根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例，按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。因此，本申請案在緩存預熱過程中，不需要人工干預類比生成使用者請求的資料，對系統當前負載無影響。本申請案緩存預熱是根據使用者請求對應的資料確定將哪些資料複製到緩存中，提高了預先寫入的資料包含使用者請求對應的資料的機率，進而提高了緩存的命中率，改善了緩存效果。
當然，實施本申請案的任一技術方案必不一定需要同時達到以上所述的所有優點。
為了使本領域的人員更好地理解本申請案中的技術方案，下面將結合本申請案實施例中的附圖，對本申請案實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請案一部分實施例，而不是全部的實施例。基於本申請案中的實施例，本領域普通技術人員所獲得的所有其他實施例，都應當屬於本申請案保護的範圍。
本申請案提供一種資料緩存的預熱方法，應用於底層資料系統。本申請案應用於分散式伺服器，參看圖1，分散式伺服器1的硬體結構包括控制器11、記憶體12以及 其他硬體13。
參看圖2，本申請案所述方法2包括：
S1、接收使用者請求。
由於緩存工作機制是接收使用者請求後，先從緩存中獲取使用者請求對應的資料。如果無法獲取到使用者請求對應的資料，則從資料來源的資料庫中獲取使用者請求對應的資料。因此，對於緩存預熱而言，如果緩存中預先寫入的資料包含使用者請求對應的資料的機率較低，則表明緩存的命中率較低，緩存效果較差。
本申請案接收使用者請求，因此，本申請案在緩存預熱過程中，不需要人工干預，類比生成使用者請求的資料，對系統當前負載無影響。
S2、根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例。
為了避免緩存預熱中資料來源的資料庫以及系統壓力過大，在本申請案一具體實現中，所述流量複製控制信號為根據使用者請求對應的資料量獲得。本申請案根據使用者請求對應的資料量的大小，產生流量複製控制信號，確定對所述使用者請求對應的資料的複製比例。所述根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例為：接收第一流量複製控制信號和第二流量複製控制信號，所述第一流量複製控制信號對應第一資料量，所述第二流量複製信號對應第二資料量，當第一資料量大於第二資料量時，第一流量複製信號的複製比例高於 第二流量複製信號的複製比例。即，使用者請求對應的資料量大，流量複製控制信號確定對所述使用者請求對應的資料的複製比例高；使用者請求對應的資料量小，流量複製控制信號確定對所述使用者請求對應的資料的複製比例低。
本申請案緩存預熱是根據使用者請求對應的資料確定將哪些資料複製到緩存中，提高了預先寫入的資料包含使用者請求對應的資料的機率，進而提高了緩存的命中率，改善了緩存效果。
在本申請案另一具體實施例中，為了保證緩存預熱更加平滑，所述根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例為：根據接收的流量複製控制信號，逐漸線性的調整對所述使用者請求對應的資料的複製比例。
由於緩存在剛開始預熱時，資料來源的資料庫壓力及系統壓力極大，在嚴重的情況下導致系統崩潰，在本申請案再一具體實施例中，所述根據接收的流量複製控制信號，逐漸線性的調整對所述使用者請求對應的資料的複製比例為：根據接收的流量複製控制信號，逐漸線性的提高對所述使用者請求對應的資料的複製比例。
因此，本申請案逐漸線性的提高將資料來源的資料庫中使用者請求對應的資料的複製比例，避免了緩存預熱初，資料來源的資料庫壓力及系統壓力過大造成的系統崩 潰。
S3、按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
本申請案按照所述逐漸線性提高的所述使用者請求對應的資料的複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
在本申請案一具體實現中，本申請案從資料來源中獲取所述使用者請求對應的資料，將符合複製比例的所述使用者請求對應的資料複製到緩存中。
在本申請案另一具體實現中，本申請案從資料來源中獲取符合複製比例的所述使用者請求對應的資料，並將所獲取的資料複製到緩存中。
因此，本申請案能夠在高性能、高併發的情況下完成緩存預熱工作，其對系統的原有性能無影響。本申請案能夠實現不增大資料來源壓力，且平滑、安全、高命中的緩存預熱。
參看圖3，所述方法3包括上述步驟S1--S3外，還包括步驟：
S4、如查詢緩存中並未儲存使用者請求對應的資料，從資料來源載入使用者請求對應的資料，並將所述使用者請求對應的資料複製到緩存。
在緩存處理機制中，如果緩存中無法獲取到使用者請求對應的資料，則從資料來源的資料庫中載入使用者請求對應的資料。為了保證之後接收到相同的使用者請求時， 緩存中可以獲取到使用者請求對應的資料，則將所述使用者請求對應的資料複製到緩存。
對應於上述方法，本申請案還提供一種資料緩存的預熱的裝置，本申請案應用於分散式伺服器，參看圖1，分散式伺服器1的硬體結構包括控制器11、記憶體12以及其他硬體13。
參看圖4，本申請案所述裝置4包括：
請求接收模組41，用於接收使用者請求。
比例確定模組42，用於根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例。
資料複製模組43，用於按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
由於緩存工作機制是接收使用者請求後，先從緩存中獲取使用者請求對應的資料。如果無法獲取到使用者請求對應的資料，則從資料來源的資料庫中獲取使用者請求對應的資料。因此，對於緩存預熱而言，如果緩存中預先寫入的資料包含使用者請求對應的資料的機率較低，則表明緩存的命中率較低，緩存效果較差。
本申請案接收使用者請求，因此，本申請案在緩存預熱過程中，不需要人工干預類比生成使用者請求的資料，對系統當前負載無影響。
為了避免緩存預熱中資料來源的資料庫以及系統壓力過大，在本申請案一具體實現中，所述流量複製控制信號為根據使用者請求對應的資料量獲得。本申請案根據使用 者請求對應的資料量的大小，產生流量複製控制信號，確定對所述使用者請求對應的資料的複製比例。所述比例確定模組42具體用於接收第一流量複製控制信號和第二流量複製控制信號，所述第一流量複製控制信號對應第一資料量，所述第二流量複製信號對應第二資料量，當第一資料量大於第二資料量時，第一流量複製信號的複製比例高於第二流量複製信號的複製比例。即，使用者請求對應的資料量大，流量複製控制信號確定對所述使用者請求對應的資料的複製比例高；使用者請求對應的資料量小，流量複製控制信號確定對所述使用者請求對應的資料的複製比例低。
本申請案緩存預熱是根據使用者請求對應的資料確定將哪些資料複製到緩存中，提高了預先寫入的資料包含使用者請求對應的資料的機率，進而提高了緩存的命中率，改善了緩存效果。
在本申請案另一具體實施例中，為了保證緩存預熱更加平滑，所述比例確定模組42具體用於根據接收的流量複製控制信號，逐漸線性的調整對所述使用者請求對應的資料的複製比例。
由於緩存在剛開始預熱時，資料來源的資料庫壓力及系統壓力極大，在嚴重的情況下導致系統崩潰，在本申請案再一具體實施例中，所述比例確定模組42具體用於根據接收的流量複製控制信號，逐漸線性的提高對所述使用者請求對應的資料的複製比例。
因此，本申請案逐漸線性的提高將資料來源的資料庫中使用者請求對應的資料的複製比例，避免了緩存預熱初，資料來源的資料庫壓力及系統壓力過大造成的系統崩潰。
本申請案按照所述逐漸線性提高的所述使用者請求對應的資料的複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
在本申請案一具體實現中，本申請案資料複製模組43具體用於從資料來源中獲取所述使用者請求對應的資料，將符合複製比例的所述使用者請求對應的資料複製到緩存中。
在本申請案另一具體實現中，本申請案資料複製模組43具體用於從資料來源中獲取符合複製比例的所述使用者請求對應的資料，並將所獲取的資料複製到緩存中。
因此，本申請案能夠在高性能、高併發的情況下完成緩存預熱工作，其對系統的原有性能無影響。本申請案能夠實現不增大資料來源壓力，且平滑、安全、高命中的緩存預熱。
參看圖5，所述裝置5包括：請求接收模組41、比例確定模組42、資料複製模組43，還包括：資料查詢模組44，用於當查詢緩存中並未儲存使用者請求對應的資料，從資料來源載入使用者請求對應的資料，並將所述使用者請求對應的資料複製到緩存。
在緩存處理機制中，如果緩存中無法獲取到使用者請 求對應的資料，則從資料來源的資料庫中載入使用者請求對應的資料。為了保證之後接收到相同的使用者請求時，緩存中可以獲取到使用者請求對應的資料，則將所述使用者請求對應的資料複製到緩存。
下面透過本申請案實施例的一具體應用場景來進一步說明本申請案實現。
參看圖6，資料處理中的緩存預熱系統，包括緩存61，資料來源的資料庫62，其具體處理流程包括：接收使用者請求，並從資料來源的資料庫61中獲得使用者請求對應的資料。
本申請案接收使用者請求，從資料來源中獲得使用者請求對應的資料。因此，本申請案在緩存預熱過程中，不需要人工干預類比生成使用者請求的資料，對系統當前負載無影響。並且，本申請案緩存預熱是根據使用者請求對應的資料確定將哪些資料複製到緩存中，提高了預先寫入的資料包含使用者請求對應的資料的機率，進而提高了緩存的命中率，改善了緩存效果。
系統根據接收的流量複製控制信號，確定對所述使用者請求對應的資料的複製比例。
所述流量複製控制信號根據接收的流量複製控制信號，逐漸線性的提高對所述使用者請求對應的資料的複製比例。
因此，本申請案逐漸線性的提高將資料來源的資料庫中使用者請求對應的資料的複製比例，避免了緩存預熱 初，資料來源的資料庫壓力及系統壓力過大造成的系統崩潰。
按照所述複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
因此，本申請案能夠在高性能、高併發的情況下完成緩存預熱工作，其對系統的原有性能無影響。本申請案能夠實現不增大資料來源壓力，且平滑、安全、高命中的緩存預熱。
本申請案的實施例所提供的裝置可透過電腦程式實現。本領域技術人員應該能夠理解，上述的單元以及模組劃分方式僅是眾多劃分方式中的一種，如果劃分為其他單元或模組或不劃分塊，只要資訊物件的具有上述功能，都應該在本申請案的保護範圍之內。
本領域的技術人員應明白，本申請案的實施例可提供為方法、裝置(設備)、或電腦程式產品。因此，本申請案可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本申請案可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。
本申請案是參照根據本申請案實施例的方法、裝置(設備)和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方 塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得透過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。
儘管已描述了本申請案的較佳實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附申請專利範圍意欲解釋為包括較佳實施例以及落入本申請案範圍的所有變更和修改。顯然，本領域的技術人員可以對本申請案進行各種改動和變型而不脫離本申請案的精神和範圍。這樣，倘若本申請案的這些修改和變型屬於本申請案申請專利範圍及 其同等技術的範圍之內，則本申請案也意圖包含這些改動和變型在內。

Claims (12)

  1. 一種資料緩存的預熱方法，其特徵在於，該方法包括：接收使用者請求；根據接收的流量複製控制信號，確定對該使用者請求對應的資料的複製比例；該流量複製控制信號包括：第一流量複製控制信號和第二流量複製控制信號；該第一流量複製控制信號對應第一資料量，該第二流量複製信號對應第二資料量；在第一資料量大於第二資料量的情況下，該第一流量複製信號的複製比例高於第二流量複製信號的複製比例；按照該複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
  2. 根據申請專利範圍第1項所述的方法，其中，該流量複製控制信號為根據使用者請求對應的資料量獲得。
  3. 根據申請專利範圍第1或2項所述的方法，其中，所述根據接收的流量複製控制信號，確定對該使用者請求對應的資料的複製比例為：根據接收的流量複製控制信號，逐漸線性的調整對該使用者請求對應的資料的複製比例。
  4. 根據申請專利範圍第3項所述的方法，其中，所述根據接收的流量複製控制信號，逐漸線性的調整對該使用者請求對應的資料的複製比例為：根據接收的流量複製控制信號，逐漸線性的提高對該 使用者請求對應的資料的複製比例。
  5. 根據申請專利範圍第1項所述的方法，其中，所述按照該複製比例，將資料來源中使用者請求對應的資料複製到緩存中為：從資料來源中獲取該使用者請求對應的資料，將符合複製比例的該使用者請求對應的資料複製到緩存中；或者，從資料來源中獲取符合複製比例的該使用者請求對應的資料，並將所獲取的資料複製到緩存中。
  6. 根據申請專利範圍第1項所述的方法，其中，該方法還包括：如查詢緩存中並未儲存使用者請求對應的資料，從資料來源載入使用者請求對應的資料，並將該使用者請求對應的資料複製到緩存。
  7. 一種資料緩存的預熱裝置，其特徵在於，該裝置包括：請求接收模組，用於接收使用者請求；比例確定模組，用於根據接收的流量複製控制信號，確定對該使用者請求對應的資料的複製比例；該流量複製控制信號包括：第一流量複製控制信號和第二流量複製控制信號；該第一流量複製控制信號對應第一資料量，該第二流量複製信號對應第二資料量；在第一資料量大於第二資料量的情況下，該第一流量複製信號的複製比例高於第二流量複製信號的複製比例； 資料複製模組，用於按照該複製比例，將資料來源中使用者請求對應的資料複製到緩存中。
  8. 根據申請專利範圍第7項所述的裝置，其中，該流量複製控制信號為根據使用者請求對應的資料量獲得。
  9. 根據申請專利範圍第7或8項所述的裝置，其中，該比例確定模組具體用於根據接收的流量複製控制信號，逐漸線性的調整對該使用者請求對應的資料的複製比例。
  10. 根據申請專利範圍第9項所述的裝置，其中，該比例確定模組具體用於根據接收的流量複製控制信號，逐漸線性的提高對該使用者請求對應的資料的複製比例。
  11. 根據申請專利範圍第7項所述的裝置，其中，該資料複製模組具體用於從資料來源中獲取該使用者請求對應的資料，將符合複製比例的該使用者請求對應的資料複製到緩存中；或者，從資料來源中獲取符合複製比例的該使用者請求對應的資料，並將所獲取的資料複製到緩存中。
  12. 根據申請專利範圍第7項所述的裝置，其中，該裝置還包括：資料查詢模組，用於如查詢緩存中並未儲存使用者請求對應的資料，從資料來源載入使用者請求對應的資料，並將該使用者請求對應的資料複製到緩存。
TW105106906A 2015-07-17 2016-03-07 資料緩存的預熱方法及其裝置 TWI734681B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510425549.XA CN106708819A (zh) 2015-07-17 2015-07-17 一种数据缓存的预热方法及其装置
CN201510425549.X 2015-07-17

Publications (2)

Publication Number Publication Date
TW201712574A TW201712574A (zh) 2017-04-01
TWI734681B true TWI734681B (zh) 2021-08-01

Family

ID=57776592

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105106906A TWI734681B (zh) 2015-07-17 2016-03-07 資料緩存的預熱方法及其裝置

Country Status (4)

Country Link
US (1) US11055223B2 (zh)
CN (1) CN106708819A (zh)
TW (1) TWI734681B (zh)
WO (1) WO2017015059A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853253B2 (en) * 2016-08-30 2020-12-01 Oracle International Corporation Method and systems for master establishment using service-based statistics
US10866893B2 (en) 2018-01-23 2020-12-15 Home Depot Product Authority, Llc Cache coherency engine
US11586979B2 (en) * 2018-12-31 2023-02-21 Visa International Service Association System, method, and computer program product for distributed cache data placement
CN114138357A (zh) * 2021-10-29 2022-03-04 北京达佳互联信息技术有限公司 一种请求处理方法、装置、电子设备、存储介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044439A (en) * 1997-10-27 2000-03-28 Acceleration Software International Corporation Heuristic method for preloading cache to enhance hit rate
TW200426625A (en) * 2002-12-23 2004-12-01 Ibm A transparent edge-of-network data cache
US20060190236A1 (en) * 2005-02-18 2006-08-24 Opnet Technologies, Inc. Application level interface to network analysis tools
US20070276990A1 (en) * 2006-05-29 2007-11-29 Sandisk Il Ltd. Method for preloading data to improve data-retrieval times
CN102521260A (zh) * 2011-11-18 2012-06-27 华为技术有限公司 数据预热方法及装置
CN103748555A (zh) * 2011-08-22 2014-04-23 国际商业机器公司 在云中基于多维用户请求模式快速供应虚拟机
CN104239231A (zh) * 2014-09-01 2014-12-24 上海爱数软件有限公司 一种加速二级缓存预热的方法及装置
CN104683485A (zh) * 2015-03-25 2015-06-03 重庆邮电大学 一种基于c-ran的互联网内容缓存预加载方法和系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768999B2 (en) * 1996-06-28 2004-07-27 Mirror Worlds Technologies, Inc. Enterprise, stream-based, information management system
US6976258B1 (en) 1999-11-30 2005-12-13 Ensim Corporation Providing quality of service guarantees to virtual hosts
US7062642B1 (en) 2000-05-20 2006-06-13 Ciena Corporation Policy based provisioning of network device resources
US6829704B2 (en) 2001-04-13 2004-12-07 General Electric Company Method and system to automatically activate software options upon initialization of a device
US7047297B2 (en) 2001-07-17 2006-05-16 Mcafee, Inc. Hierarchically organizing network data collected from full time recording machines and efficiently filtering the same
US6968398B2 (en) 2001-08-15 2005-11-22 International Business Machines Corporation Method of virtualizing I/O resources in a computer system
US20050052992A1 (en) 2003-08-01 2005-03-10 Cloonan Thomas J. Method and system for dynamically managing cable data bandwidth based on channel congestion state and subscriber usage profile
US7457870B1 (en) 2004-02-27 2008-11-25 Packeteer, Inc. Methods, apparatuses and systems facilitating classification of web services network traffic
WO2005093576A1 (en) 2004-03-28 2005-10-06 Robert Iakobashvili Visualization of packet network performance, analysis and optimization for design
US7590830B2 (en) 2004-05-28 2009-09-15 Sun Microsystems, Inc. Method and structure for concurrent branch prediction in a processor
US20060143617A1 (en) 2004-12-29 2006-06-29 Knauerhase Robert C Method, apparatus and system for dynamic allocation of virtual platform resources
US7617314B1 (en) 2005-05-20 2009-11-10 Network General Technology HyperLock technique for high-speed network data monitoring
US20060288015A1 (en) 2005-06-15 2006-12-21 Schirripa Steven R Electronic content classification
US7639613B1 (en) 2005-06-24 2009-12-29 Packeteer, Inc. Adaptive, flow-based network traffic measurement and monitoring system
US8121043B2 (en) 2005-08-19 2012-02-21 Cisco Technology, Inc. Approach for managing the consumption of resources using adaptive random sampling
JP4240062B2 (ja) 2006-05-31 2009-03-18 日本電気株式会社 計算機システムおよび性能計測方法ならびに管理サーバ装置
US8782047B2 (en) 2009-10-30 2014-07-15 Hitachi Data Systems Corporation Fixed content storage within a partitioned content platform using namespaces
JP2008217216A (ja) 2007-03-01 2008-09-18 Hitachi Ltd 負荷分散方法及び計算機システム
US7752360B2 (en) 2007-05-16 2010-07-06 Nuova Systems, Inc. Method and system to map virtual PCIe I/O devices and resources to a standard I/O bus
US8141094B2 (en) 2007-12-03 2012-03-20 International Business Machines Corporation Distribution of resources for I/O virtualized (IOV) adapters and management of the adapters through an IOV management partition via user selection of compatible virtual functions
US8849971B2 (en) 2008-05-28 2014-09-30 Red Hat, Inc. Load balancing in cloud-based networks
US9208003B2 (en) 2008-06-09 2015-12-08 International Business Machines Corporation Hypervisor to I/O stack conduit in virtual real memory
US9055080B2 (en) 2009-12-14 2015-06-09 Citrix Systems, Inc. Systems and methods for service isolation
JP5427011B2 (ja) 2009-12-17 2014-02-26 株式会社日立製作所 仮想ハードディスクの管理サーバおよび管理方法、管理プログラム
US8452835B2 (en) 2009-12-23 2013-05-28 Citrix Systems, Inc. Systems and methods for object rate limiting in multi-core system
US8627426B2 (en) 2010-04-26 2014-01-07 Vmware, Inc. Cloud platform architecture
US8719804B2 (en) 2010-05-05 2014-05-06 Microsoft Corporation Managing runtime execution of applications on cloud computing systems
US8938774B2 (en) 2010-05-28 2015-01-20 Dell Products, Lp System and method for I/O port assignment and security policy application in a client hosted virtualization system
US9936333B2 (en) 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
WO2012045021A2 (en) 2010-09-30 2012-04-05 Commvault Systems, Inc. Efficient data management improvements, such as docking limited-feature data management modules to a full-featured data management system
CN108429800B (zh) 2010-11-22 2020-04-24 杭州硕文软件有限公司 一种移动设备
US8904136B2 (en) 2011-03-15 2014-12-02 Symantec Corporation Optimized shrinking of virtual disks
US20120324572A1 (en) 2011-06-16 2012-12-20 Telefonaktiebolaget L M Ericsson (Publ) Systems and methods that perform application request throttling in a distributed computing environment
US8997171B2 (en) 2011-08-19 2015-03-31 Microsoft Technology Licensing, Llc Policy based application suspension and termination
WO2013186870A1 (ja) 2012-06-13 2013-12-19 株式会社日立製作所 サービス監視システム、及び、サービス監視方法
US9092341B2 (en) 2012-07-10 2015-07-28 International Business Machines Corporation Methods of cache preloading on a partition or a context switch
WO2014028672A1 (en) 2012-08-14 2014-02-20 Inmobly, Inc. System and method for efficient use of network bandwidth
US9451403B2 (en) 2012-08-30 2016-09-20 Ebay Inc. Systems and method for configuring mobile device applications based on location
US20140177497A1 (en) 2012-12-20 2014-06-26 Seven Networks, Inc. Management of mobile device radio state promotion and demotion
US20140223427A1 (en) 2013-02-04 2014-08-07 Thomas C. Bootland System, Method and Apparatus for Determining Virtual Machine Performance
US10193963B2 (en) 2013-10-24 2019-01-29 Vmware, Inc. Container virtual machines for hadoop
EA201301283A1 (ru) 2013-11-26 2015-05-29 Общество С Ограниченной Ответственностью "Параллелз" Способ целевой виртуализации ресурсов в контейнере
US9262192B2 (en) 2013-12-16 2016-02-16 Vmware, Inc. Virtual machine data store queue allocation
WO2015136624A1 (ja) 2014-03-11 2015-09-17 株式会社日立製作所 アプリケーション性能監視方法および装置
US9690685B2 (en) 2014-05-30 2017-06-27 Apple Inc. Performance management based on resource consumption
WO2016009285A1 (en) 2014-07-16 2016-01-21 Tensera Networks Ltd. Efficient content delivery over wireless networks using guaranteed prefetching at selected times-of-day
US9256467B1 (en) 2014-11-11 2016-02-09 Amazon Technologies, Inc. System for managing and scheduling containers
US9612758B1 (en) * 2015-03-10 2017-04-04 EMC IP Holding Company LLC Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044439A (en) * 1997-10-27 2000-03-28 Acceleration Software International Corporation Heuristic method for preloading cache to enhance hit rate
TW200426625A (en) * 2002-12-23 2004-12-01 Ibm A transparent edge-of-network data cache
US20060190236A1 (en) * 2005-02-18 2006-08-24 Opnet Technologies, Inc. Application level interface to network analysis tools
US20070276990A1 (en) * 2006-05-29 2007-11-29 Sandisk Il Ltd. Method for preloading data to improve data-retrieval times
CN103748555A (zh) * 2011-08-22 2014-04-23 国际商业机器公司 在云中基于多维用户请求模式快速供应虚拟机
CN102521260A (zh) * 2011-11-18 2012-06-27 华为技术有限公司 数据预热方法及装置
CN104239231A (zh) * 2014-09-01 2014-12-24 上海爱数软件有限公司 一种加速二级缓存预热的方法及装置
CN104683485A (zh) * 2015-03-25 2015-06-03 重庆邮电大学 一种基于c-ran的互联网内容缓存预加载方法和系统

Also Published As

Publication number Publication date
CN106708819A (zh) 2017-05-24
TW201712574A (zh) 2017-04-01
US20170017574A1 (en) 2017-01-19
WO2017015059A1 (en) 2017-01-26
US11055223B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
TWI734681B (zh) 資料緩存的預熱方法及其裝置
US20170344491A1 (en) Access parameter based multi-stream storage device access
US9817765B2 (en) Dynamic hierarchical memory cache awareness within a storage system
US9607065B2 (en) Hierarchical coherency log for managing a distributed data storage system
JP2013542486A5 (zh)
CN109446114B (zh) 一种空间数据缓存方法、装置和存储介质
US11579811B2 (en) Method and apparatus for storage device latency/bandwidth self monitoring
CN106534308B (zh) 一种分布式存储系统中解决数据块访问热点的方法及装置
US10635595B2 (en) Dynamic delete command partitioning with disk caching
KR102479394B1 (ko) 이종 프로세서 시스템 내 캐시들 간에 데이터 이동
TW201923591A (zh) 電腦記憶體內容移動
US10831662B1 (en) Systems and methods for maintaining cache coherency
US9904622B2 (en) Control method for non-volatile memory and associated computer system
US20090210643A1 (en) System, Method and Computer Program Product for Generating a Consistent Point in Time Copy of Data
US20240086113A1 (en) Synchronous write method and device, storage system and electronic device
US20170199679A1 (en) System and method for using persistent memory to accelerate write performance
US9501414B2 (en) Storage control device and storage control method for cache processing according to time zones
US10802957B2 (en) Control modules, multi-level data storage devices, multi-level data storage methods, and computer readable media
TWI530787B (zh) 電子裝置以及資料寫入方法
US11409559B2 (en) System and method for weak lock allowing force preemption by high priority thread
US9679015B2 (en) Script converter
US11762556B2 (en) System and method for accelerated I/O access using storage array driver in Off-the-shelf server
TWI553476B (zh) 區域描述元管理方法及其電子裝置
WO2016190891A1 (en) Translate data operations based on data stripe size
US9952969B1 (en) Managing data storage