TW201248418A - Distributed caching and cache analysis - Google Patents

Description

201248418 六、發明說明： 【發明所屬之技術領域】 本甲請係關於電腦網路資料快取技術領域，特別係關 於一種分散式快取方法及系統、快取解析方法及解析系統 【先前技術】 在web應用中’爲了獲得較高的回應速度，web服務端 通常需要將快取資料，特別是熱點資訊的快取資料，存入 到快取伺服器的節點中，如memcache，然後使用特定的演 算法將快取資料分配到不同的快取伺服器上。當用戶提交 訪問請求是’ web服務端首先在快取伺服器節點中查找快 取資料’如果能査找到快取資料則直接回饋給用戶，如果 不能查找才向資料庫中查詢後回饋給用戶，並將查詢的資 料寫入快取節點中’從而能快速的對後續請求給出回饋。 通常情況下’會採用多台快取伺服器來對快取資料進 行儲存’從而增加快取資料的儲存量，保證快取資料的全 面性。因此’在進行快取資料儲存時，會按照一定的方法 將資料分配到對應的快取伺服器上。常見的分配方法有 hash (X) %N分配法’此種方法透過將快取資料按照—定 的映射分配到對應的各個快取伺服器上，可以對快取資料 進行合理的分配’但是，因爲快取資料與快取服務器具有 一定的映射關係，當需要動態增加快取伺服器，或者原有 的快取伺服器出現故障時或者被移除時，原有的映射關係 201248418 會被破壞，這就會使web伺服器無法透過原有的映射關係 查找對應的快取伺服器，從而只能去資料庫中査詢後回饋 給用戶’增加系統回應用戶請求的時間。 【發明內容】 本申請所要解決的技術問題是提供一種分散式快取方 法及系統、快取解析方法及解析系統，能夠以簡單的方法 實現一致性快取，可以避免因爲快取伺服器變動改變原有 的映射關係而造成的無法查找對應快取資料的情況，保證 系統能夠快速的回應用戶請求。 爲了解決上述問題，本申請公開了一種分散式快取方 法，包括以下步驟： 將某一用戶的快取資料分配到快取伺服器； 將包括有該快取資料與該快取伺服器的對應關係的分 配資訊寫入到該用戶在用戶端的cookie中。 進一步地’前述將某一用戶的快取資料分配到快取伺 服器包括： 將快取資料隨機分配到快取伺服器；或 計算某一用戶的hash値，根據計算値將快取資料分配 到對應的快取伺服器。 進一步地’前述將快取資料的分配資訊寫入到該用戶 在用戶端的cookie中包括： 採用回應用戶請求的伺服器將快取資料的分配資訊寫 入到該用戶在用戶牺的cookie中。 -6- 201248418 進一步地，該方法還包括： 新增快取伺服器； 將新的快取資料按照原定的分配策略分配到包括新增 的快取伺服器在內的其中一台快取伺服器上。 爲了解決上述問題’本申請還公開了一種分散式快取 系統，包括： 快取資料分配模組’用於將某一用戶的快取資料分配 到對應的快取伺服器上進行儲存； 分配資訊寫入模組，用於將包括有該快取資料與該快 取伺服器的對應關係的分配資訊寫入該用戶在用戶端的 cο〇ki e 中。 爲了解決上述問題’本申請還公開了一種分散式快取 解析方法，包括以下步驟： 接收用戶的訪問請求； 解析用戶的訪問請求，獲取該用戶請求的cookie中的 快取資料分配資訊； 根據用戶對應的cookie中的快取資料分配資訊獲取該 用戶對應的快取伺服器； 向獲取的快取伺服器請求讀取快取資料。 進一步地’前述在向獲取的快取伺服器請求讀取快取 資料之後還包括以下步驟： 若向獲取的快取伺服器請求讀取快取資料失敗或超時 ’將該用戶的快取資料分配到另一快取伺服器； 將再次分配的分配資訊寫入到該用戶在用戶端的 201248418 cookie中，並覆蓋原來的分配資訊。 進一步地，前述將再次分配的分配資訊寫入到該用戶 在用戶端的cookie中，並覆蓋原來的分配資訊包括： 採用接收用戶訪問請求的伺服器將再次分配的分配資 訊寫入到該用戶在用戶端的cookie中。 爲了解決上述問題，本申請還公開了一種分散式快取 解析系統，包括： 訪問請求接收模組，用於接收用戶的訪問請求； 分配資訊獲取模組，用於從用戶的訪問請求的cookie 中獲取與該用戶的訪問請求相關的快取資料的分配資訊； 快取伺服器資訊獲取模組，用於根據獲取的分配資訊 來確定與該快取資料對應的快取伺服器資訊； 請求模組’向獲取的快取伺服器請求讀取快取資料。 進一步地，該系統還包括： 快取資料分配模組’用於當向獲取的快取伺服器請求 讀取快取資料失敗或者超時’將該用戶的快取資料分配到 另一台快取伺服器上。 分配資訊寫入模組，用於將再次分配的分配資訊寫入 到該用戶在用戶端的cookie中，並覆蓋原來的分配資訊。 與現有技術相比’本申請包括以下優點： 本申請的分散式快取方法及系統、快取解析方法及解 析系統透過將快取資料與快取伺服器之間分配資訊寫入到 用戶在用戶端的cookie中的方式，利用本地用戶端的 cookie的快取特性，以簡單的方法實現—致性快取，可以 201248418 避免因爲快取伺服器數量的增加或者減少改變原有的映射 關係而造成的無法查找對應快取資料的情況，保證系統能 夠快速的回應用戶請求。 當增加新的快取伺服器時，可以直接將新的分配關係 資訊寫入cookie中，而無需改變原有的快取映射關係，避 免對原有快取伺服器造成衝擊；當某台快取伺服器被從集 群中移除時，僅該快取伺服器上的快取資料會受到影響， 並不會影響到其他正常工作的快取伺服器，同時也不會改 變快取資料與其他快取伺服器的映射關係。 其次’當快取伺服器出現故障或者被移除後，透過重 新分配快取資料儲存的快取伺服器，將重新分配資訊寫入 用戶的cookie中並覆蓋原有的分配資訊，可以保證快取伺 服器的更換資訊能夠及時生效，減少因爲快取伺服器更換 而帶來的不便。 當然’實施本申請的任一產品不一定需要同時達到以 上該的所有優點。 【實施方式】 爲使本申請的上述目的、特徵和優點能夠更加明顯易 懂’下面結合附圖和具體實施方式對本申請作進一步詳細 的說明。 本申請提供一種分散式快取方法及系統、快取解析方 〇 法及解析系統’可以應用於用戶需要訪問網站所對應的伺 服器中。具體的，本申請的分散式快取方法及系統、快取 -9- 201248418 解析方法及解析系統可以透過電腦程式實現，並儲存於伺 服器中，透過處理器的運行來執行。 參照圖1，示出本申請的一種分散式快取方法實施例 一，包括以下步驟： 步驟101，將某一用戶的快取資料分配到快取伺服器 〇 在web應用中，爲了獲得較高的回應速度，web伺服器 端通常需要快取大量的熱點資料，通常的做法就是使用快 取伺服器來儲存這些快取資料。一般情況下，會有多台快 取伺服器來儲存用戶的快取資料以保證儲存資料的完整性 和全面性。 在實際儲存時，web伺服器端會使用特定的演算法來 選捧快取伺服器中的其中一台來儲存某一快取資料。對於 某一用戶的快取資料的分配可以採用常見的分配策略，如 採用hash ( X ) %N分配法，即對該用戶，例如用戶C，計 算hash値，分配到對應的快取伺服器hash ( C ) %N上，或 者隨機分配，取一個亂數，然後將快取資料分配到對應的 快取伺服器random ( C )、％N上。 步驟1 02 ’將包括有該快取資料與該快取伺服器的對 應關係的分配資訊寫入到該用戶在用戶端的cookie中。 在web伺服器將快取資料儲存到對應的快取伺服器後 ’會同時將快取資料的分配資訊寫入到該用戶在用戶端的 cookie中’分配資訊中包括該快取資料與快取伺服器的對 應關係’虽後續需要對快取資料進行査詢時，可以直接透 -10- 201248418 過分配資訊就能找到快取資料所在的快取伺服器。若有多 個web伺服器’則由負責處理用戶當前請求的伺服器來將 快取資料的分配資訊寫入到該用戶在用戶端的cookie中。 例如’共有3台快取伺服器分別爲μ 1，M2，M3，用 戶C的某一快取資料儲存在141上，那麼在用戶c在用戶端 的cookie的分配資訊中，會記錄下該快取資料儲存在mi上 〇 參照圖2’示出本申請的一種分散式快取解析方法實 施例一，包括以下步驟： 步驟20 1 ’接收用戶的訪問請求。 伺服器端接收用戶的訪問請求，同一用戶的訪問請求 可能會由不同的伺服器接收。例如，用戶的第一次訪問請 求由伺服器W 1接收，而第二次訪問請求由伺服器评2接收 。當然也可以由用戶端接收用戶的訪問請求，並向伺服器 端提出’此時’伺服器端接收的是來自用戶端的用戶訪問 請求。 步驟202，解析用戶的訪問請求，獲取該用戶請求的 cookie中的快取資料分配資訊。 用戶提出的訪問請求會附帶上cookie，伺服器在接收 用戶的訪問請求後’對訪問請求進行解析，同時獲取 cookie中記錄的快取資料的分配資訊。 步驟203，根據用戶對應的cookie中的快取資料分配資 訊獲取該用戶對應的快取伺服器。 因爲在儲存快取資料時，儲存快取資料的伺服器已經 -11 - 201248418 將與該用戶請求對應的快取資料的分配資訊寫入到cookie 中，所以，從cookie中可以定位快取伺服器。 步驟204，向獲取的快取伺服器請求讀取快取資料。 接收用戶訪問請求的伺服器透過cookie中的分配資訊 定位快取伺服器後，就可以請求從該快取伺服器中讀取快 取資料，並在接收該快取資料後對用戶請求給出回應。 參照圖3，進一步地，因爲快取伺服器可能會出現故 障，或者被移除後，儲存於其上的快取資料也就隨之被移 除了，如果向該快取伺服器請求讀取快取資料可能會因爲 超時或者讀取失敗而得不到回饋，所以，本申請的分散式 快取解析方法實施例二，在實施例一的步驟204之後還包 括以下步驟： 步驟301，若向獲取的快取伺服器請求讀取快取資料 失敗或超時，將該用戶的快取資料分配到另一快取伺服器 式可 方也 的， 擇器 選服 機伺 隨取 用快 採台 以一 可中 器其 > -q 伺態 取狀 快作 的工 配常 分正 於取 對選 時意 此任 即 以按照預定的排列順序來選取對應的快取伺服器。 步驟302 ’將再次分配的分配資訊寫入到該用戶的 cookie中，並覆蓋原來的分配資訊。 再次分配資訊被寫入到用戶的cookie後，會自動覆蓋 原來的分配資訊’當後續讀取時便可以獲得最新的分配資 訊，從而保證分配資訊的準確性。此時，再次分配資訊由 回應本次訪問請求的的伺服器寫入。 -12- 201248418 ' 採用此種方法，當快取伺服器出現故障或者被移除後 ，只有儲存於該快取伺服器上的快取資料會受到影響，並 不會影響到其他正常工作的快取伺服器，並且透過重新分 配快取資料儲存的快取伺服器，將重新分配資訊寫入用戶 的cookie中並覆蓋原有的分配資訊，可以保證快取伺服器 的更換資訊能夠及時生效，減少因爲快取伺服器更換而帶 來的不便。 另外，如果需要增加快取伺服器，根據本申請的分配 策略，新的快取資料可以以機率上平等的機會映射到包括 新增的快取伺服器在內的所有快取伺服器上，並且也可以 直接將快取資料與快取伺服器的對應關係寫入到用戶對應 的cookie中，而無需改變原有的快取映射關係，避免對原 有快取伺服器造成衝擊，同時可以保持對應關係的一致性 ，而且無需對移動快取資料。 本申請的分散式快取方法和快取解析方法透過將分配 資訊寫入到用戶在用戶端的cookie中的方式，利用HTTP協 定中本地用戶端所儲存的cookie的快取特性，以簡單的方 法實現一致性快取。在快取集群發生變動時，減少對原有 的快取資料造成的衝擊。當增加新的快取伺服器時，可以 直接將新的分配關係寫入cookie中，對原有的快取資料無 衝擊；當某台快取伺服器被從集群中移除時，僅該快取伺 服器上的快取資料會受到影響，對其他的快取伺服器不會 造成影響。 另外，在任何一個具有快取需求的內部C/S系統中， -13- 201248418 都可以採用本申請這種帶狀態的分散式快取協定。 下面，結合具體的實例對本申請的分散式快取方法及 快取解析方法實施例進行說明。 假設如下的基本場景，.一個web應用場景，有2個web 伺服器W1和W2，部署3台基於memcache的快取伺服器Ml ，M2，M3。 當用戶端C第一次提交請求時，假設由W1負責處理， 這時W1負責將C的熱點資料分配到Ml至M3之中的一台快 取伺服器上》可以根據需要採取不同的方法：比如可以取 —個亂數，分配到伺服器random (C) %N上；或者對C計 算h a s h値，分配到伺服器h a s h ( C ) % N上。 然後，分配資訊被伺服器W1寫入到用戶端C的cookie 中。 用戶端C後續的每次向服務端發送請求都帶上cookie ，cookie中包含伺服器W1寫入的快取資訊。 比如某次請求可能被W2伺服器處理，W2伺服器就可 以立刻從C的cookie中取出對應的快取伺服器Ml，進而向 快取伺服器Μ 1請求必要的快取資料。 若快取伺服器發生故障或者被從集群中移除時，在處 理用戶端C的請求時，如果服務端發現請求的快取伺服器 沒有回應，那麼它將重新爲C選擇一台新的快取伺服器， 選擇成功後再用新的分配資訊更新到C的cookie。例如， 當用戶端C透過伺服器W 1向快取伺服器Μ 1請求快取資料， 而Ml沒有回應，那麼伺服器W1根據預定的分配策略選擇 -14- 201248418 快取伺服器M2，並將快取資料儲存於M2上，同時更新用 戶端C的cookie中的分配資訊，當用戶端下次發送請求時 ，用戶端C的cookie中就已經是新的分配資訊了。這種情 況下，對快取資料的影響僅限於快取到該快取伺服器上的 資料，並且用戶端C的快取分配資訊只需要被任意一個web 伺服器更新一次，就能立刻在下一次訪問中生效。 若根據業務需要，快取伺服器從N擴充到N+1台，根 據前述的方法，在分配快取資料的時候可以將快取資料根 據原定的分配方案進行分配，並不會影響原有的快取映射 關係。通常情況下，新的快取資料將會以機率上平等的機 % 會映射到這N + 1台伺服器上。 參照圖4，示出本申請的一種分散式快取系統實施例 一 ’此處的系統中的各個模組是指基於電腦語言編寫的電 腦程式，儲存於伺服器中，並透過處理器運行。 分散式快取系統包括快取資料分配模組1 0和分配資訊 寫入模組20。 快取資料分配模組1 0，用於將某一用戶的快取資料分 配到對應的快取伺服器上進行儲存。快取資料分配模組！ 〇 可以採用隨機分配或者計算hash値的方式對用戶的快取資 料進行分配。 分配資訊寫入模組20，用於將包括有快取資料與快取 伺服器的對應關係的分配資訊寫入該用戶對應的cookie中 。分配資訊寫入模組20根據從快取資料分配模組1 〇處獲取 的資訊’將快取資料與快取伺服器的分配關係等資訊寫入 -15- 201248418 用戶對應的cookie中。 參照圖5，示出本申請的一種分散式快取解析系統實 施例一，此處的系統中的各個模組是指基於電腦語言編寫 的電腦程式，儲存於伺服器中，並透過處理器運行。 分散式快取解析系統包括訪問請求接收模組40，分配 資訊獲取模組50，快取伺服器資訊獲取模組60及請求模組 Ί 0。 訪問請求接收模組40，用於接收用戶的訪問請求。訪 問請求接收模組40可以設置於不同的伺服器也可以設置於 用戶端中。 分配資訊獲取模組50，用於從用戶的訪問請求的 cookie中獲取與該用戶的訪問請求相關的快取資料的分配 資訊。 快取伺服器資訊獲取模組60，用於根據獲取的分配資 訊來確定與該快取資料對應的快取伺服器資訊。 請求模組7 〇，向獲取的快取伺服器請求讀取快取資料 。當獲取到該快取資料對應的快取伺服器後，則可以向該 快取伺服器提出讀取快取資料的請求。 參照圖6，進一步地，分散式快取解析系統還包括快 取資料分配模組80及分配資訊寫入模組90。 快取資料分配模組8 0，用於當向獲取的快取伺服器請 求讀取快取資料失敗或者超時，將該用戶的快取資料分配 到另一台快取伺服器上。 分配資訊寫入模組90，用於將再次分配的分配資訊寫 -16- 201248418 入到該用戶的cookie中，並覆蓋原來的分配資訊。 本說明書中的各個實施例均採用遞進的方式描述，每 個實施例重點說明的都是與其他實施例的不同之處，各個 實施例之間相同相似的部分互相參見即可。對於系統實施 例而言，由於其與方法實施例基本相似，所以描述的比較 簡單，相關之處參見方法實施例的部分說明即可。 以上對本申請所提供的分散式快取方法及系統，快取 解析方法及系統進行了詳細介紹，本文中應用了具體個例 對本申請的原理及實施方式進行了闡述，以上實施例的說 明只是用於幫助理解本申請的方法及其核心思想；同時， 對於本領域的一般技術人員，依據本申請的思想，在具體 實施方式及應用範圍上均會有改變之處，綜上所述，本說 明書內容不應理解爲對本申請的限制。 【圖式簡單說明】 圖1是本申請的分散式快取方法實施例—的流程圖； 圖2是本申請的分散式快取解析方法實施例一的流程 圖； 圖3是本申請的分散式快取解析方法實施例二的流程 ren · 圖， 圖4是本申請的分散式快取系統實施例一的結構示意 rari · 圖， 圖5是本申請的分散式快取解析系統實施例一的結構 示意圖； -17- 201248418 圖6是本申請的分散式快取解析系統實施例二的結構 示意圖。 【主要元件符號說明】 1 〇 :快取資料分配模組 20 :分配資訊寫入模組 40 :訪問請求接收模組 5 0 :分配資訊獲取模組 60 :快取伺服器資訊獲取模組 7 〇 :請求模組 80 :快取資料分配模組 90 :分配資訊寫入模組 -18-

Claims (1)

1. 201248418 七、申請專利範園： 1. 一種分散式快取方法，其特徵在於，包括以下步 驟： 將某一用戶的快取資料分配到快取伺服器； 將包括有該快取資料與該快取伺服器的對應關係的分 配資訊寫入到該用戶在用戶端的cookie中。 2 ·如申請專利範圍第1項所述的方法，其中，前述將 某一用戶的快取資料分配到快取伺服器包括·· 將快取資料隨機分配到快取伺服器；或 計算某一用戶的h a s h値，根據計算値將快取資料分配 到對應的快取伺服器。 3 .如申請專利範圍第1或2項所述的方法，其中，前 述將快取資料的分配資訊寫入到該用戶在用戶端的C00kie 中包括： 採用回應用戶請求的伺服器將快取資料的分配資訊寫 入到該用戶在用戶端的cookie中。 4. 如申請專利範圍第2項所述的方法，其中，該方法 還包括： 新增快取伺服器； 將新的快取資料按照原定的分配策略分配到包括新增 的快取伺服器在內的其中一台:决取伺服器上。 5. —種分散式快取系統，其特徵在於，包括： 快取資料分配模組，用於將某一用戶的快取資料分配 到對應的快取伺服器上進行儲存； -19 - 201248418 分配資訊寫入模組’用於將包括有該快取資料與該快 取伺服器的對應關係的分配資訊寫入該用戶在用戶端的 c ο o k i e 中。 6. 一種分散式快取解析方法，其特徵在於，包括以 下步驟： 接收用戶的訪問請求； 解析用戶的訪問請求，獲取該用戶請求的c〇〇kie中的 快取資料分配資訊； 根據用戶對應的cookie中的快取資料分配資訊獲取該 用戶對應的快取伺服器； 向獲取的快取伺服器請求讀取快取資料。 1 ·如申請專利範圍第6項所述的解析方法，其中，前 述在向獲取的快取伺服器請求讀取快取資料之後還包括以 下步驟： 若向獲取的快取伺服器請求讀取快取資料失敗或超時 ，將該用戶的快取資料分配到另一快取伺服器； 將再次分配的分配資訊寫入到該用戶在用戶端的 cookie中，並覆蓋原來的分配資訊。 8.如申請專利範圍第7項所述的解析方法，其中，前 述將再次分配的分配資訊寫入到該用戶在用戶端的co〇kie 中’並覆蓋原來的分配資訊包括： 採用接收用戶訪問請求的伺服器將再次分配的分配資 訊寫入到該用戶在用戶端的cookie中。 9-—種分散式快取解析系統，其特徵在於，包括： -20- 201248418 訪問請求接收模組，用於接收用戶的訪問請求； 分配資訊獲取模組，用於從用戶的訪問請求的cookie 中獲取與該用戶的訪問請求相關的快取資料的分配資訊； 快取伺服器資訊獲取模組，用於根據獲取的分配資訊 來確定與該快取資料對應的快取伺服器資訊； 請求模組，向獲取的快取伺服器請求讀取快取資料。 1〇·如申請專利範圍第9項所述的系統，其中，該系 統還包括： 快取資料分配模組，用於當向獲取的快取伺服器請求 讀取快取資料失敗或者超時，將該用戶的快取資料分配到 另一台快取伺服器上。 分配資訊寫入模組，用於將再次分配的分配資訊寫入 到該用戶在用戶端的cookie中’並覆蓋原來的分配資訊。