TWI622881B - Cache replacement system and method thereof for memory computing cluster - Google Patents

Abstract

本發明係提供一種應用於記憶體運算叢集的快取替換系統及其方法。前述系統連接外部之運算系統，並於運算系統對外部之資料庫之目標資料更新時取得一更新記錄，並依據更新記錄將目標資料配置成複數個資料識別碼為連續的資料區塊，以及記錄目標資料與區塊之對應關聯，並透過分析更新記錄以依據對應關聯以對外部資料系統之資料區塊進行更新，而得以改善先前技術之快取更新效率。

Description

應用於記憶體運算叢集的快取替換系統及其方法

本發明係一種快取替換系統及其方法，尤指一種應用於記憶體運算叢集的快取替換系統及其方法。

在現今的數據處理系統中，多將資料暫存在特定的資料系統中(例如：Apache Spark)，來加速資料處理的速度。而為了能夠達到比較好的延展性，這些暫存的資料通常要求要具有不變性。

然而，在許多應用中，資料常常會因為外部程式、或使用者的要求下進行修改，使得資料系統為符合不變性之要求而需對特定資料區塊進行移除以進行更新。

因此，當修改次數過於頻繁時，資料系統亦需随著移除資料進行更新，進而嚴重的影響資料系統之運作效率。因此，如何提供一種可解決前述問題之方案乃本領域亟需解決之技術問題。

為解決前揭之問題，本發明之目的係提供一種應用於記憶體運算叢集的快取替換方案。

為達上述目的，本發明提出一種應用於記憶體運算叢集的快取替換系統。前述系統包含更新記錄資料模組、區塊資料分割模組、區塊資料對應資料模組、以及快取同步模組。前述更新記錄資料模組連接外部 之運算系統，並於運算系統對外部之資料庫之目標資料更新時取得一更新記錄。前述區塊資料分割模組連接更新記錄資料模組，並依據更新記錄將目標資料配置成複數個資料識別碼為連續的資料區塊。前述區塊資料對應資料模組連接區塊資料分割模組以記錄目標資料與區塊之對應關聯。前述快取同步模組連接更新記錄資料模組以及區塊資料對應資料模組，並分析更新記錄以依據對應關聯以對外部資料系統之資料區塊進行更新。

為達上述目的，本發明另提出一種應用於記憶體運算叢集的快取替換方法，應用於一快取替換系統，包含下列步驟：首先，連接外部之運算系統，並於運算系統對外部之資料庫之目標資料更新時取得一更新記錄。接著，依據更新記錄將目標資料配置成複數個資料識別碼為連續的資料區塊。再者，記錄目標資料與區塊之對應關聯。最後，分析更新記錄，並依據對應關聯以對外部資料系統之資料區塊進行更新。

綜上所述，本案之應用於記憶體運算叢集的快取替換系統及其方法透過配置待更新的資料區塊而能有效的減少所需更新的資料區塊數量及次數。

1‧‧‧應用於記憶體運算叢集的快取替換系統

11‧‧‧更新記錄資料模組

12‧‧‧區塊資料分割模組

13‧‧‧區塊資料對應資料模組

14‧‧‧快取同步模組

2‧‧‧運算系統

3‧‧‧資料庫

31‧‧‧部分資料

32‧‧‧連續資料區塊

4‧‧‧資料系統

41‧‧‧資料區塊管理模組

5‧‧‧彈性分散式資料集(RDD)

51‧‧‧RDD資料區塊

圖1為本發明第一實施例應用於記憶體運算叢集的快取替換系統之系統方塊以及操作環境示意圖。

圖2為本發明第二實施例應用於記憶體運算叢集的快取替換方法之流程圖。

圖3，其為本發明第一實施例應用於記憶體運算叢集的快取替換系統在資料更新時各模組間之運作程序。

以下將描述具體之實施例以說明本發明之實施態樣，惟其並非用以限制本發明所欲保護之範疇。

請參閱圖1，其為本發明第一實施例應用於記憶體運算叢集的快取替換系統1之系統方塊以及操作環境示意圖。前述應用於記憶體運算叢集的快取替換系統1進一步包含更新記錄資料模組11、區塊資料分割模組12、區塊資料對應資料模組13、以及快取同步模組14。

前述更新記錄資料模組11連接外部之運算系統2，並於運算系統2對外部之資料庫3之目標資料更新時取得一更新記錄。前述區塊資料分割模組12連接更新記錄資料模組11，並依據更新記錄將目標資料配置成複數個資料識別碼為連續的資料區塊。前述區塊資料對應資料模組13連接區塊資料分割模組12以記錄目標資料與區塊之對應關聯。前述快取同步模組14連接更新記錄資料模組11以及區塊資料對應資料模組13，快取同步模組14分析更新記錄，並依據對應關聯以對外部資料系統4之資料區塊進行更新。

於另一實施例中，前述之目標資料內包含複數個區塊，且區塊資料分割模組12依據各區塊之更新機率及其期望值替換成本，以將目標資料分割成彈性分散式資料集區塊。

於另一實施例中，前述之更新記錄進一步包含更新時間資訊、更新資料之識別碼資訊、判斷是否同步之指標資訊其中至少一個。

於另一實施例中，前述之對應關聯進一步包含區塊識別碼、起始資料識別碼、結束資料識別碼其中至少一個。

於另一實施例中，前述之資料系統4為Apache Spark系統，且資料區塊為彈性分散式資料集(Resilient Distributed Datasets，RDD)。

請參閱圖2，其為本發明第二實施例應用於記憶體運算叢集的快取替換方法之流程圖。前述方法應用於一快取替換系統並包含下列步驟：

S101：連接外部之運算系統，並於運算系統對外部之資料庫之目標資料更新時取得一更新記錄。

S102：依據更新記錄將目標資料配置成複數個資料識別碼為連續的資料區塊。

S103：記錄目標資料與區塊之對應關聯。

S104：分析更新記錄，並依據對應關聯以對外部資料系統之資料區塊進行更新。

於另一實施例中，前述方法之目標資料內包含複數個區塊，且區塊資料分割模組依據各區塊之更新機率及其期望值替換成本，以將目標資料分割成彈性分散式資料集區塊。

於另一實施例中，前述方法之更新記錄進一步包含更新時間資訊、更新資料之識別碼資訊、判斷是否同步之指標資訊其中至少一個。

於另一實施例中，前述方法之對應關聯進一步包含區塊識別碼、起始資料識別碼、結束資料識別碼其中至少一個。

於另一實施例中，前述方法之資料系統為Apache Spark，且資料區塊為彈性分散式資料集(Resilient Distributed Datasets，RDD)。

以下本發明茲以第一實施例應用於記憶體運算叢集的快取 替換系統1進行說明，惟第二實施例之應用於記憶體運算叢集的快取替換方法亦具有相同或相似之技術特徵以及技術功效。

本案利用Spark中的可容錯的機制以及BlockManager所提供的removeBlock函數，除可自定義區塊資料之外還能夠部分更新的RDD，而不需要重建整個RDD，本案稱為partial-update RDD(PRDD)。而為增加部分更新的效能，本案更把頻繁更改的資料集中放置某些RDD的分區內，使得在替換RDD的區塊時，能夠有效率的批次替換。

由於先前技藝在RDD的建置上主要是基於儲存在外部檔案系統之資料區塊，因此使用者無法定義那些資料必須在那些區塊中，而本案提出的方案，除了可以讓使用者客製化的定義資料所屬的區塊，更可以利用資料與區塊間的對應關係，來達到細部更新的目的。

前述所描述的將資料切割為一些連續的區塊，係指區塊的資料識別碼是連續的。假設有十筆資料，若欲切割為三塊，一種可能的切割方法是資料識別碼1-3為第一塊，4-6為第二塊，6-10為第三塊。同時，為了平衡每一個區塊的計算負載，可透過限定每一區塊的資料數量，以避免某一個區塊包含了過多的資料造成計算負載不均。

請見圖1，資料庫3在分散式計算平台Spark中對應彈性分散式資料集。當使用者要建立一彈性分散式資料集區塊時，資料系統4依照區塊資料對應資料模組13的對應方式，從資料庫3建立彈性分散式資料集區塊，此彈性分散式資料集區塊會具有一獨特的RDD ID。在外部的運算系統2欲更新資料庫3中之部分資料31時，以先前技藝需重新置換彈性分散式資料集區塊為另一個新的RDD，而本案可不需置換彈性分散式資料集區塊即 可完成資料庫3與彈性分散式資料集同步之目的。

進一步說明之，當運算系統2更新資料庫3中之部分資料31時，可將此筆更新資訊記錄在一更新記錄資料模組11中(更新記錄包含了更新時間、所更新的資料ID、判斷是否完成同步之指標其中至少一個)。區塊資料分割模組12每隔一段時間讀取更新記錄，以後述的處理模式決定RDD資料區塊51與位於資料庫3內連續資料區塊32之最佳對應關係(例如：區塊ID、起始資料ID、結束資料ID其中至少一個)，並將此對應關係存入區塊資料對應資料模組13中。另一快取同步模組14以密集週期讀取更新記錄資料模組11，若發現更新記錄資料模組11中有未完成同步的更新記錄，則讀取該筆更新記錄，並利用區塊資料對應資料模組13獲得該筆更新記錄中所更新的資料ID所對應的區塊ID，並對資料系統4的資料區塊管理模組41(Spark系統之BlockManager)發出Remove Block的要求，要求中所帶的參數為(RDD ID，區塊ID)，此要求會使BlockManager將部分RDD資料區塊51無效化(invalidate)。在完成要求後將更新記錄資料模組11中標示該筆記錄已完成同步。當需要再用到此被無效化的區塊時，Spark中的錯誤回復機制會發現某一RDD區塊(圖1中箭頭指示之區塊)失效後，即會從對應的外部資料區塊重新讀取資料。

與先前技術之差異在於，先前技術之RDD定義區塊是基於外部儲存系統的資料分割方式。舉例說明之，先前技術之RDD是將HDFS中一個資料區塊(data block)的資料，視為一個RDD區塊中的資料，因此使用者無法定義哪資料要在那些區塊中。而本案的PRDD，除了可以讓使用者自己定義資料與區塊間的對應，亦可以利用這個對應關係來識別出那些區塊 必須替換，以達到部分更新的功能。

與之前更新RDD的技藝相比，例如indexedRDD的方案，本案的方案與其差異在於，indexedRDD是利用重建的方法，來達到資料更新。進一步說明之，IndexedRDD利用一個key-value的資料結構來儲存資料，每筆資料透過key建立index。因此當有資料更新時，indexedRDD可以快速地找到該筆資料，並且透過copy-on-write的方式，複製原本的RDD資料並替換成要更新的資料。此作法雖然可以做到快速的更新(透過index)，但是卻造成記憶體空間的浪費(複製原本RDD的資料)。在資料量龐大時，此缺點將更為顯著。本案透過更換原RDD的部分資料31，可以更有效率的使用記憶體空間。

請參閱圖3，其為資料更新時各模組間之運作程序：

P201：從更新記錄資料模組11計算出資料庫3中每一筆資料的更新機率p

P202：定義一個區塊的期望值替換成本為c

P203：給定要切分的區塊數k，計算切割資料庫3中n筆資料為k份的最小期望值替換成本

P204：將切割結果存入區塊資料對應資料模組13

前述運作程序細部說明如下：

P201：從更新記錄資料模組11計算出資料庫3中每一筆資料的更新機率p。

從資料庫3中，統計每一筆資料的更新頻率。在這一步本案可以得到一個函數u。這個函數u，當本案給定資料庫3中的其中一筆資料ID，可以告訴本案此筆資料的更新頻率為何。

P202：定義一個區塊的期望值替換成本為c。

利用第一步得到的u，本案c定義如下：假設R是區塊b中所有資料r的集合。首先一個區塊被更新的機為 本案定義一個區塊的替換成本為區塊內的所有資料筆數。因此，一個區塊p期望值替換成本c為c=ep=up*|R|，並可以寫成ep=e(x,y)，如下所示： 其中y是這個區塊中的最後一筆資料，而x是這個區塊中的第一筆資料。

P203：給定要切分的區塊數k，計算切割資料庫3中n筆資料為k份的最小期望值替換成本。

定義一個函數f(i,j)，代表切割j筆資料為i個區塊的最佳切割方法。f(i,j)可以定義如下： 此定義是一個遞迴定義，此遞迴關係表示將j筆資料切割成i份的最好切法，等同於尋找一個x值，使得將此x筆資料切割成i-1份為最佳的切法，加上最後一個部分的替換成本，此部分包含了從x+1筆資料到第j筆資料。此遞迴計算的複雜度有兩個部分：

部分一：計算出所有f(i,j)。因為本案有n筆資料，共切為k分，所以是O(k*n)。

部分二：計算每一個f(i,j)所需要的時間，為O(B)，因為本案限定每一個區塊 的資料筆數不能超過B。因此總計算複雜度為o(knB)。要計算出切割所有資料的最佳切割方法，根據f函數的定義，首先本案要先計算一筆資料在切成1，2，...，k份時的最佳切法。接著，根據一筆資料的計算結果，再計算兩筆資料在切成1,2,...,k份時的最佳切法。以此類推，一直計算到所有n筆紀錄的最佳k份的切法。也就是計算出f(k,n)。

P204：將切割結果存入區塊資料對應資料模組13。

將資料由資料庫3讀取進來，並根據第四步的結果，來資料放置至對應的區塊。假設第三步的結果得到的切法是x1，x2，...，xk-1。其中xi表示第i區塊最後一筆資料，便將編號x0到x1之間的所有資料當成第一個區塊，x1到x2為第二區塊，以此類推，xk-1到xk為最後一個區塊。儲存的資料格式如表1所示：

區塊資料分割模組12運作之實施說明如下：假設資料庫3中有100筆資料，本案希望將這些資料分為3個區塊：

I.假設資料的更新機率為uniform分布

第一步：假設每筆資料的更新機率為1/100，系統將此資訊儲存於更新紀錄資料模組中。

第二步：區塊資料分割模組12讀取更新記錄，並定義一個包含第i筆資料到第j筆資料的更新成本期望值為：(j-i+1)*1-((1-1/100)^(j-i+1))

第三步：區塊資料分割模組12透過遞迴計算f(3,100)，可以得到最小期望值成本及其切割方法。首先，為了算出f(3,100)的最小值，可計算所有的f(2,x)，其中x從1到100。接著可知f(2,66)+(100-67+1)*(1-(1-1/100)34)有最小值，因此，本案得到第一個切點在第六十七筆資料。接著本案計算f(2,66)的最小值(計算所有f(1,x)，x從1到66)，並得f(1,33)+(66-34+1)*(1-(1-1/100)33)，有最小值。因此本案得到第二的切點在33。f(1,33)根據定義為(33-1+1)*(1-(1-1/100)33)。因此整體的最小期望值成本為(33-1+1)*(1-(1-1/100)33)+(66-34+1)*(1-(1-1/100)33)+(100-67+1)*(1-(1-1/100)34)=28.67

第四步：透過第三步的計算得到三個區塊包含的資料範圍為1-33,34-66,67-100。因此PRDD的三個區塊包含的資料分別為：第一個區塊的資料為第一筆至第三十三筆，第二區塊為第三十四筆至第六十六筆，第三個區塊為第六十七筆至最後一筆。

建立RDD程序：

第一步：區塊資料分割模組12將上述資料切割方法紀錄於區塊對應資料(區塊資料對應資料模組13)。

第二步：Spark讀取區塊對應資料(區塊資料對應資料模組13)，依據此區塊對應資訊，由外部資料(資料庫3)讀取資料並建立RDD(彈性分散式資料集)。在建立同時取得RDD的ID(假設是1)

資料更新程序：假設資料ID為1的資料有更新

第一步：運算系統2更新資料庫3中的一筆資料，並將此更新紀錄於更新紀錄資料模組。

第二步：快取同步模組14讀取更新紀錄資料模組，取得更新資料的ID(ID為1)，接著讀取區塊資料對應資料模組13，取得對應區塊ID(區塊ID為1)。

第三步：將區塊ID(1)與RDD的ID(1)透過資料區塊管理模組41(BlockManager)的removeBlock函數移除PRDD的對應區塊(RDD資料區塊51)

第四步：當此彈性分散式資料集(RDD)5再次被計算時，資料系統4(Spark)發現彈性分散式資料集(RDD)5的某一區塊遺失。便啟動內部容錯機制來重新載入資料。首先透過區塊對應資料模組得知RDD資料區塊51的資料範圍，接著從外部資料(資料庫3)將資料讀取進來重新建立RDD資料區塊51。

Ⅱ.假設資料的更新機率為Zipf分布

第一步：因為更新機率分布為Zipf，因此ID為x的資料其更新機率為x-2/1.2，本案將這個資訊儲存於更新紀錄資料模組中。

第二步：區塊資料分割模組12讀取更新記錄，並定義一個包含第i筆資料到第j筆資料的更新成本期望值為：

第三步：區塊資料分割模組12透過遞迴計算f(3,100)，可以得到最小期望值成本及其切割方案。首先，為了算出f(3,100)的最小值，則計算所有的f(2,x)，x從1到100。並可得知有最小值，因此，本案得到第一個切點在第六十二筆資料。接著本案計算f(2,61)的最小值，同樣，透過計算所有f(1,x)，x從1到61。並可發現f(1,28)+，有最小值。因此本案得到第二的切點在28。f(1,28)根據定義為。因此整體的最小期望值成本為

第四步：透過第三步的計算得到三個區塊包含的資料範圍為1-28,29-61,62-100。因此三個區塊包含的資料分別為：第一個區塊的資料為第一筆至第二十八筆，第二區塊為第二十九筆至第六十一筆，第三個區塊為第六十二筆至最後一筆。

建立RDD

第一步：區塊資料分割模組12將上述資料切割方法紀錄於區塊對應資料模組。

第二步：資料系統4(Spark)讀取區塊資料對應資料模組13，並依據此區塊對應資訊，由資料庫3讀取資料，並建立彈性分散式資料集(RDD)5。在建立同時取得RDD的ID(假設是1)。

資料更新：假設資料ID為1的資料有更新

第一步：運算系統2更新資料庫3之部分資料31，並將此更新紀錄於更新紀錄資料模組。

第二步：快取同步模組14讀取更新紀錄資料模組，取得更新資料的ID(ID為1)，接著讀取區塊資料對應資料模組13，取得對應區塊ID(區塊ID為1)。

第三步：將區塊ID(1)與RDD的ID(1)透過資料區塊管理模組41(BlockManager)的removeBlock函數移除PRDD的對應區塊(圖1箭頭所指示之區塊)。

第四步：當此彈性分散式資料集(RDD)5再次被計算時，資料系統4(Spark)發現彈性分散式資料集(RDD)5的某一區塊(RDD資料區塊51)遺失。便啟動內部容錯機制來重新載入資料。首先透過區塊對應資料模組得知此區塊(RDD資料區塊51)的資料範圍，接著資料庫3將資料讀取進來即可重新建立區塊(RDD資料區塊51)。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

Claims (10)

1. 一種應用於記憶體運算叢集的快取替換系統，包含：更新記錄資料模組，連接外部之運算系統，並於該運算系統對外部之資料庫之目標資料更新時取得一更新記錄；區塊資料分割模組，連接該更新記錄資料模組，該區塊資料分割模組依據該更新記錄將該目標資料配置成複數個資料識別碼為連續的資料區塊；區塊資料對應資料模組，連接該區塊資料分割模組以記錄該目標資料與該等區塊之對應關聯；以及快取同步模組，連接該更新記錄資料模組以及該區塊資料對應資料模組，該快取同步模組分析該更新記錄，並依據該對應關聯以對外部資料系統之該等資料區塊進行更新。
2. 如請求項1所述之應用於記憶體運算叢集的快取替換系統，其中該目標資料內包含複數個區塊，且該區塊資料分割模組依據各該區塊之更新機率及其期望值替換成本，以將該目標資料分割成該等彈性分散式資料集區塊。
3. 如請求項1所述之應用於記憶體運算叢集的快取替換系統，其中該更新記錄進一步包含更新時間資訊、更新資料之識別碼資訊、判斷是否同步之指標資訊其中至少一個。
4. 如請求項1所述之應用於記憶體運算叢集的快取替換系統，其中該對應關聯進一步包含區塊識別碼、起始資料識別碼、結束資料識別碼其中至少一個。
5. 如請求項1所述之應用於記憶體運算叢集的快取替換系統，其中該資料系統為Apache Spark，且該等資料區塊為彈性分散式資料集(Resilient Distributed Datasets，RDD)。
6. 一種應用於記憶體運算叢集的快取替換方法，應用於一快取替換系統，包含：連接外部之運算系統，並於該運算系統對外部之資料庫之目標資料更新時取得一更新記錄；依據該更新記錄將該目標資料配置成複數個資料識別碼為連續的資料區塊；記錄該目標資料與該等區塊之對應關聯；以及分析該更新記錄，並依據該對應關聯以對外部資料系統之該等資料區塊進行更新。
7. 如請求項6所述之應用於記憶體運算叢集的快取替換方法，其中該目標資料內包含複數個區塊，且該區塊資料分割模組依據各該區塊之更新機率及其期望值替換成本，以將該目標資料分割成該等彈性分散式資料集區塊。
8. 如請求項6所述之應用於記憶體運算叢集的快取替換方法，其中該更新記錄進一步包含更新時間資訊、更新資料之識別碼資訊、判斷是否同步之指標資訊其中至少一個。
9. 如請求項6所述之應用於記憶體運算叢集的快取替換方法，其中該對應關聯進一步包含區塊識別碼、起始資料識別碼、結束資料識別碼其中至少一個。
10. 如請求項6所述之應用於記憶體運算叢集的快取替換方法，其中該資料系統為Apache Spark，且該等資料區塊為彈性分散式資料集(Resilient Distributed Datasets，RDD)。