TW202309756A

TW202309756A - 去複製資料判斷方法、電腦可讀媒體及檔案系統

Info

Publication number: TW202309756A
Application number: TW110131295A
Authority: TW
Inventors: 江宗翰; 蘇璟瑋; 鄭欽宗
Original assignee: 威聯通科技股份有限公司
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2023-03-01
Also published as: US11960451B2; TWI780871B; CN115718730A; US20230063119A1

Abstract

一種去複製資料方法，用於已被切分為複數資料塊且該等資料塊已去複製之檔案，該去複製資料方法包括：根據該檔案中之資料塊的種類，在該檔案中界定計算範圍，其中，該計算範圍包括該檔案中之複數連續資料塊；根據該計算範圍中之資料塊的種類，產生評估值，以決定是否標記該計算範圍中之資料塊；以及對該檔案中之已標記資料塊重新進行切分及去複製。本發明復包括該去複製資料方法所對應的電腦可讀媒介及檔案系統。

Description

去複製資料方法、電腦可讀媒介及檔案系統

本發明係有關一種去複製資料(deduplication，亦可稱為去複製)的技術，且特別係有關去複製資料的最佳化。

習知檔案系統通常會將檔案切分為複數資料塊(chunk)，再將這些資料塊去複製。所謂去複製是將不同檔案中內容相同的資料塊，只儲存其中一個，其餘內容相同的資料塊則不予儲存，僅利用指標(pointer)指向已儲存的該資料塊。例如，在公司主管發送給全體員工的電子郵件中，可能包含許多內容相同的檔案，上述的去複製可節省大量儲存空間。

在上述的資料塊切分之後，每個檔案末端可能會有一個剩餘的殘段資料塊。另外，檔案中若有部分資料塊的內容被修改，檔案系統可能會重新切分修改後的資料塊，而重新切分的資料塊末端也可能產生新的殘段資料塊。這些殘段資料塊的內容通常不易和其他資料塊重複，故不利於去複製。因此，如何減少殘段資料塊以提高去複製資料的效果並節省儲存空間，已成為此技術領域中亟待解決的技術問題。

為解決上述問題，本發明提供一種去複製資料方法，用於已被切分為複數資料塊且該等資料塊已去複製之檔案，該去複製資料方法係包括：根據該檔案中之資料塊的種類，在該檔案中界定計算範圍，其中，該計算範圍包括該檔案中之複數連續資料塊；根據該計算範圍中之資料塊的種類，產生評估值，以決定是否標記該計算範圍中之資料塊；以及對該檔案中之已標記資料塊重新進行切分及去複製。

本發明另提供一種電腦可讀媒介，應用於電子裝置、計算裝置、資料儲存裝置、電腦或伺服器中，係儲存有指令，以執行上述之去複製資料方法。

本發明另提供一種檔案系統，應用於計算裝置或電腦中，係透過處理器執行上述之去複製資料方法。

本發明提供之去複製資料方法、電腦可讀媒介及檔案系統係根據檔案中資料塊種類產生評估值，再根據評估值決定是否對資料塊重新進行切分及去複製，故能避免效益不佳的重新切分，以減少殘段資料塊而提高去複製資料的效益並節省儲存空間。

1~9:資料塊

3’,3”,5’:資料塊

110:電子裝置

120:儲存裝置

200:檔案

710~760:檔案

300:暫存區

501:資料塊部分

S61~S69:方法步驟

圖1為根據本發明中一實施例的一種去複製資料方法的應用情境示意圖。

圖2為根據本發明中一實施例的去複製資料的示例圖。

圖3為根據本發明中一實施例的檔案與暫存區的示例圖。

圖4及圖5為根據本發明中不同實施例的已修改資料塊的重新切分及去複製的示例圖。

圖6為根據本發明中一實施例的一種去複製資料方法的流程圖。

圖7為根據本發明中一實施例的一種去複製資料方法的示例圖。

以下藉由特定的具體實施例說明本發明之實施方式，在本技術領域具有通常知識者可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。

本實施例的去複製資料方法可應用於電子裝置110。電子裝置110可為智慧型手機、電腦、伺服器、或其他具有資料處理能力的電子裝置或計算裝置，此外，電子裝置110亦可為用於近端或雲端的資料儲存裝置或資料儲存伺服器。電子裝置110可通過各種網路(如有線網路或無線網路)連接儲存裝置120。儲存裝置120為位於遠端或雲端的另一個電子裝置，用於儲存檔案系統中的檔案。電子裝置110可以自儲存裝置120讀取檔案系統中的檔案，再將修改後的檔案寫回儲存裝置120。

圖2為根據本發明中一實施例的去複製資料的示例圖，其中，電子裝置110將檔案200切分為六個資料塊，這些資料塊可具有多種不同長度。如何將檔案切分為多個不同長度的資料塊屬於現有技術，例如可根據檔案的資料內容進行滾動雜湊運算(rolling hash，亦稱為遞迴雜湊運算(recursive hashing)或滾動檢查碼(rolling checksum))，或執行其他切分演算法，以決定切分資料塊的位置。

檔案200的第一資料塊位於圖中最左側，檔案200的第六資料塊位於圖中最右側。每個資料塊中的號碼是該資料塊的代號，相同的代號表示相同的資料內容。檔案200有一個對應的檔案描述記錄(file descriptor)，其中記錄檔案200的每一個資料塊的代號，例如下面的表格一所示，檔案200的第一資料塊的代號為1，檔案200的第二資料塊和第四資料塊有相同內容，其代號皆為2，檔案200的第三資料塊和第五資料塊亦有相同內容，其代號皆為3，檔案200的第六資料塊的代號為4。電子裝置110會對檔案200進行去複製，因此，儲存裝置120中僅儲存1、2、3、4這四個資料塊。檔案描述記錄可儲存於儲存裝置120中。當電子裝置110存取檔案200時，其檔案描述記錄可暫存於電子裝置110中。當有需要時，電子裝置110可根據檔案描述記錄重組檔案200。

當電子裝置110存取一個檔案時，可在電子裝置110中設置一個暫存區，用於暫存電子裝置110需要的資料塊，並暫存電子裝置110修改過的資料塊，以免資料塊在電子裝置110與儲存裝置120之間頻繁傳送而降低處理效率。例如圖3所示，電子裝置110設置暫存區300以暫存檔案200的資料塊，其中，有電子裝置110執行的兩個不同應用軟體需要讀取檔案200的第二資料塊2，因此，電子裝置110自儲存裝置120取得資料塊2並將其存入暫存區300，以供應用軟體讀取。另外，檔案200的第五資料塊3經過兩次修改，分別產生部分的資料塊3’及3”，其中，部分資料塊3”的產生時間較晚，因此覆蓋了部分資料塊3’且被寫入暫存區300。

圖4為根據本發明中一實施例的已修改資料塊的重新切分及去複製的示例圖，其中，左圖繪示重新切分及去複製前的檔案200，右圖則繪示重新切分及去複製後的檔案200。

本實施例中，檔案中的資料塊可分為三個種類，即未修改資料塊(在圖中無特別標示)、已修改資料塊(在圖中以網點標示)及殘段資料塊(在圖中以斜線標示)，其中，未修改資料塊係指自儲存裝置120取得後未經過修改且非處於檔案末端的資料塊，例如圖4左圖中的資料塊1、2、3，已修改資料塊係指自儲存裝置120取得後已經過修改的資料塊，或新增的資料塊，例如圖4左圖中的資料塊3”、5’，殘段資料塊係指檔案的切分或重新切分所產生的不符合切分演算法的切分標準的末端資料塊，例如圖4中的資料塊4、7、9。

在圖4左圖中，檔案200的第五資料塊3的一部分被修改為暫存區300中的部分資料塊3”，且在暫存區300中新增了資料塊5’。電子裝置110會根據預設條件判斷暫存區300是否已經汙濁(dirty)。例如，若檔案200的所有資料塊中，被修改的部分和新增的部分總共已達到或超過檔案200的檔案大小的預設百分比(可依實際需求設定不同百分比，例如，本實施例中設定為被修改與新增的資料塊大於或等於檔案200的檔案大小的25%)，則電子裝置110判斷暫存區300已經汙濁。或者，若檔案200的資料塊的修改和新增的累計次數已達到預設值(可依實際需求設定不同預設值)，則電子裝置110判斷暫存區300已經汙濁。當電子裝置110判斷暫存區300已經汙濁，會合併暫存區300中的已修改資料塊部分3”以及自儲存裝置120取得的資料塊3的其餘部分的最新版本，再對合併結果進行重新切分及去複製。另外，電子裝置110也會對新增資料塊5’進行切分及去複製。上述切分及去複製的結果如圖4右圖所示，其中，檔案200的第五資料塊3被重新切分為資料塊6及7，新增的第七資料塊5’被切分為資料塊8及9。重新切分前的檔案200僅有一個殘段資料塊4，重新切分後的檔案200則增加了兩個殘段資料塊7及9。由圖4的示例可知，每一次修改檔案就可能產生至少一個殘段資料塊。殘段資料塊的內容通常不易和其他資料塊重複，因此增加的殘段資料塊會降低去複製資料的效益並浪費儲存空間。

圖5為根據本發明中另一實施例的已修改資料塊的重新切分及去複製的示例圖。

首先，如同圖4左圖所示，檔案200的第五資料塊3的一部分被修改為暫存區300中的部分資料塊3”，且在暫存區300中新增了資料塊5’。當電子裝置110判斷暫存區300已經汙濁，則如圖5左圖所示，會自儲存裝置120取得資料塊3除已修改部分3”以外的其餘部分的最新版本501，將其存入暫存區300，且將第五資料塊3及新增資料塊5’之間的殘段資料塊4讀入暫存區300。然後，電子裝置110將資料塊部分501、3”以及資料塊4、5’合併為一段連續資料，再對合併後的連續資料重新進行切分及去複製，其結果如圖5右圖所示，該連續資料被重新切分為資料塊6、7、8。

在本實施例中，如圖5左圖所示，重新切分前的檔案200僅有一個殘段資料塊4，且如圖5右圖所示，重新切分後的檔案200仍然僅有一個殘段資料塊8。因此，圖5的方法比圖4的方法更能發揮去複製資料的效益並節省儲存空間，且能避免殘段資料塊不斷新增的問題，其流程如圖6所示。

圖6為根據本發明中一實施例的一種去複製資料方法的流程圖，該去複製資料方法可由電子裝置110執行。如上所述，電子裝置110可以在一個檔案已被切分為複數資料塊，且該等資料塊已去複製，且對應的暫存區已經汙濁之後，對該檔案執行該去複製資料方法。以下參照圖6說明該去複製資料方法的流程。

在步驟S61，根據該檔案中的資料塊的種類，在該檔案中設定計算範圍的頭端及尾端，以界定該計算範圍。詳言之，係將該計算範圍的頭端設為該檔案中的第一個已修改資料塊或殘段資料塊，且將該計算範圍的尾端設為該檔案中位於該頭端後的下一個已修改資料塊或殘段資料塊。該計算範圍包括該檔案中自該頭端至該尾端的全部資料塊，接著進至步驟S62。

在步驟S62，根據該計算範圍中的資料塊的種類，產生該計算範圍的評估值。該評估值係根據該計算範圍中的已修改資料塊的數量與分布而產生，且該評估值亦根據該計算範圍中的殘段資料塊的數量而產生。詳言之，該評估值係該計算範圍的效益值除以成本值，該效益值等於該計算範圍中的已修改資料塊及殘段資料塊的數量再加上已修改資料塊的連續區段的數量，且該成本值為該計算範圍中的全部資料塊的數量。上述的已修改資料塊的連續區段的定義為包含至少一個連續不斷的已修改資料塊的區段。

例如，圖7中的檔案710，若其計算範圍為第一資料塊至第三資料塊，則該計算範圍中有3個已修改資料塊及殘段資料塊，該計算範圍中有2個已修改資料塊的連續區段(分別為第一資料塊及第三資料塊)，且該計算範圍中有3個資料塊，故評估值為(2+3)/3=5/3。

又例如，圖7中的檔案740，若其計算範圍為第一資料塊至第八資料塊，則該計算範圍中有4個已修改資料塊，無殘段資料塊，該計算範圍中有2個已修改資料塊的連續區段(分別為第一至第三資料塊及第八資料塊)，且該計算範圍中有8個資料塊，故評估值為(4+2)/8=6/8=3/4。

再例如，圖7中的檔案760，若其計算範圍為第一資料塊至第六資料塊，則該計算範圍中有3個已修改資料塊及殘段資料塊，該計算範圍中有2個已修改資料塊的連續區段(分別為第一資料塊及第六資料塊)，且該計算範圍中有6個資料塊，故評估值為(3+2)/6=5/6。

接著，在步驟S63，檢查計算範圍的評估值是否大於或等於預設的臨界值。在一實施例中，該臨界值可在大於0且小於或等於2的範圍中選取。在另一實施例中，該臨界值可在大於或等於0且小於或等於2的範圍中選取。若該評估值大於或等於該臨界值，則流程進入步驟S66，否則流程進入步驟S64。

在步驟S64，檢查該計算範圍的尾端是否為該檔案的末端。若該尾端已為該檔案的末端，則流程進入步驟S69，否則流程進入步驟S65。

在步驟S65，改變該計算範圍的頭端及尾端設定。詳言之，係將該頭端改設為該檔案中自該尾端開始的第一個已修改資料塊或殘段資料塊(若該尾端為已修改資料塊或殘段資料塊，則將該頭端改設為該尾端)，再將該尾端改設為該檔案中位於該頭端後的下一個已修改資料塊或殘段資料塊，然後流程返回步驟S62。

在步驟S66，標記該計算範圍中的資料塊，接著進至步驟S67。

在步驟S67，檢查該計算範圍的尾端是否為該檔案的末端。若該尾端已為該檔案的末端，則流程進入步驟S69，否則流程進入步驟S68。

在步驟S68，改變該計算範圍的尾端設定。詳言之，係將該尾端改設為該檔案中位於該尾端後的下一個已修改資料塊或殘段資料塊，然後流程返回步驟S62。

最後，在步驟S69，對該檔案中的已標記資料塊重新進行切分及去複製。詳言之，電子裝置110先檢查每一個已修改資料塊是否全部被修改，若有未被全部修改者，則電子裝置110自儲存裝置120取得該資料塊除已修改部分以外的其餘部分的最新版本，將其存入暫存區。此外，若已標記資料塊中有尚未存入暫存區者，則電子裝置110自儲存裝置120取得該資料塊的最新版本，將其存入暫存區。然後，電子裝置110將暫存區中的已標記資料塊合併為一段連續資料，對合併後的連續資料重新進行切分及去複製，再依此更新該檔案的檔案描述記錄且更新儲存裝置120中儲存的資料塊。

須說明者，步驟S63的臨界值的選擇，會影響該去複製資料方法的計算成本與殘段資料塊的數量。例如，若臨界值設為0，則會將檔案中重新進行切分及去複製的範圍最大化，可將殘段資料塊減至最少，但計算成本為最高。若臨界值設為其他數值，則隨著臨界值提高，殘段資料塊的數量會逐漸增加，而計算成本會逐漸降低。

圖6的去複製資料方法的示例如圖7所示，對於圖7的示例，臨界值均設為1。

首先，對於檔案710，最初的計算範圍設定為第一至第二資料塊，此時的評估值為3/2>1，故標記第一至第二資料塊。接著，計算範圍改設為第一至第三資料塊，此時的評估值為5/3>1，故標記第一至第三資料塊。最後，對已標記的第一至第三資料塊重新進行切分及去複製。

對於檔案720，最初的計算範圍設定為第一至第三資料塊，此時的評估值為4/3>1，故標記第一至第三資料塊。最後，對已標記的第一至第三資料塊重新進行切分及去複製。

對於檔案730，最初的計算範圍設定為第一至第六資料塊，此時的評估值為4/6<1，故不標記資料塊。最後，不對整個計算範圍的資料塊重新進行切分及去複製，而是以傳統方式分別處理已修改的第一資料塊及第六資料塊。

對於檔案740，最初的計算範圍設定為第一至第二資料塊，此時的評估值為3/2>1，故標記第一至第二資料塊。接著，計算範圍改設為第一至第三資料塊，此時的評估值為4/3>1，故標記第一至第三資料塊。接著，計算範圍改設為第一至第八資料塊，此時的評估值為6/8<1，故不標記資料塊。最後，對已標記的第一至第三資料塊重新進行切分及去複製，已修改的第八資料塊則以傳統方式單獨處理。

對於檔案750，最初的計算範圍設定為第一至第三資料塊，此時的評估值為3/3=1，故標記第一至第三資料塊。接著，計算範圍改設為第一至第五資料塊，此時的評估值為5/5=1，故標記第一至第五資料塊。最後，對已標記的第一至第五資料塊重新進行切分及去複製。

對於檔案760，最初的計算範圍設定為第一至第四資料塊，此時的評估值為3/4<1，故不標記資料塊。接著，計算範圍改設為第四至第六資料塊，此時的評估值為3/3=1，故標記第四至第六資料塊。最後，對已標記的第四至第六資料塊重新進行切分及去複製，已修改的第一資料塊則以傳統方式單獨處理。

此外，本發明另提供一種電腦可讀媒介，例如記憶體、磁帶、磁碟、光碟或硬碟。該電腦可讀媒介係儲存有指令，以執行上述的去複製資料方法。該電腦可讀媒介可應用於電子裝置110中。

再者，本發明另提供一種檔案系統，係透過處理器執行上述的去複製資料方法。該檔案系統可應用於電子裝置110中。

綜上所述，本發明提供之去複製資料方法、電腦可讀媒介及檔案系統係根據檔案中資料塊種類產生評估值，再根據評估值決定是否對資料塊重新進行切分及去複製，故能避免效益不佳的重新切分，以減少殘段資料塊而提高去複製資料的效益並節省儲存空間。

上述實施形態僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何在本技術領域具有通常知識者均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

S61~S69:方法步驟

Claims

一種去複製資料方法，用於已被切分為複數資料塊且該等資料塊已去複製之檔案，該去複製資料方法係包括下列步驟：

根據該檔案中之資料塊的種類，在該檔案中界定計算範圍，其中，該計算範圍包括該檔案中之複數連續資料塊；

根據該計算範圍中之資料塊的種類，產生評估值，以決定是否標記該計算範圍中之資料塊；以及

對該檔案中之已標記資料塊重新進行切分及去複製。
如請求項1所述之去複製資料方法，其中，該檔案之該等資料塊具有複數不同長度，且該檔案之該等資料塊的種類包括未修改資料塊、已修改資料塊及殘段資料塊。
如請求項2所述之去複製資料方法，其中，該界定該計算範圍之步驟包括下列子步驟：

將該計算範圍之頭端設為該檔案中之第一個已修改資料塊或殘段資料塊；以及

將該計算範圍之尾端設為該檔案中位於該頭端後之下一個已修改資料塊或殘段資料塊，其中，該計算範圍包括該檔案中自該頭端至該尾端之複數連續資料塊。
如請求項3所述之去複製資料方法，復包括下列步驟：

若該評估值大於或等於一臨界值，則將該尾端改設為該檔案中位於該尾端後之下一個已修改資料塊或殘段資料塊，再重新計算以產生該評估值，俾決定是否標記該計算範圍中之資料塊。
如請求項3所述之去複製資料方法，復包括下列步驟：

若該評估值小於一臨界值，則將該頭端改設為該檔案中自該尾端開始之第一個已修改資料塊或殘段資料塊，再將該尾端改設為該檔案中位於該頭端後之下一個已修改資料塊或殘段資料塊，再重新計算以產生該評估值，俾決定是否標記該計算範圍中之資料塊。
如請求項1所述之去複製資料方法，其中，該決定是否標記該計算範圍中之資料塊的步驟包括下列子步驟：

若該評估值大於或等於一臨界值，則標記該計算範圍中之資料塊，而若該評估值小於該臨界值，則不標記該計算範圍中之資料塊。
如請求項6所述之去複製資料方法，其中，該臨界值大於零且該臨界值小於或等於二。
如請求項6所述之去複製資料方法，其中，該臨界值大於或等於零且該臨界值小於或等於二。
如請求項1所述之去複製資料方法，其中，該評估值係根據該計算範圍中之已修改資料塊的數量與分布而產生，且該評估值亦根據該計算範圍中之殘段資料塊的數量而產生。
如請求項9所述之去複製資料方法，其中，該評估值等於效益值除以成本值，該效益值等於該計算範圍中之已修改資料塊及殘段資料塊的數量再加上已修改資料塊的連續區段數量，且該成本值為該計算範圍中之全部資料塊的數量。
一種電腦可讀媒介，應用於電子裝置、計算裝置、資料儲存裝置、電腦或伺服器中，係儲存有指令，以執行如請求項1至10之任一者所述之去複製資料方法。
一種檔案系統，應用於計算裝置或電腦中，係透過處理器執行如請求項1至10之任一者所述之去複製資料方法。