TW201423427A - 資料塊備份系統及方法 - Google Patents

Abstract

一種資料塊備份系統及方法，該方法包括：將儲存了文檔資料塊的名稱、各資料塊的哈希值的哈希列表上傳至哈希資料庫中，及按照資料塊的分割順序將所述資料塊上傳至所述伺服器的資料登陸區；按照資料塊進入資料登陸區的順序對每個資料塊是否重複上傳進行判斷，當判斷結果為資料塊已在伺服器儲存區中時，確定該資料塊為重復資料塊，刪除資料登陸區中的該資料塊；當該重復資料塊沒有備份時，將該重復資料塊存入該伺服器的備份區中；將資料塊的儲存指針及備份塊指針追加到所述哈希資料庫中。

Description

資料塊備份系統及方法

本發明涉及一種雲端技術，尤其涉及一種雲端技術中將資料塊備份的系統及方法。

在分散式雲儲存中，一個資料塊可能被多個文檔所引用，如果資料塊損壞，會造成引用該資料塊的所有文檔都不完整，使文檔無法使用。

鑒於以上內容，有必要提供一種資料塊備份系統及方法，能夠避免被多次引用的資料塊因損壞、篡改或丟失而造成文檔無法使用。

所述資料塊備份系統，運行於儲存集群中的一台伺服器中，該儲存集群透過網路連接一個或多個用戶端。該系統包括：儲存模組，用於將儲存了文檔資料塊的名稱、各資料塊的哈希值的哈希列表上傳至哈希資料庫中，及按照資料塊的分割順序將所述資料塊上傳至所述伺服器的資料登陸區；去重模組，用於按照資料塊進入資料登陸區的順序對每個資料塊是否重複上傳進行判斷，當判斷結果為資料塊已在伺服器儲存區中時，確定該資料塊為重復資料塊，刪除資料登陸區中的該資料塊；備份模組，用於當該重復資料塊沒有備份時，將該重復資料塊存入該伺服器的備份區中，及當該重復資料塊已備份時，結束流程；資訊添加模組，用於將資料塊的儲存指針及備份塊指針追加到所述哈希資料庫中。

所述資料塊備份方法，應用於儲存集群中的一台伺服器中，該儲存集群透過網路連接一個或多個用戶端。該方法包括：儲存步驟，將儲存了文檔資料塊的名稱、各資料塊的哈希值的哈希列表上傳至哈希資料庫中，及按照資料塊的分割順序將所述資料塊上傳至所述伺服器的資料登陸區；去重步驟，按照資料塊進入資料登陸區的順序對每個資料塊是否重複上傳進行判斷，當判斷結果為資料塊已在伺服器儲存區中時，確定該資料塊為重復資料塊，刪除資料登陸區中的該資料塊；備份步驟，當該重復資料塊沒有備份時，將該重復資料塊存入該伺服器的備份區中，及當該重復資料塊已備份時，結束流程；資訊添加步驟，將資料塊的儲存指針及備份塊指針追加到所述哈希資料庫中。

相較於習知技術，所述資料塊備份系統及方法，在伺服器儲存區中的一個資料塊被多次引用（如多個文檔引用，或一個文檔引用多次）時，會對該資料塊做額外的備份，避免資料塊損壞、篡改或丟失後，造成文檔不完整。如果資料塊損壞，那麼文檔可以獲取備份的資料塊，使文檔保持完整，無錯誤。

如圖1所示，是本發明資料塊備份系統較佳實施例的運行環境示意圖。該資料塊備份系統運行於一個儲存集群中的某一台伺服器3中。該儲存集群是一個分散式的伺服器集群，其中有多台伺服器3。該儲存集群透過網路連接一個或多個用戶端1。

本實施例中，一台或多台伺服器3共用一個哈希資料庫2。例如，A伺服器3、B伺服器3和C伺服器3共用一個M哈希資料庫2，A伺服器3、B伺服器3和C伺服器3中的文檔資訊均儲存在M哈希資料庫2中。D伺服器3單獨用一個N哈希資料庫2，D伺服器3中的文檔資訊儲存在該N哈希資料庫2中。其中，所述哈希資料庫2可以為內置於某個伺服器3中的資料庫，也可以為外置的資料庫。例如，哈希資料庫2內置於A伺服器3，並被A伺服器3、B伺服器3和C伺服器3共用。

所述文檔資訊包括文檔的名稱和文檔的屬性。每個文檔對應一個哈希列表，及每個文檔對應一個哈希值。為了節省儲存空間、避免重複儲存，本實施例中的文檔由資料塊組成。哈希列表中記錄了文檔多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序。本實施例中，所述資料塊的名稱可依據資料塊的哈希值來命名。

如圖2所示，是圖1中安裝有資料塊備份系統300的伺服器3的主要組成示意圖。該伺服器3主要包括儲存設備30和至少一台處理設備32。

所述儲存設備30用於儲存所述資料塊備份系統300的電腦程式化代碼。該儲存設備30可以為伺服器3內置的記憶體，也可以為伺服器3外接的記憶體。

此外，所述儲存設備30內還包括一個或多個儲存區、一個或多個備份區及一個資料登陸區。其中，儲存區用於儲存資料塊、備份區用於對資料塊進行備份儲存，資料登陸區為一個臨時儲存資料塊的儲存區。

處理設備32用於執行所述資料塊備份系統300的電腦程式代碼。

所述資料塊備份系統300包括分塊模組3000、儲存模組3002、去重模組3004、備份模組3006和資訊添加模組3008。本發明所稱的模組是完成一特定功能的電腦程式段，比程式更適合於描述軟體在電腦中的執行過程，因此在本發明以下對軟體描述都以模組描述。模組3000至3008的功能將在圖3中進行詳細描述。

如圖3所示，是本發明資料塊備份方法較佳實施例的作業流程圖。

步驟S100，分塊模組3000將需要上傳的文檔分割成多個資料塊，並將該多個資料塊的名稱及其哈希值存入哈希列表，每個文檔對應一張哈希列表，及每個文檔對應一個哈希值（hash），每個資料塊也對應一個哈希值。哈希值的計算方法為習知技術，在此不再贅述。

在本實施例中，所述哈希列表中還記錄了各資料塊的備份欄位。該備份欄位用於記載資料塊是否備份。例如，後續若將某資料塊備份到所述備份區中，該資料塊在哈希列表的備份欄位會有值被添加，如將備份欄位這一欄位中的值由“無”改為資料塊的備份塊指針。

步驟S102，儲存模組3002將各文檔的哈希列表上傳至哈希資料庫2中，及按照資料塊的分割順序將所述資料塊上傳至所述伺服器3的資料登陸區進行臨時儲存。該資料登陸區是從伺服器3的儲存區中分割出來的一小塊，用來做資料塊中轉，即為一個臨時儲存資料塊的儲存區。

步驟S104，去重模組3004按照資料塊進入資料登陸區的順序對每個資料塊是否為重複上傳的資料塊進行判斷。具體地，去重模組3004搜尋伺服器3的儲存區，判斷該資料塊是否已在儲存區中。本實施例中，判斷資料塊是否已在儲存區可以透過比對哈希值的方式進行。

當判斷結果為該資料塊未在儲存區中時，步驟S106，去重模組3004將該資料塊從資料登陸區移入該伺服器3的儲存區中，然後流程進入步驟S112。

當上述判斷結果為該資料塊已在儲存區中時，步驟S108，去重模組3004確定該資料塊為重復資料塊，刪除所述資料登陸區中的該重復資料塊。

步驟S110，備份模組3006判斷該重復資料塊是否有備份。

具體地，備份模組3006從哈希資料庫2中查詢該重復資料塊所對應的哈希列表內的備份欄位是否有值。當哈希列表中該重復資料塊的備份欄位有值時，判定該資料塊已備份，直接結束流程。相反，當哈希列表中該重復資料塊的備份欄位沒有值時，判定該資料塊沒有備份，流程進入步驟S112。

步驟S112，所述備份模組3006將所述資料塊存入該伺服器3的備份區中，以執行備份。

步驟S114，資訊添加模組3008將所述資料塊的儲存指針及備份塊指針追加到所述哈希資料庫2中。即添加資料塊於哈希列表中備份欄位的值，如將資料塊的備份塊指針以字串的形式追加到哈希資料庫2內該資料塊的哈希列表中。

如圖4所示，是本發明用戶於用戶端下載伺服器3中文檔的作業流程圖。

步驟S200，用戶端根據文檔的儲存指針從哈希資料庫2中獲取文檔各資料塊的哈希值。具體地，每個文檔都有一個儲存指針，該儲存指針由文檔多個資料塊的儲存指針組成。

步驟S202，根據該文檔各資料塊的儲存指針從相應的儲存區下載資料塊。

步驟S204，校驗各資料塊的哈希值與從哈希資料庫2的哈希列表中獲取的相應資料塊的哈希值是否相同。

當校驗結果為不同時，步驟S206，從所述伺服器3的備份區下載該資料塊，然後流程返回步驟S204。

當校驗結果為相同時，步驟S208，用戶端將通過校驗的資料塊寫入臨時儲存區中，按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔。

步驟S210，校驗組合後文檔的哈希值與上傳到伺服器3之前文檔的哈希值是否相同。

當校驗結果為相同時，於步驟S212，將通過校驗的文檔返回給用戶端的用戶。當校驗結果為不同時，流程返回至步驟S200。

最後所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

1．．．用戶端

3．．．伺服器

2．．．哈希資料庫

30．．．儲存設備

32．．．處理設備

300．．．資料塊備份系統

3000．．．分塊模組

3002．．．儲存模組

3004．．．去重模組

3006．．．備份模組

3008．．．資訊添加模組

圖1是本發明資料塊備份系統較佳實施例的運行環境示意圖。

圖2是圖1中伺服器的主要組成示意圖。

圖3是本發明資料塊備份方法較佳實施例的作業流程圖。

圖4是本發明用戶於用戶端下載伺服器中文檔的作業流程圖。

3．．．伺服器

30．．．儲存設備

32．．．處理設備

300．．．資料塊備份系統

3000．．．分塊模組

3002．．．儲存模組

3004．．．去重模組

3006．．．備份模組

3008．．．資訊添加模組

Claims (10)

1. 一種資料塊備份方法，應用於儲存集群中的一台伺服器中，該儲存集群透過網路連接一個或多個用戶端，該方法包括：
   儲存步驟，將儲存了文檔資料塊的名稱、各資料塊的哈希值的哈希列表上傳至哈希資料庫中，及按照資料塊的分割順序將所述資料塊上傳至所述伺服器的資料登陸區；
   去重步驟，按照資料塊進入資料登陸區的順序對每個資料塊是否重複上傳進行判斷，當判斷結果為資料塊已在伺服器儲存區中時，確定該資料塊為重復資料塊，刪除資料登陸區中的該資料塊；
   備份步驟，當該重復資料塊沒有備份時，將該重復資料塊存入該伺服器的備份區中，及當該重復資料塊已備份時，結束流程；
   資訊添加步驟，將資料塊的儲存指針及備份塊指針追加到所述哈希資料庫中。
2. 如申請專利範圍第1項所述之資料塊備份方法，該方法在儲存步驟之前還包括：
   分塊步驟，將需要上傳的文檔分割成多個資料塊，並將該多個資料塊的名稱及其哈希值存入哈希列表，每個文檔對應一張哈希列表。
3. 如申請專利範圍第1項所述之資料塊備份方法，其中所述備份步驟包括：
   從哈希資料庫中查詢該重復資料塊所對應的哈希列表內的備份欄位是否有值；
   當哈希列表中該重復資料塊的備份欄位有值時，判定該資料塊已備份；及
   當哈希列表中該重復資料塊的備份欄位沒有值時，判定該資料塊沒有備份。
4. 如申請專利範圍第1項所述之資料塊備份方法，其中所述去重步驟還包括：
   當判斷結果為伺服器儲存區中沒有儲存該資料塊時，將該資料塊從資料登陸區移入儲存區中。
5. 如申請專利範圍第1項所述之資料塊備份方法，當用戶需要透過用戶端從伺服器下載文檔時，所述用戶端執行以下步驟：
   根據文檔的儲存指針從哈希資料庫中獲取文檔各資料塊的哈希值；
   根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
   校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
   當校驗結果為不相同時，從備份區提取該資料塊，然後返回上述校驗步驟；
   當校驗結果為相同時，按照所述資料塊的分割順序將通過校驗的資料塊進行排序組合，生成文檔；及
   校驗組合後文檔的哈希值與上傳到伺服器之前文檔的哈希值是否相同；
   當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶，當校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟。
6. 一種資料塊備份系統，運行於儲存集群中的一台伺服器中，該儲存集群透過網路連接一個或多個用戶端，該系統包括：
   儲存模組，用於將儲存了文檔資料塊的名稱、各資料塊的哈希值的哈希列表上傳至哈希資料庫中，及按照資料塊的分割順序將所述資料塊上傳至所述伺服器的資料登陸區；
   去重模組，用於按照資料塊進入資料登陸區的順序對每個資料塊是否重複上傳進行判斷，當判斷結果為資料塊已在伺服器儲存區中時，確定該資料塊為重復資料塊，刪除資料登陸區中的該資料塊；
   備份模組，用於當該重復資料塊沒有備份時，將該重復資料塊存入該伺服器的備份區中，及當該重復資料塊已備份時，結束流程；
   資訊添加模組，用於將資料塊的儲存指針及備份塊指針追加到所述哈希資料庫中。
7. 如申請專利範圍第6項所述之資料塊備份系統，該系統還包括：
   分塊模組，用於將需要上傳的文檔分割成多個資料塊，並將該多個資料塊的名稱及其哈希值存入哈希列表，每個文檔對應一張哈希列表。
8. 如申請專利範圍第6項所述之資料塊備份系統，其中所述備份模組從哈希資料庫中查詢該重復資料塊所對應的哈希列表內的備份欄位是否有值，當哈希列表中該重復資料塊的備份欄位有值時，判定該資料塊已備份，及當哈希列表中該重復資料塊的備份欄位沒有值時，判定該資料塊沒有備份。
9. 如申請專利範圍第6項所述之資料塊備份系統，其中所述去重模組還用於：
   當判斷結果為伺服器儲存區中沒有儲存該資料塊時，將該資料塊從資料登陸區移入儲存區中。
10. 如申請專利範圍第6項所述之資料塊備份系統，當用戶需要透過用戶端從伺服器下載文檔時，所述用戶端用於：
    根據文檔的儲存指針從哈希資料庫中獲取文檔各資料塊的哈希值；
    根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
    校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
    當校驗結果為不相同時，從備份區提取該資料塊，然後返回上述校驗步驟；
    當校驗結果為相同時，按照所述資料塊的分割順序將通過校驗的資料塊進行排序組合，生成文檔；及
    校驗組合後文檔的哈希值與上傳到伺服器之前文檔的哈希值是否相同；
    當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶，當校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟。