TW201423425A - 資料分塊儲存至分散式伺服器的系統及方法 - Google Patents

Abstract

一種資料分塊儲存至分散式伺服器的系統及方法，該方法包括：將用戶端上傳的文檔資訊和文檔的哈希列表存至哈希資料庫，哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；計算所有儲存伺服器的傳輸進程佔用率及各儲存伺服器中每個儲存區的儲存空間；確定傳輸進程佔用率低於預設值的儲存伺服器為空閒儲存伺服器，及確定有剩餘儲存空間的儲存區；當哈希資料庫中有哈希值與儲存伺服器中已儲存資料塊的哈希值相同時，確定該哈希值對應的資料塊為重復資料塊；為各資料塊分配儲存區。

Description

資料分塊儲存至分散式伺服器的系統及方法

本發明涉及一種雲端技術，尤其涉及一種透過雲端技術將資料分塊儲存至分散式伺服器的系統及方法。

在雲端技術中，當有文檔上傳及儲存時，會經常遇到伺服器的儲存空間不足、儲存進程長期被佔用，及文檔重複傳輸等缺陷，從而導致伺服器無法及時回應用戶的儲存請求及無法使用戶及時上傳文檔。

鑒於以上內容，有必要提供一種資料分塊儲存至分散式伺服器的系統及方法，其可有效地節省伺服器的儲存空間，使得伺服器的傳輸進程不會被一個用戶長期佔用，且加快了用戶上傳文檔的速度。

所述資料分塊儲存至分散式伺服器的系統，運行於一台分配伺服器中，該分配伺服器透過網路連接多個用戶端和多台儲存伺服器。該系統包括：接收模組，用於接收用戶端上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，該哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；計算模組，用於計算所述多台儲存伺服器的傳輸進程佔用率，及各儲存伺服器中每個儲存區的儲存空間；確定模組，用於根據上述計算得到的數值，確定傳輸進程佔用率低於預設值的儲存伺服器為空閒儲存伺服器，及確定該儲存伺服器中有剩餘儲存空間的儲存區；去重模組，用於當哈希資料庫中有哈希值與所述儲存伺服器中已儲存的資料塊的哈希值相同時，確定該哈希資料庫中該哈希值對應的資料塊為重復資料塊，通知相應用戶端所述儲存伺服器中已儲存該資料塊而無需再上傳該資料塊，並返回該重復資料塊的儲存指針給相應用戶端；及分配模組，用於將空閒儲存伺服器中有剩餘儲存空間的儲存區分配給去重後的各資料塊。

所述資料分塊儲存至分散式伺服器的方法，應用於一台分配伺服器中，該分配伺服器透過網路連接多個用戶端和多台儲存伺服器。該方法包括：接收步驟，接收用戶端上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，該哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；計算步驟，計算所述多台儲存伺服器的傳輸進程佔用率，及各儲存伺服器中每個儲存區的儲存空間；確定步驟，根據上述計算得到的數值，確定傳輸進程佔用率低於預設值的儲存伺服器為空閒儲存伺服器，及確定該空閒儲存伺服器中有剩餘儲存空間的儲存區；去重步驟，當哈希資料庫中有哈希值與所述儲存伺服器中已儲存的資料塊的哈希值相同時，確定哈希資料庫中該哈希值對應的資料塊為重復資料塊，通知相應用戶端無需再上傳該資料塊，並返回該重復資料塊的儲存指針給相應用戶端；及分配步驟，將空閒儲存伺服器中有剩餘儲存空間的儲存區分配給去重後的各資料塊。

相較於習知技術，所述資料分塊儲存至分散式伺服器的系統及方法，透過在伺服器集群中加入一個分配伺服器，使得各資料塊可以被合理地分配到一個儲存區，有效地節省了伺服器的儲存空間，使得伺服器的傳輸進程不會被一個用戶長期佔用，並加快了用戶上傳文檔的速度。

如圖1所示，是本發明資料分塊儲存至分散式伺服器的系統較佳實施例的運行環境示意圖。該資料分塊儲存至分散式伺服器的系統200運行於一台分配伺服器2中，該分配伺服器2透過網路連接多個用戶端1和一個分散式伺服器集群。該分散式伺服器集群中有多台儲存伺服器3。

該用戶端1透過網路連接一個分散式伺服器集群，即用戶端1透過網路與多台儲存伺服器3連接。該資料分塊儲存至分散式伺服器的系統200利用一個分配伺服器2，可以使得文檔中的資料塊被合理地分配到相應的儲存伺服器3內。

其中，所述分配伺服器2內置或外連接一個哈希資料庫4。本實施例以哈希資料庫4內置於分配伺服器2為例進行說明。

如圖2所示，是圖1中分配伺服器2的主要組成示意圖。該分配伺服器2主要包括儲存設備20和至少一台處理設備22。

所述儲存設備20用於儲存資料分塊儲存至分散式伺服器的系統200的電腦程式化代碼。該儲存設備20可以為用戶端1內置的記憶體，也可以為用戶端1外接的記憶體。

處理設備22用於執行所述資料分塊儲存至分散式伺服器的系統200的電腦程式代碼，實現資料塊的合理分配。

所述資料分塊儲存至分散式伺服器的系統200包括接收模組2000、計算模組2002、確定模組2004、去重模組2006和分配模組2008。本發明所稱的模組是完成一特定功能的電腦程式段，比程式更適合於描述軟體在電腦中的執行過程，因此在本發明以下對軟體描述都以模組描述。

所述接收模組2000用於接收用戶端1上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫4中。其中，所述文檔資訊包括文檔的名稱和文檔的屬性。每個文檔對應一個哈希列表，及每個文檔對應一個哈希值。

在接收哈希列表前，需要生成哈希列表。本實施例中的哈希列表透過以下步驟生成：首先，用戶端1將需要上傳至儲存伺服器3的文檔分割成多個資料塊；然後，按照分割順序將該多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中，並上傳該哈希列表至分配伺服器2，該分配伺服器2將該哈希列表存至哈希資料庫4中。本實施例中，所述資料塊的名稱可依據資料塊的哈希值來命名。

所述計算模組2002用於計算所述多台儲存伺服器3的傳輸進程佔用率，及各儲存伺服器3中每個儲存區的儲存空間。本實施例中，每台儲存伺服器3中有一個或多個儲存區。按照儲存伺服器3的容量及該儲存伺服器3內的儲存區數量，計算模組2002可以計算出每個儲存區的儲存空間。

所述確定模組2004用於根據上述計算得到的數值，確定傳輸進程佔用率低於預設值的儲存伺服器3為空閒儲存伺服器，及確定該儲存伺服器3中有剩餘儲存空間的儲存區。

所述去重模組2006用於將哈希資料庫4中的每個哈希值與各儲存伺服器3中已儲存的資料塊的哈希值進行比對。當該哈希資料庫4中有哈希值與所述儲存伺服器3中已儲存的資料塊的哈希值相同時，所述去重模組2006確定該哈希資料庫4中該哈希值對應的資料塊為重復資料塊，通知相應用戶端1所述儲存伺服器3中已儲存該資料塊而無需再上傳該資料塊，以免重複儲存，佔用儲存空間，及將該重復資料塊的儲存指針回饋給相應的用戶端1。該儲存指針是指資料塊具體儲存的儲存伺服器3及儲存區。

在用戶端1接收到資料塊的儲存指針後，會將去重後各資料塊上傳至相應的儲存伺服器3。例如，分配模組2008為資料塊b分配的儲存區為儲存伺服器3中的儲存區A，則用戶端1接收到該儲存指針時，將資料塊b上傳至儲存伺服器3。儲存伺服器3會對該資料塊進行校驗，通過校驗的資料塊才會被儲存到儲存伺服器3的儲存區內。

具體地，儲存伺服器3按照分配模組2008所分配的儲存區將去重後各資料塊存入相應的儲存區中，計算各資料塊的哈希值，然後將計算出的哈希值與哈希資料庫4中儲存於哈希列表中的相應資料塊的哈希值進行比對。例如，將計算出的資料塊a的哈希值與哈希列表中該資料塊a的哈希值進行比對。此處計算資料塊的哈希值所運用的方法可以為習知技術中的任意一種計算方法。因哈希值的計算方法為習知技術，在此不再贅述。當比對結果為相同時，儲存伺服器3返回各資料塊的儲存指針給用戶端1。當比對結果為不相同時，儲存伺服器3通知用戶端1重新上傳文檔，以更新該未通過校驗的資料塊。當校驗次數達到預設次數且校驗結果仍為不相同時，儲存伺服器3通知用戶端1文檔儲存失敗。導致文檔儲存的原因可能為網路延遲、木馬程式導致文檔被更改等。

如圖3所示，是本發明資料分塊儲存至分散式伺服器的方法較佳實施例的作業流程圖。

步驟S100，用戶端1將需要上傳至儲存伺服器3的文檔（如文檔A）分割成多個資料塊，並按照分割順序將該多個資料塊的名稱及各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中。其中，每個文檔對應一張哈希列表，及每個文檔對應一個哈希值。

在本實施例中，所述分割文檔的方法包括固定大小分塊、滑動塊分塊、可變分塊和全文檔分塊。本實施例中以固定大小分塊為例進行說明，即按照預設大小將文檔分割成多個資料塊。例如，將所述文檔A分割成資料塊a、b、c、d、e、f、g、h、i和j。

在此需要說明的是，每個文檔各對應一個哈希值。所述預設大小可以根據用戶的需求進行設定。例如，為了節省儲存空間，用戶可以將該預設大小設置成16K、32K、64K等，而為了提高儲存效率，用戶也可以將該預設大小設置成128K、256K。本實施例中，優選32K。

步驟S102，用戶端1上傳文檔資訊和哈希列表至分配伺服器2，接收模組2000接收該文檔資訊和哈希列表，並將該文檔資訊和哈希列表存至哈希資料庫4中。所述文檔的相關資訊包括文檔的名稱、文檔的屬性及資料塊的分割順序。

步驟S104，計算模組2002計算所述多台儲存伺服器3的傳輸進程佔用率，及各儲存伺服器3中每個儲存區的儲存空間。本實施例中，每台儲存伺服器3中有一個或多個儲存區。按照儲存伺服器3的容量及該儲存伺服器3內的儲存區數量，計算模組2002可以計算出每個儲存區的儲存空間。

步驟S106，所述確定模組2004根據上述計算得到的數值，確定傳輸進程佔用率低於預設值的儲存伺服器3為空閒儲存伺服器，及確定該儲存伺服器3中有剩餘儲存空間的儲存區。

步驟S108，當哈希資料庫4中有哈希值與所述儲存伺服器3中已儲存的資料塊的哈希值相同時，所述去重模組2006確定該哈希資料庫4中該哈希值對應的資料塊為重復資料塊，通知相應用戶端1所述儲存伺服器3中已儲存該資料塊而無需再上傳該資料塊。在此步驟S108中，去重模組2006還會將所述重復資料塊的儲存指針直接回饋給相應的用戶端1。

具體地，去重模組2006將哈希資料庫4中的每個哈希值與儲存伺服器3中已儲存的資料塊的哈希值進行比對，若比對結果為哈希資料庫4和儲存伺服器3中有相同哈希值時，確定哈希資料庫4中的該哈希值對應的資料塊與儲存伺服器3中的資料塊重複。用戶端1的用戶無需再上傳該資料塊。此處，比對、確定及通知過程即為去重。

步驟S110，所述分配模組2008將空閒儲存伺服器中有剩餘儲存空間的儲存區分配給去重後的各資料塊。

步驟S112，用戶端1將去重後各資料塊（即除了所述重復資料塊外的所有資料塊）傳輸給分配伺服器2，相應的儲存伺服器3接收用戶端1透過分配伺服器2傳輸的資料塊。例如，分配模組2008為資料塊b分配的儲存區為儲存伺服器3中的儲存區A，則用戶端1將資料塊b傳輸至儲存伺服器3。

步驟S114，儲存伺服器3按照分配模組2008所分配的儲存區將該通過校驗的資料塊寫入相應的儲存區內，計算各資料塊的哈希值，並將計算出的哈希值與哈希資料庫4中存於哈希列表內的相應資料塊的哈希值進行比對，以對資料塊進行校驗。例如，將計算出的資料塊a的哈希值與哈希列表中該資料塊a的哈希值進行比對。

當校驗結果為計算出的哈希值與哈希列表中相應資料塊的哈希值相同時，於步驟S116，儲存伺服器3返回通過校驗的各資料塊的儲存指針給用戶端1。

當校驗結果為計算出的哈希值與哈希列表中相應資料塊的哈希值不相同時，於步驟S118，儲存伺服器3通知用戶端1重新上傳文檔，以更新該未通過校驗的資料塊。具體地，儲存伺服器3利用重新上傳的文檔中通過校驗的相應資料塊覆蓋掉該未通過校驗的資料塊，或者，儲存伺服器3先將該未通過校驗的資料塊從儲存區中刪除掉，然後將重新上傳的文檔中通過過校驗的相應資料塊存入該儲存區中。

如圖4所示，是本發明用戶於用戶端1下載儲存伺服器3中文檔的作業流程圖。

步驟S200，用戶端1根據要下載的文檔的相關資訊（即圖2和圖3中所述的文檔資訊）從哈希資料庫4中該文檔對應哈希列表內獲取各資料塊的哈希值。

步驟S202，根據該文檔各資料塊的儲存指針從相應的儲存區下載資料塊。

步驟S204，校驗各資料塊的哈希值與從哈希資料庫4的哈希列表中獲取的相應資料塊的哈希值是否相同。

當校驗結果為不同時，流程返回至步驟S200，重新獲取哈希值及重新下載資料塊。

當校驗結果為相同時，步驟S206，用戶端1將通過校驗的資料塊寫入臨時儲存區中。

步驟S208，按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔。

步驟S210，校驗組合後文檔的哈希值與圖3步驟S100中文檔的哈希值是否相同。

當校驗結果為相同時，於步驟S212，將通過校驗的文檔返回給用戶端1的用戶。當校驗結果為不同時，流程返回至步驟S200。

最後所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

1．．．用戶端

2．．．分配伺服器

20．．．儲存設備

22．．．處理設備

3．．．儲存伺服器

4．．．哈希資料庫

200．．．資料分塊儲存至分散式伺服器的系統

2000．．．接收模組

2002．．．計算模組

2004．．．確定模組

2006．．．去重模組

2008．．．分配模組

圖1是本發明資料分塊儲存至分散式伺服器的系統較佳實施例的運行環境示意圖。

圖2是圖1中分配伺服器的主要組成示意圖。

圖3是本發明資料分塊儲存至分散式伺服器的方法較佳實施例的作業流程圖。

圖4是本發明用戶於用戶端下載儲存伺服器中文檔的作業流程圖。

2．．．分配伺服器

20．．．儲存設備

22．．．處理設備

200．．．資料分塊儲存至分散式伺服器的系統

2000．．．接收模組

2002．．．計算模組

2004．．．確定模組

2006．．．去重模組

2008．．．分配模組

Claims (10)

1. 一種資料分塊儲存至分散式伺服器的方法，應用於一台分配伺服器中，該分配伺服器透過網路連接多個用戶端和多台儲存伺服器，該方法包括：
   接收步驟，接收用戶端上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，該哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；
   計算步驟，計算所述多台儲存伺服器的傳輸進程佔用率，及各儲存伺服器中每個儲存區的儲存空間；
   確定步驟，根據上述計算得到的數值，確定傳輸進程佔用率低於預設值的儲存伺服器為空閒儲存伺服器，及確定該空閒儲存伺服器中有剩餘儲存空間的儲存區；
   去重步驟，當哈希資料庫中有哈希值與所述儲存伺服器中已儲存的資料塊的哈希值相同時，確定哈希資料庫中該哈希值對應的資料塊為重復資料塊，通知相應用戶端無需再上傳該資料塊，並返回該重復資料塊的儲存指針給相應用戶端；及
   分配步驟，將空閒儲存伺服器中有剩餘儲存空間的儲存區分配給去重後的各資料塊。
2. 如申請專利範圍第1項所述之資料分塊儲存至分散式伺服器的方法，該方法還包括：
   所述用戶端將需要上傳至儲存伺服器的文檔分割成多個資料塊，並按照分割順序將該多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中；及
   上傳該哈希列表至分配伺服器。
3. 如申請專利範圍第1項所述之資料分塊儲存至分散式伺服器的方法，還包括：
   儲存伺服器接收用戶端透過分配伺服器上傳的資料塊；
   將各資料塊寫入相應的儲存區；
   校驗各資料塊的哈希值與哈希資料庫中相應資料塊的哈希值是否相同；
   當校驗結果為相同時，返回通過校驗的各資料塊的儲存指針給相應用戶端；
   當校驗結果為不相同時，通知用戶端重新上傳文檔，以更新該未通過校驗的資料塊；及
   當校驗次數達到預設次數且校驗結果仍為不相同時，通知用戶端儲存失敗。
4. 如申請專利範圍第1項所述之資料分塊儲存至分散式伺服器的方法，其中所述文檔資訊包括文檔的名稱、文檔的屬性。
5. 如申請專利範圍第1項所述之資料分塊儲存至分散式伺服器的方法，當用戶需要透過用戶端從儲存伺服器下載文檔時，所述用戶端執行以下步驟：
   從哈希資料庫中獲取各資料塊的哈希值；
   根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
   校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
   當校驗結果為相同時，將通過校驗的資料塊寫入臨時儲存區中；
   按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔；及
   校驗組合後文檔的哈希值與用戶端上傳的文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶。
6. 一種資料分塊儲存至分散式伺服器的系統，運行於一台分配伺服器中，該分配伺服器透過網路連接多個用戶端和多台儲存伺服器，該系統包括：
   接收模組，用於接收用戶端上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，該哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；
   計算模組，用於計算所述多台儲存伺服器的傳輸進程佔用率，及各儲存伺服器中每個儲存區的儲存空間；
   確定模組，用於根據上述計算得到的數值，確定傳輸進程佔用率低於預設值的儲存伺服器為空閒儲存伺服器，及確定該儲存伺服器中有剩餘儲存空間的儲存區；
   去重模組，用於當哈希資料庫中有哈希值與所述儲存伺服器中已儲存的資料塊的哈希值相同時，確定該哈希資料庫中該哈希值對應的資料塊為重復資料塊，通知相應用戶端所述儲存伺服器中已儲存該資料塊而無需再上傳該資料塊，並返回該重復資料塊的儲存指針給相應用戶端；及
   分配模組，用於將空閒儲存伺服器中有剩餘儲存空間的儲存區分配給去重後的各資料塊。
7. 如申請專利範圍第6項所述之資料分塊儲存至分散式伺服器的系統，其中所述用戶端用於：
   將需要上傳至儲存伺服器的文檔分割成多個資料塊，並按照分割順序將該多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中；及
   上傳該哈希列表至分配伺服器。
8. 如申請專利範圍第6項所述之資料分塊儲存至分散式伺服器的系統，其中所述儲存伺服器在接收到用戶端透過分配伺服器上傳的資料塊時，用於：
   將各資料塊寫入相應的儲存區；
   校驗各資料塊的哈希值與哈希資料庫中相應資料塊的哈希值是否相同；
   當校驗結果為相同時，返回通過校驗的各資料塊的儲存指針給相應用戶端；
   當校驗結果為不相同時，通知用戶端重新上傳文檔，以更新該未通過校驗的資料塊；及
   當校驗次數達到預設次數且校驗結果仍為不相同時，通知用戶端儲存失敗。
9. 如申請專利範圍第6項所述之資料分塊儲存至分散式伺服器的系統，其中所述文檔資訊包括文檔的名稱、文檔的屬性。
10. 如申請專利範圍第6項所述之資料分塊儲存至分散式伺服器的系統，當用戶需要透過用戶端從儲存伺服器下載文檔時，所述用戶端還用於：
    從哈希資料庫中獲取各資料塊的哈希值；
    根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
    校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
    當校驗結果為相同時，將通過校驗的資料塊寫入臨時儲存區中；
    按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔；及
    校驗組合後文檔的哈希值與用戶端上傳的文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶。