TW201423426A - 資料分塊上傳與儲存系統及方法 - Google Patents

Abstract

一種資料分塊上傳與儲存系統及方法，該方法包括：將多個用戶端同時上傳的文檔資訊和文檔的哈希列表存至哈希資料庫中；設置各用戶端中資料塊的上傳順序；判斷所述哈希資料庫中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢；當有相同哈希值的資料塊正在傳輸或已經傳輸完畢時，判定該資料塊為重復資料塊，跳過該重復資料塊，確定上傳順序中的下一個資料塊為該用戶端的待傳輸資料塊。

Description

資料分塊上傳與儲存系統及方法

本發明涉及一種雲端技術，尤其涉及一種透過雲端技術將資料分塊上傳與儲存的系統及方法。

在雲儲存過程中，經常會遇到多個用戶同時上傳完全相同或者部份相同的文檔，這會佔用多餘的伺服器與用戶的傳輸帶寬，消耗伺服器過多的傳輸資源，並且使用戶佔用伺服器傳輸進程時間過長。

鑒於以上內容，有必要提供一種資料分塊上傳與儲存系統及方法，其可有效地減少伺服器與用戶的傳輸帶寬消耗，使資料傳輸更有效率，節約了網路資源。

所述資料分塊上傳與儲存系統，運行於一台塊傳輸分配器中，該塊傳輸分配器透過網路連接多個用戶端和一台儲存伺服器。該系統包括：接收模組，用於接收所述多個用戶端同時上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，每個文檔對應一張哈希列表，所述哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；設置模組，用於設置各用戶端中資料塊的上傳順序；判斷模組，用於判斷所述哈希資料庫中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢；去重模組，用於當有哈希值相同的資料塊正在傳輸或已經傳輸完畢時，判定該資料塊為重復資料塊，跳過該重復資料塊，確定上傳順序中的下一個資料塊為該用戶端的待傳輸資料塊；及上傳模組，用於當哈希資料庫中沒有與待傳輸資料塊的哈希值相同的哈希值，或者該哈希資料庫中有與待傳輸資料塊的哈希值相同的哈希值但該相同的哈希值對應的資料塊未正在傳輸或未已經傳輸完畢時，通知用戶將該待傳輸資料塊上傳至所述儲存伺服器的儲存區中，該儲存區內有多個資料區域。

所述資料分塊上傳與儲存方法，應用於一台塊傳輸分配器中，該塊傳輸分配器透過網路連接多個用戶端和一台儲存伺服器。所述方法包括：接收步驟，接收所述多個用戶端同時上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，每個文檔對應一張哈希列表，所述哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；設置步驟，設置各用戶端中資料塊的上傳順序；判斷步驟，判斷所述哈希資料庫中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢；去重步驟，當有哈希值相同的資料塊正在傳輸或已經傳輸完畢時，判定該資料塊為重復資料塊，跳過該重復資料塊，確定上傳順序中的下一個資料塊為該用戶端的待傳輸資料塊，流程返回至判斷步驟；及上傳步驟，當哈希資料庫中沒有與待傳輸資料塊的哈希值相同的哈希值，或者該哈希資料庫中有與待傳輸資料塊的哈希值相同的哈希值但該相同的哈希值對應的資料塊未正在傳輸或未已經傳輸完畢時，通知用戶將該待傳輸資料塊上傳至所述儲存伺服器的儲存區中，該儲存區內有多個資料區域。

相較於習知技術，所述資料分塊上傳與儲存系統及方法，透過在伺服器集群中加入一個分配器，使伺服器在併發傳輸中可以擇優計算各用戶文檔的分塊資訊，以使得多個用戶在文檔的傳輸過程中分別上傳不同的文檔塊，伺服器從而不會接收重復資料塊。

如圖1所示，是本發明資料分塊上傳與儲存系統較佳實施例的運行環境示意圖。該資料分塊上傳與儲存系統200運行於一台塊傳輸分配器2中，該塊傳輸分配器2透過網路連接多個用戶端1和一台儲存伺服器3。

該塊傳輸分配器2可以避免多個用戶同時上傳文檔時儲存伺服器3接收到重復資料塊的情況發生。

其中，所述塊傳輸分配器2內置或外連接一個哈希資料庫4。本實施例以哈希資料庫4內置於塊傳輸分配器2為例進行說明。

如圖2所示，是圖1中塊傳輸分配器2的主要組成示意圖。該塊傳輸分配器2主要包括儲存設備20和至少一台處理設備22。

所述儲存設備20用於儲存資料分塊上傳與儲存系統200的電腦程式化代碼。該儲存設備20可以為用戶端1內置的記憶體，也可以為用戶端1外接的記憶體。

處理設備22用於執行所述資料分塊上傳與儲存系統200的電腦程式代碼，合理調整資料塊的傳輸，避免相同資料塊被多次上傳及儲存。

所述資料分塊上傳與儲存系統200包括接收模組2000、設置模組2002、判斷模組2004、去重模組2006和上傳模組2008。本發明所稱的模組是完成一特定功能的電腦程式段，比程式更適合於描述軟體在電腦中的執行過程，因此在本發明以下對軟體描述都以模組描述。

所述接收模組2000用於接收所述多個用戶端1同時上傳的文檔資訊和文檔的哈希列表，並將其儲存到哈希資料庫4中。其中，所述文檔資訊包括文檔的名稱和文檔的屬性。每個文檔對應一個哈希列表，及每個文檔對應一個哈希值（hash）。

在接收哈希列表前，需要先生成哈希列表。本實施例中的哈希列表透過以下步驟生成：首先，各用戶端1將需要上傳至儲存伺服器3的文檔分割成多個資料塊；然後，按照分割順序將該多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中，並上傳該哈希列表至塊傳輸分配器2，該塊傳輸分配器2將各文件的哈希列表存至哈希資料庫4中。

所述設置模組2002用於設置各用戶端1中資料塊的上傳順序。該上傳順序可以被設置為所述資料塊的分割順序，或者該分割順序的逆向順序。本實施例以將上傳順序設置成資料塊的分割順序為例進行說明。

所述判斷模組2004用於判斷所述哈希資料庫4中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢。例如，資料塊f為B用戶端的待傳輸資料塊，判斷模組2004從哈希資料庫4中尋找是否有與該資料塊f的哈希值相同的哈希值（不包括B用戶端待傳輸的資料塊f的哈希值本身），如找到C用戶端傳輸的資料塊f的哈希值，且C客戶端正在傳輸該資料塊f或者該資料塊f已經被傳輸完畢。

當有哈希值相同的資料塊正在傳輸或傳輸完畢時，所述去重模組2006用於判定該資料塊為重復資料塊，跳過該重復資料塊，確定分割順序中的下一個資料塊為待傳輸資料塊。

需要說明的是，哈希值相同的兩個資料塊實質為有相同內容的資料塊。跳過該哈希值相同的資料塊，可以避免相同資料塊被重複上傳與儲存。

當哈希資料庫4中沒有與所述待傳輸資料塊的哈希值相同的哈希值，或者該哈希資料庫4中有與所述待傳輸資料塊的哈希值相同的哈希值但該相同的哈希值對應的資料塊未正在傳輸或已經傳輸時，所述上傳模組2008用於通知用戶將該待傳輸資料塊上傳至所述儲存伺服器3的儲存區30中。其中，所述儲存區30內有多個資料區域，每個資料區域可以預先設定一個編號，如data 1，data 2，data 3等。

所述回饋模組2010用於返回各資料塊的儲存指針給相應的用戶端1，該儲存指針是指資料塊儲存在所述儲存區內的資料區域的編號。

另外，所述各資料塊的儲存指針的編號還會被儲存到哈希資料庫4內的相應哈希列表中。所有文檔的哈希列表組合在一起，可以生成一個文檔索引表。

需要說明的是，所述上傳至儲存伺服器3中的資料塊會被隨機儲存到儲存區30的資料區域內，記錄各資料塊所儲存的資料區域，可以方便用戶在讀取文檔時快速地從儲存區30中下載到所需要的文檔。

在儲存伺服器3接收到所述資料塊後，會校驗各資料塊，未通過校驗的資料塊將從儲存區30內被刪除掉，或者利用用戶重新上傳的資料塊來覆蓋掉。具體地，儲存伺服器3計算各資料塊的哈希值，將計算出的哈希值與哈希資料庫4中儲存於哈希列表中的相應資料塊的哈希值進行比對。例如，將計算出的資料塊a的哈希值與哈希列表中該資料塊a的哈希值進行比對。此處計算資料塊的哈希值所運用的方法可以為現有技術中的任意一種計算方法。因哈希值的計算方法為現有技術，在此不再贅述。當比對結果為不相同時，儲存伺服器3通知用戶端1重新上傳資料塊。當校驗次數達到預設次數且校驗結果仍為不相同時，儲存伺服器3通知用戶端1儲存失敗。導致儲存失敗的原因可能為網路延遲、木馬程式導致文檔被更改等。

如圖3所示，是本發明資料分塊上傳與儲存方法較佳實施例的作業流程圖。

步驟S100，當有多個用戶端1同時上傳文檔至儲存伺服器3中時，各用戶端1將文檔（如文檔A）分割成多個資料塊，並按照分割順序將該多個資料塊的名稱及各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中。其中，每個文檔對應一張哈希列表，及每個文檔對應一個哈希值。

在本實施例中，所述分割文檔的方法包括固定大小分塊、滑動塊分塊、可變分塊和全文件分塊。本實施例中以固定大小分塊為例進行說明，即按照預設大小將文檔分割成多個資料塊。如圖4所示，將所述文檔A分割成資料塊a、b、c、d、e、f、g、h、i和j。

所述預設大小可以根據用戶的需求進行設定。例如，為了節省儲存空間，用戶可以將該預設大小設置成16K、32K、64K等，而為了提高儲存效率，用戶也可以將該預設大小設置成128K、256K。本實施例中，優選32K。

步驟S102，各用戶端1同時上傳文檔資訊和哈希列表至塊傳輸分配器2，接收模組2000接收該多個用戶端1同時上傳的文檔資訊和哈希列表，並將該文檔資訊和哈希列表存至哈希資料庫4中。所述文檔的相關資訊包括文檔的名稱、文檔的屬性及資料塊的分割順序。

步驟S104，所述設置模組2002設置各用戶端1中資料塊的上傳順序。本實施例以將上傳順序設置成資料塊的分割順序為例進行說明。

步驟S106，當有資料塊待傳輸時，判斷模組2004判斷所述哈希資料庫4中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢。此處，哈希值相同的資料塊實質為內容相同的資料塊。

當步驟S106中的判斷結果為有哈希值相同的資料塊正在傳輸或已經傳輸完畢時，步驟S108，去重模組2006判定該資料塊為重復資料塊，跳過該重復資料塊，確定上傳順序中的下一個資料塊為待傳輸資料塊。

例如，圖4所示的A用戶端和B用戶端上傳的文檔相同，均為文檔A，分割後的資料塊也相同，均包括：資料塊a、b、c、d、e、f、g、h、i和j。假設A用戶端和B用戶端的資料塊上傳順序都被設置為資料塊的分割順序，由於A用戶端和B用戶端的傳輸速率不同，因此，當同時上傳文檔時，傳輸速率較高的用戶端（如A用戶端）會優先上傳資料塊a，而在B用戶端檢測到資料塊a被A客戶端正在傳輸或已經傳輸完畢時，去重模組2006跳過該資料塊a，將資料塊b確定為B用戶端的待傳輸資料塊，以此類推。

再比如，圖4所示的C用戶端上傳的文件為文件B，與B用戶端上傳的文檔A部分相同，如B用戶端的文檔A和C用戶端的文件B有重復資料塊f、g、h、i和j。假設B用戶端和C用戶端的資料塊上傳順序都被設置為資料塊的分割順序，由於B用戶端的傳輸速率高於C用戶端，因此，當同時上傳文檔時，當B用戶端傳輸完資料塊a、b、c、d和e時，確定資料塊f為待傳輸資料塊，此時，若B用戶端檢測到與該資料塊f的哈希值相同的文檔B中的資料塊f正在被傳輸或已經傳輸完畢，則去重模組2006會跳過該資料塊f，確定下一個資料塊g為B用戶端的待傳輸資料塊，以此類推。

當哈希資料庫4中沒有與待傳輸資料塊的哈希值相同的哈希值，或者該哈希資料庫4中有與待傳輸資料塊的哈希值相同的哈希值但該相同的哈希值對應的資料塊未正在傳輸或未已經被傳輸完畢時，步驟S110，上傳模組2008通知用戶將所述待傳輸資料塊上傳至所述儲存伺服器3的儲存區30中。其中，所述儲存區30內有多個資料區域，每個資料區域可以預先設定一個編號，如data 1，data 2，data 3等。上傳至儲存區30內的資料塊會被隨機儲存到一個資料區域中。

步驟S112，儲存伺服器3計算各資料塊的哈希值，將計算出的哈希值與哈希資料庫4中儲存於哈希列表中的相應資料塊的哈希值進行比對，以對各資料塊進行校驗。當校驗結果為相同時，流程進入步驟S114。當校驗結果為不相同時，流程進入步驟S116。

步驟S114，儲存伺服器3將通過校驗的各資料塊的儲存指針返回給相應的用戶端1，該儲存指針是指資料塊儲存在所述儲存區內的資料區域的編號。

步驟S116，儲存伺服器3通知用戶端1重新上傳該資料塊，並利用重新上傳的該資料塊更新所述未通過校驗的資料塊。

具體地，儲存伺服器3利用重新上傳的資料塊覆蓋掉所述未通過校驗的資料塊，或者，儲存伺服器3先將所述未通過校驗的資料塊從儲存區中刪除掉，然後將重新上傳的資料塊存入該儲存區中。

需要說明的是，當經過步驟S112的資料塊的校驗次數達到預設次數且校驗結果仍為不相同時，儲存伺服器3通知用戶端1儲存失敗。導致儲存失敗的原因可能為網路延遲、木馬程式導致文檔被更改等。

如圖5所示，是本發明用戶於用戶端1讀取儲存伺服器3中文檔的作業流程圖。

步驟S200，用戶端1根據要下載的文檔的相關資訊（即圖2和圖3中所述的文檔資訊）從哈希資料庫4中該文檔對應哈希列表內獲取各資料塊的哈希值。

步驟S202，根據該文檔各資料塊的儲存指針從儲存區30內的相應資料區域下載資料塊。

步驟S204，校驗各資料塊的哈希值與從哈希資料庫4的哈希列表中獲取的相應資料塊的哈希值是否相同。

當校驗結果為不同時，流程返回至步驟S200，重新獲取哈希值及重新下載資料塊。

當校驗結果為相同時，步驟S206，用戶端1按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔。

步驟S208，校驗組合後文檔的哈希值與圖3步驟S100中文檔的哈希值是否相同。

當校驗結果為相同時，於步驟S210，將通過校驗的文檔返回給用戶端1的用戶。當校驗結果為不同時，流程返回至步驟S200。

最後所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

1．．．用戶端

2．．．塊傳輸分配器

20．．．儲存設備

22．．．處理設備

3．．．儲存伺服器

30．．．儲存區

4．．．哈希資料庫

200．．．資料分塊上傳與儲存系統

2000．．．接收模組

2002．．．設置模組

2004．．．判斷模組

2006．．．去重模組

2008．．．上傳模組

圖1是本發明資料分塊上傳與儲存系統較佳實施例的運行環境示意圖。

圖2是圖1中塊傳輸分配器的主要組成示意圖。

圖3是本發明資料分塊上傳與儲存方法較佳實施例的作業流程圖。

圖4舉例說明多個用戶端向儲存伺服器上傳重復資料塊的示意圖。

圖5是本發明用戶於用戶端讀取儲存伺服器中文檔的作業流程圖。

2．．．塊傳輸分配器

20．．．儲存設備

22．．．處理設備

200．．．資料分塊上傳與儲存系統

2000．．．接收模組

2002．．．設置模組

2004．．．判斷模組

2006．．．去重模組

2008．．．上傳模組

Claims (10)

1. 一種資料分塊上傳與儲存方法，應用於一台塊傳輸分配器中，該塊傳輸分配器透過網路連接多個用戶端和一台儲存伺服器，該方法包括：
   接收步驟，接收所述多個用戶端同時上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，每個文檔對應一張哈希列表，所述哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；
   設置步驟，設置各用戶端中資料塊的上傳順序；
   判斷步驟，判斷所述哈希資料庫中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢；
   去重步驟，當有哈希值相同的資料塊正在傳輸或已經傳輸完畢時，判定該資料塊為重復資料塊，跳過該重復資料塊，確定上傳順序中的下一個資料塊為該用戶端的待傳輸資料塊，流程返回至判斷步驟；及
   上傳步驟，當哈希資料庫中沒有與待傳輸資料塊的哈希值相同的哈希值，或者該哈希資料庫中有與待傳輸資料塊的哈希值相同的哈希值但該相同的哈希值對應的資料塊未正在傳輸或未已經傳輸完畢時，通知用戶將該待傳輸資料塊上傳至所述儲存伺服器的儲存區中，該儲存區內有多個資料區域。
2. 如申請專利範圍第1項所述之資料分塊上傳與儲存方法，還包括：
   所述用戶端將需要上傳至儲存伺服器的文檔分割成多個資料塊，並按照分割順序將該多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中；及
   上傳該哈希列表至所述塊傳輸分配器。
3. 如申請專利範圍第1項所述之資料分塊上傳與儲存方法，還包括：
   儲存伺服器接收用戶端透過塊傳輸分配器上傳的資料塊；
   將該通過校驗的資料塊寫入儲存區中；
   校驗各資料塊的哈希值與哈希資料庫中所儲存的哈希列表內的相應資料塊的哈希值是否相同；
   當校驗結果為相同時，將通過校驗的各資料塊的儲存指針返回給相應的用戶端，該儲存指針是指資料塊儲存在所述儲存區內的資料區域的編號；
   當校驗結果為不相同時，通知用戶端重新上傳資料塊；及
   當校驗次數達到預設次數且校驗結果仍為不相同時，通知用戶端儲存失敗。
4. 如申請專利範圍第1項所述之資料分塊上傳與儲存方法，其中所述文檔資訊包括文檔的名稱、文檔的屬性。
5. 如申請專利範圍第1項所述之資料分塊上傳與儲存方法，當用戶於用戶端讀取所述儲存伺服器中文檔時，所述用戶端執行以下步驟：
   從哈希資料庫中獲取各資料塊的哈希值；
   根據各資料塊的儲存指針從儲存區的相應資料區域內讀取各資料塊；
   計算所讀取的各資料塊的哈希值，校驗該各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
   當校驗結果為相同時，將通過校驗的資料塊按照分割順序排列組合成文檔；及
   校驗組合後文檔的哈希值與用戶端上傳的文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶。
6. 一種資料分塊上傳與儲存系統，運行於一台塊傳輸分配器中，該塊傳輸分配器透過網路連接多個用戶端和一台儲存伺服器，該系統包括：
   接收模組，用於接收所述多個用戶端同時上傳的文檔資訊和文檔的哈希列表，儲存到哈希資料庫中，每個文檔對應一張哈希列表，所述哈希列表中記錄了文檔的多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序；
   設置模組，用於設置各用戶端中資料塊的上傳順序；
   判斷模組，用於判斷所述哈希資料庫中是否有與待傳輸資料塊的哈希值相同的哈希值，且該相同的哈希值對應的資料塊正在傳輸或已經傳輸完畢；
   去重模組，用於當有哈希值相同的資料塊正在傳輸或已經傳輸完畢時，判定該資料塊為重復資料塊，跳過該重復資料塊，確定上傳順序中的下一個資料塊為該用戶端的待傳輸資料塊；及
   上傳模組，用於當哈希資料庫中沒有與待傳輸資料塊的哈希值相同的哈希值，或者該哈希資料庫中有與待傳輸資料塊的哈希值相同的哈希值但該相同的哈希值對應的資料塊未正在傳輸或未已經傳輸完畢時，通知用戶將該待傳輸資料塊上傳至所述儲存伺服器的儲存區中，該儲存區內有多個資料區域。
7. 如申請專利範圍第6項所述之資料分塊上傳與儲存系統，其中所述用戶端用於：
   在上傳文檔資訊和哈希列表前，將需要上傳至儲存伺服器的文檔分割成多個資料塊，並按照分割順序將該多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序存入一張哈希列表中；及
   上傳該哈希列表至所述塊傳輸分配器。
8. 如申請專利範圍第6項所述之資料分塊上傳與儲存系統，在儲存伺服器接收到用戶端透過塊傳輸分配器上傳的資料塊後，執行以下步驟：
   將該通過校驗的資料塊寫入儲存區中；
   校驗各資料塊的哈希值與哈希資料庫中所儲存的哈希列表內的相應資料塊的哈希值是否相同；
   當校驗結果為相同時，將通過校驗的各資料塊的儲存指針返回給相應的用戶端，該儲存指針是指資料塊儲存在所述儲存區內的資料區域的編號；
   當校驗結果為不相同時，通知用戶端重新上傳資料塊；及
   當校驗次數達到預設次數且校驗結果仍為不相同時，通知用戶端儲存失敗。
9. 如申請專利範圍第6項所述之資料分塊上傳與儲存系統，其中所述文檔資訊包括文檔的名稱、文檔的屬性。
10. 如申請專利範圍第6項所述之資料分塊上傳與儲存系統，其中所述用戶端還用於：
    當用戶需要透過用戶端從儲存伺服器讀取文檔時，從哈希資料庫中獲取各資料塊的哈希值；
    根據各資料塊的儲存指針從儲存區的相應資料區域內讀取各資料塊；
    計算所讀取的各資料塊的哈希值，校驗該各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
    當校驗結果為相同時，將通過校驗的資料塊按照分割順序排列組合成文檔；及
    校驗組合後文檔的哈希值與用戶端上傳的文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶。