TW201142646A - Cloud data storage system - Google Patents

Description

201142646 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種資料儲存系統，尤指一種適用於雲 端運算之資料儲存系統。 【先前技術】 雲端運算是一種基於網際網路的運算方式，透過網際 網路為使用者提供即時的服務。未來，使用者僅需使用一 台能連接至網際網路的終端裝置，即可於網路中執行程 式、軟體，並儲存檔案資料。是故，檔案資料的傳輸效率 與重複資料識別與儲存，病毒的識別與消滅，資料的隱私 保護將是雲端運算相當重要的課題之一。 隨著上網人數增加與彼此的互動頻繁，相同的資料與 相同的操作大量的在網際網路令複製與流竄（包含病毒），嚴 重地耗損網路的資源與使用效能。

例如，熱門的影音資料透過電子郵件、網路硬碟等傳 ，工具，τ能在網路上形成數百萬或數千萬的副本與數億 次的資料傳輸。又例士。，某#•熱門的關鍵字查詢可能被數 百萬或數千萬的人使m些重複的動作不斷地發生 時二大量浪費網路資源將可能使得網路面臨崩潰。因此， 確實有必要針對此一課題進行改善。 發明人緣因於此，本於積極創作之精神，亟思一種可 解決上述問題的雲端資料儲存系統， 〜 u有政提高檔案資料 傳輸之效能。 201142646 【發明内容】 計，^於此本發明之主要目的係在提供—種雲端資料 =乐統’俾能降低重覆資料的儲存、減少網路間的重複 傳輸，以發揮聯網的真正效益。 =成，述目的，本發明所提供的雲端資料儲存系 =包括.複數個儲存單元；複數個處 網際網路連接至該等複數個 、糸a由 眭甘〆 1U储存早兀，以及複數個使用 係連接至該等複數個處理單元之―；其中任 =所欲儲存之上傳擋案係分割為複數 複數個檔案區塊係經由一演苜味八9|> :系匕尾及冬 值，該等特徵值係經由另二’刀二汁鼻出對應之特徵 塊可存入之餘t - /角斤法決疋該等複數個檔案區 隼人以_〖早n等複數個特徵㈣組成—特徵值 m合以對應該檔案。 订彳双值 本發明所提供的第一種上傳方 應之儲存單元詢^用知向所對 所對應之檔荦區m 特㈣’右有’則不傳送 儲存單元。 右無，則傳送所對應之㈣區塊至該 另外，每一處理單元更包含有— 存區。該特徵值表格係用 ' 暫二-暫 用以儲存複數_案區塊做為資料快㈣存區係 本發明所提供的第二 徵值集合傳送至該等她广法為：該使用端將該特 心土必寻硬數個處理一 。_ 該處理單元之特徵值矣 处里早7C，並由 值表格達行資料比對。若該特徵值表格 201142646

包含有相同之特徵值，該使用端不傳送所對應之檔案區 塊。若該特徵值表格未包含相同之特徵值，則該處理單元 將未包含之特徵值傳送至其所對應之儲存單元進行資料比 =該儲存單元將同樣未包含相同之特徵值回傳至該處理 單元’該處料元係致使該使用端傳送未包含相同之特徵 值所對應之㈣區塊至該處理單元之暫存區。該處理單元 將儲存於該暫存區之未包含相同之特徵值所對 塊傳送至所對應之儲存單元。 ” ^供的第—種下Μ法為：當料複數個使 ^而之—使用端下載錢案時，錢依據該檔案相對之複 =特徵值集合内容計算所對應之儲存單元位置以下載所 等樓案區塊… 據料案之特徵值集合將該 用端之使7 下載方法為：當該等複數個使 載該標案時’其係將該特徵值集合傳送 之;= 元之—處理單元，並根據該處理單元 寺徵值表格進行資料比對。^該處理單元 包含有相同之特徵值，該處理單元 ，核表才。 塊由該暫存區取出以回傳至對應之檔案區 徵值表格未包含相同之特徵值該處理單元之特 以取得對應之該等儲存單元位置，並傳= 徵值至所對應之該等儲存單元。該 專以寺特 该等標案區塊傳送至該處理單元套子^將所對應之 案區塊而儲存至該暫存區，並將該等早疋接收該等檔 寻知案區塊傳送至該使 201142646 用端。該使用端依據該檔案之特徵值集合將該等檔案區塊 組合。 【實施方式】 請先參考圖1，圖1係本發明一較佳實施例之系統架構 圖。如圖所示’本發明包含有複數個使用端'複數個處理 單元、及複數個儲存單元。為方便說明，本實施例所提供 之雲端資料儲存系統包含八組使用端A1〜A8、三組處理單 元81〜83、及十組儲存單元1卩1〜1?1〇。其中，使用端八卜八8 係經由網際網路或區域網路連接至處理單元B丨〜B3之至少 其中之一’儲存單元IP 1〜IP 1 〇經由網際網路或區域網路連 接至處理單元B1〜B3。處理單元B卜B3各包含有暫存區（圖 未示）以存放快取用的區塊資料，使用端A1〜A8、及儲存單 位IP1〜IP10各包含有硬碟（圖未示）以存放永久資料。 接著’請參考圖2 ’圖2係本發明一較佳實施例之第 一 4案上傳處理示意圖。首先，使用者通過使用端A 1上傳 一檔案X，檔案X係先進行分割，例如本實施例將檔案X分 割成八個區塊，分別為Bl〇ck0至Bl〇ck7 ^該等八個區塊的 檔案資料係通過一演算法，如MD5演算法分別計算其所對 應的特徵值。以本實施例為例’ BlockO經計算後所得的特 徵值為 135496’Blockl 為 23187, Block2 為 224568 卜 Block3 為 3347654，Block4 為 86721，Block5 為 334卜 Block6 為 1357892，Block:7為123456。該等特徵值係組成一特徵值 201142646 集合而記錄於使用端AI之一特徵值表格丫中，使用仙 再將該特徵值集合傳送至處理單元Βι。 接著μ參考U 3，其係本發明一較佳實施例之第二 標案上傳處理示意圖。如圖所示，處理單元Μ收到該特徵 值集合後與自己的㈣值表格w作比對，並根據特徵值表 格w將與該特徵值集合内相同特徵值（8672〗、1357892)刪 去。剩下的特徵值（135496、23187、224568 1、3347654、 341 123456)^；經由;^ -雜凑演算法得出—組數字以對應 至儲存單元。例如，將雜凑演算法係將特徵值135496、 87 2245681、3347654、3341、123456 除以一固定值 取餘數，若此固定值除數為1〇，則可得一數列6、7、丨、4、 卜6 ’該數列係可對應至儲存單元IP6、IP7、IP卜ΠΜ、IP!、 IP6。其中’儲存單元ιρι所對應的特徵值為224568ι、 3341，儲存單元Ip4所對應的特徵值為3347654，儲存單元 IP6所對應的特徵值為135496、123456，儲存單元IP7所 對應的特徵值為23 187。 處理單元B1根據此一對應關係將特徵值2245681、 3341傳送給儲存單元丨p丨，將特徵值3347654傳送給儲存 單元IP4’將特徵值丨3M96、ι23456傳送給儲存單元lp6, 將特徵值23187傳送給儲存單元11>7。 接著，請參考圖4(a)，其係本發明一較佳實施例之第 三檔案上傳處理示意圖。儲存單元ιρι於接收到處理單元 B1傳來的特徵值2245681、334丨後，係與自己的特徵值表 201142646 格ΙΡΓ做比對，發現已包含有特徵值2245681，但未包含 特徵值3 3 41，因此將特徵值3 3 41回傳給處理單元b 1。 儲存單元IP4於接收到處理單元B1傳來的特徵值 3347654後，係與自己的特徵值表格ιρ4，比對，發現未包 含特徵值3347654，因此將特徵值3347654回傳至處理單 元B 1 〇 儲存單元IP6於接收到處理單元B1傳來的特徵值 135496、123456後，係與自己的特徵值表格ιρ6，做比對， 發現未包含特徵值135496、123456，因此將特徵值 135496，123456回傳至處理單元m。 儲存單元IP7於接收到處理單元Bi傳來的特徵值 (23 1 87) ’與自己的特徵值表格Ip7，比對，發現未包含特徵 值2 3 1 8 7 ’所以將特徵值2 3 1 8 7回傳給處理單元b 1。 處理單元B 1接收到儲存單元ιρι、IP4、〖p6、[p7所回 傳的特徵值 3341、3347654 ' 135496、123456、23187 後， 係將上述特徵值傳至使用端A1。 使用端A1接收到處理單元b 1回傳的特徵值3 3 41、 3347654、135496、123456、23187 後，係將其所對應的檔 案區塊Block5、Block3、BlockO、Blocks、Blockl 傳送至 處理單元B 1。處理單元B丨於接收到使用端a 1傳來的檔案 區塊（Block5、Block3、BlockO、Block7、Blockl)後，將該 等檔案區塊存入暫存區，並將特徵值3341、3347654、 13 5496、123456'23187加入特徵值表格w(如圖4(b)所示）。 201142646 而後’處理單元扪再將特徵值3341及檔案區塊Block5 傳送至儲存單元IP1，將特徵值3347654及檔案區塊B1〇ck3 傳送至儲存單元IP4，將特徵值135496及檔案區塊

BlockO、特徵值12345ό及檔案區塊Block7傳送至儲存單 元IP6 ’將特徵值23187及檔案區塊Blockl傳送至儲存單 元 IP7。 接著’請參考圖5，其係本發明一較佳實施例之第四 標案上傳處理示意圖。儲存單元ιρ 1於接收到處理單元B t 所傳來之特徵值334 1及檔案區塊Bl〇ck5後，係將檔案區 塊Bloak5存入其硬碟，將特徵值3341加入其特徵值表格 IP Γ。儲存單元IP4於接收到處理單元B i所傳來的特徵值 3347654及檔案區塊Bi〇ck3後，係將檔案區塊B1〇ak3存入 其硬碟，將特徵值3347654加入其特徵值表格IP4, ^儲存 單元IP6於接收到處理單元b 1所傳來的特徵值丨3 5496及 才备案區塊BlockO、特徵值123456及檔案區塊Bi〇ck7後， 係將檔案區塊BloakO、Block7存入其硬碟，將特徵值 13 5496 ' 123456加入其特徵值表格ip6,。儲存單元Ip7於 接收到處理單元B1所傳來的特徵值23 187及檔案區塊 Blockl後，係將檔案區塊B丨oakl存入其硬碟，將特徵值 23187加入其特徵值表格IP7,。 使用端A1完成上傳動作後，該等檔案區塊 BlockO〜Block7所對應之特徵值所組成之特徵值集合 (135496、23187'2245681'3347654、8672卜334卜 1357892、 123456)係存入於其硬碟中，以完成資料寫入的程序。曰 201142646 l Μ。玄特徵值集合將成為讀取該樓案χ的錄匙，由使用者 2官與複製，任何處理單元與赫單元皆因沒有該特徵值 ' 故…、法重建5玄稽案X 〇因此，使用者的資料有絕對 的安全保障，沒有外洩的疑慮。 另外，若使用端Α1將該特徵值集合傳送至處理單元 B1時’發現該處理單_之暫存區已包含有《X所對應 之特徵值集合’則處理單元B 1便不再向儲存單元IP卜⑻〇 進行詢問的動作，而直接回覆使料A1其已包含有對應的 標案區塊資料。 本發明之雲端資料儲存系統亦包含雲端資料下載，本 貫施例έ式舉兩種下載方式以說明之。 。月參考圖6，其係本發明一較佳實施例之第一檔案下 载處理示意圖，處理單元扪之特徵值表格Wl係包含有使 用端A1之特徵值。 首先’使用端A1由其硬碟取出檔案X之特徵值集合 Y，並將特徵值集合（135496、23187、2245681、3347654、 8672卜3341、1357892、123456)傳送至處理單元Bi ,處理 單tlBI於接收到特徵值集合後與特徵值表格冒丨做比對， 由圖6可知係全部比對成功，處理單元B丨由其暫存區讀出 對應s玄·#特徵值的檔案區塊BlockO〜Βΐ〇(^7，並回傳給使用 端A 1。使用端A1接收處理單元Β 1所回傳的檔案區塊 B lockO〜Block7後係按照特徵值集合的排列順序將樓案區 塊BlockO〜Block7重新組合成完整的檔案χ，以完成資料下 201142646 載。於本方法中，資料完全來自處理單元Βι，不需向遠端 的儲存單元讀取，可提高網路使用效率，並減少資源浪費。 另種下載方法請參考圖7 ’其係本發明一較佳實施 例之第二檔案下載處理示意圖，處理單元B2之特徵值表格 W2並未包含使用端A1特徵值表格Y之全部特徵值。 首先’使用端A1由其硬碟取出檔案X的特徵值集合 Y，並將特徵值集合（135496、23187、2245681、3347654、 8672卜3341、1357892、123456)傳送至處理單元B2。處理 單凡B2接收到特徵值集合後係與特徵值表格W2作比對， 結果部份比對成功。處理單元B2由其暫存區讀取比對成功 特徵值（1357892、3341、135496、23 187)所對應的檔案區 塊（Block6、Bl〇ck5、BlockO、Blockl)，並回傳至使用端 A1。比對不成功的特徵值（2245681 ' 3347654、8672i、 123456)iT'根據上傳檔案時所使用的演算法，除以固定數 1〇仔一數列1、4、卜6，根據該數列而取出對應的儲存單 元，分別為儲存單元丨p卜Ip4、Ip丨、ιρ6。其中，儲存單 元IP1對應的特徵值為2245681、86721，儲存單元IP4對 應的特徵值為3347654，儲存單元IP6對應的特徵值為 123456。接著，處理單元B2將特徵值2245681、86721傳 送至儲存單元Ipl，將特徵值3347654傳送至儲存單元 IP4，將特徵值丨23456傳送至儲存單元卟石。 儲存單元IP1於接收到處理單元B2所傳來的特徵值 224568卜86721後，與自己的特徵值表格ίρι，（如圖5所示） U比對兔現2245 68 I，86721已存在，因此，將兩個對應 201142646 的檔案區塊Block2、Block4回傳給處理單元B2。儲存單元 IP4接收到處理單元B2傳來的特徵值3347654後，與自己 的特徵值表格IP4’比對，發現特徵值3347654已存在，所 以將對應的檔案區塊Block3回傳給處理單元B2。儲存單元 ΙΡό接收到處理單元B2傳來的特徵值I 23456後，與自己 的特徵值表格ΙΡ6’比對，發現特徵值123456已存在，所以 將對應的檔案區塊Block7回傳給處理單元Β2。 處理單元B2接收到儲存單元ip 1、ip#、ιρ6回傳特徵 值 2245681、86721、3347654、123456 所對應的檔案區塊

Bl〇ck2、Block4、Block3、Bl〇ck7 後，將上述的資料存入 暫存區並將上述特徵值加入其特徵值表格W2，同時將上 述的樓案區塊回傳給使用端A丨。使用端A丨接收到處理單 元B2回傳的檔案區塊B1〇ck2、m〇ck4、⑴〇ck3、抝〇ck7後， 係根據特徵值表格γ中特徵值集合的排列順序將標案區塊 BlocJcO〜Bloclc7重新組合成完整的檔案。 端的儲存單元IP1、IP4、 'IP6’可使網路使用效率稍微提高。

單元就算取得完整的特徵值集 本下載方法之資料部份來自處理單元”，部份來自遠 屁亂遇理後再傳送，讓處理 合也無法得知排列順序來自 201142646 最後，本發明之雲端資料儲存系統同時可提供—種病 毒消滅的方法。其中，儲存單元IP1〜丨ρι〇可負責對所儲2 的祂案區塊進行掃描，若發現有病毒的資料區塊時可將 中毒資料區塊所對應的特徵值於使用端A 1詢問時通知使用 端A1 ;或可主動通知所有的處理單元m〜B3以建立—病毒 特徵值表格於使用端A1詢問時通知使用端Αι。如此，當2 毒一被發現時，本發明之雲端資料儲存系統可即時對=毒 進行處理，而不會讓病毒蔓延。偵測病毒、消滅病毒的速 度’係大巾S提升。 然而，上述實施例僅係為了方便說明而舉例而已本 發明所主張之權利範圍自應以申請專利範圍所述為準，而 非僅限於上述實施例。 【圖式簡單說明】 圖1係本發明—較佳實施例之系統架構圖。 圖2係本發明—較佳實施例之第—樓案上傳處理示意圖。 圖3係本發明-較佳實施例之第上傳處理示意圖。 圖4(a)係本發明—較佳實施例之第三檔案上傳處理示意 圖。 圖4(b)係本發明—較佳實施例之處理單元特徵值表格示意 圖。 圖5係本發明—較佳實施例之第四檔案上傳處理示意圖。 圖6係本發明—較佳實施例之稽案下載處理示意圖。 圖7係本發明-較佳實施例之第二樓案下載處理示意圖。 13 201142646 【主要元件符號說明】 A1〜A8 使用端 B卜B3 處理單元 IP1-IP10 儲存單元 X 檔案 Y，W，W1，特徵值表格 W2 IP1，〜IP10’

14

Claims (1)

1. 201142646 七、申請專利範圍： h —種雲端資料儲存线，包括： 複數個儲存單元. 至該域網路連接 該等網際網路或區域網路連接至 個棺存之上傳標案係分割為複數 曾出案區塊係經由—演算法分別計 -出對應之特徵值’該等特徵值 等複數個㈣區塊可存入之儲存單元/“法决u 以2 ?°Λ請專利範圍第1項所述之雲端資料儲存系統， 案。’ β等後數個特徵值係組成一特徵值集合以對應該標 並·如申請專利範圍第2項所述之雲端資料儲存系統， ^中，該使用端向所對應之儲存單元詢問是否有相同之特 铽值，若有，則不傳送所對應之檔案區塊，若無，則傳送 所對應之檔案區塊至該儲存單元。 、 4.如申請專利範圍第2項所述之雲端資料儲存系統， 其中，每一處理單元更包含有一特徵值表格、及—區 料暫存區。 貝 5 ·如申請專利範圍第4項所述之雲端資料儲存系統， 其中’該使用端將該特徵值集合傳送至該等複數個處理單 201142646 L 理單元，並由該處理單元之特徵值表格進行資料 6·如申請專利範圍第5項所述之雲端資料儲存系統， /、，，若該特徵值表格包含有相同之特徵值，該使用 傳送所對應之檔案區塊。 其7.如申請專利範圍第6項所述之雲端資料儲存系統， 7 ，右該特徵值表格未包含相同之特徵值，則該處理單 2=未包含之特徵值傳送至其所對應之儲存單元進行資料 8.如中請專利範圍第7項所述之雲端資料儲 =元該儲存單元將同樣未包含相同之特徵值回傳至:處 4理早％係致使該使賴傳送未包含相同之特 對應之檔案區塊至該處理單元之區塊資料暫存區。· 其中9 ::請專利範圍第8項所述之雲端資料儲存系統， 同之牲:…里早元將儲存於該區塊資料暫存區之未包含相 〇 、徵值所對應之檔案區塊傳送至所 資料區塊的儲存。 ί應之儲存早疋作 1 〇·如申請專利範圍第2項所述之雲端w 並甲田6玄專複數個使用端之一使用端下載該柃幸味， 夜據該檔案之複數個特徵值集合所 置以下載所對應之標案區塊。 〜之儲存早讀 U.如申請專利範圍第丨〇項 統’其令，該使用端依據該播宰之特二而“4储存系 區塊組合。 ’田案之特…直集合將該等檔案 16 201142646 12.如申請專利範圍第4項所述之雲端資料儲存系 統，其中，當該等複數個使用端之一使用端下載該檔案時， 其係將該特徵值集合傳送至該等複數個處理單元之一處理 單元，並根據該處理單元之特徵值表格進行資料比對。 13_如申請專利範圍第12項所述之雲端資料儲存系 統，其中，若該處理單元之特徵值表格包含有相同之特徵 值，該處理單元係將其所對應之樓案區土鬼由該冑存區取出 以回傳至該使用端。 14. 如申請專利範圍第12項所述之雲端資料儲存系 統，其中，若該處理單元之特徵值表格未包含相同之特徵 f ’則該處理單元根據料特徵值以取得對應之該等储存 單元位置’並傳送該等特徵值至所對應之該等儲存單元。 15. 如申凊專利範圍第丨4項所述之雲端資料儲存系 灰其中，該等儲存單元將所對應之該等檔案區塊傳送至 該處理單元，該處理單元接收該等檀案區塊而储存至該區 塊資料暫存區’並將該等槽案區塊傳送至該使用端。 έ 16.如申5青專利範圍第15項所述之雲端資料儲存系 ，、先’其中，該使用端依據該槽案之特徵值集合將該等 區塊組合。 ’、 έ 17.如申凊專利範圍第3項所述之雲端資料儲存系 其中’該儲存單S可對所儲存的檔案區塊做掃描，若 :現有病毒的資料區塊時，於該使用端詢問時係將其所對 特徵值通知予該使用端，或主動通知該等處理單元建 立一病毒特徵值表格於使用端詢問時通知使用端。