TWI773343B - 分散式物件資料儲存系統、方法及電腦可讀媒介 - Google Patents
分散式物件資料儲存系統、方法及電腦可讀媒介 Download PDFInfo
- Publication number
- TWI773343B TWI773343B TW110119091A TW110119091A TWI773343B TW I773343 B TWI773343 B TW I773343B TW 110119091 A TW110119091 A TW 110119091A TW 110119091 A TW110119091 A TW 110119091A TW I773343 B TWI773343 B TW I773343B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- storage device
- tape
- target data
- identification information
- Prior art date
Links
Images
Landscapes
- Hardware Redundancy (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本發明提供一種分散式物件資料儲存系統及其方法,該系統係包括一靜態儲存設備以及一動態儲存設備,且該靜態儲存設備包括應用程式介面、磁帶管理模組以及具有複數虛擬磁帶櫃之磁帶裝置,其中,該靜態儲存設備從該動態儲存設備取得目標資料並產生副本資料,以形成具有對應位置識別訊息之複數資料塊,俾儲存該複數資料塊在該磁帶裝置中。據此,本發明透過虛擬磁帶櫃及資料塊之設計能減少磁帶管理的複雜度及提升取得資料的效率,且透過磁帶作為儲存媒體更能降低業者營運及設備上的成本。本發明復提供一種電腦可讀媒介,係用於執行本發明分散式物件資料儲存方法。
Description
本發明係有關於一種儲存技術,尤其指一種應用於磁帶之分散式物件資料儲存系統及其方法。
在現今社會中,由於智慧型手機的普及以及性能的提升,人們已習慣利用智慧型手機透過照片、影片等多媒體資料記錄自己生活、工作或創作,但隨著時間增加,逐漸地累積了大量的多媒體資料,使得智慧型手機沒有足夠的儲存空間能提供給用戶。
是以,目前許多業者提供了雲端儲存空間服務,使用戶將其大量的多媒體資料上傳至雲端儲存空間中,以解決資料儲存上的困擾。然而,業者通常利用傳統硬碟(Hard disk drive,HDD)提供雲端儲存空間,但傳統硬體成本高且為了能及時提供用戶存取資料,所有雲端儲存空間之傳統硬碟皆須24小時持續工作,故營運成本也高居不下。
因此,如何克服傳統的雲端儲存空間所面臨成本上的難題,以降低雲端儲存空間硬體及營運上的成本,俾提供給用戶更優惠的雲端儲
存空間的價格,進而提升產品競爭力及其安全性,已成為本領域技術人員目前的重要課題。
為解決上述問題,本發明提供一種分散式物件資料儲存系統,係包括:一動態儲存設備,係接收至少一目標資料;以及一靜態儲存設備,係通訊連接該動態儲存設備以取得或接收該目標資料,其包括:一磁帶管理模組,係建立該目標資料之至少一副本資料,將該目標資料及該副本資料之檔案名稱經轉換而產生相對應的一第一位置識別訊息及一第二位置識別訊息,再將該目標資料及該副本資料分別壓縮成一具有該第一位置識別訊息之第一資料塊與一具有該第二位置識別訊息之第二資料塊;及一磁帶裝置,係具有由複數磁帶所組成之複數虛擬磁帶櫃,且通訊連接該磁帶管理模組,以將來自該磁帶管理模組的該第一資料塊及該第二資料塊分別依據該第一位置識別訊息及該第二位置識別訊息儲存於該複數虛擬磁帶櫃中。
本發明亦提供一種分散式物件資料儲存方法,係包括:由動態儲存設備接收至少一目標資料;由靜態儲存設備取得或接收來自該動態儲存設備的該目標資料;由該靜態儲存設備之磁帶管理模組建立該目標資料之至少一副本資料,再將該目標資料及該副本資料之檔案名稱經轉換而產生相對應的一第一位置識別訊息及一第二位置識別訊息;由該磁帶管理模組將該目標資料及該副本資料分別壓縮成一具有該第一位置識別訊息之第一資料塊與一具有該第二位置識別訊息之第二資料塊;以及由一具有複
數虛擬磁帶櫃之磁帶裝置分別依據該第一位置識別訊息及該第二位置識別訊息以儲存來自該磁帶管理模組的該第一資料塊及該第二資料塊,其中,該複數虛擬磁帶櫃由複數磁帶所組成。
於一實施例中,該靜態儲存設備更包括一應用程式介面,以使該靜態儲存設備透過該應用程式介面向該動態儲存設備取得該目標資料,或是使該動態儲存設備透過該應用程式介面向該靜態儲存設備取得該目標資料。
於一實施例中,該動態儲存設備選擇將該目標資料直接儲存於該動態儲存設備,或是儲存於該靜態儲存設備,其中,當該目標資料直接儲存於該動態儲存設備時,該動態儲存設備計算該目標資料之讀取次數,以於該目標資料於一段時間中之讀取次數小於一預設閾值時,該動態儲存設備將該目標資料傳送至該靜態儲存設備進行儲存。
於一實施例中,該磁帶管理模組查詢鄰近的該複數虛擬磁帶櫃中具有儲存空間的該複數磁帶、或是查詢該複數虛擬磁帶櫃之一者中具有儲存空間並鄰近的該複數磁帶,以產生一第一儲存路徑資料與一第二儲存路徑資料,俾於該目標資料及該副本資料之檔案名稱轉換後,再分別結合該第一儲存路徑資料及該第二儲存路徑資料,以產生該第一位置識別訊息及該第二位置識別訊息,俾使該第一資料塊及該第二資料塊依據該第一位置識別訊息及該第二位置識別訊息分別儲存於鄰近的該複數虛擬磁帶櫃中的該複數磁帶、或是儲存於該複數虛擬磁帶櫃之一者中鄰近的該複數磁帶,其中,鄰近的複數虛擬磁帶(或鄰近的複數磁帶)係指複數虛擬磁帶(或複數磁帶)在物理上的位置相近或是鄰近。
於一實施例中,該磁帶管理模組檢查儲存於該複數虛擬磁帶櫃中依據該目標資料所產生的資料塊之數量是否足夠,以於該磁帶管理模組檢查出依據該目標資料所產生的資料塊之數量不足時,令該磁帶管理模組依據該第一資料塊或該第二資料塊進行資料複製,以產生至少一第三資料塊及相對應的一第三位置識別訊息,再將該第三資料塊依據該第三位置識別訊息儲存於該複數虛擬磁帶櫃中。
於一實施例中,當需要取得該靜態儲存設備中的該目標資料時,令該動態儲存設備從該靜態儲存設備取得該目標資料或該副本資料,其中,該靜態儲存設備之磁帶管理模組依據該目標資料或該副本資料所相對應的該第一資料塊之第一位置識別訊息或該第二資料塊之第二位置識別訊息,以從該磁帶裝置中取得該第一資料塊或該第二資料塊,供該磁帶管理模組解壓縮該第一資料塊或該第二資料塊,以得到經解壓縮的該目標資料或該副本資料並回傳經解壓縮的該目標資料或該副本資料至該動態儲存設備,再由該動態儲存設備提供該經解壓縮的目標資料或該副本資料給外部。
本發明更提供一種電腦可讀媒介,應用於計算裝置或電腦中,並係儲存有執行前述之分散式物件資料儲存方法之指令。
由上可知,本發明之靜態儲存設備透過一應用程式介面向動態儲存設備取得使用者之目標資料,且利用磁帶管理模組複製該目標資料以得到副本資料,俾將目標資料及副本資料形成複數資料塊以儲存在一磁帶裝置中,是以,本發明透過虛擬磁帶櫃及資料塊之設計將複數磁帶劃分為不同的虛擬磁帶櫃,當需要取用複數磁帶之一者中的資料時,一靜態儲
存設備之磁帶管理模組透過該虛擬磁帶櫃之設計能更快速取得該資料之複數資料塊,而不須由磁帶管理模組對所有磁帶逐一搜尋該資料,且僅需要取得複數資料塊之一者即可得到該資料,俾減少磁帶管理的複雜度及提升取得資料的效率。
此外,相較於現有技術,只利用硬碟(如固態硬碟(Solid-state disk,SSD),或傳統硬碟(Hard Disk Drive,HDD))作為儲存媒體,造成營運及設備上的成本高居不下,而本發明利用磁帶作為儲存媒體,能有效地降低業者的成本,並使業者能夠提供更優惠的雲端儲存空間服務之價格給使用者,俾使產品更有進爭力及其安全性。
為讓本發明之上述特徵與優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點,且此等特徵及優點將部分自所述描述內容可得而知,或可藉由對本發明之實踐習得。應理解,前文一般描述與以下詳細描述兩者均為例示性及解釋性,且不欲約束本發明所欲主張之範圍。
1:分散式物件資料儲存系統
10:靜態儲存設備
11:應用程式介面
12:磁帶管理模組
13:磁帶裝置
130~132:虛擬磁帶櫃
20:動態儲存設備
21:暫存模組
A1~A4,B1~B2:資料塊
S21至S24:步驟
圖1係為本發明之分散式物件資料儲存系統之架構示意圖;以及
圖2係為本發明之分散式物件資料儲存方法之流程示意圖。
以下藉由特定的具體實施例說明本發明之實施方式,熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
須知,本說明書所附圖式所繪示之結構、比例、大小等,均僅用以配合說明書所揭示之內容,以供熟悉此技藝之人士之瞭解與閱讀,並非用以限定本發明可實施之限定條件,故不具技術上之實質意義,任何結構之修飾、比例關係之改變或大小之調整,在不影響本發明所能產生之功效及所能達成之目的下,均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。同時,本說明書中所引用之如「一」、「第一」、「第二」、「上」及「下」等之用語,亦僅為便於敘述之明瞭,而非用以限定本發明可實施之範圍,其相對關係之改變或調整,在無實質變更技術內容下,當視為本發明可實施之範疇。
圖1係為本發明之分散式物件資料儲存系統之架構示意圖。如圖1所示,該分散式物件資料儲存系統1係包括:一靜態儲存設備10以及一動態儲存設備20,其中,該靜態儲存設備10包括一應用程式介面11、一磁帶管理模組12以及一磁帶裝置13。在一實施例中,該磁帶裝置13包含複數磁帶以作為儲存媒體,且依序劃分該複數磁帶以形成複數虛擬磁帶櫃130,131,132,亦即,該複數虛擬磁帶櫃130,131,132係分別由該複數磁帶(圖中未示)所組成,以及該動態儲存設備20係包括一暫存模組21,且該動態儲存設備20係由複數硬碟(如固態硬碟(Solid-state disk,SSD),或傳統硬碟(Hard Disk Drive,HDD),圖中未示)作為儲存媒體。在一實施例中,該應用程式介面11係為表現層狀態轉換應用程式介面
(Representational State Transfer Application Programming Interface,REST API)。
舉例而言,一使用者可藉由一使用端設備(如智慧型手機、個人電腦及筆記型電腦等,圖中未示)通訊連接(如利用網際網路(Internet)或各種無線、行動網路)該分散式物件資料儲存系統1,由該使用端設備將一目標資料傳送至該分散式物件資料儲存系統1,而該動態儲存設備20接收且儲存該目標資料,或是該動態儲存設備20將該目標資料傳送至該靜態儲存設備10中,以將該目標資料儲存於該靜態儲存設備10。在一實施例中,所述資料可以檔案方式呈現。
此外,上述每一模組均可為軟體、硬體或韌體;若為硬體,則可為具有資料處理與運算能力之處理單元、處理器、電腦或伺服器;若為軟體或韌體,則可包括處理單元、處理器、電腦或伺服器可執行之指令,且可安裝於同一硬體裝置或分布於不同的複數硬體裝置。
於本實施例中,一靜態儲存設備10透過該應用程式介面11向一動態儲存設備20取得由一使用者上傳的至少一目標資料,且該磁帶管理模組12建立該經上傳的目標資料之至少一副本資料,再將該經上傳的目標資料及該副本資料之檔案名稱分別轉換後,產生相對應的複數位置識別訊息,以將該經上傳的目標資料及該副本資料壓縮成與複數位置識別訊息具有相對應關係之複數資料塊(Block)(如A1~A4)。在一實施例中,該副本資料的數量可依目標資料的機密性(可由使用者事先設定)以作增減(如越機密數量越多),也可依磁帶的出廠年份以作增減(如磁帶的出廠年份總和越高數量越多)。
之後,該磁帶管理模組12依據該複數位置識別訊息將相對應的該複數資料塊A1~A4儲存於該磁帶裝置13之複數虛擬磁帶櫃130,131,132中。
在一實施例中,該磁帶管理模組12查詢鄰近的該複數虛擬磁帶櫃130,131,132中具有儲存空間的該複數磁帶、或是查詢該複數虛擬磁帶櫃130,131,132之一者中具有儲存空間並鄰近的該複數磁帶以產生複數儲存路徑資料,且將該經上傳的目標資料及該副本資料之檔案名稱轉換後,再分別結合該複數儲存路徑資料,以產生對應的該複數位置識別訊息。
具體而言,如圖1所示,當使用者上傳的一目標資料且產生兩個副本資料後,該磁帶管理模組12先查詢出鄰近的該複數虛擬磁帶櫃130,131中具有儲存空間的複數磁帶,或是查詢出該虛擬磁帶櫃130中具有儲存空間的複數磁帶,以產生第一儲存路徑資料(如ae4e1bbcc)、第二儲存路徑資料(如debbaece1)與第三儲存路徑資料(如f6sas8wfe)。接著,該磁帶管理模組12將該經上傳的目標資料之檔案名稱(如A.txt)與該兩個副本資料之檔案名稱(如B.txt及C.txt)分別轉換為用以識別該經上傳的目標資料與該兩個副本資料之唯一識別碼(如block1、block2與block3),且該磁帶管理模組12將該經上傳的目標資料之唯一識別碼(如block1)結合該第一儲存路徑資料(如ae4e1bbcc),以及將該兩個副本資料之唯一識別碼(如block2與block3)分別結合該第二儲存路徑資料(如debbaece1)及第三位置識別訊息(如/block3/f6sas8wfe),進而產生該經上傳的目標資料之第一位置識別訊息(如/block1/ae4e1bbcc)及該兩個副本資料之第二
位置識別訊息(如/block2/debbaece1)與第三位置識別訊息(如/block3/f6sas8wfe)。
之後,該磁帶管理模組12將該經上傳的目標資料及該副本資料分別壓縮成具有第一位置識別訊息(如/block1/ae4e1bbcc)之第一資料塊A1與具有第二位置識別訊息(如/block2/debbaece1)之第二資料塊A2,藉此,使該第一資料塊A1與該第二資料塊A2分別依據第一位置識別訊息(如/block1/ae4e1bbcc)與第二位置識別訊息(如/block2/debbaece1)以儲存於鄰近的該複數虛擬磁帶櫃中130,131的該複數磁帶。
或是,該磁帶管理模組12將該經上傳的目標資料及該副本資料分別壓縮成具有第一位置識別訊息(如/block1/ae4e1bbcc)之第一資料塊A1與具有第三位置識別訊息(如/block3/f6sas8wfe)之第二資料塊A3以儲存於該虛擬磁帶櫃130中鄰近的該複數磁帶,其中,位置識別訊息係包括但不限於如上述之統一資源識別碼(Uniform Resource Identifier,.URI),用以識別各個資料塊係屬於目標資料或副本資料,以及記錄該目標資料或該副本資料之資料塊儲存於複數虛擬磁帶櫃130,131,132的儲存路徑資料。
詳言之,該磁帶裝置13中的所有磁帶並非隨時處於讀取狀態,當需要讀取任一磁帶中的資料塊時,需由該磁帶裝置13將具有該資料塊之磁帶取出後,再送至該靜態儲存設備10之讀取裝置(圖中未示)進行讀取。因此,將目標資料與兩個副本資料之該第一資料塊A1、該第二資料塊A2與第三資料塊A3分別儲存於鄰近的該複數虛擬磁帶櫃130,131中該複數磁帶、或是該虛擬磁帶櫃130中鄰近的該複數磁帶,不但能避免該些資料塊儲存於同一個磁帶中,還能透過將該些資料塊儲存於彼此相鄰的磁帶中,
達到減少該靜態儲存設備10在抓取該複數磁帶以存取資料時所花費的時間。
在一實施例中,資料塊(Block)須大於5MB且小於5GB。此外,如圖1所示,當該目標資料及該副本資料的資料內容較大,而造成將要形成的資料塊大於一閾值(如5GB)時,該磁帶管理模組12將該目標資料及該副本資料分別進行分割,以形成小於該閾值的複數目標資料塊及複數副本資料塊。在一實施例中,該磁帶管理模組12結合複數目標資料塊之至少一者及複數副本資料塊之其他者即可形成該目標資料,或者,該磁帶管理模組12結合複數副本資料塊之至少一者及複數目標資料塊之其他者即可形成該副本資料。
在另一實施例中,該磁帶管理模組12亦可接收多個目標資料以組合成一目標封包,且產生對應該目標封包的副本封包,接著,將該目標封包的副本封包之檔案名稱轉換後,產生具有相對應的位置識別訊息之複數資料塊。應可理解地,此實施例之後續技術內容與上述實施例相同,故不再贅述。
在一實施例中,該動態儲存設備20提供一使用者介面(User Interface,UI)至該使用端設備,以供給該使用者選擇將該目標資料直接儲存於該動態儲存設備20,或是儲存於該靜態儲存設備10,其中,當該使用者選擇將該目標資料直接儲存於該動態儲存設備20時,該動態儲存設備20儲存該目標資料,且計算該目標資料之讀取次數,若該目標資料於一段時間(如一周、或是一個月)中讀取次數小於一預設閾值(如10次)、或是若計算出該目標資料佔所有資料之讀取次數的百分比值小於該預設閾值(如
30%),則該動態儲存設備20將該目標資料傳送至該靜態儲存設備10進行儲存。
在一實施例中,該動態儲存設備20係由複數硬碟(如固態硬碟或傳統硬碟)作為儲存媒體,故其硬體及營運成本相較於由複數磁帶作為儲存媒體之靜態儲存設備10來得高,所以將使用者較少使用的資料儲存於該靜態儲存設備10能將低提供雲端儲存空間服務之業者的成本。
在一實施例中,當該使用者選擇儲存於該靜態儲存設備10時,該動態儲存設備20將該目標資料儲存於一暫存模組21中,且該靜態儲存設備10透過該應用程式介面11向該暫存模組21取得並儲存該目標資料。
在一實施例中,該磁帶管理模組12具有一中介資料伺服器(Metadata servers,圖中未示),且該中介資料伺服器建立該目標資料之至少一副本資料,再將該目標資料及該副本資料之檔案名稱分別轉換為相對應的位置識別訊息,俾將該目標資料及該副本資料形成具有相對應的位置識別訊息的複數資料塊A1~A4,其中,該中介資料伺服器記錄有該目標資料(如中介資料目標(metadata targets,MDTs))之檔案名稱、目錄、存取權限、檔案結構等資訊,及/或該複數資料塊A之實際位置資訊。應可理解地,該中介資料伺服器僅用以路徑搜尋和權限檢查,而不會牽涉任何的檔案輸入/輸出之操作,以避免該中介資料伺服器成為叢集擴充的瓶頸。此外,該目標資料及該副本資料所形成之資料塊中的資料皆相同,其差異僅在於具有不同的位置識別訊息。
在一實施例中,該磁帶管理模組12具有一物件儲存伺服器(Object storage servers),且該物件儲存伺服器將該複數資料塊A1~A4
儲存於該複數虛擬磁帶櫃130,131,132(如物件儲存目標(object storage targets))之一者中鄰近的複數磁帶,或是將該複數資料塊A1~A4分別儲存於鄰近的該複數虛擬磁帶櫃130,131,132中的複數磁帶,其中,當該物件儲存伺服器將該複數資料塊A1~A4儲存於該複數虛擬磁帶櫃130,131,132之一者時,將該複數資料塊A分別儲存於該複數虛擬磁帶櫃130,131,132之一者之複數磁帶。在一實施例中,該複數資料塊A1~A4須分別儲存於不同的實體磁帶中,以避免當該複數資料塊A1~A4儲存同一個磁帶時,若該磁帶損毀,而造成該複數資料塊A1~A4皆遺失且難以救回。在另一實施例中,可以實體磁帶的使用狀況決定儲存複數資料塊之個數,例如使用狀況較差者,則儲存較少資料塊。
再者,該磁帶管理模組12之物件儲存伺服器亦可將該複數資料塊A1~A4分別儲存於該複數虛擬磁帶櫃130,131,132之一者中鄰近的複數磁帶。在一實施例中,該磁帶裝置13之複數虛擬磁帶櫃130,131,132中的所有磁帶並非隨時處於讀取狀態,當需要讀取任一磁帶中的資料塊時,需由該磁帶裝置13將具有該資料塊之磁帶取出後,再送至該靜態儲存設備10之讀取裝置(圖中未示)進行讀取,故將目標資料之複數資料塊分別儲存於該複數虛擬磁帶櫃130,131,132中鄰近的該複數磁帶,能減少存取資料時所花費的時間。
在一實施例中,該磁帶管理模組12檢查該複數資料塊A的數量是否足夠,例如,該磁帶管理模組12透過檢查實體的磁帶是否有損毀,以檢查其儲存的該複數資料塊A1~A3之一者是否也產生損毀,進而確認該複數資料塊A1~A3的數量是否足夠,或是該磁帶管理模組12確認該複數資
料塊A1~A3彼此間的資料是否一致,亦確認該複數資料塊A1~A3的數量是否足夠。另一方面,也可能人為疏失誤刪,而造成該複數資料塊A1~A3的數量不足夠。此時,若該磁帶管理模組12檢查出該複數資料塊A1~A3因前述狀況而造成數量不足(例如,該複數資料塊的數量小於預設的一數量N,其中,N可為任意正整數),則該磁帶管理模組12進行資料複製,以依據該複數虛擬磁帶櫃130,131,132中的該複數資料塊A1~A3之一者(例如,該目標資料與該副本資料之資料塊A1~A3)產生至少一另一資料塊A4及其相對應之另一位置識別訊息,且將具有該另一位置識別訊息之該另一資料塊A4依據該另一位置識別訊息儲存於該磁帶裝置13之複數虛擬磁帶櫃130,131,132中。
在一實施例中,於該使用者利用使用端設備向該靜態儲存設備10取得該目標資料時,該動態儲存設備20透過該靜態儲存設備10之應用程式介面11從該靜態儲存設備10取得該目標資料,其中,該靜態儲存設備10之磁帶管理模組12依據該欲取得的目標資料或該副本資料之複數資料塊A1~A4之一者的位置識別訊息,以搜尋出該欲取得的目標資料或該副本資料之該複數資料塊A1~A4之一者,再依據該欲取得的目標資料或該副本資料之該複數資料塊A1~A4之一者相對應的位置識別訊息,俾從該磁帶裝置13之複數虛擬磁帶櫃130,131,132之一者中取得該欲取得的目標資料或該副本資料之複數資料塊A1~A4之一者。
再者,於該磁帶管理模組12解壓縮該欲取得的目標資料或該副本資料之該複數資料塊A1~A4之一者後,該磁帶管理模組12取得經解壓縮後所得到的該欲取得的目標資料或該副本資料,並透過該應用程式介面
11將該目標資料或該副本資料回傳至該動態儲存設備20,再由該動態儲存設備20提供該欲取得的目標資料或該副本資料給外部(如使用者之使用端設備)。
下列第一實施例係為本發明之分散式物件資料儲存系統所提供使用者儲存一目標資料之雲端儲存空間服務,且一併參閱圖1說明之。
具體而言,當一使用者利用一智慧型手機透過本發明之分散式物件資料儲存系統1之動態儲存設備20所提供一使用者介面(User Interface,UI)將該使用者之一張照片影像檔(如目標資料)選擇儲存於一靜態儲存設備10時,該動態儲存設備20接收來自該智慧型手機的該照片影像檔並儲存該照片影像檔於該動態儲存設備20之暫存模組21中。接著,該靜態儲存設備10之應用程式介面11向該暫存模組21取得該照片影像檔,由該靜態儲存設備10之磁帶管理模組12建立該照片影像檔之兩個副本影像檔(如副本資料),再將該照片影像檔及該二個副本影像檔之檔案名稱分別轉換為相對應的位置識別訊息,以形成具有相對應的位置識別訊息的三個資料塊(Block)A1~A3。之後,該磁帶管理模組12依據相對應的位置識別訊息將三個資料塊A1~A3分別儲存於該磁帶裝置13之鄰近的複數虛擬磁帶櫃130,131中的複數磁帶,或是虛擬磁帶櫃130中鄰近的複數磁帶。
是以,如圖1所示,該磁帶管理模組12將兩個資料塊A1,A3儲存於該虛擬磁帶櫃130,而將資料塊A2儲存於該虛擬磁帶櫃131,其中,該虛擬磁帶櫃130之兩個資料塊A1,A3及該虛擬磁帶櫃131之另一資料塊A2分別儲存於三個磁帶(圖中未示)中,且該三個磁帶在一磁帶裝置13中實際的位置鄰近,以利於提升該磁帶裝置13存取資料的效率。
另一方面,該靜態儲存設備10之磁帶管理模組12檢查依據該目標資料與該副本資料所產生的三個資料塊A1~A3是否有數量不足,若該磁帶管理模組12檢查出分別儲存該資料塊A1與該資料塊A3的二個磁帶已經損毀,進而無法讀取該資料塊A1與該資料塊A3使得該目標資料與該副本資料所產生的資料塊數量不足,則該磁帶管理模組12依據剩下的資料塊A2進行資料複製,以產生具有另一位置識別訊息之另一資料塊A4,且將該另一資料塊A4儲存於該磁帶裝置13之虛擬磁帶櫃131中;或是,當該磁帶管理模組12檢查出依據該目標資料與該副本資料所產生的該目標資料之資料塊與該副本資料之資料塊的內容不一致,而造成資料塊數量不足時,該磁帶管理模組12依據該目標資料之資料塊進行資料複製,以產生具有另一位置識別訊息之另一資料塊A4,亦將該另一資料塊A4儲存於該磁帶裝置13之虛擬磁帶櫃131中。
下列第二實施例亦為本發明之分散式物件資料儲存系統所提供使用者儲存一目標資料之雲端儲存空間服務,且一併參閱圖1說明之。再者,此實施例與第一實施例的相同內容處不再贅述。
具體而言,當該使用者利用該智慧型手機透過該分散式物件資料儲存系統1之動態儲存設備20所提供的該使用者介面(UI)將該使用者之一照片影像檔(即目標資料)選擇儲存於動態儲存設備20時,該動態儲存設備20接收且儲存該照片影像檔,並計數該照片影像檔於一段時間(一個月)中的讀取次數,以及計數該使用者之所有資料於一段時間中的讀取次數,其中,當該使用者於一個月內讀取該照片影像檔之讀取次數為5次,而所有資料之讀取次數為40次時,該動態儲存設備20計算該照片影像檔佔
所有資料之讀取次數的百分比值(5/40×100%=12.5%),再由該動態儲存設備20比較該百分比值(12.5%)是否小於一預設閾值(如30%)進而判斷是否需要將該照片影像檔儲存於該靜態儲存設備10,對此,該百分比值(12.5%)小於該預設閾值(如30%),故該動態儲存設備20將該照片影像檔傳送至該靜態儲存設備10進行儲存。
是以,該靜態儲存設備10透過該應用程式介面11向該動態儲存設備20之暫存模組21取得該照片影像檔,進而將該照片影像檔形成具有相對應的位置識別訊息之複數資料塊A1~A3,以將該複數資料塊A1~A3儲存於該複數虛擬磁帶櫃130,131,132。
圖2係為本發明之分散式物件資料儲存方法之流程示意圖。同時,此分散式物件資料儲存方法之主要內容如下,其餘內容相同於上述圖1說明之,於此不再重覆敘述,其中,包含下列步驟S21至步驟S24:
於步驟S21中,一分散式物件資料儲存系統1之動態儲存設備20接收一使用者上傳上傳的至少一目標資料,且儲存於一暫存模組21中。
於步驟S22中,一靜態儲存設備10透過一應用程式介面11從該暫存模組21中取得該經上傳的目標資料。
於步驟S23中,一靜態儲存設備10之磁帶管理模組12建立該經上傳的目標資料之至少一副本資料,再將該目標資料及該副本資料形成具有相對應的位置識別訊息(如統一資源識別碼位置(URI))之複數資料塊A1~A3。
於步驟S24中,該磁帶管理模組12將該複數資料塊A1~A3分別儲存於該磁帶裝置13之鄰近的複數虛擬磁帶櫃130,131,132中的複數磁帶,或是複數虛擬磁帶櫃130,131,132之一者中鄰近的複數磁帶。
此外,本發明還揭示一種電腦可讀媒介,係應用於具有處理器(例如,CPU、GPU等)及/或記憶體的計算裝置或電腦中,且儲存有指令,並可利用此計算裝置或電腦透過處理器及/或記憶體執行此電腦可讀媒介,以於執行此電腦可讀媒介時執行上述之方法及各步驟。
綜上所述,本發明之分散式物件資料儲存系統、方法及電腦可讀媒介係提供雲端儲存空間服務的業者能更有效的使用及管理具有較低成本的儲存媒體之磁帶。具體而言,一靜態儲存設備透過一應用程式介面取得使用者之目標資料,且利用該磁帶管理模組複製該目標資料以得到副本資料,俾該目標資料及該副本資料形成複數資料塊以儲存在一磁帶裝置中。是以,相較於現有技術中,只利用硬碟(如固態硬碟(Solid-state disk,SSD),或傳統硬碟(Hard Disk Drive,HDD))作為儲存媒體,造成營運及設備上的成本高居不下,而本發明利用磁帶作為儲存媒體,能有效地降低業者的成本,並使業者能夠提供更優惠的雲端儲存空間服務之價格給使用者,俾使產品更有進爭力及其安全性。
再者,本發明透過虛擬磁帶櫃及資料塊之設計將複數磁帶劃分為不同的虛擬磁帶櫃,當需要取用複數磁帶之一者中的資料時,一靜態儲存設備之磁帶管理模組透過該虛擬磁帶櫃之設計能更快速取得該資料之複數資料塊,而不須由磁帶管理模組對所有磁帶逐一搜尋該資料,且僅需
要取得複數資料塊之一者即可得到該資料,俾減少磁帶管理的複雜度及提升取得資料的效率。
此外,本發明再將目標資料及副本資料所產生的資料塊分別儲存於鄰近的複數虛擬磁帶櫃中的複數磁帶,或是分別儲存於虛擬磁帶櫃中鄰近的複數磁帶,不但能避免資料塊儲存於一同個實體的磁帶中,還使資料塊儲存於彼此鄰近的複數磁帶中,進而減少磁帶裝置存取資料時所花費的時間。
另一方面,本發明利用不同的儲存路徑資料結合由目標資料及其副本資料所分別轉換出的識別碼,以分別產生目標資料及其副本資料之唯一的位置識別訊息,藉此能精準地取得各個目標資料或副本資料,而不會造成抓取資料時產生錯誤,進而提升資料存取的效率。
上述實施形態僅例示性說明本發明之原理及其功效,而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下,對上述實施形態進行修飾與改變。因此,本發明之權利保護範圍應如申請專利範圍所列。
1:分散式物件資料儲存系統
10:靜態儲存設備
11:應用程式介面
12:磁帶管理模組
13:磁帶裝置
130~132:虛擬磁帶櫃
20:動態儲存設備
21:暫存模組
A1~A4,B1~B2:資料塊
Claims (13)
- 一種分散式物件資料儲存系統,係包括:一具有暫存模組之動態儲存設備,係接收至少一目標資料,且該暫存模組儲存該目標資料;以及一具有應用程式介面之靜態儲存設備,係通訊連接該動態儲存設備,且透過該應用程式介面向該動態儲存設備之暫存模組取得或接收該目標資料,其包括:一具有中介資料伺服器之磁帶管理模組,該中介資料伺服器係建立該目標資料之至少一副本資料,將該目標資料及該副本資料之檔案名稱經轉換而產生相對應的一第一位置識別訊息及一第二位置識別訊息,再將該目標資料及該副本資料分別壓縮成一具有該第一位置識別訊息之第一資料塊與一具有該第二位置識別訊息之第二資料塊;及一磁帶裝置,係具有由複數磁帶所組成之複數虛擬磁帶櫃,且通訊連接該磁帶管理模組,以將來自該磁帶管理模組的該第一資料塊及該第二資料塊分別依據該第一位置識別訊息及該第二位置識別訊息儲存於該複數虛擬磁帶櫃中。
- 如請求項1所述之分散式物件資料儲存系統,其中,該動態儲存設備透過該應用程式介面向該靜態儲存設備取得該目標資料。
- 如請求項1所述之分散式物件資料儲存系統,其中,該動態儲存設備選擇將該目標資料直接儲存於該動態儲存設備,或是儲存於該靜態儲存設備,其中,當該目標資料直接儲存於該動態儲存設備時,該動態儲存設備計算該目標資料之讀取次數,以於該目標資料於一段時間中之讀取次 數小於一預設閾值時,該動態儲存設備將該目標資料傳送至該靜態儲存設備進行儲存。
- 如請求項1所述之分散式物件資料儲存系統,其中,該磁帶管理模組查詢鄰近的該複數虛擬磁帶櫃中具有儲存空間的該複數磁帶、或是查詢該複數虛擬磁帶櫃之一者中具有儲存空間並鄰近的該複數磁帶,以產生一第一儲存路徑資料與一第二儲存路徑資料,俾於該目標資料及該副本資料之檔案名稱轉換後,再分別結合該第一儲存路徑資料及該第二儲存路徑資料,以產生該第一位置識別訊息及該第二位置識別訊息,俾使該第一資料塊及該第二資料塊依據該第一位置識別訊息及該第二位置識別訊息分別儲存於鄰近的該複數虛擬磁帶櫃中的該複數磁帶、或是儲存於該複數虛擬磁帶櫃之一者中鄰近的該複數磁帶。
- 如請求項1所述之分散式物件資料儲存系統,更包括該磁帶管理模組檢查儲存於該複數虛擬磁帶櫃中依據該目標資料所產生的資料塊之數量是否足夠,以於該磁帶管理模組檢查出依據該目標資料所產生的資料塊之數量不足時,令該磁帶管理模組依據該第一資料塊或該第二資料塊進行資料複製,以產生至少一第三資料塊及相對應的一第三位置識別訊息,再將該第三資料塊依據該第三位置識別訊息儲存於該複數虛擬磁帶櫃中。
- 如請求項1所述之分散式物件資料儲存系統,更包括當需要取得該靜態儲存設備中的該目標資料時,令該動態儲存設備從該靜態儲存設備取得該目標資料或該副本資料,其中,該靜態儲存設備之磁帶管理模組依據該目標資料或該副本資料所相對應的該第一資料塊之第一位置識別訊息或該第二資料塊之第二位置識別訊息,以從該磁帶裝置中取得該第一資 料塊或該第二資料塊,供該磁帶管理模組解壓縮該第一資料塊或該第二資料塊,以得到經解壓縮的該目標資料或該副本資料並回傳經解壓縮的該目標資料或該副本資料至該動態儲存設備,再由該動態儲存設備提供該經解壓縮的目標資料或該副本資料給外部。
- 一種分散式物件資料儲存方法,係包括:步驟(1):由動態儲存設備接收至少一目標資料;步驟(2):由靜態儲存設備取得或接收來自該動態儲存設備的該目標資料;步驟(3):由該靜態儲存設備之磁帶管理模組建立該目標資料之至少一副本資料,再將該目標資料及該副本資料之檔案名稱經轉換而產生相對應的一第一位置識別訊息及一第二位置識別訊息;步驟(4):由該磁帶管理模組將該目標資料及該副本資料分別壓縮成一具有該第一位置識別訊息之第一資料塊與一具有該第二位置識別訊息之第二資料塊;以及步驟(5):由一具有複數虛擬磁帶櫃之磁帶裝置分別依據該第一位置識別訊息及該第二位置識別訊息儲存來自該磁帶管理模組的該第一資料塊及該第二資料塊,其中,該複數虛擬磁帶櫃由複數磁帶所組成。
- 如請求項7所述之分散式物件資料儲存方法,其中,該靜態儲存設備更包括提供該靜態儲存設備向該動態儲存設備取得該目標資料或是該動態儲存設備向該靜態儲存設備取得該目標資料之應用程式介面。
- 如請求項7所述之分散式物件資料儲存方法,其中,於步驟(1)中,由該動態儲存設備選擇將該目標資料直接儲存於該動態儲存設備,或是儲 存於該靜態儲存設備,其中,當該目標資料直接儲存於該動態儲存設備時,由該動態儲存設備計算該目標資料之讀取次數,以於該目標資料於一段時間中之讀取次數小於一預設閾值時,由該動態儲存設備將該目標資料傳送至該靜態儲存設備進行儲存。
- 如請求項7所述之分散式物件資料儲存方法,其中,於步驟(3)中,由該磁帶管理模組查詢鄰近的該複數虛擬磁帶櫃中具有儲存空間的該複數磁帶、或是查詢該複數虛擬磁帶櫃之一者中具有儲存空間並鄰近的該複數磁帶,以產生一第一儲存路徑資料與一第二儲存路徑資料,俾於該目標資料及該副本資料之檔案名稱轉換後,再分別結合該第一儲存路徑資料及該第二儲存路徑資料,以產生該第一位置識別訊息及該第二位置識別訊息,俾使該第一資料塊及該第二資料塊依據該第一位置識別訊息及該第二位置識別訊息分別儲存於鄰近的該複數虛擬磁帶櫃中的該複數磁帶、或是儲存於該複數虛擬磁帶櫃之一者中鄰近的該複數磁帶。
- 如請求項7所述之分散式物件資料儲存方法,更包括由該磁帶管理模組檢查儲存於該複數虛擬磁帶櫃中依據該目標資料所產生的資料塊之數量是否足夠,以於該磁帶管理模組檢查出依據該目標資料所產生的資料塊之數量不足時,由該磁帶管理模組依據該第一資料塊或該第二資料塊進行資料複製,以產生至少一第三資料塊及相對應的一第三位置識別訊息,再將該第三資料塊依據該第三位置識別訊息儲存於該複數虛擬磁帶櫃中。
- 如請求項7所述之分散式物件資料儲存方法,更包括當需要取得該靜態儲存設備中的該目標資料時,由該動態儲存設備從該靜態儲存設備取得該目標資料或該副本資料,再由該靜態儲存設備之磁帶管理模組 依據該目標資料或該副本資料所相對應的該第一資料塊之第一位置識別訊息或該第二資料塊之第二位置識別訊息,從該磁帶裝置中取得該第一資料塊或該第二資料塊後,由該磁帶管理模組解壓縮該第一資料塊或該第二資料塊,以得到經解壓縮的該目標資料或該副本資料並回傳經解壓縮的該目標資料或該副本資料至該動態儲存設備,再由該動態儲存設備提供該經解壓縮的目標資料或該副本資料給外部。
- 一種電腦可讀媒介,應用於計算裝置或電腦中,並係儲存有執行如請求項7至12之任一項所述之分散式物件資料儲存方法之指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110119091A TWI773343B (zh) | 2021-05-26 | 2021-05-26 | 分散式物件資料儲存系統、方法及電腦可讀媒介 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110119091A TWI773343B (zh) | 2021-05-26 | 2021-05-26 | 分散式物件資料儲存系統、方法及電腦可讀媒介 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI773343B true TWI773343B (zh) | 2022-08-01 |
TW202247150A TW202247150A (zh) | 2022-12-01 |
Family
ID=83806991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110119091A TWI773343B (zh) | 2021-05-26 | 2021-05-26 | 分散式物件資料儲存系統、方法及電腦可讀媒介 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI773343B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050177851A1 (en) * | 2002-02-18 | 2005-08-11 | Yuji Murao | Mobile communication terminal recognition system and mobile communication terminal recognition method using the system |
TWI350970B (en) * | 2005-08-25 | 2011-10-21 | Silicon Image Inc | System and method for presenting physical drives as one or more virtual drives and computer readable medium containing related instructions |
TW201324183A (zh) * | 2011-12-09 | 2013-06-16 | Promise Tecnnology Inc | 雲端數據儲存系統 |
TW201821996A (zh) * | 2016-12-14 | 2018-06-16 | 旺宏電子股份有限公司 | 管理記憶體裝置中記憶體單元的實體資訊的方法及系統 |
TWI663515B (zh) * | 2017-07-18 | 2019-06-21 | 先智雲端數據股份有限公司 | 用於物聯網設備於資料中心備份的分散式重複資料刪除儲存系統及其達成分散式重複資料刪除方法 |
-
2021
- 2021-05-26 TW TW110119091A patent/TWI773343B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050177851A1 (en) * | 2002-02-18 | 2005-08-11 | Yuji Murao | Mobile communication terminal recognition system and mobile communication terminal recognition method using the system |
TWI350970B (en) * | 2005-08-25 | 2011-10-21 | Silicon Image Inc | System and method for presenting physical drives as one or more virtual drives and computer readable medium containing related instructions |
TW201324183A (zh) * | 2011-12-09 | 2013-06-16 | Promise Tecnnology Inc | 雲端數據儲存系統 |
TW201821996A (zh) * | 2016-12-14 | 2018-06-16 | 旺宏電子股份有限公司 | 管理記憶體裝置中記憶體單元的實體資訊的方法及系統 |
TWI663515B (zh) * | 2017-07-18 | 2019-06-21 | 先智雲端數據股份有限公司 | 用於物聯網設備於資料中心備份的分散式重複資料刪除儲存系統及其達成分散式重複資料刪除方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202247150A (zh) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI759789B (zh) | 電腦實現的方法、非暫態的電腦可讀儲存媒體及儲存系統 | |
US10387673B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
TWI766309B (zh) | 日誌結構儲存系統 | |
US10764045B2 (en) | Encrypting object index in a distributed storage environment | |
CN111183420B (zh) | 日志结构存储系统 | |
TWI737395B (zh) | 日誌結構儲存系統及方法 | |
US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
US9305069B2 (en) | Method and system for uploading data into a distributed storage system | |
TWI733514B (zh) | 儲存系統、區塊鏈網路的網路節點以及基於區塊鏈的日誌結構儲存系統 | |
EP3695303B1 (en) | Log-structured storage systems | |
US8250040B2 (en) | Storage or removal actions based on priority | |
CN103608783B (zh) | 用于备份应用的存储体系结构 | |
US8285681B2 (en) | Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites | |
TW202111585A (zh) | 日誌結構儲存系統 | |
US11249672B2 (en) | Low-cost backup and edge caching using unused disk blocks | |
CN109522283A (zh) | 一种重复数据删除方法及系统 | |
CN107423425A (zh) | 一种对k/v格式的数据快速存储和查询方法 | |
US9020902B1 (en) | Reducing head and tail duplication in stored data | |
TWI773343B (zh) | 分散式物件資料儲存系統、方法及電腦可讀媒介 | |
US10719556B2 (en) | Information processing apparatus and computer-readable storage medium storing information processing program | |
EP2686791B1 (en) | Variants of files in a file system | |
CN112612411A (zh) | 基于分布式云存储的数据备份和即时访问的系统及方法 | |
Rao | Data duplication using Amazon Web Services cloud storage | |
US20130218851A1 (en) | Storage system, data management device, method and program | |
US10936550B2 (en) | Synchronizing different representations of content |