TWI815735B - 一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介 - Google Patents
一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介 Download PDFInfo
- Publication number
- TWI815735B TWI815735B TW111144445A TW111144445A TWI815735B TW I815735 B TWI815735 B TW I815735B TW 111144445 A TW111144445 A TW 111144445A TW 111144445 A TW111144445 A TW 111144445A TW I815735 B TWI815735 B TW I815735B
- Authority
- TW
- Taiwan
- Prior art keywords
- recycling
- space
- file
- tape
- reclamation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004064 recycling Methods 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000011084 recovery Methods 0.000 claims description 51
- 238000012217 deletion Methods 0.000 claims description 11
- 230000037430 deletion Effects 0.000 claims description 11
- 101100385576 Caenorhabditis elegans ctg-1 gene Proteins 0.000 description 45
- 230000008521 reorganization Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Separation, Recovery Or Treatment Of Waste Materials Containing Plastics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本發明提供一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介,包括一磁帶管理模組、一回收排程模組、一回收處理模組以及一具有複數磁帶之磁帶櫃,其中,回收排程模組統計在不同門檻值下的各個磁帶所釋出之可回收空間,以取得最符合預設之回收目標條件之回收門檻值,且將依據回收門檻值所計算出之各個磁帶之可回收空間,依該可回收空間依序進行排序,再指派回收處理模組透過磁帶管理模組依據排序結果逐一對各個磁帶進行空間回收,以維持系統可用空間,且減少不必要的回收操作,進而提升儲存空間的回收效率。
Description
本發明係關於一種儲存技術,尤其指一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介。
在現今社會中,由於智慧型手機的普及以及性能的提升,人們已習慣利用智慧型手機透過照片、影片等多媒體資料記錄自己生活、工作或創作,但隨著時間增加,逐漸地累積了大量的多媒體資料,使得智慧型手機沒有足夠的儲存空間能提供給用戶。因此,會有許多業者提供雲端儲存的服務。
然而,當業者為了降低儲存成本採用磁帶作為儲存媒體時,由於磁帶在儲存上具有順序性,無法對既有檔案直接進行修改與刪除,需等待整卷檔案過期後進行覆寫,才能重新利用整卷容量,進而造成空間利用率下降。另一方面,也會因為磁帶上的檔案分散而影響存取效率。
因此,如何克服傳統的雲端儲存空間所面臨空間利用率上的難題,且提升雲端儲存的效率,進而提供給用戶更優惠的雲端儲存空間的價格及提升產品的競爭力,遂成為業界亟待解決的課題。
為解決前述習知的技術問題或提供相關之功效,本發明提供一種具備空間回收之序列化儲存系統,係包括:一磁帶管理模組,係通訊連接一具有複數磁帶之磁帶櫃,且該複數磁帶皆包括具有複數檔案之複數檔案集;一回收排程模組,其中,當該回收排程模組依據一回收目標條件判斷出需進行空間回收時,由該回收排程模組依據一待刪除檔案資料表計算出於不同門檻值下的該複數磁帶之可回收空間,進而得到符合該回收目標條件中之欲回收儲存空間所相對應之一回收門檻值,再由該回收排程模組將依據該回收門檻值所計算出之該複數磁帶之可回收空間進行排序後,由該回收排程模組指派後續進行空間回收;以及一回收處理模組,係通訊連接該磁帶管理模組及該回收排程模組,以依據該回收排程模組之指派,透過該磁帶管理模組並依據排序結果對該複數磁帶逐一進行空間回收。
本發明復提供一種具備空間回收之序列化儲存方法,係包括:由一磁帶管理模組通訊連接一具有複數磁帶之磁帶櫃,且該複數磁帶皆包括具有複數檔案之複數檔案集;當一回收排程模組依據一回收目標條件判斷出需進行空間回收時,由該回收排程模組依據一待刪除檔案資料表計算出於不同門檻值下的該複數磁帶之可回收空間,進而得到符合該回收目標條件中之欲回收儲存空間所相對應之一回收門檻值;由該回收排程模組將
依據該回收門檻值所計算出之該複數磁帶之可回收空間進行排序後,指派後續進行空間回收;以及由一回收處理模組依據該回收排程模組之指派,透過該磁帶管理模組並依據排序結果對該複數磁帶逐一進行空間回收。
在一實施例中,由該回收排程模組依據該待刪除檔案資料表計算出該複數檔案集之檔案回收比例,再依據該複數檔案集之檔案回收比例計算出於不同門檻值下的該複數磁帶之可回收空間。
在一實施例中,該磁帶管理模組通訊連接一雲端儲存設備,以接收來自該雲端儲存設備之該複數檔案,且將該複數檔案組成該複數檔案集後儲存於該磁帶櫃之該複數磁帶中。
在一實施例中,該磁帶管理模組接收來自該雲端儲存設備傳送的欲刪除之目標檔案之刪除紀錄檔,以將該目標檔案之刪除紀錄檔記錄於該待刪除檔案資料表中。
在一實施例中,該回收排程模組依據該待刪除檔案資料表計算出該複數磁帶中之該複數資料集的檔案回收比例,以依據該複數資料集的檔案回收比例計算出不同門檻值下的該複數磁帶之可回收空間。
由上述可知,本發明之具備空間回收之序列化儲存系統、方法及其電腦可讀媒介,係藉由回收排程模組統計在不同門檻值下的各個磁帶所釋出之可回收空間,以取得最符合預設之回收目標條件之回收門檻值,且將依據回收門檻值所計算出之各個磁帶之可回收空間,由大至小進行排序,以指派回收處理模組透過磁帶管理模組依據排序結果逐一對各個磁帶進行空間回收,以維持系統可用空間,且減少不必要的回收操作,進而提升儲存空間的回收效率。
1:具備空間回收之序列化儲存系統
11:磁帶管理模組
12:資料庫
13:回收排程模組
14:回收處理模組
15:磁帶櫃
151:第一虛擬磁帶櫃
152:第二虛擬磁帶櫃
9:雲端儲存設備
A~G,f1~f8:檔案集
ctg1~ctg6:磁帶
S21~S23,S31~S36:步驟
圖1係為本發明之具備空間回收之序列化儲存系統1之架構示意圖。
圖2係為本發明之回收工作排程方法之流程示意圖。
圖3係為本發明之具備空間回收之序列化儲存方法之流程示意圖。
圖4A及圖4B係為本發明之空間回收的第一實施例之示意圖。
圖5A及圖5B係為本發明之空間回收的第二實施例之示意圖。
以下藉由特定的具體實施例說明本發明之實施方式,熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
須知,本說明書所附圖式所繪示之結構、比例、大小等,均僅用以配合說明書所揭示之內容,以供熟悉此技藝之人士之瞭解與閱讀,並非用以限定本發明可實施之限定條件,故不具技術上之實質意義,任何結構之修飾、比例關係之改變或大小之調整,在不影響本發明所能產生之功效及所能達成之目的下,均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。同時,本說明書中所引用之如「一」、「第一」、「第二」、「上」
及「下」等之用語,亦僅為便於敘述之明瞭,而非用以限定本發明可實施之範圍,其相對關係之改變或調整,在無實質變更技術內容下,當視為本發明可實施之範疇。
圖1係為本發明之具備空間回收之序列化儲存系統1之架構示意圖。如圖1所示,在一實施例中,該具備空間回收之序列化儲存系統1係包括:一磁帶管理模組11、一資料庫12、一回收排程模組13、一回收處理模組14及一磁帶櫃15,其中,磁帶櫃15包含複數磁帶(如ctg1~ctg6)以作為儲存媒體,且將複數磁帶(如ctg1~ctg6)劃分至複數虛擬磁帶櫃(如第一虛擬磁帶櫃151及第二虛擬磁帶櫃152)中,亦即,第一虛擬磁帶櫃151及第二虛擬磁帶櫃152係分別由複數磁帶(如ctg1~ctg6)所組成,且複數磁帶(如ctg1~ctg6)皆具有複數序列位置,以令資料(如檔案集)依序儲存於複數磁帶(如ctg1~ctg6)之複數序列位置中。
此外,上述每一模組均可為軟體、硬體或韌體;若為硬體,則可為具有資料處理與運算能力之處理單元、處理器、電腦或伺服器;若為軟體或韌體,則可包括處理單元、處理器、電腦或伺服器可執行之指令,且可安裝於同一硬體裝置或分布於不同的複數硬體裝置。
在一實施例中,該具備空間回收之序列化儲存系統1係通訊連接一雲端儲存設備9,且雲端儲存設備9係由複數硬碟(如固態硬碟(Solid-state disk,SSD),或傳統硬碟(Hard Disk Drive,HDD),圖中未示)作為儲存媒體。
舉例而言,一使用者可藉由一使用端設備(如智慧型手機、個人電腦及筆記型電腦等,圖中未示)通訊連接(如利用網際網路(Internet)
或各種無線、行動網路)雲端儲存設備9,以將複數檔案傳送至雲端儲存設備9,且雲端儲存設備9接收並儲存複數檔案。之後,雲端儲存設備9再將複數檔案傳送至具備空間回收之序列化儲存系統1,以令複數檔案儲存於具備空間回收之序列化儲存系統1中。
在一實施例中,所述之磁帶管理模組11,係通訊連接磁帶櫃15,且接收來自雲端儲存設備9之複數檔案,由磁帶管理模組11將複數檔案進行批次轉存,以將此批次所接收到的複數檔案組成一檔案集f1,再將檔案集f1分別寫入磁帶櫃15中之第一虛擬磁帶櫃151之磁帶ctg1之第一序列位置,以及第二虛擬磁帶櫃152之磁帶ctg2之第一序列位置。
在一實施例中,由磁帶管理模組11賦予一識別碼給檔案集f1,以利用此識別碼記錄檔案集f1所位於之磁帶ctg1,ctg2及其序列位置,並利用檔案集f1之識別碼產生複數檔案之儲存資訊,以透過此複數檔案之儲存資訊記錄複數檔案所在之檔案集f1。須說明之,第一虛擬磁帶櫃151與第二虛擬磁帶櫃152在運行上兩邊各自獨立且不會共用到相同磁帶。
在一實施例中,識別碼係可為通用唯一辨識碼(Universally Unique Identifier,UUID)、統一資源識別碼(Uniform Resource Identifier,.URI)等識別碼,且本發明不限於此。
在一實施例中,複數檔案之儲存資訊之格式係為複數檔案所在檔案集f1之識別碼(如UUID)結合上檔案名稱(filename),例如:<f1_01.fid>。
在一實施例中,磁帶管理模組11通知雲端儲存設備9記錄檔案集f1中之複數檔案已轉存,且提供檔案集f1中之複數檔案之儲存資訊
給雲端儲存設備9,以供雲端儲存設備9可依據複數檔案之儲存資訊取得複數檔案。
所述之資料庫12(或稱系統後設資料庫),係通訊連接磁帶管理模組11,以記錄複數檔案之儲存資訊,且資料庫12儲存有一檔案集與磁帶關聯表及一待刪除檔案資料表。
在一實施例中,檔案集與磁帶關聯表係提供磁帶管理模組11記錄檔案集f1之識別碼及複數檔案之儲存資訊,而待刪除檔案資料表提供磁帶管理模組11記錄欲刪除之檔案。
所述之回收排程模組13(或稱回收工作排程模組),係通訊連接資料庫12,且回收排程模組13執行一回收工作排程方法。
如圖2所示,此方法包含下列步驟S21至步驟S23:
於步驟S21中,統計在不同門檻值(threshold)下的各個磁帶(如ctg1~ctg6)所釋出之可回收空間,再依據預設之回收目標條件選擇符合條件的門檻值(threshold),以作為回收門檻值。
具體而言,回收排程模組13依據資料庫12所儲存之待刪除檔案資料表計算出各個檔案集(如f1~f8)之檔案回收比例,再利用一回收判斷公式(1)得到出符合各門檻值之檔案集(如f1~f8),且回收判斷公式(1)如下所示:
其中,ctg(i)係為各個磁帶;m係為各個檔案集;t係為門檻值(threshold);Garbage ctg(i)(m)係為在第i個磁帶中之第m個檔案集的檔案回收比例;以及Mask ctg(i)(m,t)係用於判斷在第i個磁帶中之第m個檔案集的檔
案回收比例是否大於等於門檻值(t),其中,若大於或等於門檻值,則Mask ctg(i)(m,t)為1,反之,則Mask ctg(i)(m,t)為0。
再者,回收排程模組13利用一回收空間計算公式計算出在不同門檻值下的各個磁帶(如ctg1~ctg6)之可回收空間,且回收空間計算公式(2)如下所示:
其中,Reclaim ctg(i)(t)係為在不同門檻值(t)下的第i個磁帶之可回收空間;Garbage ctg(i)(m)係為在第i個磁帶中之第m個檔案集的檔案回收比例;Size係為檔案集的容量大小;以及Mask ctg(i)(m,t)係用於判斷在第i個磁帶中之第m個檔案集的檔案回收比例是否大於等於門檻值(t)。
最後,回收排程模組13利用一回收門檻值公式(3)從不同門檻值下所計算出之各個磁帶(如ctg1~ctg6)之可回收空間中,以得到符合回收目標條件中之欲回收儲存空間所相對應之一回收門檻值(t re )(或稱回收觸發門檻值),且回收門檻值公式(3)如下所示:
其中,t re 係為回收門檻值;Reclaim ctg(i)(t)係為在不同門檻值(t)下的第i個磁帶之可回收空間;Target係為回收目標條件中設定之需釋出的儲存空間之比例;以及Total係為磁帶櫃15之總儲存空間。此外,欲回收儲存空間係為Target×Total。
於步驟S22中,將依據回收門檻值所計算出之各個磁帶(如ctg1~ctg6)之可回收空間,以由大至小進行排序。
於步驟S23中,依據指派回收處理模組14依據各個磁帶(如ctg1~ctg6)之排序進行空間回收。
所述之回收處理模組14,係通訊連接磁帶管理模組11及回收排程模組13,以由回收處理模組14依據回收排程模組13對各個磁帶(如ctg1~ctg6)之排序結果,透過磁帶管理模組11依序進行空間回收,直至達到回收目標條件中設定之需釋出的儲存空間,或是各個磁帶(如ctg1~ctg6)無法釋出儲存空間。
在一實施例中,當回收處理模組14完成空間回收後,由磁帶管理模組11向資料庫12更新複數檔案之儲存資訊及檔案集與磁帶關聯表,且磁帶管理模組11通知雲端儲存設備9更新後之複數檔案之儲存資訊。
在一實施例中,第一虛擬磁帶櫃151與第二虛擬磁帶櫃152更包含有一回收交換磁帶,此捲不計入總空間計算中,非回收工作期間皆為空磁帶,藉此透過該回收交換磁帶進行空間回收。
在一實施例中,回收處理模組14更包含一重組隊列(Queue),以紀錄待重組檔案之路徑及其大小。須說明之,採用重組隊列(Queue)是為了盡可能保留原始檔案集的順序,可藉由Queue先進先出(FIFO)的性質來達成。
圖3係為本發明之具備空間回收之序列化儲存方法之流程示意圖,且一併參閱圖1說明之。
此外,本實施例與上述實施例相同處不再贅述,且此方法流程包含以下步驟S31至步驟S36:
於步驟S31中,當一回收排程模組13依據預設之一回收目標條件判斷出需進行空間回收時,由回收排程模組13依據一資料庫12中之待刪除檔案資料表計算出一磁帶櫃15中之複數磁帶(如ctg1~ctg6)之複數資料集(如f1~f8)的檔案回收比例。
於步驟S32中,由回收排程模組13依據複數檔案集(如f1~f8)之檔案回收比例計算出於不同門檻值下的複數磁帶(如ctg1~ctg6)之可回收空間。
於步驟S33中,由回收排程模組13從不同門檻值下所計算出之複數磁帶(如ctg1~ctg6)之可回收空間中,得到符合回收目標條件中之欲回收儲存空間所相對應之一回收門檻值。
於步驟S34中,由回收排程模組13將依據回收門檻值所計算出之複數磁帶(如ctg1~ctg6)之可回收空間,由大至小進行排序。
於步驟S35中,由回收排程模組13指派一回收處理模組14依據複數磁帶(如ctg1~ctg6)之可回收空間之排序,以逐一進行空間回收。
於步驟S36中,由回收處理模組14依據複數磁帶(如ctg1~ctg6)之可回收空間之排序,以透過一磁帶管理模組11對該複數磁帶進行空間回收。
下列係為本發明之具備空間回收之序列化儲存系統1執行檔案儲存之實施例,且一併參閱圖1說明之。
於本實施例中,一使用者藉由一使用端設備指定一目標檔案請求存取,而當雲端儲存設備9中並未儲存有此目標檔案時,雲端儲存設備9提供此目標檔案之儲存資訊至磁帶管理模組11。
再者,由磁帶管理模組11依據此目標檔案之儲存資訊,並透過資料庫12中之檔案集與磁帶關聯表確認此目標檔案所在之檔案集f1,以及檔案集f1位於的磁帶ctg1,ctg2及其序列位置,藉此從磁帶ctg1,ctg2中取得檔案集f1,再由磁帶管理模組11依據此目標檔案之檔案名稱從檔案集f1中之複數檔案找到此目標檔案,最後透過雲端儲存設備9將此目標檔案回傳至使用端設備。
下列係為本發明之具備空間回收之序列化儲存系統1記錄欲刪除檔案之實施例,且一併參閱圖1說明之。
於本實施例中,一使用者藉由一使用端設備於雲端儲存設備9中執行刪除檔案操作時,若此目標檔案已轉存至磁帶櫃15,則雲端儲存設備9傳送此目標檔案之刪除紀錄檔(如log,日誌)至磁帶管理模組11。
再者,於雲端儲存設備9中清除此目標檔案後,由磁帶管理模組11將收到的此目標檔案之刪除紀錄檔記錄於資料庫12中之待刪除檔案資料表中。
下列係為本發明之具備空間回收之序列化儲存系統1執行回收排程之實施例,且一併參閱圖1至圖3說明之。另一方面,此實施例與上述實施例相同處不再贅述。
於本實施例中,如圖1所示,一磁帶櫃15劃分有第一虛擬磁帶櫃151及第二虛擬磁帶櫃152,且第一虛擬磁帶櫃151由儲存容量為
200GB的磁帶ctg1,ctg3,ctg5所組成之,而第二虛擬磁帶櫃152由儲存容量為200GB的磁帶ctg2,ctg4,ctg6所組成之,因而磁帶櫃15之總儲存空間為1200GB,其中,第一虛擬磁帶櫃151及第二虛擬磁帶櫃152分別儲存有8筆檔案集f1~f8,且每個檔案集f1~f8存放12個大小為5GB的檔案,故磁帶櫃15已使用了960GB的儲存空間。
再者,資料庫12中儲存有一檔案集與磁帶關聯表(如表1所示)及待刪除檔案資料表(如表2所示),其中,檔案集與磁帶關聯表包含檔案集之識別碼、第一虛擬磁帶櫃之磁帶及其序列位置、第二虛擬磁帶櫃之磁帶及其序列位置,而待刪除檔案資料表包含欲刪除之檔案的刪除紀錄檔,且刪除紀錄檔可透過如複數檔案之儲存資訊之形式記錄。
對此,回收排程模組13判斷出磁帶櫃15剩下儲存空間(1-960/(1200×100%=20%))達到預設之回收目標條件(即當總儲存空間剩餘20%時,釋出10%的總儲存空間),故回收排程模組13執行一回收工作排程方法,以釋出10%的總儲存空間,亦即,回收目標條件中之欲回收儲存空間為120GB(1200GB×10%)。
首先,回收排程模組13依據待刪除檔案資料表計算出各個檔案集f1~f8之檔案回收比例(如下表3所示)。
再者,回收排程模組13利用上述之回收判斷公式(1)及回收空間計算公式(2),以計算出在不同門檻值(t=50%,55%...95%)下的各個磁帶ctg1~ctg6之可回收空間(如下表4所示)。
舉例而言,磁帶ctg1中儲存有檔案集f1,f3,f6,且於門檻值為50%時,回收排程模組13利用回收判斷公式(1)得到檔案集f1,f3大於等於門檻值(50%),故將檔案集f1,f3中需回收檔案(即欲刪除之檔案)所佔之儲存空間作為磁帶ctg1的欲釋放之儲存空間(即可回收空間),再利用回收空間計算公式(2)計算磁帶ctg1之可回收空間,即可回收空間=((50%×60GB)+(66.7%×60GB))=70GB。是以,藉此由回收排程模組13依序計算出在不同門檻值下的各個磁帶ctg1~ctg6之可回收空間。
接著,回收排程模組13依據回收目標條件之欲回收儲存空間(120GB),以利用上述之回收門檻值公式(3)得到門檻值為85%或90%時,磁帶櫃15所釋出之儲存空間(110GB)最接近回收目標條件中之欲回收儲存空間(120GB),故回收排程模組13將85%或90%作為一回收門檻值(t re )。於此實施例中,將85%作為回收門檻值(t re )。
又,回收排程模組13將依據回收門檻值(85%)所計算出之各個磁帶ctg1~ctg6之可回收空間,以由大至小進行排序,例如:排序可為1.磁帶ctg5(55GB)、2.磁帶ctg6(55GB)、3.磁帶ctg1(0GB)、4.磁帶ctg2(0GB)、5.磁帶ctg3(0GB)、6.磁帶ctg4(0GB)。最後,回收排程模組13指派回收處理模組14依序對各個磁帶ctg1~ctg6進行空間回收,例如:回收處理模組14先對磁帶ctg5進行空間回收,以釋出110GB的儲存空間,再對磁帶ctg6進行空間回收,以釋出10GB的儲存空間。
下列係為本發明之具備空間回收之序列化儲存系統1執行空間回收之第一實施例,且一併參閱圖1說明之。
於本實施例中,如圖4A所示,回收處理模組14依據回收排程模組13對各個磁帶ctg1~ctg6之排序,以透過磁帶管理模組11優先對可回收空間最大的磁帶ctg1進行空間回收,其中,回收處理模組14依據回收門檻值判斷磁帶ctg1中之各個檔案集A~F之檔案回收比例是否大於等於回收門檻值,且讀取出大於等於回收門檻值之檔案集B,C,E中之複數檔案,再將檔案集B,C,E中之複數檔案集合成至少一檔案集FG,以將檔案集FG暫存至磁帶ctg2或其他儲存裝置(如磁帶或硬碟等)。
再者,如圖4B所示,再由回收處理模組14將磁帶ctg1中之檔案集A,D,F寫入另一磁帶ctg3,並清除磁帶ctg1中的所有檔案集A~F,以釋出儲存空間。
下列係為本發明之具備空間回收之序列化儲存系統1執行空間回收之第二實施例,且一併參閱圖1說明之。
於本實施例中,如圖5A所示,回收處理模組14依據回收排程模組13對各個磁帶ctg1~ctg6之排序,以透過磁帶管理模組11優先對可回收空間最大的磁帶ctg1進行空間回收,其中,回收處理模組14依序從磁帶初始位置讀取檔案集,由檔案集A~F依序讀取檔案於硬碟暫存區中,再依據回收門檻值判斷當前處理之檔案集是否符合回收門檻。
是以,檔案集A未符合回收門檻,故回收處理模組14將該檔案集A寫入於一回收交換磁帶ctg_swap。接著,檔案集B符合回收門檻,故回收處理模組14將該檔案集B中之未刪除之複數檔案路徑匯入至一重組隊列(Queue)Q中,且回收處理模組14判斷出重組隊列中檔案總大小未達5GB,暫不進行處理。
又,檔案集C及符合回收門檻,故同前述檔案集B操作,回收處理模組14將該檔案集C中之未刪除之複數檔案路徑匯入至重組隊列中,而此時重組隊列中檔案大小若已達5GB,則從重組隊列中依序讀出至多5GB檔案組成新檔案集G,並寫入於回收交換磁帶ctg_swap。之後,繼續處理下一檔案集,回收處理模組14重複以上操作直至磁帶ctg1上之檔案集皆已處理完畢。最後,若重組隊列尚餘未處理檔案,則組成另一檔案集寫入回收交換磁帶磁帶ctg_swap。
再者,如圖5B所示,此時磁帶ctg1已完成回收,以清除釋出,再由回收處理模組14將清除後之磁帶ctg1標註為回收交換磁帶ctg_swap’,而原先的回收交換磁帶ctg_swap則轉為一般磁帶ctg1’,以供系統利用剩餘空間。
綜上所述,本發明之具備空間回收之序列化儲存系統、方法及其電腦可讀媒介係提供雲端儲存空間服務的業者能更有效的使用及管理具有較低成本的儲存媒體之磁帶。此外,藉由回收排程模組統計在不同門檻值下的各個磁帶所釋出之可回收空間,以取得最符合預設之回收目標條件之回收門檻值,且將依據回收門檻值所計算出之各個磁帶之可回收空間,由大至小進行排序,以指派回收處理模組透過磁帶管理模組依據排序逐一對各個磁帶進行空間回收,以維持系統可用空間,且減少不必要的回收操作,進而提升儲存空間的回收效率。
再者,本發明之具備空間回收之序列化儲存系統、方法及其電腦可讀媒介,係具備下列優點或技術功效:
1.相較於現有技術中,磁帶通常需等待所有檔案過期,才能完整釋出整卷容量。本發明所提出之空間回收與重組機制,透過計算出的複數磁帶之可回收空間,能準確地將複數磁帶進行空間回收,以提升複數磁帶之空間利用率。
2.本發明藉由分析磁碟中之複數檔案集的檔案回收比例,自動篩選需回收磁帶進行排程,以維持系統可用空間。再者,依據檔案集之分布情況動態調整回收觸發條件(回收門檻值),以減少不必要的回收操作,進而提升儲存空間的回收效率。
3.本發明藉由回收方法之設計,同時配合檔案重組機制,以降低因檔案分散所帶來潛在的效能影響,俾提升檔案循序讀取的效率。
上述實施形態僅例示性說明本發明之原理及其功效,而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下,對上述實施形態進行修飾與改變。因此,本發明之權利保護範圍應如申請專利範圍所列。
1:具備空間回收之序列化儲存系統
11:磁帶管理模組
12:資料庫
13:回收排程模組
14:回收處理模組
15:磁帶櫃
151:第一虛擬磁帶櫃
152:第二虛擬磁帶櫃
9:雲端儲存設備
f1~f8:檔案集
ctg1~ctg6:磁帶
Claims (11)
- 一種具備空間回收之序列化儲存系統,係包括:一磁帶管理模組,係通訊連接一具有複數磁帶之磁帶櫃,且該複數磁帶皆包括具有複數檔案之複數檔案集;一回收排程模組,其中,當該回收排程模組依據預設之一回收目標條件判斷出需進行空間回收時,由該回收排程模組依據待刪除檔案資料表計算出於不同門檻值下的該複數磁帶之可回收空間,進而得到符合該回收目標條件中之欲回收儲存空間所相對應之一回收門檻值,再由該回收排程模組將依據該回收門檻值所計算出之該複數磁帶之可回收空間進行排序後,由該回收排程模組指派後續進行空間回收;以及一回收處理模組,係通訊連接該磁帶管理模組及該回收排程模組,以依據該回收排程模組之指派,透過該磁帶管理模組並依據排序結果對該複數磁帶逐一進行空間回收。
- 如請求項1所述之具備空間回收之序列化儲存系統,其中,由該回收排程模組依據該待刪除檔案資料表計算出該複數檔案集之檔案回收比例,再依據該複數檔案集之檔案回收比例計算出於不同門檻值下的該複數磁帶之可回收空間。
- 如請求項1所述之具備空間回收之序列化儲存系統,其中,該磁帶管理模組通訊連接一雲端儲存設備,以接收來自該雲端儲存設備之複數檔案,且將該複數檔案組成該複數檔案集後儲存於該磁帶櫃之該複數磁帶中。
- 如請求項3所述之具備空間回收之序列化儲存系統,其中,該磁帶管理模組接收來自該雲端儲存設備傳送的欲刪除之目標檔案之刪除紀錄檔,以將該目標檔案之刪除紀錄檔記錄於該待刪除檔案資料表中。
- 如請求項1所述之具備空間回收之序列化儲存系統,其中,該回收排程模組依據該待刪除檔案資料表計算出該複數磁帶中之該複數資料集的檔案回收比例,以依據該複數資料集的檔案回收比例計算出不同門檻值下的該複數磁帶之可回收空間。
- 一種具備空間回收之序列化儲存方法,係包括:由一磁帶管理模組通訊連接一具有複數磁帶之磁帶櫃,且該複數磁帶皆包括具有複數檔案之複數檔案集;當一回收排程模組依據預設之一回收目標條件判斷出需進行空間回收時,由該回收排程模組依據一資料庫中之待刪除檔案資料表計算出於不同門檻值下的該複數磁帶之可回收空間,進而得到符合該回收目標條件中之欲回收儲存空間所相對應之一回收門檻值;由該回收排程模組將依據該回收門檻值所計算出之該複數磁帶之可回收空間進行排序後,指派後續進行空間回收;以及由一回收處理模組依據該回收排程模組之指派,透過該磁帶管理模組並依據排序結果對該複數磁帶逐一進行空間回收。
- 如請求項6所述之具備空間回收之序列化儲存方法,其中,由該回收排程模組依據該待刪除檔案資料表計算出該複數檔案集之檔案回收比例,再依據該複數檔案集之檔案回收比例計算出於不同門檻值下的該複數磁帶之可回收空間。
- 如請求項6所述之具備空間回收之序列化儲存方法,其中,該磁帶管理模組通訊連接一雲端儲存設備,以接收來自該雲端儲存設備之複數檔案,且將該複數檔案組成該複數檔案集後儲存於該磁帶櫃之該複數磁帶中。
- 如請求項8所述之具備空間回收之序列化儲存方法,其中,該磁帶管理模組接收來自該雲端儲存設備傳送的欲刪除之目標檔案之刪除紀錄檔,以將該目標檔案之刪除紀錄檔記錄於該待刪除檔案資料表中。
- 如請求項6所述之具備空間回收之序列化儲存方法,其中,由該回收排程模組依據該待刪除檔案資料表計算出該複數磁帶中之該複數資料集的檔案回收比例,以依據該複數資料集的檔案回收比例計算出不同門檻值下的該複數磁帶之可回收空間。
- 一種電腦可讀媒介,應用於計算裝置或電腦中,係儲存有指令,以執行如請求項6至10之任一者所述之具備空間回收之序列化儲存方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111144445A TWI815735B (zh) | 2022-11-21 | 2022-11-21 | 一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111144445A TWI815735B (zh) | 2022-11-21 | 2022-11-21 | 一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI815735B true TWI815735B (zh) | 2023-09-11 |
TW202422320A TW202422320A (zh) | 2024-06-01 |
Family
ID=88966180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111144445A TWI815735B (zh) | 2022-11-21 | 2022-11-21 | 一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI815735B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110320679A1 (en) * | 2010-06-25 | 2011-12-29 | International Business Machines Corporation | Offloading volume space reclamation operations to virtual tape systems |
CN102667703A (zh) * | 2009-11-27 | 2012-09-12 | 国际商业机器公司 | 用于虚拟磁带库系统中的优化回收处理的系统和方法 |
CN103049224A (zh) * | 2012-12-28 | 2013-04-17 | 华为技术有限公司 | 将数据导入物理磁带的方法、装置和系统 |
TWI514147B (zh) * | 2009-01-23 | 2015-12-21 | Infortrend Technology Inc | 執行儲存虛擬化之儲存子系統及儲存系統架構及其方法 |
US10963432B2 (en) * | 2010-07-29 | 2021-03-30 | International Business Machines Corporation | Scalable and user friendly file virtualization for hierarchical storage |
-
2022
- 2022-11-21 TW TW111144445A patent/TWI815735B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI514147B (zh) * | 2009-01-23 | 2015-12-21 | Infortrend Technology Inc | 執行儲存虛擬化之儲存子系統及儲存系統架構及其方法 |
CN102667703A (zh) * | 2009-11-27 | 2012-09-12 | 国际商业机器公司 | 用于虚拟磁带库系统中的优化回收处理的系统和方法 |
US20110320679A1 (en) * | 2010-06-25 | 2011-12-29 | International Business Machines Corporation | Offloading volume space reclamation operations to virtual tape systems |
US10963432B2 (en) * | 2010-07-29 | 2021-03-30 | International Business Machines Corporation | Scalable and user friendly file virtualization for hierarchical storage |
CN103049224A (zh) * | 2012-12-28 | 2013-04-17 | 华为技术有限公司 | 将数据导入物理磁带的方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
TW202422320A (zh) | 2024-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12001677B2 (en) | Data storage space recovery via compaction and prioritized recovery of storage space from partitions based on stale data | |
US20200226098A1 (en) | Transferring or migrating portions of data objects, such as block-level data migration or chunk-based data migration | |
US8805779B2 (en) | Applying an action on a data item according to a classification and a data management policy | |
CN103064639B (zh) | 数据存储方法及装置 | |
US10445208B2 (en) | Tunable, efficient monitoring of capacity usage in distributed storage systems | |
US7818530B2 (en) | Data management systems, articles of manufacture, and data storage methods | |
US10540095B1 (en) | Efficient garbage collection for stable data | |
CN102541990A (zh) | 利用虚拟分区的数据库重新分布方法和系统 | |
US11836350B1 (en) | Method and system for grouping data slices based on data file quantities for data slice backup generation | |
CN102456059A (zh) | 重复数据删除的处理系统 | |
CN1678981A (zh) | 在一个或多个包括多个虚拟卷的虚拟卷聚集中维护信息 | |
CN103605585A (zh) | 一种基于数据发现的智能备份方法 | |
CN113486026A (zh) | 数据处理方法、装置、设备及介质 | |
CN105493080A (zh) | 基于上下文感知的重复数据删除的方法和装置 | |
CN1284087C (zh) | 分配伪时间属性给一个或多个逻辑卷的装置和方法 | |
TWI815735B (zh) | 一種具備空間回收之序列化儲存系統、方法及其電腦可讀媒介 | |
EP3788501B1 (en) | Data partitioning in a distributed storage system | |
CN104407987B (zh) | 一种分级存储方法 | |
US20060074918A1 (en) | Method and accelerating data search for data archive system | |
CN1960285A (zh) | 一种机房软件环境多点还原增量同步的方法 | |
US20210326386A1 (en) | Information processing system, information processing device, and non-transitory computer-readable storage medium for storing program | |
US12093135B2 (en) | Method and system for grouping data slices based on data file types for data slice backup generation | |
US12007845B2 (en) | Method and system for managing data slice backups based on grouping prioritization | |
US12061522B2 (en) | Method and system for grouping data slices based on data change rate for data slice backup generation | |
TWI773343B (zh) | 分散式物件資料儲存系統、方法及電腦可讀媒介 |