TW202110155A

TW202110155A - 異地備份方法

Info

Publication number: TW202110155A
Application number: TW108130697A
Authority: TW
Inventors: 鄭廷軒; 許順興
Original assignee: 中華電信股份有限公司
Priority date: 2019-08-27
Filing date: 2019-08-27
Publication date: 2021-03-01
Also published as: TWI711288B

Abstract

本發明提供一種異地備份方法，包括：反應於雲服務中對應於區塊儲存的異地備份程序被觸發，在雲服務的本地資料庫中取得關聯於區塊儲存的元資料；判斷區塊儲存是否具有備份歷程；反應於區塊儲存具有備份歷程，對區塊儲存執行增量備份操作，以產生增量備份檔案；反應於區塊儲存不具有備份歷程，對區塊儲存執行全量備份操作，以產生全量備份檔案；將增量備份檔案或全量備份檔案匯出為區塊儲存的備份檔案；將備份檔案壓縮為壓縮檔案，並將壓縮檔案及元資料發送至異地備份儲存空間以進行異地備份。

Description

異地備份方法

本發明是有關於一種資料備份技術，且特別是有關於一種異地備份方法。

由於區塊儲存經常是GB(gigabyte)甚至是TB(terabyte)等級的大檔案，若是定期將雲儲存服務中所有客戶的區塊儲存完整備份至異地，不但會造成異地儲存空間占用。並且，由於跨機房的網路頻寬通常較小，因而難以在有限時間內將備份檔案有效地備份至異地。

有鑑於此，本發明提供一種異地備份方法，其可用以解決上述技術問題。

本發明提供一種異地備份方法，包括：反應於一雲服務中對應於一區塊儲存的一異地備份程序被觸發，在雲服務的一本地資料庫中取得關聯於區塊儲存的元資料；判斷區塊儲存是否具有一備份歷程；反應於區塊儲存具有備份歷程，對區塊儲存執行一增量備份操作，以產生一增量備份檔案；反應於區塊儲存不具有備份歷程，對區塊儲存執行一全量備份操作，以產生一全量備份檔案；將增量備份檔案或全量備份檔案匯出為區塊儲存的一備份檔案；將備份檔案壓縮為一壓縮檔案，並將壓縮檔案及元資料發送至一異地備份儲存空間以進行異地備份。

基於上述，本發明的方法能夠將雲儲存服務中的區塊儲存備份至異地儲存環境。並且，為了能夠預防雲服務因災難造成資料庫與相關元資料遺失，本發明的方法可將雲服務中重要的資料庫與元資料一同備份至異地備份儲存空間。此外，本發明在備份區塊儲存時採用增量備份(Incremental backup)技術，此技術可以先完成完整備份以後，如果資料有增刪，後續執行的備份可以只備份與上一次備份之差異。因此，本發明可大幅減少備份所需頻寬與備份時間，也能夠節省異地儲存服務的空間。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參照圖1，其是依據本發明之一實施例繪示的異地備份系統示意圖。如圖1所示，系統10包括使用者介面模組400、異地備份服務模組500及異地備份儲存空間300。

在圖1中，使用者介面模組400可包括備份資料管理模組410、備份設定模組420與備份還原觸發模組430。異地備份服務模組500可包括排程備份模組510、備份還原模組520、遠端掛載模組530、資料庫540及監控模組550。

備份資料管理模組410可呈現所有已備份的元資料與區塊儲存備份資料歷程記錄，其中所述元資料來源是透過異地備份服務模組500中的元資料備份模組512所提供，而備份資料歷程記錄係取自於異地備份服務模組500中的資料庫540。

備份設定模組420可設定異地備份服務模組500中的設定檔501，而異地備份服務模組500中的所有模組都是參考此設定檔501執行。遠端掛載模組530可讀取設定檔501而自行掛載異地備份儲存空間300。

排程備份模組510包括備份輪替模組511、元資料備份模組512、備份模組513及備份記錄模組514。排程備份模組510可根據設定檔501中的設定決定排程備份週期與備份時間點。並且，排程備份模組510還可控制備份模組513與元資料備份模組512執行備份。

在本發明的實施例中，排程備份模組510可週期性地執行本發明提出的異地備份機制，以下將作進一步說明。

請參照圖2，其是依據本發明之一實施例繪示的異地備份方法流程圖。首先，在步驟S210中，反應於雲服務中對應於區塊儲存的異地備份程序被觸發，元資料備份模組512可在雲服務100的本地資料庫101中取得關聯於區塊儲存的元資料。在一實施例中，維運人員可於使用者介面模組400填寫備份服務設定，並點選開始備份，以觸發上述異地備份程序，但可不限於此。相應地，元資料備份模組512可開始進行元資料備份。具體而言，元資料備份模組512可將雲服務100的資料庫101中跟所述區塊儲存相關的元資料備份至遠端掛載模組530，但不限於此。在不同的實施例中，上述區塊儲存例如可對應於雲儲存服務200中的一台虛擬機器或一個磁碟，但可不限於此。

在一實施例中，元資料可以關聯出此區塊儲存與虛擬主機之間的關聯。舉例而言，從元資料可以找到A虛擬主機的區塊儲存是B，那麼當備份的區塊儲存需要還原時，可以用此元資料將B區塊設備供裝出A規格的虛擬主機，但本發明可不限於此。

此外，在一些實施例中，雲服務100中可包括屬於不同客戶的多個區塊儲存，而排程備份模組510可對所有的區塊儲存皆執行相同的異地備份操作。在一實施例中，由於可能不是每個區塊儲存都有進行備份的必要，因此本發明還可設立黑名單機制，用以讓維運人員將某些不需進行備份的區塊儲存（例如，測試資料）加入黑名單中。如此一來，排程備份模組510即可不對屬於黑名單的區塊儲存進行本發明提出的異地備份機制，但可不限於此。基此，在一實施例中，在對應於區塊儲存的異地備份程序被觸發後，元資料備份模組512可先判斷上述區塊儲存是否屬於黑名單。若是，則排程備份模組510可停止進行上區塊儲存的異地備份程序，反之則可依據步驟S210取得關聯於上述區塊儲存的元資料，但可不限於此。

為便於說明，以下將僅基於單一個區塊儲存進行說明，而本領域具通常知識者應可對應推得對其他區塊儲存所進行的操作。

在一實施例中，在執行步驟S210之後，排程備份模組510可執行步驟S220至S260以對上述區塊儲存進行所述異地備份程序。具體而言，在步驟S220中，備份模組513可判斷上述區塊儲存是否具有備份歷程。在一實施例中，若上述區塊儲存先前曾經被備份過，即代表其具有備份歷程。相應地，異地備份儲存空間300中將儲存有一或多個歷史壓縮檔案。反之，若上述區塊儲存先前未被備份過，即代表其不具有備份歷程，但本發明可不限於此。

在一實施例中，若上述區塊儲存具有備份歷程，則在步驟S230中，備份模組513可對區塊儲存執行增量備份操作，以產生增量備份檔案。舉例而言，在執行增量備份操作時，若所考慮的區塊儲存係對應於虛擬機器，則備份模組513可對此虛擬機器進行快照操作，以擷取此虛擬機器當下的系統狀態作為一當下快照。之後，備份模組513可將此當下快照與一先前快照之間的差異資料匯出為上述增量備份檔案，但可不限於此。在一實施例中，上述先前快照例如是在前一次備份時所擷取的虛擬機器的系統狀態，故可概略地理解為上一次的當下快照，但本發明可不限於此。

在不同的實施例中，上述當下快照例如是崩潰一致性（crash-consistent）快照、檔案一致性（File System consistent）快照及應用程式一致性（Application consistent）快照的至少其中之一，但可不限於此。在一些實施例中，本發明可由客戶自行從上述三種快照方式中選擇所需的一者，以控制備份模組513採用客戶所選的方式來擷取快照。

具體而言，若當下快照屬於崩潰一致性快照，則當客戶的虛擬機器或彈性區塊儲存（elastic block store，EBS）正在對區塊儲存進行繁忙地I/O時進行快照時，其快照還原後檔案系統可能出現損毀的情況，因此，本發明還可基於檔案系統一致性與應用程式一致性的原則來產生當下快照。

由於上述功能能夠在進行快照時透過客戶虛擬機器的客作業系統（guest operating system）下達凍結I/O（即，fsfreeze()）的系統調用（system call）或是對虛擬機器中的應用程式下達暫停指令，因此不論虛擬機器的I/O多頻繁，都能夠確保備份資料是一致的，且因快照速度非常快，虛擬機器中的I/O暫停時間非常短，但本發明可不限於此。

此外，在一實施例中，在產生上述當下快照之後，備份模組513還可進一步刪除前一次備份時所產生的當下快照（即，上述先前快照）。亦即，本發明可以此次產生的當下快照取代上一次產生的當下快照。

相反地，在另一實施例中，若上述區塊儲存不具有備份歷程，則在步驟S240中，備份模組513可對區塊儲存執行全量備份操作，以產生全量備份檔案。在本實施例中，若上述區塊儲存不具有備份歷程，即代表不存在上述的先前快照。在此情況下，備份模組513可直接將所擷取的當下快照匯出為全量備份檔案。舉例而言，在執行全量備份操作時，若所考慮的區塊儲存係對應於虛擬機器，則備份模組513可對此虛擬機器進行快照操作，以擷取此虛擬機器當下的系統狀態作為當下快照。之後，備份模組513可將此當下快照與（不存在的）先前快照之間的差異資料匯出為上述全量備份檔案。由於先前快照不存在，因此上述差異資料即為當下快照本身，而備份模組513可直接將當下快照匯出為上述全量備份檔案，但本發明可不限於此。

在產生增量備份檔案或全量備份檔案之後，在步驟S250中，備份模組513可將增量備份檔案或全量備份檔案壓縮為壓縮檔案，並將壓縮檔案及元資料發送至異地備份儲存空間300以進行異地備份。

在一實施例中，備份模組513可採用多進程方式將增量備份檔案或全量備份檔案壓縮為壓縮檔案。舉例而言，備份模組513可先將增量備份檔案或全量備份檔案區分為多份子壓縮檔案，再分別對這些子壓縮檔案進行壓縮，之後再合成為一個檔案以作為上述壓縮檔案，但本發明可不限於此。藉此，除了可加快壓縮速度，且區塊儲存的壓縮率平均約可達60%。如此一來，不但能減少備份區40%的儲存空間占用，也能提升備份速度與減少網路頻寬占用。

在一實施例中，備份記錄模組514可將上述壓縮檔案的存放路徑、備份完成時數、備份時間點與快照名稱等記錄在資料庫540中。在此情況下，備份資料管理模組410可提供相應的使用者介面（其例如是RESTful應用程式介面，但不限於此）供使用者查詢資料庫540中的上述資料，但不限於此。

此外，在備份模組513將上述壓縮檔案及元資料儲存至異地備份儲存空間300，以完成異地備份程序之後，備份輪替模組511還可執行一輪替機制以調整異地備份儲存空間300中的儲存情形。具體而言，在一實施例中，隨著時間的演進，異地備份儲存空間300中可儲存有多個歷史壓縮檔案，而其可視為是備份模組513先前執行異地備份程序而儲存於異地備份儲存空間300中的先前壓縮檔案。

在此情況下，在上述壓縮檔案及元資料被儲存至異地備份儲存空間300之後，備份輪替模組511可判斷上述歷史壓縮檔案與壓縮檔案的總數是否超過異地備份儲存空間300的檔案天數限制（其可由維運人員設定於設定檔501中）。在一實施例中，所述檔案天數限制例如是異地備份儲存空間300可保留多少天的檔案。因此，若上述歷史壓縮檔案與壓縮檔案的總數超過異地備份儲存空間300的檔案天數限制，則備份輪替模組511可將上述歷史壓縮檔案中的第1個歷史壓縮檔案（例如，最早的歷史壓縮檔案）與第2個歷史壓縮檔案（例如，第2早的歷史壓縮檔案）合併，以取代原本的第1個歷史壓縮檔案。在一實施例中，在執行上述合併操作之後，備份輪替模組511可再更新資料庫540，以將被合併的備份狀態改為已合併，如此維運人員從使用者介面就看不到此備份歷程，但可不限於此。

在本實施例中，所述第1個歷史壓縮檔案可視為一全量備份檔案。在此情況下，可以減少異地備份儲存空間300的儲存空間占用，且當要執行備份還原時，因為檔案天數有所限制，還原時需合併的檔案數量不會超過輪替設定天數，因此還原速度也較快，且輪替機制能夠避免因檔案損毀造成無法還原的問題，因增量備份還原時需從第一個備份依序將所有增量備份檔案還原，所以當有數十個增量備份其中一個增量備份檔案損毀，該損毀的備份以及其之後的備份將無法正常還原。在一實施例中，上述輪替機制每天都會將檔案合併，合併時若出現檔案錯誤的訊息，則備份輪替模組511可發送警示訊息以通知維運人員處理。

在一實施例中，備份模組513可先將壓縮檔案及元資料儲存在異地備份儲存空間300的高速儲存池310（其例如是由固態硬碟建構的空間小且快速儲存池）中。藉此，可加快壓縮檔案及元資料的儲存速度。另外，在過了一段時間之後，高速儲存池310中的資料（例如，上述壓縮檔案及元資料）可再被移入異地備份儲存空間300的低速儲存池320（例如是由空間大且低成本的普通硬碟或磁帶建構的儲存池），但本發明可不限於此。

在一實施例中，另外，若某個區塊儲存無法進行快照、合併或是匯出的動作，代表此區塊儲存已有損毀情況，因此，本發明可將此區塊儲存加入黑名單中且發出告警，避免再次備份此區塊儲存。

在一實施例中，維運人員能夠透過於備份資料管理模組410找到需要還原的備份資料，並透過備份還原觸發模組430選擇要將該備份資料還原給指定客戶中的指定專案。

在一實施例中，備份還原模組520是由使用者介面模組400中的備份還原觸發模組430所觸發，以執行本發明的還原流程，其細節如下所示。

請參照圖3，其是依據本發明之一實施例繪示的還原區塊儲存的流程圖。在步驟S701中，維運人員可於使用者介面中選擇欲還原的區塊儲存及備份歷程。在步驟S702中，維運人員可在使用者介面中選擇指定客戶與專案。相應地，備份還原模組520可依據步驟S701及S702中的資訊在資料庫540中找到對應於欲還原的區塊儲存的多個歷史壓縮檔案存放的位置。

之後，在步驟S703中，備份還原模組520可將所需的歷史壓縮檔案解壓縮為多個待合併檔案。在一實施例中，若維運人員指定將區塊儲存還原至某個特定時間點，則備份還原模組520可將此特定時間點之間的歷史壓縮檔案皆解壓縮，以取得上述待合併檔案。並且，上述待合併檔案例如可包括一個全量備份以及多個增量備份。

接著，在步驟S704中，備份還原模組520可將上述待合併檔案合併為一還原檔案（其例如是一映像檔）。亦即，備份還原模組520可將上述全量備份及其他的增量備份合併為單一個檔案，即上述還原檔案。

之後，在步驟S705中，備份還原模組520可將還原檔案納管至雲服務映像檔空間。舉例而言，備份還原模組520例如可透過OpenStack或是vCenter等虛擬化基礎建設管理（Virtualised Infrastructure Manager，vim）來納管上述還原檔案，但不限於此。在步驟S706中，備份還原模組520可將上述映像檔歸戶至指定客戶的專案。在步驟S707中，維運人員可通知客戶自行基於上述映像檔供裝服務，進而完成備份還原流程。

在一實施例中，監控模組550可監控異地備份服務模組500中的各模組運行狀況，如若是遠端掛載模組530掛載備份儲存空間300出現異常的話，或是備份模組513建立快照失敗，監控模組550即會透過雲服務100發出告警通知維運人員修復，但本發明可不限於此。

在一實施例中，雲服務100可由部署於多個實體伺服器上的多個微服務協同提供，且前述微服務可提供高可用性（high availability）的主動-主動（active-active）架構。在本發明的實施例中，上述微服務可協同執行本發明的異地備份程序。藉此，不但可以加快備份速度，且當一台實體伺服器意外暫停或故障時，另外一台實體伺服器中的微服務能接手處理故障這台正在處理的異地備份程序。

在一實施例中，位於一台實體伺服器上的微服務可監控另一台實體伺服器的微服務有無異常狀態，藉以判定其他實體伺服器是否暫停或故障。具體而言，本發明的異地備份程序可具有由各微服務所共用的資料庫，其可存放所有實體伺服器的IP位置。在此情況下，各微服務可定期至此資料庫獲取所有實體伺服器的IP位置，再透過每個微服務提供檢查狀態的RESTful應用程式介面來獲取彼此的狀態訊息，但本發明可不限於此。

綜上所述，本發明的方法可定期以有效率的方式備份與管理用戶區塊儲存。各區塊儲存以增量備份與多進程壓縮的方式備份後，再移至異地儲存空間以減少網路頻寬與儲存空間占用。為減少備份資料空間占用與備份還原效率，本發明備份技術會輪替(rotate)備份資料，將過舊的備份資料合併，維持備份資料的數量。且於異地備份儲存空間以建構分層快取的架構加快異地機房存放資料的速度與減少大量資料儲存的成本。

為了在災難發生後，能夠讓維運人員於新機房（例如異地機房）將客戶資料重建為對應的虛擬主機與磁碟，本發明會將雲服務中的元資料一同備份至異地備份儲存空間，藉此讓重建後的雲服務能夠透過元資料將虛擬機器與區塊儲存的進行關聯，並建回雲服務，且還原客戶的虛擬機器、磁碟，進而於異地機房持續提供服務。

另外，本發明提供使用者介面模組，用以讓維運人員管理雲服務中所有區塊儲存的備份，維運人員能夠透過此介面瀏覽所有的備份中介資料與備份歷程，且可以選取特定備份歷程，以自動化方式還原指定備份檔案，此備份還原流程包含檔案解壓縮、檔案合併至指定備份歷程、檔案納管等皆以自動化方式還原，維運人員只需選擇指定備份檔案與歷程，並選擇指定用戶即可觸發自動還原功能。每次還原皆會記錄相關資訊，以免維運人員將資料還原給錯誤的使用者卻不記得還原給哪位用戶。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:系統 100:雲服務 101:本地資料庫 200:雲儲存服務 300:異地備份儲存空間 310:高速儲存池 320:低速儲存池 400:使用者介面模組 410:備份資料管理模組 420:備份設定模組 430:備份還原觸發模組 500:異地備份服務模組 501:設定檔 510:排程備份模組 511:備份輪替模組 512:元資料備份模組 513:備份模組 514:備份記錄模組 520:備份還原模組 530:遠端掛載模組 540:資料庫 550:監控模組 S210~S250、S701~S707:步驟

圖1是依據本發明之一實施例繪示的異地備份系統示意圖。圖2是依據本發明之一實施例繪示的異地備份方法流程圖。圖3是依據本發明之一實施例繪示的還原區塊儲存的流程圖。

S210~S250:步驟

Claims

一種異地備份方法，包括：反應於一雲服務中對應於一區塊儲存的一異地備份程序被觸發，在該雲服務的一本地資料庫中取得關聯於該區塊儲存的元資料；判斷該區塊儲存是否具有一備份歷程；反應於該區塊儲存具有該備份歷程，對該區塊儲存執行一增量備份操作，以產生一增量備份檔案；反應於該區塊儲存不具有該備份歷程，對該區塊儲存執行一全量備份操作，以產生一全量備份檔案；將該增量備份檔案或該全量備份檔案壓縮為一壓縮檔案，並將該壓縮檔案及該元資料發送至一異地備份儲存空間以進行異地備份。
如申請專利範圍第1項所述的方法，其中該區塊儲存對應於單一個虛擬機器或單一個磁碟。
如申請專利範圍第1項所述的方法，其中對該區塊儲存執行該增量備份操作，以產生該增量備份檔案的步驟包括：對該區塊儲存擷取一當下快照，並將該當下快照與一先前快照之間的差異資料匯出為該增量備份檔案，其中該先前快照包括於該備份歷程中。
如申請專利範圍第3項所述的方法，所述方法更包括刪除該先前快照。
如申請專利範圍第2項所述的方法，其中該當下快照屬於崩潰一致性快照、檔案一致性快照及應用程式一致性快照的至少其中之一。
如申請專利範圍第1項所述的方法，其中對該區塊儲存執行該全量備份操作，以產生該全量備份檔案的步驟包括：對該區塊儲存擷取一當下快照，並將該當下快照匯出為該全量備份檔案。
如申請專利範圍第1項所述的方法，其中將增量備份檔案或該全量備份檔案壓縮為該壓縮檔案的步驟包括：以多進程方式將增量備份檔案或該全量備份檔案壓縮為該壓縮檔案。
如申請專利範圍第1項所述的方法，其中該異地備份儲存空間儲存有多個歷史壓縮檔案，且該異地備份儲存空間具有一檔案天數限制，且所述方法更包括：反應於該異地備份儲存空間接收到該壓縮檔案，且該些歷史壓縮檔案與該壓縮檔案的一總數超過該檔案天數限制，將該些歷史壓縮檔案中的第1個歷史壓縮檔案及第2個歷史壓縮檔案合併，以取代所述第1個歷史壓縮檔案。
如申請專利範圍第6項所述的方法，其中反應於在所述第1個歷史壓縮檔案及所述第2個歷史壓縮檔案的一合併過程中出現錯誤，所述方法更包括發出一警示訊息。
如申請專利範圍第1項所述的方法，更包括：將該壓縮檔案的存放路徑、備份完成時數、備份時間點與快照名稱記錄於該本地資料庫，並據以提供一應用程式介面以供查詢。
如申請專利範圍第1項所述的方法，其中該雲服務由部署於多個實體伺服器上的多個微服務協同提供，該些微服務提供一高可用性的主動-主動架構，其中該些微服務協同執行該異地備份程序。
如申請專利範圍第9項所述的方法，其中反應於該些實體伺服器的其中之一故障，位於該些實體伺服器的其中之另一的該些微服務接續執行該異地備份程序。
如申請專利範圍第1項所述的方法，其中在對應於該區塊儲存的該異地備份程序被觸發之後，所述方法更包括：判斷該區塊儲存是否屬於一黑名單；反應於該區塊儲存屬於該黑名單，不執行該異地備份程序；反應於該區塊儲存不屬於該黑名單，在該雲服務的該本地資料庫中取得關聯於該區塊儲存的該元資料。