TWI537758B

TWI537758B - 用於資料庫版本控制及虛擬化之具有資料庫轉換能力的混合備份還原管理系統

Info

Publication number: TWI537758B
Application number: TW104133723A
Authority: TW
Inventors: 陳文賢
Original assignee: 先智雲端數據股份有限公司
Priority date: 2015-10-14
Filing date: 2015-10-14
Publication date: 2016-06-11
Also published as: TW201714106A

Description

用於資料庫版本控制及虛擬化之具有資料庫轉換能力的混合備份還原管理系統

本發明關於一種用於資料庫版本控制與虛擬化的還原管理系統，特別是本發明關於一種用於資料庫版本控制及虛擬化之具有資料庫轉換能力的混合備份還原管理系統。

資料庫是所有雲端服務的核心要件。即使是在企業或工廠的封閉環境中，所有使用者相關文件往來的資料流，也可能是公司經營者的重要資料來源。從而，使用於資料蒐集與存取的資料庫扮演了決策制定協助者的角色，資料庫管理成了日常生活中不可缺少的技術。

所有用於資料庫管理的運作中，備份還原是最基本與重要的一環。近來，前述工作有兩種實現方式。一者是考量文件級操作，以Oracle的RMAN(一種還原管理軟體)為例子，當一位資料庫管理人員要求進行備份作業，RMAN會通知備份進行模組，即Oracle資料庫管理器，該項需求。備份進行模組從一原始儲存設備準備需要的資料。在讀取該原始儲存設備中的資料之後，RMAN以檔案格式將該資料寫到一個備份儲存設備，比如一個磁帶或磁碟中。以上的程序可以應用於初始完整備份及增量備份。這意味著資料庫管理人員可以經由RMAN看見備份的結果，以其所預期的”檔案”型態呈現。

檔案級別的備份還原操作存在一些問題。因為備份的資料是檔案，這需要耗時蒐集分散在許多不相連區塊中的檔案內容。相較於卷級別備份，檔案級別備份需要的時間較長，特別是在初始完整備份的時候。此外，備份檔案主要用於回復目的，還原資料僅能以它們原始檔案(資料庫)的格式來呈現，若不經資料轉換可能無法適用於其他目的，如開機、訓練等。

另一種方式實現備份還原是經由卷級別操作，該方法也很普遍地被使用。例如，以IBM公司邏輯卷管理器(LVM)與EMC公司的業務連續性卷(BCV)來實現。以邏輯卷管理器為例，當一位資料庫管理人員要求備份操作時，該還原管理軟體會通知一備份進行模組，例如Oracle資料庫管理器，關於該需求。備份進行模組藉快照經業務連續性卷功能，來同步一原始卷中由邏輯卷管理器管理之需要的資料到一備份卷中。原始卷及/或備份卷由邏輯卷管理器管理，且每一者可能包含很多的磁碟。

卷級別備份還原操作也有很多問題。首先，因為卷級別備份還原於資料庫管理操作來說並不普遍，資料庫管理人員難以接納許多源自卷級別備份還原軟體的新觀念。同時，資料庫管理人員太熟悉這些檔案級別管理軟體的介面與操作方式，從而不太容易改變他們的既往所習慣的操作步驟與想法。第二，如同檔案級別備份還原操作，該些備份檔案主要用於回復目的，還原資料僅能以它們原始資料庫的格式來呈現。

由以上的說明，很顯然，無論是檔案級別或卷級別操作，備份資料受限於使用其還原的格式。這就是種資源的浪費，還原的資料是可以應用在很多方面，如訓練、還原、研發、資料挖掘與雲端應用。此外，如果元資料能加進備份檔案中，就能夠對資料做更多元的轉換。資料庫轉換能力的應用例如開機或資料庫的格式改變(對開機來說，可以模擬及加入某些作業系統或資料庫系統需要的磁碟ID或資料庫ID到備份檔案中)。最好，還原的資料可以是應用感知的，而不同於資料備份前的狀態。

由於以上的需求，一種用於資料庫的備份還原管理系統極為所需。

本段文字提取和編譯本發明的某些特點。其它特點將被揭露於後續段落中。其目的在涵蓋附加的申請專利範圍之精神和範圍中，各式的修改和類似的排列。

為了滿足以上需求，本發明揭露一種用於資料庫版本控制及虛擬化之具有資料庫轉換能力的混合備份還原管理系統。該混合備份還原管理系統包括：至少一原始儲存設備，能對其中一原始卷進行快照，而該原始卷中有一資料庫；至少一目標儲存設備，用以建立該原始卷影像；一資料庫管理子系統，用以接收一初始備份指令及一增量備份指令、依照該初始備份指令或增量備份指令停止原始卷中目前動作、於一時間標記區中記錄該初始備份指令或增量備份指令接收的時間為一時間標記、指示該原始儲存設備對該原始卷進行快照、依照該初始備份指令儲存該原始卷中所有快照區塊到一目標卷中、依照該增量備份指令儲存兩次快照間改變的檔案到該目標卷中，及還原該資料庫；及一轉換模組，用以在該目標卷中區塊儲存已完成後，轉換該目標卷中的區塊為複數個檔案之格式，該些檔案與當第一次快照發生時該原始卷中的檔案相同，及儲存該改變的檔案的改變部分到其它目標卷的可用區塊中，前述改變的檔案在兩次快照間改變。該轉換模組中的一映射表保存該些區塊與間對應轉換的檔案或該改變的檔案與對應區塊間的映射關係。

一還原管理模組經由該資料庫管理子系統連接到該至少一原始儲存設備，用以發送該初始備份指令與該增量備份指令、檢查是否目標卷中備份的檔案與原始卷中的檔案相同，及發送一還原指令給該資料庫管理子系統以進行資料庫還原。該轉換模組可為軟體、硬體或韌體。

最好，該混合備份還原管理系統進一步包括：一應用模組，用於改變目標卷中資料之資料格式由一資料庫系統到另一資料庫系統，及/或增加一新功能到該目標卷中，以便在該資料庫由儲存的資料還原後，該儲存的資料能提供該新功能給該原始卷。

最好，該新功能為具有開機能力，或改變該至少一原始儲存設備為至少一虛擬機器磁碟。該應用模組為軟體、硬體或韌體。

本發明另揭露一種使用該混合備份還原管理系統的備份方法，該方法包含步驟：由該還原管理模組發送該初始備份指令給該資料庫管理子系統；依照該初始備份指令停止原始卷中目前動作；記錄該初始備份指令接收的時間為該時間標記；由該還原管理模組指示，藉該至少一原始儲存設備對該對該原始卷進行快照；依照該初始備份指令儲存原始卷中所有快照區塊到在該至少一目標儲存設備的目標卷中；在該目標卷中區塊儲存已完成後，由該轉換模組轉換該目標卷中的區塊為複數個檔案之格式；及由該還原管理模組檢查是否該目標卷中的備份的檔案與該原始卷中的檔案相同。

該備份方法可進一步包含步驟：由該還原管理模組發送該增量備份指令給該資料庫管理子系統；依照該增量備份指令停止原始卷中目前動作；記錄該增量備份指令接收的時間為為另一時間標記於該時間標記區中；由該還原管理模組指示，藉該至少一原始儲存設備對該對該原始卷進行快照；依照該增量備份指令儲存該改變的檔案的改變部分到其它目標卷的可用區塊中，前述改變的檔案在兩次快照間改變。保存該改變的檔案與對應區塊間的映射關係；及由該還原管理模組檢查是否該目標卷中的備份的檔案與該原始卷中的檔案相同。

本發明另揭露一種使用該混合備份還原管理系統的還原方法，該方法包含步驟：由該還原管理模組發送該還原指令給該資料庫管理子系統以進行資料庫還原；指定一特定時間標記中的還原時間以進行還原；及依照該映射表，由複製映射到目標卷中之相關檔案，還原該資料庫至該還原時間的狀態。

本發明利用卷級別格式下資料傳輸的快速度優點，卻讓資料庫管理人員看到他們習慣的(檔案級別格式)備份還原程序與介面。藉由某些插入模組維持現有的資料庫管理系統，滿足以上需求。

10‧‧‧混合備份還原管理系統

100‧‧‧主機

200‧‧‧原始儲存設備叢集

210‧‧‧硬碟

220‧‧‧固態硬碟

250‧‧‧原始卷

270‧‧‧資料庫

300‧‧‧目標儲存設備叢集

310‧‧‧硬碟

350‧‧‧目標卷

400‧‧‧資料庫管理子系統

420‧‧‧時間標記區

500‧‧‧還原管理模組

600‧‧‧轉換模組

610‧‧‧映射表

700‧‧‧應用模組

第1圖為依照本發明，一混合備份還原管理系統實施例的示意圖。

第2圖顯示映射表如何作用於初始備份。

第3圖顯示映射表如何作用於複製作業。

第4圖顯示映射表如何作用於增量備份。

第5圖為初始備份的流程圖。

第6圖為增量備份的流程圖。

第7圖為還原的流程圖。

本發明將藉由參照下列的實施方式而更具體地描述。

請參閱第1圖，該圖顯示用於資料庫版本控制及虛擬化之具有資料庫轉換能力的一混合備份還原管理系統的實施例。該混合備份還原管理系統10包括一原始儲存設備叢集200、一目標儲存設備叢集300、一資料庫管理子系統400、一轉換模組600，與一應用模組700。事實上，為了平順操作混合備份還原管理系統10，還需要一還原管理模組500。然而，在許多例子中，還原管理模組500被合併入資料庫管理子系統400中。為了對本發明有較佳的理解，還原管理模組500獨立於資料庫管理子系統400而成為一獨立的單元。資料庫管理子系統400、還原管理模組500、轉換模組600，與應用模組700設置於一主機100中。前述4元件中每一者都可以是軟體，安裝於主機100的作業系統以執行特定的工作。其中之一或全部也可以是硬體，例如一外接卡插接於主機100的主機板上。或者，唯讀記憶體中的韌體也可以是上述元件的一種形式。在本實施例中，該4元件都是軟體的形式。當然，實作上，可能該轉換模組600與應用模組700為安裝於一台主機上的兩個軟體模組，而資料庫管理子系統400與還原管理模組500是安裝在另一主機上的兩個硬體模組。或者，還原管理模組500的軟體模組、轉換模組600與應用模組700是安裝於一主機上，但資料庫管理子系統400是安裝於其它主機上。該4個元件的型態與安裝是很有彈性的，本發明並未限定之。

該原始儲存設備叢集200包括一硬碟210與一固態硬碟220。原始儲存設備叢集200能提供儲存資料的空間。依照本發明的精神，僅一個原始儲存設備也可替代該原始儲存設備叢集200使用。在這例子中，資料庫的備份還原僅由單一原始儲存設備執行。一般來說，相同的備份還原步驟能應用到許多原始儲存設備，該些儲存設備可能形成一RAID(Redundant Array of Inexpensive Disks)。原始儲存設備可以是一硬碟、一固態硬碟，甚或一混碟。原始儲存設備叢集200的特色是能對一原始卷250進行快照，一資料庫270從而形成於原始卷250中。比如，市場中的NetApp硬碟可以是不錯的選擇。

目標儲存設備叢集300包括4個硬碟310(命名為硬碟1、硬碟2、硬碟3，與硬碟4)。目標儲存設備叢集300能提供空間，用於備份資料、資料庫，甚或單一磁碟或一叢集磁碟的影像檔。相似地，僅一個目標儲存設備也能用來代替該目標儲存設備叢集300。也就是說，備份可以在一個磁碟中，只要其容量足夠大。如同原始儲存設備，目標儲存設備也可以是一硬碟、一固態硬碟，或一混碟。依照本發明，目標儲存設備叢集300是用來建立該原始卷影像250。

應注意的是，依照本發明的精神，原始儲存設備叢集與目標儲存設備叢集可以位於非常近的距離。例如，它們可以是RAID的一部分，備份或還原的資料是經由內部連接傳輸；它們也可能是資料中心的儲存設備或企業使用的儲存區域網路(SAN，Storage Area Network)。備份或還原的資料經由區域網路(LAN，Local Area Network)傳輸。原始儲存設備叢集與目標儲存設備叢集也可能相隔非常遠。在這種情況下，原始儲存設備叢集與目標儲存設備叢集可能位於不同的資料中心，遠端備份還原透過網際網路或廣域網路(Wide Area Network，WAN)進行處理。

在本例子中，原始卷250是一個邏輯卷，硬碟210與固態硬碟220的全部空間都被用做該原始卷250。原始卷250中的某些空間留給資料庫270，原始卷250的其餘部分可保留作資料庫270的延伸、儲存某些與資料庫270不相關的資料，及/或資料庫270的元資料。當然，除了複製硬碟210與固態硬碟220的整個空間，原始卷250也可僅使用原始儲存設備叢集200中的一部分空間，本發明並未限定之。

資料庫管理子系統400被用來聯繫原始儲存設備叢集200與目標儲存設備叢集300。雖然有市場上一些現存的資料庫系統可被用作資料庫管理子系統400，比如Oracle資料庫管理解決方案，但它必須具備以下功能：接收初始備份指令與增量備份指令、停止資料庫270中目前的動作、記錄時間為一時間標記區420的時間標記、指示原始儲存設備對原始卷250執行快照、依照初始備份指令儲存原始卷250中所有的快照區塊到至少一目標儲存設備(目標儲存設備叢集300)中的一目標卷350、依照增量備份指令儲存兩次快照間改變的檔案到該目標卷350，及還原資料庫270。時間標記區420是主機中由資料庫管理子系統400使用的記憶體空間，它主要紀錄每一次備份的資料內容與時間。該些紀錄將被用於資料庫270還原回一特定時間點的狀態。上述功能的詳細說明將藉由混合備份還原管理系統10的操作而提出。

還原管理模組500獨立於資料庫管理子系統400之外，工作重點在資料庫的備份還原工作。在市場中，某些解決方案是不錯的選擇。以Oracle的RMAN作為例子。資料庫管理人員能輸入一些腳本程式到RMAN的介面中，從而進行資料庫的備份還原。然而，RMAN是以檔案級別格式進行資料傳輸，這意味著一個接著一個複製到目的地的檔案，每一者的各個部分都是自相關區塊蒐集得來。在許多情形裡，區塊間並非依序排列，資料區塊蒐集浪費太多的時間。雖然某些解決方案可以卷級別格式(在依序排列區塊中直接複製0與1)提供資料傳輸，然而，這些解決方案並非資料庫備份還原系統之主流，且不為大多數的資料庫管理人員所採納。因為還原管理模組500僅能進行檔案級別格式資料傳輸，或該還原管理模組500能同時進行檔案及卷級別格式資料傳輸，然而資料庫管理人員還是不喜歡使用它們，其原因在於它是低階的資源管理工作，距離應用級操作或文件級操作較遠，而後二者又是資料庫管理人員所熟悉的。為了能有效運作，因此要求對於備份與還原工作，以檔案級別格式保存還原管理模組500的所有程序，而真正的資料傳輸是用卷級或檔案級別格式，依不同狀態而定。這是本發明的主要精神，實際操作說明於後。

還原管理模組500經由資料庫管理子系統400連接到原始卷250，它能發送前述的初始備份指令與增量備份指令。此外，還原管理模組500檢查是否目標卷350中的備份的檔案與原始卷250中的檔案相同。對於還原操作，還原管理模組500發送一還原指令給該資料庫管理子系統400，以進行原始卷250的還原。

轉換模組600連接到還原管理模組500。最好，該轉換模組600是插件到該還原管理模組500。轉換模組600被用來在目標卷350中區塊儲存作業已結束之後，轉換目標卷350中的區塊為許多檔案的格式。轉換的檔案如同第一次快照發生時原始卷250中的檔案一般。如果這工作無法完成，雖然目標卷350中有一個映像檔，對於還原管理模組500來說，該映像檔像是一個由0和1組成，雜亂無章的群體，如第1圖所示。這是因為如果轉換還沒執行的話，該格式仍然是卷級別的。此外，轉換模組600能儲存改變的檔案的改變部分，到目標卷350中其它可用區塊中，前述改變的檔案在兩次快照間改變，而不是重新產生新的空間，用來儲存整個改變的檔案。這僅用在增量備份作業中。本發明的一個特色在於區塊複製應用於初始備份以節省時間，而檔案級別複製應用於增量備份以維持原來資料庫管理人員熟悉的模式。應注意的是在初始備份完成之後，轉換模組600必須通知還原管理模組500初始備份已經以還原管理模組500認得的格式(檔案級別)，在目的地完成了。雖然初始備份已執行，但這不是依照還原管理模組500設想的方式進行。以上的作業可藉由輸入腳本程式到還原管理模組500而達成。

轉換模組600具有一映射表610，該映射表610保存區塊與對應轉換的檔案間或改變的檔案與對應區塊(沒改變的區塊及改變的區塊)間的映射關係。請見第2圖，該圖顯示映射表610是如何工作的。有5個檔案：檔案A、檔案B、檔案C、檔案D，與檔案E，在資料庫270中。在初始備份後，檔案A儲存在硬碟1的區塊001到區塊100中，檔案B儲存在硬碟1的區塊 101到區塊200中，檔案C儲存在硬碟1的區塊201到區塊240中，檔案D儲存在硬碟1的區塊241到區塊280中，檔案E儲存在硬碟2的區塊001到區塊100中。以上的資訊，初始備份的時間與備份(初始備份或增量備份)型態都將保留於映射表610中。當還原管理模組500檢查是否原始卷250中的檔案已經被備份到目標卷350時，它將看到映射表610的實質資料，而不是一大堆不能分辨的1與0。映射表610如何在增量備份作業下操作將於後文中敘述。

應用模組700提供許多功能給資料庫270，或資料庫270的還原作業後的原始卷250。應用模組700能改變目標卷350中資料的資料格式，由一種資料庫系統轉為另一種資料庫系統(即資料庫轉換能力)，例如，由Oracle資料庫轉為SQL資料庫。最好，對資料庫轉換能力來說，美國專利申請案第14/547,305號中提出，標題為“method and system for data transformation for cloud-based archiving and backup”的方法可用在應用模組700上。因此，在目標卷350中的資料用來還原原始卷250的資料庫270後，該還原的資料庫270可具有一次備份後的相同內容，但僅能由另一資料庫系統進行存取。此外，應用模組700可增加新功能到目標卷350中，以便在資料庫270由儲存的資料還原後，儲存的資料能提供該新功能給原始卷250。該新功能可以是用於其它主機的可開機卷(具有開機功能)，或改變原始儲存設備為至少一虛擬機器磁碟。增加的新功能可藉增加元資料、相關資訊及/或新功能的應用程式介面(Application Programming Interface，API)到目標卷350而達成。可以使用的方法有很多種，不受本發明的限制。例如，一主機的開機資訊可加入到目標卷350中。在資料庫270還原後，原始卷250就能作為一開機卷。目標卷350中的資料也可為某些應用而遮蔽，該些應用不是設定去學習一些可能是機密的資訊。減縮的資料庫可還原成該原始卷250，新的資料庫能用來做企業訓練或資料分析。某些應用可能需要改變目標卷350中資料的資料庫ID或磁碟ID，該儲存的資料能回存到其它儲存設備或卷中，而其中的資料庫管理系統視該回存的資料庫為它可接受的型態。

混合備份還原管理系統10的備份程序將於以下說明。對於備份作業來說有3種型態：初始備份、增量備份，及複製作業。初始備份是對原始卷250進行全面的複製，增量備份僅保存初始備份與其後增量備份間或二相連增量備份間改變檔案。在這例子中，每一備份能以一特定版本進行還原。然而，複製作業僅在每個時間備份點，複製整個原始卷250，從而目標卷350將僅具有一個備份原始卷250的檔案影像版本。對本發明而言，備份還原可以是具有或不具有版本特性。

請見第5圖，其為初始備份(適用於版本備份與複製作業(第一次複製作業))的流程圖。第一步驟是由還原管理模組500發送該初始備份指令給該資料庫管理子系統400 (S01)。接著，資料庫管理子系統400開始依照初始備份指令停止原始卷250中的目前動作(S02)。停止目前動作意味著凍結該原始卷250，原始卷250的狀態變成僅能讀取而不能寫入。停止目前動作時點後的所有動作和變化將被存儲到其它檔案中，直到備份作業完成。接著，於時間標記區420內記錄該初始備份指令接收的時間為一時間標記(S03)。之後，由原始儲存設備對原始卷250進行快照，而前述作業由該還原管理模組500所指示(S04)。此時，原始儲存設備(原始儲存設備叢集200)依照該初始備份指令，儲存原始卷250中所有快照區塊到目標儲存設備(目標儲存設備叢集300)中的目標卷350(以第1圖中的虛箭號表示)(S05)。在目標卷中350區塊儲存已完成後，由該轉換模組600轉換該目標卷350中的區塊為數個檔案之格式(S06)。該些轉換的檔案如同快照前原始卷250中的檔案一般。最後，由還原管理模組500檢查是否該目標卷350中的備份的檔案與原始卷250中的檔案相同(S07)。如果正確，資料庫管理人員就會認為備份作業是以檔案級別格式進行，只是速度快一點。

對原始卷250的複製作業來說，程序與上述的相同，只是一次又一次的重複。一個例子如第3圖所示。當第二次複製作業開始時，二個檔案被改變了。檔案B被修改並儲存於硬碟1的區塊101到區塊180中。檔案E被刪除。很明顯地，第3圖中的目標卷350被改變，映射到改變的檔案的區塊也都改變了。映射表610紀錄映射到新檔案的所有區塊。

請見第6圖，其為增量備份作業的流程圖。首先，由該還原管理模組500發送增量備份指令給資料庫管理子系統400(S11)。接著，依照該增量備份指令，資料庫管理子系統400停止原始卷250中目前動作(S12)。其次，於時間標記區420中，記錄該增量備份指令接收的時間為另一時間標記(S13)。接著，由還原管理模組500指示，藉原始儲存設備對該對該原始卷250進行快照(S14)。此時，依照該增量備份指令，原始儲存設備(原始儲存設備叢集200)儲存改變的檔案的改變部分到其它目標卷350的可用區塊中，而前述改變的檔案在兩次快照間改變(S15)。這不再是初始備份作業中執行的區塊級操作了。轉換模組600保存該改變的檔案與對應區塊(原始檔案區塊與改變部分區塊)間的映射關係(S16)。藉由映射原始檔案區塊及改變部分區塊，可以得到完整之改變的檔案。最後，還原管理模組500檢查是否該目標卷350中的備份的檔案與該原始卷250中的檔案相同(S17)。其它的增量備份作業可藉由重複上述步驟而完成。

請見第4圖，該圖顯示映射表610與目標卷350中的改變。在初始備份與第一次增量備份間，3個檔案改變了(或增加)。檔案B被修改，檔案E被刪除，檔案F增加到資料庫中且儲存於硬碟2的區塊103到區塊198。檔案B的大小變短了。從區塊級格式的角度來看，檔案B的改變部分是最後20個區塊的位元改變了。需要的資料被保留以描述“消逝”區的檔案內容。從而，這資料儲存到硬碟2的區塊101中。相反地，如果檔案B變大，改變的部分將儲存到某些區塊中。相似地，被刪除的檔案E儲存於硬碟2中的區塊102裡。很明顯，由第4圖可知，映射表610僅記錄應紹到改變的檔案的改變部分之區塊。在目標卷350中，記錄初始備份的資料不會改變。

請見第7圖，該圖為還原作業的流程圖。首先，還原管理模組500發送還原指令給資料庫管理子系統400以進行資料庫270的還原(S21)。接著，指定時間標記區420中，一特定時間標記中的還原時間以進行還原(S22)。最後，依照該映射表610，由複製映射到目標卷350中之相關檔案，還原資料庫270至該還原時間的狀態(S23)。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。