TW201627882A - 先決式資料庫系統及其資料搬移方法 - Google Patents

Abstract

一種先決式資料庫系統及其資料搬移方法。此方法監測資源伺服器或候選伺服器的工作負載，並在此工作負載滿足搬移條件時，由資源伺服器開始將資料複製到候選伺服器。在複製資料的過程中，資源伺服器及候選伺服器會依照所接收多筆交易的執行順序共同執行交易，並回覆執行結果。

Description

先決式資料庫系統及其資料搬移方法

本發明是有關於一種資料庫系統及其資料處理方法，且特別是有關於一種先決式資料庫系統及其資料搬移方法。

分散式資料庫系統係由可放置在不同地點的多台伺服器組成，每台伺服器中均內建資料庫管理系統(Database Management System，DBMS)並具有自己的資料庫。位於不同地點的伺服器可透過網路互相連接，共同組成一個完整的資料庫。

由於大多數對於資料庫的線上交易(transaction)都是針對局部資料庫中的少量資料，因此採用分散式的配置可降低資料傳送的代價，且可提高系統的可靠性。即使部分伺服器出現故障，也不會影響到其他伺服器的工作，而仍允許對局部資料庫的操作。

在某些特殊狀況下，線上交易可能會集中在特定的伺服器上(例如有熱門事件發生，查詢次數將會爆量)，造成該伺服器的工作負載突然升高，以致發生處理不及或延遲的情形。此時， 有必要由其他伺服器去分擔其工作負載。這些伺服器在處理交易前，必須從原始伺服器取得處理交易所需的資料，因此需先進行資料搬移的動作。然而，為了避免資料在搬移的過程中受到系統執行交易的影響而產生不一致的情況，目前的資料庫系統在搬移資料時都會暫停執行交易，待資料搬移完成後，才恢復交易的執行。此暫停期間會讓使用者明顯感受到系統服務停擺，造成不佳的使用經驗。

本發明提供一種先決式資料庫系統及其資料搬移方法，可在資料搬移中繼續執行交易。

本發明的先決式資料搬移方法，適於從資源伺服器搬移至少一筆資料至候選伺服器。此方法係監測資源伺服器或候選伺服器的工作負載，並判斷此工作負載是否滿足一個搬移條件。當判定此工作負載滿足搬移條件時，由資源伺服器開始複製資料至候選伺服器。在複製資料的過程中，資源伺服器及候選伺服器會依照所接收多筆交易的執行順序共同執行這些交易，並回覆執行各個交易的執行結果。

在本發明的一實施例中，在上述資源伺服器及候選伺服器依照所接收多筆交易的執行順序共同執行這些交易，並回覆執行各個交易的執行結果的步驟之後，所述方法更包括在資料複製完成後，資源伺服器將所述資料刪除。

在本發明的一實施例中，上述監測資源伺服器或候選伺服器的工作負載，並判斷工作負載是否滿足搬移條件的步驟包括由候選伺服器監測資源伺服器的工作負載，並判斷此工作負載是否高於一個搬移上限，據以判定此工作負載是否滿足搬移條件。

在本發明的一實施例中，上述監測資源伺服器或候選伺服器的工作負載，並判斷此工作負載是否滿足搬移條件的步驟包括由資源伺服器監測候選伺服器的工作負載，並判斷此工作負載是否低於一個搬移下限，據以判定此工作負載是否滿足搬移條件。

在本發明的一實施例中，在上述資源伺服器及候選伺服器依照所接收多筆交易的執行順序共同執行交易的步驟之前，所述方法更由管理伺服器接收這些交易並給予各個交易一個獨立的執行順序，而將此執行順序提供給資源伺服器及候選伺服器據以執行所述交易。

在本發明的一實施例中，在上述資源伺服器及候選伺服器依照所接收多筆交易的執行順序共同執行交易的步驟之前，所述方法更由資源伺服器及候選伺服器接收交易並給予各個交易獨立的執行順序，而據以執行所述交易。

在本發明的一實施例中，在上述資源伺服器及候選伺服器依照所接收多筆交易的執行順序共同執行交易的步驟之後，所述方法更由資源伺服器將執行交易的執行結果傳送至候選伺服器，而由候選伺服器暫存從資源伺服器接收的執行結果，並在取得執行交易所需的資料後，以此執行結果更新所接收的資料。

本發明的先決式資料庫系統包括資源伺服器及候選伺服器。其中，資源伺服器係用以儲存至少一筆資料。候選伺服器係監測資源伺服器的工作負載，並在此工作負載高於一個搬移上限時，開始複製資源伺服器的資料。其中，在複製資料的過程中，資源伺服器及候選伺服器係依照所接收多筆交易的執行順序共同執行這些交易，並回覆執行各個交易的執行結果。

本發明的先決式資料庫系統包括資源伺服器及候選伺服器。其中，資源伺服器係用以儲存至少一筆資料，以及監測候選伺服器的工作負載，並在此工作負載低於一個搬移下限時，開始將所述資料複製至候選伺服器。其中，在複製資料的過程中，資源伺服器及候選伺服器係依照所接收多筆交易的執行順序共同執行這些交易，並回覆執行各個交易的執行結果。

在本發明的一實施例中，上述的資源伺服器更包括在資料複製完成後，將所述資料刪除。

在本發明的一實施例中，上述的先決式資料庫系統更包括管理伺服器，其係用以接收交易並給予各個交易獨立的執行順序，而將此執行順序提供給資源伺服器及候選伺服器據以執行交易。

在本發明的一實施例中，上述的資源伺服器及候選伺服器係接收交易並給予各個交易獨立的執行順序，而據以執行交易。

在本發明的一實施例中，上述的資源伺服器會將執行交易的執行結果傳送至候選伺服器，而上述的候選伺服器會暫存從 資源伺服器接收的執行結果，並在取得執行交易所需的資料後，以此執行結果更新所接收的資料。

基於上述，本發明的先決式資料庫系統及其資料搬移方法是在從資源伺服器搬移資料至候選伺服器的過程中，由資源伺服器及候選伺服器共同執行交易，並回覆執行結果。隨著複製到候選伺服器之資料量的增加，後續交易的執行將逐漸由資源伺服器轉移至候選伺服器上，從而達到減輕資源伺服器工作負載的目的。此外，若交易是由資源伺服器執行，資源伺服器也會在執行完畢後將執行結果傳送至候選伺服器，以便候選伺服器在取得相關資料後，可以進行資料更新。藉此，可確保資料搬移前後的一致性。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10‧‧‧先決式資料庫系統

12‧‧‧資源伺服器

14‧‧‧候選伺服器

S202~S208‧‧‧本發明一實施例之先決式資料搬移方法的步驟

S502~S512‧‧‧本發明一實施例之資源伺服器執行交易方法的步驟

圖1是依照本發明一實施例所繪示之先決式資料庫系統的示意圖。

圖2是依照本發明一實施例所繪示之先決式資料搬移方法的流程圖。

圖3是依照本發明一實施例所繪示之先決式資料庫系統的示意圖。

圖4是依照本發明一實施例所繪示之先決式資料庫系統的示意圖。

圖5是依照本發明一實施例所繪示之資源伺服器執行交易的方法流程圖。

本發明係以分散式的方式監控個別資料庫伺服器的系統負載量，在為了調整資料庫伺服器的數量而搬移資料時，能夠讓原資料庫繼續執行交易，並將執行結果傳送到候選伺服器。藉此，可達到搬移資料時不會讓使用者感受到服務停擺的目的。由於本發明是以分散式而非單一監控伺服器的方式監控資料庫伺服器的系統負載量，因此可提供較好的可用性及擴展性。

圖1是依照本發明一實施例所繪示之先決式資料庫系統的示意圖。請參照圖1，本實施例的先決式資料庫系統10包括資源伺服器12及候選伺服器14。其中，先決式資料庫系統10可額外包括多個候選伺服器，以分擔資源伺服器12的工作負載，其功能係與候選伺服器14相同或相似，故在此僅以候選伺服器14做說明。資源伺服器12及候選伺服器14例如是採用MySQL、PostgreSQL、Microsoft SQL Server等關聯式資料庫管理系統的資料庫伺服器，其係透過網路連接，以互相傳送資料。在本實施例中，當資源伺服器12或候選伺服器14的工作負載滿足預設條件時，先決式資料庫系統10即會從資源伺服器12搬移至少一筆資 料至候選伺服器14，以減輕資源伺服器12的負擔。而在資料搬移的過程中，資源伺服器12及候選伺服器14將會共同處理線上交易，並由先完成交易的伺服器回覆執行結果。

詳言之，圖2是依照本發明一實施例所繪示之先決式資料搬移方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述的先決式資料庫系統10。以下即搭配圖1中先決式資料庫系統10的各項元件，說明本實施例方法的詳細流程。

首先，由先決式資料庫系統10監測資源伺服器12或候選伺服器14的工作負載(步驟S202)，並判斷所監測的工作負載是否滿足一個搬移條件(步驟S204)。其中，本實施例用以監測工作負載的主體可以是資源伺服器12，也可以是候選伺服器14，在此不設限。藉由資源伺服器12及候選伺服器14彼此互相監測，可實現資料庫伺服器的分散式監控，而具有較佳的可用性及擴展性。

詳言之，圖3及圖4分別是依照本發明一實施例所繪示之先決式資料庫系統的示意圖。其中，圖3說明由候選伺服器14監測資源伺服器12的情況。詳言之，候選伺服器14會監測資源伺服器12的工作負載，並判斷此工作負載是否高於一個搬移上限，據以判定此工作負載是否滿足搬移條件而需要將資料搬出。上述的搬移上限是用以判斷伺服器是否超載(overloaded)的依據，其數值大小可由資料庫管理人員視需要自由調整，在此不設限。相對地，圖4說明由資源伺服器12監測候選伺服器14的情 況。詳言之，資源伺服器12會監測候選伺服器14的工作負載，並判斷此工作負載是否低於一個搬移下限，據以判定此工作負載是否滿足搬移條件而容許資料搬入。上述的搬移下限是用以判斷伺服器是否負載不足(underloaded)的依據，其數值大小同樣可由資料庫管理人員視需要自由調整，在此不設限。

回到圖2的流程，當先決式資料庫系統10判定所監測的工作負載不滿足搬移條件時，則會回到步驟S202，繼續監測資源伺服器.12或候選伺服器14的工作負載。反之，當先決式資料庫系統10判定所監測的工作負載滿足搬移條件時，則會由資源伺服器12開始複製資料至候選伺服器14(步驟S206)。其中，資源伺服器12例如會依照所需搬移資料的重要性(例如，最常被存取或最近曾被存取)，優先將最重要的資料搬移至候選伺服器14，而能夠以最有效率的方式分擔資料伺服器12的負載。

在複製資料的過程中，資源伺服器12及候選伺服器14會接收多筆交易，而會依照這些交易的執行順序共同執行交易，並回覆執行各個交易的執行結果(步驟S208)。其中，本實施例的先決式資料庫系統10係採用先決式的概念，針對線上取得的多個交易，根據交易的取得時間、地點等資訊給予各個交易一個獨立的執行順序，以確保這些交易在不同伺服器中仍可以相同的順序進行。在上述步驟中，資源伺服器12及候選伺服器14兩方皆會在執行完交易後將執行結果回覆給使用者端。因此，當使用者端收到第一份執行結果時，即可視為交易執行完成，而當使用者端 收到第二份執行結果時，則可直接丟棄此執行結果。

上述執行順序的分派還可區分為中央先決(centralized deterministic)及分散先決(distributed deterministic)兩種方式。若採用中央先決，先決式資料庫系統10會由一個獨立的管理伺服器(未繪示)接收線上交易並給予各個交易獨立的執行順序，之後再將此執行順序提供給資源伺服器12及候選伺服器14據以執行交易。若採用分散先決，先決式資料庫系統10則會由資源伺服器12、候選伺服器14及其他伺服器接收線上交易，並通過伺服器之間的溝通後，給予各個交易獨立的執行順序，之後資源伺服器12及候選伺服器14在執行交易時，即是根據此執行順序執行。由於本實施例採用先決式的概念，在資源伺服器12及候選伺服器14上執行之交易的順序將完全相同，藉此可確保資源伺服器12及候選伺服器14在執行多個交易後仍可維持其資料的一致性。

值得一提的是，在一實施例中，資源伺服器12與候選伺服器14會共同執行交易，若候選伺服器14在執行交易時尚未取得執行交易所需的資料，將會等到資源伺服器12將此資料複製至候選伺服器14之後才會執行交易。然而，在另一實施例中，候選伺服器14可直接使用資源伺服器12執行交易的執行結果來更新其所接收的資料。

詳言之，圖5是依照本發明一實施例所繪示之資源伺服器執行交易的方法流程圖。請同時參照圖1及圖5，本實施例的方法適用於上述的資源伺服器12，其步驟如下： 首先，由資源伺服器12接收交易(步驟S502)，並執行所接收的交易(步驟S504)。其中，資源伺服器12在複製資料至候選伺服器14的過程中，例如會將已完成複製的資料記錄下來，以便後續檢視。

接著，資源伺服器12會檢視其執行上述交易所需的資料是否已複製至候選伺服器14(步驟S506)。其中，若資源伺服器12發現其執行交易所需的資料尚未完全複製到候選伺服器14，則代表候選伺服器14在當時仍欠缺執行交易所需的資料，無法完成該交易，因此資源伺服器12會將其執行交易的執行結果傳送至候選伺服器(步驟S508)。

候選伺服器14在取得執行結果後，則會根據此執行結果，更新其所接收的資料(步驟S510)。其中，候選伺服器14例如會將資源伺服器12接收的執行結果暫存在記憶體、硬碟或其他儲存媒體中，並在取得其執行該交易所需的資料後，再以此執行結果來更新所接收的資料。

反之，若資源伺服器12發現其執行交易所需的資料已經複製到候選伺服器14，則不會將其執行交易的執行結果傳送至候選伺服器，而由候選伺服器14根據已取得的執行交易所需的資料執行交易(步驟S512)。

需說明的是，在此處由資源伺服器12執行交易的狀況下，候選伺服器14會因為欠缺執行交易所需的資料，無法完成交易，但當候選伺服器14接收到資源伺服器12提供的執行結果後， 就可以直接用此執行結果來更新其所接收的資料。

此外，在複製資料及執行交易的過程中，資源伺服器12例如還會判斷要搬移至候選伺服器14的資料是否已複製完成。若資料尚未複製完成，則繼續由資源伺服器12及候選伺服器14執行交易；若資料複製完成，則資源伺服器12將會把這些資料刪除。

需說明的是，在上述實施例中，因為資源伺服器12與候選伺服器14皆會執行交易，搬移過程中資源伺服器12的工作負載並不會減低；但因為兩台伺服器皆會執行交易並回覆執行結果，使用者端可以收到執行速度較快的伺服器所回覆的結果，從而減少使用者在搬移過程中對執行交易的延遲感受。舉例來說，如果只有資源伺服器12執行交易，資源伺服器12會因工作負載量過高而導致執行速度較慢，讓使用者感受到較長的交易執行時間；但藉由候選伺服器14一同執行交易，候選伺服器14因為工作負載量較低，可以快速執行完交易並回覆使用者，讓使用者感受到較快的交易執行時間。

藉由上述的資料搬移方法，本發明即可在資料搬移的過程中，仍然維持交易處理的進行，不致讓使用者感受到服務停擺。待這些資料複製到候選伺服器後，資源伺服器還可將已搬移的資料刪除。藉此，先決式資料庫系統即可將與這些搬移資料相關的交易一併轉移至候選伺服器上執行，從而有效減輕資源伺服器的負載。

綜上所述，本發明的先決式資料庫系統及其資料搬移方 法藉由資源伺服器與候選伺服器共同執行交易，因此可在複製資料的過程中仍維持交易的執行，不會讓使用者感受到服務停擺。而資源伺服器在搬移資料的過程中會記錄哪些資料已搬移至候選伺服器，以判斷其是否需要執行交易。藉此，可在資料搬移的過程中逐步減輕資源伺服器的負擔，並可確保所搬移資料的正確性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S202~S208‧‧‧本發明一實施例之先決式資料搬移方法的步驟

Claims (17)

1. 一種先決式資料搬移方法，適於從一資源伺服器搬移至少一筆資料至一候選伺服器，該方法包括下列步驟：監測該資源伺服器或該候選伺服器的一工作負載，並判斷該工作負載是否滿足一搬移條件；當判定該工作負載滿足該搬移條件時，由該資源伺服器開始複製所述資料至該候選伺服器；以及在複製所述資料的過程中，該資源伺服器及該候選伺服器依照所接收多筆交易的一執行順序共同執行所述交易，並回覆執行各所述交易的一執行結果。
2. 如申請專利範圍第1項所述的先決式資料搬移方法，其中在該資源伺服器及該候選伺服器依照所接收所述交易的該執行順序共同執行所述交易，並回覆執行各所述交易的該執行結果的步驟之後，更包括：在所述資料複製完成後，該資源伺服器刪除所述資料。
3. 如申請專利範圍第1項所述的先決式資料搬移方法，其中監測該資源伺服器或該候選伺服器的該工作負載，並判斷該工作負載是否滿足該搬移條件的步驟包括：該候選伺服器監測該資源伺服器的該工作負載，並判斷該工作負載是否高於一搬移上限，據以判定該工作負載是否滿足該搬移條件。
4. 如申請專利範圍第1項所述的先決式資料搬移方法，其中 監測該資源伺服器或該候選伺服器的該工作負載，並判斷該工作負載是否滿足該搬移條件的步驟包括：該資源伺服器監測該候選伺服器的該工作負載，並判斷該工作負載是否低於一搬移下限，據以判定該工作負載是否滿足該搬移條件。
5. 如申請專利範圍第1項所述的先決式資料搬移方法，其中在該資源伺服器及該候選伺服器依照所接收所述交易的該執行順序共同執行所述交易的步驟之前，所述方法更包括：由一管理伺服器接收所述交易並給予各所述交易獨立的該執行順序，而提供給該資源伺服器及該候選伺服器據以執行所述交易。
6. 如申請專利範圍第1項所述的先決式資料搬移方法，其中在該資源伺服器及該候選伺服器依照所接收所述交易的該執行順序共同執行所述交易的步驟之前，所述方法更包括：該資源伺服器及該候選伺服器接收所述交易並給予各所述交易獨立的該執行順序，而據以執行所述交易。
7. 如申請專利範圍第1項所述的先決式資料搬移方法，其中在該資源伺服器及該候選伺服器依照所接收多筆交易的該執行順序共同執行所述交易的步驟之後，所述方法更包括：該資源伺服器將執行該交易的該執行結果傳送至該候選伺服器；以及該候選伺服器暫存從該資源伺服器接收的該執行結果，並在 取得執行該交易所需的所述資料後，以該執行結果更新所接收的所述資料。
8. 一種先決式資料庫系統，包括：一資源伺服器，儲存至少一資料；一候選伺服器，監測該資源伺服器的一工作負載，並在該工作負載高於一搬移上限時，開始複製該資源伺服器的所述資料，其中在複製所述資料的過程中，該資源伺服器及該候選伺服器依照所接收多筆交易的一執行順序共同執行所述交易，並回覆執行各所述交易的一執行結果。
9. 如申請專利範圍第8項所述的先決式資料庫系統，其中該資源伺服器更包括在所述資料複製完成後，刪除所述資料。
10. 如申請專利範圍第8項所述的先決式資料庫系統，更包括：一管理伺服器，接收所述交易並給予各所述交易獨立的該執行順序，而提供給該資源伺服器及該候選伺服器據以執行所述交易。
11. 如申請專利範圍第8項所述的先決式資料庫系統，其中該資源伺服器及該候選伺服器包括接收所述交易並給予各所述交易獨立的該執行順序，而據以執行所述交易。
12. 如申請專利範圍第8項所述的先決式資料庫系統，其中該資源伺服器包括將執行該交易的該執行結果傳送至該候選伺服 器，而該候選伺服器包括暫存從該資源伺服器接收的該執行結果，並在取得執行該交易所需的所述資料後，以該執行結果更新所接收的所述資料。
13. 一種先決式資料庫系統，包括：一候選伺服器；一資源伺服器，儲存至少一資料，監測該候選伺服器的一工作負載，並在該工作負載低於一搬移下限時，開始複製所述資料至該候選伺服器，其中在複製所述資料的過程中，該資源伺服器及該候選伺服器依照所接收多筆交易的一執行順序共同執行所述交易，並回覆執行各所述交易的一執行結果。
14. 如申請專利範圍第13項所述的先決式資料庫系統，其中該資源伺服器更包括在所述資料複製完成後，刪除所述資料。
15. 如申請專利範圍第13項所述的先決式資料庫系統，更包括：一管理伺服器，接收所述交易並給予各所述交易獨立的該執行順序，而提供給該資源伺服器及該候選伺服器據以執行所述交易。
16. 如申請專利範圍第13項所述的先決式資料庫系統，其中該資源伺服器及該候選伺服器包括接收所述交易並給予各所述交易獨立的該執行順序，而據以執行所述交易。
17. 如申請專利範圍第13項所述的先決式資料庫系統，其中 該資源伺服器包括將執行該交易的該執行結果傳送至該候選伺服器，而該候選伺服器包括暫存從該資源伺服器接收的該執行結果，並在取得執行該交易所需的所述資料後，以該執行結果更新所接收的所述資料。