TWI754837B - 資料庫遷移的方法、裝置、設備及電腦可讀媒體 - Google Patents

資料庫遷移的方法、裝置、設備及電腦可讀媒體 Download PDF

Info

Publication number
TWI754837B
TWI754837B TW108134425A TW108134425A TWI754837B TW I754837 B TWI754837 B TW I754837B TW 108134425 A TW108134425 A TW 108134425A TW 108134425 A TW108134425 A TW 108134425A TW I754837 B TWI754837 B TW I754837B
Authority
TW
Taiwan
Prior art keywords
database
data
server
incremental data
identification information
Prior art date
Application number
TW108134425A
Other languages
English (en)
Other versions
TW202036326A (zh
Inventor
徐虎
趙裕眾
楊敏
Original Assignee
大陸商螞蟻金服(杭州)網絡技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商螞蟻金服(杭州)網絡技術有限公司 filed Critical 大陸商螞蟻金服(杭州)網絡技術有限公司
Publication of TW202036326A publication Critical patent/TW202036326A/zh
Application granted granted Critical
Publication of TWI754837B publication Critical patent/TWI754837B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本說明書公開了一種資料庫遷移的方法,方法包括:從資料庫的第一伺服器中複製元資料,其中,元資料包括合成資料的標識資訊;當複製完資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令;根據業務指令,判斷是否需要從資料庫的第一伺服器中讀取合成資料;若判斷出需要從資料庫的第一伺服器中讀取合成資料時,根據所需的合成資料的標識資訊從資料庫的第一伺服器中複製對應的合成資料。本發明提前接收客戶端發出的業務指令,並根據合成資料的標識資訊,由資料庫的第一伺服器複製所需的合成資料,從而減少資料庫遷移的時間。

Description

資料庫遷移的方法、裝置、設備及電腦可讀媒體
本說明書涉及電腦技術領域,尤其是涉及一種資料庫遷移的方法、裝置、設備及電腦可讀媒體。
資料庫(Database)是按照資料結構來組織、儲存和管理資料的儲存庫。資料庫有很多種類型,從最簡單的儲存有各種資料的表格到能夠進行海量資料儲存的大型資料庫系統都在各個方面得到了廣泛的應用。在資訊化社會,充分有效地管理和利用各類資訊資源,是進行科學研究和決策管理的前提條件。 由於資料庫的伺服器儲存量有限,當原伺服器無法再容納更多的資料時,需要將原伺服器的資料遷移至記憶體更大的伺服器。 現有資料庫的遷移方法是將原伺服器中的所有資料複製至新伺服器時,再將客戶端發出的業務指令發送至新伺服器,期間複製資料的過程耗時長,從而影響資料庫遷移的效率。
本說明書實施例提供一種資料庫遷移的方法、裝置、設備及電腦可讀媒體,解決了資料庫遷移時耗時長的問題。 為解決上述技術問題,本說明書實施例是這樣實現的: 本說明書實施例提供的一種資料庫遷移的方法,所述方法包括: 從所述資料庫的第一伺服器中複製元資料,其中,所述元資料包括合成資料的標識資訊; 當複製完所述資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令; 根據所述業務指令,判斷是否需要從所述資料庫的第一伺服器中讀取合成資料; 若判斷出需要從所述資料庫的第一伺服器中讀取合成資料時,根據所需的所述合成資料的標識資訊從所述資料庫的第一伺服器中複製對應的合成資料。 可選的,所述業務指令還需要讀取增量資料,所述元資料還包括所述增量資料的標識資訊; 所述接收客戶端發送的業務指令之前,所述方法還包括: 根據所述增量資料的標識資訊,從所述資料庫的第一伺服器中複製所述增量資料,當複製完所述資料庫的第一伺服器中的增量資料後,執行所述接收客戶端發送的業務指令的步驟。 可選的,所述接收客戶端發送的業務指令之後,所述方法還包括: 根據所述合成資料的標識資訊,從所述資料庫的第一伺服器中複製所述合成資料。 可選的,所述從所述資料庫的第一伺服器中複製所述合成資料之後,所述方法還包括: 當複製完所述資料庫的第一伺服器的合成資料時,刪除所述資料庫的第一伺服器。 可選的,所述從所述資料庫的第一伺服器中複製元資料之前,所述方法還包括: 在所述資料庫的第一伺服器的日誌中設置同步位點,在所述同步位點之前,從所述資料庫的第一伺服器複製所述增量資料以及所述合成資料;在所述同步位點之後,從日誌中複製增量資料以及合成資料。 可選的,所述增量資料的標識資訊包括增量資料所屬表的ID以及增量資料所屬分區的ID。 可選的,所述增量資料包括第一增量資料以及持久化儲存的第二增量資料,當所述第一增量資料的儲存量達到上限時轉化為所述第二增量資料。 可選的,所述合成資料是由所述第二增量資料與以前儲存的合成資料合併時所形成,所述合成資料每次合併時產生巨區塊,所述合成資料包括多個巨區塊。 可選的,所述合成資料的標識資訊包括巨區塊所屬表的ID、巨區塊所屬分區的ID、巨區塊所進行的合併次數以及巨區塊在同一次合併時的編號。 本說明書實施例提供了一種資料庫遷移的裝置,所述裝置包括: 複製單元,用於從所述資料庫的第一伺服器中複製元資料,其中,所述元資料包括合成資料的標識資訊; 接收單元,用於當複製完所述資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令; 判斷單元,用於根據所述業務指令,判斷是否需要從所述資料庫的第一伺服器中讀取合成資料; 所述複製單元還用於若判斷出需要從所述資料庫的第一伺服器中讀取合成資料時,根據所需的所述合成資料的標識資訊從所述資料庫的第一伺服器中複製對應的合成資料。 可選的,所述業務指令還需要讀取增量資料,所述元資料還包括所述增量資料的標識資訊; 所述複製單元還用於根據所述增量資料的標識資訊,從所述資料庫的第一伺服器中複製所述增量資料,當複製完所述資料庫的第一伺服器中的增量資料後,執行所述接收客戶端發送的業務指令的步驟。 可選的,所述複製單元還用於根據所述合成資料的標識資訊,從所述資料庫的第一伺服器中複製所述合成資料。 可選的,所述裝置還包括: 刪除單元,用於當複製完所述資料庫的第一伺服器的合成資料時,刪除所述資料庫的第一伺服器。 可選的,所述裝置還包括: 設置單元,用於在所述資料庫的第一伺服器的日誌中設置同步位點,在所述同步位點之前,從所述資料庫的第一伺服器複製所述增量資料以及所述合成資料;在所述同步位點之後,從日誌中複製增量資料以及合成資料。 可選的,所述增量資料的標識資訊包括增量資料所屬表的ID以及增量資料所屬分區的ID。 可選的,所述增量資料包括第一增量資料以及持久化儲存的第二增量資料,當所述第一增量資料的儲存量達到上限時轉化為所述第二增量資料。 可選的,所述合成資料是由所述第二增量資料與以前儲存的合成資料合併時所形成,所述合成資料每次合併時產生巨區塊,所述合成資料包括多個巨區塊。 可選的,所述合成資料的標識資訊包括巨區塊所屬表的ID、巨區塊所屬分區的ID、巨區塊所進行的合併次數以及巨區塊在同一次合併時的編號。 本說明書實施例提供的一種電腦可讀媒體,其上儲存有電腦可讀指令,所述電腦可讀指令可被處理器執行以實現以下步驟: 從所述資料庫的第一伺服器中複製元資料,其中,所述元資料包括合成資料的標識資訊; 當複製完所述資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令; 根據所述業務指令,判斷是否需要從所述資料庫的第一伺服器中讀取合成資料; 若判斷出需要從所述資料庫的第一伺服器中讀取合成資料時,根據所需的所述合成資料的標識資訊從所述資料庫的第一伺服器中複製對應的合成資料。 本說明書實施例提供了一種資料庫遷移的設備,該設備包括用於儲存電腦程式指令的記憶體和用於執行程式指令的處理器,其中,當該電腦程式指令被該處理器執行時,觸發該設備的以下單元: 複製單元,用於從所述資料庫的第一伺服器中複製元資料,其中,所述元資料包括合成資料的標識資訊; 接收單元,用於當複製完所述資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令; 判斷單元,用於根據所述業務指令,判斷是否需要從所述資料庫的第一伺服器中讀取合成資料; 所述複製單元還用於若判斷出需要從所述資料庫的第一伺服器中讀取合成資料時,根據所需的所述合成資料的標識資訊從所述資料庫的第一伺服器中複製對應的合成資料。 本說明書實施例採用的上述至少一個技術方案能夠達到以下有益效果: 本發明提前接收客戶端發出的業務指令,並根據合成資料的標識資訊,由資料庫的第一伺服器複製所需的合成資料,從而減少資料庫遷移的時間。
為了使本技術領域的人員更好地理解本說明書中的技術方案,下面將結合本說明書實施例中的圖式,對本說明書實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本申請一部分實施例,而不是全部的實施例。基於本說明書實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本申請保護的範圍。 圖1為本說明書實施例提供的一種資料庫遷移的方法的流程示意圖,該流程示意圖包括: 步驟S101,從資料庫的第一伺服器中複製元資料,其中,元資料包括合成資料的標識資訊。 步驟S102,當複製完資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令。 步驟S103,根據業務指令,判斷是否需要從資料庫的第一伺服器中讀取合成資料,若是,則執行步驟S104,若否,說明業務指令所需讀取的資料已存在,不需要從資料庫的第一伺服器中調用。 步驟S104,根據所需的合成資料的標識資訊從資料庫的第一伺服器中複製對應的合成資料。 在本實施例中,執行上述步驟的執行主體可以為記憶體比資料庫的第一伺服器大的資料庫的第二伺服器。 圖2為本說明書實施例提供的一種資料庫遷移的方法的流程示意圖,該流程示意圖包括: 步驟S201,在資料庫的第一伺服器的日誌中設置同步位點,在同步位點之前,資料庫的第二伺服器從資料庫的第一伺服器複製增量資料以及合成資料;在同步位點之後,資料庫的第二伺服器從日誌中複製增量資料以及合成資料,下述步驟是針對同步位點之前的資料庫遷移。 在本說明書實施例的步驟S201中,本實施例是為了將資料從資料庫的第一伺服器遷移至資料庫的第二伺服器,其中,資料包括增量資料以及合成資料。 步驟S202,資料庫的第二伺服器向資料庫的第一伺服器發送第一複製請求,在資料庫的第一伺服器通過第一複製請求後,資料庫的第二伺服器從資料庫的第一伺服器中複製元資料,元資料包括合成資料的標識資訊與增量資料的標識資訊。 在本說明書實施例的步驟S202中,第一複製請求是資料庫的第二伺服器向資料庫的第一伺服器發送的認證指令,當第一資料通過此認證指令後,資料庫的第二伺服器從資料庫的第一伺服器中複製元資料。其中,元資料是描述資料屬性的資訊。 步驟S203,根據增量資料的標識資訊,資料庫的第二伺服器向資料庫的第一伺服器發送第二複製請求,在資料庫的第一伺服器通過第二複製請求後,資料庫的第二伺服器從資料庫的第一伺服器中複製增量資料。 在本說明書實施例的步驟S203中,第二複製請求中包括增量資料的標識資訊,其中,增量資料的標識資訊包括增量資料所屬表的ID以及增量資料所屬分區的ID。在資料庫的第一伺服器認證增量資料的標識資訊正確後,資料庫的第二伺服器從資料庫的第一伺服器邏輯複製增量資料。 在本說明書實施例的步驟S203中,增量資料包括第一增量資料以及持久化儲存的第二增量資料,當第一增量資料的儲存量達到上限時將轉化為第二增量資料。 步驟S204,當確定資料庫的第二伺服器複製完資料庫的第一伺服器的增量資料時,資料庫的第二伺服器接收客戶端發送的業務指令。 在本說明書實施例的步驟S204中,在此步驟之前,客戶端的業務指令發送至資料庫的第一伺服器,在此步驟之後,客戶端的業務指令直接發送至資料庫的第二伺服器,說明此時,資料庫的第二伺服器具備正常處理的資料的能力。 步驟S205,根據合成資料的標識資訊,資料庫的第二伺服器向資料庫的第一伺服器發送第三複製請求,在資料庫的第一伺服器通過第三複製請求後,資料庫的第二伺服器從資料庫的第一伺服器中複製合成資料。 在本說明書實施例的步驟S205中,第三複製請求中包括增量資料的標識資訊。在資料庫的第一伺服器認證合成資料的標識資訊正確後,資料庫的第二伺服器從資料庫的第一伺服器邏輯複製合成資料。 在本說明書實施例的步驟S205中,合成資料是由第二增量資料與以前儲存的合成資料合併時所形成,合成資料每次合併時產生巨區塊,合成資料包括多個巨區塊。第二增量資料與以前儲存的合成資料的合併條件為:根據預設指令觸發或者按照預設的時間觸發。 在本說明書實施例的步驟S205中,合成資料的標識資訊包括巨區塊所屬表的ID、巨區塊所屬分區的ID、巨區塊所進行的合併次數以及巨區塊在同一次合併時的編號,其中,巨區塊所進行的合併次數是指某個巨區塊處在合成資料的第幾次合併,巨區塊在同一次合併時的編號是指某個巨區塊在合成資料同一次合併中屬於第幾個巨區塊。 步驟S206,根據資料庫的第二伺服器接收的業務指令,資料庫的第二伺服器判斷是否需要從資料庫的第一伺服器中讀取合成資料,若是,則執行步驟S207,若否,說明業務指令所需讀取的資料在資料庫的第二伺服器中已存在,不需要從資料庫的第一伺服器中調用。 在本說明書實施例的步驟S206中,在此步驟中,業務指令需要讀取的是合成資料中的巨區塊。 步驟S207,根據所需合成資料的標識資訊,資料庫的第二伺服器從資料庫的第一伺服器中複製對應的合成資料。 在本說明書實施例的步驟S207中,此步驟發生在資料庫的第二伺服器從資料庫的第一伺服器中未複製完合成資料,但業務指令需要用到資料庫的第一伺服器的合成資料,此時根據所需的合成資料的標識資訊,從資料庫的第一伺服器中複製對應的合成資料,其中,所需的合成資料為巨區塊,由於巨區塊的記憶體大,不易讀取,所以在儲存時將巨區塊細分為多個微小巨區塊儲存在快取中。 步驟S208,當確定資料庫的第二伺服器複製完資料庫的第一伺服器的合成資料時,刪除資料庫的第一伺服器。 上述方案即可應用於同一個資料庫的兩個伺服器之間的遷移,也可應用於兩個不同資料庫的兩個伺服器之間的遷移。 圖3為本說明書實施例提供的一種資料庫遷移的裝置的結構示意圖,該結構示意圖包括:複製單元1、接收單元2、判斷單元3、刪除單元4以及設置單元5。 複製單元1用於從資料庫的第一伺服器中複製元資料; 接收單元2用於當複製完資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令。 判斷單元3用於根據業務指令,判斷是否需要從資料庫的第一伺服器中讀取合成資料。 複製單元1還用於若判斷出需要從資料庫的第一伺服器中讀取合成資料時,根據所需合成資料的標識資訊從資料庫的第一伺服器中複製對應的合成資料。 業務指令還需要讀取增量資料,元資料還包括增量資料的標識資訊,複製單元1還用於根據增量資料的標識資訊,從資料庫的第一伺服器中複製增量資料,當複製完資料庫的第一伺服器中的增量資料後,執行接收客戶端發送的業務指令的步驟。 複製單元1還用於根據合成資料的標識資訊,從資料庫的第一伺服器中複製合成資料。 刪除單元4用於當複製完資料庫的第一伺服器的合成資料時,刪除資料庫的第一伺服器。 設置單元5用於在資料庫的第一伺服器的日誌中設置同步位點,在同步位點之前,從資料庫的第一伺服器複製增量資料以及合成資料;在同步位點之後,從日誌中複製增量資料以及合成資料。 增量資料的標識資訊包括增量資料所屬表的ID以及增量資料所屬分區的ID。 增量資料包括第一增量資料以及持久化儲存的第二增量資料,當第一增量資料的儲存量達到上限時轉化為第二增量資料。 合成資料是由第二增量資料與以前儲存的合成資料合併時所形成,合成資料每次合併時產生巨區塊,合成資料包括多個巨區塊。 合成資料的標識資訊包括巨區塊所屬表的ID、巨區塊所屬分區的ID、巨區塊所進行的合併次數以及巨區塊在同一次合併時的編號。 本說明書實施例提供的一種電腦可讀媒體,其上儲存有電腦可讀指令,電腦可讀指令可被處理器執行以實現以下步驟: 從資料庫的第一伺服器中複製元資料,其中,元資料包括合成資料的標識資訊; 當複製完資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令; 根據業務指令,判斷是否需要從資料庫的第一伺服器中讀取合成資料; 若判斷出需要從資料庫的第一伺服器中讀取合成資料時,根據所需的合成資料的標識資訊從資料庫的第一伺服器中複製對應的合成資料。 本說明書實施例提供了一種資料庫遷移的設備,該設備包括用於儲存電腦程式指令的記憶體和用於執行程式指令的處理器,其中,當該電腦程式指令被該處理器執行時,觸發該設備的以下單元: 複製單元,用於從資料庫的第一伺服器中複製元資料,其中,元資料包括合成資料的標識資訊; 接收單元,用於當複製完資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令; 判斷單元,用於根據業務指令,判斷是否需要從資料庫的第一伺服器中讀取合成資料; 複製單元還用於若判斷出需要從資料庫的第一伺服器中讀取合成資料時,根據所需的合成資料的標識資訊從資料庫的第一伺服器中複製對應的合成資料。 本領域內的技術人員應明白,本發明的實施例可提供為方法、系統、或電腦程式產品。因此,本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且,本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。 本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到電腦、專用電腦、嵌入式處理機或其他可程式化資料處理設備的處理器以產生一個機器,使得透過電腦或其他可程式化資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。 這些電腦程式指令也可儲存在能引導電腦或其他可程式化資料處理設備以特定方式工作的電腦可讀記憶體中,使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品,該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。 這些電腦程式指令也可裝載到電腦或其他可程式化資料處理設備上,使得在電腦或其他可程式化設備上執行一系列操作步驟以產生電腦實現的處理,從而在電腦或其他可程式化設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。 在一個典型的配置中,計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。 記憶體可能包括電腦可讀媒體中的非永久性記憶體,隨機存取記憶體(RAM)和/或非揮發性記憶體等形式,如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀媒體的示例。 電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括,但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶、磁帶磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體,可用於儲存可以被計算設備存取的資訊。按照本文中的界定,電腦可讀媒體不包括暫存電腦可讀媒體(transitory media),如調變的資料信號和載波。 還需要說明的是,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,並不排除在包括要素的過程、方法、商品或者設備中還存在另外的相同要素。 以上僅為本說明書的實施例而已,並不用於限制本說明書。對於本領域技術人員來說,本說明書可以有各種更改和變化。凡在本說明書的精神和原理之內所作的任何修改、等同替換、改進等,均應包含在本說明書的申請專利範圍的範圍之內。
S101,S102,S103,S104:步驟 S201,S202,S203,S204,S205,S206,S207,S208:步驟 1:複製單元 2:接收單元 3:判斷單元 4:刪除單元 5:設置單元
為了更清楚地說明本說明書實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本說明書中記載的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些圖式獲得其他的圖式。 [圖1]為本說明書實施例一提供的資料庫遷移的方法的流程示意圖; [圖2]為本說明書實施例二提供的資料庫遷移的方法的流程示意圖; [圖3]為本說明書實施例三提供的資料庫遷移的裝置的結構示意圖。

Claims (18)

  1. 一種資料庫遷移的方法,所述方法包括:從所述資料庫的第一伺服器中複製元資料,其中,所述元資料包括合成資料的標識資訊,所述合成資料是由第二增量資料與以前儲存的合成資料合併時所形成,增量資料包括第一增量資料以及持久化儲存的所述第二增量資料,當所述第一增量資料的儲存量達到上限時轉化為所述第二增量資料;當複製完所述資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令;根據所述業務指令,判斷是否需要從所述資料庫的第一伺服器中讀取所述合成資料;若判斷出需要從所述資料庫的第一伺服器中讀取所述合成資料時,根據所需的所述合成資料的標識資訊從所述資料庫的第一伺服器中複製對應的合成資料。
  2. 根據申請專利範圍第1項所述的資料庫遷移的方法,其中,所述業務指令還需要讀取所述增量資料,所述元資料還包括所述增量資料的標識資訊;所述接收客戶端發送的業務指令之前,所述方法還包括:根據所述增量資料的標識資訊,從所述資料庫的第一伺服器中複製所述增量資料,當複製完所述資料庫的第一 伺服器中的增量資料後,執行所述接收客戶端發送的業務指令的步驟。
  3. 根據申請專利範圍第2項所述的資料庫遷移的方法,其中,所述接收客戶端發送的業務指令之後,所述方法還包括:根據所述合成資料的標識資訊,從所述資料庫的第一伺服器中複製所述合成資料。
  4. 根據申請專利範圍第3項所述的資料庫遷移的方法,其中,所述從所述資料庫的第一伺服器中複製所述合成資料之後,所述方法還包括:當複製完所述資料庫的第一伺服器的合成資料時,刪除所述資料庫的第一伺服器。
  5. 根據申請專利範圍第4項所述的資料庫遷移的方法,其中,所述從所述資料庫的第一伺服器中複製元資料之前,所述方法還包括:在所述資料庫的第一伺服器的日誌中設置同步位點,在所述同步位點之前,從所述資料庫的第一伺服器複製所述增量資料以及所述合成資料;在所述同步位點之後,從日誌中複製所述增量資料以及所述合成資料。
  6. 根據申請專利範圍第2項所述的資料庫遷移的方法, 其中,所述增量資料的標識資訊包括增量資料所屬表的ID以及增量資料所屬分區的ID。
  7. 根據申請專利範圍第1項所述的資料庫遷移的方法,其中,所述合成資料每次合併時產生巨區塊,所述合成資料包括多個巨區塊。
  8. 根據申請專利範圍第7項所述的資料庫遷移的方法,其中,所述合成資料的標識資訊包括巨區塊所屬表的ID、巨區塊所屬分區的ID、巨區塊所進行的合併次數以及巨區塊在同一次合併時的編號。
  9. 一種資料庫遷移的裝置,所述裝置包括:複製單元,從所述資料庫的第一伺服器中複製元資料,其中,所述元資料包括合成資料的標識資訊,所述合成資料是由第二增量資料與以前儲存的合成資料合併時所形成,所述增量資料包括第一增量資料以及持久化儲存的所述第二增量資料,當所述第一增量資料的儲存量達到上限時轉化為所述第二增量資料;接收單元,當複製完所述資料庫的第一伺服器中的元資料後,接收客戶端發送的業務指令;判斷單元,根據所述業務指令,判斷是否需要從所述資料庫的第一伺服器中讀取所述合成資料;所述複製單元還在若判斷出需要從所述資料庫的第一 伺服器中讀取所述合成資料時,根據所需的所述合成資料的標識資訊從所述資料庫的第一伺服器中複製對應的合成資料。
  10. 根據申請專利範圍第9項所述的資料庫遷移的裝置,其中,所述業務指令還需要讀取所述增量資料,所述元資料還包括所述增量資料的標識資訊;所述複製單元還根據所述增量資料的標識資訊,從所述資料庫的第一伺服器中複製所述增量資料,當複製完所述資料庫的第一伺服器中的增量資料後,執行所述接收客戶端發送的業務指令的步驟。
  11. 根據申請專利範圍第10項所述的資料庫遷移的裝置,其中,所述複製單元還根據所述合成資料的標識資訊,從所述資料庫的第一伺服器中複製所述合成資料。
  12. 根據申請專利範圍第11項所述的資料庫遷移的裝置,所述裝置還包括:刪除單元,當複製完所述資料庫的第一伺服器的合成資料時,刪除所述資料庫的第一伺服器。
  13. 根據申請專利範圍第12項所述的資料庫遷移的裝置,所述裝置還包括:設置單元,在所述資料庫的第一伺服器的日誌中設置 同步位點,在所述同步位點之前,從所述資料庫的第一伺服器複製所述增量資料以及所述合成資料;在所述同步位點之後,從日誌中複製所述增量資料以及所述合成資料。
  14. 根據申請專利範圍第10項所述的資料庫遷移的裝置,其中,所述增量資料的標識資訊包括增量資料所屬表的ID以及增量資料所屬分區的ID。
  15. 根據申請專利範圍第9項所述的資料庫遷移的裝置,其中,所述合成資料每次合併時產生巨區塊,所述合成資料包括多個巨區塊。
  16. 根據申請專利範圍第15項所述的資料庫遷移的裝置,其中,所述合成資料的標識資訊包括巨區塊所屬表的ID、巨區塊所屬分區的ID、巨區塊所進行的合併次數以及巨區塊在同一次合併時的編號。
  17. 一種電腦可讀媒體,其上儲存有電腦可讀指令,所述電腦可讀指令可被處理器執行以實現申請專利範圍第1至8項中任一項所述的方法。
  18. 一種資料庫遷移的設備,該設備包括用於儲存電腦程式指令的記憶體和用於執行程式指令的處理器,其中,當該電腦程式指令被該處理器執行時,觸發該設備執行申請 專利範圍第9至16項中任一項所述的裝置。
TW108134425A 2019-03-26 2019-09-24 資料庫遷移的方法、裝置、設備及電腦可讀媒體 TWI754837B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910230137.9A CN110059075B (zh) 2019-03-26 2019-03-26 一种数据库迁移的方法、装置、设备及计算机可读介质
CN201910230137.9 2019-03-26

Publications (2)

Publication Number Publication Date
TW202036326A TW202036326A (zh) 2020-10-01
TWI754837B true TWI754837B (zh) 2022-02-11

Family

ID=67315944

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108134425A TWI754837B (zh) 2019-03-26 2019-09-24 資料庫遷移的方法、裝置、設備及電腦可讀媒體

Country Status (5)

Country Link
US (1) US11308048B2 (zh)
EP (1) EP3859549B1 (zh)
CN (1) CN110059075B (zh)
TW (1) TWI754837B (zh)
WO (1) WO2020192290A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059075B (zh) 2019-03-26 2020-07-28 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138603A (zh) * 2015-08-07 2015-12-09 浪潮电子信息产业股份有限公司 一种从HPUX平台向KUX平台迁移的Oracle数据库迁移工具
CN106339388A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 数据库弹性调度方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856193B2 (en) * 2011-12-20 2014-10-07 Sap Se Merge monitor for table delta partitions
US9152659B2 (en) * 2011-12-30 2015-10-06 Bmc Software, Inc. Systems and methods for migrating database data
US9477706B2 (en) * 2012-04-04 2016-10-25 Viavi Solutions Inc. System and method for storing and retrieving data
US9792321B2 (en) * 2013-07-09 2017-10-17 Oracle International Corporation Online database migration
US20160188710A1 (en) * 2014-12-29 2016-06-30 Wipro Limited METHOD AND SYSTEM FOR MIGRATING DATA TO NOT ONLY STRUCTURED QUERY LANGUAGE (NoSOL) DATABASE
CN104881443B (zh) * 2015-05-14 2018-11-27 新浪网技术(中国)有限公司 一种在数据库间迁移数据的方法和系统
CN106294387B (zh) * 2015-05-19 2020-06-02 深圳市腾讯计算机系统有限公司 数据迁移方法和装置
US10324914B2 (en) * 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
CN106649335A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法及装置
JP2018060384A (ja) * 2016-10-06 2018-04-12 株式会社日立製作所 データ管理システムおよび方法
US10671642B2 (en) * 2016-11-11 2020-06-02 International Business Machines Corporation Copying data changes to a target database
US10776329B2 (en) * 2017-03-28 2020-09-15 Commvault Systems, Inc. Migration of a database management system to cloud storage
CN108932282B (zh) * 2018-05-18 2023-04-18 腾讯科技(深圳)有限公司 一种数据库迁移方法、装置和存储介质
CN109063091B (zh) * 2018-07-26 2021-06-15 成都大学 混合编码的数据迁移方法、数据迁移装置和存储介质
CN110059075B (zh) * 2019-03-26 2020-07-28 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339388A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 数据库弹性调度方法及装置
CN105138603A (zh) * 2015-08-07 2015-12-09 浪潮电子信息产业股份有限公司 一种从HPUX平台向KUX平台迁移的Oracle数据库迁移工具

Also Published As

Publication number Publication date
EP3859549A1 (en) 2021-08-04
EP3859549B1 (en) 2023-04-05
WO2020192290A1 (zh) 2020-10-01
EP3859549A4 (en) 2021-12-29
CN110059075B (zh) 2020-07-28
US20210248117A1 (en) 2021-08-12
CN110059075A (zh) 2019-07-26
TW202036326A (zh) 2020-10-01
US11308048B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
US20210056074A1 (en) File System Data Access Method and File System
US20190215313A1 (en) Implementing Secure Communication In A Distributed Computing System
US9910742B1 (en) System comprising front-end and back-end storage tiers, data mover modules and associated metadata warehouse
US11442961B2 (en) Active transaction list synchronization method and apparatus
US10157214B1 (en) Process for data migration between document stores
US7792916B2 (en) Management of cluster-wide resources with shared variables
WO2019001017A1 (zh) 集群间数据迁移方法、系统、服务器及计算机存储介质
US10372555B1 (en) Reversion operations for data store components
EP2406736A2 (en) Composite hash and list partitioning of database tables
CN104580439B (zh) 一种云存储系统中使数据均匀分布的方法
CN106933823B (zh) 数据同步方法及装置
WO2016192496A1 (zh) 数据迁移处理方法及装置
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
US10509767B2 (en) Systems and methods for managing snapshots of a file system volume
CN109033365B (zh) 一种数据处理方法及相关设备
Chen et al. Federation in cloud data management: Challenges and opportunities
US11822806B2 (en) Using a secondary storage system to implement a hierarchical storage management plan
TWI754837B (zh) 資料庫遷移的方法、裝置、設備及電腦可讀媒體
US20180210950A1 (en) Distributed file system with tenant file system entity
CN103365740A (zh) 一种数据冷备方法及装置
WO2017084520A1 (zh) 一种云环境下数据文件同步的方法和装置
CN113672255A (zh) 一种分布式存储软件升级方法及装置
US11436193B2 (en) System and method for managing data using an enumerator
CN110569112B (zh) 日志数据写入方法及对象存储守护装置
CN111459913A (zh) 分布式数据库的容量扩展方法、装置及电子设备