TW201737108A - 集群資料複製方法、優先順序確定方法及裝置 - Google Patents

集群資料複製方法、優先順序確定方法及裝置 Download PDF

Info

Publication number
TW201737108A
TW201737108A TW106105766A TW106105766A TW201737108A TW 201737108 A TW201737108 A TW 201737108A TW 106105766 A TW106105766 A TW 106105766A TW 106105766 A TW106105766 A TW 106105766A TW 201737108 A TW201737108 A TW 201737108A
Authority
TW
Taiwan
Prior art keywords
task
replication
copy
priority order
data
Prior art date
Application number
TW106105766A
Other languages
English (en)
Inventor
Ying-Jie Shi
Le He
Yan Huang
Jie Zhang
Chen Zhang
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201737108A publication Critical patent/TW201737108A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明提供了集群資料複製方法和裝置。集群資料複製方法包括：確定需要跨集群複製資料的至少一個複製任務；計算至少一個複製任務中各複製任務的優先順序；根據各複製任務的優先順序，執行各複製任務。本發明可以在跨域頻寬有限的條件下，對待複製資料進行合理調度，實現資料的快速複製。

Description

集群資料複製方法、優先順序確定方法及裝置
本發明涉及通信技術，尤其涉及一種集群資料複製方法、優先順序確定方法及裝置。
集群大大提高了單機的儲存極限和處理極限。但隨著網際網路特別是移動網際網路的持續發展，很多公司產生的資料已經達到PB甚至EB級別，並且每天新增加的資料數量也在迅速增長。當這些資料超過單個集群的儲存上線，或單個集群無法滿足資料處理的需求時，就需要將這些資料按照業務單元分拆並儲存在多個集群中。
業務單元之間往往有依賴關係，業務A的資料儲存在第一集群中，若同在第一集群中的業務B需要訪問業務A的資料，則可以從第一集群內直接讀取資料；若位於第二集群的業務C需要訪問業務A的資料，則需要跨集群異地讀取資料。若第二集群中存在多個業務需要訪問業務A的資料，那麼需要多次跨集群異地讀取同一份資料，這會浪費集群之間的頻寬資源。特別是隨著業務數量越來越多，跨集群異地讀取同一份資料的業務數量也會越來越 多，導致頻寬資源的浪費更加嚴重。
為節約頻寬資源，業界普遍採取的方式是將業務A的資料在其它集群中保留一個副本，這樣其它集群中的業務在需要業務A的資料時就可以在集群內直接讀取資料。這需要將資料在各個集群之間進行複製。現有技術一般採用離線複製方式，即停止各集群的資料庫操作，一次性將資料全部從一個集群複製到另一個集群，這種方式需要大量頻寬資源。但是，跨域頻寬是有限且很寶貴的，並且隨著業務數量不斷增長，需要複製的資料也會逐漸增多，所以在跨域頻寬有限的條件下，離線複製方法顯然已經無法滿足需求，因此急需一種新的資料複製方法。
本發明提供一種集群資料複製方法及裝置，用以在跨域頻寬有限的條件下，對待複製資料進行合理調度，實現資料的快速複製。
為達到上述目的，本發明的實施例採用如下技術方案：
第一方面，提供了一種集群資料複製方法，包括：確定需要跨集群複製資料的至少一個複製任務；計算所述至少一個複製任務中各複製任務的優先順序；根據所述各複製任務的優先順序，執行所述各複製任務。
第二方面，提供了一種集群資料複製裝置，包括：確定模組，用於確定需要跨集群複製資料的至少一個複製任務；計算模組，用於計算所述至少一個複製任務中各複製任務的優先順序；執行模組，用於根據所述各複製任務的優先順序，執行所述各複製任務。
協力廠商面，提供一種優先順序確定方法，包括：獲取需要跨集群複製資料的複製任務的觸發方式、所述複製任務需要複製的資料的產生時間、以及所述複製任務對應的源業務的重要度中的至少一個因素，所述複製任務對應的源業務是指產生所述複製任務需要複製的資料的業務；根據所述至少一個因素，計算所述複製任務的優先順序。
第四方面，提供一種優先順序確定裝置，包括：資訊獲取模組，用於獲取需要跨集群複製資料的複製任務的觸發方式、所述複製任務需要複製的資料的產生時間、以及所述複製任務對應的源業務的重要度中的至少一個因素，所述複製任務對應的源業務是指產生所述複製任務需要複製的資料的業務；優先順序計算模組，用於根據所述至少一個因素，計算所述複製任務的優先順序。
在本發明中，在確定需要跨集群複製資料的複製任務 之後，計算各複製任務的優先順序，然後根據各複製任務的優先順序，執行各複製任務。由此可見，本發明在跨域頻寬有限的條件下，按照複製任務的優先順序對複製任務進行調度，優先調度優先順序較高的複製任務，能夠對複製任務進行合理調度，有利於實現資料的快速複製。
上述說明僅是本發明技術方案的概述，為了能夠更清楚瞭解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的具體實施方式。
31‧‧‧控制伺服器
32‧‧‧監控受控伺服器
51‧‧‧確定模組
52‧‧‧計算模組
53‧‧‧執行模組
71‧‧‧資訊獲取模組
72‧‧‧優先順序計算模組
通過閱讀下文較佳實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明瞭。附圖僅用於示出較佳實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：圖1為本發明一實施例提供的集群系統的結構示意圖；圖2為本發明另一實施例提供集群資料複製方法的流程示意圖；圖3為本發明又一實施例提供的複製系統的架構示意圖；圖4為本發明又一實施例提供的對複製任務進行打包處理的流程示意圖； 圖5為本發明又一實施例提供的集群資料複製裝置的結構示意圖；圖6為本發明又一實施例提供的優先順序確定方法的流程示意圖；圖7為本發明又一實施例提供的優先順序確定裝置的結構示意圖。
下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
圖1為本發明實施例一提供的集群系統的結構示意圖。如圖1所示，該集群系統僅象徵性的示意出3個集群，分別為集群A、集群B和集群C，實際上集群系統可以包含任意數量的集群。
結合圖1所示集群系統說明一下跨集群資料複製的過程。
假設集群A中存在一業務a，集群B中存在一業務b，集群C中存在一業務c，業務a產生資料，而且業務b和業務c需要業務a產生的資料，故需要將業務a產生的資料從集群A複製到集群B和集群C中。當然，若集群 A中還包括業務d，且業務b和業務c也需要業務d產生的資料，則也需要將業務d產生的資料從集群A複製到集群B和集群C中。當然，若業務a需要業務b和業務c產生的資料，則也需要將業務b和c產生的資料從集群B和C分別複製到集群A中。
由於集群之間的頻寬資源有限，而且隨著業務數量不斷增長，需要複製的資料也會逐漸增多，所以如果採用離線複製方式，需要一次性將所有資料從一個集群複製到另一個集群，這需要大量頻寬資源，在集群之間的頻寬資源有限的情況下，該方法不再適用，需要部分的進行資料複製，這就涉及到待複製資料之間的調度問題，如果能夠合理的調度待複製資料，那麼將有利於提高複製效率。
針對上述問題，本發明提供一種解決方案，其主要思想在於，在確定需要跨集群複製資料的複製任務之後，計算複製任務的優先順序，然後根據複製任務的優先順序，執行複製任務。本發明在跨域頻寬有限的條件下，按照複製任務的優先順序對複製任務進行調度，優先調度優先順序較高的複製任務，能夠對複製任務進行合理調度，有利於實現資料的快速複製。
下面結合附圖對本發明技術方案進行詳細說明。
圖2為本發明另一實施例提供的集群資料複製方法的流程示意圖。如圖2所示，該方法包括：
201、確定需要跨集群複製資料的至少一個複製任務。
202、計算至少一個複製任務中各複製任務的優先順序。
203、根據各複製任務的優先順序，執行各複製任務。
本實施例提供一種集群資料複製方法，可由集群資料複製裝置(後續簡稱為複製裝置)執行，用以合理調度複製任務，實現跨集群複製資料，提高資料複製效率。
在具體實現上，複製裝置可以部署於集群系統中，例如部署於集群系統中的某個集群，例如可以是產生資料的集群(簡稱為源集群)，或需要複製資料的集群(簡稱為目的集群)內，或者也可以是獨立於集群系統但能夠與集群系統進行通信的設備。
具體的，複製裝置首先需要確定需要跨集群複製資料的至少一個複製任務。複製任務是指需要將資料從一個集群複製到其它集群的任務。
其中，複製裝置可以採用但不限於以下幾種方式確定複製任務：
第一種方式：定期輪詢資料版本管理伺服器，在發現有資料的版本發生變化時，確定有需要對所述版本發生變化的資料進行跨集群複製的複製任務。第一種方式也可稱為掃描(Scan)觸發方式。
在第一種方式中，需要通過資料版本管理伺服器管理整個集群系統中各資料的版本資訊。例如，複製裝置可以啟動一執行緒定期輪詢資料版本管理伺服器，當發現有資 料的版本發生變化時，確定有需要對版本發生變化的資料進行跨集群複製的複製任務。
第二種方式：獲取控制伺服器根據收到的複製任務通知消息所下發的複製任務，該複製任務通知消息是第一業務在產生新版本資料時主動上報給控制伺服器的。第二種方式也可稱為事件(Event)觸發方式。
在第二種方式中，需要部署控制伺服器。基於此，一種實施本實施例方法的系統架構如圖3所示，該系統包括控制伺服器31和至少一個受控伺服器32，複製裝置位於受控伺服器32中實現，但不限於此。
在部署實現上，該系統架構可以運行在集群系統中的某個集群上，例如可以是源集群或目的集群，或者也可以運行於集群系統之外。
具體的，控制伺服器31負責集群中複製任務的分發管理，監控受控伺服器32以及其上運行的複製裝置的狀態，此外，控制伺服器31還負責同外界進行通信，例如接收複製任務通知消息，查詢系統狀態等。控制伺服器31和受控伺服器32之間依靠心跳消息進行通信，受控伺服器32向控制伺服器31彙報運行狀態，包括CPU、記憶體使用量，以及複製裝置的運行狀態等。控制伺服器31將需要啟動或停止的複製裝置的資訊發給受控伺服器32。例如，運維人員通過管控介面，向控制伺服器31發送啟動或停止某複製裝置的消息。當控制伺服器31接到一個啟動或停止某複製裝置的消息時，隨機選定某個受控 伺服器32，在該受控伺服器32的心跳消息中加上啟動或停止某複製裝置的消息，受控伺服器32接到心跳消息後，就會啟動或停止相應的複製裝置以執行或結束執行複製任務。
其中，控制伺服器31可以採用消息訂閱方式，即集群中產生資料的業務(簡稱為第一業務)在產生新版本資料時，主動向控制伺服器發送複製任務通知消息，以通知控制伺服器31有複製任務。一般來說，複製任務通知消息攜帶有需要跨集群複製的資料的資訊、該資料所在的源集群的資訊以及需要複製該資料的目的集群的資訊等。控制伺服器31根據複製任務通知消息向複製裝置下發複製任務。
第三種方式：接收控制伺服器在接收到複製任務通知消息時下發的複製任務，該複製任務通知消息是需要資料的業務(簡稱為第二業務)在確定該資料在第二業務所在集群中的版本與該資料所在源集群中的版本不一致時上報給控制伺服器的。第三種方式也可稱為需求(On-demand)觸發方式。
在第三種方式中，需要部署控制伺服器。該方式也可以採用圖3所示的系統架構實現。關於圖3所示系統的描述參見上述實施例。
具體的，當第二業務的使用者希望在第二業務所在集群(例如集群C)提交的作業需要用到位於其他集群(例如集群A)中的業務產生的資料時，第二業務會判斷所需 資料在第二業務所在集群(例如集群C)中的版本與該資料所在源集群(例如集群A)中的版本是否一致，例如第二業務可以到資料版本管理伺服器查詢以獲取源集群中的版本，將第二業務所在集群中的版本與查詢到的源集群中的版本進行比較，如果判斷結果為不一致，則第二業務會向控制伺服器31發送一個複製任務通知消息，控制伺服器31根據複製任務通知消息向複製裝置下發複製任務。
上述三種方式可以單獨使用，也可以結合使用。
通過上述任意方式，複製裝置可以確定需要跨集群複製資料的複製任務。由於業務數量不斷增長，所以需要跨集群複製資料的複製任務也在逐漸增多，但是集群之間的頻寬有限，這就需要對複製任務進行合理調度，以便更高效、快速的完成各複製任務。針對該問題，複製裝置計算各複製任務的優先順序，根據各複製任務的優先順序，對各複製任務進行調度執行。這樣可以保證高優先順序的複製任務優先得到處理，能夠對複製任務進行合理調度，有利於實現資料的快速複製。
在一可選實施方式中，上述步驟202，即計算各複製任務的優先順序的一種實施方式包括：根據各複製任務的觸發方式、各複製任務需要複製的資料的產生時間、以及各複製任務對應的源業務的重要度中的至少一個因素，計算各複製任務的優先順序。
上述複製任務的觸發方式主要是指上述確定複製任務的三種方式，例如掃描觸發方式、事件觸發方式和需求觸 發方式。不同觸發方式的複製任務具有不同的優先順序。例如，可以設置需求觸發方式觸發的複製任務的優先順序最高，事件觸發方式觸發的複製任務的優先順序次之，掃描觸發方式觸發的複製任務的優先順序最低，但不限於此。
上述複製任務對應的源業務是指產生複製任務需要複製的資料的業務。舉例說明，假設集群A中的業務a產生資料，需要將該資料從集群A複製到集群B和C中，則複製任務需要複製的資料即為業務a產生的資料，業務a即為複製任務對應的源業務。一般來說，不同業務的重要度並不相同，重要度越高的業務產生的資料的重要度相對也會較高，所以用於複製重要度較高的業務產生的資料的複製任務的優先順序就越高。
上述複製任務需要複製的資料的產生時間主要用於表示複製任務需要複製的資料的新鮮程度，一般來說，資料產生時間越晚，資料越新，則用於複製新鮮程度較高的資料的複製任務的優先順序就越高。
在一具體實施方式中，可以採用上述三個因素中的一個因素，確定各複製任務的優先順序。例如，僅根據各複製任務的觸發方式，確定各複製任務的優先順序。又例如，僅根據各複製任務對應的源業務的重要度，確定各複製任務的優先順序。又例如，僅根據各複製任務需要複製的資料的產生時間，確定各複製任務的優先順序。
在另一具體實施方式中，可以結合使用上述三個因素 中的任意兩個因素，確定各複製任務的優先順序。具體可以根據每個因素計算出一個優先順序取值，然後對兩個優先順序取值進行加權平均，獲得複製任務的最終優先順序。其中，可以預先為不同因素配置不同的權重。
例如，可以結合各複製任務對應的源業務的重要度以及各複製任務的觸發方式，則假設根據複製任務對應的源業務的重要度，確定複製任務的優先順序取值為P1，根據複製任務的觸發方式，確定複製任務的優先順序取值為P2，預先為源業務的重要度和觸發方式確定的權重分別為w1和w2，則複製任務的最終優先順序為：w1*P1+w2*P2。
當然，也可以結合複製任務的觸發方式和複製任務需要複製的資料的產生時間，也可以結合複製任務對應的源業務的重要度和複製任務需要複製的資料的產生時間，具體計算方式同上，不再贅述。
在又一具體實施方式中，可以同時結合各複製任務的觸發方式、各複製任務需要複製的資料的產生時間以及各複製任務對應的源業務的重要度，計算各複製任務的優先順序。
具體的，複製裝置可以根據各複製任務的觸發方式，確定各複製任務的第一優先順序取值；根據各複製任務對應的源業務的重要度，確定各複製任務的第二優先順序取值；根據各複製任務需要複製的資料的產生時間，確定各複製任務的第三優先順序取值；根據各複製任務的第一優 先順序取值、第二優先順序取值以及第三優先順序取值，產生各複製任務的優先順序。
可選的，複製裝置可以預先為複製任務對應的源業務的重要度、複製任務的觸發方式以及複製任務需要複製的資料的產生時間三個因素配置權重，例如分別為w1、w2、w3。基於此，複製裝置可以根據對應因素的權重，對各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值進行加權平均，以產生各複製任務的優先順序。例如，複製任務的優先順序=w1*第一優先順序取值+w2*第二優先順序取值+w3*第三優先順序取值。
可選的，複製裝置也可以按照由高位到低位的順序，將各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值拼接在一起，以產生各複製任務的優先順序。
例如，預先定義觸發方式對應的優先順序取值的範圍為[0,2]，其中需求觸發方式對應的優先順序取值為0，事件觸發方式對應的優先順序取值為1，掃描觸發方式對應的優先順序取值為2。基於此，若複製任務的觸發方式為需求觸發方式，則可以確定該複製任務的第一優先順序取值為0，若複製任務的觸發方式為事件觸發方式，則可以確定該複製任務的第一優先順序取值為1，若複製任務的觸發方式為掃描觸發方式，則可以確定該複製任務的第一優先順序取值為2。為便於後續描述，將第一優先順序取值記為Pt。
例如，預先定義源業務的重要度對應的優先順序取值的範圍為[0,9]，具體可以根據源業務的重要度進行設定，一般來說，源業務的重要度越高，對應的優先順序取值越低。其中，複製任務的第二優先順序取值為0-9中任一數值。為便於後續描述，將第一優先順序取值記為Pp。
又例如，預先定義需要複製的資料的產生時間對應的優先順序取值的範圍為[0,9]。可選的，複製裝置可以根據公式(1)，確定各複製任務的第三優先順序取值。
Pd=9*t/T (1)
在上述公式(1)中，t表示各複製任務需要複製的資料的產生時間；T表示各複製任務需要複製的資料的生命週期，且0<t<T；Pd表示各複製任務的第三優先順序取值。值得說明的是，不同複製任務需要複製的資料的生命週期可能相同，也可能不同。生命週期的長短，一般可由業務需求、重要程度等因素決定。
基於上述，複製裝置可以將上述優先順序取值組成三位數位，其中，百位，十位，個位依次為Pt，Pp，Pd，該三位數字即為複製任務的優先順序，其取值範圍為[000，299]，該三位數字越小，表示對應複製任務的優先順序越高。
在計算出各複製任務的優先順序之後，複製任務之間就具有了可比性，因此複製裝置可以根據各複製任務的優先順序，為各複製任務申請頻寬資源，然後基於所申請到的頻寬資源，執行各複製任務。其中，高優先順序的複製 任務，會優先申請到頻寬資源，所以會優先被執行，有利於提高跨域資料的複製效率。
具體的，複製裝置可以維護一個多優先順序佇列，例如300個佇列，然後按照複製任務的優先順序，將複製任務加入相應優先順序佇列中。複製裝置按照優先順序由高到低的順序依次輪詢各優先順序佇列，並為輪詢到的複製任務申請頻寬資源。結合圖3所示系統架構，控制伺服器31還負責整個複製系統頻寬的分配。複製裝置可以向控制伺服器發送頻寬申請請求，控制伺服器31通過心跳消息攜帶分配給複製任務的頻寬數以及申請頻寬資源的複製任務的優先順序下發給複製裝置。複製裝置接收控制伺服器31下發的心跳消息，從中獲取申請到的頻寬數。
值得的說明的是，當有多個複製任務同時申請頻寬資源時，控制伺服器31會根據優先順序的高低進行分配。對於高優先順序的複製任務，不僅可以獲得額定頻寬內的配額，當頻寬資源配置完時，控制伺服器31還對高優先順序的複製任務的申請通過超賣進行滿足。
進一步，複製裝置可以不斷輪詢優先順序佇列，將若干複製任務打包成一個複製作業，並以複製作業為單位，向控制伺服器31申請頻寬資源，並。其中，一個複製作業中執行多個複製任務可以有效地提高效率；但一個複製作業中包含的複製任務太多，則會導致複製作業執行時間過長，無法滿足即時性要求較高的複製任務的需求。基於此，需要對每個複製作業的大小進行限制。例如，可以限 制複製作業包含的檔總數，或檔總大小，或者也可以同時限制複製作業包含的檔總數和檔總大小。為便於描述，將用於限制複製作業的大小的條件稱為作業提交限制。作業提交限制可以包括以下至少一個：文件總個數上限值，文件總大小上限值。檔總個數上限值和檔總大小上限值的取值可以根據應用需求適應性設置，本實施例不限定其具體取值。
基於上述作業提交限制，複製裝置打包申請頻寬資源的過程包括：根據各複製任務的優先順序以及預設的作業提交限制，對各複製任務進行打包處理，以形成至少一個複製作業；然後，根據各複製作業所包含的複製任務的優先順序，確定各複製作業的優先順序；根據各複製作業的優先順序，為各複製作業所包含的複製任務申請頻寬資源。
進一步，複製裝置可以採用以下方式對複製任務進行打包處理：複製裝置按照優先順序由高到低的順序，依次獲取複製任務作為當前複製任務；判斷當前複製任務是否達到作業提交限制，例如判斷當前複製任務包含的檔總個數是否達到檔總個數上限值，並判斷當前複製任務包含的檔的總大小是否達到檔總大小上限值，若判斷結果中存在一個為是的情況，則確定當前複製任務達到作業提交限制，這說明當前複製任務太大或檔數太多，不需要與其他複製任務打包，可以直接將當前複製任務作為一個複製作業；若判 斷結果均為否，這說明當前複製任務符合打包要求，則繼續獲取其他未達到作業提交限制的複製任務，直到未達到作業提交限制的多個複製任務的總和達到作業提交限制為止，將未達到作業提交限制的多個複製任務打包，以產生一個複製作業。
結合多優先順序佇列，複製裝置對複製任務進行打包處理的過程如圖4所示，包括以下步驟：
401、判斷是否當前優先順序佇列中讀取複製任務，若是，即讀取到複製任務，則執行步驟402；若否，即未讀取到複製任務，則執行步驟408；
402、判斷讀取到的複製任務是否達到作業提交限制，若判斷結果為是，則執行步驟403；若判斷結果為否，則執行步驟404；可以執行以下至少一種判斷操作：判斷讀取到的複製任務包含的檔總個數是否達到檔總個數上限值；判斷讀取到的複製任務包含的檔總大小是否達到檔總大小上限值；若至少一個判斷操作的判斷結果均為否，確定讀取到的複製任務未達到作業提交限制；若至少一個判斷操作的判斷結果均為是，則確定讀取到的複製任務達到作業提交限制；
403、將讀取到的複製任務放入當前優先順序佇列中，並將讀取指針加1，返回執行步驟401；
404、將讀取到的複製任務加入當前作業佇列中，並執行步驟405；
405、判斷當前作業佇列中複製任務的總和是否達到作業提交限制，若判斷結果為是，執行步驟406；若判斷結果為否，執行步驟407；具體執行以下至少一個判斷操作：可以執行以下至少一種判斷操作：判斷當前作業佇列中所有複製任務包含的檔總個數是否達到檔總個數上限值；判斷當前作業佇列中所有複製任務包含檔總大小是否達到檔總大小上限值；若至少一個判斷操作的判斷結果均為否，確定當前作業佇列中複製任務的總和未達到作業提交限制；若至少一個判斷操作的判斷結果均為是，則確定當前作業佇列中複製任務的總和達到作業提交限制；
406、將當前作業佇列中的複製任務打包為複製任務，並確定該複製作業的優先順序，為該複製作業申請頻寬資源，並提交該複製作業以啟動複製，並執行步驟411。
407、將讀取指針加1，返回執行步驟401；
408、判斷當前作業佇列是否為空，若判斷結果為否，則執行步驟409；若判斷結果為是，則執行步驟411。
409、判斷等待次數是否超過預設次數上限值，若判 斷結果為否，則執行步驟410；若判斷結果為是，則執行步驟411；
410、將等待次數+1，並在等待300ms，返回執行步驟407。
411、結束此次操作。
由上述可見，本實施例通過將若干個複製任務打包成一個複製作業提交執行，既有利於提高執行效率，又可以滿足複製任務的及時性要求。
圖5為本發明又一實施例提供的集群資料複製裝置的結構示意圖。如圖5所示，該裝置包括：確定模組51、計算模組52和執行模組53。
確定模組51，用於確定需要跨集群複製資料的至少一個複製任務。
計算模組52，用於計算至少一個複製任務中各複製任務的優先順序。
執行模組53，用於根據各複製任務的優先順序，執行各複製任務。
在一可選實施方式中，確定模組51具體用於執行以下至少一種操作：定期輪詢資料版本管理伺服器，在發現有資料的版本發生變化時，確定有需要對版本發生變化的資料進行跨集群複製的複製任務；接收控制伺服器在接收到複製任務通知消息時下發的複製任務； 其中，複製任務通知消息是第一業務在產生新版本資料時上報給控制伺服器的，或者是需要資料的第二業務在確定資料在第二業務所在集群中的版本與資料所在源集群中的版本不一致時上報給控制伺服器的。
在一可選實施方式中，計算模組52具體用於：根據各複製任務的觸發方式、各複製任務需要複製的資料的產生時間、以及各複製任務對應的源業務的重要度中的至少一個因素，計算各複製任務的優先順序；其中，複製任務對應的源業務是指產生複製任務需要複製的資料的業務。
可選的，計算模組52進一步具體用於：根據各複製任務的觸發方式，確定各複製任務的第一優先順序取值；根據各複製任務對應的源業務的重要度，確定各複製任務的第二優先順序取值；根據各複製任務需要複製的資料的產生時間，確定各複製任務的第三優先順序取值；根據各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生各複製任務的優先順序。
更進一步，計算模組52在根據各複製任務需要複製的資料的產生時間，確定各複製任務的第三優先順序取值時，具體用於：根據公式(1)，確定各複製任務的第三優先順序取值。關於公式(1)的描述具體參見前述實施 例，在此不再贅述。
更進一步，計算模組52在根據各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生各複製任務的優先順序時，具體用於：按照由高位到低位的順序，將各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值拼接在一起，以產生各複製任務的優先順序。
在一可選實施方式中，執行模組53具體用於：根據各複製任務的優先順序，為各複製任務申請頻寬資源；基於所申請到的頻寬資源，執行各複製任務。
進一步，執行模組53在根據各複製任務的優先順序，為各複製任務申請頻寬資源時，具體用於：根據各複製任務的優先順序以及預先設置的作業提交限制，對各複製任務進行打包處理，以形成至少一個複製作業；根據至少一個複製作業中各複製作業所包含的複製任務的優先順序，確定各複製作業的優先順序；根據各複製作業的優先順序，為各複製作業所包含的複製任務申請頻寬資源。
更進一步，執行模組53在根據各複製任務的優先順序以及預先設置的作業提交限制，對各複製任務進行打包處理，以形成至少一個複製作業時，具體用於：按照優先順序由高到低的順序，依次獲取複製任務作 為當前複製任務；若當前複製任務未達到作業提交限制，則繼續獲取其它未達到作業提交限制的複製任務，直到未達到作業提交限制的多個複製任務的總和達到作業提交限制為止，將未達到作業提交限制的多個複製任務打包，以產生一個複製作業；若當前複製任務達到作業提交限制，則直接將當前複製任務作為一個複製作業。
可選的，上述作業提交限制包括以下至少一個：文件總個數上限值；文件總大小上限值。
本實施例提供的集群資料複製裝置，在確定需要跨集群複製資料的複製任務之後，計算各複製任務的優先順序，然後根據各複製任務的優先順序，執行各複製任務。由此可見，本發明在跨域頻寬有限的條件下，按照複製任務的優先順序對複製任務進行調度，優先調度優先順序較高的複製任務，能夠對複製任務進行合理調度，有利於實現資料的快速複製。
除上述技術方案之外，本發明還針對跨集群複製任務提供了一種優先順序確定方法，用以確定跨集群複製任務的優先順序。其中，優先順序確定方法的流程如圖6所示，包括：
601、獲取需要跨集群複製資料的複製任務的觸發方式、複製任務需要複製的資料的產生時間、以及複製任務 對應的源業務的重要度中的至少一個因素，複製任務對應的源業務是指產生該複製任務需要複製的資料的業務。
602、根據上述至少一個因素，計算複製任務的優先順序。
上述複製任務的觸發方式主要是指上述確定複製任務的三種方式，例如掃描觸發方式、事件觸發方式和需求觸發方式。不同觸發方式的複製任務具有不同的優先順序。例如，可以設置需求觸發方式觸發的複製任務的優先順序最高，事件觸發方式觸發的複製任務的優先順序次之，掃描觸發方式觸發的複製任務的優先順序最低，但不限於此。
上述複製任務對應的源業務是指產生複製任務需要複製的資料的業務。舉例說明，假設集群A中的業務a產生資料，需要將該資料從集群A複製到集群B和C中，則複製任務需要複製的資料即為業務a產生的資料，業務a即為複製任務對應的源業務。一般來說，不同業務的重要度並不相同，重要度越高的業務產生的資料的重要度相對也會較高，所以用於複製重要度較高的業務產生的資料的複製任務的優先順序就越高。
上述複製任務需要複製的資料的產生時間主要用於表示複製任務需要複製的資料的新鮮程度，一般來說，資料產生時間越晚，資料越新，則用於複製新鮮程度較高的資料的複製任務的優先順序就越高。
在一具體實施方式中，可以採用上述三個因素中的一 個因素，確定各複製任務的優先順序。例如，僅根據各複製任務的觸發方式，確定各複製任務的優先順序。又例如，僅根據各複製任務對應的源業務的重要度，確定各複製任務的優先順序。又例如，僅根據各複製任務需要複製的資料的產生時間，確定各複製任務的優先順序。
在另一具體實施方式中，可以結合使用上述三個因素中的任意兩個因素，確定各複製任務的優先順序。具體可以根據每個因素計算出一個優先順序取值，然後對兩個優先順序取值進行加權平均，獲得複製任務的最終優先順序。其中，可以預先為不同因素配置不同的權重。
例如，可以結合各複製任務對應的源業務的重要度以及各複製任務的觸發方式，則假設根據複製任務對應的源業務的重要度，確定複製任務的優先順序取值為P1，根據複製任務的觸發方式，確定複製任務的優先順序取值為P2，預先為源業務的重要度和觸發方式確定的權重分別為w1和w2，則複製任務的最終優先順序為：w1*P1+w2*P2。
當然，也可以結合複製任務的觸發方式和複製任務需要複製的資料的產生時間，也可以結合複製任務對應的源業務的重要度和複製任務需要複製的資料的產生時間，具體計算方式同上，不再贅述。
在又一具體實施方式中，可以同時結合各複製任務的觸發方式、各複製任務需要複製的資料的產生時間以及各複製任務對應的源業務的重要度，計算複製任務的優先順 序。
具體的，複製裝置可以根據各複製任務的觸發方式，確定各複製任務的第一優先順序取值；根據複製任務對應的源業務的重要度，確定複製任務的第二優先順序取值；根據複製任務需要複製的資料的產生時間，確定複製任務的第三優先順序取值；根據複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生複製任務的優先順序。
可選的，複製裝置可以預先為複製任務對應的源業務的重要度、複製任務的觸發方式以及複製任務需要複製的資料的產生時間三個因素配置權重，例如分別為w1、w2、w3。基於此，複製裝置可以根據對應因素的權重，對複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值進行加權平均，以產生複製任務的優先順序。例如，複製任務的優先順序=w1*第一優先順序取值+w2*第二優先順序取值+w3*第三優先順序取值。
可選的，複製裝置也可以按照由高位到低位的順序，將各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值拼接在一起，以產生複製任務的優先順序。
例如，預先定義觸發方式對應的優先順序取值的範圍為[0,2]，其中需求觸發方式對應的優先順序取值為0，事件觸發方式對應的優先順序取值為1，掃描觸發方式對應的優先順序取值為2。基於此，若複製任務的觸發方式為 需求觸發方式，則可以確定該複製任務的第一優先順序取值為0，若複製任務的觸發方式為事件觸發方式，則可以確定該複製任務的第一優先順序取值為1，若複製任務的觸發方式為掃描觸發方式，則可以確定該複製任務的第一優先順序取值為2。為便於後續描述，將第一優先順序取值記為Pt。
例如，預先定義源業務的重要度對應的優先順序取值的範圍為[0,9]，具體可以根據源業務的重要度進行設定，一般來說，源業務的重要度越高，對應的優先順序取值越低。其中，複製任務的第二優先順序取值為0-9中任一數值。為便於後續描述，將第一優先順序取值記為Pp。
又例如，預先定義需要複製的資料的產生時間對應的優先順序取值的範圍為[0,9]。可選的，複製裝置可以根據公式(1)，確定各複製任務的第三優先順序取值。關於公式(1)可參見前面描述，在此不再贅述。
基於上述，複製裝置可以將上述優先順序取值組成三位數位，其中，百位，十位，個位依次為Pt，Pp，Pd，該三位數字即為複製任務的優先順序，其取值範圍為[000，299]，該三位數字越小，表示對應複製任務的優先順序越高。
本實施例可以計算出跨集群的複製任務的優先順序，為後續基於複製任務的優先順序的複製任務處理過程(例如複製任務調度過程)提供條件。
圖7為本發明又一實施例提供的優先順序確定裝置的 結構示意圖。如圖7所示，該裝置包括：資訊獲取模組71和優先順序計算模組72。
資訊獲取模組71，用於獲取需要跨集群複製資料的複製任務的觸發方式、複製任務需要複製的資料的產生時間、以及複製任務對應的源業務的重要度中的至少一個因素，複製任務對應的源業務是指產生該複製任務需要複製的資料的業務。
優先順序計算模組72，用於根據資訊獲取模組71獲取的至少一個因素，計算複製任務的優先順序。
上述複製任務的觸發方式主要是指上述確定複製任務的三種方式，例如掃描觸發方式、事件觸發方式和需求觸發方式。不同觸發方式的複製任務具有不同的優先順序。例如，可以設置需求觸發方式觸發的複製任務的優先順序最高，事件觸發方式觸發的複製任務的優先順序次之，掃描觸發方式觸發的複製任務的優先順序最低，但不限於此。
上述複製任務對應的源業務是指產生複製任務需要複製的資料的業務。舉例說明，假設集群A中的業務a產生資料，需要將該資料從集群A複製到集群B和C中，則複製任務需要複製的資料即為業務a產生的資料，業務a即為複製任務對應的源業務。一般來說，不同業務的重要度並不相同，重要度越高的業務產生的資料的重要度相對也會較高，所以用於複製重要度較高的業務產生的資料的複製任務的優先順序就越高。
上述複製任務需要複製的資料的產生時間主要用於表示複製任務需要複製的資料的新鮮程度，一般來說，資料產生時間越晚，資料越新，則用於複製新鮮程度較高的資料的複製任務的優先順序就越高。
在一具體實施方式中，資訊獲取模組71可以獲取上述三個因素中的一個因素，優先順序計算模組72具體根據資訊獲取模組71獲取的因素確定複製任務的優先順序。例如，優先順序計算模組72僅根據複製任務的觸發方式，確定複製任務的優先順序。又例如，優先順序計算模組72僅根據複製任務對應的源業務的重要度，確定複製任務的優先順序。又例如，優先順序計算模組72僅根據複製任務需要複製的資料的產生時間，確定複製任務的優先順序。
在另一具體實施方式中，資訊獲取模組71可以獲取上述三個因素中的任意兩個因素，優先順序計算模組72具體根據資訊獲取模組71獲取的兩個因素確定各複製任務的優先順序。優先順序計算模組72具體可以根據每個因素計算出一個優先順序取值，然後對兩個優先順序取值進行加權平均，獲得複製任務的最終優先順序。其中，可以預先為不同因素配置不同的權重。
例如，優先順序計算模組72可以結合複製任務對應的源業務的重要度以及複製任務的觸發方式，則假設根據複製任務對應的源業務的重要度，確定複製任務的優先順序取值為P1，根據複製任務的觸發方式，確定複製任務 的優先順序取值為P2，預先為源業務的重要度和觸發方式確定的權重分別為w1和w2，則複製任務的最終優先順序為：w1*P1+w2*P2。
當然，也可以結合複製任務的觸發方式和複製任務需要複製的資料的產生時間，也可以結合複製任務對應的源業務的重要度和複製任務需要複製的資料的產生時間，具體計算方式同上，不再贅述。
在又一具體實施方式中，資訊獲取模組71可以獲取上述三個因素，優先順序計算模組72可以同時結合複製任務的觸發方式、複製任務需要複製的資料的產生時間以及複製任務對應的源業務的重要度，計算複製任務的優先順序。
具體的，優先順序計算模組72可以根據複製任務的觸發方式，確定複製任務的第一優先順序取值；根據複製任務對應的源業務的重要度，確定複製任務的第二優先順序取值；根據複製任務需要複製的資料的產生時間，確定複製任務的第三優先順序取值；根據複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生複製任務的優先順序。
可選的，可以預先為複製任務對應的源業務的重要度、複製任務的觸發方式以及複製任務需要複製的資料的產生時間三個因素配置權重，例如分別為w1、w2、w3。基於此，優先順序計算模組72可以根據對應因素的權重，對複製任務的第一優先順序取值、第二優先順序取值 以及第三優先順序取值進行加權平均，以產生複製任務的優先順序。例如，複製任務的優先順序=w1*第一優先順序取值+w2*第二優先順序取值+w3*第三優先順序取值。
可選的，優先順序計算模組72也可以按照由高位到低位的順序，將複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值拼接在一起，以產生複製任務的優先順序。
例如，預先定義觸發方式對應的優先順序取值的範圍為[0,2]，其中需求觸發方式對應的優先順序取值為0，事件觸發方式對應的優先順序取值為1，掃描觸發方式對應的優先順序取值為2。基於此，若複製任務的觸發方式為需求觸發方式，則可以確定該複製任務的第一優先順序取值為0，若複製任務的觸發方式為事件觸發方式，則可以確定該複製任務的第一優先順序取值為1，若複製任務的觸發方式為掃描觸發方式，則可以確定該複製任務的第一優先順序取值為2。為便於後續描述，將第一優先順序取值記為Pt。
例如，預先定義源業務的重要度對應的優先順序取值的範圍為[0,9]，具體可以根據源業務的重要度進行設定，一般來說，源業務的重要度越高，對應的優先順序取值越低。其中，複製任務的第二優先順序取值為0-9中任一數值。為便於後續描述，將第一優先順序取值記為Pp。
又例如，預先定義需要複製的資料的產生時間對應的優先順序取值的範圍為[0,9]。可選的，複製裝置可以根據 公式(1)，確定各複製任務的第三優先順序取值。關於公式(1)可參見前面描述，在此不再贅述。
基於上述，優先順序計算模組72可以將上述優先順序取值組成三位數位，其中，百位，十位，個位依次為Pt，Pp，Pd，該三位數字即為複製任務的優先順序，其取值範圍為[000，299]，該三位數字越小，表示對應複製任務的優先順序越高。
本實施例提供的優先順序確定裝置，可以計算出跨集群的複製任務的優先順序，為後續基於複製任務的優先順序的複製任務處理過程(例如複製任務調度過程)提供條件。
本領域普通技術人員可以理解：實現上述各方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成。前述的程式可以儲存於一電腦可讀取儲存介質中。該程式在執行時，執行包括上述各方法實施例的步驟；而前述的儲存介質包括：ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。

Claims (22)

  1. 一種集群資料複製方法，其包括：確定需要跨集群複製資料的至少一個複製任務；計算該至少一個複製任務中各複製任務的優先順序；根據該各複製任務的優先順序，執行該各複製任務。
  2. 根據申請專利範圍第1項所述的方法，其中，所述確定需要跨集群複製資料的至少一個複製任務，包括以下至少一種操作：定期輪詢資料版本管理伺服器，在發現有資料的版本發生變化時，確定有需要對該版本發生變化的資料進行跨集群複製的複製任務；獲取控制伺服器根據收到的複製任務通知消息所下發的複製任務；其中，該複製任務通知消息是第一業務在產生新版本資料時上報給該控制伺服器的，或者是需要資料的第二業務在確定該資料在該第二業務所在集群中的版本與該資料所在源集群中的版本不一致時上報給該控制伺服器的。
  3. 根據申請專利範圍第1項所述的方法，其中，所述計算所述至少一個複製任務中各複製任務的優先順序，包括：根據該各複製任務的觸發方式、該各複製任務需要複製的資料的產生時間、以及該各複製任務對應的源業務的重要度中的至少一個因素，計算該各複製任務的優先順序； 其中，該複製任務對應的源業務是指產生該複製任務需要複製的資料的業務。
  4. 根據申請專利範圍第3項所述的方法，其中，所述根據該各複製任務的觸發方式、該各複製任務需要複製的資料的產生時間、以及該各複製任務對應的源業務的重要度，計算該各複製任務的優先順序，包括：根據該各複製任務的觸發方式，確定該各複製任務的第一優先順序取值；根據該各複製任務對應的源業務的重要度，確定該各複製任務的第二優先順序取值；根據該各複製任務需要複製的資料的產生時間，確定該各複製任務的第三優先順序取值；根據該各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生該各複製任務的優先順序。
  5. 根據申請專利範圍第4項所述的方法，其中，所述根據該各複製任務需要複製的資料的產生時間，確定該各複製任務的第三優先順序取值，包括：根據公式Pd=9*t/T，確定該各複製任務的第三優先順序取值；其中，t表示該各複製任務需要複製的資料的產生時間；T表示該各複製任務需要複製的資料的生命週期，且0<t<T； Pd表示該各複製任務的第三優先順序取值。
  6. 根據申請專利範圍第4項所述的方法，其中，所述根據該各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生該各複製任務的優先順序，包括：按照由高位到低位的順序，將該各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值拼接在一起，以產生該各複製任務的優先順序。
  7. 根據申請專利範圍第1-6項任一項所述的方法，其中，所述根據該各複製任務的優先順序，執行該各複製任務，包括：根據該各複製任務的優先順序，為該各複製任務申請頻寬資源；基於所申請到的頻寬資源，執行該各複製任務。
  8. 根據申請專利範圍第7項所述的方法，其中，所述根據該各複製任務的優先順序，為該各複製任務申請頻寬資源，包括：根據該各複製任務的優先順序以及預先設置的作業提交限制，對該各複製任務進行打包處理，以形成至少一個複製作業；根據該至少一個複製作業中各複製作業所包含的複製任務的優先順序，確定該各複製作業的優先順序；根據該各複製作業的優先順序，為該各複製作業所包含的複製任務申請頻寬資源。
  9. 根據申請專利範圍第8項所述的方法，其中，所述根據該各複製任務的優先順序以及預先設置的作業提交限制，對該各複製任務進行打包處理，以形成至少一個複製作業，包括：按照優先順序由高到低的順序，依次獲取複製任務作為當前複製任務；若當前複製任務未達到該作業提交限制，則繼續獲取其它未達到該作業提交限制的複製任務，直到未達到該作業提交限制的多個複製任務的總和達到該作業提交限制為止，將該未達到該作業提交限制的多個複製任務打包，以產生一個複製作業；若當前複製任務達到該作業提交限制，則直接將該當前複製任務作為一個複製作業。
  10. 根據申請專利範圍第8項所述的方法，其中，該作業提交限制包括以下至少一個：文件總個數上限值；文件總大小上限值。
  11. 一種集群資料複製裝置，其包括：確定模組，用於確定需要跨集群複製資料的至少一個複製任務；計算模組，用於計算該至少一個複製任務中各複製任務的優先順序；執行模組，用於根據該各複製任務的優先順序，執行該各複製任務。
  12. 根據申請專利範圍第11項所述的裝置，其中，該確定模組具體用於執行以下至少一種操作：定期輪詢資料版本管理伺服器，在發現有資料的版本發生變化時，確定有需要對該版本發生變化的資料進行跨集群複製的複製任務；獲取控制伺服器根據收到的複製任務通知消息所下發的複製任務；其中，該複製任務通知消息是第一業務在產生新版本資料時上報給該控制伺服器的，或者是需要資料的第二業務在確定該資料在該第二業務所在集群中的版本與該資料所在源集群中的版本不一致時上報給該控制伺服器的。
  13. 根據申請專利範圍第11項所述的裝置，其中，該計算模組具體用於：根據該各複製任務的觸發方式、該各複製任務需要複製的資料的產生時間、以及該各複製任務對應的源業務的重要度中的至少一個因素，計算該各複製任務的優先順序；其中，該複製任務對應的源業務是指產生該複製任務需要複製的資料的業務。
  14. 根據申請專利範圍第13項所述的裝置，其中，該計算模組具體用於：根據該各複製任務的觸發方式，確定該各複製任務的第一優先順序取值；根據該各複製任務對應的源業務的重要度，確定該各 複製任務的第二優先順序取值；根據該各複製任務需要複製的資料的產生時間，確定該各複製任務的第三優先順序取值；根據該各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值，產生該各複製任務的優先順序。
  15. 根據申請專利範圍第14項所述的裝置，其中，該計算模組具體用於：根據公式Pd=9*t/T，確定該各複製任務的第三優先順序取值；其中，t表示該各複製任務需要複製的資料的產生時間；T表示該各複製任務需要複製的資料的生命週期，且0<t<T；Pd表示該各複製任務的第三優先順序取值。
  16. 根據申請專利範圍第14項所述的裝置，其中，該計算模組具體用於：按照由高位到低位的順序，將該各複製任務的第一優先順序取值、第二優先順序取值以及第三優先順序取值拼接在一起，以產生該各複製任務的優先順序。
  17. 根據申請專利範圍第11-16項任一項所述的裝置，其中，該執行模組具體用於：根據該各複製任務的優先順序，為該各複製任務申請頻寬資源； 基於所申請到的頻寬資源，執行該各複製任務。
  18. 根據申請專利範圍第17項所述的裝置，其中，該執行模組具體用於：根據該各複製任務的優先順序以及預先設置的作業提交限制，對該各複製任務進行打包處理，以形成至少一個複製作業；根據該至少一個複製作業中各複製作業所包含的複製任務的優先順序，確定該各複製作業的優先順序；根據該各複製作業的優先順序，為該各複製作業所包含的複製任務申請頻寬資源。
  19. 根據申請專利範圍第18項所述的裝置，其中，該執行模組具體用於：按照優先順序由高到低的順序，依次獲取複製任務作為當前複製任務；若當前複製任務未達到該作業提交限制，則繼續獲取其它未達到該作業提交限制的複製任務，直到未達到該作業提交限制的多個複製任務的總和達到該作業提交限制為止，將該未達到該作業提交限制的多個複製任務打包，以產生一個複製作業；若當前複製任務達到該作業提交限制，則直接將該當前複製任務作為一個複製作業。
  20. 根據申請專利範圍第18項所述的裝置，其中，該作業提交限制包括以下至少一個：文件總個數上限值； 文件總大小上限值。
  21. 一種優先順序確定方法，其包括：獲取需要跨集群複製資料的複製任務的觸發方式、該複製任務需要複製的資料的產生時間、以及該複製任務對應的源業務的重要度中的至少一個因素，該複製任務對應的源業務是指產生該複製任務需要複製的資料的業務；根據該至少一個因素，計算該複製任務的優先順序。
  22. 一種優先順序確定裝置，其包括：資訊獲取模組，用於獲取需要跨集群複製資料的複製任務的觸發方式、該複製任務需要複製的資料的產生時間、以及該複製任務對應的源業務的重要度中的至少一個因素，該複製任務對應的源業務是指產生該複製任務需要複製的資料的業務；優先順序計算模組，用於根據該至少一個因素，計算該複製任務的優先順序。
TW106105766A 2016-03-30 2017-02-21 集群資料複製方法、優先順序確定方法及裝置 TW201737108A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610195827.1A CN107291724A (zh) 2016-03-30 2016-03-30 集群数据复制方法、优先级确定方法及装置

Publications (1)

Publication Number Publication Date
TW201737108A true TW201737108A (zh) 2017-10-16

Family

ID=59962567

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105766A TW201737108A (zh) 2016-03-30 2017-02-21 集群資料複製方法、優先順序確定方法及裝置

Country Status (3)

Country Link
CN (1) CN107291724A (zh)
TW (1) TW201737108A (zh)
WO (1) WO2017167070A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298522A (zh) * 2018-03-22 2019-10-01 阿里巴巴集团控股有限公司 工作项的管理方法及装置
CN111124268B (zh) * 2018-10-31 2023-05-09 阿里巴巴集团控股有限公司 数据复制方法、装置、系统及电子设备
CN113760482A (zh) * 2020-06-22 2021-12-07 北京沃东天骏信息技术有限公司 一种任务处理方法、装置和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812799B2 (en) * 2009-12-11 2014-08-19 International Business Machines Corporation Cluster families for cluster selection and cooperative replication
US20130138615A1 (en) * 2011-11-29 2013-05-30 International Business Machines Corporation Synchronizing updates across cluster filesystems
CN102722402B (zh) * 2012-05-28 2014-03-05 上海微频莱机电科技有限公司 一种非抢占式实时调度多任务的处理系统及方法
CN103533514B (zh) * 2012-07-06 2017-08-11 中兴通讯股份有限公司 一种集群业务优先级的实现方法和系统
CN103207814B (zh) * 2012-12-27 2016-10-19 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
KR101416280B1 (ko) * 2013-01-15 2014-07-08 주식회사 엘지씨엔에스 이벤트 처리 시스템 및 방법
CN104778080A (zh) * 2014-01-14 2015-07-15 中兴通讯股份有限公司 基于协处理器的作业调度处理方法及装置
CN104572305A (zh) * 2015-01-26 2015-04-29 赞奇科技发展有限公司 均衡负载的集群渲染任务调度方法

Also Published As

Publication number Publication date
CN107291724A (zh) 2017-10-24
WO2017167070A1 (zh) 2017-10-05

Similar Documents

Publication Publication Date Title
CN108845884B (zh) 物理资源分配方法、装置、计算机设备和存储介质
CN107291547B (zh) 一种任务调度处理方法、装置及系统
WO2020147330A1 (zh) 一种数据流处理方法及系统
CA2785398C (en) Managing queries
US9307048B2 (en) System and method for proactive task scheduling of a copy of outlier task in a computing environment
WO2017166803A1 (zh) 一种资源调度方法及装置
JP6114829B2 (ja) 仮想環境における演算インフラストラクチャのリアルタイム最適化
CN105159769B (zh) 一种适用于计算能力异构集群的分布式作业调度方法
CN113238838A (zh) 一种任务调度方法、装置及计算机可读存储介质
CN112162865A (zh) 服务器的调度方法、装置和服务器
US9870269B1 (en) Job allocation in a clustered environment
CN112114950A (zh) 任务调度方法和装置、以及集群管理系统
CN109710416B (zh) 资源调度方法及装置
WO2015100995A1 (zh) 一种智能服务调度方法
TW201737108A (zh) 集群資料複製方法、優先順序確定方法及裝置
CN112910937B (zh) 容器集群中的对象调度方法、装置、服务器和容器集群
Li et al. Enabling elastic stream processing in shared clusters
CN112181621A (zh) 一种任务调度系统、方法、设备及存储介质
CN103873587A (zh) 一种基于云平台实现调度的方法及装置
JP2023089891A (ja) クラスタの容量拡張方法及び装置
CN114840318A (zh) 一种多进程抢占硬件key加解密资源的调度方法
CN108984290A (zh) 任务调度方法和系统
CN114816709A (zh) 任务调度方法、装置、服务器及可读存储介质
CN113342532B (zh) 基于Zookeeper的分布式任务调度方法及系统
Bardhan et al. The Anatomy of MapReduce Jobs, Scheduling, and Performance Challenges.