TW201735596A - 任務調度方法和裝置 - Google Patents

任務調度方法和裝置 Download PDF

Info

Publication number
TW201735596A
TW201735596A TW106105354A TW106105354A TW201735596A TW 201735596 A TW201735596 A TW 201735596A TW 106105354 A TW106105354 A TW 106105354A TW 106105354 A TW106105354 A TW 106105354A TW 201735596 A TW201735596 A TW 201735596A
Authority
TW
Taiwan
Prior art keywords
task
cluster
network
preset
level
Prior art date
Application number
TW106105354A
Other languages
English (en)
Other versions
TWI718252B (zh
Inventor
Le He
Yan Huang
Ying-Jie Shi
Jie Zhang
Chen Zhang
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201735596A publication Critical patent/TW201735596A/zh
Application granted granted Critical
Publication of TWI718252B publication Critical patent/TWI718252B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本發明提供了任務調度方法和裝置，透過確定任務的預設叢集與空閒的目標叢集之間的網路資源之後，根據所確定出的網路資源，對該任務進行調度。其中，預設叢集為儲存有所述任務運行所需的任務資料的叢集，由於基於叢集負載情況對任務進行調度時，所出現的頻寬佔用過高的情況主要是由於任務儘管調度至目標叢集運行，但仍需要從預設叢集讀取運行所需的任務資料而產生的，因此，採用只在目標叢集和預設叢集之間的網路資源情況較好的情況下，將任務調度至目標叢集的方式，解決了現有技術中叢集間的頻寬佔用過高的情況。

Description

任務調度方法和裝置
本發明涉及電腦技術，尤其涉及一種任務調度方法和裝置。
為了提高系統的穩定性和網路中心的資料處理能力及服務能力，通常採用叢集技術。叢集技術的出現，能夠使得伺服器相互連接在一起，構成一個叢集，多個叢集相互連接構成一個分散式系統，該分散式系統內的各個叢集運行一系列共同的應用程式。
在分散式系統內部，將應用程式劃分為多個任務，每個任務分配一個叢集進行運行，將所分配的叢集作為該任務的預設叢集，並在預設叢集上運行該任務，以及儲存任務運行所需的任務資料。可見，在這種情況下，當任務所需的運行能力會與叢集的運行能力不匹配時，從而出現各個叢集負載不均衡的情況。
為了提高各個叢集的運行效率，從而使得分散式系統的運行效率最大化，分散式系統可以基於各叢集負載情況對計算任務進行調度，由所調度至的叢集運行計算任務。 但在實際運行過程中，往往會出現叢集間的頻寬佔用過高的情況。
本發明提供一種任務調度方法和裝置，用於解決現有技術中叢集間的頻寬佔用過高的情況。
為達到上述目的，本發明的實施例採用如下技術方案：
第一方面，提供了一種任務調度方法，確定任務的預設叢集與空閒的目標叢集之間的網路資源；所述預設叢集為儲存有所述任務運行所需的任務資料的叢集；根據所述網路資源，對所述任務進行調度。
第二方面，提供了一種任務調度裝置，包括：確定模組，用於確定任務的預設叢集與空閒的目標叢集之間的網路資源；所述預設叢集為儲存有所述任務運行所需的任務資料的叢集；調度模組，用於根據所述網路資源，對所述任務進行調度。
本發明實施例提供的任務調度方法和裝置，透過確定任務的預設叢集與空閒的目標叢集之間的網路資源之後，根據所確定出的網路資源，對所述任務進行調度。其中，預設叢集為儲存有所述任務運行所需的任務資料的叢集，由於基於叢集負載情況對任務進行調度時，所出現的頻寬佔用過高的情況主要是由於任務儘管調度至目標叢集運 行，但仍需要從預設叢集讀取運行所需的任務資料而產生的，因此，採用只在目標叢集和預設叢集之間的網路資源情況較好的情況下，將任務調度至目標叢集的方式，解決了現有技術中叢集間的頻寬佔用過高的情況。
上述說明僅是本發明技術方案的概述，為了能夠更清楚瞭解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的具體實施方式。
101-102‧‧‧步驟
201-209‧‧‧步驟
31‧‧‧確定模組
32‧‧‧調度模組
33‧‧‧負載均衡模組
311‧‧‧關係確定單元
312‧‧‧資源確定單元
321‧‧‧第一調度單元
322‧‧‧第二調度單元
323‧‧‧第三調度單元
透過閱讀下文較佳實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明瞭。圖式僅用於示出較佳實施方式的目的，而並不認為是對本發明的限制。而且在整個圖式中，用相同的參考符號表示相同的元件。在圖式中：圖1為本發明實施例一提供的一種任務調度方法的流程示意圖；圖2為一種網路的結構示意圖；圖3為本發明實施例二提供的一種任務調度方法的流程示意圖；圖4為本發明實施例三提供的一種任務調度裝置的結構示意圖；圖5為本發明實施例三提供的另一種任務調度裝置的結構示意圖。
下面將參照圖式更詳細地描述本公開的示例性實施例。雖然圖式中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
下面結合圖式對本發明實施例提供的任務調度方法和裝置進行詳細描述。
實施例一
圖1為本發明實施例一提供的一種任務調度方法的流程示意圖，本實施例所提供的方法，可以由分散式系統中的工作管理員執行，如圖1所示，方法包括：
步驟101、確定任務的預設叢集與空閒的目標叢集之間的網路資源。
其中，預設叢集為儲存有該任務運行所需的任務資料的叢集，網路資源包括：網路頻寬和網路頻寬時延乘積中的至少一個。
具體的，可以建立起一套網路模型，該網路模型用於區分不同叢集之間的網路結構關係，這裡所說的網路結構關係可以包括同核心交換機、同地域和異地。其中，同核心交換機是指兩叢集屬於同一個核心交換機，同地域是指 兩叢集屬於同一個地域，異地是指兩叢集分屬於不同的地域。首先，可以基於負載均衡確定空閒的目標叢集，若預設叢集與目標叢集之間為同核心交換機，確定網路資源的級別為第一等級，如優等；若預設叢集與目標叢集之間為同地域，確定網路資源的級別為第二等級，如一般；若預設叢集與目標叢集之間為異地，確定網路資源的級別為第三等級，如差等。
進一步，在所建立起的網路模型中，還可以採用叢集間距離表示叢集間的網路結構關係，距離越近則網路結構關係越緊密，距離越遠則網路結構關係越疏遠，例如：叢集間距離為20時，叢集間為同核心交換機；叢集間距離為21時，叢集間為同地域；叢集間距離為22時，叢集間為異地。
例如：圖2為一種網路的結構示意圖，針對如圖2所示的網路結構，叢集1和叢集2同屬於一個核心交換機，叢集3和叢集4分屬於不同交換機，同時，叢集1、叢集2、叢集3和叢集4同屬於地域1，另外，叢集5屬於地域2，與叢集1-4為異地。
因此，所建立的叢集1為預設叢集時的網路模型為：叢集1和叢集2之間為同核心交換機，網路距離為1；叢集1和叢集3之間為同地域，網路距離為2；叢集1和叢集4之間為同地域，網路距離為2；叢集1和叢集5之間為異地，網路距離為4。
需要說明的是，這裡所說的地域不是指行政區域上的地域，而是網路中的地域。網路距離可以採用2n的方式進行計算，同核心交換機時n=0，同地域時n=1，異地時n=2。
步驟102、根據所確定出的網路資源，對該任務進行調度。
具體的，按照所述網路資源由多至少的順序，優先將任務調度至預設叢集和目標叢集之間的網路資源最多的目標叢集。
由於基於叢集負載情況對任務進行調度時，所出現的頻寬佔用過高的情況主要是由於任務儘管調度至目標叢集運行，但仍需要從預設叢集讀取運行所需的任務資料而產生的，因此，採用只在目標叢集和預設叢集之間的網路資源情況較好的情況下，從而使得目標叢集和預設叢集之間的網路資源能夠滿足任務所需，才將任務調度至目標叢集的方式，解決了現有技術中叢集間的頻寬佔用過高的情況。
作為一種可能的實現方式，在優先將任務調度至預設叢集和目標叢集之間的網路資源最多的目標叢集的基礎上，還可以將網路資源劃分為各個級別。在對任務進行調度之前，判斷當前網路資源最多的目標叢集的網路資源的級別，若當前網路資源最多的目標叢集的網路資源的級別為優等，將任務調度至該目標叢集；若網路資源的級別為一般，根據對任務進行調度的網路資源佔用情況確定是否 將任務調度至目標叢集；若網路資源的級別為差等，將任務調度至預設叢集，而不將該任務調度至當前網路資源最多的目標叢集，除非該任務需要從該目標叢集讀取依賴資料。
其中，依賴資料是該任務運行所需的其他任務生成的運行結果資料。
透過這種方式，避免了當前網路資源最多的目標叢集不能滿足任務所需的網路資源的情況下，例如：當前網路資源最多的目標叢集與預設叢集之間為跨地域時，將任務調度至該目標叢集所導致的網路資源佔用過多的情況。
實施例二
圖3為本發明實施例二提供的一種任務調度方法的流程示意圖，如圖3所示，包括：
步驟201、查詢任務的預設叢集的負載是否空閒，如果空閒則執行步驟202，否則執行步驟203。
具體的，獲取到待調度的任務後，首先查詢任務的預設叢集的負載是否空閒，若空閒則由預設叢集運行該任務，這是由於無論任務在哪一個叢集上運行，該任務均需要從預設叢集讀取運行所需的任務資料，因此，將任務運行在預設叢集上，則能夠有效避免因為讀取任務資料所產生的頻寬佔用，從而避免頻寬佔用過高的情況發生。
步驟202、將任務調度至預設叢集，流程結束。
具體的，將任務調度至預設叢集上排隊等待運行。
步驟203、判斷是否存在該任務所屬業務單元所對應的叢集中與預設叢集之間為同核心交換機的目標叢集，如果存在，則執行步驟204，否則執行步驟202。
具體的，可以預先建立分散式系統的網路模型，網路模型中記載了各個業務單元所對應的叢集，使得各業務單元利用各自對應的叢集執行業務單元內的任務，便於對業務進行管理。同時，在網路模型中還採用了網路距離的方式描述了叢集相互之間的網路關係，將叢集間為同核心交換機記為網路距離為20，將叢集間為同地域記為網路距離為21，將叢集間為異地為網路距離為22。如圖2所示，叢集1和叢集2屬於同一業務單元1，叢集3和叢集4同屬於業務單元2，叢集5屬於業務單元3。
基於這一預先建立的網路模型，在本步驟中查詢任務所屬的業務單元對應了哪些叢集，進而在這些叢集中首先查詢與預設叢集之間網路距離為20的叢集，以對任務進行調度。
從而透過預先建立的網路模型，在分散式系統中按照網路距離由近至遠的方式，依次從分散式系統中選定目標叢集，從而保證了優先將任務調度至網路資源情況較好的目標叢集上。
步驟204、判斷同核心交換機的目標叢集是否空閒，如果是，則執行步驟205，否則，執行步驟206。
步驟205、調度任務至同核心交換機的目標叢集。
步驟206、判斷任務所屬業務單元所對應的叢集中是 否存在與預設叢集之間為同地域的目標叢集，如果存在，則執行步驟207，否則執行步驟202。
具體的，基於預先建立的網路模型，查詢與預設叢集之間網路距離為2的叢集。
步驟207、判斷同地域的目標叢集是否空閒，如果是，則執行步驟208，否則執行步驟202。
若同地域的目標叢集均為超負荷狀態，則將任務調度至同樣為超負荷狀態的預設叢集上，這是由於，儘管有可能存在異地的目標叢集，但將任務調度至異地的目標叢集上時，網路頻寬佔用較多，因此，需要將任務調度至網路資源佔用少的預設叢集上，才能夠解決網路頻寬佔用較多的問題。
步驟208、判斷同地域的目標叢集與預設叢集之間的網路頻寬情況是否能夠滿足任務的網路開銷，若滿足，執行步驟209，否則執行步驟202。
具體的，假設任務只會跨叢集訪問一份任務資料，能夠從歷史資料中獲得該任務單次訪問任務資料的時間長度，其中時間長度等於結束時刻與開始時刻之間的差值，即間隔。假設在這段時間內該任務的讀取資料速率恒定，那麼這個任務造成的網路開銷為：任務資料的資料量與時間長度之比。叢集間的頻寬是定值，如果當任務訪問任務資料期間，即結束時刻與開始時刻之間，只有該任務在運行，那麼只要網路開銷小於頻寬那麼就是能夠滿足任務的網路開銷的。
步驟209、調度任務到同地域的目標叢集上，流程結束。
按照網路頻寬由多至少的順序，優先將任務調度至網路頻寬最多的目標叢集，也就是同核心交換機的目標叢集上，若同核心交換機均為超負荷狀態下，再將任務調度至網路頻寬次多的目標叢集上，也就是同地域的目標叢集上，在進行負載均衡的同時使得任務的網路頻寬佔用最小化，解決了現有技術中叢集間的頻寬佔用過高的情況。
實施例三
圖4為本發明實施例三提供的一種任務調度裝置的結構示意圖，如圖3所示，包括：確定模組31和調度模組32。
確定模組31，用於確定任務的預設叢集與空閒的目標叢集之間的網路資源。
其中，預設叢集為儲存有該任務運行所需的任務資料的叢集，網路資源包括：網路頻寬和網路頻寬時延乘積中的至少一個。
調度模組32，用於根據預設叢集與目標叢集之間的網路資源，對任務進行調度。
具體的，調度模組32，具體用於將任務調度至網路資源最多的目標叢集。
進一步，圖5為本發明實施例三提供的另一種任務調度裝置的結構示意圖，如圖5所示，在圖4所提供的任務 調度裝置的基礎上，確定模組31包括：關係確定單元311和資源確定單元312。
關係確定單元311，用於確定所述預設叢集與所述目標叢集之間的網路結構關係。
其中，網路結構關係包括同核心交換機、同地域和異地。
資源確定單元312，用於根據所述網路結構關係，確定所述網路資源。
具體的，資源確定單元312，具體用於若所述預設叢集與所述目標叢集之間為同核心交換機，確定所述網路資源的級別為第一等級；若所述預設叢集與所述目標叢集之間為同地域，確定所述網路資源的級別為第二等級；若所述預設叢集與所述目標叢集之間為異地，確定所述網路資源的級別為第三等級。
進一步，調度模組32，包括：第一調度單元321、第二調度單元322和第三調度單元323。
第一調度單元321，用於若所述預設叢集與所述目標叢集之間的網路資源的級別為第一等級，將所述任務調度至所述目標叢集。
第二調度單元322，用於若所述預設叢集與所述目標叢集之間的網路資源的級別為第二等級，根據對所述任務進行調度的網路資源佔用情況確定將所述任務調度至所述預設叢集或所述目標叢集。
若網路資源為網路頻寬，則第二調度單元322具體用 於從歷史記錄中獲得所述任務單次讀取所述任務資料的時間長度；計算所述任務資料的資料量與所述時間長度之比，獲得所述任務的網路開銷；若所述任務的網路開銷小於所述預設叢集與所述目標叢集之間的網路頻寬，則將所述任務調度至所述目標叢集；若所述任務的網路開銷不小於所述預設叢集與所述目標叢集之間的網路頻寬，則將所述任務調度至所述預設叢集。
第三調度單元323，用於若所述預設叢集與所述目標叢集之間的網路資源的級別為第三等級，將所述任務調度至所述預設叢集。
進一步，任務調度裝置，還包括：負載均衡模組33，用於若所述預設叢集處於超負荷狀態，則基於負載均衡方式，確定所述目標叢集。
本實施例中，透過確定任務的預設叢集與空閒的目標叢集之間的網路資源之後，根據所確定出的網路資源，對所述任務進行調度。其中，預設叢集為儲存有所述任務運行所需的任務資料的叢集，由於基於叢集負載情況對任務進行調度時，所出現的頻寬佔用過高的情況主要是由於任務儘管調度至目標叢集運行，但仍需要從預設叢集讀取運行所需的任務資料而產生的，因此，採用只在目標叢集和預設叢集之間的網路資源情況較好的情況下，將任務調度至目標叢集的方式，解決了現有技術中叢集間的頻寬佔用過高的情況。
本領域普通技術人員可以理解：實現上述各方法實施 例的全部或部分步驟可以透過程式指令相關的硬體來完成。前述的程式可以儲存於一電腦可讀取儲存介質中。該程式在執行時，執行包括上述各方法實施例的步驟；而前述的儲存介質包括：ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的範圍。

Claims (16)

  1. 一種任務調度方法，其特徵在於，包括：確定任務的預設叢集與空閒的目標叢集之間的網路資源；該預設叢集為儲存有該任務運行所需的任務資料的叢集；根據該網路資源，對該任務進行調度。
  2. 根據請求項1所述的任務調度方法，其中，該根據該網路資源，對該任務進行調度，包括：將該任務調度至該網路資源最多的目標叢集。
  3. 根據請求項1所述的任務調度方法，其中，該確定任務的預設叢集與空閒的目標叢集之間的網路資源，包括：確定該預設叢集與該目標叢集之間的網路結構關係；根據該網路結構關係，確定該網路資源。
  4. 根據請求項3所述的任務調度方法，其中，該網路結構關係包括同核心交換機、同地域和異地；該根據該網路結構關係，確定該網路資源包括：若該預設叢集與該目標叢集之間為同核心交換機，確定該網路資源的級別為第一等級；若該預設叢集與該目標叢集之間為同地域，確定該網路資源的級別為第二等級；若該預設叢集與該目標叢集之間為異地，確定該網路資源的級別為第三等級。
  5. 根據請求項4所述的任務調度方法，其中，該根據 該網路資源，對該任務進行調度，包括：若該預設叢集與該目標叢集之間的網路資源的級別為第一等級，將該任務調度至該目標叢集；若該預設叢集與該目標叢集之間的網路資源的級別為第二等級，根據對該任務進行調度的網路資源佔用情況確定將該任務調度至該預設叢集或該目標叢集；若該預設叢集與該目標叢集之間的網路資源的級別為第三等級，將該任務調度至該預設叢集。
  6. 根據請求項5所述的任務調度方法，其中，該網路資源為網路頻寬，該根據對該任務進行調度的網路資源佔用情況確定將該任務調度至該預設叢集或該目標叢集，包括：從歷史記錄中獲得該任務單次讀取該任務資料的時間長度；計算該任務資料的資料量與該時間長度之比，獲得該任務的網路開銷；若該任務的網路開銷小於該預設叢集與該目標叢集之間的網路頻寬，則將該任務調度至該目標叢集；若該任務的網路開銷不小於該預設叢集與該目標叢集之間的網路頻寬，則將該任務調度至該預設叢集。
  7. 根據請求項1所述的任務調度方法，其中，該確定任務的預設叢集與空閒的目標叢集之間的網路資源之前，還包括：若該預設叢集處於超負荷狀態，則基於負載均衡方 式，確定該目標叢集。
  8. 根據請求項1-5中任一項所述的任務調度方法，其中，該網路資源包括：網路頻寬和網路頻寬時延乘積中的至少一個。
  9. 一種任務調度裝置，其特徵在於，包括：確定模組，用於確定任務的預設叢集與空閒的目標叢集之間的網路資源；該預設叢集為儲存有該任務運行所需的任務資料的叢集；調度模組，用於根據該網路資源，對該任務進行調度。
  10. 根據請求項9所述的任務調度裝置，其中，該調度模組，具體用於將該任務調度至該網路資源最多的目標叢集。
  11. 根據請求項9所述的任務調度裝置，其中，該確定模組，包括：關係確定單元，用於確定該預設叢集與該目標叢集之間的網路結構關係；資源確定單元，用於根據該網路結構關係，確定該網路資源。
  12. 根據請求項11所述的任務調度裝置，其中，該網路結構關係包括同核心交換機、同地域和異地；該資源確定單元，具體用於若該預設叢集與該目標叢集之間為同核心交換機，確定該網路資源的級別為第一等級；若該預設叢集與該目標叢集之間為同地域，確定該網 路資源的級別為第二等級；若該預設叢集與該目標叢集之間為異地，確定該網路資源的級別為第三等級。
  13. 根據請求項12所述的任務調度裝置，其中，該調度模組，包括：第一調度單元，用於若該預設叢集與該目標叢集之間的網路資源的級別為第一等級，將該任務調度至該目標叢集；第二調度單元，用於若該預設叢集與該目標叢集之間的網路資源的級別為第二等級，根據對該任務進行調度的網路資源佔用情況確定將該任務調度至該預設叢集或該目標叢集；第三調度單元，用於若該預設叢集與該目標叢集之間的網路資源的級別為第三等級，將該任務調度至該預設叢集。
  14. 根據請求項13所述的任務調度裝置，其中，該網路資源為網路頻寬；該第二調度單元，具體用於從歷史記錄中獲得該任務單次讀取該任務資料的時間長度；計算該任務資料的資料量與該時間長度之比，獲得該任務的網路開銷；若該任務的網路開銷小於該預設叢集與該目標叢集之間的網路頻寬，則將該任務調度至該目標叢集；若該任務的網路開銷不小於該預設叢集與該目標叢集之間的網路頻寬，則將該任務調度至該預設叢集。
  15. 根據請求項9所述的任務調度裝置，其中，該裝 置，還包括：負載均衡模組，用於若該預設叢集處於超負荷狀態，則基於負載均衡方式，確定該目標叢集。
  16. 根據請求項9-13中任一項所述的任務調度裝置，其中，該網路資源包括：網路頻寬和網路頻寬時延乘積中的至少一個。
TW106105354A 2016-03-25 2017-02-17 任務調度方法和裝置 TWI718252B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610180450.2A CN107229519B (zh) 2016-03-25 2016-03-25 任务调度方法和装置
CN201610180450.2 2016-03-25

Publications (2)

Publication Number Publication Date
TW201735596A true TW201735596A (zh) 2017-10-01
TWI718252B TWI718252B (zh) 2021-02-11

Family

ID=59899248

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105354A TWI718252B (zh) 2016-03-25 2017-02-17 任務調度方法和裝置

Country Status (3)

Country Link
CN (1) CN107229519B (zh)
TW (1) TWI718252B (zh)
WO (1) WO2017162075A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019581B (zh) * 2019-05-30 2022-02-25 华为技术有限公司 一种调度任务处理实体的方法及装置
CN113296913A (zh) * 2021-05-25 2021-08-24 未鲲(上海)科技服务有限公司 基于单集群的数据处理方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100485625C (zh) * 2007-11-01 2009-05-06 北京工业大学 一种实时系统任务调度方法
WO2011075729A2 (en) * 2009-12-18 2011-06-23 Morningside Analytics, Llc System and method for attentive clustering and related analytics and visualizations
CN102143046B (zh) * 2010-08-25 2015-03-11 华为技术有限公司 负载均衡的方法、设备和系统
US9298790B2 (en) * 2013-01-18 2016-03-29 Microsoft Technology Licensing, Llc Replication of assets across data centers
CN103605567B (zh) * 2013-10-29 2017-03-22 河海大学 面向实时性需求变化的云计算任务调度方法
CN103647820B (zh) * 2013-12-09 2016-11-23 华为数字技术（苏州）有限公司 用于分布式集群系统的仲裁方法及仲裁装置
WO2015139164A1 (zh) * 2014-03-17 2015-09-24 华为技术有限公司 一种任务调度的方法、装置及设备
US9367366B2 (en) * 2014-03-27 2016-06-14 Nec Corporation System and methods for collaborative query processing for large scale data processing with software defined networking
CN105391742B (zh) * 2015-12-18 2019-05-21 桂林电子科技大学 一种基于Hadoop的分布式入侵检测系统

Also Published As

Publication number Publication date
CN107229519A (zh) 2017-10-03
TWI718252B (zh) 2021-02-11
CN107229519B (zh) 2021-04-23
WO2017162075A1 (zh) 2017-09-28

Similar Documents

Publication Publication Date Title
US10936364B2 (en) Task allocation method and system
US9979631B2 (en) Dynamic rerouting of service requests between service endpoints for web services in a composite service
JP6490913B2 (ja) グリッドコンピューティングシステムの遊休リソースによるタスク実行
CN104391737B (zh) 云平台中负载平衡的优化方法
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
US20160378570A1 (en) Techniques for Offloading Computational Tasks between Nodes
US20230004436A1 (en) Container scheduling method and apparatus, and non-volatile computer-readable storage medium
US9870269B1 (en) Job allocation in a clustered environment
US10367719B2 (en) Optimized consumption of third-party web services in a composite service
CN103763378A (zh) 基于分布式流式计算系统的任务处理方法、系统及节点
CN102111337A (zh) 任务调度方法和系统
CN109861850B (zh) 一种基于sla的无状态云工作流负载均衡调度的方法
CN102694868A (zh) 一种集群系统实现及任务动态分配方法
CN104462432A (zh) 自适应的分布式计算方法
CN105516347A (zh) 一种流媒体服务器的负载均衡调配的方法及装置
JP2021056955A (ja) 分散型ストレージシステム及びデータ移動方法
US20120089734A1 (en) Allocation of resources between web services in a composite service
CN104407926A (zh) 一种云计算资源的调度方法
CN113228574A (zh) 计算资源调度方法、调度器、物联网系统和计算机可读介质
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
CN112416568A (zh) 音视频转码任务的时长预估方法和时长预估装置
CN107038067B (zh) 分布式流处理中处理资源的管理方法和装置
CN108897622A (zh) 一种任务运行的调度方法以及相关装置
CN105915630A (zh) 跨网络数据传输系统及负载均衡调度方法
TW201735596A (zh) 任務調度方法和裝置