TW201828080A - 即時計算任務控制方法、裝置及應用其的即時計算系統 - Google Patents

Abstract

本發明公開了一種即時計算任務控制方法、裝置及應用其的即時計算系統，其透過在任務處理模組中設置任務控制節點，將與協調服務無關的輔助資料儲存於該任務控制節點中，並由任務控制節點將輔助資料發送至中央調度模組，既可以減輕協調服務模組的儲存及讀寫壓力，又可以減少中央調度模組和任務處理節點在資料讀寫操作上的等待時間，進而提高即時計算系統的計算能力及回應能力，有利於系統運行大叢集和大拓撲任務。另外，由於上述輔助資料與協調服務無關，故即使不透過協調服務模組進行儲存，也不會影響後續步驟對這些輔助資料的應用。

Description

即時計算任務控制方法、裝置及應用其的即時計算系統

本發明關於分散式即時計算技術領域，特別是關於即時計算任務控制方法、裝置及應用其的即時計算系統。

圖1所示為現有Storm、Jstorm、Spark streaming等即時計算系統的拓撲結構。參照圖1，在處理即時計算任務時，即時計算系統的任務執行模組1000的各個任務處理節點(task)1200分別將計算過程中產生的狀態資訊或採樣資訊等輔助資料儲存在外部的協調服務模組3000(如Zookeeper)中；同時，中央調度模組2000(如Nimbus)從協調服務模組3000讀取所需的輔助資料，以對所述任務執行模組1000進行即時調度和監控。例如，中央調度模組2000可以從協調服務模組3000讀取任務處理節點的心跳資料，並判斷其是否超時，如果超時，則中央調度模組2000觸發該task的重新調度。又如，中央調度模組2000也會定期從協調服務模組3000中 讀取即時計算任務的採樣資料，以用於任務資訊的監控和展示。

基於上述即時計算任務處理過程，隨著即時計算需求的增加，計算量隨之增大，單位時間內需要由協調服務模組儲存的資料量及儲存次數也隨之增加，相應的，中央調度模組為實現任務監控，單位時間內從協調服務模組中讀取資料的次數也會增加。可見，即時計算任務的增加，要求協調服務模組有更高的資料讀寫速度；如果協調服務模組不能滿足即時計算任務增加導致的資料高速讀寫要求，將導致系統的任務執行模組及中央調度模組長時間等待協調服務模組執行讀寫操作，即不能及時儲存及讀取輔助資料，最終導致系統計算能力及回應能力的下降。

為了解決上述技術問題，本發明公開了一種即時計算任務控制方法、裝置及應用其的即時計算系統。

本發明第一態樣提供了一種即時計算任務控制方法，所述方法應用於即時計算系統，且所述即時計算系統的任務執行模組中設置有控制節點；所述方法包括：在所述控制節點作為任務控制節點時，所述任務控制節點獲取並儲存所述任務執行模組的各個任務處理節點產生的與協調服務無關的輔助資料；所述任務控制節點將所述輔助資料發送至中 央調度模組，以便所述中央調度模組根據所述輔助資料對所述任務處理節點進行調度和監控。

結合第一態樣，在第一態樣第一種可行的實施方式中，所述任務控制節點在將所述輔助資料發送至中央調度模組之前，所述方法還包括：所述任務控制節點將所述輔助資料中的冗餘資料進行合併。

結合第一態樣，或者第一態樣第一種可行的實施方式，在第一態樣第二種可行的實施方式中，所述任務執行模組中設置的所述控制節點有多個，任一時刻有且僅有一個控制節點作為所述任務控制節點，其他控制節點作為備用控制節點；所述方法還包括：定期判斷所述任務控制節點是否失效；如果失效，則將所述任務控制節點更改為當前備用控制節點中的任一控制節點。

結合第一態樣第二種可行的實施方式，在第一態樣第三種可行的實施方式中，所述定期判斷所述任務控制節點是否失效，包括：所述備用控制節點接收所述任務控制節點的同步訊息；如果所述備用控制節點在預設週期內未接收到所述同步訊息，則判定所述任務控制節點失效。

結合第一態樣，或者第一態樣第一種可行的 實施方式，在第一態樣第四種可行的實施方式中，所述輔助資料至少包括：任務處理節點的心跳資料和監控採樣資料。

本發明第二態樣提供了一種即時計算任務控制裝置，所述裝置應用於即時計算系統；所述裝置包括：設置於所述即時計算系統的任務執行模組中的控制節點；所述控制節點包括：資料儲存單元，用於在所述控制節點作為任務控制節點時，獲取並儲存所述任務執行模組的任務處理節點在執行所述即時計算任務時產生的與協調服務無關的輔助資料；資料發送單元，用於將所述輔助資料發送至所述即時計算系統的中央調度模組，以便所述中央調度模組根據所述輔助資料對所述任務處理節點進行調度和監控。

結合第二態樣，在第二態樣第一種可行的實施方式中，所述控制節點還包括：資料合併單元，用於在所述資料發送單元將所述輔助資料發送至中央調度模組之前，將所述輔助資料中的冗餘資料進行合併。

結合第二態樣，或者第二態樣第一種可行的實施方式，在第二態樣第二種可行的實施方式中，所述控制節點有多個，任一時刻有且僅有一個控制節點作為所述任務控制節點，其他控制節點作為備用控制節點； 所述裝置還包括：失效檢測單元，用於定期判斷所述任務控制節點是否失效；如果失效，則將所述任務控制節點更改為當前備用控制節點中的任一控制節點。

結合第二態樣第二種可行的實施方式，在第二態樣第三種可行的實施方式中，所述失效檢測單元設置於所述控制節點中；所述失效檢測單元具體被配置為：在所在控制節點為備用控制節點時，接收所述任務控制節點的同步訊息，如果在預設週期內未接收到所述同步訊息，則判定所述任務控制節點失效。

本發明協力廠商面提供了一種即時計算系統，該系統包括：任務執行模組和中央調度模組；其中，所述任務執行模組包括任務處理節點和任務控制節點；所述任務處理節點用於執行即時計算任務；所述任務控制節點用於獲取並儲存所述任務處理節點在執行所述即時計算任務時產生的與協調服務無關的輔助資料，並將所述輔助資料發送至所述中央調度模組；所述中央調度模組用於根據所述輔助資料對所述任務處理節點進行調度和監控。

由以上技術方案可知，本發明實施例透過在任務處理模組中設置任務控制節點，將與協調服務無關的 輔助資料儲存於該任務控制節點中，並由任務控制節點將輔助資料發送至中央調度模組，既可以減輕協調服務模組的儲存及讀寫壓力，又可以減少中央調度模組和任務處理節點在資料讀寫操作上的等待時間，進而提高即時計算系統的計算能力及回應能力，有利於系統運行大叢集和大拓撲任務。另外，由於上述輔助資料與協調服務無關，故即使不透過協調服務模組進行儲存，也不會影響後續步驟對這些輔助資料的應用。

1000‧‧‧任務執行模組

1103‧‧‧失效檢測單元

1110‧‧‧控制節點

1111‧‧‧資料儲存單元

1112‧‧‧資料發送單元

1113‧‧‧失效檢測單元

1120‧‧‧控制節點

1121‧‧‧資料儲存單元

1122‧‧‧資料發送單元

1123‧‧‧失效檢測單元

1200‧‧‧任務處理節點

2000‧‧‧中央調度模組

3000‧‧‧協調服務模組

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，對於本領域普通技術人員而言，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為現有即時計算系統的拓撲結構圖；圖2本發明實施例提供的一種即時計算系統的拓撲結構圖；圖3為本發明一個實施例提供的即時計算任務控制方法的信號流圖；圖4本發明實施例提供的另一種即時計算系統的拓撲結構圖；圖5為本發明另一個實施例提供的即時計算任務控制方法的信號流圖； 圖6為本發明一個實施例提供的即時計算任務控制裝置的結構方塊圖；圖7為本發明另一個實施例提供的即時計算任務控制裝置的結構方塊圖；圖8為本發明又一個實施例提供的即時計算任務控制裝置的結構方塊圖。

這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述關於附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本發明相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本發明的一些態樣相一致的裝置和方法的例子。

首先對本發明提供的即時計算任務控制方法的實施例進行說明。

圖2為基於本發明實施例進行改進得到的即時計算系統的拓撲結構圖；參照圖2，本實施例預先在即時計算系統的任務執行模組1000中設置控制節點1110，透過該控制節點1110實現對即時計算任務的控制；其中，上述即時計算系統具體可以為Storm、Jstorm、Spark streaming等。

圖3為本發明實施例提供的一種即時計算任 務控制方法信號流圖。參照圖2和圖3，該方法包括如下步驟。

S11、在所述控制節點1110作為任務控制節點時，所述任務控制節點獲取所述任務執行模組的各個任務處理節點產生的與協調服務無關的輔助資料。

上述與協調服務無關的輔助資料，即不需要經過Zookeeper等協調服務模組提供相關特殊服務處理的資料。

S12、所述任務控制節點儲存所述輔助資料。

S13、所述任務控制節點將所述輔助資料發送至中央調度模組，以便所述中央調度模組根據所述輔助資料對所述任務處理節點進行調度和監控。

由以上技術方案可知，本發明實施例將上述與協調服務無關的輔助資料儲存於任務處理模組的任務控制節點中，並由任務控制節點將其發送至中央調度模組，既可以減輕協調服務模組的儲存及讀寫壓力，又可以減少中央調度模組和任務處理節點在資料讀寫操作上的等待時間，進而提高即時計算系統的計算能力及回應能力，有利於系統運行大叢集和大拓撲任務。另外，由於上述輔助資料與協調服務無關，故即使不透過協調服務模組進行儲存，也不會影響後續步驟對這些輔助資料的應用。

在本發明一個可行的實施例中，上述輔助資料至少包括：任務處理節點的心跳資料和監控採樣資料。相關技術中，中央調度模組對這兩種資料的讀取頻率較 高，將其儲存於任務控制節點中，可以大大減輕協調服務模組的資料讀寫壓力。

在本發明一個可行的實施例中，在執行步驟S13將所述輔助資料發送至中央調度模組之前，還可以執行如下步驟：所述任務控制節點將所述輔助資料中的冗餘資料進行合併。

以心跳資料為例，一般的，任務處理節點沒10秒產生一次心跳資料，而心跳超市時間為4分鐘，由於實施計算系統可以忍受一定的訊息丟失率，任務控制節點可以將4分鐘內接收到的心跳資料進行合併精簡(例如刪除一部分心跳資料)，將合併精簡後的心跳資料發送至中央調度模組，從而可以在不影響系統正常計算的前提下，減少中央調度模組所要讀取並處理的資料量，減輕中央調度模組的資料處理壓力。

在本發明一個可行的實施例中，任務執行模組中同時設置多個控制節點，任一時刻有且僅有一個控制節點作為所述任務控制節點，其他控制節點作為備用控制節點。如圖4所示的另一種改進後的即時計算系統拓撲結構圖，其任務執行模組中設置有兩個控制節點，即控制節點1110和控制節點1120，某一情況下，可以將實線方塊表示的控制節點1110設定為任務控制節點，虛線方塊表示的控制節點1120作為備用控制節點；再另一情況下，也可以將控制節點1120設定為任務控制節點，控制節點1110作為備用控制節點。

基於圖4所示拓撲結構，上述時計算任務控制方法還包括：定期判斷所述任務控制節點是否失效；如果失效，則將所述任務控制節點更改為當前備用控制節點中的任一控制節點。

以圖4所示結構為例，在控制節點1110作為任務控制節點、控制節點1120作為備用控制節點的情況下，對控制節點1110的有效性進行檢測；如果檢測到控制節點1110失效，則將控制節點1120設定為任務控制節點，控制節點1110設定為備用控制節點，從而由控制節點1120執行上述步驟S11至S13。

上述實施例透過對當前的任務控制節點的有效性進行檢測，當其失效時，換用備用控制節點作為任務控制節點，執行上述步驟S11至S13，從而提高上述控制方法的可用性，避免任務控制節點失效引起上述控制方法無法執行。

進一步的，在對任務控制節點進行有效性檢測時，還可以同時對至少一個當前備用控制節點進行有效性檢測；進而在判定任務控制節點失效時，選擇經檢測確認有效的一個當前備用控制節點作為新的任務控制節點。

較佳的，可用直接透過備用控制節點判斷任務控制節點是否失效，參照圖5，具體步驟如下：S14、所述備用控制節點接收所述任務控制節點的同步訊息； S15、如果所述備用控制節點在預設週期內未接收到所述同步訊息，則判定所述任務控制節點失效。

仍以圖4所示結構為例，在控制節點1110作為任務控制節點、控制節點1120作為備用控制節點的情況下，控制節點1110在執行上述步驟S11至S13的同時，按照預設週期向控制節點1120發送同步訊息；相應的控制節點1120週期性接收控制節點1110發送的同步訊息，如果控制節點1120在預設週期內未接收到控制節點1110的同步訊息，則控制節點1120判定控制節點1110失效，控制節點1120自動提升為任務控制節點，相應的控制節點1110變更為備用控制節點。

另外，如果任務執行模組中的控制節點個數超過兩個，可以為每個控制節點設置相應的優先順序，優先將優先順序高的控制節點設定為任務控制節點，相應的，當檢測到當前的任務控制節點失效時，將多個備用控制節點中優先順序最高的一個提升為任務控制節點。

與上述即時計算任務控制方法的實施例相對應，本發明實施例還提供了一種即時計算任務控制裝置。圖6示出了該即時計算任務控制裝置的一種結構方塊圖；該裝置至少包括控制節點1110。具體的，可以將該即時計算任務控制裝置設置於即時計算系統的任務控制模組中，也即將控制節點1110設置於任務控制模組中，得到的系統拓撲結構圖可以參照圖2，此處不再贅述。

如圖6所示，本實施例提供的即時計算任務 控制裝置中，控制節點1110具體可以包括：資料儲存單元1111和資料發送單元1112。

結合圖2，資料儲存單元1111用於，在所述控制節點1110作為任務控制節點時，獲取並儲存所述任務處理節點1200在執行所述即時計算任務時產生的與協調服務無關的輔助資料。

資料發送單元1112用於，將所述輔助資料發送至所述即時計算系統的中央調度模組2000，以便所述中央調度模組2000根據所述輔助資料對所述任務處理節點1200進行調度和監控。

由以上技術方案可知，本發明實施例透過在任務處理模組中設置任務控制節點，代替相關技術中的協調服務模組，儲存任務處理節點產生的與協調服務無關的輔助資料，並由該任務控制節點將輔助資料發送至中央調度模組，既可以減輕協調服務模組的儲存及讀寫壓力，又可以減少中央調度模組和任務處理節點在資料讀寫操作上的等待時間，進而可以提高即時計算系統的計算能力及回應能力，有利於系統運行大叢集和大拓撲任務。另外，由於上述輔助資料與協調服務無關，故即使不透過協調服務模組進行儲存，也不會影響後續步驟對這些輔助資料的應用。

在本發明一個可行的實施方式中，上述裝置中的控制節點1110還可以包括：資料合併單元，用於在所述資料發送單元將所述輔助資料發送至中央調度模組之 前，將所述輔助資料中的冗餘資料進行合併。

實際應用中，即時計算任務控制裝置可以包括多個控制節點，如圖4所示系統拓撲結構，任務處理模組中同時設置有兩個控制節點(即，控制節點1110和控制節點1120)，這兩個控制節點均屬於即時計算任務控制裝置。在工作過程中，其中一個控制節點作為任務控制節點，觸發其資料儲存單元和資料發送單元，執行對相關輔助資料的儲存和轉發操作，其他控制節點作為備用控制節點；相應的，即時計算任務控制裝置還包括：失效檢測單元，用於定期判斷所述任務控制節點是否失效；如果失效，則將所述任務控制節點更改為作為備用控制節點的任一控制節點。

圖7展示了具有兩個控制節點的即時計算任務控制裝置，當前時刻，實線方塊表示的控制節點1110作為任務控制節點，虛線方塊表示的控制節點1120作為備用控制節點；失效檢測單元1103用於定期判斷控制節點1110(任務控制節點)是否失效；如果失效，則將任務控制節點更改為作為控制節點1120，原來作為任務控制節點的控制節點1110相應變更為備用控制節點。

在本發明一個可行的實施方式中，上述失效檢測單元可以設置於各個控制節點中。參照圖8，當控制節點1110作為任務控制節點，控制節點1120作為備用控制節點時，控制節點1110的資料儲存單元1111和資料發送單元1112，以及控制節點1120的失效檢測單元1123處 於工作狀態，失效檢測單元1123用於定期檢測控制節點1110是否失效，具體檢測方法為：失效檢測單元1123接收控制節點1110(任務控制節點)發送的同步訊息，如果在預設週期內未接收到所述同步訊息，則判定控制節點1110失效，進而將相應的控制節點1120提升為任務控制節點，控制節點1110相應變更為備用控制節點，即控制節點1120的資料儲存單元1121和資料發送單元1122，以及控制節點1110的失效檢測單元1113處於工作狀態，失效檢測單元1113定期檢測控制節點1120是否失效。

上述實施例透過對當前的任務控制節點的有效性進行檢測，當其失效時，換用備用控制節點作為任務控制節點，執行對輔助資料的儲存及轉發操作，從而提高上述控制節點的可用性，避免任務控制節點失效引起相應輔助資料儲存或轉發失敗。

本發明實施例還提供了一種即時計算系統，該系統包括任務執行模組和中央調度模組；其中，所述任務執行模組中設置有任務控制節點和多個任務處理節點。

所述任務處理節點用於執行即時計算任務；所述任務控制節點用於獲取並儲存所述任務處理節點在執行所述即時計算任務時產生的與協調服務無關的輔助資料，並將所述輔助資料發送至所述中央調度模組；所述中央調度模組用於根據所述輔助資料對所述任務處理節點進行調度和監控。

另外，上述即時計算系統還與外部的協調服 務模組連結，以透過該協調服務模組儲存任務處理節點產生的與協調服務相關的資料。

可見，本實施例透過在即時計算系統的任務處理模組中設置任務控制節點，代替協調服務模組儲存任務處理節點產生的部分資料(即上述與協調服務無關的輔助資料)，可以減輕協調服務模組的資料儲存及讀寫壓力，減少中央處理模組及任務處理節點在資料讀寫上的等待時間，進而可以提高即時計算系統的計算能力及回應能力，有利於系統運行大叢集和大拓撲任務。

另外，本發明實施例還提供了一種電腦儲存介質，例如可以是ROM、隨機存取記憶體(RAM)、CD-ROM、磁帶、軟碟和光資料存放裝置等；該電腦儲存介質中儲存有程式，當所述儲存介質中的程式由該任務處理模組的處理器執行時，使得該任務處理模組能夠執行上述方法實施例中記載的任一種即時計算任務控制方法所述的部分或全部步驟。

本說明書中的各個實施例均採用漸進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置和系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

以上所述的本發明實施方式，並不構成對本發明保護範圍的限定。任何在本發明的精神和原則之內所 作的修改、等同替換和改進等，均應包含在本發明的保護範圍之內。

Claims (10)

1. 一種即時計算任務控制方法，其特徵在於，應用於即時計算系統，且該即時計算系統的任務執行模組中設置有控制節點；該方法包括：在該控制節點作為任務控制節點時，該任務控制節點獲取並儲存該任務執行模組的各個任務處理節點產生的與協調服務無關的輔助資料；該任務控制節點將該輔助資料發送至中央調度模組，以便該中央調度模組根據該輔助資料對該任務處理節點進行調度和監控。
2. 根據申請專利範圍第1項所述的方法，其中，該任務控制節點在將該輔助資料發送至中央調度模組之前，該方法還包括：該任務控制節點將該輔助資料中的冗餘資料進行合併。
3. 根據申請專利範圍第1或2項所述的方法，其中，該任務執行模組中設置的該控制節點有多個，任一時刻有且僅有一個控制節點作為該任務控制節點，其他控制節點作為備用控制節點；該方法還包括：定期判斷該任務控制節點是否失效；如果失效，則將該任務控制節點更改為當前備用控制節點中的任一控制節點。
4. 根據申請專利範圍第3項所述的方法，其中，該定 期判斷該任務控制節點是否失效，包括：該備用控制節點接收該任務控制節點的同步訊息；如果該備用控制節點在預設週期內未接收到該同步訊息，則判定該任務控制節點失效。
5. 根據申請專利範圍第1或2項所述的方法，其中，該輔助資料至少包括：任務處理節點的心跳資料和監控採樣資料。
6. 一種即時計算任務控制裝置，其特徵在於，應用於即時計算系統；該裝置包括：設置於該即時計算系統的任務執行模組中的控制節點；該控制節點包括：資料儲存單元，用於在該控制節點作為任務控制節點時，獲取並儲存該任務執行模組的任務處理節點在執行該即時計算任務時產生的與協調服務無關的輔助資料；資料發送單元，用於將該輔助資料發送至該即時計算系統的中央調度模組，以便該中央調度模組根據該輔助資料對該任務處理節點進行調度和監控。
7. 根據申請專利範圍第6項所述的裝置，其中，該控制節點還包括：資料合併單元，用於在該資料發送單元將該輔助資料發送至中央調度模組之前，將該輔助資料中的冗餘資料進行合併。
8. 根據申請專利範圍第6或7項所述的裝置，其中，該控制節點有多個，任一時刻有且僅有一個控制節點作為 該任務控制節點，其他控制節點作為備用控制節點；該裝置還包括：失效檢測單元，用於定期判斷該任務控制節點是否失效；如果失效，則將該任務控制節點更改為當前備用控制節點中的任一控制節點。
9. 根據申請專利範圍第8項所述的裝置，其中，該失效檢測單元設置於該控制節點中；該失效檢測單元具體被配置為：在所在控制節點為備用控制節點時，接收該任務控制節點的同步訊息，如果在預設週期內未接收到該同步訊息，則判定該任務控制節點失效。
10. 一種即時計算系統，其特徵在於，包括：任務執行模組和中央調度模組；其中，該任務執行模組包括任務處理節點和任務控制節點；該任務處理節點用於執行即時計算任務；該任務控制節點用於獲取並儲存該任務處理節點在執行該即時計算任務時產生的與協調服務無關的輔助資料，並將該輔助資料發送至該中央調度模組；該中央調度模組用於根據該輔助資料對該任務處理節點進行調度和監控。