TWI735520B - 調整元件邏輯執行緒數量的方法及裝置 - Google Patents

Abstract

本發明實施例公開了一種調整元件邏輯執行緒數量的方法及裝置，所述方法包括：獲取一元件能夠調用的多個邏輯執行緒；根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，所述負載狀態包括正常負載狀態和異常負載狀態；根據所述元件邏輯執行緒的負載狀態，判斷所述元件是否需調整邏輯執行緒數量；如果需要，根據判斷結果調整所述元件邏輯執行緒的數量；採用本發明所公開的方法及裝置，可在保證資料即時計算的前提下，提高資源的利用率。

Description

調整元件邏輯執行緒數量的方法及裝置

本發明關於互聯網的領域，特別關於一種調整元件邏輯執行緒數量的方法及裝置。

在分散式即時計算系統中，通常會設置一電腦集群，利用所述電腦集群可實現資料的即時計算。在所述集群內，一般會設置一個主設備和多個從設備，主設備內儲存有即時計算程式，當有資料需處理時(即當分散式即時計算系統輸入外部資料時)，主設備內的即時計算程式將調用從設備內的資源，對資料進行計算。

在實際應用中，即時計算程式由多個元件組成，且每個元件執行特定的任務；而從設備可提供多個邏輯執行緒資源供主設備調用。因此，通常主設備預先為即時計算程式中的每個元件分配固定的邏輯執行緒資源，而當有資料需處理時，即時計算程式中的每個元件將調用預先分配的邏輯執行緒資源，執行任務，完成對資料的計算。

由於在即時計算系統中，外部輸入資料的資 料量並不固定，而為每個元件所分配的邏輯執行緒資源為固定的，那麼，當外部輸入資料的資料量較大時，每個元件的任務量較大，而如果此時預先為一元件所分配的邏輯執行緒資源較少，那麼會造成該元件的執行效率低下，影響資料的即時計算；同理，如果外部輸入資料的資料量較小，而預先為一元件所分配的邏輯執行緒資源較多，那麼會造成資源的浪費。因此，在現有技術中，亟需一種調整元件邏輯執行緒數量的方法及裝置，以在保證資料即時計算的前提下，提高資源的利用率。

本發明實施例中提供了一種調整元件邏輯執行緒數量的方法及裝置，以在保證資料即時計算的前提下，提高資源的利用率。

為了解決上述技術問題，本發明實施例公開了如下技術方案：一態樣，本發明公開了一種調整元件邏輯執行緒數量的方法，包括：獲取一元件能夠調用的多個邏輯執行緒；根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，所述負載狀態包括正常負載狀態和異常負載狀態；根據所述元件邏輯執行緒的負載狀態，判斷所述元件是否需調整邏輯執行緒數量； 如果需要，根據判斷結果調整所述元件邏輯執行緒的數量。

可選的，所述根據判斷結果調整所述元件邏輯執行緒的數量，包括：將所述元件的邏輯執行緒數量調整為：所述元件當前邏輯執行緒數量*發送裝置每秒發送資料的資料量/所述元件每秒接收資料的資料量，所述發送裝置為發送資料至所述元件的裝置。

可選的，所述異常負載狀態包括高負載狀態和低負載狀態，所述利用率=訊息佇列中儲存資料佔用的空間/訊息佇列的預分配儲存空間；所述根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，包括：判斷一邏輯執行緒對應資料處理佇列的利用率，是否大於第一預設閾值；如果大於第一預設閾值，確定所述邏輯執行緒為高負載狀態；如果不大於第一預設閾值，判斷當前邏輯執行緒對應資料處理佇列的利用率，是否小於第二預設閾值；如果小於第二預設閾值，確定所述邏輯執行緒為低負載狀態。

可選的，根據所述元件中所有邏輯執行緒的負載狀態，判斷所述元件是否需調整邏輯執行緒數量，包 括：分別統計所述元件能夠調用的所有邏輯執行緒中，高負載狀態邏輯執行緒的數量和低負載狀態邏輯執行緒的數量；分別利用高負載概率計算公式和低負載概率計算公式，計算所述元件的高負載概率和低負載概率，所述高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量，所述低負載概率計算公式=低負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量；判斷所述元件的高負載概率和低負載概率中的至少一者，是否大於所述第三預設閾值；如果所述高負載概率和低負載概率中的至少一者，大於所述第三預設閾值，確定所述元件需調整邏輯執行緒數量。

可選的，所述邏輯執行緒運行於作業過程內，所述方法還包括：根據所述元件需調整邏輯執行緒的數量與當前邏輯執行緒的數量，確定所述元件需增加邏輯執行緒或需刪除邏輯執行緒；如果需增加邏輯執行緒，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒；如果能，在所述相關聯的作業過程內，增加邏輯執行緒； 如果不能，確定需增加作業過程的數量；如果需刪除邏輯執行緒，在所述作業過程中，刪除相應的邏輯執行緒。

可選的，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒，包括：確定當前邏輯執行緒相關聯的多個作業過程；根據預設的增加公式，確定每個作業過程能夠增加邏輯執行緒的數量，所述增加公式為：作業過程能夠增加邏輯執行緒的數量=(作業過程的預分配總資源/作業過程運行邏輯執行緒所佔用的資源*第四預設值-1)*當前作業過程運行邏輯執行緒的數量；統計所有相關聯的作業過程，能夠增加邏輯執行緒的總數量；判斷能夠增加邏輯執行緒的總數量是否大於等於所述元件需增加邏輯執行緒的數量；如果能夠增加邏輯執行緒的總數量大於等於所述元件需增加邏輯執行緒的數量，確定在相關聯作業過程內，能夠增加邏輯執行緒。

可選的，所述確定需增加作業過程的數量，包括：獲取相關聯作業過程在預設負載閾值內，能夠運行邏輯執行緒的數量Q；利用作業過程計算公式，計算需增加作業過 程的數量，所述作業過程計算公式為：增加作業過程的數量=(N-T)/Q+1，所述N為所述元件需增加邏輯執行緒的數量，所述T為相關聯作業過程能夠增加邏輯執行緒的數量，所述T、N以及Q均為正整數。

可選的，所述方法還包括：每隔預設時間，確定一元件的上游元件能夠調用的第一邏輯執行緒和下游元件能夠調用的第二邏輯執行緒；建立當前元件能夠調用的第三邏輯執行緒與第一邏輯執行緒，以及第三邏輯執行緒和第二邏輯執行緒的通信連接。

可選的，所述方法還包括：依次判斷當前元件相關聯的每個作業過程內，是否存在邏輯執行緒；如果不存在，刪除該作業過程。

另一態樣，本發明還公開一種調整元件邏輯執行緒數量的裝置，包括：獲取模組，用於獲取一元件能夠調用的多個邏輯執行緒；第一確定模組，用於根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，所述負載狀態包括正常負載狀態和異常負載狀態；第一判斷模組，用於根據所述元件邏輯執行緒的負載狀態，判斷所述元件是否需調整邏輯執行緒數 量；調整模組，用於當需要調整邏輯執行緒數量時，根據判斷結果調整所述元件邏輯執行緒的數量。

可選的，所述調整模組包括：調整單元，用於將所述元件的邏輯執行緒數量調整為：所述元件當前邏輯執行緒數量*發送裝置每秒發送資料的資料量/所述元件每秒接收資料的資料量，所述發送裝置為發送資料至所述元件的裝置。

可選的，所述異常負載狀態包括高負載狀態和低負載狀態，所述利用率=訊息佇列中儲存資料佔用的空間/訊息佇列的預分配儲存空間；所述確定模組，包括：第一判斷單元，用於判斷一邏輯執行緒對應資料處理佇列的利用率，是否大於第一預設閾值；高負載狀態確定單元，用於當所述利用率大於第一預設閾值時，確定所述邏輯執行緒為高負載狀態；第二判斷單元，用於當所述利用率小於等於第一預設閾值時，判斷當前邏輯執行緒對應資料處理佇列的利用率，是否小於第二預設閾值；低負載狀態確定單元，用於當所述利用率小於第二預設閾值，確定所述邏輯執行緒為低負載狀態。

可選的，所述判斷模組包括：第一統計單元，用於分別統計所述元件能夠調用的所有邏輯執行緒中，高負載狀態邏輯執行緒的數量 和低負載狀態邏輯執行緒的數量；第一計算單元，用於分別利用高負載概率計算公式和低負載概率計算公式，計算所述元件的高負載概率和低負載概率，所述高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量，所述低負載概率計算公式=低負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量；第三判斷單元，用於判斷所述元件的高負載概率和低負載概率中的至少一者，是否大於所述第三預設閾值；第一確定單元，用於當所述高負載概率和低負載概率中的至少一者，大於所述第三預設閾值時，確定所述元件需調整邏輯執行緒數量。

可選的，所述裝置還包括：第二確定模組，用於根據所述元件需調整邏輯執行緒的數量與當前邏輯執行緒的數量，確定所述元件需增加邏輯執行緒或需刪除邏輯執行緒；第二判斷模組，用於當需增加邏輯執行緒時，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒；增加模組，用於當能夠在當前邏輯執行緒相關聯的作業過程內增加邏輯執行緒時，在所述相關聯的作業過程內，增加邏輯執行緒；第三確定模組，用於當不能夠在當前邏輯執 行緒相關聯的作業過程內增加邏輯執行緒時，確定需增加作業過程的數量；刪除模組，用於當需刪除邏輯執行緒時，在所述作業過程中，刪除相應的邏輯執行緒。

可選的，第二判斷模組包括：第二確定單元，用於確定當前邏輯執行緒相關聯的多個作業過程；第三確定單元，用於根據預設的增加公式，確定每個作業過程能夠增加邏輯執行緒的數量，所述增加公式為：作業過程能夠增加邏輯執行緒的數量=(作業過程的預分配總資源/作業過程運行邏輯執行緒所佔用的資源*第四預設值-1)*當前作業過程所運行邏輯執行緒的數量；第二統計單元，用於統計所有相關聯的作業過程，能夠增加邏輯執行緒的總數量；第四判斷單元，用於判斷能夠增加邏輯執行緒的總數量是否大於等於所述元件需增加邏輯執行緒的數量；第三確定單元，用於當能夠增加邏輯執行緒的總數量大於等於所述元件需增加邏輯執行緒的數量，確定在相關聯作業過程內，能夠增加邏輯執行緒。

可選的，第三確定單元包括：獲取子單元，用於獲取相關聯作業過程在預設負載閾值內，能夠運行邏輯執行緒的數量Q； 計算子單元，用於利用作業過程計算公式，計算增加作業過程的數量，所述作業過程計算公式為：增加作業過程的數量=(N-T)/Q+1，所述N為所述元件需增加邏輯執行緒的數量，所述T為相關聯作業過程能夠增加邏輯執行緒的數量，所述T、N以及Q均為正整數。

可選的，所述裝置還包括：第四確定模組，用於每隔預設時間，確定一元件的上游元件能夠調用的第一邏輯執行緒和下游元件能夠調用的第二邏輯執行緒；建立模組，用於建立當前元件能夠調用的第三邏輯執行緒與第一邏輯執行緒，以及第三邏輯執行緒和第二邏輯執行緒的通信連接。

可選的，所述裝置還包括：第三判斷模組，用於依次判斷當前元件相關聯的每個作業過程內，是否存在邏輯執行緒；刪除模組，用於當所述作業過程內不存在邏輯執行緒時，刪除該作業過程。

由以上技術方案可見，在本發明實施例中，首先根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，且所述負載狀態包括正常負載狀態和異常負載狀態；然後，根據元件邏輯執行緒的負載狀態，確定元件是否需調整邏輯執行緒的數量；最後，如果需要，根據判斷結果調整所述元件邏輯執行緒的數量；由於在本發明實施例中，可根據邏輯執行緒的負載 狀態，調節一元件可調用邏輯執行緒的數量，從而可避免一元件可調用邏輯執行緒的數量過多，或過少，進而可在保證資料即時處理的前提下，提高邏輯執行緒資源的利用率。

91‧‧‧獲取模組

92‧‧‧第一確定模組

93‧‧‧第一判斷模組

94‧‧‧調整模組

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，對於本領域普通技術人員而言，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例所公開的調整元件邏輯執行緒數量的方法的一流程示意圖；圖2為本發明實施例所公開的資料處理佇列的示意圖；圖3為本發明實施例所公開的邏輯執行緒的示意圖；圖4為本發明實施例所公開的調整元件邏輯執行緒數量的方法的一流程示意圖；圖5為本發明實施例所公開的調整元件邏輯執行緒數量的方法的一流程示意圖；圖6為本發明實施例所公開的調整元件邏輯執行緒數量的方法的一流程示意圖；圖7為本發明實施例所公開的調整元件邏輯 執行緒數量的方法的一流程示意圖；圖8為本發明實施例所公開的調整元件邏輯執行緒數量的方法的一流程示意圖；圖9為本發明實施例所公開的調整元件邏輯執行緒數量的裝置的一模組示意圖。

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

本發明公開了一種調整元件邏輯執行緒數量的方法，如圖1所示，該方法至少包括：

步驟S11：獲取一元件能夠調用的多個邏輯執行緒；

步驟S12：根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，所述負載狀態包括正常負載狀態和異常負載狀態；在本發明實施例中，每個邏輯執行緒內部均設有一資料處理佇列，所述資料處理佇列用於儲存相應邏輯執行緒需處理的資料；在本發明實施例中，所述資料處理佇列可具體如圖2所示，且陰影部分表示該處理佇列所 儲存資料已佔用的空間。

在本發明實施例，訊息佇列的利用率=訊息佇列中儲存資料佔用的空間/訊息佇列的預分配儲存空間，而根據訊息佇列的利用率，即可確定對應邏輯執行緒的負載狀態，即正常負載狀態和異常負載狀態；而異常負載狀態可具體包括利用率過高的高負載狀態和利用率過低的低負載狀態；且在高負載狀態下，邏輯執行緒不能保證對資料的即時處理，低負載狀態下，將浪費為元件分配的邏輯執行緒資源。

步驟S13：根據所述元件邏輯執行緒的負載狀態，判斷所述元件是否需調整邏輯執行緒數量；如果需要，執行步驟S14，否則，結束流程；在本發明實施例中，可具體根據一元件可調用邏輯執行緒中，正常負載狀態或異常負載狀態的邏輯執行緒占所有邏輯執行緒的比例，來確定該元件是否需調整邏輯執行緒數量。比如，一元件可調用邏輯執行緒中，正常負載狀態的邏輯執行緒占80%的比例，那麼可確定該元件無需調整邏輯執行緒數量；而若異常負載狀態的邏輯執行緒占80%的比例，那麼確定該元件需調整邏輯執行緒數量。

步驟S14：根據判斷結果調整所述元件邏輯執行緒的數量；在本發明實施例中，可具體將所述元件的邏輯執行緒數量調整為：所述元件當前邏輯執行緒數量*發 送裝置每秒發送資料的資料量/所述元件每秒接收資料的資料量，所述發送裝置為發送資料至所述元件的裝置。

在本發明實施例中，即時計算程式，一般由Spout(訊息源)元件和Blot(消息處理)元件組成，而多個元件可反覆運算處理資料，如圖3所示，比如一即時計算程式由一Spout元件和2個Bolt元件組成，且2個Blot元件分別為第一Blot元件和第二Blot元件。在本發明實施例中，Spout組件可接收從訊息源發送的資料，並調用預設分配的邏輯執行緒資料，且處理完成後，Spout元件作為上游元件，發送資料至作為下游元件的第一Blot元件，同理，第一Blot元件對資料處理完成後，將作為上游元件發送資料至作為下游元件的第二Blot元件。在本發明實施例中，如果當前元件為Spout元件，那麼所述發送裝置可為訊息源設備，而如果當前元件為Blot元件，那麼發送裝置為所述元件的上游元件。

由以上技術方案可見，在本發明實施例中，首先根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，且所述負載狀態包括正常負載狀態和異常負載狀態；然後，根據元件邏輯執行緒的負載狀態，確定元件是否需調整邏輯執行緒的數量；最後，如果需要，根據判斷結果調整所述元件邏輯執行緒的數量；由於在本發明實施例中，可根據邏輯執行緒的負載狀態，調節一元件可調用邏輯執行緒的數量，從而可避免一元件可調用邏輯執行緒的數量過多，或過少，進而可在 保證資料即時處理的前提下，提高邏輯執行緒資源的利用率。

在本發明的另一可行實施例中，如圖4所示，上述所有實施例中的步驟S12，可包括：

步驟S41：判斷一邏輯執行緒對應資料處理佇列的利用率，是否大於第一預設閾值；如果大於，執行步驟S42；否則，執行步驟S43；在本發明實施例中，使用者可根據自身需求自行設定第一預設閾值的大小，在一較佳實施例中，第一預設閾值為80%。

步驟S42：確定所述邏輯執行緒為高負載狀態；在本發明實施例中，當一邏輯執行緒對應資料處理佇列的利用率，大於第一預設閾值時，說明該邏輯執行緒有較多資料待處理，未能即時處理資料，確定該邏輯執行緒為高負載狀態；

步驟S43：判斷當前邏輯執行緒對應資料處理佇列的利用率，是否小於第二預設閾值，如果小於，執行步驟S44；否則，執行步驟S45；在本發明實施例中，使用者亦可根據自身需求自行設定第二預設閾值的大小，在一較佳實施例中，第一預設閾值為20%。

步驟S44：確定所述邏輯執行緒為低負載狀態； 在本發明實施例中，可當一邏輯執行緒對應資料處理佇列的利用率，小於第二預設閾值時，說明該邏輯執行緒較空閒，較浪費資源，確定該邏輯執行緒為低負載狀態。

步驟S45：確定所述邏輯執行緒為正常負載狀態；在本發明實施例中，，可當一邏輯執行緒對應資料處理佇列的利用率，大於等於第二預設閾值，小於等於第一預設閾值時，說明該邏輯執行緒可正常處理資料，即能保證資料的即時處理，又未浪費資源，確定該邏輯執行緒為正常負載狀態。

由上可見，採用本發明實施例中的方法，可確定一邏輯執行緒的負載狀態，進而可確定元件可調用所有邏輯執行緒的負載狀態。

在本發明的另一可行實施例中，如圖5所示，上述所有實施例中的步驟S13可包括：

步驟S51：分別統計所述元件能夠調用的所有邏輯執行緒中，高負載狀態邏輯執行緒的數量和低負載狀態邏輯執行緒的數量；

步驟S52：分別利用高負載概率計算公式和低負載概率計算公式，計算所述元件的高負載概率和低負載概率，所述高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量，所述低負載概率計算公式=低負載狀態邏輯執行緒的數量/當前 元件所有能夠調用邏輯執行緒的數量；在本發明實施例中，為了提高準確性，可每隔預設時間，採集一次當前元件中所有邏輯執行緒的負載狀態；在採集預設次數之後，統計高負載狀態邏輯執行緒的數量和低負載狀態邏輯線執行緒的數量，然後計算利用下述公式，計算所述元件的高負載概率以及低負載概率，高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量*預設次數，所述低負載概率計算公式=低負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量*預設次數。

步驟S53：判斷所述元件的高負載概率和低負載概率中的至少一者，是否大於所述第三預設閾值；如果大於，執行步驟S54；否則，執行步驟S55；在本發明實施例中，使用者可根據自身需求，自身設定第三預設閾值的大小，在一個較佳實施例中，可設置第三預設閾值為80%。

在本發明實施例中，可當所述元件的高負載概率大於第三預設閾值時，執行步驟S54；也可當所述元件的低負載概率大於第三預設閾值時，執行步驟S54；亦可當所述元件的高負載概率和低負載概率均大於第三預設閾值時，執行步驟S54。

步驟S54：確定所述元件需調整邏輯執行緒數量；

步驟S55：確定所述元件無需調整邏輯執行緒 數量。

由上可見，在本發明實施例中，可確定一元件是否需調整邏輯執行緒數量。

在本發明的另一可行實施例中，上述所有實施例中的邏輯執行緒均運行於作業過程內，如圖6所示，上述所有實施例中的方法，還可包括：

步驟S61：根據所述元件需調整邏輯執行緒的數量與當前邏輯執行緒的數量，確定所述元件需增加邏輯執行緒或需刪除邏輯執行緒；在本發明實施例中，假設透過上述方法，計算出需將一元件邏輯執行緒的數量調整為3，而所述元件當前邏輯執行緒的數量為5，那麼可確定當前元件需刪除2邏輯執行緒。

步驟S62：如果需增加邏輯執行緒，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒；如果能，執行步驟S63；否則，執行步驟S64；在本發明實施例中，當前邏輯執行緒相關聯的作業過程為當前邏輯執行緒所在電腦集內中的所有作業過程。

步驟S63：在相關聯的作業過程內，增加邏輯執行緒；

步驟S64：確定需增加作業過程的數量；

步驟S65：如果需刪除邏輯執行緒，在所述作業過程中，刪除相應的邏輯執行緒。

由於在本發明實施例中，一元件所有邏輯執行緒的級別均相同，因此，在本發明實施例中，可根據元件當前邏輯執行緒數量與調整邏輯執行緒數量的差值，確定需刪除邏輯執行緒的數量，然後，在當前元件中任意刪除相應數量的邏輯執行緒即可。

在上可見，在本發明實施例中，可具體增加當前元件的邏輯執行緒或刪除當前元件的邏輯執行緒。

在本發明的另一可行實施例中，如圖7所示，上述所有實施例中的步驟S62可包括：

步驟S71：確定當前邏輯執行緒相關聯的多個作業過程；在本發明實施例中，前已述及，相關聯的多個作業過程為所述元件所在電腦集群內的所有作業過程。

步驟S72：根據預設的增加公式，確定每個作業過程能夠增加邏輯執行緒的數量，所述增加公式為：作業過程能夠增加邏輯執行緒的數量=(作業過程的預分配總資源/作業過程運行邏輯執行緒所佔用的資源*第四預設值-1)*當前作業過程所運行邏輯執行緒的數量；在本發明實施例中，作業過程的預分配總資源可為預先為作業過程分配的CPU資源或儲存空間，而作業過程運行邏輯執行緒所佔用的資源可為作業過程運行邏輯執行緒所佔用的CPU資源或儲存空間；在本發明實施例中，使用者可根據自身需求，自身設定第三預設閾值的大小，在一個較佳實施例 中，可設置第三預設閾值為80%。

步驟S73：統計所有相關聯的作業過程，能夠增加邏輯執行緒的總數量；在本發明實施例中，假設當前元件所在電腦集群中存在3個作業過程，分別為第一作業過程、第二作業過程以及第三作業過程，且通過上述步驟S72所提供的方法，確定第一作業過程可增加邏輯執行緒2個，第二作業過程可增加邏輯執行緒3個，第三作業過程可增加邏輯執行緒3個，那麼整個電腦集群能夠增加的邏輯執行緒總數量為8=2+3+3。

步驟S74：判斷能夠增加邏輯執行緒的總數量是否大於等於所述元件需增加邏輯執行緒的數量，如果是，執行步驟S75；否則，執行步驟S76；

步驟S75：確定在相關聯的作業過程內，能夠增加邏輯執行緒；

步驟S76：確定在相關聯的作業過程內，不能夠增加邏輯執行緒。

由上可見，在本發明實施例中，可確定在當前元件相關聯的作業過程內，是否增加當前元件需增加的邏輯執行緒。

在本發明的又一可行實施例中，如圖8所示，上述所有實施例中的步驟S64，可包括：

步驟S81：獲取相關聯作業過程在預設負載閾值內，能夠運行邏輯執行緒的數量Q； 在本發明實施例中，所述預設負載閾值可具體為作業過程負載極限的80%。

步驟S82：利用作業過程計算公式，計算需增加作業過程的數量，所述作業過程計算公式為：增加作業過程的數量=(N-T)/Q+1，所述N為所述元件需增加邏輯執行緒的數量，所述T為相關聯作業過程能夠增加邏輯執行緒的數量，所述T、N以及Q均為正整數。

由上可見，採用上述方法，可確定需增加作業過程的數量。

在本發明的又一可行實施例中，當第一元件與第二元件傳輸資料時，上述所有實施例中的方法還可包括：每隔預設時間，確定一元件的上游元件能夠調用的第一邏輯執行緒和下游元件能夠調用的第二邏輯執行緒；建立當前元件能夠調用的第三邏輯執行緒與第一邏輯執行緒，以及第三邏輯執行緒和第二邏輯執行緒的通信連接。

前已論述，一元件可包括上游元件和下游元件，而採用本發明實施例中的方法，每個元件可調用的邏輯執行緒的數量為變化的，採用本發明所公開的方法，可確定上下游元件間邏輯執行緒的正常資料傳輸。

在本發明的又一可行實施例中，上述所有實施例中的方法，還可包括： 依次判斷當前元件相關聯的每個作業過程內，是否存在邏輯執行緒；如果不存在，刪除該作業過程。

在本發明實施例中，當執行刪除邏輯執行緒的作業時，可能會導致某作業過程內不存在邏輯執行緒，此時該作業過程並不執行任何任務，而採用本發明所公開的方法，可及時釋放該作業過程所佔用的資源。

透過以上的方法實施例的描述，所屬領域的技術人員可以清楚地瞭解到本發明可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括：唯讀記憶體(ROM)、隨機存取記憶體(RAM)、磁碟或者光碟等各種可以儲存程式碼的媒體。

與本發明提供的調整元件邏輯執行緒數量的方法實施例相對應，本發明還提供了一種調整元件邏輯執行緒數量的裝置，如圖9所示，所述裝置包括：獲取模組91，用於獲取一元件能夠調用的多個邏輯執行緒；第一確定模組92，用於根據每個邏輯執行緒 對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，所述負載狀態包括正常負載狀態和異常負載狀態；第一判斷模組93，用於根據所述元件邏輯執行緒的負載狀態，判斷所述元件是否需調整邏輯執行緒數量；調整模組94，用於當需要調整邏輯執行緒數量時，根據判斷結果調整所述元件邏輯執行緒的數量。

在本發明實施例中，調整模組94的功能可具體由調整單元實現，所述調整單元，用於將所述元件的邏輯執行緒數量調整為：所述元件當前邏輯執行緒數量*發送裝置每秒發送資料的資料量/所述元件每秒接收資料的資料量，所述發送裝置為發送資料至所述元件的裝置。

由以上技術方案可見，在本發明實施例中，首先根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，且所述負載狀態包括正常負載狀態和異常負載狀態；然後，根據元件邏輯執行緒的負載狀態，確定元件是否需調整邏輯執行緒的數量；最後，如果需要，根據判斷結果調整所述元件邏輯執行緒的數量；由於在本發明實施例中，可根據邏輯執行緒的負載狀態，調節一元件可調用邏輯執行緒的數量，從而可避免一元件可調用邏輯執行緒的數量過多，或過少，進而可在保證資料即時處理的前提下，提高邏輯執行緒資源的利用率。

在本發明的另一可行實施例中，上述所有實 施例中的異常負載狀態包括高負載狀態和低負載狀態，所述利用率=訊息佇列中儲存資料佔用的空間/訊息佇列的預分配儲存空間；所述確定模組，包括：第一判斷單元，用於判斷一邏輯執行緒對應資料處理佇列的利用率，是否大於第一預設閾值；高負載狀態確定單元，用於當所述利用率大於第一預設閾值時，確定所述邏輯執行緒為高負載狀態；第二判斷單元，用於當所述利用率小於等於第一預設閾值時，判斷當前邏輯執行緒對應資料處理佇列的利用率，是否小於第二預設閾值；低負載狀態確定單元，用於當所述利用率小於第二預設閾值，確定所述邏輯執行緒為低負載狀態。

由上可見，在本發明實施例中，可確定一邏輯執行緒的負載狀態。

在本發明的又一可行實施例中，上述所有實施例中的判斷模組包括：第一統計單元，用於分別統計所述元件能夠調用的所有邏輯執行緒中，高負載狀態邏輯執行緒的數量和低負載狀態邏輯執行緒的數量；第一計算單元，用於分別利用高負載概率計算公式和低負載概率計算公式，計算所述元件的高負載概率和低負載概率，所述高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量，所述低負載概率計算公式=低負載狀態邏輯執行緒 的數量/當前元件所有能夠調用邏輯執行緒的數量；第三判斷單元，用於判斷所述元件的高負載概率和低負載概率中的至少一者，是否大於所述第三預設閾值；第一確定單元，用於當所述高負載概率和低負載概率中的至少一者，大於所述第三預設閾值時，確定所述元件需調整邏輯執行緒數量。

由上可見，在本發明實施例中，可確定一元件是否需調整邏輯執行緒數量。

在本發明的又一可行實施例中，上述所有實施例中的裝置還可包括：第二確定模組，用於根據所述元件需調整邏輯執行緒的數量與當前邏輯執行緒的數量，確定所述元件需增加邏輯執行緒或需刪除邏輯執行緒；第二判斷模組，用於當需增加邏輯執行緒時，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒；增加模組，用於當能夠在當前邏輯執行緒相關聯的作業過程內增加邏輯執行緒時，在所述相關聯的作業過程內，增加邏輯執行緒；第三確定模組，用於當不能夠在當前邏輯執行緒相關聯的作業過程內增加邏輯執行緒時，確定需增加作業過程的數量；刪除模組，用於當需刪除邏輯執行緒時，在 所述作業過程中，刪除相應的邏輯執行緒。

由上可見，在本發明實施例中，能夠增加或刪除邏輯執行緒。

在本發明的另一可行實施例中，上述所有實施例中的第二判斷模組包括：第二確定單元，用於確定當前邏輯執行緒相關聯的多個作業過程；第三確定單元，用於根據預設的增加公式，確定每個作業過程能夠增加邏輯執行緒的數量，所述增加公式為：作業過程能夠增加邏輯執行緒的數量=(作業過程的預分配總資源/作業過程運行邏輯執行緒所佔用的資源*第四預設值-1)*當前作業過程所運行邏輯執行緒的數量；第二統計單元，用於統計所有相關聯的作業過程，能夠增加邏輯執行緒的總數量；第四判斷單元，用於判斷能夠增加邏輯執行緒的總數量是否大於等於所述元件需增加邏輯執行緒的數量；第三確定單元，用於當能夠增加邏輯執行緒的總數量大於等於所述元件需增加邏輯執行緒的數量，確定在相關聯作業過程內，能夠增加邏輯執行緒。

由上可見，在本發明實施例中，可確定在在相關聯作業過程內，能否增加邏輯執行緒。

在本發明的另一可行實施例中，上述所有實 施例中的第三確定單元包括：獲取子單元，用於獲取相關聯作業過程在預設負載閾值內，能夠運行邏輯執行緒的數量Q；計算子單元，用於利用作業過程計算公式，計算增加作業過程的數量，增加作業過程的數量=(N-T)/Q+1，所述N為所述元件需增加邏輯執行緒的數量，所述T為相關聯作業過程能夠增加邏輯執行緒的數量，所述T、N以及Q均為正整數。

由上可見，在本發明實施例中，可確定新增作業過程的數量。

在本發明的另一可行實施例中，上述所有實施例中的裝置還包括：第四確定模組，用於每隔預設時間，確定一元件的上游元件能夠調用的第一邏輯執行緒和下游元件能夠調用的第二邏輯執行緒；建立模組，用於建立當前元件能夠調用的第三邏輯執行緒與第一邏輯執行緒，以及第三邏輯執行緒和第二邏輯執行緒的通信連接。

由上可見，在本發明實施例中，可保證上下游元件的正常通信。

在本發明的另一可行實施例中，上述所有實施例中的裝置還包括：第三判斷模組，用於依次判斷當前元件相關聯的每個作業過程內，是否存在邏輯執行緒； 刪除模組，用於當所述作業過程內不存在邏輯執行緒時，刪除該作業過程。

由上可見，在本發明實施例中，可刪除空的作業過程。

需要說明的是，在本文中，諸如“第一”和“第二”等之類的關係術語僅僅用來將一個實體或者作業與另一個實體或作業區分開來，而不一定要求或者暗示這些實體或作業之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上所述僅是本發明的具體實施方式，使本領域技術人員能夠理解或實現本發明。對這些實施例的多種修改對本領域的技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發明的精神或範圍的情況下，在其它實施例中實現。因此，本發明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。

Claims (18)

1. 一種調整元件邏輯執行緒數量的方法，其特徵在於，包括：獲取一元件能夠調用的多個邏輯執行緒；根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，該負載狀態包括正常負載狀態和異常負載狀態；根據該元件邏輯執行緒的負載狀態，判斷該元件是否需調整邏輯執行緒數量；如果需要，根據判斷結果調整該元件邏輯執行緒的數量，其中，該邏輯執行緒運行於作業過程內，該方法還包括：根據該元件需調整邏輯執行緒的數量與當前邏輯執行緒的數量，確定該元件需增加邏輯執行緒或需刪除邏輯執行緒；如果需增加邏輯執行緒，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒；如果不能，確定需增加作業過程的數量。
2. 根據請求項1所述的方法，其中，該根據判斷結果調整該元件邏輯執行緒的數量，包括：將該元件的邏輯執行緒數量調整為：該元件當前邏輯執行緒數量*發送裝置每秒發送資料的資料量/該元件每秒接收資料的資料量，該發送裝置為發送資料至該元件的裝 置。
3. 根據請求項1所述的方法，其中，該異常負載狀態包括高負載狀態和低負載狀態，該利用率=訊息佇列中儲存資料佔用的空間/訊息佇列的預分配儲存空間；該根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，包括：判斷一邏輯執行緒對應資料處理佇列的利用率，是否大於第一預設閾值；如果大於第一預設閾值，確定該邏輯執行緒為高負載狀態；如果不大於第一預設閾值，判斷當前邏輯執行緒對應資料處理佇列的利用率，是否小於第二預設閾值；如果小於第二預設閾值，確定該邏輯執行緒為低負載狀態。
4. 根據請求項3所述的方法，其中，根據該元件中所有邏輯執行緒的負載狀態，判斷該元件是否需調整邏輯執行緒數量，包括：分別統計該元件能夠調用的所有邏輯執行緒中，高負載狀態邏輯執行緒的數量和低負載狀態邏輯執行緒的數量；分別利用高負載概率計算公式和低負載概率計算公式，計算該元件的高負載概率和低負載概率，該高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量，該低負載概率計算公式=低 負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量；判斷該元件的高負載概率和低負載概率中的至少一者，是否大於該第三預設閾值；如果該高負載概率和低負載概率中的至少一者，大於該第三預設閾值，確定該元件需調整邏輯執行緒數量。
5. 根據請求項1所述的方法，該方法還包括：如果能，在該相關聯的作業過程內，增加邏輯執行緒；如果需刪除邏輯執行緒，在該作業過程中，刪除相應的邏輯執行緒。
6. 根據請求項5所述的方法，其中，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒，包括：確定當前邏輯執行緒相關聯的多個作業過程；根據預設的增加公式，確定每個作業過程能夠增加邏輯執行緒的數量，該增加公式為：作業過程能夠增加邏輯執行緒的數量=(作業過程的預分配總資源/作業過程運行邏輯執行緒所佔用的資源*第四預設值-1)*當前作業過程運行邏輯執行緒的數量；統計所有相關聯的作業過程，能夠增加邏輯執行緒的總數量；判斷能夠增加邏輯執行緒的總數量是否大於等於該元 件需增加邏輯執行緒的數量；如果能夠增加邏輯執行緒的總數量大於等於該元件需增加邏輯執行緒的數量，確定在相關聯作業過程內，能夠增加邏輯執行緒。
7. 根據請求項6所述的方法，其中，該確定需增加作業過程的數量，包括：獲取相關聯作業過程在預設負載閾值內，能夠運行邏輯執行緒的數量Q；利用作業過程計算公式，計算需增加作業過程的數量，該作業過程計算公式為：增加作業過程的數量=(N-T)/Q+1，該N為該元件需增加邏輯執行緒的數量，該T為相關聯作業過程能夠增加邏輯執行緒的數量，該T、N以及Q均為正整數。
8. 根據請求項1、2、4、6、7之任一項所述的方法，其中，該方法還包括：每隔預設時間，確定一元件的上游元件能夠調用的第一邏輯執行緒和下游元件能夠調用的第二邏輯執行緒；建立當前元件能夠調用的第三邏輯執行緒與第一邏輯執行緒，以及第三邏輯執行緒和第二邏輯執行緒的通信連接。
9. 根據請求項1、2、4、6、7之任一項所述的方法，其中，該方法還包括：依次判斷當前元件相關聯的每個作業過程內，是否存在邏輯執行緒； 如果不存在，刪除該作業過程。
10. 一種調整元件邏輯執行緒數量的裝置，其特徵在於，包括：獲取模組，用於獲取一元件能夠調用的多個邏輯執行緒；第一確定模組，用於根據每個邏輯執行緒對應資料處理佇列的利用率，確定每個邏輯執行緒的負載狀態，該負載狀態包括正常負載狀態和異常負載狀態；第一判斷模組，用於根據該元件邏輯執行緒的負載狀態，判斷該元件是否需調整邏輯執行緒數量；調整模組，用於當需要調整邏輯執行緒數量時，根據判斷結果調整該元件邏輯執行緒的數量，其中，該裝置還包括：第二確定模組，用於根據該元件需調整邏輯執行緒的數量與當前邏輯執行緒的數量，確定該元件需增加邏輯執行緒或需刪除邏輯執行緒；第二判斷模組，用於當需增加邏輯執行緒時，判斷能否在當前邏輯執行緒相關聯的作業過程內，增加邏輯執行緒；第三確定模組，用於當不能夠在當前邏輯執行緒相關聯的作業過程內增加邏輯執行緒時，確定需增加作業過程的數量。
11. 根據請求項10所述的方法，其中，該調整模組包括： 調整單元，用於將該元件的邏輯執行緒數量調整為：該元件當前邏輯執行緒數量*發送裝置每秒發送資料的資料量/該元件每秒接收資料的資料量，該發送裝置為發送資料至該元件的裝置。
12. 根據請求項10所述的裝置，其中，該異常負載狀態包括高負載狀態和低負載狀態，該利用率=訊息佇列中儲存資料佔用的空間/訊息佇列的預分配儲存空間；該確定模組，包括：第一判斷單元，用於判斷一邏輯執行緒對應資料處理佇列的利用率，是否大於第一預設閾值；高負載狀態確定單元，用於當該利用率大於該第一預設閾值時，確定該邏輯執行緒為高負載狀態；第二判斷單元，用於當該利用率小於等於該第一預設閾值時，判斷當前邏輯執行緒對應資料處理佇列的利用率，是否小於第二預設閾值；低負載狀態確定單元，用於當該利用率小於該第二預設閾值，確定該邏輯執行緒為低負載狀態。
13. 根據請求項12所述的裝置，其中，該判斷模組包括：第一統計單元，用於分別統計該元件能夠調用的所有邏輯執行緒中，高負載狀態邏輯執行緒的數量和低負載狀態邏輯執行緒的數量；第一計算單元，用於分別利用高負載概率計算公式和低負載概率計算公式，計算該元件的高負載概率和低負載 概率，該高負載概率計算公式=高負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量，該低負載概率計算公式=低負載狀態邏輯執行緒的數量/當前元件所有能夠調用邏輯執行緒的數量；第三判斷單元，用於判斷該元件的高負載概率和低負載概率中的至少一者，是否大於該第三預設閾值；第一確定單元，用於當該高負載概率和低負載概率中的至少一者，大於該第三預設閾值時，確定該元件需調整邏輯執行緒數量。
14. 根據請求項10所述的方法，其中，該裝置還包括：增加模組，用於當能夠在當前邏輯執行緒相關聯的作業過程內增加邏輯執行緒時，在該相關聯的作業過程內，增加邏輯執行緒；刪除模組，用於當需刪除邏輯執行緒時，在該作業過程中，刪除相應的邏輯執行緒。
15. 根據請求項14所述的裝置，其中，第二判斷模組包括：第二確定單元，用於確定當前邏輯執行緒相關聯的多個作業過程；第三確定單元，用於根據預設的增加公式，確定每個作業過程能夠增加邏輯執行緒的數量，該增加公式為：作業過程能夠增加邏輯執行緒的數量=(作業過程的預分配總資源/作業過程運行邏輯執行緒所佔用的資源*第四預設 值-1)*當前作業過程所運行邏輯執行緒的數量；第二統計單元，用於統計所有相關聯的作業過程，能夠增加邏輯執行緒的總數量；第四判斷單元，用於判斷能夠增加邏輯執行緒的總數量是否大於等於該元件需增加邏輯執行緒的數量；第三確定單元，用於當能夠增加邏輯執行緒的總數量大於等於該元件需增加邏輯執行緒的數量，確定在相關聯作業過程內，能夠增加邏輯執行緒。
16. 根據請求項15所述的裝置，其中，第三確定單元包括：獲取子單元，用於獲取相關聯作業過程在預設負載閾值內，能夠運行邏輯執行緒的數量Q；計算子單元，用於利用作業過程計算公式，計算增加作業過程的數量，該作業過程計算公式為：增加作業過程的數量=(N-T)/Q+1，該N為該元件需增加邏輯執行緒的數量，該T為相關聯作業過程能夠增加邏輯執行緒的數量，該T、N以及Q均為正整數。
17. 根據請求項10、11、13、15、16之任一項所述的裝置，其中，該裝置還包括：第四確定模組，用於每隔預設時間，確定一元件的上游元件能夠調用的第一邏輯執行緒和下游元件能夠調用的第二邏輯執行緒；建立模組，用於建立當前元件能夠調用的第三邏輯執行緒與第一邏輯執行緒，以及第三邏輯執行緒和第二邏輯 執行緒的通信連接。
18. 根據請求項10、11、13、15、16之任一項所述的裝置，其中，該裝置還包括：第三判斷模組，用於依次判斷當前元件相關聯的每個作業過程內，是否存在邏輯執行緒；刪除模組，用於當該作業過程內不存在邏輯執行緒時，刪除該作業過程。

Images