TWI681337B - 一種多群集管理方法與設備 - Google Patents

一種多群集管理方法與設備 Download PDF

Info

Publication number
TWI681337B
TWI681337B TW104128811A TW104128811A TWI681337B TW I681337 B TWI681337 B TW I681337B TW 104128811 A TW104128811 A TW 104128811A TW 104128811 A TW104128811 A TW 104128811A TW I681337 B TWI681337 B TW I681337B
Authority
TW
Taiwan
Prior art keywords
data
clusters
cluster
information
business
Prior art date
Application number
TW104128811A
Other languages
English (en)
Other versions
TW201636888A (zh
Inventor
尹小明
徐凱
何樂
羅李
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201636888A publication Critical patent/TW201636888A/zh
Application granted granted Critical
Publication of TWI681337B publication Critical patent/TWI681337B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申請的目的是提供一種多群集管理方法與設備；獲取多個群集的歷史運行資料；基於所述歷史運行資料確定所述多個群集的未來需求資訊；基於所述未來需求資訊確定所述多個群集的群集配置資訊。與現有技術相比，本申請透過對獲取的多個群集的歷史運行資料進行處理和分析獲得多個群集的未來需求資訊，基於所述未來需求資訊確定多個群集的群集配置資訊。基於所述的群集配置資訊，本申請可以在跨地域的多群集、大規模的資料處理環境中，實現多群集資源的合理分布和配置，達到全域資源的平衡優化，還可以在群集間資源條件允許的情況下，最大限度地高效實現跨群集的資料存取。

Description

一種多群集管理方法與設備
本申請涉及計算機領域，尤其涉及一種多群集管理技術。
在現有技術中，對於群集資源的管理，一方面，僅僅局限於對單個群集內部的資源進行相應的資源調度和資源配額，但對於多群集環境中業務單元之間基於資源依賴進行頻繁地資源調度而帶來的資源平衡問題並沒有很好解决；另一方面，雖然可以透過群集協作的方式進行了跨群集資料存取對象的複製，但是此類方法僅僅在業務需要存取資料時，才進行群集間資料選擇和協作複製，由於缺乏對多群集中相關歷史任務的資料分析和預測，往往無法滿足日常生產性任務在運行時間上的要求，並且此類方法也沒有解決多群集間資源整體分布和使用對應的資源平衡問題。
本申請的目的是提供一種多群集管理方法與設備。
根據本申請的一個態樣，提供了一種多群集管理方法，包括：獲取多個群集的歷史運行資料；基於所述歷史運行資料確定所述多個群集的未來需求資訊；基於所述未來需求資訊確定所述多個群集的群集配置資訊。
根據本申請的另一態樣，還提供了一種多群集管理設備，包括：第一裝置，用於獲取多個群集的歷史運行資料；第二裝置，用於基於所述歷史運行資料確定所述多個群集的未來需求資訊；第三裝置，用於基於所述未來需求資訊確定所述多個群集的群集配置資訊。
與現有技術相比，本申請透過對獲取的多個群集的歷史運行資料進行處理和分析獲得多個群集的未來需求資訊，基於所述未來需求資訊確定多個群集的群集配置資訊。基於所述的群集配置資訊，本申請可以在跨地域的多群集、大規模的資料處理環境中，實現多群集資源的合理分布和配置，達到全域資源的平衡優化，還可以在群集間資源條件允許的情況下，最大限度地高效實現跨群集的資料存取。進一步，在多群集環境中，透過確定所述多個群集中待調整業務單元，並進行相應的調整，使得在滿足單個群集內部的資源配額的同時，降低群集間的資料存取 量，從而在整體上節約了群集資源，形成了資源均衡的群集布局。更進一步，基於所獲得的多個群集中的業務分布資訊，再為跨群集資料存取進行資料複製配置，從而在群集內部和群集間資源條件允許的情況下，可以高效地實現跨群集資料存取。
1‧‧‧多群集管理設備
11‧‧‧第一裝置
11’‧‧‧第一裝置
11”‧‧‧第一裝置
12‧‧‧第二裝置
12’‧‧‧第二裝置
12”‧‧‧第二裝置
13‧‧‧第三裝置
13’‧‧‧第三裝置
14’‧‧‧第五裝置
131’‧‧‧第一單元
132’‧‧‧第二單元
13”‧‧‧第三裝置
135”‧‧‧第五單元
136”‧‧‧第六單元
透過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特徵、目的和優點將會變得更明顯：圖1示出根據本申請一個態樣的一種多群集管理設備的設備示意圖；圖2示出根據本申請一個優選實施例的多群集管理設備的設備示意圖；圖3示出根據本申請另一個優選實施例的多群集管理設備的設備示意圖；圖4示出根據本申請另一個態樣的一種多群集管理方法的流程圖；圖5示出根據本申請一個優選實施例的一種多群集管理方法的流程圖；圖6示出根據本申請另一個優選實施例的一種多群集管理方法的流程圖。
附圖中相同或相似的附圖標記代表相同或相似的部件。
下面結合附圖對本申請作進一步詳細描述。
在本申請一個典型的配置中，終端、服務網路的設備和可信方均包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和內存記憶體。
內存記憶體可能包括計算機可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性內存記憶體等形式，如唯讀記憶體(ROM)或快閃隨機存取記憶體(flash RAM)。內存記憶體是計算機可讀媒體的示例。
計算機可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是計算機可讀指令、資料結構、程式的模組或其他資料。計算機的儲存媒體的例子包括，但不限於相變內存記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他內存記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數字多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁盤儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，計算機可讀媒體不包括非暫存電腦可讀媒體(transitory media)，如調變的資料信號和載波。
圖1示出根據本申請一個態樣的一種多群集管理設備 的設備示意圖。所述多群集管理設備1包括第一裝置11、第二裝置12和第三裝置13。
其中，第一裝置11獲取多個群集的歷史運行資料；第二裝置12基於所述歷史運行資料確定所述多個群集的未來需求資訊；第三裝置13基於所述未來需求資訊確定所述多個群集的群集配置資訊。
具體地，所述第一裝置11獲取多個群集的歷史運行資料。一般情況下，一個相對獨立的業務對應的資料處理可以由一個業務單元獨立完成；或是進一步，一個完整業務的處理需要基於一個群集中各個業務單元之間的資料依賴關係，透過群集內多個業務單元之間的資料共享和資料交換來完成，此時資料處理任務消耗著群集的資料資源，如群集的儲存、計算等資源；或是更進一步，在跨地域的多群集環境中，進行更複雜的業務處理，此時群集之間的網路連通還會消耗群集間的網路帶寬等資源。在此，所述歷史運行資料包括一段時間內，在所述多個群集中完成各種資料處理任務對應的運行資料。在此，進行所述資料處理任務的資料單位可以包括群集、業務單元、資料項、資料項分區等不同維度。在本申請中，所述資料項包括一個資料的儲存集合，如資料庫中的表；所述資料項分區包括將所述資料項按一定的規則進行劃分，目的是為了方便對資料進行分片處理，從而降低資料處理量；在所述業務單元中，各種資料按照一定的範式進行分層，各個業務單元之間可以基於具體的層級中的資料項展開資料存取。與此 相應的，所述歷史運行資料包括但不限於：業務單元、資料項、資料項分區的元資料；業務單元、資料項、資料項分區的儲存占用量；資料處理任務的運行日誌；群集間網路帶寬使用量；群集、業務單元的儲存、計算配額資料；群集間可用帶寬配額資料，等等。其中，在本申請中，所述元資料包括業務單元、資料項、資料項分區的屬性、特徵等基本描述性資料；所述資料處理任務的運行日誌主要包含的資訊有所述資料處理任務對應的業務單元、任務啟動結束時間、輸入輸出的資料項及相應的資料項分區、輸入輸出的資料量、占用的計算單位等，透過所述運行日誌可以獲知所述業務單元、資料項、資料項分區的計算占用量；所述各類配額資料，如上述儲存、計算、帶寬等對應的配額資料，可能在一段時間內保持不變，也可能基於實際需要有所變化調整。對於所述歷史運行資料，特別是變化頻率較高的資料資訊，如所述業務單元、資料項、資料項分區的儲存占用量、所述群集間網路帶寬使用量和所述資料處理任務的運行日誌等可以周期性地進行資料採樣。
在此，所述多個群集的歷史運行資料可以間接的透過第三方儲存設備或資料庫進行獲取。優選地，也可以基於一定的資料處理平台直接進行所述歷史運行資料的採集。本申請中，所述資料處理平台包括使用分布式儲存和分布式計算等技術，提供大規模資料處理的計算機系統平台。例如，所述資料處理平台中各個模組中包含著運行日誌採集功能，並由統一的日誌管理系統將日誌匯總到一起統一 儲存；又如，資料處理平台採用定時快照的方式將所述元資料匯總儲存。
接著，所述第二裝置12基於所述歷史運行資料確定所述多個群集的未來需求資訊。
具體地，基於所獲取的已有的歷史運行資料，對所述多個群集中各個群集的內部以及群集間的資料處理情況進行分析，可以確定所述多個群集中各個資料項、各個業務單元、甚至是各個群集對應的各類資源的實際占用情況，基於所得到的實際資源占用資訊，還可以進一步確定各個資料項之間、各個業務單元之間、甚至是各個群集之間的資料相互調用情況和相互依賴關係。基於對所述歷史運行資料進行增長預測，可以預測所述多個群集在未來一段時間的資源需求資訊。在此，優選地，所述的未來需求資訊就是後續確定所述多個群集的群集配置資訊，從而對多群集進行優化管理的資料基礎。
優選地，所述多群集管理設備1的第二裝置12包括第三單元(未示出)和第四單元(未示出)。其中，所述第三單元對所述歷史運行資料進行資料處理；所述第四單元基於所述資料處理的結果，確定所述多個群集的未來需求資訊。
具體地，透過所述第三單元對所述歷史運行資料進行資料處理。如，可以對所述獲取的所述歷史運行資料進行轉換、組合、連接等方式的加工處理。在此，以資料處理任務所占用的計算資源的加工處理為例，若是要計算多個 群集中各個群集上計算資源的占用情況，以t分鐘為採樣周期，透過統計在一天中各個採樣時刻多個群集中每個群集中所有資料處理任務占用的計算單位總和，得到各個群集中計算資源的占用情況。此時，所述轉換即包括：將所述一天分成1440/t個採樣點，遍歷所獲取的資料處理任務，若是某個資料處理任務覆蓋了某個時刻的採樣點，則把該資料處理任務添加到該時刻的採樣點對應的資料處理任務集合中。所述連接即包括：以所述業務單元為條件，所述資料處理任務與哪個業務單元進行資料連接，則該資料處理任務就運行在所述業務單元所對應的群集中。所述組合即包括：在各個採樣時刻，將運行在同一個群集中的各個所述資料處理任務占用的計算單位進行累加，即得到各個採樣時刻，該群集的計算資源占用量。
在此，對於不同類型的歷史運行資料，對應的加工處理方式可以有所不同，即使是同一類型的歷史運行資料，也可以根據需要進行不同方式的資料加工處理。
在此，本領域技術人員應能理解所述轉換、組合、連接等方式的加工處理僅為舉例，其他現有的或今後可能出現的其他對所述歷史運行資料的加工處理方式如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
接著，所述第四單元基於所述資料處理的結果，確定所述多個群集的未來需求資訊。在此，所述資料處理的結果包括多個維度上的資源指標資料，本方案中，所述多個 維度包括資料項、業務單元、群集或時間等維度，其中所述時間維度與所述資料項、業務單元、群集等維度正交。所述資源指標資料包括儲存資源占用量、計算資源占用量、相互間的資料依賴量、群集間的複製資料量、群集間直接存取資料量等。在此，對於每個維度會分別對應若干個資源指標資料，其中，各個維度可能使用相同的資源指標資料，如均統計所述儲存資源占用量、計算資源占用量和相互間的資料依賴量。此外，各個維度對應的資源指標資料類型也可能各不相同，特別是，有些類型的資源指標資料只能夠在特定維度予以考慮，例如群集間的複製資料量、群集間直接存取資料量等。在此，所述資料處理的結果還包括群集資源配額指標資料，例如，群集間資料存取權重，基於群集間可用帶寬配額資料，為各個群集之間的資料存取設置權重，如兩個群集間可用帶寬越大，對應的資料存取權重越大。此時，基於所述歷史運行資料中獲取的、例如所述群集、業務單元的儲存、計算配額資料、所述群集間可用帶寬配額資料等資料資訊，透過一定的處理，加工為相應的群集資源配額指標資料，進而可以體現現有的群集內部，以及多個群集之間各種資源的限制和差異，並為後續操作提供基礎資料。在此，基於所述資料處理結果，進一步為所述多個群集的未來資源使用情況進行預測。
在此，本領域技術人員應能理解所述數多個維度上的指標資料和群集資源配額指標資料僅為舉例，其他現有的 或今後可能出現的其他資料處理的結果如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
更優選地，所述第四單元透過所述資料處理獲得所述多個群集對應的資源指標資料；基於所述資源指標資料，透過指標預測確定所述多個群集的未來需求資訊。
具體地，在此，優選地，透過指標預測確定所述多個群集的未來需求資訊。透過對所述歷史運行資料的加工處理，可以獲得多個維度的所述資源指標資料，基於具體的資源指標資料，可以對未來一段時間內不同維度上資源需求進行預測，例如，預測出某個群集在未來一個月內的儲存資源占用量、每日每個時間區間的計算資源占用量等。具體的指標預測方法包括：首先，基於所述加工後得到的資源指標資料，並結合一定的資料挖掘方法，建立一定的資料計算模型，在此，所述資料發掘方法包括但不限於線性回歸、基於時間序列的季節性回歸預測等方法；進而，基於所述資料計算模型，結合相應的參數數值，得到相應的資源指標對應的未來需求資訊。在此，以預測業務單元的未來的儲存資源占用量為例，基於所述資料處理平台每天採集到的儲存資源占用資訊，經過加工處理，可以得到過去一段時間，如T個月，每天的儲存資源占用量，若以天數為變量x，以儲存資源占用量為變量y，進行線性回歸建模，則得到y=f(x)函數，進而基於所述資料計算模型們可以預測出N天後的所述業務單元的儲存資源占用量。
在此，本領域技術人員應能理解所述基於所述資源指標資料，透過指標預測確定所述多個群集的未來需求資訊僅為舉例，其他現有的或今後可能出現的其他確定所述多個群集的未來需求資訊的方法如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
接著，所述多群集管理設備1的第三裝置13基於所述未來需求資訊確定所述多個群集的群集配置資訊。所述群集配置資訊包括所述多個群集中的業務分布資訊，或是所述多個群集間的資料複製配置資訊。在此，所述多個群集中的業務分布資訊包括每個群集中各種業務單元、資料項的部署資訊；所述多個群集中的業務分布資訊還包括各種群集資源的設置資訊。在此，可以基於所述未來需求資訊對所述多個群集中的業務分布資訊進行安排，一般來說，目的是要使得所述多個群集對資源的未來需求在所確定的業務分布資訊的安排中得到滿足。此外，跨群集存取資料時，若是直接遠程讀取資料，則可能會受到網路帶寬、延時、抖動等因素的較大影響，特別是兩個群集若是相跨較遠時，這種不利影響就越加明顯，所以優選地，透過將需要被跨群集存取的資料事先複製到所述發出存取請求的群集，在此，基於所述未來需求資訊，可以預先確定需要備份什麽資料，如何備份資料，從而能夠確定一個更為合理的多群集件的資料複製配置資訊。
在此，所述群集配置資訊可以只包括所述多種群集配置資訊中的任意一種，也可以同時包括所述多種群集配置 資訊中的多種，進一步，優選地，在後續的多群集管理中，可以同時結合多種群集配置資訊進行相應的管理。例如，基於所述未來需求資訊確定所述多個群集的業務分布資訊，進而基於所述未來需求資訊，並結合所述多個群集的業務分布資訊進一步確定所述多個群集間的資料複製配置資訊。
在此，本申請透過對獲取的多個群集的歷史運行資料進行處理和分析獲得多個群集的未來需求資訊，基於所述未來需求資訊確定多個群集的群集配置資訊。基於所述的群集配置資訊，本申請可以在跨地域的多群集、大規模的資料處理環境中，實現多群集資源的合理分布和配置，達到全域資源的平衡優化，還可以在群集間資源條件允許的情況下，最大限度地高效實現跨群集的資料存取。
優選地，所述多群集管理設備1還包括第四裝置(未示出)，所述第四裝置根據所述群集配置資訊管理所述多個群集。
具體地，基於確定的所述多個群集的群集配置資訊，可以對是多個群集進行相應的管理。例如，基於確定的新的所述多個群集中的業務分布資訊，對所述多個群集中的業務分布進行調整；又如，基於所述多個群集間的資料複製配置資訊，為未來可能的跨群集資料存取預先備份待存取資料。在此，優選地，透過調用所述資料處理平台上對應的介面輸出所確定的各類群集配置資訊，如所述多個群集中的業務分布資訊、所述多個群集間的資料複製配置資 訊等，進而，調整所述多個群集上的資源、業務分布和跨群集的資料複製配置等。
優選地，所述群集配置資訊包括以下至少任一項：一是所述多個群集中的業務分布資訊；二是所述多個群集間的資料複製配置資訊。
具體地，所述多個群集中的業務分布資訊包括每個群集中各種業務單元、資料項的部署資訊，如哪些業務單元從屬於哪些群集，某個業務單元中包括哪些具體資料項等；所述多個群集中的業務分布資訊還包括各種群集資源的設置資訊，例如各個群集、業務單元的儲存、計算等資源的配額資訊，或是各個群集之間的帶寬配額資訊等等。所述多個群集間的資料複製配置資訊實際上是預先將需要存取的其他群集的資料資訊備份到將發出存取的群集中。在跨群集存取資料時，若是直接遠程讀取資料，則可能會受到網路帶寬、延時、抖動等因素的較大影響，特別是兩個群集若是相跨較遠時，這種不利影響就越加明顯，所以優選地，透過將需要被跨群集存取的資料事先複製到所述發出存取請求的群集。
圖2示出根據本申請一個優選實施例的多群集管理設備的設備示意圖。在所述優選實施例中，所述多群集管理設備1包括第一裝置11’、第二裝置12’、第五裝置14’和第三裝置13’，其中，優選地，所述第三裝置13’還包括第一單元131’和第二單元132’。其中，第一裝置11’獲取多個群集的歷史運行資料；第二裝置12’基於所述歷史運 行資料確定所述多個群集的未來需求資訊；第五裝置14’基於所述未來需求資訊，檢測所述多個群集的當前資源分布是否滿足所述未來需求資訊；第三裝置13’用於若所述當前資源分布未滿足所述未來需求資訊，基於所述未來需求資訊確定所述多個群集中的業務分布資訊。其中，第一單元131’用於所述當前資源分布未滿足所述未來需求資訊，確定所述多個群集中待調整業務單元；第二單元132’用於確定所述待調整業務單元在所述多個群集中的對應目的群集。在此，所述第一裝置11’、第二裝置12’與圖1所示出的第一裝置11、第二裝置12對應相同或基本相同，故此處不再贅述，並透過引用的方式包含於此。
在所述優選實施例中，所述群集配置資訊包括所述多個群集中的業務分布資訊，其中，所述第五裝置14’基於所述未來需求資訊，檢測所述多個群集的當前資源分布是否滿足所述未來需求資訊。具體地，所述未來需求資訊包括未來一段時間裡，所述多個群集在若干個維度上資料處理任務占用群集各類資源的需求資訊，當前資源分布可以包括當前所述多個群集在若干個維度各類資源配額相關資訊，如所述儲存、計算和帶寬等資源配額資訊。在此，在當前資源分布的基礎上，評估各個維度的儲存、計算和帶寬資源是否滿足所述未來需求資訊，即未來一段時間裡各維度資源使用或占有的預測。為了保證整個群集的資料處理任務可以順利進行，一般要求所述多個群集當前的資源分布要滿足所述未來需求資訊，即要求各個維度的資源配 額要相對富餘。若透過所述檢測操作，所述多個群集的當前資源分布滿足所述未來需求資訊，則可以默認當前多個群集的資源分布和業務配置是較為合理的，能夠順利進行各個資料處理任務，此時，優選地，並不需要對當前的業務分布情況進行變動。若是所述當前資源分布未滿足所述未來需求資訊，則所述第三裝置13’將基於所述未來需求資訊確定所述多個群集中的業務分布資訊。在此，所述多個群集中的業務分布資訊的確定包括對各個群集內部的具體業務的重新部署，如對所述業務單元、甚至是對具體資料項的重新布局，例如，調整群集中的業務單元布局，及時調出不適宜所述群集的業務單元到其他群集中。
在此，優選地，所述第三裝置13’包括第一單元131’和第二單元132’。具體地，所述當前資源分布未滿足所述未來需求資訊時，所述第一單元131’將確定所述多個群集中待調整業務單元。在本申請中，所述各個維度的各個資料對象之間都存在一定的資料依賴關係，如資料項之間、業務單元之間、群集之間，以所述資料項之間的資料依賴關係為例，某個資料處理任務讀取某個資料項A，進行加工處理之後，輸出了資料項B，此時，所述資料項B是由所述資料項A處理得到的，即所述資料項B即依賴於所述資料項A，該依賴關係即為本申請中所述資料項之間的資料依賴關係。此外，在實際應用中，所述資料項還會劃分各個資料項分區，例如按照日期分區，例如，上述資料項A化為分區A1、A2、A3……，此時，所述資料項B依 賴的是A的各個具體分區。進一步，所述兩個業務單元(或群集)之間的資料依賴關係，就是其中一個業務單元有多少資料項是依賴另一個業務單元(或群集)中的資料項。在此，當一個群集中各個業務單元之間的資料依賴關係緊密時，如該群集內某一業務單元的資料的存取大部分在本群集內部完成，則一般跨群集的資源存取的比例就相應較少，群集內部資料傳輸比跨群集資料存取會更加高效和節省資源；反之，若是一個群集中各個業務單元之間的資料依賴關係鬆散，則該群集中的業務單元對應的資料傳輸和交換就會占用更多的資源，對此，就會有進一步優化的可能。所以，在此，若是所述當前資源分布未滿足所述未來需求資訊時，則可以透過比較從相應群集中確定與其他業務單元的資料依賴關係鬆散的業務單元為待調整的業務單元，透過將鬆散待調整業務單元的調出，來優化相應群集的資源分布。進而，透過所述第二單元132’，為所述待調整業務單元尋找適合的群集，例如與其資料依賴關係更為緊密的其他群集，作為調整對應的目的群集。
更優選地，所述第一單元131’用於基於所述多個群集中各個業務單元的未來需求資訊，分別計算每個業務單元與其他在相同群集中的各個業務單元之間的第一資料依賴量值之和；確定所述第一資料依賴量值之和最小的業務單元為相應群集中的所述待調整業務單元。
具體地，在此，所述第一資料依賴量值的確定方式，優選地，以被依賴資料項的大小為量化基礎，例如，資料 項D1依賴資料項C1，相應的資料依賴量值的大小就是資料項C1的大小V1，進而，若所述某群集中有業務單元1與業務單元2，若業務單元1中的資料項D1依賴業務單元2中的資料項C1，對應一個資料依賴量值V1，業務單元1中的資料項D2依賴業務單元2中的資料項C2，對應一個資料依賴量值V2，…業務單元1中的資料項Dn依賴業務單元2中的資料項Cn，對應一個資料依賴量值Vn，以此規律，則業務單元1依賴業務單元2的所述第一資料依賴量值即為V1+V2+……Vn，以此類推，將所述業務單元1與對應群集內部其他各個業務單元的各個第一資料依賴量值相加，就得到了所述的第一資料依賴量值之和。進而，相比較之下，所述第一資料依賴量值之和最小的業務單元，其與群集中其他各個業務單元的資料依賴關係，最為鬆散，說明群集間便捷存取的優勢，該業務單元獲益最少，此時，優選地，將該業務單元確定為相應群集中的所述待調整業務單元。
在本方案中，所述多個群集中當前資源分布未滿足所述未來需求資訊的各個群集中，都可能各自對應一個或多個待調整業務單元。
在此，本領域技術人員應能理解，所述第一資料依賴量值、以及對所述第一資料依賴量值的優選的確定方式僅為舉例，其他現有的或今後可能出現的其他資料資訊、或與所述其他資料資訊對應的確定方式、或所述第一資料依賴量值的其他確定方式如可適用於本發明，也應包含在本 發明保護範圍以內，並在此以引用方式包含於此。
更優選地，所述第二單元132’用於計算所述多個群集中待調整業務單元與每個候選目的群集上的各個業務單元之間的第二資料依賴量值之和，並按照所述第二資料依賴量值之和由大到小的順序，對若干個候選目的群集進行排序；基於所述排序的順序，將最先滿足所述待調整業務單元的未來需求資訊的目的群集作為所述待調整業務單元的對應目的群集。
具體地，對於所述相應群集中的所述待調整業務單元，為其選擇一個調入的目的群集，在此，優選地，基於所述第二資料依賴量值之和，在所述多個群集中為所述待選擇一個最優的目的群集。在此，所述第二資料依賴量值之和的確定方式可以與所述第一資料依賴量值之和的確定方式形似，在此，不再贅述，並透過引用的方式包含於此。此時，將所述待調整的業務單元與每個候選的群集上的各個業務單元分別進行第二資料依賴量值求和，例如，計算得到所述待調整業務單元3與候選目的群集L1上各個業務單元之間的第二資料依賴量值之和是W1，與候選目的群集L2上各個業務單元之間的第二資料依賴量值之和是W2，……與候選目的群集Zm上各個業務單元之間的第二資料依賴量值之和是Wm，進而對所述各個第二資料依賴量值之和由大到小進行排序，在此，假設所述由大到小的順序是W1、W2、……Wn。第二資料依賴量值越大的候選目的群集，所述待候選業務單元與其之內的各個 業務單元聯繫越密切，對應的資料依賴關係越緊密，進一步，基於所述排序的順序，檢測所述待候選目的群集當前的業務分布情況，例如，各類資源的相應配額，資料項的相應部署等等，是否能夠滿足所述待調整業務單元的未來需求資訊，若是當所述待調整業務單元加入所述待候選目的群集，致使所述待候選目的群集的資源分布不能滿足待調整業務單元的所述未來需求資訊，或是不能夠滿足調整後整個候選目的群集的未來需求資訊，及時，此時所述待候選業務單元與該候選目的群集資料依賴關係較緊密，卻仍然判斷該待候選目的群集不適合作為最終所述目的群集。基於上述判斷方法，按照所述排序的順序，將可以確定出與所述待調整業務單元關係最密切的、同時又能夠滿足所述待調整業務單元的未來需求資訊的最佳待候選目的群集為所述目的群集。
優選地，若所述當前資源分布未滿足所述未來需求資訊，所述第三裝置13’基於所述未來需求資訊確定所述多個群集中的業務分布資訊，直至所述業務分布資訊滿足所述未來需求資訊。
具體地，對於所述當前資源分布未滿足所述未來需求資訊的群集，當確定了一次所述多個群集中的業務分布資訊後，會基於確定的所述多個群集中的業務分布資訊可能的調整情況進行再次評估，檢測若是基於所述調整後的業務分布資訊進行群集管理，所述調整後的多個群集的業務分布資訊依然無法滿足對應的未來需求資訊，則說明一次 的業務分布資訊的調整，例如，一次的業務單元的調整仍然無法到達優化群集資源的目的，此時，可以再次確定所述多個群集中的業務分布資訊，例如再次尋找、並調整出與所述多個群集中與其他業務單元的資料依賴關係較為鬆散的業務單元，以此類推，直到透過所述評估，確定所述業務分布資訊滿足所述未來需求資訊，則可以確定達到優選結果。在此，所述業務分布的調整可能需要透過多次漸進循環而最終達到較為理想的優化狀態。
圖3示出根據本申請另一個優選實施例的多群集管理設備的設備示意圖。在所述另一個優選實施例中，所述多群集管理設備1包括第一裝置11”、第二裝置12”和第三裝置13”，其中，優選地，所述第三裝置13”還包括第五單元135”和第六單元136”。其中，第一裝置11”獲取多個群集的歷史運行資料；第二裝置12”基於所述歷史運行資料確定所述多個群集的未來需求資訊；第五單元135”基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊；第六單元136”基於所述群集間資料存取資訊，確定所述多個群集間的資料複製配置資訊。在此，所述第一裝置11”、第二裝置12”與圖1所示出的第一裝置11、第二裝置12對應相同或基本相同，故此處不再贅述，並透過引用的方式包含於此。
在此優選實施例中，所述群集配置資訊包括所述多個群集間的資料複製配置資訊，其中所述第五單元135”基於所述未來需求資訊，確定所述多個群集中群集間資料存 取資訊。具體地，在跨群集存取資料時，若是直接遠程讀取資料，則可能會受到網路帶寬、延時、抖動等因素的較大影響，特別是兩個群集若是相跨較遠時，這種不利影響就越加明顯，此時，可以透過將需要被跨群集存取的資料預先複製到所述發出存取請求的群集，來提高跨群集存取的效率。所述具體的資料複製配置資訊可以對應於不同的維度，例如資料項、業務單元等不同範圍進行部署。其中，具體複製資料的選擇、具體的配置群集的選擇等因素，對於群集間資料存取的最終效果會有直接的影響。基於此，優選地，本方案基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊。以所述資料複製配置資訊對應的配置對象是資料項為例，所述群集間資料存取資訊包括一段時間內，預測的所述資料項被存取的次數和資料量等。進而基於所述群集間資料存取資訊，可以確定所述多個群集間的資料複製配置資訊。例如，存取次數較多、存取資料量較大的資料項將被優選配置，進一步，結合群集間的資源限制，如帶寬配額等，决定配置的資料項的具體數量，確定合理的資料複製配置資訊，更進一步，在具體應用過程中，還可以對一些長期不再使用到的資料項進行定期的清理，優化複製資料的儲存空間。在此，優選地，所述資料複製配置資訊能夠滿足使跨群集複製的資料占用儲存儘量小，同時又能夠保證所述資料處理任務的完成效率在一個可以接收的等待範圍內。
優選地，在所述多群集管理設備1中，所述群集配置 資訊不僅包括所述多個群集間的資料複製配置資訊，還包括述多個群集中的業務分布資訊；其中，所述第五單元135”基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊。
具體地，基於所述未來需求資訊，可以分別確定所述多個群集中的業務分布資訊或所述多個群集間的資料複製配置資訊等群集配置資訊，進而，基於各類群集配置資訊，分別對所述多個群集進行優化管理。更進一步，還可以將多種群集配置資訊的綜合考慮，可以得到一個更優化的疊加效果。例如，首先透過所述未來需求資訊確定的所述多個群集中的業務分布資訊，若是基於所述未來需求資訊，可以得到優化的多個群集中的業務分布資訊，相比於直接基於優選前的業務分布資訊進行的資料複製配置資訊的確定，在所述優化的業務分布資訊的基礎上再進行群集間資料存取資訊的確定，並最終得到的資料複製配置資訊，會更加優化所述多個群集間資料存取效率。
圖4示出根據本申請另一個態樣的一種多群集管理方法的流程圖。
其中，在步驟S41中，所述多群集管理設備1獲取多個群集的歷史運行資料；在步驟S42中，所述多群集管理設備1基於所述歷史運行資料確定所述多個群集的未來需求資訊；在步驟S43中，所述多群集管理設備1基於所述未來需求資訊確定所述多個群集的群集配置資訊。
具體地，在步驟S41中，所述多群集管理設備1獲取 多個群集的歷史運行資料。一般情況下，一個相對獨立的業務對應的資料處理可以由一個業務單元獨立完成；或是進一步，一個完整業務的處理需要基於一個群集中各個業務單元之間的資料依賴關係，透過群集內多個業務單元之間的資料共享和資料交換來完成，此時資料處理任務消耗著群集的資料資源，如群集的儲存、計算等資源；或是更進一步，在跨地域的多群集環境中，進行更複雜的業務處理，此時群集之間的網路連通還會消耗群集間的網路帶寬等資源。在此，所述歷史運行資料包括一段時間內，在所述多個群集中完成各種資料處理任務對應的運行資料。在此，進行所述資料處理任務的資料單位可以包括群集、業務單元、資料項、資料項分區等不同維度。在本申請中，所述資料項包括一個資料的儲存集合，如資料庫中的表；所述資料項分區包括將所述資料項按一定的規則進行劃分，目的是為了方便對資料進行分片處理，從而降低資料處理量；在所述業務單元中，各種資料按照一定的範式進行分層，各個業務單元之間可以基於具體的層級中的資料項展開資料存取。與此相應的，所述歷史運行資料包括但不限於：業務單元、資料項、資料項分區的元資料；業務單元、資料項、資料項分區的儲存占用量；資料處理任務的運行日誌；群集間網路帶寬使用量；群集、業務單元的儲存、計算配額資料；群集間可用帶寬配額資料，等等。其中，在本申請中，所述元資料包括業務單元、資料項、資料項分區的屬性、特徵等基本描述性資料；所述資料處 理任務的運行日誌主要包含的資訊有所述資料處理任務對應的業務單元、任務啟動結束時間、輸入輸出的資料項及相應的資料項分區、輸入輸出的資料量、占用的計算單位等，透過所述運行日誌可以獲知所述業務單元、資料項、資料項分區的計算占用量；所述各類配額資料，如上述儲存、計算、帶寬等對應的配額資料，可能在一段時間內保持不變，也可能基於實際需要有所變化調整。對於所述歷史運行資料，特別是變化頻率較高的資料資訊，如所述業務單元、資料項、資料項分區的儲存占用量、所述群集間網路帶寬使用量和所述資料處理任務的運行日誌等可以周期性地進行資料採樣。
在此，所述多個群集的歷史運行資料可以間接的透過第三方儲存設備或資料庫進行獲取。優選地，也可以基於一定的資料處理平台直接進行所述歷史運行資料的採集。本申請中，所述資料處理平台包括使用分布式儲存和分布式計算等技術，提供大規模資料處理的計算機系統平台。例如，所述資料處理平台中各個模組中包含著運行日誌採集功能，並由統一的日誌管理系統將日誌匯總到一起統一儲存；又如，資料處理平台採用定時快照的方式將所述元資料匯總儲存。
接著，在步驟S42中，所述多群集管理設備1基於所述歷史運行資料確定所述多個群集的未來需求資訊。
具體地，基於所獲取的已有的歷史運行資料，對所述多個群集中各個群集的內部以及群集間的資料處理情況進 行分析，可以確定所述多個群集中各個資料項、各個業務單元、甚至是各個群集對應的各類資源的實際占用情況，基於所得到的實際資源占用資訊，還可以進一步確定各個資料項之間、各個業務單元之間、甚至是各個群集之間的資料相互調用情況和相互依賴關係。基於對所述歷史運行資料進行增長預測，可以預測所述多個群集在未來一段時間的資源需求資訊。在此，優選地，所述的未來需求資訊就是後續確定所述多個群集的群集配置資訊，從而對多群集進行優化管理的資料基礎。
優選地，在步驟S42中，所述多群集管理方法包括子步驟S421(未示出)和子步驟S422(未示出)。其中，在子步驟S421中，所述多群集管理設備1對所述歷史運行資料進行資料處理；在子步驟S422中，所述多群集管理設備1基於所述資料處理的結果，確定所述多個群集的未來需求資訊。
具體地，在子步驟S421中，所述多群集管理設備1對所述歷史運行資料進行資料處理。如，可以對所述獲取的所述歷史運行資料進行轉換、組合、連接等方式的加工處理。在此，以資料處理任務所占用的計算資源的加工處理為例，若是要計算多個群集中各個群集上計算資源的占用情況，以t分鐘為採樣周期，透過統計在一天中各個採樣時刻多個群集中每個群集中所有資料處理任務占用的計算單位總和，得到各個群集中計算資源的占用情況。此時，所述轉換即包括：將所述一天分成1440/t個採樣點， 遍歷所獲取的資料處理任務，若是某個資料處理任務覆蓋了某個時刻的採樣點，則把該資料處理任務添加到該時刻的採樣點對應的資料處理任務集合中。所述連接即包括：以所述業務單元為條件，所述資料處理任務與哪個業務單元進行資料連接，則該資料處理任務就運行在所述業務單元所對應的群集中。所述組合即包括：在各個採樣時刻，將運行在同一個群集中的各個所述資料處理任務占用的計算單位進行累加，即得到各個採樣時刻，該群集的計算資源占用量。
在此，對於不同類型的歷史運行資料，對應的加工處理方式可以有所不同，即使是同一類型的歷史運行資料，也可以根據需要進行不同方式的資料加工處理。
在此，本領域技術人員應能理解所述轉換、組合、連接等方式的加工處理僅為舉例，其他現有的或今後可能出現的其他對所述歷史運行資料的加工處理方式如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
接著，在子步驟S422中，所述多群集管理設備1基於所述資料處理的結果，確定所述多個群集的未來需求資訊。在此，所述資料處理的結果包括多個維度上的資源指標資料，本方案中，所述多個維度包括資料項、業務單元、群集或時間等維度，其中所述時間維度與所述資料項、業務單元、群集等維度正交。所述資源指標資料包括儲存資源占用量、計算資源占用量、相互間的資料依賴 量、群集間的複製資料量、群集間直接存取資料量等。在此，對於每個維度會分別對應若干個資源指標資料，其中，各個維度可能使用相同的資源指標資料，如均統計所述儲存資源占用量、計算資源占用量和相互間的資料依賴量。此外，各個維度對應的資源指標資料類型也可能各不相同，特別是，有些類型的資源指標資料只能夠在特定維度予以考慮，例如群集間的複製資料量、群集間直接存取資料量等。在此，所述資料處理的結果還包括群集資源配額指標資料，例如，群集間資料存取權重，基於群集間可用帶寬配額資料，為各個群集之間的資料存取設置權重，如兩個群集間可用帶寬越大，對應的資料存取權重越大。此時，基於所述歷史運行資料中獲取的、例如所述群集、業務單元的儲存、計算配額資料、所述群集間可用帶寬配額資料等資料資訊，透過一定的處理，加工為相應的群集資源配額指標資料，進而可以體現現有的群集內部，以及多個群集之間各種資源的限制和差異，並為後續操作提供基礎資料。在此，基於所述資料處理結果，進一步為所述多個群集的未來資源使用情況進行預測。
在此，本領域技術人員應能理解所述數多個維度上的指標資料和群集資源配額指標資料僅為舉例，其他現有的或今後可能出現的其他資料處理的結果如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
更優選地，所述基於所述資料處理的結果，確定所述 多個群集的未來需求資訊包括：透過所述資料處理獲得所述多個群集對應的資源指標資料；基於所述資源指標資料，透過指標預測確定所述多個群集的未來需求資訊。
具體地，在此，優選地，透過指標預測確定所述多個群集的未來需求資訊。透過對所述歷史運行資料的加工處理，可以獲得多個維度的所述資源指標資料，基於具體的資源指標資料，可以對未來一段時間內不同維度上資源需求進行預測，例如，預測出某個群集在未來一個月內的儲存資源占用量、每日每個時間區間的計算資源占用量等。具體的指標預測方法包括：首先，基於所述加工後得到的資源指標資料，並結合一定的資料挖掘方法，建立一定的資料計算模型，在此，所述資料發掘方法包括但不限於線性回歸、基於時間序列的季節性回歸預測等方法；進而，基於所述資料計算模型，結合相應的參數數值，得到相應的資源指標對應的未來需求資訊。在此，以預測業務單元的未來的儲存資源占用量為例，基於所述資料處理平台每天採集到的儲存資源占用資訊，經過加工處理，可以得到過去一段時間，如T個月，每天的儲存資源占用量，若以天數為變量x，以儲存資源占用量為變量y，進行線性回歸建模，則得到y=f(x)函數，進而基於所述資料計算模型們可以預測出N天後的所述業務單元的儲存資源占用量。
在此，本領域技術人員應能理解所述基於所述資源指標資料，透過指標預測確定所述多個群集的未來需求資訊僅為舉例，其他現有的或今後可能出現的其他確定所述多 個群集的未來需求資訊的方法如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
接著，在步驟S43中，所述多群集管理設備1基於所述未來需求資訊確定所述多個群集的群集配置資訊。所述群集配置資訊包括所述多個群集中的業務分布資訊，或是所述多個群集間的資料複製配置資訊。在此，所述多個群集中的業務分布資訊包括每個群集中各種業務單元、資料項的部署資訊；所述多個群集中的業務分布資訊還包括各種群集資源的設置資訊。在此，可以基於所述未來需求資訊對所述多個群集中的業務分布資訊進行安排，一般來說，目的是要使得所述多個群集對資源的未來需求在所確定的業務分布資訊的安排中得到滿足。此外，跨群集存取資料時，若是直接遠程讀取資料，則可能會受到網路帶寬、延時、抖動等因素的較大影響，特別是兩個群集若是相跨較遠時，這種不利影響就越加明顯，所以優選地，透過將需要被跨群集存取的資料事先複製到所述發出存取請求的群集，在此，基於所述未來需求資訊，可以預先確定需要備份什麽資料，如何備份資料，從而能夠確定一個更為合理的多群集件的資料複製配置資訊。
在此，所述群集配置資訊可以只包括所述多種群集配置資訊中的任意一種，也可以同時包括所述多種群集配置資訊中的多種，進一步，優選地，在後續的多群集管理中，可以同時結合多種群集配置資訊進行相應的管理。例如，基於所述未來需求資訊確定所述多個群集的業務分布 資訊，進而基於所述未來需求資訊，並結合所述多個群集的業務分布資訊進一步確定所述多個群集間的資料複製配置資訊。
在此，本申請透過對獲取的多個群集的歷史運行資料進行處理和分析獲得多個群集的未來需求資訊，基於所述未來需求資訊確定多個群集的群集配置資訊。基於所述的群集配置資訊，本申請可以在跨地域的多群集、大規模的資料處理環境中，實現多群集資源的合理分布和配置，達到全域資源的平衡優化，還可以在群集間資源條件允許的情況下，最大限度地高效實現跨群集的資料存取。
優選地，所述多群集管理方法還包括步驟S44(未示出)，在步驟S44中，所述多群集管理設備1根據所述群集配置資訊管理所述多個群集。
具體地，基於確定的所述多個群集的群集配置資訊，可以對是多個群集進行相應的管理。例如，基於確定的新的所述多個群集中的業務分布資訊，對所述多個群集中的業務分布進行調整；又如，基於所述多個群集間的資料複製配置資訊，為未來可能的跨群集資料存取預先備份待存取資料。在此，優選地，透過調用所述資料處理平台上對應的介面輸出所確定的各類群集配置資訊，如所述多個群集中的業務分布資訊、所述多個群集間的資料複製配置資訊等，進而，調整所述多個群集上的資源、業務分布和跨群集的資料複製配置等。
優選地，所述群集配置資訊包括以下至少任一項：一 是所述多個群集中的業務分布資訊；二是所述多個群集間的資料複製配置資訊。
具體地，所述多個群集中的業務分布資訊包括每個群集中各種業務單元、資料項的部署資訊，如哪些業務單元從屬於哪些群集，某個業務單元中包括哪些具體資料項等；所述多個群集中的業務分布資訊還包括各種群集資源的設置資訊，例如各個群集、業務單元的儲存、計算等資源的配額資訊，或是各個群集之間的帶寬配額資訊等等。所述多個群集間的資料複製配置資訊實際上是預先將需要存取的其他群集的資料資訊備份到將發出存取的群集中。在跨群集存取資料時，若是直接遠程讀取資料，則可能會受到網路帶寬、延時、抖動等因素的較大影響，特別是兩個群集若是相跨較遠時，這種不利影響就越加明顯，所以優選地，透過將需要被跨群集存取的資料事先複製到所述發出存取請求的群集。
圖5示出根據本申請一個優選實施例的一種多群集管理方法的流程圖。在所述優選實施例中，所述多群集管理方法包括步驟S41’、步驟S42’、步驟S44’和步驟S43’，其中，優選地，所述步驟S43’還包括子步驟S431’和子步驟S432’。其中，在步驟S41’中，所述多群集管理設備1獲取多個群集的歷史運行資料；在步驟S42’中，所述多群集管理設備1基於所述歷史運行資料確定所述多個群集的未來需求資訊；在步驟S44’中，所述多群集管理設備1基於所述未來需求資訊，檢測所述多個群集的當前資源分布 是否滿足所述未來需求資訊；在步驟S43’中，所述多群集管理設備1用於若所述當前資源分布未滿足所述未來需求資訊，基於所述未來需求資訊確定所述多個群集中的業務分布資訊。其中，在子步驟S431’中，所述多群集管理設備1用於所述當前資源分布未滿足所述未來需求資訊，確定所述多個群集中待調整業務單元；其中，在子步驟S432’中，所述多群集管理設備1用於確定所述待調整業務單元在所述多個群集中的對應目的群集。在此，所述步驟S41’、步驟S42’與圖4所示出的步驟S41、步驟S42對應相同或基本相同，故此處不再贅述，並透過引用的方式包含於此。
在所述優選實施例中，所述群集配置資訊包括所述多個群集中的業務分布資訊，其中，在步驟S44’中，所述多群集管理設備1基於所述未來需求資訊，檢測所述多個群集的當前資源分布是否滿足所述未來需求資訊。具體地，所述未來需求資訊包括未來一段時間裡，所述多個群集在若干個維度上資料處理任務占用群集各類資源的需求資訊，當前資源分布可以包括當前所述多個群集在若干個維度各類資源配額相關資訊，如所述儲存、計算和帶寬等資源配額資訊。在此，在當前資源分布的基礎上，評估各個維度的儲存、計算和帶寬資源是否滿足所述未來需求資訊，即未來一段時間裡各維度資源使用或占有的預測。為了保證整個群集的資料處理任務可以順利進行，一般要求所述多個群集當前的資源分布要滿足所述未來需求資訊， 即要求各個維度的資源配額要相對富餘。若透過所述檢測操作，所述多個群集的當前資源分布滿足所述未來需求資訊，則可以默認當前多個群集的資源分布和業務配置是較為合理的，能夠順利進行各個資料處理任務，此時，優選地，並不需要對當前的業務分布情況進行變動。若是所述當前資源分布未滿足所述未來需求資訊，則在步驟S43’中，所述多群集管理設備1將基於所述未來需求資訊確定所述多個群集中的業務分布資訊。在此，所述多個群集中的業務分布資訊的確定包括對各個群集內部的具體業務的重新部署，如對所述業務單元、甚至是對具體資料項的重新布局，例如，調整群集中的業務單元布局，及時調出不適宜所述群集的業務單元到其他群集中。
在此，優選地，所述步驟S43’還包括子步驟S431’和子步驟S432’。具體地，在子步驟S431’中，所述當前資源分布未滿足所述未來需求資訊時，所述多群集管理設備1將確定所述多個群集中待調整業務單元。在本申請中，所述各個維度的各個資料對象之間都存在一定的資料依賴關係，如資料項之間、業務單元之間、群集之間，以所述資料項之間的資料依賴關係為例，某個資料處理任務讀取某個資料項A，進行加工處理之後，輸出了資料項B，此時，所述資料項B是由所述資料項A處理得到的，即所述資料項B即依賴於所述資料項A，該依賴關係即為本申請中所述資料項之間的資料依賴關係。此外，在實際應用中，所述資料項還會劃分各個資料項分區，例如按照日期 分區，例如，上述資料項A化為分區A1、A2、A3……，此時，所述資料項B依賴的是A的各個具體分區。進一步，所述兩個業務單元(或群集)之間的資料依賴關係，就是其中一個業務單元有多少資料項是依賴另一個業務單元(或群集)中的資料項。在此，當一個群集中各個業務單元之間的資料依賴關係緊密時，如該群集內某一業務單元的資料的存取大部分在本群集內部完成，則一般跨群集的資源存取的比例就相應較少，群集內部資料傳輸比跨群集資料存取會更加高效和節省資源；反之，若是一個群集中各個業務單元之間的資料依賴關係鬆散，則該群集中的業務單元對應的資料傳輸和交換就會占用更多的資源，對此，就會有進一步優化的可能。所以，在此，若是所述當前資源分布未滿足所述未來需求資訊時，則可以透過比較從相應群集中確定與其他業務單元的資料依賴關係鬆散的業務單元為待調整的業務單元，透過將鬆散待調整業務單元的調出，來優化相應群集的資源分布。進而，在子步驟S432’中，為所述待調整業務單元尋找適合的群集，例如與其資料依賴關係更為緊密的其他群集，作為調整對應的目的群集。
更優選地，在子步驟S431’中，基於所述多個群集中各個業務單元的未來需求資訊，分別計算每個業務單元與其他在相同群集中的各個業務單元之間的第一資料依賴量值之和；確定所述第一資料依賴量值之和最小的業務單元為相應群集中的所述待調整業務單元。
具體地，在此，所述第一資料依賴量值的確定方式，優選地，以被依賴資料項的大小為量化基礎，例如，資料項D1依賴資料項C1，相應的資料依賴量值的大小就是資料項C1的大小V1，進而，若所述某群集中有業務單元1與業務單元2，若業務單元1中的資料項D1依賴業務單元2中的資料項C1，對應一個資料依賴量值V1，業務單元1中的資料項D2依賴業務單元2中的資料項C2，對應一個資料依賴量值V2，…業務單元1中的資料項Dn依賴業務單元2中的資料項Cn，對應一個資料依賴量值Vn，以此規律，則業務單元1依賴業務單元2的所述第一資料依賴量值即為V1+V2+……Vn，以此類推，將所述業務單元1與對應群集內部其他各個業務單元的各個第一資料依賴量值相加，就得到了所述的第一資料依賴量值之和。進而，相比較之下，所述第一資料依賴量值之和最小的業務單元，其與群集中其他各個業務單元的資料依賴關係，最為鬆散，說明群集間便捷存取的優勢，該業務單元獲益最少，此時，優選地，將該業務單元確定為相應群集中的所述待調整業務單元。
在本方案中，所述多個群集中當前資源分布未滿足所述未來需求資訊的各個群集中，都可能各自對應一個或多個待調整業務單元。
在此，本領域技術人員應能理解，所述第一資料依賴量值、以及對所述第一資料依賴量值的優選的確定方式僅為舉例，其他現有的或今後可能出現的其他資料資訊、或 與所述其他資料資訊對應的確定方式、或所述第一資料依賴量值的其他確定方式如可適用於本發明，也應包含在本發明保護範圍以內，並在此以引用方式包含於此。
更優選地，在子步驟S432’中，計算所述多個群集中待調整業務單元與每個候選目的群集上的各個業務單元之間的第二資料依賴量值之和，並按照所述第二資料依賴量值之和由大到小的順序，對若干個候選目的群集進行排序；基於所述排序的順序，將最先滿足所述待調整業務單元的未來需求資訊的目的群集作為所述待調整業務單元的對應目的群集。
具體地，對於所述相應群集中的所述待調整業務單元，為其選擇一個調入的目的群集，在此，優選地，基於所述第二資料依賴量值之和，在所述多個群集中為所述待選擇一個最優的目的群集。在此，所述第二資料依賴量值之和的確定方式可以與所述第一資料依賴量值之和的確定方式形似，在此，不再贅述，並透過引用的方式包含於此。此時，將所述待調整的業務單元與每個候選的群集上的各個業務單元分別進行第二資料依賴量值求和，例如，計算得到所述待調整業務單元3與候選目的群集L1上各個業務單元之間的第二資料依賴量值之和是W1，與候選目的群集L2上各個業務單元之間的第二資料依賴量值之和是W2，……與候選目的群集Zm上各個業務單元之間的第二資料依賴量值之和是Wm，進而對所述各個第二資料依賴量值之和由大到小進行排序，在此，假設所述由大 到小的順序是W1、W2、……Wn。第二資料依賴量值越大的候選目的群集，所述待候選業務單元與其之內的各個業務單元聯繫越密切，對應的資料依賴關係越緊密，進一步，基於所述排序的順序，檢測所述待候選目的群集當前的業務分布情況，例如，各類資源的相應配額，資料項的相應部署等等，是否能夠滿足所述待調整業務單元的未來需求資訊，若是當所述待調整業務單元加入所述待候選目的群集，致使所述待候選目的群集的資源分布不能滿足待調整業務單元的所述未來需求資訊，或是不能夠滿足調整後整個候選目的群集的未來需求資訊，及時，此時所述待候選業務單元與該候選目的群集資料依賴關係較緊密，卻仍然判斷該待候選目的群集不適合作為最終所述目的群集。基於上述判斷方法，按照所述排序的順序，將可以確定出與所述待調整業務單元關係最密切的、同時又能夠滿足所述待調整業務單元的未來需求資訊的最佳待候選目的群集為所述目的群集。
優選地，在步驟S43’中，若所述當前資源分布未滿足所述未來需求資訊，所述多群集管理設備1基於所述未來需求資訊確定所述多個群集中的業務分布資訊，直至所述業務分布資訊滿足所述未來需求資訊。
具體地，對於所述當前資源分布未滿足所述未來需求資訊的群集，當確定了一次所述多個群集中的業務分布資訊後，會基於確定的所述多個群集中的業務分布資訊可能的調整情況進行再次評估，檢測若是基於所述調整後的業 務分布資訊進行群集管理，所述調整後的多個群集的業務分布資訊依然無法滿足對應的未來需求資訊，則說明一次的業務分布資訊的調整，例如，一次的業務單元的調整仍然無法到達優化群集資源的目的，此時，可以再次確定所述多個群集中的業務分布資訊，例如再次尋找、並調整出與所述多個群集中與其他業務單元的資料依賴關係較為鬆散的業務單元，以此類推，直到透過所述評估，確定所述業務分布資訊滿足所述未來需求資訊，則可以確定達到優選結果。在此，所述業務分布的調整可能需要透過多次漸進循環而最終達到較為理想的優化狀態。
圖6示出根據本申請另一個優選實施例的一種多群集管理方法的流程圖。在所述另一個優選實施例中，所述多群集管理方法包括步驟S41”、步驟S42”和步驟S43”，其中，優選地，所述步驟S43”還包括子步驟S435”和子步驟S436”。其中，在步驟S41”中，所述多群集管理設備1獲取多個群集的歷史運行資料；在步驟S42”中，所述多群集管理設備1基於所述歷史運行資料確定所述多個群集的未來需求資訊；在子步驟S435”中，所述多群集管理設備1基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊；在子步驟S436”中，所述多群集管理設備1基於所述群集間資料存取資訊，確定所述多個群集間的資料複製配置資訊。在此，所述步驟S41”、步驟S42”與圖4所示出的步驟S41、步驟S42對應相同或基本相同，故此處不再贅述，並透過引用的方式包含於此。
在此優選實施例中，所述群集配置資訊包括所述多個群集間的資料複製配置資訊，其中，在子步驟S435”中，所述多群集管理設備1基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊。具體地，在跨群集存取資料時，若是直接遠程讀取資料，則可能會受到網路帶寬、延時、抖動等因素的較大影響，特別是兩個群集若是相跨較遠時，這種不利影響就越加明顯，此時，可以透過將需要被跨群集存取的資料預先複製到所述發出存取請求的群集，來提高跨群集存取的效率。所述具體的資料複製配置資訊可以對應於不同的維度，例如資料項、業務單元等不同範圍進行部署。其中，具體複製資料的選擇、具體的配置群集的選擇等因素，對於群集間資料存取的最終效果會有直接的影響。基於此，優選地，本方案基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊。以所述資料複製配置資訊對應的配置對象是資料項為例，所述群集間資料存取資訊包括一段時間內，預測的所述資料項被存取的次數和資料量等。進而，在子步驟S436”中，所述多群集管理設備1基於所述群集間資料存取資訊，可以確定所述多個群集間的資料複製配置資訊。例如，存取次數較多、存取資料量較大的資料項將被優選配置，進一步，結合群集間的資源限制，如帶寬配額等，決定配置的資料項的具體數量，確定合理的資料複製配置資訊，更進一步，在具體應用過程中，還可以對一些長期不再使用到的資料項進行定期的清理，優化複製資料的儲存 空間。在此，優選地，所述資料複製配置資訊能夠滿足使跨群集複製的資料占用儲存儘量小，同時又能夠保證所述資料處理任務的完成效率在一個可以接收的等待範圍內。
優選地，在所述多群集管理設備方法中，所述群集配置資訊不僅包括所述多個群集間的資料複製配置資訊，還包括述多個群集中的業務分布資訊；其中，在子步驟S435”中，所述多群集管理設備1基於所述未來需求資訊，確定所述多個群集中群集間資料存取資訊。
具體地，基於所述未來需求資訊，可以分別確定所述多個群集中的業務分布資訊或所述多個群集間的資料複製配置資訊等群集配置資訊，進而，基於各類群集配置資訊，分別對所述多個群集進行優化管理。更進一步，還可以將多種群集配置資訊的綜合考慮，可以得到一個更優化的疊加效果。例如，首先透過所述未來需求資訊確定的所述多個群集中的業務分布資訊，若是基於所述未來需求資訊，可以得到優化的多個群集中的業務分布資訊，相比於直接基於優選前的業務分布資訊進行的資料複製配置資訊的確定，在所述優化的業務分布資訊的基礎上再進行群集間資料存取資訊的確定，並最終得到的資料複製配置資訊，會更加優化所述多個群集間資料存取效率。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且 是非限制性的，本申請的範圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。裝置權利要求中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。

Claims (24)

  1. 一種多群集管理方法，其中，該方法包括：獲取多個群集的歷史運行資料，其中針對變化頻率較高的資料資訊可周期性地進行資料採樣來進行所述獲取多個群集的歷史運行資料；基於該歷史運行資料確定該多個群集的未來需求資訊；基於該未來需求資訊確定該多個群集的群集配置資訊。
  2. 根據申請專利範圍第1項所述的方法，其中，該方法還包括：根據該群集配置資訊管理該多個群集。
  3. 根據申請專利範圍第1或2項所述的方法，其中，該群集配置資訊包括以下至少任一項：該多個群集中的業務分布資訊；該多個群集間的資料複製配置資訊。
  4. 根據申請專利範圍第3項所述的方法，其中，該群集配置資訊包括該多個群集中的業務分布資訊；其中，該方法還包括：基於該未來需求資訊，檢測該多個群集的當前資源分布是否滿足該未來需求資訊；其中，該基於該未來需求資訊確定該多個群集的群集配置資訊包括：若該當前資源分布未滿足該未來需求資訊，基於該未 來需求資訊確定該多個群集中的業務分布資訊。
  5. 根據申請專利範圍第4項所述的方法，其中，該基於該未來需求資訊確定該多個群集的群集配置資訊包括：若該當前資源分布未滿足該未來需求資訊，確定該多個群集中待調整業務單元；確定該待調整業務單元在該多個群集中的對應目的群集。
  6. 根據申請專利範圍第5項所述的方法，其中，該若該當前資源分布未滿足該未來需求資訊，確定該多個群集中待調整業務單元包括：基於該多個群集中各個業務單元的未來需求資訊，分別計算每個業務單元與其他在相同群集中的各個業務單元之間的第一資料依賴量值之和；確定該第一資料依賴量值之和最小的業務單元為相應群集中的該待調整業務單元。
  7. 根據申請專利範圍第5項所述的方法，其中，該確定該待調整業務單元在該多個群集中的對應目的群集包括：計算該多個群集中待調整業務單元與每個候選目的群集上的各個業務單元之間的第二資料依賴量值之和，並按照該第二資料依賴量值之和由大到小的順序，對若干個候選目的群集進行排序；基於該排序的順序，將最先滿足該待調整業務單元的 未來需求資訊的目的群集作為該待調整業務單元的對應目的群集。
  8. 根據申請專利範圍第4項所述的方法，其中，該基於該未來需求資訊確定該多個群集的群集配置資訊包括：若該當前資源分布未滿足該未來需求資訊，基於該未來需求資訊確定該多個群集中的業務分布資訊，直至該業務分布資訊滿足該未來需求資訊。
  9. 根據申請專利範圍第1至8項中任一項所述的方法，其中，該基於該歷史運行資料確定該多個群集的未來需求資訊包括：對該歷史運行資料進行資料處理；基於該資料處理的結果，確定該多個群集的未來需求資訊。
  10. 根據申請專利範圍第9項所述的方法，其中，該基於該資料處理的結果，確定該多個群集的未來需求資訊包括：透過該資料處理獲得該多個群集對應的資源指標資料；基於該資源指標資料，透過指標預測確定該多個群集的未來需求資訊。
  11. 根據申請專利範圍第3項所述的方法，其中，該群集配置資訊包括該多個群集間的資料複製配置資訊；其中，該基於該未來需求資訊確定該多個群集的群集 配置資訊包括：基於該未來需求資訊，確定該多個群集中群集間資料存取資訊；基於該群集間資料存取資訊，確定該多個群集間的資料複製配置資訊。
  12. 根據申請專利範圍第11項所述的方法，其中，該群集配置資訊還包括該多個群集中的業務分布資訊；其中，該基於該未來需求資訊，確定該多個群集中群集間資料存取資訊包括：基於該未來需求資訊及該業務分布資訊，確定該多個群集中群集間資料存取資訊。
  13. 一種多群集管理設備，其中，所述設備包括：第一裝置，用於獲取多個群集的歷史運行資料，其中針對變化頻率較高的資料資訊可周期性地進行資料採樣來進行所述獲取多個群集的歷史運行資料；第二裝置，用於基於該歷史運行資料確定該多個群集的未來需求資訊；第三裝置，用於基於該未來需求資訊確定該多個群集的群集配置資訊。
  14. 根據申請專利範圍第13項所述的設備，其中，該設備還包括：第四裝置，用於根據該群集配置資訊管理該多個群集。
  15. 根據申請專利範圍第13項所述的設備，其中， 該群集配置資訊包括以下至少任一項：該多個群集中的業務分布資訊；該多個群集間的資料複製配置資訊。
  16. 根據申請專利範圍第15項所述的設備，其中，該群集配置資訊包括該多個群集中的業務分布資訊；其中，該設備還包括：第五裝置，用於基於該未來需求資訊，檢測該多個群集的當前資源分布是否滿足該未來需求資訊；其中，該第三裝置用於：若該當前資源分布未滿足該未來需求資訊，基於該未來需求資訊確定該多個群集中的業務分布資訊。
  17. 根據申請專利範圍第16項所述的設備，其中，該第三裝置包括：第一單元，用於若該當前資源分布未滿足該未來需求資訊，確定該多個群集中待調整業務單元；第二單元，用於確定該待調整業務單元在該多個群集中的對應目的群集。
  18. 根據申請專利範圍第17項所述的設備，其中，該第一單元用於：基於該多個群集中各個業務單元的未來需求資訊，分別計算每個業務單元與其他在相同群集中的各個業務單元之間的第一資料依賴量值之和；確定該第一資料依賴量值之和最小的業務單元為相應群集中的該待調整業務單元。
  19. 根據申請專利範圍第17項所述的設備，其中，該第二單元用於：計算該多個群集中待調整業務單元與每個候選目的群集上的各個業務單元之間的第二資料依賴量值之和，並按照該第二資料依賴量值之和由大到小的順序，對若干個候選目的群集進行排序；基於該排序的順序，將最先滿足該待調整業務單元的未來需求資訊的目的群集作為該待調整業務單元的對應目的群集。
  20. 根據申請專利範圍第16項所述的設備，其中，該第三裝置用於：若該當前資源分布未滿足該未來需求資訊，基於該未來需求資訊確定該多個群集中的業務分布資訊，直至該業務分布資訊滿足該未來需求資訊。
  21. 根據申請專利範圍第13至20項中任一項所述的設備，其中，該第二裝置包括：第三單元，用於對該歷史運行資料進行資料處理；第四單元，用於基於該資料處理的結果，確定該多個群集的未來需求資訊。
  22. 根據申請專利範圍第21項所述的設備，其中，該第四單元用於：透過該資料處理獲得該多個群集對應的資源指標資料；基於該資源指標資料，透過指標預測確定該多個群集 的未來需求資訊。
  23. 根據申請專利範圍第15項所述的設備，其中，該群集配置資訊包括該多個群集間的資料複製配置資訊；其中，該第三裝置包括：第五單元，用於基於該未來需求資訊，確定該多個群集中群集間資料存取資訊；第六單元，用於基於該群集間資料存取資訊，確定該多個群集間的資料複製配置資訊。
  24. 根據申請專利範圍第23項所述的設備，其中，該群集配置資訊還包括該多個群集中的業務分布資訊；其中，該第五單元用於：基於該未來需求資訊及該業務分布資訊，確定該多個群集中群集間資料存取資訊。
TW104128811A 2015-04-03 2015-09-01 一種多群集管理方法與設備 TWI681337B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510158697.X 2015-04-03
CN201510158697.XA CN106161525B (zh) 2015-04-03 2015-04-03 一种多集群管理方法与设备

Publications (2)

Publication Number Publication Date
TW201636888A TW201636888A (zh) 2016-10-16
TWI681337B true TWI681337B (zh) 2020-01-01

Family

ID=57007629

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104128811A TWI681337B (zh) 2015-04-03 2015-09-01 一種多群集管理方法與設備

Country Status (4)

Country Link
US (1) US20160292608A1 (zh)
CN (1) CN106161525B (zh)
TW (1) TWI681337B (zh)
WO (1) WO2016161296A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833043B (zh) 2015-05-25 2024-04-19 创新先进技术有限公司 信息交互方法、设备及服务端
CN107133087A (zh) * 2016-02-29 2017-09-05 阿里巴巴集团控股有限公司 一种资源调度方法与设备
EP3427157B1 (en) * 2016-03-09 2023-10-11 Alibaba Group Holding Limited Cross-regional data transmission
CN107229517A (zh) 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 任务调度方法和装置
US10142255B1 (en) * 2016-09-08 2018-11-27 Amazon Technologies, Inc. Allocating dynamic resources to service clusters
CN109936471B (zh) * 2017-12-18 2022-05-24 北京图森智途科技有限公司 一种多集群的资源分配方法和装置
CN108460490A (zh) * 2018-03-16 2018-08-28 阿里巴巴集团控股有限公司 一种业务发生量的预测方法、装置及设备
CN108810107B (zh) * 2018-05-24 2021-07-13 南方电网深圳数字电网研究院有限公司 一种双态it业务的云管平台以及服务方法
CN110888733B (zh) * 2018-09-11 2023-12-26 三六零科技集团有限公司 集群资源使用情况处理方法、装置及电子设备
CN112036581B (zh) * 2019-05-15 2024-03-26 上海杰之能软件科技有限公司 交通工具空调系统的性能检测方法及装置、存储介质、终端
CN113360334B (zh) * 2020-03-05 2023-09-22 北京京东振世信息技术有限公司 内存资源的预警方法、装置及计算机可读存储介质
CN115412566A (zh) * 2021-05-27 2022-11-29 中移动信息技术有限公司 大数据多集群管理方法、装置、电子设备及存储介质
CN114189482A (zh) * 2021-12-14 2022-03-15 郑州阿帕斯数云信息科技有限公司 一种集群资源的控制方法、装置和系统
CN116820766A (zh) * 2023-06-29 2023-09-29 黑龙江起速网络科技有限公司 基于大数据技术的计算机资源分配系统及方法
CN117112236B (zh) * 2023-10-23 2024-02-20 山东曙光照信息技术股份有限公司 基于数据涌流及波动性预测的辖区服务器配置方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201128532A (en) * 2010-02-11 2011-08-16 Alibaba Group Holding Ltd Loading and upgrade device of Java cluster application system code and method thereof
TW201403350A (zh) * 2012-05-16 2014-01-16 Apple Inc 以雲端爲基礎之應用程式資源檔案
US8645529B2 (en) * 2010-10-06 2014-02-04 Infosys Limited Automated service level management of applications in cloud computing environment
US8850432B2 (en) * 2012-05-30 2014-09-30 Red Hat, Inc. Controlling utilization in a multi-tenant platform-as-a-service (PaaS) environment in a cloud computing system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7320088B1 (en) * 2004-12-28 2008-01-15 Veritas Operating Corporation System and method to automate replication in a clustered environment
CN101820384A (zh) * 2010-02-05 2010-09-01 浪潮(北京)电子信息产业有限公司 一种集群服务动态分配方法及装置
US8788855B2 (en) * 2011-09-23 2014-07-22 Microsoft Corporation Cluster computational capacity level switching based on demand prediction and stability constraint and power consumption management
US8826277B2 (en) * 2011-11-29 2014-09-02 International Business Machines Corporation Cloud provisioning accelerator
CN103425535B (zh) * 2013-06-05 2016-08-10 浙江大学 云环境下的敏捷弹性伸缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201128532A (en) * 2010-02-11 2011-08-16 Alibaba Group Holding Ltd Loading and upgrade device of Java cluster application system code and method thereof
US8645529B2 (en) * 2010-10-06 2014-02-04 Infosys Limited Automated service level management of applications in cloud computing environment
TW201403350A (zh) * 2012-05-16 2014-01-16 Apple Inc 以雲端爲基礎之應用程式資源檔案
US8850432B2 (en) * 2012-05-30 2014-09-30 Red Hat, Inc. Controlling utilization in a multi-tenant platform-as-a-service (PaaS) environment in a cloud computing system

Also Published As

Publication number Publication date
CN106161525A (zh) 2016-11-23
TW201636888A (zh) 2016-10-16
WO2016161296A1 (en) 2016-10-06
CN106161525B (zh) 2019-09-17
US20160292608A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
TWI681337B (zh) 一種多群集管理方法與設備
CN108038239B (zh) 一种异构数据源规范化处理方法、装置及服务器
US9747127B1 (en) Worldwide distributed job and tasks computational model
US20180198855A1 (en) Method and apparatus for scheduling calculation tasks among clusters
CN102694868B (zh) 一种集群系统实现及任务动态分配方法
US9417926B2 (en) Optimized multi-component co-allocation scheduling with advanced reservations for data transfers and distributed jobs
US9280381B1 (en) Execution framework for a distributed file system
US9747128B1 (en) Worldwide distributed file system model
Zhao et al. Cloud data management
CN104615606B (zh) 一种Hadoop分布式文件系统及其管理方法
US20150088807A1 (en) System and method for granular scalability in analytical data processing
CN108090225A (zh) 数据库实例的运行方法、装置、系统及计算机可读存储介质
CN103106152A (zh) 基于层次存储介质的数据调度方法
CN105005570A (zh) 基于云计算的海量智能用电数据挖掘方法及装置
CN101410836A (zh) 向应用提供对存储在数据库中的数据的访问的方法
CN111966692A (zh) 针对数据仓库的数据处理方法、介质、装置和计算设备
CN102929899A (zh) 一种基于中间表的分布式报表系统
US20200065415A1 (en) System For Optimizing Storage Replication In A Distributed Data Analysis System Using Historical Data Access Patterns
Liao et al. A QoS-aware dynamic data replica deletion strategy for distributed storage systems under cloud computing environments
Hu E-commerce big data computing platform system based on distributed computing logistics information
WO2017113865A1 (zh) 一种大数据增量计算方法和装置
Lee et al. A big data management system for energy consumption prediction models
CN112435022A (zh) 基于用户实时数据的动态检索系统、及方法
US10311019B1 (en) Distributed architecture model and management
Martin et al. Low cost energy forecasting for smart grids using Stream Mine 3G and Amazon EC2