TW201140451A - Goal oriented performance management of workload utilizing accelerators - Google Patents

Goal oriented performance management of workload utilizing accelerators Download PDF

Info

Publication number
TW201140451A
TW201140451A TW099141184A TW99141184A TW201140451A TW 201140451 A TW201140451 A TW 201140451A TW 099141184 A TW099141184 A TW 099141184A TW 99141184 A TW99141184 A TW 99141184A TW 201140451 A TW201140451 A TW 201140451A
Authority
TW
Taiwan
Prior art keywords
processing system
information processing
work
accelerator
hardware accelerator
Prior art date
Application number
TW099141184A
Other languages
English (en)
Inventor
Donna N Dillenberger
Matthew S Thoennes
Peter Yocom
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW201140451A publication Critical patent/TW201140451A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/52Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/509Offload
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Description

201140451 六、發明說明: 【發明所屬之技術領域】 本發明大體上關於工作負載管理的領域,且更明確地 說,關於使用硬體加速器管理工作負載。 【先前技術】 一般用途處理器(例如,Intel®、AMD®、以及IBM POWER®)皆被設計成支援廣泛的工作負載。倘若需要超過既, 有能力的處理功率的話,硬體加速器便可能會被附接至一電 腦系統,以符合特殊應用的需求。硬體加速器亦可用於解決 效能瓶頸。該些加速器被視為可讓系統運用的計算資源。硬 體加速器的範例包含:可場程式化陣列(FPGA,‘‘fidd programmable array”)、IBM Cell B.E.(Broad Engine(寬頻引擎)) 處理器、以及圖形處理單元(Gpu,“graphics p職以叩 unit )。加速|§在其特定任務中會比系統的_般處理器有更好 的價格/效,點。例如,硬體加迷器會經纟pci_exp職ι/〇插 網路(例如’乙太網路及1―⑧)直接被附 接至複雜處理器或巢狀處理器。 【發明内容】 器資源的 .令發明的-具體實施例提供—種動態管理加速 201140451 電腦施行方法。根據該方法,第一組硬體加速器資源會先指 派給第一資訊處理系統,而第二組硬體加速器資源會先指派 給第二資訊處理系統。在該等第一與第二資訊處理系統上執 行的工作會受到至少一處理器的監視。當該等工作中其中— 者無法符合目標時,第二資訊處理系統的第二組硬體加速器 資源中的至少一硬體加速器資源便會動態重新指派給第一資 訊處理系統。 本發明的另一具體實施例提供一種動態管理加速器資源 的資訊處理系統。該資訊處理系統包含一記憶體以及一被通 信耦合至該記憶體的處理器。該資訊處理系統還包含一指派 管理器,其會被通信耦合至該記憶體與該處理器。該指派管 =器會被配置成用以先將第一組硬體加速器資源指派給第一 身訊處理系統並將第二組硬體加速器資源指派給第二資訊處 ,系統。在該等第-與第二資訊處理系統上執行的工作都會 文到監視。當該等工作中其中一者無法符合目標時,第二 =處理系統的第二組硬體加速器資源中的至少一硬體加&器 貧源便會動態重新指派給第一資訊處理系統。 ° 從下面的詳細說明中將會明白本發明的其它目的 及優點。不過,應該瞭解的係,該等詳細說明定 =丨雖然表明本發明的較佳具體實施 :: 明 【實施方式】 操作環境 201140451 圖1所不的係可施加於本發明實施例的—示範性操 境。圖1的示範性環境100係一操作在對稱多工處理⑽/ “symmetnc nrultipr〇cessing,,)計算環财的平行分散式 統。在SMP,算環境中’平行應用可能會有在相同處理節點 上多個處理ϋ中執行的數項工作(處理)。圖丨的示範性環产雖 然係- SMP環境,不過,本發明並不受限於此。亦可施二其 它架構,而且本發_某些具體實_係操作在單—系統内、。 圖1顯示複數個主系統102、104以及106。每一個主系 統102—、104以及106皆有一或多個工作負載⑽、η〇以及 112,母一個工作負載都包含要被實施的一或多項工作I】#、 1^6以及118。每一個主系統1〇2、1〇4以及1〇6還會有加速 ,指派資訊119’其會確認目前指派給該主系、統的硬體加速 器。每一個主系統1〇2、104以及1〇6皆會被通信耦合至一内 連線組織120,例如,乙太網路或Infjniban(j⑧。多個硬體加 ,器122、124以及126同樣會被通信搞合至内連線組織12〇。 每—個硬體加速器122、124以及126都是一特殊用途硬體組 件或器件,其能夠以最佳效能(和一般用途處理器相較之下) 實施一有限的特定功能組。主系統1〇2、1〇4以及1〇6中的一 或多者會運用加速器122、124以及126中的一或多者來實施 其工作負載中的至少一部分。 圖1還顯示一具有指派管理器130的資訊處理系統128。 指派管理器130會動態指派一或多個加速器122、124以及126 、’、6 主系統】〇2、104以及106。此加速器的動態重新指派可 以依據在各部主機之中執行的服務等級/工作的效能與重要 201140451 性’讓加速器被指派給各個主機。倘若一主機正在執行—不 符其效能目標的高優先權工作的話,該指派管理器便會從正 在執行較低優先權工作或未受到此動態重新指派影響的工作 的其它主機中來動態重新指派加速器資源。此種依據工作負 載來平衡加速器資源的能力可以達到較高的整體利用率。' 又,於加速器資源有限的情況中,還能夠優先處理最重要的 指派管理器130包含:一工作監視器132、一工作分級器 134、一主機質詢模組136、一加速器指派器138以及初始= 派配置資料140。資訊處理系統128還包含:工作統計^ 142、工作分級資訊144、以及服務等級資訊146。於進一牛 ,實施例中,指派管理器13〇可能會駐存在該等主系統二 一或多者之中。 加速器資源的動態管理 134 的具體實闕中,指派f理11 13G的工作分級器 曰刀斤駐存在主系統1〇2、1〇4以及1〇6處的工作、 者並且將每—項工作分級為一特殊類型 級皆右—4匕的服務等級(SerVlCe class)」。每一個服務等 項指標的優「先在權五。二㈣^ ^ 訊會被儲由管:者來設定。此資 析—工作的_壯二作分級請會分 使用者身分、以 %棱出该項工作的使用者之 以性)並且依據該工作的屬性和服務等 201140451 級資訊146來確認該項工作落在哪個服務等級。於一替代具 體實施例中,工作分級器m會使用和—卫作相關聯的⑽ 資訊142來判斷哪個服務等級和該項工作相關聯。該等工作 亦能夠依據其它相關聯的屬性被分級在各個服務等級之中。 在所示的具體實施例中,該指派管理H會先依據初始指 派配置資料140指派加速器122、124以及126給主系統1〇2、 104以及106。於此具體實施例中,初始指派配置資料14〇係 事先定義的加速器分配資料’其會告知一主系統哪些加速器 已經分配給該特殊系統。如圖2的範例中所示,加速器w 122 會先指派給主系統A 102,加速器X 124會先指派給主系統b 104,而加速器Y會先指派給主系統N 106。 在一加速器藉由指派管理器130被指派給一主系統之 後,該主系統便會將其部分工作負載傳送給該經指派的加速 器。於此具體實施例中,該指派管理器的工作監視器132會 監視每一個工作負載108、110、112中的每一個工作114、116 以及118,用以決定工作統計資料142。工作監視器132會監 視下面的統計資料’例如:一工作在該加速器處的執行時間、 被一工作使用的加速器的數量、一工作在被一加速器實施之 前保留在該加速器之佇列中多久時間、以及類似資料。此資 訊會被儲存為工作統計資訊142。於工作分級器134使用統計 資訊將一工作指派至一服務等級的具體實施例中,工作分級 器134會使用工作統計資訊142來決定和一工作相關聯的服 務等綠。於一範例中,倘若一工作花五秒完成並使用兩個加 速器.的转,工作分級器134會將一服務等級和實質上匹配該 201140451 些統计★料的工作產生關聯並且將此分級結果儲存在工作分 級資訊144之中。 該等服務等級的優先權可以被事先定義,但並非必要。 於一範例中,工作監視器132會監視下面參數,例如:每一 項工作留在一加速器佇列内等待被實施的時間、一工作要被 一加速器完成所花費的時間、一工作使用的加速器 、 以及類似參數。接著,,監視器132會以此統計資訊決定 和該等工作相關聯的服務等級的平均值。接著,該指派管理 器便能夠依據與-給定服務等級的該等工作相關聯的平 決定該給定服務等級的完成目標、仔列時間平均值、以 若—給定服務等級中所有工作要被該 專加速h成的平均時間為五秒的話,那麼,這便 該服務等級的效能目標。於—替代具體實施财,每一= 監視自己的:μ乍並記錄統計#訊,而非讓指派管理 :實%該些作業。接著’此f訊會在必要時 =理器:。指派管理器13〇會使用和一服 :::=目標與優先權)來決定如何動態指派該等加 在該等工作已指派給—服務等級 (多個)已指派加速器時,工作監視器‘ ΓΛ工作^確保料服務等級符合它們的目標。舉例i ^來自運轉中々工作的統計資料(舉例來說,工作統計資訊 該服務等級中的每—項卫作被收集 利 ,細料’該服務等級的效能會被判定為被指L5 201140451 服,等級的所有工作的平均值。工作監視器132會確認一服 務等級的該(等)目標。於一範例巾,該些目標和下列有關:加 速器佇列時間、執行時間、以及類似物。指派管理器13〇會 依據該已聚合的統計資訊來判斷該服務等級是否未達它的(多 個)目標。舉例來說,一服務等級的目標指定該服務等級中的 工作應該有10秒的平均回應時間。倘若該服務等級中有3項 工作的回應時間為5秒、10秒以及30秒的話,那麼,平均回 應時間便是15秒,而該服務等級便不符合它的目標。 指派管理器130會依據此資訊來判斷是否動態改變送出 不符其目標之服務等級的工作的主系統的加速器指派配置。 於此具體實施例中,指派管理器130會在判斷是否應該 增加額外加速器資源時決定一服務等級的優先權。舉例來 說,每一個服務等級(及其工作)皆會有一優先位準。倘若一服 務等級的優先位準在臨界值之上的話,那麼,指派管理器13〇 便會決定動態重新指派加速器資源。倘若優先位準在給定臨 界值之下的話,那麼,指派管理器13〇便會決定不需要動態 重新指派加速器資源。於某些具體實施例中,服務等級並^ 有優先位準。 當判斷是否動態重新指派額外加速H給—給定主機時, 指派管理H 130會麟此重新指㈣触機造成的影鲤。^ 派管理器!30會使用和-服務等級的該(等)工作相關聯的^ 計資訊142,判斷增加額外加逮器是否會確保達到和該服 級相關聯的目標。於一範例中’指派管理器13〇會監視:主 201140451 系統中-或多個服務等級的該等工作’用以確認該服務等級 中每一項玉作的仔列時間、執行時間、平均時間、以及_ 物,並且將此資訊聚合在該等工作的服務等級之中。此資訊 會依據該些統計資料被用來估計加入額外加速器的影響。'5 舉例來說,指派管理H 130會❹針對—服務等級所收 集的資料(也就是,工作統計資訊M2,例如,該服務等級中 每一項工作的佇列時間、執行時間、平均時間、以及類似物, 其表示一工作使用一加速器的結果)並為每—個服務等級產生 一曲線圖,例如,圖8中所示的示範性曲線圖8〇〇。此曲線圖 的X軸顯示指派給一主系統的加速器的數量,而y軸顯示一 服務等級中的工作在一加速器的一佇列中的時間。利用此資 訊,指派官理器130便能夠得知一服務等級中的工作要等待 多久以使用一加速器和被指派給一主系統的加速器數量之間 的關係。從圖8中所示的佇列模型中,指派管理器13〇便能 夠推斷若實施加速器的動態分配的話會對一服務等級的平均 回應時間造成的影響。倘若更多加速器被加入該等主系統的 話’工作在該佇列中等待的時間會縮短。倘若加速器從一主 系統中被取走的話,工作在該佇列中等待的時間會增加。一 服務等級中的工作在該佇列中平均等待的時間變化會直接影 響該服務等級的平均回應時間。 於另一具體實施例中,該主系統本身會實施此估計,而 非指派管理器130。於此具體實施例中’倘若該主系統判定可 從被指派的額外加速器處得利的話,那麼,該主系統便會向 私派管理器13〇要求該等額外的加速器資源。 201140451 倘若該指派官理器判定可從指派_戒多個額外加速器給 一給定主系統之中得利的話(或者倘若該指派管理器從該主系 統處收到額外加速器資源的要求的話广那麼,該指派管理器 130便會判斷動態重新指派該等額外加速器資源給該給定主 系統對其它主系統的影響。於—範例中,倘若指派管理器 13 〇 (或該給定主系統)判斷不符其目標的〆服務等級的平均佇 列等待時間會因動態重新指派一或多個額外加速器資源而縮 短的話(因而會有較快的完成時間),那麼,指派管理器13〇便 會判斷此加速器指派對其它主系統的影響。因為動態重新指 派額外加速器資源給該給定主系統會使得目前指派給其它主 系統的加速器資源被動態重新指派給該給定主系統,所以會 對其它主系統造成影響。於此具體實施例中,指派管理器13〇 會藉由分析和一或多個服務等級/主系統相關聯的曲線圖8〇〇 來估計從其它系統處解除分配一或多個加速器資源對它們的 工作負載有何影響。指派管理器130會分析該等曲線圖,用 以判斷從一主系統處解除分配一加速器資源並將該資源分配 給另一系統對此等兩個主系統有何影響。 於主系統自己保有它們的工作/服務等級的統計資讯的 具體實施例中,指派管理器130會透過主機質詢模組136來 質詢其它主系統。此質詢會向其它主系統之每一者要求影響 估計結果。當—主系統從該指派管理器處收到此質詢時= 主系統便會實施影響估計。於-範例中,每—個主系统都合 分析自己和紅作相關聯的統計ftfU42,用以判斷解除分二 -或多個加速器資源對其工作負載有何影響。該統計資吼可 201140451 K宁列4待時間、執行時間、所使用的加速器的數量、以 及類似物。每_個主系、統皆可藉由分析和其每-個服務等級 相關聯的統計資訊或曲_來.輯解 、 資源對其工作負載有何影響。接著,該料它 它們的估計結果傳送給派f理器。/、$錢會將 果皆會表不該解除分配與重新指派究竟合 響或有中性影響,並且還可量化該影i: 於-辄例中’對-主系_影響估計結果表示:彳宁列 =加Γ:5二,物;完成時間維持相同或增加給定 數額,以及-卫作無法符合其目標的機率增加給定數額。 接者,指派管理器130會比較增加額外加速器資源至該 給定主系統的影響和從其它主系統處解除分配加速器資源°的 影響。倘若對該給u統造成的正面f彡響大於對其它 生 成的負面影響的話,那麼’指派管理器13G便會將目前指= 給其它主系統的-❹個加速时源動態重新指派給該給 主系統。 心 於此具體實施例中,此比較過程會運用各種指派臨界 值。於-範例中’倘若指派f理器請判斷和該給定主系統 相關聯的正㈣響在第—料值之上(例如,狩列等待時間縮 減大於3秒或符合工作目標的機率大於8〇%)且對其它主系統 的負面景:^響在第二臨界值之下(例如,仵列等待時間增加3秒) 的話,那麼,指派管理器13()便會將該等加速器資源動態重 新指派給該給定主系統。 201140451 另外才曰派&理器130還會 值,用以決定要從哪個主〜曰估°十 + ^^ 糸洗處取走該等加速器資源。於一 ==: =其它主系統且第-主系統的解除分配影 :指派管理器130便會選擇和第二主 糸統相關聯的加速&資;絲麵指派給該給定主系統。這會 降低重新指派對其它主系統的負面影響。 於-具體實糊巾’在確定料加速器資源鱗行動態 重新指派之後’指派f理n 13〇便會通知目前指派給該些加 速器資源的n崎止傳送新卫作至該些加速^資源。在所 有既有工作都已經完成之後,指派管理器13G便會從目前的 主系統處解除分配該等加速器資源,而且該主系統會更新其 指派資訊以便反映此解除分配。接著,指派管理器130便會 將該些加速器資源指派給該給定主系統,該給定主系統接著 會更新其指派資訊以便反映此指派。接著,該給定主系統會 開始從其工作負載中送出工作至該等新指派的加速器資源。 圖3所示的範例中,如圖2中所示般先指派給主系統B 104的加速器X 124已經動態重新指派給主系統a 1〇2。主系 統A 102現在能夠從其工作負载處送出工作至其初始加速 器、加速器W 122、以及新指派的加速器(加速器X 124)。 據此,本發明會有效且實際地管理一些加速器資源。該 些加速器資源。該些加速器資源會先指派給各個主系統。接 著’ $挚加速器資源會依據各種係數(例如,在此等系統的每 14 201140451 一者上執行的工作的效能及優先權)被重新指派給其它主系 操作流程圓 圖4、5以及6為根據本發明一具體實施例之動態管理加 速器資源的方法的操作流程圖。圖4的操作流程圖^始於步 驟402處並直接進入到步驟404。在步驟404處,一指派管^ 器130會先指派加速器資源給多個主系統1〇2、1〇4以0及 在步驟406處,該指派管理器會指派一服務等級給每一個主 系統102、104以及106的每一項工作Π4、116以及118。 在步驟408處,該指派管理器會收集和第一主系統上每 一項工作114相關聯的統計資訊142並且將此統計資訊聚合 成每一項工作的服務等級。在步驟410處,指派管理器13〇 會依據聚合成每一個服務等級的統計資訊來判斷每一個服務 等級疋否妥適達到其在該第一主系統上的目標。在步驟412 處’指派管理器130會判斷是否有最近未得助於增加加速器 資源的任何服務等級不符其目標。若判斷結果為否,指派管 理器130會在步驟414處等待下一個監視區間。當該下一個 監視區間開始時,指派管理器130便會返回步驟408。倘若步 驟412處的判斷結果為是的話,指派管理器13〇便會在步驟 416處選擇不符其目標的最重要服務等級。如上面討論,「重 要性」可以下列方式來估量:優先位準、會因加入額外加速 器資源而獲得最大好處的服務等級或是類似方式。該選定的 服務等級則稱為接收器服務等級。此時,該控制流程會進入 圖5的進入點A(5〇2)。 15 201140451 在步驟504處’指派管理器130會分析該接收器服務等 級的統计貢訊。在步驟506處,指派管理器〖go合依據此八 析來判斷將一或多個加速器資源加入該第—主系&對該接二 器服務等級之效能的影響。在步驟508處,指派管理器13〇 會判斷此影響是否提供足夠的數值(舉例來說,倘若該給定主 系統的獲利大於該等資源要被解除分配的系統的損失)來解釋 要重新分配資源。美國專利案第5,473,773號便更詳細討論接 收器等級數值,該案係共同擁有並且本文以引用的方式將其 完整併入。倘若判斷結果為否的話,指派管理器13〇便會在 步驟509處判定不重新分配資源且該控制會返回進入點^處 的步驟412用以判斷是否有其它服務等級不符它們的目標广 倘若步驟506處的判斷結果為是的話,指派管理器13〇 便會在步驟510處分析和一第二主系統相關聯的統計資訊 142。指派管理器130會在步驟512處依據此統計資訊142來 判斷從該第二主系統處解除分配一或多個加速器資源之後對 該第二主系統上具有多項工作的服務等級的影響。在步驟514 處,指派管理器130會比較將該些資源加入該第一主系統所 獲得的數值和因重新指派該些資源而從該第二主系統處取走 的數值。 在步驟516處,指派管理器13〇會判斷所獲得的數值是 否超過失去的數值。倘若判斷結果為否的話,控制流程便會 返回進入點B處的步驟412,用以判斷是否有其它服務等二 不符它們的目標。倘若判斷結果為是的話,控制流程則會進 201140451 入圖6的進入點c(602)。指派管理器130會在步驟602處指 示該第二主系統停止工作送出新的要求給原先指派給該第二 主系統的一或多個加速器資源。指派管理器130在步驟606 處判斷該些加速器資源處的目前工作是否已完成。倘若判斷 結果為否的話,指派管理器130會繼續判斷該工作是否已完 成。倘若判斷結果為是的話,該指派管理器便會在步驟6〇8 處將該等一或多個加速器資源動態重新指派給該第一主系 統。在步驟610處,該第一主系統上的該等工作會使用該等 初始指派的加速器貧源和該等新指派的加速器資源。控制流 程會返回進入點D處的步驟414用以等待下一個監視區間。 資訊處理系統 圖7為使用於本發明具體實關巾的—示範性資訊處理 系統的方塊®。在本發明的進—步具體實施例巾可以使用任 何合宜配置的處理系統作為該資訊處理純(舉例來說,個人 電腦、工作站、或類似物)。該資訊處理系統包含一電腦7〇2。 712被通信耦合至主記 電腦702包含會透過系統匯流排 憶體706的一或多個處理器704。 電腦702還包含一大量儲存介 7:大量儲存介面係用於將大量儲存裝:硬 貧訊處理糸統。其t—種特殊類型 ' 至 機,其可用於儲存資料並城—讀為光 光碟月(CD,“compact —,,)71 =储存媒體(例如
“v⑽如伽,,))處讀取資料:能碟片(DVD 另種類型的資料儲存^ 201140451 置為硬碟機,舉例來說,其會被配置成用以支援JFS類型檔 案系統作業。於此具體實施例中,主記憶體706係揮發性記 憶體,例如,隨機存取記憶體(RAM,“random access memory”)。此具體實施例的主記憶體706包括指派管理器、 其部件、工作統計資料、工作分級資訊、以及服務等級資訊。 網路轉接硬體710提供一轉接至該内連線組織的介面, 用以和其它電腦進行資料交換。本發明的具體實施例能夠被 調適成用以配合任何資料交換連接線來工作,其包含現今的 類比及/或數位技術或是透過未來的網路連接機制。 雖然已依照完整功能的電腦系統說明過本發明的示範性 具體實施例;不過,進一步具體實施例仍能透過CD與其等效 物、磁碟片、或其它形式的可記錄媒體、或是透過任何類型 的電子傳送機制被散佈成為程式產品。 雖然本文已經例示與說明過現今較佳的本發明具體實施 例’不過’熟習本技術的人士便會瞭解,可以進行各種其它 修正並且可以等效例來替代,其並不會脫離本發明的真實範 疇。除此之外,亦可進行許多修正以便讓一特殊情形適應於 本發明的教示内容,其並不會脫離本文所述的中心新穎概 念。再者,本發明的一具體實施例可能並不包含上述所有特 徵。所以,本發明不欲限制於已揭特殊具體實施例,確切地 說,本發明包含落在隨附申請專利範圍之範疇裡面的所 體實施例。 201140451 【圖式簡單說明】 圖1為根據本發明一具體實施例的操作環境的方塊圖; /圖2為根據本發明一具體實施例初始指派加速器資源給 主系統的方塊圖; 、° 圖3為根據本發明一具體實施例動態重新指派加速器資 源給一主系統的方塊圖; 圖4至6為根據本發明一具體實施例動態管理加速器資 源的方法的操作流程圖; 圖7為根據本發明一具體實施例的一資訊處理系統的方 塊圖;以及 圖8為根據本發明一具體實施例,一服務等級中的工作 要4待多久以使用一加速器和被指派給一主系統的加速器數 量之間的關係。 【主要元件符號說明】 100 102 104 106 108 110 112 114 116 118 119 示範性環境 主系統 主系統 主糸統 工作負載 工作負載 工作負載 工作 工作 工作 加速器指派資訊 201140451 120 内連線組織 122 硬體加速器 124 硬體加速器 126 硬體加速器 128 資訊處理系統 130 指派管理器 132 工作監視器 134 工作分級器 136 主機質詢模組 138 加速器指派器 140 初始指派配置資料 142 工作統計資料 144 工作分級資訊 146 服務等級資訊 402、 404、406、408、410、412、414、416 步驟 502 進入點A 504、 506、508、509、510、512、514、516 步驟 602 進入點C 604、 606、608、610 步驟 702 電腦 704 處理器 706 主記憶體 708 大量儲存介面 710 網路轉接硬體 712 糸統匯流排 714 大量儲存裝置 20 201140451 716 800 光碟片 曲線圖 21

Claims (1)

  1. 201140451 七、申請專利範圍: 該電腦施行方法 1. 一種動態管理加速器資源的電腦施行方法 包括下面步驟: 先將-第-組硬體加速器資源指派給一第一資訊處理系統並 將-第二組硬體加速器資源指派给―第二資訊處理系統; :至少-處㈣監視在該衫—與第二f訊處料、統上執 的稷數個工作;以及 /當該等I作中其中-者無法符合目標時,將該第 糸統的該第二組硬體加速器資源中的至少—硬體資 重新指派給該第-資訊處理系統。 2. 如申請專利範圍第1項的電腦施行方法,其中,該監視 包括分析和該等工作相關聯的執行時間統計資吼。 , 3. 如申請專利範圍帛i項的電腦施行方法,其中, 目關聯的優先位準在—臨界值之上時便實施“態重〆新指 其中,該監視步驟 4.如申請專利範圍第1項的電腦施行方法 包括下面的子步驟: 分析和該等工作相關聯的執行時間統計資訊;以及 判斷重新指派-或多個硬體加速器資源給該第 統疋否會提尚其中一工作符合該目標的可能性。 ^ 5.如申請專利範圍第4項的電腦施行方法,其中, 性在-臨界值之上的話便實施該動態重新指派步驟。"月b 22 201140451 該監視步驟 6·如中請專利範圍第1項的電腦施行方法,其中 包括下面的子步驟: 、 ㈣=或ί個Γ加速器資源重新指派給該第 糸、.·充的私第一貝讯處理系統所獲得的 體加速器資源重新指派給該第一資 或夕個硬 理系統所失去的數值;以及胃_里系統的話該第二資訊處 K S 2=第—貝减理系統所獲得的數值高_第θ 況處理糸統所失糾數值的話便實施該動態重新指派步驟。 7.如申請專利範圍第!項的電腦施行方法, 指派步驟包括下面的子步驟: 〃 “動〜、重新 逮器;=:#訊處理系統停止送出新工作給該至少-硬截加 硬體加速器資源 該資訊處理系統 判斷由該第二資訊處理系統送至該等至少一 的所有工作何時完成。 8,—種動態管理加速器資源的資訊處理系統, 包括: ^ —記憶體; —被通信耦合至該記憶體的處理器;以及 體處理器 ’该指派 < —指派管理器,其會被通信耦合至該記憶 皆理器會被配置成: 先將ϋ硬體加速隸源指派給_第_ f訊處理系統並 —第二組硬體加速器資源指派給一第二資訊處理系統; a視在鱗第—與第二貧訊處理系統上執行的複數個工作; 23 201140451 以及 當該等工作中其中一者無法符合目標時,將該第二資訊處理 系統的該第二組硬體加速器資源中的至少一硬體加速器資源動降、 重新指派給該第一資訊處理系統。 ~ 9. 如申請專利範圍第7項的資訊處理系統,其中,該監視該等 複數個工作包括分析和該等工作相關聯的執行時間統計資訊。 10. 如申請專利範圍第7項的資訊處理系統,其中,當和該其中 一工作相關聯的優先位準在一臨界值之上時便實施該動態重新^ 派0 11·如申請專利範圍第7項的資訊處理系統,其中,該監視該 複數個工作包括: X 分析和該等工作相關聯的執行時間統計資訊;以及 判斷重新指派一或多個硬體加速器資源給該第一資訊處理系 統是否會提高其中一工作符合該目標的可能性。 12. 如申請專利範圍第㈣的資訊處理系統其中,倘若該可妒 性在一臨界值之上的話便實施該動態重新指派。 b 13. 如中料赚圍第7柄資訊處喝統, 複數個工作包括: 比較若-或多個硬體加速器資源重新指派給該第—資 糸統的㈣第-資訊處_麟麟_ 體加速器資源重新指派給該第—資訊處理系統的話該第 24 201140451 理系統所失去的數值, 其中,倘若該第一資訊處理系統所獲得的數值高於該第二資 訊處理系統所失去的數值的話便實施該動態重新指派。 、 14.如申請專利範圍第7項的資訊處理系統,其中,該動態重新 體加 指示該第二資訊處理系統停止送出新工作給該至少一 速器資源;以及 硬體加速器資源 判斷由該第二資訊處理系統送至該等至少一 的所有工作何時完成。 If.—種動態管理加速器資源的電腦可讀取儲存媒體,該 讀取儲存媒體包括内建其上用於實施下面步驟的指令: J將一第一組硬體加速器資源指派給一第一資;處理系統並 將一苐二組硬體加速器資源指派給一第二資訊處理系統; 以及監視在該等第—與第二資訊處理系紅執行的複數個工作; 當該等工作中其中一者無法符合目標時,將該第 =的言亥第二組硬體加速器資源中的至少一硬體加速器‘源: 重新指派給該第一資訊處理系統。 …' 〜 16. 如申請專利範圍第15項的電腦可讀取儲存媒體, 其中,該監 實施該動態重新指派步驟 25 201140451 17.如申請專利範圍第15 視步驟包括: 項的電腦可讀取鱗媒體,其令 ’該監 分析和該等工作相關聯的執行時間统計資訊 判斷重新指派-或多個硬體加速器資源 一 統是否會提高其中-卫作符合該目標的可能^ —歧處理系 18.如申請專利範圍帛17項的電腦可讀取儲存媒體, ^ 該可能性在-臨界值之上的話便實施該鱗韻指派步驟。’倘若 19.如申請專利範圍第15項的電腦可讀取儲存媒體,复 視步驟包括: 、,、肀,該監 比較若一或多個硬體加速器資源重新指派給該第—資气 系統的話該第一資訊處理系統所獲得的數值和若該等—戋理 體加速器資源重新指派給該第一資訊處理系統的話該第1^^, 理系統所失去的數值, -礼处 其中’倘若該第一資訊處理系統所獲得的數值高於該第二資 訊處理系統所失去的數值的話便實施該動態重新指派步驟。 26
TW099141184A 2009-12-24 2010-11-29 Goal oriented performance management of workload utilizing accelerators TW201140451A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/647,272 US8869160B2 (en) 2009-12-24 2009-12-24 Goal oriented performance management of workload utilizing accelerators

Publications (1)

Publication Number Publication Date
TW201140451A true TW201140451A (en) 2011-11-16

Family

ID=44189095

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099141184A TW201140451A (en) 2009-12-24 2010-11-29 Goal oriented performance management of workload utilizing accelerators

Country Status (7)

Country Link
US (1) US8869160B2 (zh)
JP (1) JP5744909B2 (zh)
KR (1) KR20120124386A (zh)
CN (1) CN102667724B (zh)
CA (1) CA2780231C (zh)
TW (1) TW201140451A (zh)
WO (1) WO2011076608A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489392B (zh) * 2012-05-09 2015-06-21 Nvidia Corp 多個應用程式分享的圖形處理單元

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442228A1 (en) * 2010-10-13 2012-04-18 Thomas Lippert A computer cluster arrangement for processing a computaton task and method for operation thereof
WO2012124125A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 システムおよびスケジューリング方法
US9448846B2 (en) 2011-12-13 2016-09-20 International Business Machines Corporation Dynamically configurable hardware queues for dispatching jobs to a plurality of hardware acceleration engines
US20130339978A1 (en) * 2012-06-13 2013-12-19 Advanced Micro Devices, Inc. Load balancing for heterogeneous systems
US9632822B2 (en) * 2012-09-21 2017-04-25 Htc Corporation Multi-core device and multi-thread scheduling method thereof
CN103888279A (zh) * 2012-12-20 2014-06-25 阿里巴巴集团控股有限公司 基于反馈控制循环的资源池动态管理的方法和系统
US9424159B2 (en) * 2013-10-10 2016-08-23 International Business Machines Corporation Performance measurement of hardware accelerators
US20170300359A1 (en) * 2014-10-30 2017-10-19 Hewlett Packard Enterprise Development Lp Policy based workload scaler
US9876713B2 (en) 2014-12-31 2018-01-23 International Business Machines Corporation Cross-domain service request placement in a software defined environment (SDE)
US10198294B2 (en) 2015-04-17 2019-02-05 Microsoft Licensing Technology, LLC Handling tenant requests in a system that uses hardware acceleration components
US10019270B2 (en) * 2015-08-19 2018-07-10 International Business Machines Corporation Enhanced computer performance based on selectable device capabilities
CN105159753B (zh) 2015-09-25 2018-09-28 华为技术有限公司 加速器虚拟化的方法、装置及集中资源管理器
CN105824706B (zh) * 2015-12-31 2020-11-06 华为技术有限公司 一种配置加速器的方法和装置
US20210004658A1 (en) * 2016-03-31 2021-01-07 SolidRun Ltd. System and method for provisioning of artificial intelligence accelerator (aia) resources
US10034407B2 (en) * 2016-07-22 2018-07-24 Intel Corporation Storage sled for a data center
US10355945B2 (en) 2016-09-21 2019-07-16 International Business Machines Corporation Service level management of a workload defined environment
US10248466B2 (en) * 2016-09-21 2019-04-02 International Business Machines Corporation Managing workload distribution among processing systems based on field programmable devices
US10572310B2 (en) 2016-09-21 2020-02-25 International Business Machines Corporation Deploying and utilizing a software library and corresponding field programmable device binary
US10599479B2 (en) 2016-09-21 2020-03-24 International Business Machines Corporation Resource sharing management of a field programmable device
US10417012B2 (en) * 2016-09-21 2019-09-17 International Business Machines Corporation Reprogramming a field programmable device on-demand
EP3523723B8 (en) * 2016-10-05 2021-07-28 ParTec AG High performance computing system and method
US11487585B1 (en) * 2016-12-14 2022-11-01 Xilinx, Inc. Dynamic load balancing and configuration management for heterogeneous compute accelerators in a data center
WO2018232746A1 (zh) * 2017-06-23 2018-12-27 上海诺基亚贝尔股份有限公司 用于边缘云中的资源管理的方法和装置
US10585717B2 (en) * 2017-08-24 2020-03-10 International Business Machines Corporation Hybrid acceleration in a processing environment
CN111656323A (zh) * 2018-01-23 2020-09-11 派泰克集群能力中心有限公司 应用运行时确定的异构计算资源的动态分配
US11275991B2 (en) * 2018-04-04 2022-03-15 Nokia Technologies Oy Coordinated heterogeneous processing of training data for deep neural networks
US11144357B2 (en) * 2018-05-25 2021-10-12 International Business Machines Corporation Selecting hardware accelerators based on score
US10977098B2 (en) 2018-08-14 2021-04-13 International Business Machines Corporation Automatically deploying hardware accelerators based on requests from users
JP7139819B2 (ja) * 2018-09-20 2022-09-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、画像形成装置及びプログラム
US11030012B2 (en) * 2018-09-28 2021-06-08 Intel Corporation Methods and apparatus for allocating a workload to an accelerator using machine learning
WO2020086053A1 (en) * 2018-10-22 2020-04-30 Mentor Graphics Corporation Dynamic allocation of computing resources for electronic design automation operations
US11216314B2 (en) * 2018-11-02 2022-01-04 EMC IP Holding Company LLC Dynamic reallocation of resources in accelerator-as-a-service computing environment
US10892944B2 (en) 2018-11-29 2021-01-12 International Business Machines Corporation Selecting and using a cloud-based hardware accelerator
US11275622B2 (en) * 2018-11-29 2022-03-15 International Business Machines Corporation Utilizing accelerators to accelerate data analytic workloads in disaggregated systems
CN111459650B (zh) * 2019-01-21 2023-08-18 伊姆西Ip控股有限责任公司 管理专用处理资源的存储器的方法、设备和介质
US11681598B2 (en) * 2020-04-16 2023-06-20 Texas Instruments Incorporated Method and apparatus to facilitate low latency fault mitigation, QoS management and debug of a processing pipeline
CN114585057A (zh) * 2022-04-15 2022-06-03 南京星思半导体有限公司 小区搜索方法、装置、设备、存储介质、程序产品及终端

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473773A (en) * 1994-04-04 1995-12-05 International Business Machines Corporation Apparatus and method for managing a data processing system workload according to two or more distinct processing goals
US5675739A (en) * 1995-02-03 1997-10-07 International Business Machines Corporation Apparatus and method for managing a distributed data processing system workload according to a plurality of distinct processing goal types
US5974462A (en) * 1997-03-28 1999-10-26 International Business Machines Corporation Method and apparatus for controlling the number of servers in a client/server system
US6192389B1 (en) * 1997-03-28 2001-02-20 International Business Machines Corporation Method and apparatus for transferring file descriptors in a multiprocess, multithreaded client/server system
US6230183B1 (en) * 1998-03-11 2001-05-08 International Business Machines Corporation Method and apparatus for controlling the number of servers in a multisystem cluster
US6470478B1 (en) * 1999-06-29 2002-10-22 International Business Machines Corporation Method and system for counting events within a simulation model
KR100727901B1 (ko) * 1999-07-10 2007-06-14 삼성전자주식회사 마이크로 스케듈링 방법 및 운영체제 커널 장치
US7051188B1 (en) * 1999-09-28 2006-05-23 International Business Machines Corporation Dynamically redistributing shareable resources of a computing environment to manage the workload of that environment
ATE283512T1 (de) * 1999-09-28 2004-12-15 Ibm Arbeitsbelastungsverwaltung in einer rechnerumgebung
WO2001037079A2 (en) 1999-11-18 2001-05-25 Quikcat.Com, Inc. Method and apparatus for controlling server networks
JP2002202959A (ja) * 2000-12-28 2002-07-19 Hitachi Ltd 動的な資源分配をする仮想計算機システム
US7451070B2 (en) * 2005-04-08 2008-11-11 International Business Machines Optimal bus operation performance in a logic simulation environment
US20070055771A1 (en) * 2005-07-25 2007-03-08 International Business Machines Corporation Controlling workload of a computer system through only external monitoring
JP2007108944A (ja) * 2005-10-12 2007-04-26 Renesas Technology Corp 半導体集積回路装置
US7490223B2 (en) * 2005-10-31 2009-02-10 Sun Microsystems, Inc. Dynamic resource allocation among master processors that require service from a coprocessor
US8713574B2 (en) * 2006-06-05 2014-04-29 International Business Machines Corporation Soft co-processors to provide a software service function off-load architecture in a multi-core processing environment
JP4936517B2 (ja) * 2006-06-06 2012-05-23 学校法人早稲田大学 ヘテロジニアス・マルチプロセッサシステムの制御方法及びマルチグレイン並列化コンパイラ
JP5243822B2 (ja) * 2007-03-28 2013-07-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想化されたデータ処理環境におけるワークロード管理
WO2009029496A1 (en) * 2007-08-24 2009-03-05 Yiping Ding Virtualization planning system
JP2011529210A (ja) * 2008-12-03 2011-12-01 株式会社日立製作所 複数のオペレーティングシステムを実行するマルチプロセッササーバのプロセッサリソースを管理する技術

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489392B (zh) * 2012-05-09 2015-06-21 Nvidia Corp 多個應用程式分享的圖形處理單元
US9626216B2 (en) 2012-05-09 2017-04-18 Nvidia Corporation Graphics processing unit sharing between many applications

Also Published As

Publication number Publication date
CN102667724B (zh) 2016-07-06
CA2780231A1 (en) 2011-06-30
CA2780231C (en) 2018-05-29
WO2011076608A3 (en) 2011-09-22
US20110161972A1 (en) 2011-06-30
WO2011076608A2 (en) 2011-06-30
JP5744909B2 (ja) 2015-07-08
CN102667724A (zh) 2012-09-12
JP2013515991A (ja) 2013-05-09
KR20120124386A (ko) 2012-11-13
US8869160B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
TW201140451A (en) Goal oriented performance management of workload utilizing accelerators
JP5336094B2 (ja) クライアント・サーバ又はホスティング環境における計算ジョブの多目的配分
CN107239336B (zh) 一种实现任务调度的方法及装置
JP6241300B2 (ja) ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム
US20080109817A1 (en) Schedule control program and schedule control method
JP2004038972A (ja) グリッド計算ワークロードをネットワーク・ワークステーションに割り当てるためのシステムおよび方法
US20150196841A1 (en) Load balancing system and method for rendering service in cloud gaming environment
JP2014532946A (ja) クラスタに依頼されたタスクを実行するために前記クラスタのコンピュータ資源を割り当てるための方法、コンピュータプログラム、およびデバイス
JP5121936B2 (ja) リソース割り当て装置及びリソース割り当てプログラム及び記録媒体及びリソース割り当て方法
KR101471749B1 (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
CN108924214A (zh) 一种计算集群的负载均衡方法、装置及系统
US8819239B2 (en) Distributed resource management systems and methods for resource management thereof
US10754547B2 (en) Apparatus for managing disaggregated memory and method thereof
JP2012043098A (ja) 管理装置,ファイルサーバシステム,処理方法及び管理プログラム
Sanjeevi et al. DTCF: deadline task consolidation first for energy minimisation in cloud data centres
Yao et al. OpERA: opportunistic and efficient resource allocation in Hadoop YARN by harnessing idle resources
Divya et al. Workload characteristics and resource aware Hadoop scheduler
JP5526748B2 (ja) パケット処理装置、パケット振り分け装置、制御プログラム及びパケット分散方法
JP4594877B2 (ja) 計算機リソース割当管理方法および計算機リソース割当管理装置
JP6374059B2 (ja) コンピュータ資源配分決定方法、コンピュータ資源配分決定方法プログラムおよび制御用コンピュータ
Kalmegh et al. Mifo: A query-semantic aware resource allocation policy
CN111338782A (zh) 面向共享式突发数据缓存的基于竞争感知的节点分配方法
Bakni et al. Survey on improving the performance of MapReduce in Hadoop
Yang et al. New YARN Non-Exclusive Resource Management Scheme through Opportunistic Idle Resource Assignment
WO2023160371A1 (zh) 任务调度方法、装置、电子设备以及计算机可读存储介质