TWI434186B - 用於實施串流處理電腦架構之方法及系統 - Google Patents

用於實施串流處理電腦架構之方法及系統 Download PDF

Info

Publication number
TWI434186B
TWI434186B TW098126401A TW98126401A TWI434186B TW I434186 B TWI434186 B TW I434186B TW 098126401 A TW098126401 A TW 098126401A TW 98126401 A TW98126401 A TW 98126401A TW I434186 B TWI434186 B TW I434186B
Authority
TW
Taiwan
Prior art keywords
cluster
stream
node
super node
super
Prior art date
Application number
TW098126401A
Other languages
English (en)
Other versions
TW201019133A (en
Inventor
Eugen Schenfeld
Thomas B Smith Iii
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW201019133A publication Critical patent/TW201019133A/zh
Application granted granted Critical
Publication of TWI434186B publication Critical patent/TWI434186B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17337—Direct connection machines, e.g. completely connected computers, point to point communication networks
    • G06F15/17343—Direct connection machines, e.g. completely connected computers, point to point communication networks wherein the interconnection is dynamically configurable, e.g. having loosely coupled nearest neighbor architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Multi Processors (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

用於實施串流處理電腦架構之方法及系統
本發明係關於資料處理系統，且更具體言之，係關於用於實施串流處理電腦架構之一種方法及系統。
通信對電腦系統效能之影響就宏觀層面(例如，刀鋒伺服器及電腦叢集)及微觀層面(例如，在具有許多核心(core)之單一處理器晶片內)而言均持續增長。用於計算之傳統方法(其依賴於經由快取記憶體之階層而縮短對主記憶體的存取時間)到了縮短傳回(return)的時刻。之所以如此，部分係因為I/O資料傳輸之相對於處理核心速度的增加延時以及快取記憶體及全域通信線所需之(有限的)晶片上電力耗散預算的增加分率。同時，嚴格的晶片上電力耗散約束已使許多主要的半導體公司轉移到多核心或晶片多處理器(CMP)架構。CMP之出現又對兩個主要領域中之通信基礎架構造成增加的挑戰。詳言之，CMP中之增長數目的處理核心加劇了對晶片內通信及晶片間通信之頻寬要求。另外，當與傳統單核心處理器晶片比較時，CMP架構大大增加程式化複雜性及最終生產率。
串流處理最近已作為用於基於CMP架構及軟體管理式快取記憶體組織之系統的替代計算模型方法而出現。許多類別之重要應用(例如，數位信號處理及多媒體應用)呈現對可並列處理之規則資料結構之長序列的相當規則之存取，此與對資料庫中典型之複雜資料記錄之較隨機存取相對。對於此等應用，藉由專用處理器(諸如，nVidia及AMD/ATI圖形處理單元(GPU)或IBM'sCell寬頻引擎)進行之串流處理的組合較之應用於通用CMP架構之傳統計算範例可能提供更高效能及更低電力耗散。
在圖1中展示樣本串流計算圖形。圖形100由稱作核(kernel)(102A、102B及102C)之多個計算節點構成，該等節點由表示自一核前往另一核之資料流的邊104A/104B連接。核指代對資料流執行計算的軟體程式碼元件。在圖1之圖形100中，此等資料流為單向的；亦即，資料自該圖之左側移動(流動)至右側，如由箭頭所展示。核可為以下三種類型中之一者：源102A(表示經產生作為對計算圖形之輸入的資料流的起源)；儲集器102B(以一或多個串流之形式表示最終結果)；及規則核102C。核(102A至102C)可具有一或多個輸入串流104A且產生一或多個輸出串流104B作為其特定計算之結果。
通常，一串流計算圖形(例如，圖形100)表示針對電腦處理問題之解決方案(例如，偵測一些事件或找到輸入資料流之間的樣式及複雜關係一金融股票交易、感測資料相關性及其他)。只要資料流正由計算核處理，該圖形即持續存在，且通常此時間為非常長的時間(數小時或數小時以上或無期限地)。因此，認為此圖形之拓撲為固定的。
在處理此串流計算圖形處理程序中之一挑戰為確定如何將該等計算節點(例如，核102A至102C)分組成多個群組，使得此等群組可經指派至電腦處理系統之實體計算節點。存在執行此種分組(亦稱作排程、嵌入，或圖形理論中稱作縮圖(graph contraction)之圖形理論變換)之許多可能方式。如圖1中所展示，陰影群組(110A至110C)表示多個核之分組，使得經指派至一個群組(諸如，作為一實例之群組110B)之核將位於一個實體計算節點內或位於與一快速區域通信網路緊密耦接或藉由使用該快速區域通信網路而緊密耦接之節點的叢集內。接著，可將自核之一個此種群組傳遞至另一群組之總聚集串流視作該等群組間之一個連接。就圖形理論而言，可將此視作其中已使規則計算節點(核)壓縮之超級節點。可針對串流計算圖形中之所有計算節點進行此類型之分組。由串流計算圖形之核之間的邊所表示的串流可類似地經壓縮成超級邊，該超級邊表示在超級節點之間傳遞的所有資料流的總和。
作為一實例，如圖1中所展示，超級節點110C及110B共用在超級節點110B與超級節點110C之間傳遞的三個串流(自左向右)。現可將該三個串流視作連接於超級節點110B與超級節點110C之間的一個串流。實務上，原始資料流係由串流計算系統之實體通信構造來聚集，使得超級節點110B處之進入點將使來自核(例如，超級節點110B內之彼等核)之一群組的三個串流多工成一個串流，且在另一端，核(超級節點110C內之彼等核)群組將解多工回此等三個串流，且在本端將其連接至如在一個實體計算節點或該等節點之叢集中所映射的適當核。
有興趣將此串流處理範例擴展到不同領域(諸如，金融、資料採擷及計算生物學)中之特定大規模應用中。此擴展需要超越在單一的類GPU處理器上執行串流應用程式，而替代地涉及建置大型可升級串流處理系統(SPS)，其中此等處理器中之許多者由高速互連網路互連。然而，建置大型可升級串流處理系統遭遇各種缺陷，諸如，增加傳輸頻寬之難題以及自處理節點對記憶體中之大資料集合所進行的增加存取時間。
因此，將需要提供一種克服上述缺陷之增強型串流處理架構。
根據本發明之一實施例，一種用於實施一串流處理電腦架構之方法包括建立一串流電腦處理(SCP)系統。該SCP系統係藉由以下動作建立：形成處理器之一超級節點叢集，該等處理器表示該超級節點叢集內之實體計算節點；經由一本端互連構件以通信方式耦接該超級節點叢集中之該等處理器中的每一者；及經由多個光學外部鏈路將該超級節點叢集以通信方式耦接至一光學電路交換器(OCS)。該OCS經由自包括表示其他實體計算節點之處理器的其他超級節點叢集至該光學電路交換器之其他多個外部鏈路以通信方式耦接至其他超級節點叢集。該方法亦包括產生一包括核及資料流之串流計算圖形。該方法進一步包括將該串流計算圖形映射至該SCP系統，該映射包括：將計算之該等核指派至每一超級節點叢集且指派至該等超級節點叢集中之每一者的各別實體計算節點；當該資料流處於相同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至本端互連構件；及當該資料流處於不同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至該等光學外部鏈路。該方法亦包括組態OCS以在對應於該等指派之經映射叢集之間提供連接性。
經由本發明之技術來實施額外特徵及優勢。本發明之其他實施例及態樣在本文中經詳細描述且被認為係所主張之本發明的一部分。為較好地理解具有該等優勢及該等特徵之本發明，參考描述及圖式。
特別指出被視作本發明之標的且在本說明書之結尾於申請專利範圍中清楚地主張標的。本發明之上述及其他特徵及優勢自結合附圖所進行之以下詳細描述而顯見。
根據本發明之一例示性實施例揭示一種用於串流電腦系統之互連串流處理架構及一種用於實施該互連架構之處理程序。該互連架構由兩種網路類型構成，該兩種網路類型補充彼此之功能性且解決緊密耦接之處理節點群組間的連接性。此群組或叢集可使用多種協定以及靜態網路拓撲及動態網路拓撲兩者(例如，2D/3D網狀構造、階層式完全連接構造、基於交換器之構造)而在本端互連。網路及交換器功能性可併入處理器晶片內，使得叢集可在無外部交換器之情況下藉由直接將處理器晶片彼此互連而得到。此技術及協定之一實例為HyperTransport 3(HT3)。互連之封裝限制、傳訊速度及可允許距離限制全電子構造尺寸，因此，僅有限數目之處理器可在叢集內直接連接。達成極高效能等級(例如，億億級(exascale))可需要多達100,000個未來多核心處理器晶片互連於一系統內。雖然可將一叢集限於封裝於一機櫃內之100個或100個以下的處理器晶片，但可能需要互連此等叢集中之約1000個或1000個以上者。在一例示性實施例中，具有高頻寬且跨越長距離之叢集間連接將使用光學傳訊，且串流處理架構使用基於微機電系統(MEMS)之OCS以在此等叢集間連接。
雖然許多大型設備中之節點至交換器之連接性為光學的以便提供所需之頻寬及距離，但正使用大基數電交換器構造(例如，對於InfiniBand或10G乙太網路協定及交換器)。此等構造對於單一路徑需要至少兩個光學傳輸器(Tx)及兩個接收器(Rx)，因為通信自電性(自處理器叢集)轉換至光學的，接著轉換至電性的(對於交換器)，接著轉換至光學的(離開交換器)，且最終轉換回電性的(在目的地叢集處)，而本文中所描述之例示性實施例的光學交換器僅需要一個Tx及一個Rx，因為此交換器可經由鏡使光學信號直接偏轉。大基數電交換器必需由較小基數建置區塊構成，此情形意謂該等交換器傾向於為大型的且大耗電(power-hungry)。光學電路交換器可具有大得多的單一交換器基數，且其保證具有顯著較小之尺寸及較低電力消耗。
在一例示性實施例中，形成一叢集之緊密耦接之處理器的一群組使用OCS網路及光學收發器來互連至SPS內之其他此等叢集。此OCS網路允許靈活的可在毫秒級時間標度上改變的點對點連接。由於處理器之未來頻寬將增加，因此OCS架構之使用可藉由相同交換網路來支援未來更高頻寬需求及協定。OCS網路無需如同經由封包交換網路投送般極迅速地改變電路連接。對電路連接之調整僅需要在調整工作地點以使節點間之工作達成負載平衡時進行。由SPS執行之計算的性質係使得通信樣式及彼等通信樣式之持續時間在相當長的時間(例如，數分鐘或數小時)內為穩定的，以足以攤銷(amortize)OCS之相對較高的交換時間(數毫秒)。由於為使在不同處理器內進行之計算達成負載平衡而對工作安排進行的調整為非頻繁發生之操作(歸因於其自身的高計算成本及複雜性)，因此，此例示性串流處理架構在總效能沒有明顯缺陷的情況下於SPS需求之性質與OCS互連技術之特定特徵之間進行唯一匹配。事實上，使用此網路(一旦經重新組態)可導致較佳的通信延時，因為其對協定及資料頻寬不具有佇列壅塞，不具有競爭且具有透通性。
現轉向圖2，現將在一例示性實施例中描述具有例示性串流處理架構之串流電腦系統200。串流電腦系統200由連接在一起以形成一多處理器202之多個個別實體計算節點201構成。若干此等處理器202聚集在一起形成一超級節點叢集204(本文中亦稱作「超級節點」及「叢集」)。由一已知快速互連構件206在本端連接一叢集204內部之處理器(及各別實體計算節點)，該已知快速互連構件206可為：在一叢集內之處理器202之實體計算節點之間具有某拓撲的直接連接型網路；或一交換器；經由一快取連貫式對稱多處理器(SMP)構造而透過記憶體；或以上之組合。處理器202之每一叢集204共用若干光學外部鏈路208。形成此等外部鏈路以用於最佳化極高頻寬下之點對點連接。此最佳化可執行於所使用之實體實施中，經選擇以促進此高頻寬之協定中，在低延時叢集對叢集鏈路中，且具有支援對一實體鏈路或多個實體鏈路內之多個串流之聚集以使其看起來像由少數實體鏈路構成之一條高頻寬實體鏈路的能力。由於此等外部鏈路經由一不會知曉此等鏈路之協定、資料或內容的全光學交換器而進行電路交換，因此此等鏈路應使用極輕量級通信協定。此外，此等外部鏈路之實體性質可能需要在WDM(分波長多工器)中使用多種光學波長，所有該等光學波長耦接成一條光纖或一條外部鏈路，但在兩端可分離。基於鏡之MEMS OCS將在光學域(pptics domain)中使此等外部鏈路內之光束偏轉，而不管其波長數目、協定及傳訊速度。此等外部鏈路為一叢集內之所有計算節點所共有，使得叢集204中之任何實體計算節點201可直接或藉由傳遞通過於本端互連之叢集構造206而在此等外部鏈路208中之一者或全部者上傳遞資訊。在一例示性實施例中，使用電路交換式交換器210。電路交換式交換器210無需頻繁交換，且因此建置起來可簡單得多，且可使用不同技術(例如，全光學、基於MEMS鏡)以在多個叢集204之間動態地連接。此等叢集204之間的任何給定時間的特定連接係基於給定串流計算圖形而最佳化，由實體計算節點201及其所連接之叢集204執行該給定串流計算圖形之計算。
此等類型之外部鏈路208及動態交換實施在需要時動態改變之極高輸送量(高頻寬)連接性。由於多核心處理晶片需要極高頻寬網路以將該等晶片互連至其他此等實體處理節點或記憶體子系統，因此例示性串流處理架構在提供具體在功能上由串流處理計算圖形及其相對固定性質來實施的此機制方面起到重要的作用。此提供更有效投送，因為封包無需被重新檢查且在逐封包基礎上投送。電路交換器210之構造可針對該功能且藉由適當技術(例如，全光學電路交換)而經最佳化，可在極低電力及成本有效之情況下有效地操縱大量資訊(串流)。
注意圖2中所展示之圖僅描繪該系統中之主資料管道亦為重要的。應理解，呈現該系統中之所有叢集/計算節點之間的完整連接性的另一較慢網路(未圖示)亦經提供以用於處置較不忙碌之連接，以及用於控制及其他較低頻寬通信。因此，封包交換網路(例如)可用以傳送經確定以傳輸最小資料之彼等資料流(例如，104)。該確定可藉由指定臨限值函數(例如，在預定時間週期內傳遞之資料的量化數目，或特定計算之優先級函數或其他此等系統及操作相關參數)來進行，一旦達到該臨限值，便經由基於電路交換之網路投送串流。因此，串流之投送可在所有經指派以傳遞通過封包交換網路時開始，而隨著計算進行且更多頻寬在串流內傳送，將重新定向此投送以傳遞通過形成電路交換網路之外部鏈路。
現轉向圖3，現將在一例示性實施例中描述一流程圖，該流程圖描述一用於實施串流處理架構之處理程序。在圖3之流程圖中，步驟302至306係針對建立一例示性串流電腦處理系統。步驟308係針對產生一例示性串流計算圖形，步驟310至346係針對將該串流計算圖形映射至該串流電腦處理系統，且步驟318係針對關於該串流計算圖形而執行該串流電腦處理系統的操作。
現將描述串流電腦處理系統之建立。在步驟302處，形成處理器(例如，圖2之處理器202)之一超級節點叢集。在步驟304處，該超級節點叢集中之處理器中的每一者經由一本端已知互連構件(例如，圖2之網路206)以通信方式耦接。該本端已知互連構件可使用(例如)直接連接、經由一快取連貫式對稱多處理器(SMP)構造而透過記憶體、一交換器或其組合來實施。
在步驟306處，該超級節點叢集(例如，圖2之叢集204)經由一或多個光學外部鏈路(例如，鏈路208)以通信方式耦接至一或多個光學電路交換器(例如，圖2之交換器210)。該光學電路交換器經由自包括其他實體計算節點之處理器的其他超級節點叢集至光學電路交換器之光學外部鏈路以通信方式耦接至其他超級節點叢集。
如上文所指示，在步驟308處針對在步驟302至306中所建立之串流計算系統而產生一串流計算圖形。該串流計算圖形包括核及資料流。該等核表示對輸入至相應核之該等資料流中之一或多者執行計算的軟體程式碼元件。圖4展示具有二元樹拓撲的串流計算圖形400。核402將資料流404發送至其他核。此等核402經分組成多個超級節點，諸如具有特定理想性質之超級節點410A及410B。
如上文所指示，該串流計算圖形經映射至該串流電腦處理系統，如現將描述。現轉向圖5A及圖5B，串流計算圖形(例如，串流計算圖形500B)之核及資料流經映射至可重新組態之電路交換連接之叢集(例如，串流電腦系統500A之叢集505A)上。在步驟310處，將該等核指派至超級節點叢集且指派至該等超級節點叢集中之每一者的各別實體計算節點。如圖5B中所展示，已指派諸如核502B之核至圖5A之系統500A上之實體計算節點(例如，節點503A)上。圖5B中所展示之形成超級節點(例如，超級節點510B及512B)且與資料流(經展示為串流504B)連接之節點的分組已分別經映射至圖5A中所展示之結構(參看連接501A)上。
在步驟312處，當該資料流處於相同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至本端已知互連構件。
在步驟314處，當該資料流處於不同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至光學外部鏈路。
在步驟316處，光學電路交換器經組態以經由外部鏈路而在對應於該等指派的超級節點叢集之間提供連接性(如圖5A及圖5B中所展示，已重新組態電路交換器520以提供此等經映射之超級節點(例如，超級節點510B、512B、514B、516B、518B、520B)之間的所需連接性)。叢集之間的連接的建置(亦即，每一叢集將使用外部鏈路經由OCS交換器連接至特定其他叢集)係基於將核映射至實體處理節點上之最佳化處理程序。在此處理程序之結尾，正計算作為整體在叢集之間進行之保留通信的總量(基於原始圖形中之所有串流邊的總計)，從而得出每一叢集與所有其他叢集之間的通信所需之總頻寬。接著，經由OCS交換器組態適當外部鏈路以支援任何叢集與所有其他叢集之間的此頻寬。經由封包交換網路來投送較低頻寬臨限值連接(亦即，並不值得使用高頻寬外部鏈路經由OCS建立電路的彼等連接，不值得係因為極少預期資料傳遞通過此等連接)。
在步驟318處，根據串流計算圖形來執行對串流電腦處理系統的操作，使得最佳化叢集之間在給定時間的特定連接。
因此，以上處理程序導致滿足串流計算圖形之拓撲(圖4中展示為二元樹，作為一可能之此圖形之一實例)且動態地改變電路交換器520以在叢集505A間匹配所需通信樣式，而個別資料流的本端分離由叢集互連506A在本端進行(如圖5A及圖5B中所展示)。
如自上文所描述之例示性實施例可見，光學通信及串流處理範例之組合解決上述程式化及頻寬挑戰。光學通信鏈路提供超高輸送量、最小通信延時，及獨立於容量而保持的低操作電力。可利用光學鏈路之容量、透通性及基本低電力消耗的光學電路交換互連網路(與高基數MEMS(微機電系統)交換器組合)可遞送在全電子互連之情況下完全不可能的頻寬功耗比(bandwidth-per-watt)。另外，超高頻寬OCS互連網路為用於SPS之最佳解決方案，SPS之計算效能直接取決於最大化當前處理之串流的I/O資料頻寬及最小化接下來將處理之串流之大DMA傳送的延時。另外，SPS通常在使用期限相對長之處理器間建置連接，因此不擔心OCS之較長交換時間。
光學通信進一步解決SPS之可程式化性挑戰，因為光學通信最小化自任何給定處理節點對給定記憶體中之大資料集合的存取時間，而不管其相對位置。減少資料存取之時間變化有助於簡化串流處理系統之模型化。又，簡化之抽象系統層級模型促進對導出大規模信息串流應用至SPS架構上之平衡部署之問題的解決以最大化其持續處理輸送量。此模型可進一步實施自動最佳化方法之開發，該等方法用於在編譯時間資料傳送及資料處理在整個SPS上的靜態協調(static orchestration)與SPS操作期間通信及計算的動態再平衡。
本文中所使用之術語僅出於描述特定實施例之目的且並非意欲限制本發明。除非上下文另外清楚指示，否則如本文中所使用，單數形式「一」及「該」意欲亦包括複數形式。應進一步理解，當在本說明書中使用時，術語「包含」規定所述特徵、整數、步驟、操作、元件及/或組件之存在，但並不排除存在或添加一或多個其它特徵、整數、步驟、操作、元件組件及/或其群組。
以下申請專利範圍中之所有構件或步驟加功能元件之相應結構、材料、動作及等效物意欲包括用於連同其他具體所主張之所主張元件一起執行功能的任何結構、材料或動作。雖然出於說明及描述之目的已呈現對本發明之描述，但該描述不意欲為詳盡的或限於所揭示形式之本發明。在不脫離本發明之精神及範疇之情況下，許多修改及變化對於一般熟習此項技術者將為顯而易見的。選擇並描述了該等實施例以便最好地闡釋本發明之原理及實際應用，且使其他一般熟習此項技術者能夠理解本發明之各種實施例，其中預期適用於特定用途的各種修改。
本文中所描繪之流程圖僅為一實例。在不脫離本發明之精神的情況下，可存在對本文中所描述之此圖或步驟(或操作)之許多變化。舉例而言，可按不同次序執行該等步驟，或者可添加、刪除或修改步驟。將所有此等變化考慮為所主張之本發明的一部分。
雖然已描述本發明之較佳實施例，但熟習此項技術者應理解，在現在及將來，可進行在以下申請專利範圍之範疇內的各種改良及增強。此等申請專利範圍應被解釋為維持對最初描述之本發明的適當保護。
100．．．圖形
102A．．．核/源
102B．．．核/儲集器
102C．．．規則核
104A．．．邊/輸入串流
104B．．．邊/輸出串流
110A．．．陰影群組
110B．．．陰影群組/超級節點
110C．．．陰影群組/超級節點
200．．．串流電腦系統
201．．．實體計算節點
202．．．多處理器
204．．．超級節點叢集
206．．．已知快速互連構件/本端互連叢集構造/網路
208．．．光學外部鏈路
210．．．電路交換式交換器
400．．．串流計算圖形
402．．．核
404．．．資料流
410A．．．超級節點
410B．．．超級節點
500A．．．串流電腦系統
500B．．．串流計算圖形
501A．．．連接
502B．．．核
503A．．．節點
504B．．．串流
505A．．．叢集
506A．．．叢集互連
510B．．．超級節點
512B．．．超級節點
514B．．．超級節點
516B．．．超級節點
518B．．．超級節點
520．．．電路交換器
520B．．．超級節點
圖1為在節點分組之情況下的習知串流計算圖形；
圖2為根據本發明之一例示性實施例之串流電腦系統的圖；
圖3為描述用於建立並管理本發明之一例示性實施例中之串流電腦系統之一串流處理架構之處理程序的流程圖；
圖4說明作為計算圖形之實例之包括二元樹拓撲的串流計算圖形，該圖形說明在一例示性實施例中該圖形之核如何分組成超級節點以及此等超級節點如何互連；及
圖5A說明一例示性串流電腦系統，圖5B中展示之一例示性串流計算圖形經映射或嵌入至該系統上。
200．．．串流電腦系統
201．．．實體計算節點
202．．．多處理器
204．．．超級節點叢集
206．．．已知快速互連構件/本端互連叢集構造/網路
208．．．光學外部鏈路
210．．．電路交換式交換器

Claims (18)

  1. 一種用於實施一串流處理電腦架構之方法，其包含：建立一串流電腦處理系統，其包含：形成處理器之一超級節點叢集，該等處理器中之每一者包含該超級節點叢集內之至少一實體計算節點；經由一本端互連構件以通信方式耦接該超級節點叢集中之該等處理器中的每一者；及經由一或多個光學外部鏈路將該超級節點叢集以通信方式耦接至至少一光學電路交換器，該光學電路交換器經由來自處理器之至少一其他超級節點叢集的一或多個光學外部鏈路以通信方式耦接至至少一其他超級節點叢集，該至少一其他超級節點叢集分別包括至少一其他實體計算節點；產生一包括核及資料流之串流計算圖形，該等核表示對輸入至相應核之該等資料流中之一或多者執行計算的軟體程式碼元件；將該串流計算圖形映射至該串流電腦處理系統，其包含：將該等核指派至該等超級節點叢集且指派至該等超級節點叢集中之每一者的各別實體計算節點；當該各別資料流處於相同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至該本端互連構件；當該各別資料流處於不同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至該等光學外部鏈路；及組態該光學電路交換器以經由該等光學外部鏈路而在對應於該等指派之該等超級節點叢集之間提供連接性；及根據該串流計算圖形對該串流電腦處理系統執行操作。
  2. 如請求項1之方法，其中組態該光學電路交換器包括：動態地交換該光學電路交換器之該連接性，以反映對該串流計算圖形所作之改變。
  3. 如請求項2之方法，其中對該串流計算圖形之改變反映負載平衡活動。
  4. 如請求項1之方法，其中一超級節點叢集內之個別資料流係由該超級節點叢集之一相應本端互連構件管理。
  5. 如請求項4之方法，其中該本端互連構件係由以下各項中之至少一者實施：直接連接；經由一快取連貫式對稱多處理器(SMP)構造而透過記憶體；及一交換器。
  6. 如請求項1之方法，其中該實體計算節點為一單一處理器。
  7. 如請求項1之方法，其中該實體計算節點為一多處理器。
  8. 如請求項1之方法，其中該串流計算圖形係使用一種二元樹拓撲而產生。
  9. 如請求項1之方法，其進一步包含使用一封包交換網路傳送核之間的該等資料流中之經確定遭遇最小資料傳遞的彼等資料流，該確定使用一臨限值函數來進行。
  10. 一種用於實施一串流處理電腦架構之系統，其包含：一串流電腦處理系統，該串流電腦處理系統藉由以下動作而建立：形成處理器之一超級節點叢集，該等處理器中之每一者包含該超級節點叢集內之至少一實體計算節點；經由一本端互連構件以通信方式耦接該超級節點叢集中之該等處理器中的每一者；及經由一或多個光學外部鏈路將該超級節點叢集以通信方式耦接至至少一光學電路交換器，該光學電路交換器經由來自處理器之至少一其他超級節點叢集的一或多個光學外部鏈路以通信方式耦接至該其他超級節點叢集，該至少一其他超級節點叢集分別包括至少一其他實體計算節點；一包括核及資料流之串流計算圖形，該等核表示對輸入至相應核之該等資料流中之一或多者執行計算的軟體程式碼元件；其中該串流計算圖形經映射至該串流電腦處理系統，該映射包含：將該等核指派至該等超級節點叢集且指派至該等超級節點叢集中之每一者的各別實體計算節點；當該各別資料流處於相同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至該本端互連構件；當該各別資料流處於不同超級節點叢集中之實體計算節點之間時，將該等核之間的資料流訊務指派至該等光學外部鏈路；及組態該光學電路交換器以經由該等光學外部鏈路而在對應於該等指派之超級節點叢集之間提供連接性；其中對該串流電腦處理系統之操作係根據該串流計算圖形而執行。
  11. 如請求項10之系統，其中組態該光學電路交換器包括動態地交換該光學電路交換器之該連接性以反映對該串流計算圖形所作之改變。
  12. 如請求項11之系統，其中對該串流計算圖形之改變反映負載平衡活動。
  13. 如請求項10之系統，其中一超級節點叢集內之個別資料流係由該超級節點叢集之一相應本端互連構件管理。
  14. 如請求項13之系統，其中該本端互連構件係由以下各項中之至少一者實施：直接連接；經由一快取連貫式對稱多處理器(SMP)構造而透過記憶體；及一交換器。
  15. 如請求項10之系統，其中該實體計算節點為一單一處理器。
  16. 如請求項10之系統，其中該實體計算節點為一多處理器。
  17. 如請求項10之系統，其中該串流計算圖形係使用一種二元樹拓撲而產生。
  18. 如請求項10之系統，其進一步包含一封包交換網路，該封包交換網路傳送核之間的該等資料流中之經確定遭遇最小資料傳遞的彼等資料流，該確定使用一臨限值函數來進行。
TW098126401A 2008-08-18 2009-08-05 用於實施串流處理電腦架構之方法及系統 TWI434186B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/193,125 US7856544B2 (en) 2008-08-18 2008-08-18 Stream processing in super node clusters of processors assigned with stream computation graph kernels and coupled by stream traffic optical links

Publications (2)

Publication Number Publication Date
TW201019133A TW201019133A (en) 2010-05-16
TWI434186B true TWI434186B (zh) 2014-04-11

Family

ID=41078173

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098126401A TWI434186B (zh) 2008-08-18 2009-08-05 用於實施串流處理電腦架構之方法及系統

Country Status (7)

Country Link
US (2) US7856544B2 (zh)
EP (1) EP2274685A1 (zh)
JP (1) JP5490120B2 (zh)
KR (1) KR101572295B1 (zh)
CN (1) CN102138138B (zh)
TW (1) TWI434186B (zh)
WO (1) WO2010020577A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8943509B2 (en) * 2008-03-21 2015-01-27 International Business Machines Corporation Method, apparatus, and computer program product for scheduling work in a stream-oriented computer system with configurable networks
WO2010137262A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 マルチプロセッサシステム、マルチプロセッサ制御方法、及びマルチプロセッサ集積回路
US20110134127A1 (en) * 2009-12-03 2011-06-09 Ravishankar Gundlapalli Global Career Graph
CN102201992B (zh) * 2011-05-25 2013-09-25 上海理工大学 面向流处理器并行环境的数据流通信系统及其通信方法
CN102200906B (zh) * 2011-05-25 2013-12-25 上海理工大学 大规模并发数据流处理系统及其处理方法
US8990452B2 (en) 2011-07-26 2015-03-24 International Business Machines Corporation Dynamic reduction of stream backpressure
US9148495B2 (en) 2011-07-26 2015-09-29 International Business Machines Corporation Dynamic runtime choosing of processing communication methods
US8560526B2 (en) 2011-07-26 2013-10-15 International Business Machines Corporation Management system for processing streaming data
US8959313B2 (en) 2011-07-26 2015-02-17 International Business Machines Corporation Using predictive determinism within a streaming environment
CN102957622B (zh) * 2011-08-16 2015-05-27 阿里巴巴集团控股有限公司 一种数据处理的方法、装置及系统
EP2771733B1 (en) * 2011-10-28 2018-07-25 NeoPhotonics Corporation Scalable optical switches and switching modules
US8874751B2 (en) 2011-12-01 2014-10-28 International Business Machines Corporation Candidate set solver with user advice
US10554782B2 (en) 2011-12-01 2020-02-04 International Business Machines Corporation Agile hostpool allocator
US8898505B2 (en) 2011-12-01 2014-11-25 International Business Machines Corporation Dynamically configureable placement engine
US9405553B2 (en) 2012-01-30 2016-08-02 International Business Machines Corporation Processing element management in a streaming data system
US9009007B2 (en) 2012-03-13 2015-04-14 International Business Machines Corporation Simulating stream computing systems
US8954698B2 (en) 2012-04-13 2015-02-10 International Business Machines Corporation Switching optically connected memory
US9146775B2 (en) 2012-04-26 2015-09-29 International Business Machines Corporation Operator graph changes in response to dynamic connections in stream computing applications
CN102882799B (zh) * 2012-09-13 2017-09-01 曙光信息产业(北京)有限公司 流量可控的集群部署配置系统与方法
US9930081B2 (en) 2012-11-13 2018-03-27 International Business Machines Corporation Streams optional execution paths depending upon data rates
CN103345458A (zh) * 2013-06-24 2013-10-09 北京工业大学 一种面向高性能计算的多fpga互联结构及逻辑划分方法
US9460049B2 (en) * 2013-07-18 2016-10-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Dynamic formation of symmetric multi-processor (SMP) domains
CN104750659B (zh) * 2013-12-26 2018-07-20 中国科学院电子学研究所 一种基于自动布线互连网络的粗粒度可重构阵列电路
US9886521B2 (en) * 2014-03-13 2018-02-06 International Business Machines Corporation Adaptive sampling schemes for clustering streaming graphs
US20160062756A1 (en) * 2014-08-26 2016-03-03 Vendita Technology Group, Inc. Hardware and software architecture for enabling optimizing technical capabilities in a database
CN104504143B (zh) * 2015-01-04 2017-12-29 华为技术有限公司 一种流图优化方法及其装置
US9967197B2 (en) 2015-01-12 2018-05-08 Citrix Systems, Inc. Large scale bandwidth management of IP flows using a hierarchy of traffic shaping devices
US10706970B1 (en) 2015-04-06 2020-07-07 EMC IP Holding Company LLC Distributed data analytics
US10541936B1 (en) 2015-04-06 2020-01-21 EMC IP Holding Company LLC Method and system for distributed analysis
US10541938B1 (en) 2015-04-06 2020-01-21 EMC IP Holding Company LLC Integration of distributed data processing platform with one or more distinct supporting platforms
US10404787B1 (en) 2015-04-06 2019-09-03 EMC IP Holding Company LLC Scalable distributed data streaming computations across multiple data processing clusters
US10812341B1 (en) 2015-04-06 2020-10-20 EMC IP Holding Company LLC Scalable recursive computation across distributed data processing nodes
US10860622B1 (en) 2015-04-06 2020-12-08 EMC IP Holding Company LLC Scalable recursive computation for pattern identification across distributed data processing nodes
US10791063B1 (en) 2015-04-06 2020-09-29 EMC IP Holding Company LLC Scalable edge computing using devices with limited resources
US10509684B2 (en) 2015-04-06 2019-12-17 EMC IP Holding Company LLC Blockchain integration for scalable distributed computations
US10425350B1 (en) 2015-04-06 2019-09-24 EMC IP Holding Company LLC Distributed catalog service for data processing platform
US10015106B1 (en) 2015-04-06 2018-07-03 EMC IP Holding Company LLC Multi-cluster distributed data processing platform
US10331380B1 (en) 2015-04-06 2019-06-25 EMC IP Holding Company LLC Scalable distributed in-memory computation utilizing batch mode extensions
US10515097B2 (en) * 2015-04-06 2019-12-24 EMC IP Holding Company LLC Analytics platform for scalable distributed computations
US10366111B1 (en) * 2015-04-06 2019-07-30 EMC IP Holding Company LLC Scalable distributed computations utilizing multiple distinct computational frameworks
US10528875B1 (en) 2015-04-06 2020-01-07 EMC IP Holding Company LLC Methods and apparatus implementing data model for disease monitoring, characterization and investigation
US10776404B2 (en) 2015-04-06 2020-09-15 EMC IP Holding Company LLC Scalable distributed computations utilizing multiple distinct computational frameworks
US10496926B2 (en) 2015-04-06 2019-12-03 EMC IP Holding Company LLC Analytics platform for scalable distributed computations
US10511659B1 (en) 2015-04-06 2019-12-17 EMC IP Holding Company LLC Global benchmarking and statistical analysis at scale
US10348810B1 (en) * 2015-04-06 2019-07-09 EMC IP Holding Company LLC Scalable distributed computations utilizing multiple distinct clouds
US10505863B1 (en) 2015-04-06 2019-12-10 EMC IP Holding Company LLC Multi-framework distributed computation
US11379262B2 (en) 2015-05-26 2022-07-05 Blaize, Inc. Cascading of graph streaming processors
US11416282B2 (en) 2015-05-26 2022-08-16 Blaize, Inc. Configurable scheduler in a graph streaming processing system
US10437637B1 (en) 2015-05-26 2019-10-08 Thin CI, Inc. Configurable scheduler for graph processing on multi-processor computing systems
US11150961B2 (en) 2015-05-26 2021-10-19 Blaize, Inc. Accelerated operation of a graph streaming processor
US11436045B2 (en) 2015-05-26 2022-09-06 Blaize, Inc. Reduction of a number of stages of a graph streaming processor
US10656861B1 (en) 2015-12-29 2020-05-19 EMC IP Holding Company LLC Scalable distributed in-memory computation
US10122788B2 (en) * 2016-03-29 2018-11-06 Amazon Technologies, Inc. Managed function execution for processing data streams in real time
US10178451B2 (en) * 2016-07-21 2019-01-08 Raytheon Company Optical data switching circuitry
US10034407B2 (en) 2016-07-22 2018-07-24 Intel Corporation Storage sled for a data center
US10374968B1 (en) 2016-12-30 2019-08-06 EMC IP Holding Company LLC Data-driven automation mechanism for analytics workload distribution
PL3607453T3 (pl) 2017-04-07 2022-11-28 Intel Corporation Sposoby i urządzenie dla potoku wykonawczego sieci głębokiego uczenia na platformie multiprocesorowej
US12058160B1 (en) 2017-11-22 2024-08-06 Lacework, Inc. Generating computer code for remediating detected events
US11792284B1 (en) 2017-11-27 2023-10-17 Lacework, Inc. Using data transformations for monitoring a cloud compute environment
US11765249B2 (en) 2017-11-27 2023-09-19 Lacework, Inc. Facilitating developer efficiency and application quality
US12095794B1 (en) 2017-11-27 2024-09-17 Lacework, Inc. Universal cloud data ingestion for stream processing
US12021888B1 (en) 2017-11-27 2024-06-25 Lacework, Inc. Cloud infrastructure entitlement management by a data platform
US12034754B2 (en) 2017-11-27 2024-07-09 Lacework, Inc. Using static analysis for vulnerability detection
US11979422B1 (en) 2017-11-27 2024-05-07 Lacework, Inc. Elastic privileges in a secure access service edge
US20220232024A1 (en) 2017-11-27 2022-07-21 Lacework, Inc. Detecting deviations from typical user behavior
US10614071B1 (en) 2017-11-27 2020-04-07 Lacework Inc. Extensible query interface for dynamic data compositions and filter applications
US12095796B1 (en) 2017-11-27 2024-09-17 Lacework, Inc. Instruction-level threat assessment
CN110213073B (zh) * 2018-04-20 2021-10-22 腾讯科技（深圳）有限公司 数据流向变更方法、电子设备、计算节点及存储介质
US11042416B2 (en) * 2019-03-06 2021-06-22 Google Llc Reconfigurable computing pods using optical networks
US11307860B1 (en) 2019-11-22 2022-04-19 Blaize, Inc. Iterating group sum of multiple accumulate operations
US10996960B1 (en) 2019-11-22 2021-05-04 Blaize, Inc. Iterating single instruction, multiple-data (SIMD) instructions
US11366664B1 (en) 2019-12-08 2022-06-21 Blaize, Inc. Single instruction multiple data (simd) execution with variable width registers
US10873592B1 (en) 2019-12-23 2020-12-22 Lacework Inc. Kubernetes launch graph
US11188571B1 (en) 2019-12-23 2021-11-30 Lacework Inc. Pod communication graph
US11201955B1 (en) 2019-12-23 2021-12-14 Lacework Inc. Agent networking in a containerized environment
US11256759B1 (en) 2019-12-23 2022-02-22 Lacework Inc. Hierarchical graph analysis
US11561840B2 (en) * 2020-01-30 2023-01-24 Alibaba Group Holding Limited Efficient inter-chip interconnect topology for distributed parallel deep learning
CN111415007B (zh) * 2020-03-26 2023-01-17 中科寒武纪科技股份有限公司 一种计算数据的方法、装置、板卡及计算机可读存储介质
CN111880911A (zh) * 2020-06-19 2020-11-03 浪潮电子信息产业股份有限公司 一种任务负载调度方法、装置、设备及可读存储介质
US11513845B2 (en) 2020-11-06 2022-11-29 Blaize, Inc. Configurable scheduler with pre-fetch and invalidate threads in a graph stream processing system
US11620248B2 (en) * 2021-03-31 2023-04-04 Advanced Micro Devices, Inc. Optical bridge interconnect unit for adjacent processors
US20230409643A1 (en) * 2022-06-17 2023-12-21 Raytheon Company Decentralized graph clustering using the schrodinger equation
CN115809685B (zh) * 2023-02-09 2023-07-25 鹏城实验室 一种npu集群网络结构和网络互连方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56127266A (en) * 1980-03-10 1981-10-05 Ibm Method of executing and controlling command stream
JPS62259164A (ja) * 1985-11-27 1987-11-11 テキサス　インスツルメンツ　インコ−ポレイテツド コンピユ−タ及び実時間音声レコグナイザ
US5317734A (en) * 1989-08-29 1994-05-31 North American Philips Corporation Method of synchronizing parallel processors employing channels and compiling method minimizing cross-processor data dependencies
FR2689711B1 (fr) 1992-04-03 1994-05-13 France Telecom Reseau de telecommunications.
US6631018B1 (en) * 1997-08-27 2003-10-07 Nortel Networks Limited WDM optical network with passive pass-through at each node
JPH1185616A (ja) * 1997-09-11 1999-03-30 Canon Inc 情報処理システム及び情報処理装置及びそれらの制御方法及び記憶媒体
US6175868B1 (en) * 1998-05-15 2001-01-16 Nortel Networks Limited Method and apparatus for automatically configuring a network switch
US6671254B1 (en) * 1998-12-11 2003-12-30 Oki Electric Industry Co., Ltd. Communication network and communication node used in such network
US6647208B1 (en) * 1999-03-18 2003-11-11 Massachusetts Institute Of Technology Hybrid electronic/optical switch system
US6748440B1 (en) * 1999-05-12 2004-06-08 Microsoft Corporation Flow of streaming data through multiple processing modules
US6792174B1 (en) * 1999-11-02 2004-09-14 Nortel Networks Limited Method and apparatus for signaling between an optical cross-connect switch and attached network equipment
WO2001086998A1 (en) 2000-05-11 2001-11-15 Btg International Limited Optical transport networks
US20020131103A1 (en) * 2001-03-16 2002-09-19 Nicholas Bambos Method and system for reconfiguring a network element such as an optical network element
US6809734B2 (en) * 2001-03-22 2004-10-26 Sony Computer Entertainment Inc. Resource dedication system and method for a computer architecture for broadband networks
US7263096B2 (en) * 2001-12-21 2007-08-28 Lucent Technologies Inc. Apparatus, system and method for managing circuit and packet-switched calls on a network
US6970617B2 (en) * 2003-01-07 2005-11-29 Charles Mao Reconfigurable service ring and method for operation in optical networks
WO2004072796A2 (en) * 2003-02-05 2004-08-26 Arizona Board Of Regents Reconfigurable processing
US7340169B2 (en) * 2003-11-13 2008-03-04 Intel Corporation Dynamic route discovery for optical switched networks using peer routing
US7000048B2 (en) 2003-12-18 2006-02-14 Intel Corporation Apparatus and method for parallel processing of network data on a single processing thread
US7376295B2 (en) 2004-09-20 2008-05-20 Fujitsu Limited Opto-electronic processors with reconfigurable chip-to-chip optical interconnections
US7739218B2 (en) * 2005-08-16 2010-06-15 International Business Machines Corporation Systems and methods for building and implementing ontology-based information resources
US20070204020A1 (en) * 2006-02-24 2007-08-30 International Business Machines Corporation System and method of stream processing workflow composition using automatic planning
US7441224B2 (en) * 2006-03-09 2008-10-21 Motorola, Inc. Streaming kernel selection for reconfigurable processor
US7853949B2 (en) * 2006-03-13 2010-12-14 International Business Machines Corporation Method and apparatus for assigning fractional processing nodes to work in a stream-oriented computer system
US20100242042A1 (en) * 2006-03-13 2010-09-23 Nikhil Bansal Method and apparatus for scheduling work in a stream-oriented computer system
US7738129B2 (en) * 2006-03-13 2010-06-15 International Business Machines Corporation Method and apparatus for assigning candidate processing nodes in a stream-oriented computer system
US8194638B2 (en) * 2006-07-27 2012-06-05 International Business Machines Corporation Dual network types solution for computer interconnects
US7680502B2 (en) * 2006-07-28 2010-03-16 Mccown Steven H Radio frequency detection assembly and method for detecting radio frequencies
US9038041B2 (en) 2006-12-04 2015-05-19 Tibco Software, Inc. Stream processor with compiled programs
US7899861B2 (en) * 2007-04-02 2011-03-01 International Business Machines Corporation Method for declarative semantic expression of user intent to enable goal-driven stream processing
US8458720B2 (en) * 2007-08-17 2013-06-04 International Business Machines Corporation Methods and systems for assigning non-continual jobs to candidate processing nodes in a stream-oriented computer system
US7941387B2 (en) * 2007-11-05 2011-05-10 International Business Machines Corporation Method and system for predicting resource usage of reusable stream processing elements
US8943509B2 (en) * 2008-03-21 2015-01-27 International Business Machines Corporation Method, apparatus, and computer program product for scheduling work in a stream-oriented computer system with configurable networks
US8125984B2 (en) * 2008-03-21 2012-02-28 International Business Machines Corporation Method, system, and computer program product for implementing stream processing using a reconfigurable optical switch

Also Published As

Publication number Publication date
US20100042809A1 (en) 2010-02-18
US8037284B2 (en) 2011-10-11
US20110055519A1 (en) 2011-03-03
US7856544B2 (en) 2010-12-21
WO2010020577A1 (en) 2010-02-25
JP5490120B2 (ja) 2014-05-14
TW201019133A (en) 2010-05-16
CN102138138A (zh) 2011-07-27
CN102138138B (zh) 2015-01-28
JP2012500432A (ja) 2012-01-05
KR20110063730A (ko) 2011-06-14
EP2274685A1 (en) 2011-01-19
KR101572295B1 (ko) 2015-12-04

Similar Documents

Publication Publication Date Title
TWI434186B (zh) 用於實施串流處理電腦架構之方法及系統
Khani et al. SiP-ML: high-bandwidth optical network interconnects for machine learning training
CN105378672B (zh) 对称多处理器(smp)域的动态形成
US10574592B2 (en) Compute-communicate continuum technology
TW202105065A (zh) 光子通訊平台
US10394747B1 (en) Implementing hierarchical PCI express switch topology over coherent mesh interconnect
CN105207957B (zh) 一种基于片上网络多核架构的系统
Won et al. Astra-sim2. 0: Modeling hierarchical networks and disaggregated systems for large-model training at scale
WO2024159988A1 (zh) 数据流驱动的可重构处理器芯片及可重构处理器集群
US9830283B2 (en) Multi-mode agent
De Souza et al. An optimal model for optimizing the placement and parallelism of data stream processing applications on cloud-edge computing
CN105099776A (zh) 云服务器的管理系统
Light Green networking: a simulation of energy efficient methods
Morris et al. 3d-noc: Reconfigurable 3d photonic on-chip interconnect for multicores
Michelogiannakis et al. Efficient intra-rack resource disaggregation for HPC using co-packaged DWDM photonics
TW200540644A (en) A single chip protocol converter
Nguyen et al. On the feasibility of hybrid electrical/optical switch architecture for large-scale training of distributed deep learning
CN109271338A (zh) 一种面向存储系统的可重构片上光互连结构及通信方法
Zhang et al. Comparative analysis of simulators for optical network-on-chip (ONoC)
Bergman et al. Let there be light! The future of memory systems is photonics and 3D stacking
CN107239432A (zh) 一种具有新型拓扑结构的服务器
Pham et al. Scalable low-latency inter-FPGA networks
CN113986813A (zh) 片上网络结构构建及使用的方法、系统、设备和存储介质
Ho et al. Optical systems for data centers
CN107370652B (zh) 一种计算机节点动态互联平台及平台组网方法