TWI410087B - 多核心晶片網路 - Google Patents

Description

多核心晶片網路

本揭露是有關於一種多核心(manycore)晶片網路(NoC:networks-on-chip)，且特別是有關於一種多核心晶片網路的容錯架構。

隨著積體電路(integrated circuit)的半導體製程進入深次微米(DSM: deep sub-micron)的世代，超過一百個核心的處理器架構已經問世。上述每一個核心，都是一個功能完整的處理器(processor)。像這樣包括眾多核心的處理器架構可稱為多核心系統(manycore system)。

製程的進步，帶來高度整合的可能性，同時也帶來了系統良率與可靠度的問題。良率的下降，還有訊號完整性所帶來的系統不穩定，在深次微米的製程下更加嚴重。傳統的匯流排(bus)架構，在擴充性、效能和功率的表現上，已不足以應付龐大的資料流量。因此，晶片網路架構逐漸演變成多核心的標準連結架構。

在多核心系統中，每一個核心可以各自負責自己的工作，或由多個核心合力進行一件比較複雜的工作。為了彼此的合作協調，核心之間必須互相傳送信號，於是就有尋徑(routing)的需求。以下說明請參照圖1。圖1是習知的一種多核心晶片網路100的示意圖，其中標示P的圓圈是處理器，標示R的方塊是路由器(router)。多核心晶片網路100包括十六個處理器以及對應的十六個路由器，路由器彼此連接，構成一個4x4的矩陣，而處理器僅連接對應的路由器。上述處理器必須透過路由器才能互相傳送信號，路由器負責處理器之間的信號尋徑。

路由器本身有可能損壞，路由器和處理器之間的連結通道也可能損壞。例如圖2當中的路由器112和132本身損壞，路由器122和處理器121之間的連結通道123損壞，路由器142和處理器141之間的連結通道143也損壞。

上述損壞會造成許多衍生問題，例如本身正常的處理器會被損壞的路由器與連結通道孤立，如圖2所示，處理器111、121、131和141本身沒有損壞，卻分別因為路由器112、132以及連結通道123和143的損壞而被孤立，無法聯絡同一網路的其他處理器。如果損壞的路由器過多，甚至會將整個網路分隔成多個獨立區域。例如圖3所示，由於路由器114、122、132和144全部損壞，多核心晶片網路100被分割成兩個獨立區域310和320。區域310的處理器無法聯絡區域320的處理器，反之亦然。

所以，提供一個可靠的晶片網路遂成為重要議題。

有些傳統的多核心晶片網路藉由路由器的微架構冗餘(microarchitecture redundancy)來降低路由器的損壞率，但是隨著處理器的數目增加，此種做法已經不符合成本上的考量。

本揭露提供一種多核心晶片網路，使用路由器層級的冗餘，來提升系統運作效率與容錯能力。

本揭露提出一種多核心晶片網路，包括C個叢集，每一上述叢集包括P個核心與R個路由器。其中S=R-P。C、P、R、S皆為正整數。

對於1<=i<=C的每一整數i以及1<=j<=P的每一整數j，上述第i個叢集的第j個核心對應一第一集合，此第一集合包括上述第i個叢集的S+1個路由器，上述第i個叢集更包括上述第j個核心與第一集合的每一個路由器之間的連結通道，上述第j個核心選擇性地耦接第一集合的路由器其中之一。

對於1<=i<=C的每一整數i以及2<=k<=R的每一整數k，上述第i個叢集的第k個路由器對應一第二集合，此第二集合包括上述第i個叢集中位於上述第k個路由器之前的1至S+1個路由器，上述第i個叢集更包括上述第k個路由器與第二集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接第二集合的路由器其中之一。

對於1<=i<=C的每一整數i以及1<=k<=R-1的每一整數k，上述第i個叢集的第k個路由器對應一第三集合，此第三集合包括上述第i個叢集中位於上述第k個路由器之後的1至S+1個路由器，上述第i個叢集更包括上述第k個路由器與第三集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接第三集合的路由器其中之一。

對於2<=i<=C的每一整數i以及1<=k<=R的每一整數k，上述第i個叢集的第k個路由器對應一第四集合，此第四集合包括上述第i-1個叢集的2至2S+1個路由器，上述多核心晶片網路更包括上述第k個路由器與第四集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接第四集合的路由器其中之一。

對於1<=i<=C-1的每一整數i以及1<=k<=R的每一整數k，上述第i個叢集的第k個路由器對應一第五集合，此第五集合包括上述第i+1個叢集的2至2S+1個路由器，上述多核心晶片網路更包括上述第k個路由器與第五集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接第五集合的路由器其中之一。

上述多個路由器傳遞上述多個核心之間互相傳送的信號。

如上所述，本揭露的多核心晶片網路由多個叢集構成，包括冗餘的路由器和連結通道，可容許預設數量以內的路由器損壞和連結通道損壞。而且在因應上述損壞而重新設定連結通道之後，多核心晶片網路仍然可維持原來的邏輯拓樸架構，並且不會出現孤立的核心或孤立區域。

為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖4和圖5是依照本揭露一實施例的一種多核心晶片網路400的示意圖。圖4和圖5當中，標示P的圓圈是核心，例如核心412；標示R的方塊是路由器，例如路由器419；其餘的梯形是選擇器，例如選擇器415。每一個核心P可以是處理器(processor)、處理元件(processing element)、資料處理單元(DPE: data processing engine)、數位信號處理器(DSP: digital signal processor)、圖形處理單元(GPU: graphics processing unit)、或記憶體。

圖4繪示多核心晶片網路400其中核心和路由器之間的連結關係，圖5則繪示多核心晶片網路400其中路由器之間的連結關係。

如圖4所示，多核心晶片網路400包括三個叢集440、450以及460。每個叢集包括同一行的三個核心、同一行的三個選擇器、以及同一行的四個路由器。圖4的核心和選擇器是一一對應，為了容錯，每個核心有兩個連結通道各自通往同一叢集之中最接近的兩個路由器，這兩個連結通道都由對應的選擇器控制。選擇器會開啟其中一個連結通道，關閉另一個連結通道。也就是說，每個選擇器選擇同一叢集中最接近的兩個路由器其中之一，耦接被選擇的路由器與對應的核心。例如選擇器415選擇路由器418和419其中之一，並耦接被選擇的路由器與對應的核心412。每個核心都會透過對應的選擇器耦接一個連結通道未損壞而且功能完好的路由器，每個未損壞的路由器最多只耦接一個核心。

圖5繪示多核心晶片網路400其中每一個路由器的識別碼，例如最左下角的路由器的識別碼是0，最左上角的路由器的識別碼是3，最右上角的路由器的識別碼是11。以下說明會用標示號碼或識別碼指稱路由器，例如路由器419和路由器R3都是指最左上角的那一個路由器。

為了在少數路由器和連結通道損壞的情況下正常工作，多核心晶片網路400的路由器之間有冗餘的連結通道，由選擇器選擇使用一組冗餘通道其中的哪一條。一般原則是，每個路由器在上方和下方各耦接同一叢集中最接近的兩個路由器其中之一，並且在左方和右方各耦接最接近的三個路由器其中之一。圖5的路由器之間的連結通道是單向通道，所以每個路由器都有對應的兩組連結通道，一組用於輸出信號，一組用於輸入信號，每一組連結通道都符合上述耦接規則。對於邊緣或角落的路由器，如果某一方向鄰近的路由器較少，就耦接較少的鄰近路由器其中之一，如果某一方向沒有鄰近的路由器，在這方向就不耦接其他路由器。

具體來說，叢集440當中，路由器R0在上方耦接路由器R1和R2其中之一，在下方和左方不耦接其他路由器，在右方耦接路由器R4和R5其中之一。路由器R1在上方耦接路由器R2和R3其中之一，在下方耦接路由器R0，在左方不耦接其他路由器，在右方耦接路由器R4、R5和R6其中之一。路由器R2在上方耦接路由器R3，在下方耦接路由器R0和R1其中之一，在左方不耦接其他路由器，在右方耦接路由器R5、R6和R7其中之一。路由器R3在上方和左方不耦接其他路由器，在下方耦接路由器R1和R2其中之一，在右方耦接路由器R6和R7其中之一。

叢集450當中，路由器R4在上方耦接路由器R5和R6其中之一，在下方不耦接其他路由器，在左方耦接路由器R0和R1其中之一，在右方耦接路由器R8和R9其中之一。路由器R5在上方耦接路由器R6和R7其中之一，在下方耦接路由器R4，在左方耦接路由器R0、R1和R2其中之一，在右方耦接路由器R8、R9和R10其中之一。路由器R6在上方耦接路由器R7，在下方耦接路由器R4和R5其中之一，在左方耦接路由器R1、R2和R3其中之一，在右方耦接路由器R9、R10和R11其中之一。路由器R7在上方不耦接其他路由器，在下方耦接路由器R5和R6其中之一，在左方耦接路由器R2和R3其中之一，在右方耦接路由器R10和R11其中之一。

叢集460當中，路由器R8在上方耦接路由器R9和R10其中之一，在下方不耦接其他路由器，在左方耦接路由器R4和R5其中之一，在右方不耦接其他路由器。路由器R9在上方耦接路由器R10和R11其中之一，在下方耦接路由器R8，在左方耦接路由器R4、R5和R6其中之一，在右方不耦接其他路由器。路由器R10在上方耦接路由器R11，在下方耦接路由器R8和R9其中之一，在左方耦接路由器R5、R6和R7其中之一，在右方不耦接其他路由器。路由器R11在上方和右方不耦接其他路由器，在下方耦接路由器R9和R10其中之一，在左方耦接路由器R6和R7其中之一。

每個路由器有許多連結通道通往每一個可能耦接的鄰近路由器。對於每一個路由器而言，每一方向的輸入通道都由一個對應的選擇器控制。每個選擇器會在其所控制的連結通道中擇一開啟，並關閉其所控制的其餘連結通道。舉例而言，圖5的選擇器516和517各對應路由器R3的下方和右方。選擇器516在來自路由器R1和R2的輸入連結通道之中擇一開啟，並關閉另一條輸入連結通道，相當於在路由器R1和R2其中擇一耦接至路由器R3。選擇器517在來自路由器R6和R7的輸入連結通道之中擇一開啟，並關閉另一條輸入連結通道，相當於在路由器R6和R7其中擇一耦接至路由器R3。

舉另一個例子，選擇器526、527和528各對應路由器R6的下方、左方和右方。同一叢集中，路由器R6在上方只有一個路由器R7，所以路由器R6的上方不需要對應的選擇器，來自R7的輸入連結通道可直接耦接R6。選擇器526在來自路由器R4和R5的輸入連結通道之中擇一開啟，並關閉另一條輸入連結通道，相當於在路由器R4和R5其中擇一耦接至路由器R6。選擇器527在來自路由器R1、R2和R3的輸入連結通道之中擇一開啟，並關閉另兩條輸入連結通道，相當於在路由器R1、R2和R3其中擇一耦接至路由器R6。選擇器528在來自路由器R9、R10和R11的輸入連結通道之中擇一開啟，並關閉另兩條輸入連結通道，相當於在路由器R9、R10和R11其中擇一耦接至路由器R6。

為了操作時的溝通協調，多核心晶片網路400的核心會互相傳送信號，這些信號可以是控制信號或資料信號。這些信號由多核心晶片網路400的眾多路由器傳遞，這些路由器依照預設的尋徑演算法，決定上述信號在多核心晶片網路400之內的傳送路徑。多核心晶片網路的尋徑方法是已經成熟的傳統技術，在此不予贅述。

多核心晶片網路400的每一個叢集中，路由器都比核心多出一個，所以只要每個叢集中損壞的路由器不超過一個，整個多核心晶片網路400就能正常運作。在有路由器或連結通道損壞時，核心與路由器之間的連結通道調整，以及路由器之間的連結通道調整，都是經由選擇器來控制。本實施例的選擇器皆以多工器(multiplexer)實施，但本揭露不以此為限。選擇器的構造小而簡單，不易損壞，遠比路由器可靠，所以本實施例並不考慮選擇器損壞的情況。

圖6繪示多核心晶片網路400有路由器和連結通道損壞時，調整核心與路由器之間的連結通道的一個範例。如圖6所示，路由器417和426本身損壞，路由器428和選擇器424之間的連結通道454損壞。每一叢集的三個核心和三個未損壞路由器在選擇器控制下形成一對一的耦接關係，其中選擇器413避開損壞的路由器417，耦接核心410與路由器416。選擇器424避開損壞的連結通道454，耦接核心421與路由器427。選擇器433避開損壞的路由器436，耦接核心430與路由器437。經過這樣的調整，每個核心各透過一個未損壞的連結通道耦接一個未損壞的路由器，每個核心都不受孤立，可以聯絡到其餘的每一個核心。

多核心晶片網路400的每一個選擇器都接收一個連結樣式控制器(未繪示)所產生的連結控制信號。這個連結樣式控制器可以是多核心晶片網路400的一部分，也可以獨立於多核心晶片網路400之外。連結樣式控制器根據損壞的路由器和損壞的連結通道的分布，產生上述連結控制信號，並藉由連結控制信號控制每一個選擇器，以一對一方式耦接每一個叢集的多個核心與同一叢集的多個路由器。連結樣式控制器會避開損壞的路由器和連結通道，確保每一個核心所耦接的路由器皆未損壞，而且每一個核心與其所耦接的路由器之間的連結通道也皆未損壞。

在每一個叢集中，核心和路由器之間的耦接關係可加上限制，使其符合上述核心和路由器在叢集中的前後順序關係。具體來說，在同一叢集的多個核心之中，若核心PA位於核心PB之前，則核心PA耦接的路由器也位於核心PB耦接的路由器之前。多核心晶片網路400的叢集中的前後順序是從下到上排列。在本揭露的其他實施例中，也可以不限制每一叢集中的核心和路由器之間的耦接關係。

圖7繪示多核心晶片網路400的路由器418、427和438損壞時，調整路由器之間的連結通道以及路由器識別碼的一個範例。多核心晶片網路400的每一個路由器也接收連結樣式控制器所產生的連結控制信號。如圖7所示，當某一叢集中有路由器損壞時，則根據連結控制信號，將從第一個損壞的路由器開始的每一個路由器的識別碼向後遞移。例如路由器418的識別碼2遞移至同一叢集後面的路由器419。路由器427的識別碼5遞移至同一叢集後面的路由器428，路由器428原有的識別碼6遞移至同一叢集後面的路由器429。路由器438原有的識別碼10遞移至同一叢集後面的路由器439。至於為什麼調整路由器的識別碼，稍後再說明。

連結樣式控制器會根據損壞的路由器和損壞的連結通道的分布，產生連結控制信號，並藉由連結控制信號控制多核心晶片網路400的選擇器，將多核心晶片網路400的路由器耦接成一個整體網路。連結樣式控制器會避開損壞的路由器和連結通道，確保整體網路中的每一個路由器皆未損壞，而且整體網路中的路由器之間的連結通道也皆未損壞。

圖5繪示多核心晶片網路400的路由器之間的全部連結通道，而圖7僅繪示被選擇器開啟的路由器之間的連結通道。例如對路由器419而言，選擇器516開啟來自路由器417的輸入連結通道並關閉來自路由器418的輸入連結通道，選擇器513開啟來自路由器419的輸入連結通道並關閉來自路由器418的輸入連結通道，使路由器417和419跳過損壞的路由器418而互相耦接。另一方面，選擇器512開啟來自路由器428的輸入連結通道並關閉來自路由器426和427的輸入連結通道，選擇器527開啟來自路由器417的輸入連結通道並關閉來自路由器418和419的輸入連結通道，使路由器417和428互相耦接。

在同一叢集中，對應每一路由器的上下方向的選擇器會根據連結控制信號，以符合路由器在叢集中的前後順序的方式，將叢集中的路由器串列耦接。連結樣式控制器可避開損壞的路由器和連結通道，確保上述被串列耦接的路由器本身皆未損壞，而且上述被串列耦接的路由器之間的連結通道也皆未損壞。例如路由器416、417、419在圖7的前後耦接關係，就符合它們在所屬叢集中的前後排列順序。路由器426、428和429也是如此。

圖7繪示多核心晶片網路400因應路由器本身損壞所作的連結通道調整，路由器之間的連結通道損壞也可以用同樣方式處理。舉例而言，若圖7的路由器418並未損壞而是路由器417和418之間的連結通道損壞，則連結樣式控制器可控制相關的選擇器，以跳過路由器418，耦接路由器417和419，如圖7所示。同理，若圖7的路由器427並未損壞而是路由器417和427之間的連結通道損壞，則連結樣式控制器可控制相關的選擇器，使路由器417耦接叢集450的另一個未損壞的路由器，例如耦接路由器417和428，如圖7所示。

在相鄰的兩個叢集之間，對應每一路由器的左右方向的選擇器會根據連結控制信號，將其中一個叢集的未損壞的路由器以一對一的方式耦接至另一個叢集中同樣數量的未損壞的路由器。除了避開損壞的路由器，連結樣式控制器也會避開損壞的連結通道，確保上述兩個相鄰叢集的未損壞路由器之間的連結通道也皆未損壞。

兩個相鄰叢集的路由器之間的耦接方式可以加上限制，使其符合路由器在各自所屬叢集中的前後排列順序。具體而言，如果有兩個相鄰叢集CA和CB，叢集CA的路由器RA位於路由器RB之前，路由器RA耦接叢集CB的路由器RC，路由器RB耦接叢集CB的路由器RD，則在叢集CB之中，路由器RC必然位於路由器RD之前。例如圖7的路由器416、417和419同屬於一個叢集，路由器426、428和429同屬於另一個叢集，這六個路由器之間的耦接關係即符合上述規則。在本揭露的其他實施例中，也可以不限制兩個相鄰叢集的路由器之間的耦接方式。

如圖7所示的多核心晶片網路400，每一行都有一個路由器損壞，如果這種損壞發生在圖1的傳統多核心晶片網路100，就會發生如圖3所示的區域分隔現象，但是本實施例的多核心晶片網路400包括冗餘的路由器和連結通道，即使圖7所示的損壞也不會造成區域分隔現象。

多核心晶片網路400的容錯架構主要是由選擇器、冗餘的路由器、以及冗餘的連結通道組成。多核心晶片網路400的製造廠商可以在多核心晶片網路400出廠時測試有哪些路由器和連結通道損壞，然後讓連結樣式控制器產生對應的連結控制信號，以調整核心和路由器之間以及路由器彼此之間的耦接關係，達到容錯的目標。

圖5和圖7繪示的路由器之間的連結通道都是單向，輸出信號和輸入信號必須用不同的連結通道傳送，所以兩個互相耦接的路由器之間需要兩條開啟的連結通道。但是本揭露並不限制只能使用單向連結通道，在其他實施例中，也可以使用雙向連結通道，這樣兩個路由器之間只需要一條開啟的連結通道，就可以傳送輸出信號和輸入信號。將圖7的多核心晶片網路400使用雙向連結通道簡化之後就如圖8所示。

在圖7所示的路由器損壞之前，多核心晶片網路400的九個核心之間的耦接關係呈現3x3矩陣的邏輯拓樸架構(logical topology)。在圖7的路由器損壞之後，藉由圖7所示的連結通道調整、對應的核心連結通道調整、以及路由器的識別碼調整，以路由器419、428和439分別取代損壞的路由器418、427和438，使多核心晶片網路400的九個核心之間的耦接關係依然呈現同樣的邏輯拓樸架構。本實施例的容錯架構，在每個叢集損壞的路由器不超出一個的前提下，可以使多核心晶片網路400保持原有的邏輯拓樸架構。於是，每一個路由器執行的尋徑軟體不需要重新設計，尋徑軟體也不需要容錯功能，可以降低系統成本，而且路由器或連結通道損壞並不會延長核心之間的信號傳遞路徑，可維持系統執行效率。

當有路由器損壞時，相鄰叢集的路由器之間的耦接關係不見得只有一種。以上述的多核心晶片網路400為例，如果兩個相鄰叢集當中只有一個路由器損壞，則這兩個叢集的路由器之間的耦接關係有四種變化，如圖9A至圖9D所示，其中損壞的路由器只有R9一個。不過如果兩個相鄰叢集各有一個路由器損壞，則這兩個叢集的路由器之間的耦接關係只能有一種，如圖9E所示，其中損壞的路由器是R6和R9。

上述的多核心晶片網路400有三個叢集，每個叢集有三個核心和四個路由器，每個叢集可容許一個路由器損壞，但本揭露並不以此為限。

在本揭露的其他實施例中，多核心晶片網路可包括C個叢集，每一個叢集可包括P個核心與R個路由器，每一個叢集可容許S個路由器損壞而不影響多核心晶片網路的正常功能。其中S=R-P，C、P、R、S皆為正整數。每一個叢集的核心與路由器可以呈直行排列或橫列排列，或採用其他排列方式。

上述多核心晶片網路的每一個叢集中，核心和路由器都有預設的前後順序，此順序決定每個核心與路由器的編號。排在最前面的核心稱為第一個核心，排在最後面的核心稱為第P個核心。排在最前面的路由器稱為第一個路由器，排在最後面的路由器稱為第R個路由器。本揭露並不限制如何指定核心與路由器的前後順序。如果叢集中的核心與路由器呈直行排列，其前後順序可以從上到下或從下到上。如果叢集中的核心與路由器呈橫列排列，其前後順序可以從左到右或從右到左。上述的前後順序不一定要遵循上下左右等方向，也可以用更複雜的方式指定每一個叢集的核心與路由器的前後順序。

上述多核心晶片網路的叢集之間也有前後順序，此順序決定每個叢集的編號。排在最前面的叢集稱為第一個叢集，排在最後面的叢集稱為第C個叢集。本揭露同樣不限制如何指定叢集的前後順序。叢集的前後順序不一定要遵循上下左右等方向，也可以用更複雜的方式指定。

上述多核心晶片網路之中，對於1<=i<=C的每一整數i以及1<=j<=P的每一整數j，第i個叢集的第j個核心有一個對應的第一集合，此第一集合包括第i個叢集的S+1個路由器，上述第i個叢集更包括上述第j個核心與上述第一集合的每一個路由器之間的連結通道，上述第j個核心選擇性地耦接上述第一集合的路由器其中之一。

對於1<=i<=C的每一整數i以及2<=k<=R的每一整數k，多核心晶片網路的第i個叢集的第k個路由器有一個對應的第二集合，此第二集合包括上述第i個叢集中位於上述第k個路由器之前的1至S+1個路由器，上述第i個叢集更包括上述第k個路由器與上述第二集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接上述第二集合的路由器其中之一。

對於1<=i<=C的每一整數i以及1<=k<=R-1的每一整數k，多核心晶片網路的第i個叢集的第k個路由器有一個對應的第三集合，此第三集合包括上述第i個叢集中位於上述第k個路由器之後的1至S+1個路由器，上述第i個叢集更包括上述第k個路由器與上述第三集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接上述第三集合的路由器其中之一。

對於2<=i<=C的每一整數i以及1<=k<=R的每一整數k，多核心晶片網路的第i個叢集的第k個路由器有一個對應的第四集合，此第四集合包括上述第i-1個叢集的2至2S+1個路由器，上述多核心晶片網路更包括上述第k個路由器與上述第四集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接上述第四集合的路由器其中之一。

對於1<=i<=C-1的每一整數i以及1<=k<=R的每一整數k，多核心晶片網路的第i個叢集的第k個路由器有一個對應的第五集合，此第五集合包括上述第i+1個叢集的2至2S+1個路由器，上述多核心晶片網路更包括上述第k個路由器與上述第五集合的每一個路由器之間的連結通道，上述第k個路由器選擇性地耦接上述第五集合的路由器其中之一。

在本揭露的某些實施例中，可以對第一集合至第五集合作進一步限制。其中對應上述第i個叢集的第j個核心的第一集合可包括上述第i個叢集的第j個至第j+S個路由器。

對應上述第i個叢集的第k個路由器的第二集合可包括上述第i個叢集的第k-min{S+1,k-1}個至第k-1個路由器，其中min表示取{}其中的最小值。

對應上述第i個叢集的第k個路由器的第三集合可包括上述第i個叢集的第k+1個至第k+min{S+1,R-k}個路由器。

對應上述第i個叢集的第k個路由器的第四集合可包括上述第i-1個叢集的第k-min{S,k-1}個至第k+min{S,R-k}個路由器。

對應上述第i個叢集的第k個路由器的第五集合可包括上述第i+1個叢集的第k-min{S,k-1}個至第k+min{S,R-k}個路由器。

對於1<=i<=C的每一整數i以及1<=j<=P的每一整數j，上述第i個叢集更包括對應上述第j個核心的第一選擇器與S+1個連結通道。上述S+1個連結通道耦接上述第j個核心以及上述第j個核心所對應的第一集合其中的每一個路由器。第一選擇器根據連結樣式控制器所產生的連結控制信號，選擇第一集合的路由器其中之一，開啟受選擇的該路由器與上述第j個核心之間的連結通道，並關閉第一集合的其餘路由器與上述第j個核心之間的連結通道，以耦接受選擇的路由器與上述第j個核心。

對於每一個路由器，上述的多核心晶片網路更包括對應該路由器的多條連結通道，這些連結通道耦接該路由器以及該路由器所對應的第二集合、第三集合、第四集合、以及第五集合其中的每一個路由器。

若R>=3，則對於1<=i<=C的每一整數i以及3<=k<=R的每一整數k，上述第i個叢集更包括對應上述第k個路由器的第二選擇器。此第二選擇器根據上述連結控制信號，選擇上述第k個路由器所對應的第二集合的路由器其中之一，開啟受選擇的該路由器與上述第k個路由器之間的連結通道，並關閉上述第二集合的其餘路由器與上述第k個路由器之間的連結通道，以耦接受選擇的該路由器與上述第k個路由器。

若R>=3，則對於1<=i<=C的每一整數i以及1<=k<=R-2的每一整數k，上述第i個叢集更包括對應上述第k個路由器的第三選擇器。此第三選擇器根據上述連結控制信號，選擇上述第k個路由器所對應的第三集合的路由器其中之一，開啟受選擇的該路由器與上述第k個路由器之間的連結通道，並關閉上述第三集合的其餘路由器與上述第k個路由器之間的連結通道，以耦接受選擇的該路由器與上述第k個路由器。

對於2<=i<=C的每一整數i以及1<=k<=R的每一整數k，上述第i個叢集更包括對應上述第k個路由器的第四選擇器。此第四選擇器根據上述連結控制信號，選擇上述第k個路由器所對應的第四集合的路由器其中之一，開啟受選擇的該路由器與上述第k個路由器之間的連結通道，並關閉上述第四集合的其餘路由器與上述第k個路由器之間的連結通道，以耦接受選擇的該路由器與上述第k個路由器。

對於1<=i<=C-1的每一整數i以及1<=k<=R的每一整數k，上述第i個叢集更包括對應上述第k個路由器的第五選擇器。此第五選擇器根據上述連結控制信號，選擇上述第k個路由器所對應的第五集合的路由器其中之一，開啟受選擇的該路由器與上述第k個路由器之間的連結通道，並關閉上述第五集合的其餘路由器與上述第k個路由器之間的連結通道，以耦接受選擇的該路由器與上述第k個路由器。

若將上述多核心晶片網路的參數C設定為3，P設定為3，R設定為4，S設定為1，而且每一個叢集的核心與路由器皆呈直行排列，則上述多核心晶片網路就是圖4與圖5所示的多核心晶片網路400。

若將上述多核心晶片網路的參數C設定為3，P設定為3，R設定為5，S設定為2，而且每一個叢集的核心與路由器皆呈直行排列，則上述多核心晶片網路就是圖10與圖11所示的多核心晶片網路1000。其中圖10繪示多核心晶片網路1000的核心與路由器之間的耦接關係，圖11則繪示多核心晶片網路1000的路由器之間的耦接關係。如同圖4與圖5，圖10和圖11當中標示P的圓形元件為核心，標示R的方形元件為路由器，梯形元件為選擇器。多核心晶片網路1000包括三個叢集1040、1050以及1060，其中每一個叢集包括三個核心以及五個路由器。

圖12和圖13是多核心晶片網路1000的容錯架構示意圖。在圖12當中，叢集1040的路由器1041與1042損壞，叢集1050的路由器1056損壞，核心1020與路由器1058之間的連結通道1054也損壞，叢集1060的路由器1061和1062損壞。圖12繪示發生上述損壞時多核心晶片網路1000的連結通道調整。每個核心有三個連結通道分別耦接其對應的第一集合的每一個路由器。在連結樣式控制器(未繪示)的控制下，每個選擇器開啟三個連結通道其中一個，並關閉其餘兩個連結通道，使每一個叢集的三個核心以一對一方式耦接同一叢集的三個未損壞路由器，並且避開損壞的連結通道1054。從每個選擇器內部的線條可看出哪一個連結通道被開啟。舉例而言，叢集1050的選擇器1051開啟通往路由器1055的連結通道，選擇器1052開啟通往路由器1057的連結通道，選擇器1053開啟通往路由器1059的連結通道。

圖13繪示多核心晶片網路1000的路由器損壞時，對於路由器之間的連結通道的調整。圖13僅繪示被選擇器開啟的連結通道，其中損壞的路由器包括R2、R3、R6、R8、R11與R12。如圖13所示，在連結樣式控制器的控制下，叢集1040的路由器R1與R4互相耦接，跳過損壞的路由器R2與R3。叢集1050的路由器R5與R7互相耦接，跳過損壞的路由器R6，路由器R7與R9互相耦接，跳過損壞的路由器R8。叢集1060的路由器R10與R13互相耦接，跳過損壞的路由器R11與R12。

上述的多核心晶片網路400和多核心晶片網路1000的選擇器都獨立於對應的核心和路由器之外，在本揭露的某些實施例中，每一個耦接於核心和路由器之間的第一選擇器都可以併入對應的核心之中，例如圖14所示。圖14的第一選擇器1420併入對應的核心1410之中，整合成為核心1410的一部分。第一選擇器1420接收連結控制信號1432，並耦接多個連結通道1434，這些連結通道1434分別通往核心1410可能耦接的多個路由器。

在本揭露的某些實施例中，可以讓整個多核心晶片網路其中的一部分第一選擇器獨立於對應的核心之外，另一部分的第一選擇器併入對應的核心之中。也就是說，獨立和併入這兩種情況可以並存。

在本揭露的某些實施例中，每一個耦接於路由器之間的選擇器都可以併入對應的路由器之中，例如圖15所示。圖15的選擇器1522至1525皆位於對應的路由器1510之中，整合成為路由器1510的一部分。選擇器1522至1525分別是對應路由器1510的第二選擇器、第三選擇器、第四選擇器、以及第五選擇器。路由器1510接收連結控制信號1550，有1532至1535以及1542至1545等多條連結通道。其中，輸入連結通道1532和1533分別來自同一叢集當中順序在前和順序在後的其他路由器，分別由選擇器1522和1523控制。輸入連結通道1534和1535分別來自前一個相鄰叢集和後一個相鄰叢集的路由器，分別由選擇器1524和1525控制。輸出連結通道1542和1543分別通往同一叢集當中順序在前和順序在後的其他路由器。輸出連結通道1544和1545分別通往前一個相鄰叢集和後一個相鄰叢集的路由器。

在本揭露的某些實施例中，若將整個多核心晶片網路的所有第二選擇器、第三選擇器、第四選擇器、以及第五選擇器視為一個集合，則可讓這個集合其中的一部分選擇器獨立於對應的路由器之外，另一部分的選擇器併入對應的路由器之中。也就是說，獨立和併入這兩種情況可以並存。

綜上所述，本揭露使用叢集式架構以及路由器層級的冗餘，來達到提升系統運作效率與良率之目的。本揭露的每一個叢集的路由器共同分享至少一個冗餘路由器，藉由此冗餘路由器，讓共享的路由器之中，容許損壞任一個位置的一個或多個路由器，並且使路由器與核心之間以及路由器彼此之間的網路連結樣式多樣化。

本揭露利用冗餘的路由器和連結通道，在因應路由器和連結通道的損壞而重新設定連結通道之後，仍然可維持原來的邏輯拓樸架構，也就是在硬體層次解決損壞後的尋徑問題。尋徑軟體不需要修改，也不需要額外的容錯功能，可降低系統成本。並且在多核心系統下，藉由多個路由器平均攤還冗餘路由器的成本，也能達成相對成本的優勢。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．多核心晶片網路

101、111、121、131、141．．．核心

102、112、114、122、132、142、144．．．路由器

123、143．．．連結通道

310、320．．．多核心晶片網路的區域

400．．．多核心晶片網路

410、412、421、430．．．核心

413、415、424、433．．．選擇器

416~419、426~429、436~439．．．路由器

440、450、460．．．叢集

454．．．連結通道

512~513、516~517、526~528．．．選擇器

1000．．．多核心晶片網路

1020．．．核心

1040、1050、1060．．．叢集

1041、1042、1055~1059、1061、1062．．．路由器

1051~1053．．．選擇器

1054．．．連結通道

1410．．．核心

1420．．．選擇器

1432．．．連結控制信號

1434．．．選擇器與路由器之間的連結通道

1510．．．路由器

1522~1525．．．選擇器

1532~1535、1542~1545．．．路由器之間的連結通道

1550．．．連結控制信號

P．．．核心

R、R0~R14．．．路由器

圖1、圖2與圖3是習知的一種多核心晶片網路的示意圖。

圖4與圖5是依照本揭露一實施例的一種多核心晶片網路的示意圖。

圖6、圖7與圖8是依照本揭露一實施例的一種多核心晶片網路的容錯架構示意圖。

圖9A至圖9E是依照本揭露一實施例的一種多核心晶片網路的路由器連結示意圖。

圖10與圖11是依照本揭露一實施例的一種多核心晶片網路的示意圖。

圖12與圖13是依照本揭露一實施例的一種多核心晶片網路的容錯架構示意圖。

圖14是依照本揭露一實施例的一種多核心晶片網路的核心與選擇器示意圖。

圖15是依照本揭露一實施例的一種多核心晶片網路的路由器與選擇器示意圖。

400．．．多核心晶片網路

412．．．核心

415．．．選擇器

418、419．．．路由器

440、450、460．．．叢集

P．．．核心

R．．．路由器

Claims (16)

1. 一種多核心晶片網路，包括：C個叢集，每一上述叢集包括P個核心與R個路由器，其中S=R-P，C、P、R、S皆為正整數；對於1<=i<=C的每一整數i以及1<=j<=P的每一整數j，上述第i個叢集的第j個核心對應一第一集合，該第一集合包括該第i個叢集的S+1個路由器，該第i個叢集更包括該第j個核心與該第一集合的每一個路由器之間的連結通道，該第j個核心選擇性地耦接該第一集合的路由器其中之一；對於1<=i<=C的每一整數i以及2<=k<=R的每一整數k，上述第i個叢集的第k個路由器對應一第二集合，該第二集合包括該第i個叢集中位於該第k個路由器之前的1至S+1個路由器，該第i個叢集更包括該第k個路由器與該第二集合的每一個路由器之間的連結通道，該第k個路由器選擇性地耦接該第二集合的路由器其中之一；對於1<=i<=C的每一整數i以及1<=k<=R-1的每一整數k，上述第i個叢集的第k個路由器對應一第三集合，該第三集合包括該第i個叢集中位於該第k個路由器之後的1至S+1個路由器，該第i個叢集更包括該第k個路由器與該第三集合的每一個路由器之間的連結通道，該第k個路由器選擇性地耦接該第三集合的路由器其中之一；對於2<=i<=C的每一整數i以及1<=k<=R的每一整數k，上述第i個叢集的第k個路由器對應一第四集合，該第四集合包括上述第i-1個叢集的2至2S+1個路由器，該多核心晶片網路更包括該第k個路由器與該第四集合的每一個路由器之間的連結通道，該第k個路由器選擇性地耦接該第四集合的路由器其中之一；對於1<=i<=C-1的每一整數i以及1<=k<=R的每一整數k，上述第i個叢集的第k個路由器對應一第五集合，該第五集合包括上述第i+1個叢集的2至2S+1個路由器，該多核心晶片網路更包括該第k個路由器與該第五集合的每一個路由器之間的連結通道，該第k個路由器選擇性地耦接該第五集合的路由器其中之一；上述多個路由器傳遞上述多個核心之間互相傳送的信號。
2. 如申請專利範圍第1項所述之多核心晶片網路，其中每一上述核心為處理器、處理元件、資料處理單元、數位信號處理器、圖形處理單元、或記憶體。
3. 如申請專利範圍第1項所述之多核心晶片網路，其中對應該第i個叢集的該第j個核心的該第一集合包括該第i個叢集的第j個至第j+S個路由器。
4. 如申請專利範圍第1項所述之多核心晶片網路，其中對於1<=i<=C的每一整數i以及1<=j<=P的每一整數j，該第i個叢集更包括對應該第j個核心的一第一選擇器；該第一選擇器根據一連結控制信號選擇該第一集合的路由器其中之一，並耦接受選擇的該路由器與該第j個核心。
5. 如申請專利範圍第4項所述之多核心晶片網路，更包括：一連結樣式控制器，產生該連結控制信號，並藉由該連結控制信號控制上述多個第一選擇器耦接每一上述叢集的多個核心與同一叢集的多個路由器，其中上述多個路由器皆未損壞，上述多個路由器和同一叢集的上述多個核心之間的連結通道也皆未損壞。
6. 如申請專利範圍第5項所述之多核心晶片網路，其中上述多個第一選擇器以一對一方式將每一上述叢集的上述多個核心耦接至同一叢集的上述多個路由器。
7. 如申請專利範圍第6項所述之多核心晶片網路，在每一上述叢集的核心之中，若一第一核心位於一第二核心之前，則該第一核心耦接的路由器也位於該第二核心耦接的路由器之前。
8. 如申請專利範圍第4項所述之多核心晶片網路，其中每一上述第一選擇器獨立於對應的核心之外或併入對應的核心之中。
9. 如申請專利範圍第1項所述之多核心晶片網路，其中對應該第i個叢集的該第k個路由器的該第二集合包括該第i個叢集的第k-min{S+1,k-1}個至第k-1個路由器，其中min表示取{}其中的最小值；對應該第i個叢集的該第k個路由器的該第三集合包括該第i個叢集的第k+1個至第k+min{S+1,R-k}個路由器；對應該第i個叢集的該第k個路由器的該第四集合包括該第i-1個叢集的第k-min{S,k-1}個至第k+min{S,R-k}個路由器；對應該第i個叢集的該第k個路由器的該第五集合包括該第i+1個叢集的第k-min{S,k-1}個至第k+min{S,R-k}個路由器。
10. 如申請專利範圍第1項所述之多核心晶片網路，其中若R>=3，則對於1<=i<=C的每一整數i以及3<=k<=R的每一整數k，該第i個叢集更包括對應該第k個路由器的一第二選擇器，該第二選擇器根據一連結控制信號選擇該第二集合的路由器其中之一，並耦接受選擇的該路由器與該第k個路由器；若R>=3，則對於1<=i<=C的每一整數i以及1<=k<=R-2的每一整數k，該第i個叢集更包括對應該第k個路由器的一第三選擇器，該第三選擇器根據該連結控制信號選擇該第三集合的路由器其中之一，並耦接受選擇的該路由器與該第k個路由器；對於2<=i<=C的每一整數i以及1<=k<=R的每一整數k，該第i個叢集更包括對應該第k個路由器的一第四選擇器，該第四選擇器根據該連結控制信號選擇該第四集合的路由器其中之一，並耦接受選擇的該路由器與該第k個路由器；對於1<=i<=C-1的每一整數i以及1<=k<=R的每一整數k，該第i個叢集更包括對應該第k個路由器的一第五選擇器，該第五選擇器根據該連結控制信號選擇該第五集合的路由器其中之一，並耦接受選擇的該路由器與該第k個路由器。
11. 如申請專利範圍第10項所述之多核心晶片網路，更包括：一連結樣式控制器，產生該連結控制信號，並藉由該連結控制信號控制上述多個第二選擇器、第三選擇器、第四選擇器、以及第五選擇器耦接上述多個路由器，上述被耦接的多個路由器本身皆未損壞，上述被耦接的多個路由器之間的連結通道也皆未損壞。
12. 如申請專利範圍第11項所述之多核心晶片網路，在每一上述叢集中，上述多個第二選擇器和上述多個第三選擇器根據該連結控制信號將該叢集的多個路由器串列耦接，上述多個路由器被串列耦接的前後順序符合上述多個路由器在該叢集中的前後順序，上述被串列耦接的多個路由器本身皆未損壞，上述被串列耦接的多個路由器之間的連結通道也皆未損壞。
13. 如申請專利範圍第11項所述之多核心晶片網路，在每一上述叢集中，若有損壞的路由器，則根據該連結控制信號，將從第一個損壞的路由器開始的每一個路由器的識別碼向後遞移。
14. 如申請專利範圍第11項所述之多核心晶片網路，其中上述多個第四選擇器或上述多個第五選擇器根據該連結控制信號將每一上述第i個叢集的多個路由器以一對一的方式耦接至一相鄰叢集中同樣數量的路由器，上述被耦接的多個路由器本身皆未損壞，上述被耦接的多個路由器之間的連結通道也皆未損壞。
15. 如申請專利範圍第14項所述之多核心晶片網路，其中若該第i個叢集的一第一路由器位於一第二路由器之前，該第一路由器耦接該相鄰叢集的一第三路由器，該第二路由器耦接該相鄰叢集的一第四路由器，則在該相鄰叢集中，該第三路由器位於該第四路由器之前。
16. 如申請專利範圍第10項所述之多核心晶片網路，其中每一上述第二選擇器、第三選擇器、第四選擇器、以及第五選擇器獨立於對應的路由器之外或併入對應的路由器之中。