TW409227B

TW409227B - Method and apparatus for selecting thread switch events in a multithreaded processor

Info

Publication number: TW409227B
Application number: TW087117133A
Authority: TW
Inventors: John Michael Borkenhagen; Richard James Eickemeyer; William Thomas Flynn; Andrew Henry Wottreng
Original assignee: Ibm
Priority date: 1997-10-23
Filing date: 1998-10-15
Publication date: 2000-10-21
Also published as: EP1029269A1; WO1999021081A1; PL340095A1; CN1112636C; PL193285B1; KR100403658B1; IL134823A0; JP4006180B2; HUP0100013A3; EP1029269B1; CN1276888A; IL134823A; US6697935B1; HUP0100013A2; JP2001521215A; KR20010031167A; CA2299348C; CA2299348A1

Description

409227 _案號87inm_g?年g月少曰」修正不有斧._ 五、發明說明（41) 在此建議將不做生產性工作的線程設為低優先順序以避-免性能下降，即使間置迴路中的每一指令都會導致切換。」· 況且更重要的是若請求一外部中斷成為一線程設定為低優，先順序’則允許硬體改變線程優先順序。在此情況下提高線程為中等優先順序，以允許更快的回應中斷。此允許一外部事件上的線程等待設定其本身在低優先順序，它會雉持在此直到通知有事件了。雖然已用目前視為最實際且較佳的實施例來說明本發明’該了解的是本發明並不僅限於上述賁施例’反之，意欲在不偏離附屬申請專利範圍之精神與範圍下’涵蓋各種：修正及同等配置。 Ο 元件符號說明 10 電腦資料處理系統 100 中央處理器 (CPU) 110 處理器核心 120, 130, 15 0 快取記憶體 nsu 140 主記憶體 152 匯流排介面 155 糸統匯流排 16 0- 168 輸入輸出處理器（IOP) 170 直接存取儲存裝置 (DASD) 172 磁帶機 174 遠地通訊線 176 工作站 178 印表機

O:\55\55420.ptc 第45頁 2000. 08. 04.045 409227 五、發明說明（υ 前案說明本發明有關於以下美國專利申請案，其發明主題在此併供參考.（1)美國專利申請案名稱「Thread Switch

Control in a Multithreaded Processor System 」， RO996-042 ’其與本案同時申請；（2)美國專利申請案名稱 rAn Apparatus and Method to Guarantee Forward Progress in a Multi threaded Processor j > R0997-105，其與本案同時申請；（3)美國專利申請案名稱 Altering Thread Priorities in a Multithreaded Processor」，R0 997-106，其與本案同時申請：（4)美國專利申請案名稱「Method and Apparatus to Force a Thread Switch in a Multithreaded Processor j ， R0997-107，其與本案同時申請；（5)美國專利申請案號 773,572，申請日 1996/12/27，名稱「Background

Completion of Instruction and Associated Fetch Request in a Multithreaded Processor」；（6)美國專利申請案號761,378，申請日1 9 9 6/ 1 2 /0 9，名稱「Multi-Entry Fully Associative Transition Cache 」；（7)美國專利申請案號761，3 8 0，申請日1 9 9 6/ 1 2 / 0 9，名稱「Method and Apparatus for Prioritizing and Routing Commands from a Command Source to a Command Sink」；（8)美國專利申請案號761，379，申請曰 1996/12/09 ，名稱「Method and Apparatus for Tracking Processing of a Command」；（9)美國專利申

E:\aaa\55420. ptd 第6頁

_i%9 ^17133 g?年义月r日修A 五'發明說明（42) ( 200 儲存控制單元 - 2 0 5 匯流排 2 1 〇轉換快取記憶體 2 2 0 指令單元 2 5 0 轉換查詢缓衝器（TLB) 2 6 0 分岔單元 2 7 0 固定點單元 272 —般目的暫存器（GPR) 2 74 許多特殊目的暫存器（SPR) 2 8 0 浮點單元 2 8 2 浮點暫存器（FPR) 2 9 0 外部中斷 320 L1目標 330 L2目標 3 5 0 排序器 3 6 0 多工器 3 7 0 第二多工器 4 0 0 線程切換邏輯 4 1 0 線程切換控制暫存器 420 向前進行計數暫存器 4 3 0 線程切換暫停暫存器 4 4 0 線程狀態暫存器 44 2 TO狀態暫存器 444 T1狀態暫存器 4 5 0 線程切換控制器

O:\55\55420.ptc 第45a頁 2000. 08. 04. 046 40922*；五、發明說明（2) 諳案號473, 6 9 2，申請日 1995/ 0 6 / 0 7，名稱「Method and System for Enhanced Multithread Operation in a Data Processing System by Reducing Memory Access

Latency Delays」；以及（10)美國專利申請案號675,315 ’申请日1996/07/03 ’ 名稱「Multithreaded Storage

Cell 」。發明背景

案数賴戊3 g彳年·?月曰五、發明說明（43) 4 6 0 軟體 470, 472, 474, 476, 478, 480, 482, 484, 486 線

I im ίϊΐκϊ

I O:\55\55420.ptc 第45b頁 2000.08. 04.047 五、發明說明（3) 0 電腦系統整體速度的一種測量（也稱為處理量），是剛旦每單位時間執行的運算數目。概念上，系統速度的所有f 能改良的最簡單者是增加各元件的時脈·速度，尤其是處理器的時脈速度。所以若每一元件以二倍快的速度執行而它者以完全相同的方式執行’則系統會以—半時間來執行上已知工作。電腦處理器是從不同元件建構，多年前由於寸的減少及元件數目的減少而使執行速度大幅增加；最將整個處理器封裝在單晶片上的積體電路。該減縮尺j 得增加處理器時脈速度變的可能，並因此增加系統遠声吏儘管積體電路使得速度得到大幅改善，但是仍存在又電腦系統的需求。硬體設計者已能藉由更大的整合^ 步減少電路大小’及其他技術而得到速度的進一步 — 然而設^者認為實體尺寸的減少不能無止盡的持續下^。而且持_增加處理器時脈速度會受到限制。因此重心至它種方式以造一步改善電腦系統的整體〜已轉 /不改變時脈速度下’使用多個處理器能改p 逆度。在積體電路晶片上封裝的各處理器的最一不、.先本即可作到。#由將CPU的負載分給從屬處理器即又可的成屬處理器的使用而大幅改善系統速了甴從定時執行重覆性及單—特殊目的之程式，上處理器會置的通訊及控制。也可能將多個CPU置於單一電^出敦，一般是大型主機式系統其可同時服務多重使用V統中 CM中的每一者能替〜不同使用者分開執行上用者。不同，因此增加系統的總連度以同時執行多個工作。二作热而更難

E:\aaa\55420.ptd 第8頁五、發明說明（4) 的是改善單一工作的逮度，如應用程式的執行。在許多 CPU中協調各功能結果的執行及傳送是一件難處理的事。對於從屬I /0處理器而言它並非如此困難，因為功能是預設的而且限制為供多個執行~般目的應用程式的(:];)11使用，更難的是協調功能，部分是因為系統設計者無法預先已知為程式的詳細内容。多數應用程式遵守處理器執行的單 —路徑或流程步驟。雖然有時可能將此單—路徑分成多個平行路徑，但是可以如此作的通用程式仍在研究中。通常將過長的工作分成較小的工作以便由多個處理器平行處理 ’是由軟體工程師以將其當成個別案件的方式撰寫碼而完成的。這種特別方式對於執行商業上的交易而言會產生— =特別問題，因為商業上的交易不一定是重覆或4可預測但仍有許多改的，籍由增加增加CPU的速處理器的共同為設置少數簡的簡單運算。開發出處理器。另一種方法正CPU中的硬同用以顯示高憶體記憶體是因此雖然多重處理器可改善總系統性能，善各CPU速度的理由。gCPU時脈速度是已知每時脈周期執行的平均運算數目，即可能再度即每秒執行的運算數目。高性能單晶片微架構是精減指令集電腦（RISC)架構，其特徵化的常用指令集供快速執行上述可快速執行隨者半導體技術的進步，R丨sc架構的目標是其在各機為'時脈周期上能執行一或多個指令是增加每時脈周期執行的平均運算數目以修體。此處理量測量（即每指令的時脈周期）二性能處理器的架構特徵。指令管線及快取記

E:\aaa\55420.ptd

409227 五、發明説明（5) 使得這種目標得以完成的電許後續指令在先前發出的指闬的快取記憶體及接近處理數情況於不等待主記憶體的關於用預測硬體以多個執行已顯示出一些改善。習知RISC處理器的性能可 (VLIW)電腦中進一步增加，平行的執行一個以上的指令或執行單元來平行執行多個可以循序或隨意完成。循序令已完成之前，沒有指令能出的所有指令已完成之前即定的規則。至於在超純量系統中的循，管線仍會中止。一指令，的結果而定，會使得管線中指令其中必要的資料不在快誤，則不能執行直到資料可必要的資料在快取記憶體中高命中比，即請求資料的數中的次數之比，這對於需要重要。一快取記憶體失誤能若多數時間不能使用資料， $架構特徵。管線指令執行允二已完成之前即開始執行。常 @的其他資料可允許指令在多，個存取時間之下持續執行。單&來找出平行執行的指令，以在·超純量電腦及極長指令字二種電腦皆可在每處理器周期三在這些架構，設置多個功能管線a在超純量架構中，指令完成表示在先前送出的所有指 i成。隨意完成表示在先前送允許完成一指令，只要滿足預序及隨意執行，在一些環境中其依先前派出的指令尚未完成止。例如依載入/儲存指令的取記憶體令，即快取記憶體失以在快取記憶體中使用。維持是持續執行所必須的，以保有目與資料已存在於快取記憶體大量資料結構的計算而言特別導致管線中止數個周期，而且則記憶體的總等待時間會更嚴

E:\aaa\55420. ptd 第10頁五、發明說明（6) 重。雖然主記憶體用的記憶體裝置已愈來愈快’但是這此記憶體晶片與高端處理器之間的速度差異變的更大。因^ 目前高端處理器設計中有大量的執行¥間花在等待快取記憶體失誤的結果，而這些記憶體存取延遲使用處理器執行時間的比例愈來愈大。

改善CPU中硬體效率的另一種方法是將一處理工作分成數個稱為線程的獨立執行指令序列。此方法與一大型工作分成數個小工作有關，用以由不同的處理器獨立的執行，除了本文所述的線程是由同一處理器執行之外。當—CPU 因為任何一種理由不能持續處理或執行這些線程之_時， CPU即切換到另一線程並執行它。這是本文所述的本發明主題，其設置有硬體多線以容許記憶體等待時間。電腦架構t定義的名詞多線與軟體使用的該名詞並不相同，^ 3 表示將一工作分成許多相關的線程。在架‘構定義中，久程是獨立的。因此硬體多線常用以區分該名詞的這二ϋ 用方式。本發明用名詞多線表示硬體多線。 D 當偵測出目前線程中有官線中止的情況時，多處理器的管線在不同線程上作有用的工作。當 1 線，令有管線中止的情況時，多線也允許處理器實線架構以便在另一線程上作有用官形式。習用形式是在處理器中唯拉一種基本多綠以-周期接著一周期的方式將二程或狀態，並^ 中的指令是分開的，所以所有的其二乂錯。因為早一線程種多線形式（即本發明所考慮者：,依附都不必I。另- 疋在某一長等待時間事件

E:\aaa\55420.ptd 4Q9227 五、發明說明（7) 上將各線程交錯。趣Ϊ用1夕線形式需要複製各線程的處理器暫存器，例如 i二夕Γ構的處理器，其以p〇werpcT"為商品名稱來鎖售以以^ ί二讲處理器必須維持n個狀態以執行n個線程。因此要;存器，浮點暫存器， j:。’，夕暫存器：儲存/再儲存暫存器，及特殊目的鏈暫暫者2 ,特殊緩衝器如區段查詢緩衝器，可以複擎< 者各貢料可以用線程號碼作標記，而且若#，列必= ;，^時執行…一些分岔預測機制如相關j; :二返：堆4也應該複製=幸⑽，不必複製處ίί 丄V 能如：層一指令快取記憶體(u 1快取記恒。 r層一資料快取記憶體(l"快取記憶體），指令緩； :’儲存排序器，指令發送器，功能或執行單：，轉，查詢缓，及分念記錄表。t—線程遇到^ 遲日守’處理益會快速的組到另'線程，此線程的執一線程上的記憶體延遲重疊。 /、乐現存的多線方法敘述一快取記憶體失誤上或—記憶考上的線程切換。此方法的主要例子可參考"Sparcle · “ Evolutionary Design f〇r Large-Scale

Multiprocessors," by Agarwal et al., IEEE Micro V〇lume 13, No, 3, PP. 48_0〇， June 1993 。如risc 中所應㈣’多個暫存器集一般用以支援功能呼叫，是：正過以維持多個線程。修正δ個重疊暫存器窗‘

E：\aaa\55420. ptd 第12頁五、發明說明（8) 重疊的暫存器集’其中各暫存器集保留作為擷取及訊息處理。此系統揭示—線程切換其發生在各個第一層快取記憶體失誤上以‘致—遠地記憶體請求。雖然此系统表示—種技術上^，步’但是現代處理器設計時常利用多層快取記 2 =或§己憶體，其與處理器連接。處理器系統利用某 έ知演τ法以決定其主記憶體儲存區的那一部分會載入快取記憶體的各層中，因此每當一記憶體參考發生時（其不在快取記憶體的第—厣、，牽τ取。„ ，、 ^ ^s ΐ弟層）處理.盗必須嘗試從快取記憶體的第二或更高層得到該記憶體參考β J此明顯的，需要一種改良式資料處理系統，盆取記憶體系統中的記憶體等待時間而導致的延遲，心統配合多線資料處理系統而使用。V致發明概述本發明之目的是提供一種改良闬於命押哭麻麻士〜此八貧料處理系統及方法， :於處理益硬體中貫施的多線處理：j 達成此目@，該處理器能在2個指^由少線處理益可及實施在硬體暫存器中具額外軟 Λ程之間切換執行，克服線程切換情況。線程切換邏輯=程切換邏輯，其可程的處理允許處理器在各線程令附加優點是各指令線本發明的另一目#是藉由允 ^用$到最佳。而改善多線電腦處理，藉'^益執行第二指令線程置’因為其從各記憶體元件;理器利用，否則其會間 1/0，第一線程之直接存取儲存裝晋51憶體，記憶體，外部或指令。等彳頡取必要的資料與/

409227 五、發明說明（9) 本發明的額外目的，其執行條件線程切換奴=I種多線資料處理系統及方法程而不同，或者可以、，/'中線程切換之條件可以根據線理員而改變。處理期間藉由使用軟體線程控制管本發明的另一目的3 ^ 以實施事件，其能使二，供—種硬體暫存器’其包含位元级為此硬體暫存器中夕線處理益線程切換。本發明之特元，都可以啟始。此碌二，程切換控制暫存器中的位進一步優點》因為Α ^子55也具有改善處理器性能的這些及其他相換控制快許多= 系統而達成，卷多錄^由^供具一多線處理器之電腦之一時，能&至少兩=:，到$多處$里器等待時間事件也具有至少一線程& 程之間切換處理。電腦系統儲存諸指令線；；2!存；，操作時接至多線處… 器切換處理至各線程時；改變:狀態在處理多線處理器，少諸線程狀態暫存器及接至對應之翠多啟於位換控制事件’其藉由設定統更包含眾多内線程切換控制事件。電腦系等存元件之任-者會導致-處理器 :部記憶體裝置，-通訊裝置，-二路，二：2 :备出裝置’其中多線處理器存取諸裝置之任-者或，料也會導致幕多處理器等待時間事件。當多線處理

E:\aaa\55420.ptd

第U頁 409227 五、發明說明CIO) 中執f之諸線私之一因為諸處理器等待時間事件之一 :行Ϊ，及當該處理器等待時間事件係-線程線工；之另一广係啟始時，多線處理器即切換孰行線程切換控制暫存器具有眾多位元，各與眾多線程切換控制事件之一獨特地結合，而且若啟始諸位元之―，與該位70結合之線程切換控制事件使得諸多線處理器從一指令線程切換至另一指令線程。線程切換控制暫的…卜，藉由操作軟體或者藉由一線程態地改變一特別位元的啟始。電腦處理系統具有一個以上的線程切換控制暫存器，其中一線程切換控制暫存器之諸位元值與另一該線程ς換控制暫存器之諸位元值不同。通常可以有許多線私切換控制事件，例如一資料失4吳，其來自以下至少之一：一L1資料快取記憶體，一L2資料快取記憶體，資料儲存其跨越雙字邊界，或是一指令失誤，其來自以下至少之一：一L1指令快取記憶體，一轉換查詢缓衝器，或一資料之與/或來自主記憶體的指令失誤，或資料地址轉換中之錯誤與/或一指令。存取處理器以外之 I / 0裝置，或另一處理态也可以是線程切換控制事件。其他線程切換控制事件包含一向前進行計數，即眾多線程之 έ亥一在不執行眾多線私之一之指令下已從一多線疼理器切換出去之次數，及一暫停時段，其中至少一處理器沒有作有用的工作。

E:\aaa\55420.ptd 第15頁 409^7 五、發明說明¢11) 本發明的程；裝置，一處理器等切換控制事是否係眾多 ’若處理器使處理裝置本發明也 ’包含以下一多線處理數個處理器程至第二指第二數目，元以指派處著若該啟始線處理器遇切換。本發明的遙在一線程在一線程切出一信號到電腦處理用以指示待時間事件；以及線程切換等待時間能切換處是—種判步驟：計器因處理周期之數 7線程之則在線程理器等待位元啟始到線程切電腦處理狀態暫存換控制暫線程狀態系統包含裝處理裝置何件而停止；裝置，用以控制事件之事件係一線理至另一線定一線程切算第一數個器等待時間目，其係多處理所必須切換控制暫時間事件為 ’該方法包換控制事件置，用時因為裝置，判定處一。處程切換程。換控制處理器事件而線處理者，接存器中 —線程以處理眾多指令線眾多線程之一遇到用以暫存眾多線程理器等待時間事件理系统也包含裝置控制事件t則甩以暫存器内容之方法周期之數目，其中停止，及計算第二益切換第一指令線著若第一數目大於藉由設定一啟始位切換控制事件。接始位元啟始，當多含若啟時’即輸出一信號至線程哭=也包含以下步驟：儲存一線程狀 :及儲存眾多線程切換控制事件暫ί哭:ί著當線程改變狀態時，輸。若:燃比較線程之改變狀態與眾多線程切換控制事件制事件，則輪出一信行0 號到=ί f嘘導因# 一線程切換控迷到-多線處理器以便從線程切換執

E:\aaa\55420. ptd 第]6頁 409227 五、發明說明（〗2) 由以下較佳貫施例的詳細說明並發明的其他目標、功能及特徵；方法，操：明了本關元件的功能；元件的A . ’、、居構的相本說明書的一部分’字其皆形成應元件。』的參考數子表不各圖中的對附圖之簡單說明然而本發明本身以及較佳模式與優點，將可參考—繪总，其進—步目標圖而明了，其中：、、會不芦'細例的以下誶細說明並配合.附圖1的電腦系統方掄岡处丧a 士 F! 9 S讲姑士 s塊圖月匕F'鈿本文所述的本發明。圖疋根據本發明的多線資圖3是圖2儲存控制單元的方塊圖;掩圖。及ΓΛ方元塊圖可說明圖2的線程切換邏輯，儲存控輪圖5說明一線程的狀態變化.，其中線程遇到如不同線程切換事件。口 4所不的圖6是本發明向前進行計數的流程圖。較佳實施例之詳細說明現在參考附圖尤其是參考圖1，其中顯示電腦資料處理糸統1 0的咼階方塊圖，其可用以實施本發明的方法及系統。圖1顯示能利用本發明的電腦資料處理系統1 〇的主要硬體元件及連線。用以處理指令的中央處理器（CPU) 2 〇〇接至快取記憶體1 2 0，1 3 0，1 5 0。指令快取記憶體1 5 0儲存 CPU 1 0 0執行的指令。資料快取記憶體丨2 〇，1 3 〇儲存Cpu

E:\aaa\55420.ptd 第17頁五、發明說明，（丨3) ~~~---- 1 0 0使用的資料。快取記憶體與主記憶體M 記憶體連接。。職◦及主記憶綱也經由取 155的匯流#介面152而連接。各輸入/輪出處理器（I⑽） 160至168接至系統匯流排155並支援與各儲存及輸入/ (I/O)裴置連接，該等裝置如直接存取儲存裝置（dasd) 170 ’磁帶機172，遠地通訊線174 ’工作站176，及印表機 1 7 8等。該了解的是圖1僅用以形成一電腦資料處理系統u 的高階代表性元件’因此這些元件的數目及類型是以改變。在CPU 100中，處理器核心110包含諸特殊功能單元，各執行一些基本運算，如循序指令，執行有關整數的運算，執行有關實數的運算，在可定址儲存與邏輯暫存器陣列之間傳輸值。圖2說明一處理器核心10 0。在—較佳實施例中 ’資料處理系統1 〇是單一積體電路，管線，超純量微處理器’其可用任何電腦架構來實施’該等架構如以商品名稱為P0werPcTM銷售的RISC處理器，及IBM銷售的powerpcTM 6 0 4微處理器。如以下所逑，資料處理系統〗〇最好包括各種單元。暫存器’缓衝器，記憶體，及其他最好是都由積體電路製成的構件。該了解的是在附圖中，已將各資料路徑簡化，事實上有許多不同且平行的資料路徑進出各元件。此外，已將與本發明無關的各元件的說明省略，但是要了解的是處理器包含額外功能用的額外單元。資料處理系統1 0能根據減化指令集計算R〖sc方法及其他計算方法來操作。

E:\aaa\55420.ptd 第18頁 409227

如圖2所示，資料處理系統1 〇的處理器核心最好包括層一資料快取記憶體LI D快取記憶體120 ,層二L2快取記憶體1 3 G，主記憶體1 4 0 ’及層一指令快取記憶體L1 I快取記憶體1 5 0 ’其皆可利用各匯流排連線於操作時與儲存控制單元200連接。如圖1所示，儲存控制單元2〇〇包含：轉換快取記憶體2 1 〇以連接L1 D快取記憶體1 2〇及L2快取記憶體 1 3 0 ’主s己憶體14 〇 ’及許多執行單元。l 1 D快取記憶體 120及LI I快取記憶體丨50最好設置在晶片上作為處理器 100的一部分，而主記憶體14〇及L2快取記憶體130則設置在晶片外。記憶體系統1 4 0意欲表示隨機存取主記憶體可设置（或不設置）在處理器核心1 〇〇之中，而其他資料缓衝器及快取記憶體（若有）則在處理器核心1 〇〇的外部，而其他外部記憶體如D A S D 1 了 Q ’磁帶機1 了 2，及工作站1 7 6則在圖1中顯示。L2快取記憶體130最好是高於主記憶體14[}的高速記憶體系統，而且藉由儲存L2快取記憶體130中的的選定資料，即可將參考主記憶體丨4 〇所導致的記憶體等待時間減至極小。如圖1所示，L2快取記憶體130及主記憶體 140是經由儲存控制單元2〇〇而直接與L1 !快取記憶體15Q 及指令單元220連接。 .“ 來自LI I快取記憶體丨5〇的指令最好輸出到指令單元 2 2 0，其根據本發明的方法及系統，用各子處理器單元來控制夕線的執行，έ玄等單元如分岔單元2 6 〇 ,固定點單元 2 7 0，儲存控制單元2〇〇，及浮點單元28〇與資料處理系統 1 0的架構指定的其他元件。除了如圖i中所示的各執行單

E:\aaa\55420.ptd 笫19頁 409227 ---—丨一五、發明說明（⑸ 二卜丄J於此技術者可了解的是現代的超砘量好理μ 各個這種執行單元的許多樣式以以有來自各暫存器的輸入源；=資：些多數會具可使暫存器FPRS 282 °此外，也制單元272及轉換快取記在圖2令’儲存控目的到274。瞀存益272接至特殊輯4?Λ處::·1 〇 °所特有的功能硬體單元是線程切換邏 J40 0及轉換快取記憶體21◦。線程切換邏輯4⑽包暫存器以決定那一線程會動作或是執輯40。於操作，存控制單侧，執行；元丄=邏 2 8 0 ’及指令早兀22〇連接。儲存控制單中的轉取記憶體2!0必須能實施多線。較佳的，儲存控制單元· 及轉換快取記憶體210允許每一線程至少有—明顯的資料猜求。因此當第一線程暫停以回應如發D快取記憶體失誤時，第二線程即能存取目前存在其中的資料的^ 〇快取记憶體1 2 0。若第一線程也產生l 1 d快取記憶體，則發出另一貿料明求因此多個資料請求必須包含在控制單元 2 0 0及轉換快取記憶體2 1 Q。較佳的，轉換快取記憶體2丄〇是美國專利申请案號08/761，378，申請曰1996年12月9曰 ’名稱"Multi-Entry Fully Associative Transition C a c h e11所述的那一種轉換快取記憶體，該申請案在此供參

E:\aaa\55420, ptd 第20頁 4Q9227 五 '發明說明（16) 考。控制單元200 ’執行單元260，270，280及指令單元 22 0於操作時都接至線程切換邏輯4〇〇以決定要執行那一線程。如圖2所示，匯流排2 〇 5設置在控制單元2 〇〇及指令單元 2 2 0之間以連接如資料請求至控制單元2 〇〇，及連接L 2快取 s己憶體1 3 Q失誤至指令單元2 2 〇。此外，設置轉換查詢緩衝器TLB 250其包含虛擬轉成實際地址的對映表。雖然本發明中沒有顯示’但是可設置各種額外的高階記憶體對映緩衝器’如操作方式與轉換查詢缓衝器TLB 2 5 〇類似的區段查詢缓衝器。圖3是儲存控制單元2 〇〇的詳細說明，如該名稱所表示的 ’此f元控制來自各儲存單元的資料及指令的輸入與輸出 ’該等單元包括各快取記憶體，缓衝器及主記憶體。如圖 3所不’儲存控制單元2 〇〇包括轉換快取記憶體2丨〇其功能為連接L1 D快取記憶體120，多工器360，L2快取記憶體 130 ’及主記憶體140。此外，轉換快取記憶體210接收來自f序器3 5 0的控制信號。排序器3 5 0包括許多排序器，最好是二個以處理指令與/或資料擷取請求。排序器3 5 0也輸出控制信號到轉換快取記憶體21〇，L2快取記憶體13〇，以及與主記憶體1 4 0互相傳送控制信號。圖3儲存控制單元20 0中的多工器360接收來自LI D快取記憶體丨2〇 ’轉換快取記憶體210，L2快取記憶體130，主記憶，140的資料，以及若資料要存入記憶體，則也接收執行單元270，28〇的資料。多工器360從這些來源之一選

E:\aaa\55420.ptd

40922? 五、發明說明

出資料，並輸出到Ll D快取記憶體12〇或執行單元以回應接收自排序器3 5 0的選擇控制信號。此外如圖3所示，排序器350輸出一選擇信號以控制第二多工器37〇。根據排序器 3 50的選擇信號，多工器37〇即從L2快取記憶體13〇或主記憶體14 0輸出資料到Ll I快取記憶體丨5〇或指令單元22〇。產生上述控制及選擇信號時，排序器3 5 〇存取並更新L丨D 快取圮憶體1 20的L1目標32〇及L2快取記憶體13〇的L2目標 330。關於本文所述處理器的多線功能，儲存控制單元2〇〇的排序益3 5 0也輸出信號到線程切換邏輯4〇〇，其指示資料及指令請求的狀態。所以由於快取記憶體丨2 〇，丨3 〇 , 1 5 ，主記憶體1 4 0的回饋，轉換查詢缓衝器2 5 〇即傳送到排序器 3 5 0 ’並接著送入線程切換邏輯$ q 〇而導致一線程切換，詳如以下所述。或者，任何裝置，其中設計成使得一事件在多線處理器中導致一線程切換的發生，都會於操作時接至排序器3 5 0。圖4疋線程切換邏輯硬體4 〇〇的邏輯表示及方塊圖，以決定一線程是否會切換，以及若如此，是那—線程會切換。儲存控制單元200及指令單元220與線程切換邏輯4〇〇連接。線程切換邏輯4 0 0最好安裝在線程切換邏輯4 〇〇中，但是若有許多線程則線程切換邏輯4 0 0會更複雜，所以邏輯是在指令單元2 2 0以外。為了便於解釋，將線程切換邏輯4 〇〇晝在指令單元2 20以外。在此實施例中會在線程中導致切換的一些事件，則從儲

409221 五 '發明說明（18) 存控制單元200的排序器350經由線470，472，474，476， 478 ’ 480 ’ 482，484，486而傳送到線程切換邏輯40 0。其他等待時間事件會導致線程切換；此表並不意欲包^ —切 :反之，它僅表示線程切換可以如何實施。第一線程T 〇或第一線程T1請求的指令，其都不在指令單元2 2 0中，即是一種能導致線程切換的事件，分別如圖4的470及472所示。線4 74指示何時主動的線程，不論是T0或T1，會發生L1 D快取記憶體120失誤。分別在線476，478中標記出線程T0 或T1的L2快取記憶體1 3 〇快取記憶體失誤。當資料返回以分別持續執行T0線程或T1線程時，即啟動線480及482。分另1J以線484及48 6來表示轉換查詢缓衝器失誤及表範圍的結束。這些事件都送入線程切換邏輯4〇 Q，尤其是送入狀態暫存器440及線程切換控制器4 5 0。線程切換邏輯40 0對於各線程都有一線程狀態暫存器。在本文所述的實施例中，顯示二個線程，即第一線程T0的T0狀態暫存器442及第二線程T1的T1狀態暫存器444，詳如以下所述。線程切換邏輯 4 0 0包含線程切換控制暫存器4丨〇，其控制那些事件會導致線程切換。例如線程切換控制暫存器4丨〇能阻止事件，而使得狀態從被線程切換控制器4 5 〇看到變成另一狀態，所以因為事件阻止而不能切換線程。線程狀態暫存器及改變線程的邏輯是本專利申請案的主題，並在此供參考!51〇996一 042。用向前進行計數暫存器42〇來防止透過量，並且可包含在線程切換控制暫存器4丨〇中。向前進行計數暫存器4 2 〇

E:\aaa\55420. ptd 第23頁 409227 五、發明說明（19) 是本專利申請案的主題，並在此供參考R0997-105。線程切換暫停暫存器430，其係本專利申請案的主題並在此= 參考R 0 9 9 7 - 1 0 7 ’則處理公平性及活鎖等議題。此外，使用軟體4 6 0可改變線程的優先順序，其係本專利申請案的主題並在此供參考RO99 7- 1 0 6。最後’但並非僅限於此’ 線程切換控制器4 5 0包含許多邏輯閘，其表示所有邏輯的累加’其實際上決定是否切換一線程，那一線程，以及在什麼情況下。以下所現詳細說明這些邏輯元件及其功能的每一者。線程狀態暫存器線程狀通暫存器4 4 0包含各線程的狀態暫存器，如其名稱所表明的，可儲存對應線程的狀態；在此情況下是τ 〇線程狀癌暫存器442及Τ1線程狀態暫存器444。至於一特殊架構及線程切換優先順序設計，則可規定位元數目及特殊位元的配以便5兒明各線程的狀態。對於具有二個線程的多線處理益’線程狀態暫存器442，444中位元配置的例子如下表所述。 0) '線程狀態暫存器位元配置指令/資料 (1:2) 〇 =指令 1 =資料失誤型排序器〇〇 =無 ° 01 =轉換查詢緩衝器失誤（Ι/D的檢查位元

E:\aaa\55420. ptd 409227 五、發明說明（20) 是0) I 0 = L1快取記憶體失誤 II = L2快取記憶體失誤 (3 ) 轉換 0 = 轉換到目前狀態不會導致線程切換 1 =轉換到目前狀態會導致線程切換 (4:7) 保留 (8) 0 = 載入 1 =儲存 (9:14) 保留 (15:17) 向前進行計數器 III = 重設（此線程期間已完成指令）〇〇〇 = 無指令完成下此線程的第一次執行 0 0 1 =無指令完成下此線程的第二次執行 0 1 0 = 無指令完成下此線程的第三次執行 011 = 無指令完成下1此線程的第四次執行 1 0 0 = 無指令完成下此線程的第五次執行 (18:19) 優先順序（可由軟體設定） 00 =中等 01 = 低 10= rSj 11 =〈非法〉 (20:31)保留 ( 3 2:6 3 ) 保留給64位元實施

E:\aaa\55420. ptd 第25頁 409221 五'發明說明（21) 在本實施例中，位元〇表示失誤或處理器t止執行的理由是否為請求指令或資料的結果。位元1，2表示是否可使用請求的資訊，而且若可使用，是從那一硬體，即資料或指令的轉換地址是否不在轉換查詢缓衝器250中，或者實料或指令本身不在L1 D快取記憶體1 2 0或L 2快取記憶體1 3 〇中，詳如圖5的說明所述。位元3表示線程狀態的改變是否會導致線程切換。在不導致線程切換之下，線程可改變狀態。例如當線程T1遇到L1快取記憶體失誤時，若發生線程切換，接著若線程T1遇到L 2快取記憶體失誤，則不會有線程切換因為線程已在L1快取記憶體失誤上切換了。然而T1 的狀態仍會改變。或者:¾可以選擇，可將線程切換邏輯 4 0 0配置或規劃成不在L1快取記憶體失誤上切換，接著當線程沒遇到U快取記憶體失誤時，即使線程改變狀態仍不會有線程切換。線程狀態暫存器44 2，444的位元8表示一特殊線程請求的資訊是否載入處理器核心，或從處理器核心存入快取記億體或主記憶體。配置位元15到1?以防止透過量，這稍後會參考向前進行計數暫存器42〇來說明。可以在硬體中設定位元18，19或者由軟體設定以指示線程的優先順序。严顯示資料處理系統10處理的目前線程實施例的4個狀以及線程狀態暫存器440中儲存的這些狀態，位元位 -.2。狀怨00表不準備狀態，即線稜準備處理，因為所有所需的資料及指令都可使用；g大態)〇表示線程狀態，其

E:\aaa\55420. ptd 第26頁 409227

五、發明說明（22) 中處理器中線程的執行已 D快取記憶體120之中，或等待線程等待資料返回到L1 ⑸；狀態Η表示線程等待寺資待料\々返回和I快取記憶體 ^ ^ ^ mm i- - ^ ^ ^貝枓返回到L2快取記憶體13〇之擬地詢缓衝器25°上有-失誤，即虛 = Ϊ 這稱為表範圍。圖5中也顯示線層次，以狀細，其指示線程準備執行，呈有最円優先順彳。最好指定較高優先順序給短的等待時間事件圖5也說明從各種來源擷取資料時狀態的變化。在符號中以狀,％ 00表不線程Τ0的正常未中斷執行。若發生以 D决取„ §己憶體或1快取記憶體失誤’則線程狀態變成狀態1 0 如符號512所示，這分別根據從儲存控制單元2〇◦傳送到線 4 7 4 (圖4)的乜號或根據從指令單元2 2 〇傳送到線4 7 〇 (圖4 ) 的k唬。若所需的資料或指令在L 2快取記憶體丨3 〇中而且，取了，則在符號51 0恢復T0的正常執行。類似的，圖5的付號5 1 4表示一 L 2快取記憶體失誤，當儲存控制單元2 〇〇指示線4 76或478(圖4)上有失誤時，即從狀態τ〇或了丨的線程狀態變成狀態11。從主記憶體140擷取L2快取記憶體的指令或資料並載入處理器核心1〇〇如線480或482(圖〇所示時 ’狀態即再度在符號51 0變回狀態〇〇 ^當請求資訊的虛擬地址在轉換查詢缓衝器2 5 0中找不到時，儲存控制單元2 〇〇即與線484(圖4)上的線程暫存器440連線，如符號516所示，即TLB失誤或狀態0 1。當不能使用地址或者若有資料儲存中斷指令，如儲存控制單元2 0 0在線48 6上（圖4)所示，

E:\aaa\55420.ptd 第27頁 409227 五、發明說明¢23) 則線程狀態返回狀態0 〇以表示準備執行電腦設計者可自由選擇狀態數目，及各狀態表示的意義。例如若線程具有多個L 1快取記憶體失誤，如u :快g記 =體及LI D快取記憶體失誤，則可以用不同狀態表示各種記憶體失誤。或者，以單一線程狀態表示一個以上的事件或發生的事。現在說明2個相同優先順序有線程的線程切換演算法例 ^ ’其判定是否給予線程切換。該演算法可根據本發明的教不對於更多個線程及線程切換情況而擴大並修正。儲存在線程狀態暫存器440 (圖4)令的各線程狀態與各線程優先順序之間由線程切換演算法執行的互動是在各周期中動離查詢的。若動作中的線程T0具有—u失誤，則演管法备： :程切換到未使用的線㈣，除非未使用的線程”等“2 失块的決$。若未發生切換’而動作中的線㈣㈣快取 ==成'2快取記憶體失誤，則不論η、的狀態演心ΪΓ刀換到未使用線程T1 °若二個線程都誤的決定，則具有已解如失誤的先成為動作中的線程。每—切換決定時間，多數採=動作都是最佳的，以產生最佳性能。或取失誤所導致的線程切換是依其他線程的狀心而疋，右次有額外的線程切換發線程切換控制暫存器 ⑷「王此θ卜降在任何多線處理器中，有一此盘的1 間及性能障礙。在本文所述的較；，切換相關的等待時又mι铋乜貧施例的多線處理器中

E:\aaa\55420. ptd

409227 五、發明說明（24) ’此等待時間包括：完成目前線程至一點所需的時間，其中它可以中斷以及當再度請求時可以正確的重新開始，將線程特定硬體設施從目前線程的狀態切換到新線程的狀態所需的時間，以及重新開始新線程及開始其執行所需的時間。本發明最好能操作線程特定硬體設施，包括上述的線程狀態暫存器及記憶格如美國專利申請案號6 7 5，3丨5，申請日1996/07/03 ’ 名稱"Multithreaded Storage Cell"所述者，其在此供參考。為了在不精密的多線資料處理系統中達成最佳性能，產生線程切換的一事件的等待時間必須大於多線模式中線程切換相關的性能成本，這和一般單一線程模式相反。用以產生線程切換的一事件的等待時間是依硬體及軟體而定。例如在多線處理器令特定硬體考量包括用以實施處理晶片外的L2快取記憶體的外部SRAM速度。L2快取記憶肢中的快速S R A Μ可減少L1失誤的平均等待時間，然而慢速 SRAM會增加L1失誤的平均等待時間。因此，若是將一線程切換事件定義為硬體中的L1快取記憶體失誤，其具有大於線切換障礙的外部L 2快取記憶體資料存取等待時間，則會提问性此。特定軟體碼特徵如何影響線程切換事件的例子如下，其考慮碼的L2快取記憶體命中與失誤比，即u快取記憶體中實際可用資料的次數與必須從主記憶體中擷取貝料的次數（因為貢料不在L 2快取記憶體中）之比。高的L 2 叩中與失决比會產生較長的等待時間L2失誤。低的L2命中與失决比會增加L1失誤的平均等待時間’因為更多的u失

E:\aaa\55420. ptd 第29頁五 '發明說明（25) 誤會導致較長的等待時間L2失誤。 L2命中與失誤比，則可以將_ : C有高的換事件而阻止，因為L2快取記憶體： = 線程切則可以將u快取記憶體 =記憶體失誤可能會轉成較長的等取: *:些J Ϊ 1寺間事件種類不是可以偵測的，例如在-此么 ◊然而其爾取記憶體不輪出這種信號决 L2，取s己憶體控制器於在與處理器不同的晶片上，因理器不能決定狀態變化。在這些架構 ^ 顯著U快取記憶體失誤的周期計數器…預設二= ，若失誤資料尚未從。快取記憶體返回，則處理; ’仿佛有-飢2快取記憶體失誤，並因此改變線 = 。此演算法也適用於其他情況如超過一種以上等待 = 情況。僅在此作為例子，在多處理器之中的u快取記二姊失誤，主記憶體的資料等待時間與另—處理器的資料=ς 時間明顯不同。因二個事件在線程狀態暫存器令可表= 同的狀恶’若不存在區域分這些狀態的信號，則可使數器來估計它遇到L2快取記憶體失誤後線程會在那—狀镇線程切換控制暫存器410是一軟體可程式暫存器，其選擇事件以產生線程切換並具有不同的開始仇元供各定、義^的 409227 五1發明說明（26) 線程切換控制事件用。雖然本文所述的實施例不實施各線私的不同線程切換控制暫存器4丨〇 ’但是可實施各線程的不同線程切換控制暫存器4 1 〇以提供更大的彈性與性能， :而更多的硬體成本及複雜性。此外一線程切換控制暫存器中的線程切換控制事件不必與任何其他線程切換控制暫存器中的線程切換控制事件相同。

服矛Λ處理器可以用軟體來寫入線程切換控制暫存器4 1 Q ，如美國專利 5,07 9,72 5 號，名稱"Chip IdentificaHon Method for Use with Scan Design Systems and Scan Testing Techniques"所述的動態掃描通訊介面軟體，或者由具有軟體系統碼的處理器本身來寫入。線程切換栌制器45 0使用線程切換控制暫存器41〇的内容來開始或中:線程切換的產生。暫存器410中的值"厂使得該位元所屬的線程切換控制事件產生一線程切換。線程切換控制暫存器 41 0中的值使得該位元所屬的線程切換控制事件不能程切換。當'然，執行線程中的指令可以使該特殊或，、他線耘的任何或所有線程切換情況都無效。下表顯程切換事件與暫存器4丨〇中其啟動位元間的結合。線程切換控制暫存器位元配置表 (〇 )於L1資料快取記憶體擷取失誤時切換 (1) 於資料快取記憶體儲存失誤時切換 (2) 於L1指令快取記憶體失誤時切換、

E:\aaa\55420. ptd 第31頁 409227 五、發明說明（27) - (3) 於指令TLB失誤時切換 (4 ) 於L2快取記憶體顧取失誤時切換 C5) 於L2快取記憶體儲存失誤時切換 C 6 )於L2指令快取記憶體失誤時切換 (7)於資料TLB/區段查詢緩衝器失誤時切換 ⑻於12快取記憶體失誤及未使用的線程非L2 快取記憶體失誤時切換 (9 ) ¥到達線私切換暫停值時切換 (10) 當L 2快取記憶體資料返回時切換 (11) 於10外部存取時切換 (12) 在雙重X儲存時切換：於二者之第一者上失誤木 (13) 在雙重X儲存時切換：於二者之第二者上失誤* (14) 於儲存多重/串時切換：在任何存取上失誤 (15) 於載入多重/串時切換·•在任何存取上失誤 (1 6) 保留、 (17) 在雙重X載入時切換：於二者之第一者上失誤木 (18) 在雙重X載入時切換：於二者之第二者上失誤木 (19) 若機器狀態暫存器（問題狀態）位元msr(pr) = 1 則在or 1，1，1指令時切換。允許軟體的優先順序在與msr(pr)無關之下改變。若位元丨9是 1則0 r 1，1，1才曰令設定低優先順序。若位元 19是0 ’唯有當or丨，I i指令執行時若msr (pr) = 〇才設定優先順序為低。關於優先順序隨著款體而改變的說明將於稍後討論。

E:\aaa\55420. ptd 苐32頁五、發明說明 (20) (21) (22:29) (30:31) (32:63) *雙重X 或雙字，載入或儲線程切換如上所發線程切或者多線資源，而取用資源得到一工致線程切作。在此所以它能不會變成在各線執行的軟相比，極比它應得過度延遲 (28) 保留線程切換優先順序啟動保留向前進行計數在64位元暫存器實施中保留載入/儲存是指载入或儲存一基本半字，以跨越雙字界限B本文令的雙重χ載入/ 存多個字或字串。暫停暫存器述，不精密多線處理器依賴長等待時間換。有時在執行中，多處理器環境中的架構中的背景線_ 另-處理器或主動的線程在能向前進行二例”括更新—記憶體頁表或是從工 :。主動的線程不能得到資源的所有權換事件，然而迴路中旋轉情況下Μ呆有資源的背号不能作釋+次m达—、線&不能取用出-貝源因為匕永遠不會主動的線程。、引線切換程令分配處理周期是另— 體螞，與相同處理器中其他:若是少遇到長的等待時間切換事件祆上執行的處理周期更多。會超過 $則該線是未使用線程的等待時間，B邊受時其等待有限 — 字，儲存不是事件以觸處理器，所有者的之前要求作分配器並不會導有效的工處理器，事件而且在線程上的軟體@ 程會得至彳間的另> 時段中服 @

E:\aaa\55420.ptd 第33頁 409227 五、發明說明（29) 務一外部令斷，或處理器外部的某一其他事件。因此若沒有達成有效處理則在一些時間後最好強制一線程切換成為不使用的線程，以防止系統閒置。一時段後強制線程切換的邏輯是：線程切換輸出暫存器 43〇(圖4) ’減法器，及減法器暫存器以保有遞減的值。線程切換暫停暫存器430保有線程切換輸出值，此實施例中使用的線程切換暫停暫存器43 〇實施例如下表所示：線程切換暫停暫存器位元 (0:21) 保留 (2 2 : 3 1) 線程切換暫停值本文所述的本發明實施例不會在各線程中設置另一線程切換暫停暫存4 3 0，雖然也可如此作以提供更大的彈性。類似的’若有多個線程，則各線程不需要具有相同的線程暫Ϊ值。每次發生線程切換時，硬體即將線程切換斬停暫存益430的線程切換暫停暫存器值載入減法暫存器。曰 Μ ^ ^ ^ # H· ^ fi ^ ^ 者將仏唬、到線私切換控制器45Q以強制切，除非無其他線程準備處理這此沪人、“ #刀換 ^ 心二？日分例如若糸餅φ讲士的^他線程都在等待一快取記情 : . u肢天诙亚且不準備鈾；ί·ΐ·社 ^則線程切換控制器45〇不會強制線裎切換灯：存益令的值變成0而且若沒有其他線程準備處理^ ^ ^ 將該遞減值固定在〇直到另—& 3 7 ,則 „ 1 瑕準備處理指今，太心机發生線程切換並且將該線程的線程在此二法暫存器。類似的，可以將減 + ^值重新載入減戏法暫存气容易的命名為減法

409227 五、發明說明（30) 暫存器，而且當一綠程正 _ ，會將暫存器增加到某一預設2以及當強制一線程切換時如上所述可以用服務處理=: 本身將線程切換暫停暫存器4 3 〇疋由/、有軟體碼的處理器與/或特定軟體碼即可蓣— ··‘‘入"根據特定硬體配置線程切換暫停值，以使因疋不必要緩程切換暫停暫存器430的浪費減到極小。若線程切換暫停暫換所導致的周期當主動的線程等待另—綠言存窃430中的值過高，斷的回應等待時間或處理^外^貧源時」或者—外部中使性能下降。若一線栽 =~其他事件太長了，則會並沒有遇到’過高的值二產：：程切換事件而其他線程出值二倍或數倍的大於最°若一線輕切換輸致線程切換，則建議如0長寺待時間事件，其導止系統閒置因為共用了姐、<，次制線ί王切換，即可防器周期的公平分配，及二二二二，強制在線程之間作處理以及處理器外的其他事件Υ °卩中斷的極大回應等待時間向前進行保證在一些環i兄下每當.咕婊妒杜時即必須執行至少一人佔^ 、以及新的線程開始使用 -指令產生多個快取=制性太高了，例如當單誤時。例如若請求的;或多個快取記憶體失指令會導致LI I快：7 : 在於快取記憶體中，則擷取听取S己憶體1 50失.誤.伯s $ 入π ,要求的資料不會存在、，仁疋§扣7返回時在於L1 D快取記憶體丨2 〇中。同理，

E:\aaa\55420. ptd 第35頁

Μ 發明說明（31) 轉，查詢缓衝器250也會導致資料快取記憶體失誤。所以，右嚴袼強制向前進行，則後續存取上的失誤不會導致線程切換。帛二個問題是一些快取記憶體失誤會要求許多周 2 =忐完A ’在此期間另—線程在相同的快取記憶體階層中3遇到快取記憶體失誤，其可以在極少的時間内完成。若是返回到第-線程’則強制嚴格的命前進行，而處理器不能切換到具較短快取記憶體失誤的線程。為了改正透過量的問題，其中各線程在不執行任何指令 =下鎖在線程切換的各周期中，並存在向前進行計數暫存范4 2 0 (圖4 )其允許可程式化的極大數目線程切換（其稱為向前進行門檻值）^該極大數目的線程切換後，必須在切換此再度發生之前完成一指令。依此，可防止透過量。向刖進行计數暫存器4 2 0在線程切換控制暫存器4丨〇中實際上疋位兀30:31，或是該處理器的軟體可程式向前進行門檻暫存器。向前進行計數邏輯使用線程狀態暫存器442，444 的位元1 5 : 1 7 ’以指示線程狀態並分配給線程切換數目，在不執行指令之下已遇到—線程。較佳的，接著這些位元包含向前進行計數。當線程改變狀態以開始線程切換演算法時，若在使用的線程中完成至少一指令，則重設該使用的線程的向前進行計數态，而線程切換演算法持續比較處理器中各線程間的線程狀態。若沒完成指令，則將使用線程的線程狀態暫存器中的向前進行計數暫存器值與向前進行門檻值比較。若計數Is值不等於門檻值，則線程切換演算法持續評估處理

E:\aaa\55420. ptd 第36頁 409227 五、發明說明（32) — -----一- :二中線程的線程狀態。接菩甚恭斗仏行計數器加-。然而若；ί = Ϊ =換，則將向前進 '線程切換直到能執行—指令會= ，若門檻暫存器具有〇值，則在切拖5，生向則進仃，。或者在使用線程中完成至少一指'八。夂另—線程之丽必須理器周期，而且若有二個線;呈，=!程切換要求三個處計成在嘗試五次後即停止再試線程切換邏輯設 = 常工作。熟於此技術者能了解的是禁潛在衝突，因為在-方面沒有向前。強制線程切㉟，因為已超過暫停計數根據β本名構及軟體可容易的解決這種衝突。功f6&疋防止透過罝的線程切換邏輯40〇的向前進行計數程圖'在符號610 ’將狀態το相關的線程狀態暫 iJ i 4的位几15: 17重設為狀態11 1。在符號62◦中嘗試 2程：執行而且將狀態變為00 0。若一指令成功的在線壬上執仃’則線程TO的狀態返回i丨1並維持不變。谀 j線^不執行指令，則線程T1會發生線y切換，或者而若 =理态架構中允許二個以上的線程，則發生在另一背景線私/中、。畲線程切換發生在離開T1或其他背景線程之處，則執仃，回線程了0，發生執行線程TO的第二次嘗試，而線程 T。0狀態在符號630中變成001。再一次，若線程το遇到一線和'切換事件’則處理器的控制從線程T0切換到另一線程。類似的二每當發生從其他線程如T1回到線程T0的線程切換時’狀恶T 0即在第三次嘗試時變為0 1 0以執行T 0 (符號6 4 0 )

E:\aaa\55420.ptd

第37頁 409227 五、發明說明（33) ;在第四次嘗試時變為0U以執行το(符號65〇)，以及在第五次嘗試時變為1 〇〇以指示Τ 0 (符號6 6 〇 )。 μ在此實施中，有五次嘗試以切換到線程τ〇。第五次嘗試，或者每當線程狀態暫存器（TSR) 442中的位元15:17的值專於心令3 0 : 3 1的值加上線程切換控制暫存ς4丨Π中 ^--P#fTSC (30:3DH=TSR (15：17) T 0發生線程切換。可了解的是五次嘗試只是一隨意數目 :不成功執行的極大可允許切換數目，即向前進行門檻值疋可以規定的，而且可以在一些認為五不是太多切換的架構中實施，以及在其他認為五是太少的架構令實施。在任何情況下，嘗試切換到一線程的次數與不執行指令之間的關，必須與一門檻值比較，而且一旦到達該門檻值，則不會從該線程發生線程切換，而處理器會等待直到已解決該線程相關的等待時間。在本文所述的實施例中，線程狀態暫存，442的位元i 5 :丨7所表示的線程狀態與線程切換控^ 暫，，410 t的位元30 : 31比較。特殊事件時作的特別處置，該等事件具有極長的等待時間例如與輸入/輸出裝置的互動，可以用向前進行邏輯來防止過早的阻止線程切換以改善處理器性能。一種處置這些極長等待時間事件的方式是=止增加向前進行計數器，或是若資料未返回時’勿略向耵進行計數器與門檻值之間輸出信號的比較。另—種處置極長等待時間事件的方式是使用這些特殊事件的其他較大的向前進行計數。 τ 線程切換管理員

第38頁 409227 五、發明說明（34) 分配給處理器的所有軟體線程的線程狀態最好類似在圖 4的線程狀態暫存器442，444之中。在單一處理哭中，一線程每次只能執行其指令，而所有其他的線程都。°不動作。如上所述當主動的線程遇到向前進行暫存器42〇，線程切換控制暫存器41 0 ’或線程切換暫停暫存器43〇相關的長等待件時，執行即從主動的線程切換到未動作的線程 :使用那一個線程，這些硬體暫存器使用的情況都不 i在執行期間作動態變化。由線程切換管理員改變線程切換情況的彈性改。：體線程切換管理員能改變線程切換的頻Γ，曰〇重要工作可使用的執行周期’及減少因為切等時間而導致的總周期損失。可以在是程切換的頻率…戈者因：換：理貝…鎖迴路可改變線系統工作。不允二：ΐί已準備好了 1可發出-作業的優點是，目前指令線程切換的頻率間的影響。或者，藉由阳不又換進/出導致等待時放棄其-部分或所有的二J☆:低3先：序，線程即可頻率，或增加從線程切 13二減少切入其中的切換管理員也無條件的能。線程個要選出來作執行的線程。次不止線程切供，或影響下— 多重優先順序線程切換π 一止以合乎導致切換的條件.:β 3疋一優先順序值給各線程在一些情況下也可期望由硬

E:\aaa\55420.ptd 第39頁五，發明說明（35) 變線程優先順當其發生時，該事件的回應線程的優先順軟體透過使用調整線程的優邏輯執行的動本文所述實線程之間足夠最佳性能。藉等優先順序狀的並非來限制具有比其他線個線程執行以設定或由軟體各線程的三優先順序與線二個線程都具一執行時間優順序時，所有 τ 1 ,即資料載憶體失誤的處線程T1相比，以允許TO持續序。例如低優先順序線程可等待某一 =能=線程的優先順序以影響線程對於可間。各線程間的相對優先順序，序t影響這種事件的處理。線程切換管理ί 一或多個指令，或由硬體回應—事件，# 2順序，線程切換管理員改變硬體線程切換作以有效的改變線程的相對優先順序。、施例的2個線程使用三個優先順序’並提供的區分以允許在不使系統性能下降之下達到 =二個優先順序，2個線程能具有相同的中態。2個線程使用三個優先順序的選擇其目，在一些架構中，正常狀態是指一線程—直程高的優先順序，本發明的範圍意欲涵蓋2 上’其具有一或多個優先順序以便能由硬體來規劃^ 個所優先順序是高，中等及低。當線程τ 〇的程Τ1相同時，在線程切換邏輯上即無效應。有相等的優先順序’所以任一者都不會給予勢。當線程TO的優先順序大於線程τ 1的優先的L1快取記憶體失誤即不會從7 q線程切換到入，資料儲存，及指令擷取，因為L1快取記理速度遠快於其他情況如L2失誤及轉換。與線程TO具有接收更多執行周期的良好機會，執行只要它不浪費過多的執行周期數目。然

409227 五、發明說明（36) 而若線程TO遇到較長的執行等待時間，則 | 控制線程T卜從TUT。的線程切換則不受影心二：發生於未使用的線程το準備好了，二、線程Τ1優先。當線程”切換時即二下線程το會比 L2快取記憶體失誤或轉換請求且：此例’因為有景解決該情況 '線程τ〇的優先順:的:時：背述例子類❿，只是線程名稱相^比線印低的情況與上藉由改變線程優先順序來實施種不同的可能方式。可將新;^ =的管理員現有多用的現存處理器指令若具有期望力j理器架帛’具副作響允許軟體控制方法選擇的有二：：則也可以使用。影定義架構以包括新指令及現存产)更容易重新 (b)期望在不同處理器版本上執。_上木構改變的效應，的特殊目的指令與再^用現存护入同的軟體；（c)使用新藉由每次執行某一現存指令如特定载月主位準，如是否可，或者是否需要更多的控制，立载入或儲存來產生效應串以特別產生該效應〜法是將一指令加入指令本文所述的架構最好利用未器的架構一般目的暫存器’此用心令，其值不改變處理處理器架構中是極為重要的。^域對於將多線功能裝設在指令是較佳η ο p 〇 r Q，〇，〇 ;然 '將其他特別指令編瑪。 nop。藉由使用or指令:〇r’ f :其他指令可以有效的當作可改變線程優先順序，相同的扣或1，1，1等的不同版本即 9 $串可以在無不良效應如

409227 五 '發明說明（37) 暫存ΐ二I=之下在處理器上執行。一延伸使用機器狀態 Γ改變這些指令的意義。例如可期望允許-叹用將边些線程優先順皮其提供的功能。立提件^ 部分或全部編碼，並取用模式中發生，其對；2 =能可定義為僅在-些執行的如當作_來執7:、他松式則無效應，而且將可以正常個浐ί m ί施例(其使用雙線程的多線處理器)使用三序·a 7 /、 ·"’執行軟體本身的一部分以改變本身的優先順 tsop 1 or I， 1， 1 tsop 2 or 1,1,1 切換為未使用的線程將主動的線程設定為低優先順序 -切換為未使用的線程注意·除非TSC[19] = 1，僅在專屬模式中有效 tsop 3 or 2, 2, 2 —將主動的線程設定為中等優先順序 ts〇P 4 or 3,3,3 -將主動的線程設定為高優先順序 -注意：僅在專屬模式中有效才b令t s ο p 1及t s ο p 2可以是相同的指令即本實施例的〇 r 1，1，1，但疋其也可以是不同的指令。這些指令與線程切換控制暫存器410的位元19及21互動1以及與本文所述的機

E:\aaa\55420,ptd 第42頁 409227 五、發明說明（38) ，暫存器的問題/專屬位元互動。若線程切換控制暫 f益41〇的位元21具有值i，則線程切換管理員能將直線程的優先順序設定為三個優先順序之—如線程狀態暫存器中的位兀18: 19所示。若線程切換控制暫存器41〇的位元19具有〇值則彳θ令t s ◦ p 2線程切換及線程優先順序設定可由機益狀恶暫存器的問題/專屬位元來控制。換言之，若線程切 <奐控φι〗暫存豁4 1 0的位元1 9具有1值，或者若機器狀態暫存器的問題/專屬位元具有〇值，而指令奸1^出現在碼中，則將使用中線程的優先順序設定為低’並且將執行立即切換為未使用’或是若未使用線程啟始則切換為背景線程。指令or 2，2，2設定使用中線程的優先順序為.中等，這與機益狀態暫存器的問題/專屬位元的值無關。至於指令or 3，3，3，當機器狀態暫存器位元的問題/專屬位元具有0值時’即設定使用中線程的優先順序為高。若線程切換控制暫存器3 2 0的位元21是〇，則將二個線程的優先順序都5又疋為中4 ’並且阻止優先順序上or X, X, X指令的效應。若外部中斷請求在動作，而且若對應線程的優先順序是低的，則將線程的優先順序設為中等。線程優先順序改變的事件是_ (1 )在L丨D快取記憶體失誤上切換以載入實料；（2)在L1 D快取記憶體上切換以儲存資料；（3 )在L1 I快取記憶體失誤上切換以糊取指令；以及（4)若未使用的線程在準備狀態則切換。此外，外部中斷啟始時會改變對應線程的優先順序。下表顯示導致線程切換的某些情況的優先順序的效應。行3，4中的簡單

E:\aaa\55420. ptd 第43頁 40922? 五、發明說明¢39) ' ------- 料0表仏不使甩線程切換控制（TSC)暫存器410中所述的情=始-線程導視為〇〇 : 控制暫存器410的位元U當成該線程的那些位元的定Ϊ導致亚線且程臭控制暫存器410中的其他位元用來 ^ 換的情況。行4中的片語「當線程το準備女Γ ^ Γ + f線程το不再等待失誤即發生切換到線程TO，出去。若失誤事件是線程切換暫，，則不能線程。斤綠転切換回來之W ,即完成低優先順序

E:\aaa\55420.ptd T0優先順序 ligi順序一加丨丨_ · —=*-- το線程切換情況 γ - · - - - -- T1線程切換情況 p—— 高 TSC TSC F- 中等 tsc[o:2]視爲〇 TSC或者若το準備好 I高低 TSC[0:2]視爲〇 TSC或者若το準備好中等高 *——__ TSC或者若T1準備好 TSC[0:2]視爲〇 !中等 ---- —--- 中等 —-—_ TSC TSC 中等低 '~____ TSC[0:2]視爲〇 TSC莩者若το準備好 j低 (¾ --- TSC或者若T1準備好_ TSC[0:2]視爲 0 低 — 中等 TSC或者若T1準備好 TSC[0:2]視爲 0 !低低 TSC TSC ' · ' ^ —.- 具第44頁 409227 _案號87inm_g?年g月少曰」修正不有斧._ 五、發明說明（41) 在此建議將不做生產性工作的線程設為低優先順序以避-免性能下降，即使間置迴路中的每一指令都會導致切換。」· 況且更重要的是若請求一外部中斷成為一線程設定為低優，先順序’則允許硬體改變線程優先順序。在此情況下提高線程為中等優先順序，以允許更快的回應中斷。此允許一外部事件上的線程等待設定其本身在低優先順序，它會雉持在此直到通知有事件了。雖然已用目前視為最實際且較佳的實施例來說明本發明’該了解的是本發明並不僅限於上述賁施例’反之，意欲在不偏離附屬申請專利範圍之精神與範圍下’涵蓋各種：修正及同等配置。 Ο 元件符號說明 10 電腦資料處理系統 100 中央處理器 (CPU) 110 處理器核心 120, 130, 15 0 快取記憶體 nsu 140 主記憶體 152 匯流排介面 155 糸統匯流排 16 0- 168 輸入輸出處理器（IOP) 170 直接存取儲存裝置 (DASD) 172 磁帶機 174 遠地通訊線 176 工作站 178 印表機

O:\55\55420.ptc 第45頁 2000. 08. 04.045

O:\55\55420.ptc 第45a頁 2000. 08. 04. 046 案数賴戊3 g彳年·?月曰五、發明說明（43) 4 6 0 軟體 470, 472, 474, 476, 478, 480, 482, 484, 486 線

I im ίϊΐκϊ

I O:\55\55420.ptc 第45b頁 2000.08. 04.047

Claims

409227 申請專利範图種電腦處理器，包含：一（a)至少一多線處理器’俾於：夕仃·，以及 "^夕指令線程之間切換執 (b)具眾多位元之至少一線〜位元與眾多線程切換控制事往切換控制暫存器，各該等 2.如申請專利範圍第/項之件^—。獨特地結合。之，與該位元結合之镇#+」器其中右啟始諸位元處理器從眾多線程之一切^】奐控制事件使得至少一多線 3·如申請專利範圍第〗項之读眾多線程之另一者。暫存器係可程式的。理器，其中線程切換控制 4·如申請專利範圍第3項之使線程切換控制暫存器中至少处理器，其中至少一指令能 5·.如申請專利範圍第2項之"〜位元無作用。切換控制暫存器。义理器’包含一個以上線程 6.如申請專利範圍第5項制暫存器之諸位元值與另—兮理器’其中一線程切換控元值不同。 μ線程切換控制暫存器之諸位 7-如申請專利範圍第1項之卢控制事件包含—資料失誤，波=理器，其中眾多線程切換料快取記憶體，一以資科快取下至少之-：-U實器。隐體’及一轉換查詢缓衝 8 ·如申請專利節園第Ί 护制；g # ~:& 員之處理器，其中眾多線程切換也制事件包含-指令失誤，其來自以下至少之一 ·一旧々快取記憶體，一轉換查詢緩衝器。

第46頁 E:\aaa\55420. ptd 409227 '申請專利範圍 9 ‘如申請專利範圍第1項之處ί里器’其中眾多線程切換控制事件包含資料之地址轉換中之錯誤與/或一指令。 I 〇.如申請專利範圍第1項之處理器’其中眾多線程切換控制事件包含存取該處理器以外之I / 0裝置。 II ‘如申請專利範圍第1項之處理器，其中眾多線程切換控制事件包含存取另一處理器。 i 2.如申請專利範圍第2項之處理器，其中眾多線程切換 =制事件包含—向前進行計數，即眾多線程之一在不執行 +多線程之一之指令下已從至少一多線處理器切換次數。 ' & < =·如申請專利範圍第2項之處理器，其中眾多控制事件包含—暫停時段。刀换、14· 一種電腦處理系統，包含： (=—多線處理器，其遇到眾多線程切換控制事件· 控制事件之—ί:ί:多啟始位元二各與眾多線程切換記憶體失誤’ —^入:二，包含.一倉料儲存/載入快取轉換失誤，存取取記憶體失誤’ -資料/指令地址停時段，-鬥棱器’存取：外部1/0裝置，-暫換； …—指令執行下不超過數個線程切其中多線處遇到之線程切結合之啟始仅程切換控制事件之一，而且若啟始位元之一結合以及若啟始理器會線程切換。理器遇到諸線換控制事件與元，則多線處

409227 六、申請專利範圍 ~ 1 5，一種電腦處理系統，包含： (a )裝置，用以處理眾多指令線程； (b)裝置，用以指示處理裝置何時因為眾多線程之—遇到一處理器等待時間事件而停止； (c )裝置’用以暫存眾多線程切換控制事件；以及 (d)裝置，用以判定處理器等待時間事件是否係裎切換控制事件之一。文深請專利範圍第15項之電腦處理系統，更包含：事：)：呈，若處理器等待時間事件係眾多線程切換控制 ::? -，則用以使處理褒置能切換處理至眾多線程之另以判定-線程切換控制暫存器内容之方法，包含 (a) 計算第—數個處理器器因處理器等待時間事件而佟止之數目，其中一多線處理 (b) 計算第二數個處理器周如’ 切換第一指令線程至第_ :之數目，其係多線處理器 (c) 若第—數目大於弟第-4令線程之處理所必須者；器中藉由設定一啟始位元以目，則在線程切換控制暫存線程切換控制事件。 '艮處理器·#待時間事件為— 1 8 .如申請專利範圍第1 7項之 s以下步驟： (d) 若啟始位元啟始，當多線^ 更包含：事件時’即輸出—信號至線益遇到線程切換控制 1 9. 一種電腦處理方法，句換

E:\aaa\55420.ptd 409221 六、申請專利範圍 (=儲存—線程狀態在一線程狀態暫存器中；器中儲存小多線程切換控制事件在一線程切換控制暫存 ii) I #線程改變狀態時，以信號通知線程狀態暫存器； =)比較線程之改變狀態與眾多線程切換控制事件。 20·=申請專利範圍第19項之方法，更包含：啼右改鰱之狀態導因於一線程切換控制事件，則以信说通知一多線處理器俾從線程切換執行。 21.—種電腦系統，包含： ' )夕線處理器，當多線處理器遇到眾多處理器等待時間事件之一時，能在至少兩個指令線程之間切換處理；雜~線程狀態暫存訪操作時接至多線處理器以，存諸心令線程之一狀態’其中各指令線程之狀態在處理器切換處理至各線程時會改變； (〇至少一線程狀態控制暫存器，操作時接至至少一線程，態暫存器及接至多線處理器，以儲存眾多線程切換控制事件，其藉由設定對應之眾多啟始位元而啟始諸線程切換控制事件； (d)眾多内部連線連接多線處理器至眾多記憶體元件，其中多線處理器存取眾多記憶體元件之任一者會導致一理器等待時間事件；曰其中當多線處理器中執行之諸線程之一因為諸處理器等待時間事件之一而不能持續執行時，及當該處理器等待時間事件係—線程切換控制事件時，以及當設定對應啟始位

E:\aaa\55420. ptd 第49頁 409227 六'申請專利範園兀日^，多線處理器即切換執行至諸線程之另一者。外邙、Λ申請專利範圍第21項之電腦系統’更包含至少一小一，連接多線處理器至至少一外部記憶體裝置，至 ί =部通訊裝置，一外部電腦網路，或至少—輪入/輸其中多線處理器存取諸裝置之任一者或網路會欢私夕慝理器等待時間事件之一。 ▼ ' 23. —種電腦處理器，包含： "(a)至少一多線處理器，俾於眾多指令線程之間切換執彳丁，以及 (b)具眾多位元之至少一可程式線程切換控制暫存器，各該等位元與眾多線程切換控制事件之—獨特地結合，其中若啟始諸位元之一，與該位元結合之線程切換控制事^ 使得至少一多線處理器從眾多線程之一切換至該眾多線程之另一者，而且其中眾多線程切換控制事件包含：—次= 失誤，其來自以下至少之一：一L1資料快取記憶體，資料快取記憶體，及一轉換查詢緩衝器；一指令，兑以下至少之一：一U指令快取記憶體’ 一轉換查詢緩 ;資料之地址轉換中之錯誤與/或一指令；存取該處理~ @ 以外之I/O裝置；存取另一處理器；—向前進行計數，即眾多線程之該一在不執行眾多線程之—之指令下已一多線處理器切換出去之次數；以及—暫停時段。 ^

E:\aaa\55420.ptd 苐50頁