TW201202939A - Bus arbitration techniques to reduce access latency - Google Patents

Description

201202939 六、發明說明： 【發明所屬之技術領域】 所揭示之實施例係關於匯流排仲裁技術。特定而言，所 揭示之實施例係針對用以在共用記憶體系統中減低記憶體 存取閒置時間之技術。 本專利申請案係關於以下同在申請中之美國專利申請 案： 與本案同時申請之Wang Feng的具有代理人檔案第

091984 號之「METHODS OF BUS ARBITRATION F0R LOW POWER MEM〇RY ACCESS(用於低功率記憶體存取 之匯流排仲裁之方法）」，該案已讓與給本受讓人，且以引 用之方式明確地併入本文中。 【先前技術】 具有共用記憶體結構之系統架構為熟習此項技術者所孰 知。可藉由多個處理器或處理元件經由一匯流排或一互連 系統㈣取-共用或全域記憶體空間。該等處理元件概念 上被稱為互連系統之「匯流 構駐留於「受控器端。Λ 且共用記憶體結 工」 $ 丨L排主控器向共用記憶體資源 毛出s貝取/寫入請求。由 來服務該箅Μ 又控心處之「記憶體控制器」 來服務以“。一般而言，在 器完成-匯流排主批哭“ W 。己隐體控制 接，# .工。’…、同記憶體空間之間的點對點連 接以便促進資料傳送。 因為在任何給定時間 以多個匯流排主控，為存2一請求可被服務’所 為存取共用記憶體空間而彼此競爭很 155459.doc 201202939 2二：：同步對共用記憶體之存取以使得在正服務- 机"态時’另一匯流排主控器不被授予存取權。使 用排程機制或「伸菇古安冰门止 躍使 主控器之排程來自不同匯流排 裁任務。^以便避免爭用。—「匯流排仲裁器」執行仲 匯:排仲裁器決定，在任何給定時間可授權哪一匯流 排主控器來存取記憶體。在兩個或兩個以上匯流排主控： 試圖同時存取匯流排時，僅有-個匯流排主控器被授；存 :權’而其他處理器必須等待。仲裁器所遇到之挑戰令之 者為’確保排定某些匯流排主控器之優先權以使其能夠 存取記憶體不會導致具有較低優先權之匯流排主控号被益 限期地鎖；t或在獲得存取權中遭受不合理的延遲。' —常見仲裁方案為—循環仲裁方案，其中在所有匯流排 主控器間均勾地分配可㈣寬。根據—預定次序授予記憶 體存取權而不考慮個別匯流排主控器之閒置時間要求。舉 例而言，一處理語音通信之數位信號處理器（DSP)可能要 求低閒置時間通信，但基本循環方案可證實在適應此等間 置時間特性方面為效率極低的。 .、、、知途彳i為一基於符記之途徑，其中環繞網路傳遞 符《己」’且僅有處理該符記之匯流排主控器可被允許 存取。若-特定處理元件不要求存取，則其可將該符記傳 遞至一鄰[將優先權及閒置時間要求之概念建置於此等 方案之實施中。一基於符記之仲裁方案試圖藉由基於匯流 排主控器之間置時間特性分配優先權來保證閒置時間要 155459.doc 201202939 求。 :然而，此等及其他熟知仲裁方案未考慮互連系統之受控 器端處之異動。舉例而t ’考慮-種使用—習知仲裁方案 的記憶體系統。記憶體系統中之一匯流排仲裁器在時間上 的:特㈣行㈣時向-第―匯流排主控器㈣存取權。 所請求之資料駐留於記憶體之m該第—頁在該 第-匯流排主控器的存取持續時間中保持開啟。接著，授 予-第二匯流排主控器存取權。但該第二匯流排主控器： 求在該第一頁中缺失之資料，且一頁缺失發生。在提取含 有所請求之龍之n時造成相當大之延遲。接著授 予-請求該第-頁中之資料之第三匯流排主控器存取權， 且在提取該第一頁時遭受又一頁缺失。 在以上實例中，若匯流排仲裁器已不同地排程請求使 得連續地排程存取相同頁之第—及第三異動，則其將導致 第三異動之頁命中。但現有技術不能夠前查詢以預測將導 致頁命中之異動。 因此’在此項技術中需要可藉由考慮受控器端處之已排 程之異動以便改良頁命中率且平衡讀取與寫入而減低記憶 體存取閒置時間的技術》 〜 【發明内容】 例示性實施例係針對用於仲裁技術之系統及方法以在一 共用記憶體系統中減低記憶體異動之存取閒置時間。 舉例而言，例示性實施例係、針對_種仲裁用於存取一處 理系統中之共用記憶體之來自匯流排主控器的請求之： 155459.doc 201202939 法，該方法包含.刖查詢當前已排程之對共用記憶體之存 取；基於當前已排程之存取之一特性而預測來自匯流排主 控器之請求之間置時間；及至少部分基於該所預測之閒置 時間而排程來自匯流排主控器之請求。 另一例示性實施例係針對一種處理系統，該處理系統包 含.一共用S己憶體系統；經組態以產生用以存取該共用記 憶體系統的未來請求之匯流排主控器；經組態以服務當前 已排程之睛求之記憶體控制器；經組態以基於該記憶體控 制器的當前已排程之請求的一特性而預測閒置時間之閒置 時間預測器；及經組態以至少部分基於該所預測之閒置時 間而選擇未來請求之至少一子集之仲裁器。 又一例示性實施例係針對一種用於仲裁用於存取共用記 憶體之來自匯流排主控器的請求之處理系统，該處理系統 包含：用於前查詢當前已排程之對該共用記憶體的存取之 構件，用於基於當别已排程之存取之—特性而預測來自匯 流排主控器之請求的閒置時間之構件；及用於至少部分基 於該所預測之閒置時間而排程來自匯流排主控器之請求之 構件。 例示性實施例亦係針對仲裁用於存取一處理系統中之共 用記憶體之來自匯流排主控器的請求之方法該方法包 含：用於冑查詢# t已排程之對共用記憶體的存取之步 驟’用於基於s别已排程之存取之—特性而預測來自匯流 排主控之請求的閒置時間之步驟；及用於至少部分基於 該所預測之閒置時間而排程來自匯流排主控H之請求之步 155459.doc 201202939 【實施方式】 呈現隨附圖式以有助於描述實施例，並且僅為了說明實 施例且不作域實施例之限制而提供該等隨附圖式。 在針對特定實施例之以下描述及相關圖式中揭示本發明 之態樣。在不脫離本發明之料的情況下可設計出替代實 施例。另夕卜，將不詳細描述或將省略各種實施例之熟知元 件以使得不會混淆各種實施例之相關細節。 詞「例示性」在本文中用以意言胃「充當一實例、例子或 說月」不必將本文中描述為「例示性」之任何實施例解 釋為比其他實施例較佳或有利。類似地，術語「實施例」 或本發明之實施例」並不要求所有實施例包括所論述之 特徵、優勢或操作模式。 本文中使用之術語僅為達成描述特定實施例之目的，且 並不意欲限制各種實施例。如本文中所使用，單數形式 一」及「該」意欲亦包括複數形式，除非上下文另外清 楚地指示。應進一步理解，術語「包含」、「包括」在本文 中使用時指定所陳述之特徵、整數、步驟、操作、元件 及/或組件的存在’但不排除一或多個其他特徵、整數、 步驟、操作、元件、組件及/或其群組的存在或添加。 另外’許多實施例係依據待由（例如）計算裝置之元件執 行之動作序列來描述。應認識到，本文中所描述之各種動 作可由特定電路（例如，特殊應用積體電路（ASIC))、由一 或多個處理器所執行之程式指令或由兩者之組合來執行。 155459.doc 201202939 另外，可認為本文中所描述之此等 ^^ ^ ^ 勒作序列完全體現於任 何形式之電腦可讀儲存媒體内’ ^^ ± 恥可讀儲存媒體中儲 執引起相關聯之處理器執行本文中所描述之 功記性的電腦指令之對應集合。 可L7社文 此本發明之各種態樣 +多不同形式體現’預期其皆在所主張之發明主體之 〜内。另外，對於本文中所描述之實施例中的每一者而 。’任何此等實施例之對應形式可在本文中被描述為⑽ 如）經組態以」執行所描述之動作的「邏輯」。 圖1說明一習知共用記憶體系統_。匯流排主控nM1 至廳經由互料1G2之媒心發出記憶體存取請求。匯流 排仲裁器1〇4根據諸如循環排程或基於符記排程之技術來 排程該等請求。受控器記憶體控制器1〇6藉由與如圖所示 =一共用記憶體資源（諸如雙資料速率（DDR)記憶體i叫通 L而服務已排程之請求。有時記憶體控制器1〇6維護一佇 列’在服務已排程之異動之前將該等已排程之異動維持於 該仔列中。匯流排仲裁器104可試圖藉由指派較高優先權 至具有低閒置時間要求之匯流排主控器而 請至顧之間置時間要求。然而，系統⑽在排程^ 中未考慮已排程之異動的内容脈絡或頁缺失所牽連之閒置 時間。 根據本文中所描述之本發明技術，仲裁程序至少部分基 於自當前已排程之記憶體異動導出之閒置時間預測。圖2 說明一例示性實施例。除諸如系統1〇〇之習知系統之組件 外，記憶體系統200包括一間置時間預測器2〇5。該閒置時 155459.doc 201202939 * 間預測器205將關於當前已排程之異動之資訊傳達至匯流 排仲裁器204。如圖所示，記憶體控制器2〇6包括一命令佇 列210、一重排序單元212及一記憶體佇列214。在下文將 在一非限制說明性實例之内容脈絡中描述此等組件之操作 及細節。 假定初始條件未反映當前已排程之記憶體異動。如先前 所描述’匯流排仲裁器2〇4接收來自匯流排主控器mi至 MN之記憶體存取請求，且選擇待排程以進行記憶體存取 之該等請求之至少一子集。在實例中，該仲裁器2〇4選擇 待排程之來自M2、M0及M3之記憶體請求。來自M2之請 求經排程為首先被服務，M0接著被服務且M3最後被服 務。基於請求之記憶體位址，已知服務此等請求將需要在 共用記憶體208中分別存取頁P3、P〇及P2。一般而言，所 選擇之請求進入命令佇列21 〇，傳遞通過重排序單元2丨2且 進入記憶體佇列214。 記憶體佇列214為保持當前正被服務之異動之一暫存區 (staging area)。在服務記憶體佇列214中之異動會調出圮 憶體208中之頁P〇的情況下，接著排程對頁？2之—請求（對 應於M2)將導致一頁缺失。一般熟習此項技術者應理解， 頁缺失導致額外延遲，且此等延遲尤其不利於具有低閒置 時間特性之匯流排主控器。 然而’藉由在命令佇列210中重排序所選擇之請求，使 得首先排程來自M0之請求’將需要存取頁p〇，從而導致 一頁命中。重排序單元212執行不按自命令佇列21〇接收往 155459.doc 201202939 求之次序重排序所選擇之請求之功能，使得該重排序將導 致比按照來自命令佇列210之次序服務該等請求低的閒置 時間。重排序單元212結合閒置時間預測器205動作以用於 在記憶體控制器206中重排序所選擇之請求。 閒置時間預測器205前查詢記憶體佇列214以判定當前正 被服務之請求及記憶體中之對應頁。接著，閒置時間預測 器205檢查命令佇列2 1 〇以判定命令佇列21 〇中之所選擇之 請求是否會導致一頁命中。若存在此一已排程之異動（例 如，來自匯流排主控器M0之對頁P〇之請求），且其並非行 列中之第一個’則重排序單元212將請求從行列中取出， 且在記憶體佇列214中排程該請求以下一個進行記憶體存 取。因此，在記憶體控制器中將記憶體存取之優先權指派 至所選擇之請求，從而導致基於頁命中率之低的總閒置時 間。 在系統達到一穩態操作模式時，其中所選擇之請求之一 初始集合係在記憶體控制器2〇6之排程管線中，閒置時間 預測器205產生對於自匯流排主控器M1至MN至匯流排仲 裁益204之未來請求有用的資訊。間置時間預測器2〇5將關 於受控器側記憶體控制器2 〇 6中之異動之預期閒置時間的 資訊傳達至匯流排仲裁器2〇4。匯流排仲裁器2〇4現配備有 此資訊來仲裁且排程來自匯流排主控器]^1至^1>^之未來記 憶體請求。匯流排仲裁器根據習知仲裁方案以及基於來自 閒置時間預測器205之資訊的記憶體請求之所預測之閒置 時間值來權衡指派至記憶體請求之優先權值。針對每一記 155459.doc 201202939 隐體4求產生-彙總優先權值，且相應地排程記憶體請 求。 應理解’初始條件及穩態操作模式之以上描述僅為說明 之目的，且系統不限於在利用閒置時間預測資訊來仲裁未 來請求之前等待預定數目的待排程之所選擇請求。在又一 例示性實施例中，閒置時間預測器2 〇 5亦考慮關於讀取請 求與寫入請求之資訊以有助於平衡由受控器記憶體控制器 2〇6服務之讀取存取與寫入存取。熟習此項技術者應瞭解 平衡系上之讀取訊務與寫人訊務以有效率地管理 負載之價值。 圖3說明描繪根據一例示性實施例之在穩態中之本發明 技術的流程圖。在區塊搬處，丨匯流排主控器⑷至觀 發出記憶體存取請[在區塊3嘴，匯流排仲裁器綱至 少部分基於來自閒置時間預測器2〇5之閒置時間預測而選 擇請求之至少-子集且指派優先權至該等請求。在區塊 3〇5處’將所選擇之請求發送至受控器記憶體控制器鳩以 用於排程。在區塊3〇6處，藉由前查詢記憶體仵列214及命 令知列21G中之請求而判定若在命令件列中排程之請求中 之任-者被排程為下-個則該請求是㈣導致一頁命中。 在區塊307處’用此資訊更新閒置時間預測器2()5。若判定 不按次序排程來自命令仔列之一請求將導致一頁缺失，則 重排序單元不按次序地將該請求發送至記憶體仔列以被排 程為下-個（區塊3G8)。另—方面’若判定命令仵列中之已 排程之請求都不會導致一頁命中’則維持該排程。在區塊 155459.doc 201202939 3 10處，在記憶體佇列214中暫存記憶體請求以用於記憶體 存取。 所揭示之實施例藉由促進記憶體排程同時提供可排程之 更多異動而導致較少之記憶體存取間置時間及較佳之讀取 寫入平衡’從而提供相比於習知仲裁方案之優勢。因此， 著眼於改良頁命中率而排程請求之匯流排仲裁方案亦改良 了記憶體系統之頻寬利用。 彼等熟習此項技術者應瞭解’可使用各種不同技術及技 藝中之任一者來表示資訊及信號。舉例而言，可由電壓、 電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組 合來表示可遍及以上描述所引用之資料、指令、命令、資 訊 '信號、位元、符號及碼片。 另外’彼等熟習此項技術者應瞭解，結合本文中所揭示 之貫施例所枯述之各種說明性邏輯區塊、模組、電路及演 算法步驟可實施為電子硬體、電腦軟體或兩者之組合。為 了清楚地說明硬體與軟體之此可互換性，上文已大體上在 功能性方面描述各種說明性組件、區塊、模組、電路及步 驟。此功能性係實施為硬體還是軟體視特定應用及強加於 整個系統上之設計約束而定。雖然熟習此項技術者可對於 每一特定應用以變化之方式實施所描述之功能性，但此等 實施決策不應被解釋為會引起脫離本發明之範疇。 結合本文中所揭示之實施例所描述之方法、序列及/或 演算法可直接體現於硬體中、由處理器執行之軟體模組 中’或兩者之組合中。軟體模組可駐留於ram記憶體、快 155459.doc -12- 201202939 閃記憶體、ROM記传艚、PPDm 心體EpR〇M記憶體、：EEPR〇M記憶 存器、硬碟、抽取式磁碟、CD-ROM或此項技術中 =知之任何其他形式的儲存媒體中。—例示性儲存媒體鶴 接至處理器，使得處理考 了自儲存媒體讀取資訊及將資訊 寫入至儲存媒體。在替代 管代例中，儲存媒體可整合至處理 器。 因此’ -實施例可包括一電腦可讀媒體，該電腦可讀媒 體體現-種用於匯流排仲裁以減低記憶體存取間置時間之 方法。因此’各種實施例不限於所說明之實例且用於執行 本文中所描述之功練之任何構件包括於各種實施例中。 雖然前述揭示内容展示說明性實施例’但應注意，可在 本文中進行各種改變及修改而不脫離如由隨附巾請專利範 圍界定之本發明之範嘴。無需以任何特定次序執行根據本 文中所描述之實施例之方法_求項的魏、步，驟及/或動 作。此外，雖然各種實施例之元件可用單數形式描述或主 張，但預期複數形式，除非明確地陳述限於單數形式。 【圖式簡單說明】 圖1說明一習知共用記憶體系統； 圖2說明根據例示性實施例之具有基於記憶體存取間置 時間之對匯流排仲裁技術的改良之一共用記憶體系統；及 圖3為描繪根據一例示性實施例之本發明技術之流程 圖。 【主要元件符號說明】 !〇〇 習知共用記憶體系統 155459.doc 201202939 102 互連件 104 匯流排仲裁器 106 記憶體控制器 108 雙資料速率（DDR)記憶體 200 記憶體系統 202 互連件 204 匯流排仲裁器 205 閒置時間預測器 206 記憶體控制器 208 共用記憶體 210 命令彳宁列 212 重排序單元 214 記憶體佇列 MO-MN 匯流排主控器 PO 頁 P2 頁 P3 頁 155459.doc · 14-

Claims (1)

1. 201202939 七、申請專利範圍： 1 · 一種在—處理系統中仲裁用於存取共用記憶體之來自匯 流排主控器之請求的方法，該方法包含： 月’j查詢當前已排程之對該共用記憶體之存取； 基於該等當前已排程之存取之一特性而預測來自匯流 排主控器之該等請求之閒置時間；及 至^、。卩分基於該所預測之閒置時間而排程來自匯流排 主控器之該等請求。 2·如請求们之方法，其中該當前已排程之存取之該特性 為°亥共用記憶體之-頁，需要存取該頁以便服務該請 3.如請求们之方法，其中至少部分基於該所預測之閒置 =間而排程來自匯流排主控器之該等請求包含：排程來 匯机排主控器之該等請求以增加頁命中率。 4·:請求項1之方法，其中至少部分基於該所預測之閒置 Si:程來W該等請求包含 取異動與寫入異動。 +衡對”玄共用咖之讀 5 求項1之方法，其中至少部分基於該所預測之門- =排程來自匯流排主控器之該等請求包 自匯仇排主控器之該等請求之—子集。 選擇來 6.如請求項5之方法，該方法以 用記憶體之前在計算Μ之/包含在心存取該共 之該所選擇之子集。”—雙控器側重排序該等請求 155459.doc 201202939 7· 一種處理系統，其包含： 一共用記憶體系統； 經組態以產生用以存取該共用記憶體系統的未來請求 之匯流排主控器； 經組態以服務當前已排程之請求之記憶體控制器； 經組態以基於該記憶體控制器的當前已排程之請求的 一特性而預測閒置時間之閒置時間預測器；及 經組態以至少部分基於該所預測之閒置時間而選擇該 等未來請求之至少一子集之仲裁器。 8·如請求項7之處理系統，其中當前已排程之請求之該特 性為該共用記憶體之一頁，需要存取該頁以便服務該請 求。 9.如請求項7之處理系統，其中該等仲裁器經組態以至少 部分基於該所預測之閒置時間而選擇該等未來請求之至 少一子集以使得該所選擇之子集增加一頁命中率。 10·:。請求項7之處理系統，其中該等仲裁器經組態以至少 部分基於該所預測之間置時間而選擇該等未來請求之至 子集以使得該所選擇之子集平衡對該共用記憶體之 讀取異動與寫入異動。 ^凊求項7之處理系統，其中該記憶體控制器進—步包 β · =照自該等仲裁器接收該等請求之次 專所選擇之請求的一命令仔列； 存 重排序儲存於該命令仵列中之請求之次序以使 155459.doc 201202939 增加—頁命中率的一重排序單元：及 用於暫存對該共用記憶體之當前存取之一記憶體仵 列。 12. —種用於仲裁用於存取共用記憶體之來自匯流排主控器 之請求的處理系統，該處理系統包含： 用於前查詢當前已排程之對該共用記憶體之存取之構 件； 用於基於該等當前已排程之存取 匯流排主控器之該等請求之間置時間的構件；及 用於至少部分基於該所預測之閒置時間而排程來自匯 流排主控器之該等請求之構件。 13.如請求項12之處理系統，其中該#前已排程之存取之該 特性為該共用記憶體之一頁。 Μ.如請求項12之處理系統，其中用於至少部分基於該所預 測之間置時間而排程來自匯流排主控器之該等請求之構 =含於排程來自匯流排主控器之該等請求以增加 頁命中率之構件。 15."；請求項12之處理系統，其中用於至少部分基於該所預 測之閒置時間而排程來白 汁預 件包含·用於排器之該等請求之構 13 ·用於排程來自匯流排主控 對該共用記憶體之讀取異動與寫入平衡 …求項之處理系統，該處理系統進一步包 開始存取該共用記憶體之前在計算 /、在 排序該等請求之該所〃、’ 一跫控器側重 π選擇之子集的構件。 155459.doc 201202939 17. 18. 19. 20. 21. 一種在一處理系統中仲裁用於存取共用記憶體之來自匯 流排主控器之請求的方法，該方法包含： 用於别查s旬當刖已排程之對該共用記憶體之存取之步 驟； 用於基於該等當前已排程之存取之一特性而預測來自 匯⑺<·排主控器之該等請求之閒置時間的步驟；及 用於至少部分基於該所預測之閒置時間而排程來自匯 流排主控器之該等請求之步驟。 月长員1 7之方法’其中該當前已排程之存取之該特性 為該共用記憶體之一頁。 月长項1 7之方法’其中用於至少部分基於該所預測之 ^置時間而排㈣自流排主控器之該等請求之步驟包 含：用於排程來自匯流排主控器之該等請求以增加頁命 中率之步驟。 ’长員17之方法，其中用於至少部分基於該所預測之 閒置時間而排程來自匯流排主控器之該等請求之步驟包 含：用於排程來自匯流排主控器之該等請求以平衡對該 共用5己憶體之讀取異動與寫人異動之步驟。 、項17之方法’該方法進—步包含用於在開始存取 :體之别在計算系統之—受控器側重排序該等 言月求之該所選擇之子集的步驟。 155459.doc