TWI786476B - 處理暨儲存電路 - Google Patents

Abstract

本案揭露一種處理暨儲存電路，包含一仲裁器、至少一第一級記憶體單元、一中央處理單元以及至少一硬體加速引擎。第一級記憶體單元電性連接仲裁器，中央處理單元電性連接仲裁器並具有一第二級記憶體單元，中央處理單元透過仲裁器存取第一級記憶體單元，且中央處理單元於存取資料時，係優先存取第一級記憶體單元；硬體加速引擎電性連接仲裁器，以透過仲裁器存取第一級記憶體單元。其中，仲裁器設定中央處理單元存取第一級記憶體單元之優先權大於硬體加速引擎。

Description

處理暨儲存電路

本案係有關一種系統單晶片（SOC）電路，特別是關於一種適用於資料存取密集之處理暨儲存電路。

在系統單晶片（SOC）產品中，會制訂多種硬體加速引擎來協助中央處理單元（CPU）處理資料。如圖1所示，圖1為習知的硬體加速引擎來協助中央處理單元（CPU）處理資料。硬體加速引擎需要處理的資料需要透過匯流排來存取具有一存儲位址範圍的記憶體(例如，資料是暫存於中央處理單元內部的記憶體或是連接匯流排的外部主記憶體)。中央處理單元存取資料也是通過匯流排進行，也可以是中央處理單元內部的資料存取通道，這往往取決於該資料儲存位置是在中央處理單元內的快取（cache）還是在外部的主記憶體中。資料儲存在中央處理單元內部可以減少讀取延遲，但中央處理單元內部的記憶體的容量往往無法太大。若系統單晶片是使用於資料存取密集的儲存設備產品(如：固態硬碟（SSD）、隨身碟)時，上述的讀取延遲將嚴重影響整個儲存設備產品的效能。

由圖1可知，無論資料是儲存在中央處理單元內部記憶體，還是連接匯流排的外部主記憶體，對於硬體加速引擎而言，存取資料時都要通過匯流排，對於資料存取密集型演算法而言，不論是中央處理單元或是硬體加速引擎，皆需要密集存取匯流排，大部分的時間都消耗在匯流排上讀取資料操作的延遲，而嚴重影響整個系統單晶片(SOC)的效能。且匯流排上的其他電路愈多或/及匯流排架構愈複雜的系統，因需先獲得存取匯流排的許可權，始可透過匯流排讀取資料，故其操作的延遲也會愈大，而無法有效加速處理時間。

本發明提供一種處理暨儲存電路，包含一仲裁器、至少一第一級記憶體單元、一中央處理單元以及至少一硬體加速引擎。第一級記憶體單元電性連接仲裁器，中央處理單元電性連接仲裁器並具有一第二級記憶體單元，中央處理單元透過仲裁器存取第一級記憶體單元，且中央處理單元於存取資料時，係優先存取第一級記憶體單元；硬體加速引擎係電性連接仲裁器，以透過仲裁器存取第一級記憶體單元。其中，仲裁器設定中央處理單元存取第一級記憶體單元之優先權大於硬體加速引擎。

綜上所述，本案在保證中央處理單元存取速度的情況下，將硬體加速引擎於物理實現上與記憶體緊耦合在一起，以減少中央處理單元及硬體加速引擎存取資料的時間開銷，讓資料通路的延遲最優化，進而提高硬體加速引擎的性能。

底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本案之目的、技術內容及其所達成的功效。

以下將配合相關圖式來說明本案的實施例。在這些圖式中，相同的標號表示相同或類似的元件或電路。

必須瞭解的是，使用在本說明書中的“包含”、“包括”等詞，是用於表示存在特定的技術特徵、數值、方法步驟、作業處理、元件和/或元件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件，或以上的任意組合。

圖2為根據本案一實施例的處理暨儲存電路之方塊示意圖，請參閱圖2所示，一處理暨儲存電路10包含一仲裁器12、一內部匯流排13、至少一第一級記憶體單元14、一中央處理單元16以及至少一硬體加速引擎18，且仲裁器12、第一級記憶體單元14、中央處理單元16及硬體加速引擎18係電性連接內部匯流排13，在此實施例中，至少一第一級記憶體單元14係以三個為例，但不以此為限，第一級記憶體單元14用以暫時儲存（緩存）資料。第一級記憶體單元14及中央處理單元16係透過內部匯流排13電性連接仲裁器12，且中央處理單元16內部具有一第二級記憶體單元20，中央處理單元16透過仲裁器12及內部匯流排13存取第一級記憶體單元14內的資料，其中，中央處理單元16於存取資料時，係優先存取第一級記憶體單元14內的資料，之後才會存取位於中央處理單元16內部的第二級記憶體單元20。硬體加速引擎18係透過內部匯流排13電性連接仲裁器12，以透過仲裁器12及內部匯流排13直接存取第一級記憶體單元14內的資料，其中，仲裁器12設定中央處理單元16存取第一級記憶體單元14之優先權大於硬體加速引擎18，因此在中央處理單元16及硬體加速引擎18同時要存取同一個第一級記憶體單元14時，仲裁器12會決定中央處理單元16優先存取第一級記憶體單元14，在中央處理單元16存取完成後，才會輪到硬體加速引擎18來存取第一級記憶體單元14。

由於原本設置於中央處理單元16內部之第一級記憶體單元14已移至中央處理單元16外部並連接至仲裁器12，因此，第一級記憶體單元14的容量可以依設計需求而加大；當然，第一級記憶體單元14的容量可不小於(等於或是大於)位於中央處理單元16內部的第二級記憶體單元20的容量。中央處理單元16及硬體加速引擎18都可以根據仲裁器12而直接透過內部匯流排13存取第一級記憶體單元14，以減少中央處理單元16及硬體加速引擎18存取資料的時間。

在一實施例中，由於第一級記憶體單元14有複數個，例如圖2所示之三個第一級記憶體單元14，中央處理單元16可透過仲裁器12優先存取其中一個第一級記憶體單元14，以存取資料。其中，這些第一級記憶體單元14可以為相同尺寸規格的記憶體，也可以為不同尺寸規格的記憶體，可視實際使用狀態來決定，使第一級記憶體單元14與仲裁器12的配合下可以實現中央處理單元16和硬體加速引擎18都有平均更小的存取延遲。

在一實施例中，中央處理單元16更另外電性連接一匯流排22，且另有一主記憶體24電性連接至匯流排22，提供中央處理單元16透過匯流排22存取主記憶體24內的資料。在一實施例中，主記憶體24係為非揮發記憶體，例如固態硬碟（SSD），用以儲存資料。在一實施例中，匯流排22係為開放核心協議（Open Core Protocol，OCP）架構或是高級微控制器匯流排架構（Advanced Microcontroller Bus Architecture，AMBA）。

請同時參閱圖2及圖3所示，在一實施例中，中央處理單元16包含有一核心電路26、一第一級控制電路28、一第一級快取單元30、一第二級控制電路32、前述之第二級記憶體單元20、一第二級快取單元34以及一匯流排介面單元（Bus Interface Unit，BIU）36。第一級控制電路28電性連接核心電路26及內部匯流排13，以透過內部匯流排13電性連接仲裁器12，使核心電路26優先透過第一級控制電路28及仲裁器12存取第一級記憶體單元14內的資料，第一級快取單元30亦電性連接第一級控制電路28，使核心電路26透過第一級控制電路28存取第一級快取單元30。第二級控制電路32電性連接第一級控制電路28、第二級記憶體單元20以及第二級快取單元34，使核心電路26透過第二級控制電路32存取第二級記憶體單元20或第二級快取單元34。匯流排介面單元36電性連接第一級控制電路28、第二級控制電路32及匯流排22，使第一級控制電路28及第二級控制電路32透過匯流排介面單元36電性連接至匯流排22，以進行訊號的傳輸或資料的存取。其中，第一級記憶體單元14、第一級快取單元30、第二級記憶體單元20以及第二級快取單元34係為揮發性記憶體，例如靜態隨機存取記憶體（SRAM），所以具有存取速度快的特點，以利用此特點將需要運行之程式資料從主記憶體24複製並緩存於第一級記憶體單元14、第一級快取單元30、第二級記憶體單元20或第二級快取單元34中，使核心電路26或硬體加速引擎18得以快速存取資料，並且，核心電路26於存取資料時的優先存取順序係依序為第一級記憶體單元14、第一級快取單元30、第二級記憶體單元20以及第二級快取單元34。

請同時參閱圖2及圖4所示，在另一實施例中，中央處理單元16更包含有一第三級控制電路38、一第三級記憶體單元40以及一第三級快取單元42。第三級控制電路38設置於第二級控制電路32及匯流排介面單元36之間，並電性連接第二級控制電路32、匯流排介面單元36、第三級記憶體單元40以及第三級快取單元42，使核心電路26透過第三級控制電路38存取第三級記憶體單元40或第三級快取單元42。其中，第三級記憶體單元40及第三級快取單元42亦為揮發性記憶體，例如靜態隨機存取記憶體（SRAM），且核心電路26於存取資料時的優先存取順序係依序為第一級記憶體單元14、第一級快取單元30、第二級記憶體單元20、第二級快取單元34、第三級記憶體單元40以及第三級快取單元42。其中，第二級記憶體單元20的容量小於第三級記憶體單元40的容量。而第一級記憶體單元14位於中央處理單元16的外部，因此，第一級記憶體單元14的容量可小於或不小於(等於或是大於)位於中央處理單元16內部的第三級記憶體單元40的容量。

在一實施例中，請參閱圖3及圖4所示，第一級控制電路28更進一步包含有一指令控制電路以及資料控制電路（圖中未示），第一級記憶體單元14包含一指令記憶體單元以及一資料記憶體單元（圖中未示），第一級快取單元30則包含一指令快取單元以及一資料快取單元（圖中未示），且指令控制電路電性連接指令記憶體單元及指令快取單元，資料控制電路電性連接資料記憶體單元及資料快取單元。

為了增加使用彈性，本案於處理暨儲存電路10中增設一個從介面電路44，請參閱圖5所示，處理暨儲存電路10包含仲裁器12、內部匯流排13、第一級記憶體單元14、中央處理單元16、硬體加速引擎18以及從介面電路（slave interface circuit）44，且仲裁器12、第一級記憶體單元14、中央處理單元16、硬體加速引擎18及從介面電路44係電性連接內部匯流排13。從介面電路44透過內部匯流排13電性連接仲裁器12以及電性連接匯流排22，使電性連接匯流排22之硬體裝置46可以經由匯流排22、從介面電路44及內部匯流排13至第一級記憶體單元14內存取資料。其中，仲裁器12設定中央處理單元16存取第一級記憶體單元14之優先權大於硬體加速引擎18及從介面電路44。是以，本案藉由新增設的從介面電路44，讓匯流排22上的其他硬體裝置46也可以通過匯流排22存取第一級記憶體單元14內的資料。舉例而言，在主記憶體24為固態硬碟的應用中，中央處理單元16的韌體會將儲存在主記憶體24內的表格資料（table data）透過匯流排22、仲裁器12及內部匯流排13傳送至第一級記憶體單元14中緩存，再驅動硬體加速引擎18直接透過仲裁器12存取位於第一級記憶體單元14內的表格資料並進行加速處理，以得到最後的處理結果。

承上，在圖2所示之處理暨儲存電路10中，中央處理單元16及硬體加速引擎18皆是透過仲裁器12存取第一級記憶體單元14，並由仲裁器12設定存取優先順序。在圖5所示之處理暨儲存電路10中，中央處理單元16、硬體加速引擎18及從介面電路44皆是透過仲裁器12存取第一級記憶體單元14，並由仲裁器12設定存取優先順序。其中，仲裁器12於作動時的詳細時序則如圖6所示，可配合中央處理單元16的頻率速度（clk_cpu）進行寫入或讀取的運作。

在一實施例中，請參閱圖5所示，當硬體加速引擎18及從介面電路44同時存取第一級記憶體單元14時，仲裁器12設定硬體加速引擎18及從介面電路44交替存取，以輪流存取第一級記憶體單元14。

在一實施例中，硬體裝置46係可為通用型直接記憶體存取（general DMA）控制器、快閃控制器（flash controller）、PCIe（PCI Express）控制器等，但不以此為限。

在一實施例中，如圖2或圖5所示，由於第一級記憶體單元14設置於中央處理單元16外部，對於只有一個記憶體埠的中央處理單元16而言，只要中央處理單元16具有對應的操作介面訊號即可。另一實施例中，該處理暨儲存電路10係為多核心(core)電路，也就是，該處理暨儲存電路10具有多(至少二)個中央處理單元16，每個中央處理單元16具有一個記憶體埠，如此，便實現了具有複數個記憶體埠，這些記憶體埠通過內部匯流排13電性連接至第一級記憶體單元14，用以透過仲裁器12存取第一級記憶體單元14，此時，各中央處理單元16可透過一中止（halt）訊號來進行握手協定，以處理這些記憶體埠存取同一第一級記憶體單元14，亦即根據中止訊號來協調記憶體埠輪流對同一個第一級記憶體單元14進行存取。

進行模擬可更易理解本案與習知技術之間的差異，其模擬過程的相關內容、實驗資料僅為舉例之用，不應為本案的限制。在模擬設定中，中央處理單元的頻率速度為700 MHz，匯流排的頻率速度為280 MHz，以及硬體加速引擎以寫緩存映射表(Write cache mapping table，WCMT)硬體加速引擎為例，其中，該寫緩存映射表硬體加速引擎用以處理一寫緩存映射表(WCMT)。對於習知的處理暨儲存電路而言，WCMT硬體加速引擎只能透過匯流排去存取資料，以圖1的習知無緊耦合之處理暨儲存電路進行模擬，以模擬電路在讀取與寫入時所耗費的時間，模擬結果顯示一筆讀取需要耗費43 ns（此時之頻率為280 MHz），一筆寫入需要耗費25 ns（此時之頻率為280 MHz），由於WCMT啟動一次，大約需要5000次讀取以及3000次寫入，即使WCMT通過加速手段避免了部分輸入輸出延遲（IO latency），整個實際執行完成時間大約需要103 µs。另一方面，在相同模擬條件下，採用本案具有緊耦合之處理暨儲存電路進行模擬，WCMT硬體加速引擎透過仲裁器和中央處理單元共用第一級記憶體單元，模擬電路在讀取與寫入時所耗費的時間，模擬結果顯示一筆讀取需要耗費1.4 ns（此時之頻率為700 MHz），一筆寫入需要耗費2.8 ns（此時之頻率為700 MHz），整個實際執行完成時間僅需約13 µs，此時間遠小於習知電路所耗費的時間（103 µs），是以，本案確實可以達到減少中央處理單元及硬體加速引擎存取資料之時間開銷的功效。

綜上所述，本案係為一種高性能資料緊耦合加速實現方案，利用硬體設計上的改變，來提升中央處理單元及硬體加速引擎存取資料的速度，相較於傳統技術，本案可以在不修改演算法的情況下直接提升性能，也兼顧了設計彈性，便於開發更多快速高效的加速方案。因此，本案在保證中央處理單元存取速度的情況下，將硬體加速引擎於物理實現上與記憶體（第一級記憶體單元）緊耦合在一起，以有效減少中央處理單元及硬體加速引擎存取資料的時間開銷，讓資料通路的延遲最優化，進而提高硬體加速引擎的性能。

以上所述的實施例僅係為說明本案的技術思想及特點，其目的在使熟悉此項技術者能夠瞭解本案的內容並據以實施，當不能以之限定本案的專利範圍，即大凡依本案所揭示的精神所作的均等變化或修飾，仍應涵蓋在本案的申請專利範圍內。

10:處理暨儲存電路 12:仲裁器 13:內部匯流排 14:第一級記憶體單元 16:中央處理單元 18:硬體加速引擎 20:第二級記憶體單元 22:匯流排 24:主記憶體 26:核心電路 28:第一級控制電路 30:第一級快取單元 32:第二級控制電路 34:第二級快取單元 36:匯流排介面單元 38:第三級控制電路 40:第三級記憶體單元 42:第三級快取單元 44:從介面電路 46:硬體裝置

圖1為習知的系統單晶片（SOC）電路之方塊示意圖。 圖2為根據本案一實施例的處理暨儲存電路之方塊示意圖。 圖3為根據本案一實施例的中央處理單元之方塊示意圖。 圖4為根據本案另一實施例的中央處理單元之方塊示意圖。 圖5為根據本案另一實施例的處理暨儲存電路之方塊示意圖。 圖6為根據本案一實施例的仲裁器之時序示意圖。

10:處理暨儲存電路

12:仲裁器

13:內部匯流排

14:第一級記憶體單元

16:中央處理單元

18:硬體加速引擎

20:第二級記憶體單元

22:匯流排

24:主記憶體

Claims (10)

1. 一種處理暨儲存電路，包含：一仲裁器；至少一第一級記憶體單元，電性連接該仲裁器；至少一中央處理單元，電性連接該仲裁器並具有一第二級記憶體單元，該中央處理單元透過該仲裁器存取該第一級記憶體單元，該中央處理單元於存取資料時，係優先存取該第一級記憶體單元；至少一硬體加速引擎，電性連接該仲裁器，以透過該仲裁器存取該第一級記憶體單元；以及一內部匯流排，該仲裁器、該至少一第一級記憶體單元、該中央處理單元及該至少一硬體加速引擎電性連接該內部匯流排，使該中央處理單元或該至少一硬體加速引擎透過該仲裁器及該內部匯流排存取該第一級記憶體單元；其中，該仲裁器設定該中央處理單元存取該第一級記憶體單元之優先權大於該硬體加速引擎。
2. 如請求項1所述之處理暨儲存電路，其中該第一級記憶體單元的容量不小於該第二級記憶體單元的容量。
3. 如請求項1所述之處理暨儲存電路，其中該中央處理單元更電性連接一匯流排，且該匯流排係用以電性連接至少一硬體裝置；以及該處理暨儲存電路更包含一從介面電路，電性連接該內部匯流排及該匯流排，使該至少一硬體裝置透過該仲裁器以經由該匯流排、該從介面電路及該內部匯流排存取該第一級記憶體單元。
4. 如請求項3所述之處理暨儲存電路，其中該硬體加速引擎及該從介面電路同時存取該第一級記憶體單元時，該仲裁器設定該硬體加速引擎及該從介面電路交替存取該第一級記憶體單元。
5. 如請求項1、2、3或4所述之處理暨儲存電路，其中該中央處理單元更包含：一核心電路；一第一級控制電路，電性連接該核心電路及該內部匯流排，以透過該仲裁器存取該第一級記憶體單元；一第一級快取單元，電性連接該第一級控制電路，使該核心電路透過該第一級控制電路存取該第一級快取單元；一第二級控制電路，電性連接該第一級控制電路；該第二級記憶體單元，電性連接該第二級控制電路，使該核心電路透過該第二級控制電路存取該第二級記憶體單元；一第二級快取單元，電性連接該第二級控制電路，使該核心電路透過該第二級控制電路存取該第二級快取單元；以及一匯流排介面單元，電性連接該第一級控制電路、該第二級控制電路及該匯流排，該第一級控制電路及該第二級控制電路透過該匯流排介面單元電性連接至該匯流排。
6. 如請求項5所述之處理暨儲存電路，其中該核心電路於存取資料的存取順序係依序為該第一級記憶體單元、該第一級快取單元、該第二級記憶體單元以及該第二級快取單元。
7. 如請求項1、2、3或4所述之處理暨儲存電路，其中該中央處理單元係為至少二個中央處理單元而具有複數個記憶體埠，該些記憶體埠通過該內部匯流排電性連接該第一級記憶體單元，該中央處理單元更透過一中止訊號來進行握手協議，以處理該些記憶體埠存取同一該第一級記憶體單元。
8. 如請求項7所述之處理暨儲存電路，其中該至少一第一級記憶體單元為複數個時，該中央處理單元透過該仲裁器存取其中一該第一級記憶體單元，以存取資料。
9. 如請求項1、2、3或4所述之處理暨儲存電路，其中該硬體加速引擎透過該仲裁器和該中央處理單元共用該第一級記憶體單元。
10. 如請求項1、2、3或4所述之處理暨儲存電路，其中該硬體加速引擎包含有一寫緩存映射表硬體加速引擎，該寫緩存映射表硬體加速引擎用以處理一寫緩存映射表。

Images