TWI517695B - 晶片內／晶片外記憶體管理 - Google Patents

Description

晶片內/晶片外記憶體管理

本發明大抵關於電腦，特別是關於視頻處理。

有許多應用中視頻必須予以處理及/或儲存。其一範例為視頻監控，其中一或多個視頻進給可經接收、分析、及處理，以用於保全或其他目的。另一習知應用係用於視訊會議。

典型上，一般用途之處理器(例如中央處理單元)係用於視頻處理。在某些情況中，一特殊處理器(稱之為圖形處理器)可協助中央處理單元。

視頻分析牽涉到取得有關於視頻資訊內容之資訊。例如，視頻處理可包括內容分析，其中內容視頻係經分析以偵測某些事件或事變，或用以發現有利資訊。

根據一些實施例，用於一視頻分析引擎之一記憶體控制器可以藉由自動存取一主記憶體內之一整體矩陣或一主記憶體內之任意儲存位置，而增進記憶體操作。在一些實施例中，主記憶體可儲存一二維(2D)表示，其致能記憶體控制器隨機存取記憶體矩陣內之任意位置(包括一像素)。

在一些實施例中，內部記憶體可表示為一2D記憶體 矩陣及外部記憶體可以是一般線性記憶體。儲存於線性記憶體中之資料隨後可轉換成一二維格式，以用於一視頻分析引擎內。

參閱圖1，一電腦系統10可以是各種不同電腦系統之任一者，包括使用視頻分析(例如視頻監控及視訊會議應用)、以及不使用視頻分析等實施例者。舉例而言，電腦系統10可以是一桌上型電腦、一伺服器、一膝上型電腦、一行動網際網路裝置、或一行動電話。

系統10可以具有一或多個耦合於一系統匯流排14之主機中央處理單元12。一系統記憶體22可耦合於系統匯流排14。儘管本文提出一主機系統架構之範例，但是本發明絕非侷限於任意特定系統架構。

系統匯流排14可耦合於一匯流排介面16，再依此耦合於一般匯流排18。在一實施例中，可以使用周邊組件互連高速(PCIe)匯流排，但是本發明絕非侷限於任意特定匯流排。

一視頻分析引擎20可以透過一匯流排18而耦合於主機中央處理單元。在一實施例中，視頻分析引擎可以是一兼具編碼及視頻分析之單一整合電路。在一實施例中，整合電路可以使用嵌入式動態隨機存取記憶體(EDRAM)技術。惟，在一些實施例中，編碼或視頻分析其中之一可以省略。此外，在一些實施例中，引擎20可包括一記憶體控制器，其控制一板上整合之二維矩陣記憶體，以及提供與一外部記憶體之通信。

因此，在圖1所示之實施例中，視頻分析引擎20係與一本地動態隨機存取記憶體(DRAM)19通信。更明確地說，視頻分析引擎20可包括一記憶體控制器，用於存取記憶體19。另者，引擎20可使用系統記憶體22及可包括對於系統記憶體之一直接連接。

視頻分析引擎20亦可供一或多個照相機24耦合。在一些實施例中，可以同時接收多達四個標準清晰度格式之視頻輸入。在一些實施例中，一高清晰度輸入可提供於三個輸入上且一標準清晰度可提供於第四個輸入上。在其他實施例中，可以提供或多或少之高清晰度輸入及或多或少之標準清晰度輸入。例如，三個輸入可以各接收十位元之高清晰度輸入資料，例如，R、G及B輸入或Y、U及V輸入，各在一各別之十位元輸入線上。

圖2中所示視頻分析引擎20之一實施例有四個照相機通道輸入，如圖式頁面頂部所示。四個輸入可由一視頻捕捉介面26接收。視頻捕捉介面26可以同時接收多數個照相機輸入形式或其他視頻資訊之視頻輸入，舉例而言，其包括電視、數位視頻記錄器、或媒體播放器輸入。

視頻捕捉介面自動捕捉及複製各輸入訊框。輸入訊框之一複製件提供至VAFF單元66及其他複製件提供至VEFF單元68。VEFF單元68負責將視頻儲存在外部記憶體上，如圖1中所示之記憶體22。在一實施例中，外部記憶體可耦合於一晶片內系統記憶體控制器/仲裁器50。在一些實施例中，外部記憶體上之儲存資料可用於視頻編 碼。更明確地說，若複製件儲存於外部記憶體上，其可由視頻編碼器32存取，用於依一所需之格式將資訊編碼。在一些實施例中，複數個格式可供使用且系統可選擇一最想要的特定編碼格式。

如上所述，在一些情況中，視頻分析可用於增進由視頻編碼器32執行的編碼過程之效率。一旦訊框編碼，其可透過周邊組件互連(PCI)高速匯流排36提供至主機系統。

同時，輸入視頻訊框之其他複製件儲存在二維矩陣或主記憶體28上。VAFF可以同時處理及傳輸所有四個輸入視頻通道。VAFF可包括四個複製單元，以處理及傳輸視頻。用於記憶體28之視頻傳輸可以使用多工。在一些實施例中，由於在視頻折返時間內之固有延遲，多數個通道之轉移可以即時完成。

在主記憶體上之儲存可選擇以非線性或線性方式執行。以往，將一或多個位置線性定址於相交位址線上係指定用於存取記憶體位置。在一些情況中，可指定一位址線(例如一字元或位元線)及可指示出一沿著該字元或位元線之範圍，使得一位址記憶體線之一部分可自動依序儲存。

對比之下，在二維或非線性定址中，列與行線皆可在一次操作中存取。操作可以指定記憶體矩陣內之一初始點，例如二位址線(例如列或行線)之相交點。接著一記憶體容量或定界符提供用於指出矩陣之二維範圍，例如沿 著列與行線。一旦指定初始點，整個矩陣即可藉由自動增加可定址之位置而自動儲存。易言之，不必回到主機系統或其他裝置去決定用於儲存在初始點後的記憶體矩陣後續部分之位址。二維記憶體即卸下產生位址之工作或者實質上完全省除。結果，在一些實施例中，所需之頻寬及存取時間兩者皆可減少。

基本上相同之操作可以逆向完成，以讀取一二維記憶體矩陣。另者，一二維記憶體矩陣也可以使用習知線性定址存取。

儘管所舉之範例中係指定記憶體矩陣之容量，也可以設置其他定界符，包括在二維之各者中的一範圍(亦即，沿著字元及位元線)。二維記憶體之優越性在使用於靜態與動態圖案、圖形、及其他具有二維資料的應用。

資訊可用二維或一維形式儲存在記憶體28中。在一實施例中，一、二維之間之轉換可以在硬體中自動即時發生。

在一實施例中，多數個串流之視頻編碼可在一視頻編碼器中進行，且多數個串流也同時在視頻分析功能單元42中進行分析。此可藉由在視頻捕捉介面26中製成各串流之一複製件及將各串流之一組複製件傳送至視頻編碼器32以執行，而另一複製件前往視頻分析功能單元42。

在一實施例中，複數個串流各者之一時間多工可以在視頻編碼器32及視頻分析功能單元42各者中進行。例如，基於使用者輸入，來自第一串流之一或多個訊框可先 編碼，接著是來自第二串流之一或多個訊框，接著是來自下一串流之一或多個訊框，等等。相似地，時間多工可依相同方式使用在視頻分析功能單元42中，其中，基於使用者輸入，來自第一串流之一或多個訊框先接受視頻分析，然後是來自下一串流之一或多個訊框，等等。因此，一串列之串流實質上可以在視頻編碼器及視頻分析功能單元中同時處理(亦即，一次拍攝)。

在一些實施例中，使用者可以設定最先處理串流之順序及各串流在任意特定時間下處理多少訊框。在視頻編碼器及視頻分析引擎之情況中，隨著訊框處理，其可在匯流排36上輸出。

編碼器中各串流之上下文可維持在一專屬於暫存器組122中的串流者之暫存器中，暫存器組包括各串流用之暫存器。暫存器組122可以記錄以各種方式的其中之一指定之編碼特徵，包括一使用者輸入。例如，解析度、壓縮率、及各串流所需之編碼類型皆可記錄。接著，隨著時間多工編碼進行，視頻編碼器可以存取來自暫存器116之正在受處理之目前串流用之正確特徵，以用於正確之串流。

相似地，相同事情可以在視頻分析功能單元46中使用暫存器組124完成。易言之，每一串流的視頻分析處理或編碼之特徵可在暫存器124及122內完成，且其中一暫存器保留給各暫存器組中之各串流。

此外，使用者或某些他源可以指示將特徵即時變更。藉由「即時」，其意指在視頻分析功能單元42情況中或 在編碼情況中、在視頻編碼器32情況中，分析處理期間所發生之變更。

處理一訊框中當一變更進來時，變更可初始記錄於影子暫存器116中，以用於視頻編碼器，及記錄於影子暫存器114中，以用於視頻分析功能單元42。接著，一旦訊框(或指定之訊框數)完成，視頻編碼器32即檢查是否有任何變更已儲存於暫存器116中。若是，視頻編碼器將這些變更在路徑120上轉移到暫存器122，更新暫存器中之新特徵，以適於即時變更其編碼特徵之各串流。

再者，在一實施例中，相同之即時變更可以在視頻分析功能單元42中完成。當偵測到一即時變更時，現有訊框(或一組現有工作)可以使用舊特徵完成，同時將變更儲存於影子暫存器114中。接著在一工作量或訊框已完成處理後，變更可以適時在匯流排118上從暫存器114轉移到視頻分析功能單元42，以供儲存於暫存器124中，正常情況下將儲存用於暫存器124之中各別暫存器的任意特定串流之特徵替換。接著，一旦完成更新，下一處理量使用新特徵。

因此，請參閱圖6，一序列130可以在軟體、韌體、及/或硬體中執行。在以軟體或韌體為基礎之實施例中，序列可以藉由一非暫態電腦可讀媒體(例如，光學性、磁性、或半導體記憶體)中所儲存之電腦執行指令執行。例如，在一實施例中，在編碼器32之情況，序列可以儲存在編碼器內之一記憶體中，及在視頻分析功能單元之情 況，其例如可以儲存在像素管線單元44中。

初始，序列等待上下文指令之使用者輸入做編碼或分析。在一些實施例中，編碼或分析之流程可以相同。一旦收到使用者輸入，如菱形132中所判斷，上下文即儲存以用於一適當暫存器122或124中之各串流，如方塊134中所示。接著開始時間多工處理，如方塊136中所示。在該處理期間，在菱形138處之一檢查判斷是否已有任何處理變更指令。若無，在菱形142處之一檢查即判斷處理是否完成。若無，則繼續時間多工處理。

若已收到一處理變更，可將其儲存在適當之影子暫存器114或116中，如方塊140中所示。接著，當一目前處理工作完成時，該變更可以在下一組操作中自動執行，其在編碼器32之情況中為編碼，或者在功能單元42之情況中則為分析。

在一些實施例中，編碼之頻率可以隨著編碼器上之工作量而改變。大抵上，編碼器運作快到足以使其在從記憶體讀出下一訊框前即可完成一訊框之編碼。在許多情況中，編碼引擎可在從記憶體讀出下一訊框或訊框組前用比編碼一訊框或訊框組所需者快之速度運作。

上下文暫存器可儲存用於進行編碼或分析時所需之任意準則，其在編碼器之情況中包括解析度、編碼類型、及壓縮率。大抵上，處理可以從一串流或通道依輪替方式進行到下一串流或通道而完成。在一實施例中，編碼資料隨後輸出至PCI高速匯流排18。在一些實施例中，與PCI 高速匯流排相關聯之緩衝器可以從各通道接收編碼。亦即，在一些實施例中，一緩衝器可設置用於與PCI高速匯流排相關聯之各視頻通道。各通道緩衝器可清空於由一與PCI高速匯流排相關聯的仲裁器控制之匯流排。在一些實施例中，仲裁器對匯流排清空各通道可由使用者輸入支配。

因此，請參閱圖3，一用於視頻捕捉20之系統可以在硬體、軟體、及/或韌體中執行。在某些情況中，硬體實施例較為有利，因為其可以有較大速度。

如方塊72中所示，視頻訊框可以從一或多個通道接收。接著複製訊框，如方塊74中所示。隨後，視頻訊框之一複製件儲存在外部記憶體中，以供編碼，如方塊76中所示。另一複製件則儲存在內部或主記憶體28中，以供分析，如方塊78中所示。

接著請參閱圖4中所示之二維矩陣序列80，一序列以在軟體、韌體、或硬體中執行。同樣地，其使用於硬體之實施例可有速度上之優越性。

初始，在菱形82處之一檢查判斷是否已收到一儲存指令。以往，此類指令可從主機系統接收，特別是從其中央處理單元12。諸指令可由一調度單元34接收，隨後再提供指令至引擎20之適當單元，用於執行指令。在一些實施例中，當指令已執行時，調度單元回報給主機系統。

若牽涉到一儲存指令，如菱形82中所判斷，則可接收到一初始記憶體位置及二維容量之資訊，如方塊84中 所示。隨後資訊儲存於一適當之二維矩陣中，如方塊86中所示。初始位置例如可以界定矩陣左上角。儲存操作可自動找到所需容量的記憶體20內之一矩陣，以利執行操作。在一些實施例中，一旦具備記憶體中之初始點時，操作可自動儲存矩陣之後續部分，不需要額外之定址計算。

反之，若牽涉到一讀取存取，如菱形88中所判斷，則接收初始位置及二維容量之資訊，如方塊90中所示。隨後讀取指定之矩陣，如方塊92中所示。同樣地，存取可自動進行，其中初始點可存取，一如習知線性定址所執行，且隨後自動判斷其餘位址，不需要依習知方式返回及計算位址。

最後，若已從主機系統收到一移動指令，如方塊94中所示，則接收初始位置及二維容量之資訊，如方塊96中所示，及自動執行移動指令，如方塊98中所示。同樣地，資訊矩陣可從一位置自動移至另一位置，其僅藉由指定一啟始位置及具備容量之資訊。

復參閱圖2，視頻分析單元42可透過一像素管線單元44耦合於系統之其餘部分。單元44可包括一執行來自於調度單元34的指令之狀態機器。典型上，這些指令源自主機系統及由調度單元執行。許多不同分析單元可基於應用而包括在內。在一實施例中，其可包括一捲積單元46以用於自動捲積。

捲積指令可同時包括一指令及一用於指定一遮罩、參考或核心之參數，使得在一捕捉影像中之一特性可比較於 記憶體28中之一參考二維影像。指令可包括一用於指定將捲積結果儲存於何處之目的地。

在某些情況下，各視頻分析單元可以是一硬體加速器。藉由「硬體加速器」，其意指一硬體裝置且其執行一功能時比在一中央處理單元上運算之軟體快速。

在一實施例中，各視頻分析單元可以是一狀態機器，其係由專屬於該單元特定功能之特殊化硬體執行。因此，諸單元可用較快速方式執行。再者，由一視頻分析單元執行之各操作僅需一時脈週期，因為其皆須告知硬體加速器以執行工作，且提供參數以用於工作及操作序列隨後方可執行，不必任何處理器(包括主處理器)之進一步控制。

在一些實施例中，其他視頻分析可包括一自動計算質心之質心單元48、一自動判斷柱形圖之柱形圖單元50、及一膨脹/腐蝕單元52。

膨脹/腐蝕單元52負責自動增加或減少一特定影像之解析度。當然，除非已取得資訊，否則不可能增加解析度，但是在某些情況下，一以較高解析度接收之訊框可以較低解析度處理。因此，訊框可以較高解析度取得及可由膨脹/腐蝕單元52轉變成較高解析度。

矩陣記憶體轉移(MTOM)單元54負責執行移動指令，如上所述。在一些實施例中，可以備有一算術單元56及一布林(Boolean)單元58。即使這些相同單元可與一中央處理單元或一現有之共同處理器連接而取得，較有利的是將其裝設於引擎20上，因為其設在晶片內可以減少 從引擎20到主機系統來回多次資料轉移操作之必要。再者，藉由將其裝設於引擎20上，二維或矩陣主記憶體可用於某些實施例中。

一擷取單元60可設置用於從一影像取得向量。一查詢單元62可用於查詢特殊類型資訊，查看其是否已儲存。例如，查詢單元可用於尋找已儲存之柱形圖。最後，當影像之解析度對於一特殊工作而言為過高時，則使用子樣本單元64。影像可經由子採樣以減小其解析度。

在一些實施例中，也可以設置其他組件，包括一用於與照相機組態指令聯繫之I₂C介面38，及一連接於所有對應模組之通用輸入/輸出裝置40，以接收通用之輸入/輸出及在一些實施例中使用相關於除錯。

最後，請參閱圖5，在一些實施例中可以執行一分析輔助編碼方案100。該方案可以在軟體、韌體、及/或硬體中執行。惟，硬體實施例可能較快速。分析輔助編碼可使用分析能力以判斷視頻資訊之一特定訊框(若有的話)的哪些部分應該編碼。因此，在一些實施例中有些部分或訊框可以不必編碼，所以速度及頻寬得以增加。

在一些實施例中，編碼或不編碼的部分可以依指定及可基於例如可用之電池電量、使用者選擇、及可用之頻寬而即時判斷。較特別的是，相較於確認訊框以判斷是否全部訊框皆需編碼或是否僅一部分訊框需編碼，影像或訊框分析可在現有訊框上完成。此分析輔助編碼係對比於習知基於僅決定是否包括動作向量而編碼，但是仍將各別及每 一訊框編碼的動作估算。

在本發明之一些實施例中，連續之訊框係在一選擇基礎上編碼或不編碼，且在一訊框內之選擇區域(基於這些區域內之動作範圍)可以全部編碼或不編碼。接著，解碼系統被告知有多少訊框已編碼或未編碼，及可單純依需要而複製。

請參閱圖5，一第一訊框或若干訊框可在開始時完全編碼，如方塊102中所示，以利判斷一基礎或參考值。接著，在菱形104處之一檢查判斷是否應提供分析輔助編碼。若不使用分析輔助編碼，編碼即如習知方式進行。

若提供分析輔助編碼，如菱形104中所判斷，則確定一臨限值，如方塊106中所示。臨限值可以是固定或者自適應式，其例如取決於非動作因素(例如可用之電池電量、可用之頻寬、或使用者選擇)。接著，在方塊108中，現有訊框及後續訊框係經分析以判斷是否有超過臨限值之動作及，若為是，其是否可隔離到特殊區域。就此而言，可以使用許多不同之分析單元，其包括但是不限定的有捲積單元、膨脹/腐蝕單元、子樣本單元、及查詢單元。特別是，訊框之影像可分析用於一臨限值以上之動作、相對於先前及/或後續訊框分析。

接著，如方塊110中所示，可將動作超過一臨限值之區域定位。在一實施例中，只有在這些區域外的區域可作編碼，如方塊112中所示。在某些情況中，一特定訊框上可能完全無區域可作編碼且此結果僅作記錄，使得訊框可 在解碼期間單純複製。大抵上，編碼器係在標頭或其他位置提供有關於已編碼哪些訊框及訊框是否僅有已編碼部分等資訊。在一些實施例中，編碼部分之位址可用一初始點及一矩陣大小之形式提供。

根據某些實施例，記憶體控制器50可自動定位主記憶體28內之一整個矩陣或者可存取一儲存於主記憶體矩陣內的2D表示內之任意像素。在一些實施例中，記憶體控制器係特定設計用於配合視頻儲存，這與一般儲存不同。在一些實施例中，記憶體控制器可存取一整個訊框或一像素。欲存取一整個訊框，所需者為訊框之一啟始點及訊框大小。隨後所有位址在記憶體控制器50內做內部計算。

矩陣隨後分解成例如8×8或16×16大小之巨集區塊。由控制器界定之矩陣本身可以是任意所想要的大小。

在一些實施例中，此二維配置方式及記憶體控制器存取主記憶體內矩陣之使用方式具有多項優點。諸項優點之其中一例為一螢幕整體呈單色。取代於處理整個螢幕，可以改為一次處理一個8×8巨集區塊及產生一柱形圖以判斷各8×8巨集區塊是否皆為同一顏色。若是，則其皆須分析任一8×8巨集區塊且整個訊框係有效分析。

因此，在一些實施例中，矩陣可以是任意大小，像素可以是任意大小(包括8、16、24、32位元)，及矩陣可以是二維矩陣。儘管記憶體通常為線性，線性位址係由記憶體控制器轉換成二維位址。

請參閱圖7，記憶體控制器50之一較詳細說明提供於後。在一些實施例中，外部記憶體156可以是雙資料率(DDR)隨機存取記憶體156及非二維記憶體，取而代之的是習知線性記憶體。

因此，二維資料可以轉換成線性資料，以供儲存於外部記憶體156中及反之，來自外部記憶體156之線性資料可以轉換成二維資料，以供使用在記憶體控制器50內。

外部隨機存取記憶體156係由一類比物理或PHY 154連接於外部記憶體控制器152。外部記憶體控制器152連接於一外部記憶體仲裁器150。

仲裁器150連接於一讀寫直接記憶體存取(DMA)引擎142。引擎142提供一直接路徑以從PCI高速匯流排36(圖2)至內部記憶體28(圖2)或外部記憶體156。直接記憶體存取引擎144係提供用於主記憶體-外部記憶體(MTOE)轉換，意即其提供2D-線性轉換，及提供外部記憶體-主記憶體(ETOM)。回授直接記憶體存取(DMA)引擎146配合直接記憶體存取引擎144工作。引擎144產生引擎146之控制及請求，查看來自於引擎146之資料及當所需之資料已轉移時在準確時間發出信號，及隨後請求引擎146取消懸而未決之請求。引擎142、144、146連接於主記憶體指令仲裁器148，由此而連接於主記憶體28，如圖2中所示。

複數個編碼器158、160、162、164可與主記憶體仲裁器166及外部記憶體仲裁器150配合工作。虛擬通道識 別符(VCI)視頻佇列158係一將視頻寫入內部或主記憶體28之媒介。在一實施例中，H.264視頻壓縮格式視頻佇列160係一從其中一記憶體壓縮與擷取視頻資料並使用編碼器暫存佇列164讀寫該資料之媒介。請參閱國際電信聯盟(ITU)2011年6月的H.264(MPEG-4)先進視頻編碼規格。佇列164使H.264視頻佇列完成讀寫。惟，JPEG影像壓縮格式視頻佇列162係一從其中一記憶體擷取但是僅讀而不寫資料之媒介。請參閱國際電信聯盟(ITU)1992年9月的JPEG標準T.81。在一實施例中，可以使用不同壓縮標準。

因此，VCI及編碼器皆可從主記憶體或外部記憶體操作。在編碼期間從二維主記憶體執行時，主記憶體編碼器仲裁器166完成所有轉換，而不使用引擎144、146。因此，在視頻編碼期間可以藉由仲裁器166執行較直接之轉換。在一實施例中，仲裁器166擷取資料及將其轉換成線性形式且傳送至佇列160。

請參閱圖8，一用於記憶體控制器50中的記憶體矩陣存取之佇列168可在軟體、硬體、及/或韌體中執行。在軟體及韌體實施例中可以藉由非暫態電腦可讀媒體(例如磁性、光學性、或半導體記憶體)中所儲存之電腦執行指令執行。

序列開始於菱形170，其判斷是否關於一隨機存取記憶體請求。若是，X及Y位址即用於存取一二維矩陣表示中所儲存之任意像素，如方塊172中所示。接著記憶體控 制器本身在內部計算存取位置所用之位址，如方塊174中所示。

另方面，若未關於一隨機存取，啟始位址及訊框位置即藉由記憶體控制器50取得(方塊176)且此資訊足以指定主記憶體內之一矩陣。接著諸位址係在內部計算，如方塊174中所示。

請參閱圖9，其揭示引擎144之一較詳細說明。一位址產生器190產生位址以用於外部記憶體。一直接記憶體存取(DMA)狀態機器192提供控制信號以用於位址產生器190。一寫入資料先進先出(FIFO)196提供空滿狀態信號至機器192及從機器192收到推出、選擇及爆出指令。其儲存待寫入資料(WrDATA)並將寫入資料輸出至外部記憶體。

一讀取資料先進先出(FIFO)198提供寬度、長度及完成信號至機器192。其自OR邏輯200收到一選擇及一多工器202之選擇。多工器202係由一邏輯單元194選擇。讀取資料先進先出輸出讀取值以用於外部記憶體，且從外部記憶體接收一爆出值。

欲轉移視頻資料於主記憶體28與外部記憶體之間，可以使用MTOE及ETOM指令。圖9中所示之DMA裝置係用於達成轉移視頻資料。在MTOE操作中，視頻矩陣資料被讀取及二維矩陣格式轉移至外部記憶體。在ETOM操作中，視頻矩陣資料係從線性格式之外部記憶體被讀取及轉移至主記憶體。在一些實施例中，DMA引擎可在兩記 憶體子系統上達成高處理量，以達成即時視頻分析操作。

視頻分析及視頻編碼功能需要大量記憶體以儲存多數個視頻訊框以及未經處理的視頻，同時需要極高頻寬存取以支援即時視頻分析及視頻編碼。此即外部DRAM及內部主記憶體發揮作用之處。外部記憶體可包括一使用極高頻寬之32位元寬介面，以維持即時高清晰度視頻編碼及高清晰度視頻分析。外部記憶體子系統支援兩種用於邏輯位址至實質位址映射之不同方法。

在列記憶庫控制(RBC)模式中，邏輯位址係映射如下。邏輯位址等於列位址、記憶庫位址、行位址之最高有效位元及這些位址之最低有效位元。依序之定址序列通過一整個外部記憶體頁。一頁即一記憶庫/列區間。隨後定址跳到下一外部記憶庫及讀取一整頁，等等。此可用在標準清晰度視頻所用之三個通道上。

例如，啟始於位址0並計數，讀取被指定做為記憶庫0/列0的頁內之所有字元，接著跳到記憶庫1/列0的頁面，讀取其所有字元，接著跳到記憶庫2/列0的頁面，及持續於諸頁(記憶庫及列)。

在一實施例中，一外部記憶體頁可以是4仟位元組，因為有10行位元及一32位元記憶體介面。所以每32仟位元組(O×8000)位址即落到同一外部記憶體記憶庫中，但是在一不同外部記憶體頁內。

開啟及關閉同一記憶庫內之外部記憶體頁需要介面上之額外週期使資料匯流排不足。因此，其優點在於避免頁 面衝突，以減少延遲時間並改善整體外部記憶體資料匯流排之足量。

視頻捕捉介面包括乒乓緩衝器以用於四個視頻通道之各者。在這些乒乓緩衝器內，每一視頻訊框配置三緩衝器，一記憶體緩衝器用於亮度分量及二記憶體緩衝器用於色度分量或紅色、綠色及藍色。不同於YCrCb之色彩空間也可以使用。

所有視頻介面提出請求以同時擷取亮度及色度分量。例如，視頻捕捉介面可以同時寫入所有四個通道之乒乓視頻緩衝器之亮度及色度分量，且視頻編碼器在這些視頻捕捉介面寫入期間讀取乓視頻。

為了避免外部記憶體頁衝突，在一實施例中，所有可行之存取應該分隔4仟位元組，而非32仟位元組。這是不可行的，因為總共有2×4×3或24個不同記憶體存取模式且僅8個記憶庫。惟，可以藉由下表中所述之方式配置記憶體緩衝器而減少頁面衝突，其中Ch代表通道，Y代表亮度，CB代表色度分量Cb，及CR代表色度分量Cr。

在記憶庫列控制(BRC)模式中，邏輯位址係映射如下。邏輯位址等於最高有效位元、記憶庫位址、列位址、 行位址及這些位址之最低有效位元。在此方法中，依序之定址序列通過一整頁(即一記憶庫/列區間)及隨後跳到同一記憶庫之下一頁。此可用於高清晰度模式。本方法應謹慎使用且適當之位址配置應針對各埠進行。

乒乓視頻緩衝器之Y、Cr及Cb分量可配置於不同記憶體記憶庫中。編碼器32及調度單元34中之暫存記憶體(如圖2)可以各別配置於剩餘之兩記憶庫中。例如，乒之Y、Cr及Cb分量可配置於記憶庫0、1及2中。且乓之Y、Cr及Cb分量可配置於記憶庫3、4及5中。

針對一256百萬位元組之外部記憶體，這些記憶體緩衝器各配置成間隔32百萬位元組，以利各自保持在不同記憶庫中。暫存記憶體可以配置於記憶庫6及調度單元可以配置於記憶庫7。本方法可以減少整體頁面衝突損失，因為外部記憶體控制器50(如圖2)執行預收費並且在進行存取於其他記憶庫時做臆測性作動。因此，在一些實施例中，本方法可以達成高資料匯流排效率及可以提供極高資料處理量。

請參閱圖11，一讀取序列300可以藉由判斷所接收到之視頻是否為一高清晰度或標準清晰度格式而開始，如菱形302中所示。若其係標準清晰度，則使用RBC模式於讀取，如方塊304中所示。否則，當視頻為高清晰度格式時，即使用BRC模式，如方塊306中所示。圖11之序列可以在一例子中執行做為狀態機器192之一部分，如圖9中所示。

圖3、4、5、8及11係流程圖，其可在硬體中執行。其亦可在軟體或韌體中執行，即其可在一非暫態電腦可讀媒體上實施，例如一光學性、磁性或半導體記憶體。非暫態媒體儲存指令以供一處理器執行。此一處理器或控制器之範例可包括分析引擎20且適用的非暫態媒體可包含主記憶體28及外部記憶體22兩者。

請參閱圖10，根據一實施例，一視頻捕捉介面26可捕捉高清晰度解析度或多數個標準清晰度視頻通道，以用於即時視頻分析。在一實施例中，介面可組態用於支援一高清晰度解析度視頻通道，或四標準清晰度視頻通道。其可支援任意視頻介面標準，包括國際電信聯盟(ITU)-建議書BT.656(12/07)、BT.1120及電影電視工程師協會(SMPTE)標準274M-2005/296M-2001。

在一實施例中，視頻管線對於垂直方向之視頻維度上並不設限。儘管水平方向之維度受限於可用之線緩衝器大小，但是去除垂直方向之限制可達成多種使用情形。

在一實施例中，即使在一視頻纜線實體上斷接時，介面26仍可繼續發揮功能。此外，在一些實施例中，即使在訊框因記憶體子系統中或PCI介面36(如圖2)上之來源衝突而必須清除時，此介面仍可繼續發揮功能。在一實施例中，一伽瑪校正功能可以使用一查詢表方法執行。此一方法提供韌體在選擇一像素轉換用的曲線時有較大彈性。

在一實施例中，一第二視窗功能可提供於各編碼及分 析路徑上。此可達成編碼及分析功能所用的視頻大小之獨立設定。韌體可做即時變更。在一些實施例中，在內部上，組態變化係同步於與其餘整合電路做無縫連接之訊框周邊。

在一實施例中，一內部之100佰萬赫玆時脈可在27佰萬赫玆至74.25佰萬赫玆中配合輸入視頻通道工作。此外，在一實施例中，核芯處理器可在300佰萬赫玆至500佰萬赫玆操作。

請參閱圖10，圖中有標示為0至3之四條輸入視頻通道。在一實施例中，高清晰度視頻可以提供於通道0至3中之任意二或三條上，且當高清晰度視頻提供於通道1及2時，其可轉移至與一視頻通道0相關聯之訊框捕捉單元176。大抵上，除了接收到高清晰度視頻之情況外，在所有情況中，視頻通道1至3可處理標準清晰度視頻。

訊框捕捉單元176提供高清晰度或標準清晰度視頻至一伽瑪查詢表(GLUT)178。伽瑪查詢表將輸入之標準清晰度YCrCb或高清晰度YCrCb或RGB視頻空間轉換成亮度及色度，以提供至縮減器180或182。縮減器180相關聯於編碼器及縮減器182相關聯於視頻分析引擎。

縮減器提供縮減之亮度及色度資料至一訊框格式器184。訊框格式器184隨後提供多數個輸出信號，包括一編碼器握手信號、一可用/完成/錯誤信號、及一送至外部記憶體寫入埠之寫入值位址資料信號、及一送至記憶體矩陣之寫入值位址。此外，訊框格式器184從編碼器收到一 準備信號，及從調度單元34(如圖2)轉移負載請求。

在一些實施例中，一視頻捕捉介面控制及狀態暫存器(CSR)邏輯186連接於訊框捕捉單元、伽瑪查詢表、縮減器及訊框格式器，並提供雙向存取至PCI高速匯流排36(如圖2)。

本文內所述之圖形處理技術可在許多硬體架構中執行。例如，圖形功能可以在一晶片組內整合。另者，可以使用一不連續之圖形處理器。就另一實施例而言，圖形功能可由一般用途之處理器執行，包括多核芯處理器。

關於本說明書全文中之「某一實施例」或「一實施例」意指有關於實施例中所述之一特定特性、結構、或特徵係包括在本發明內所涵蓋之至少一實施方式中。因此，「某一實施例」或「一實施例」等用語不必然是指同一實施例。再者，特定特性、結構、或特徵可用所示特定實施例以外之其他適當形式構成，且所有諸此形式皆包括在本申請案之申請專利範圍內。

儘管本發明已揭述相關於數量有限之實施例，習於此技者可瞭解其衍生出多數個修改及變化型式。因此文後之申請專利範圍即涵蓋本發明精神及範疇內之諸此修改及變化型式。

10‧‧‧電腦系統

12‧‧‧主機中央處理單元

14‧‧‧系統匯流排

16‧‧‧匯流排介面

18、36‧‧‧周邊組件互連高速匯流排

19‧‧‧動態隨機存取記憶體

20‧‧‧視頻分析引擎

22‧‧‧系統記憶體

24‧‧‧照相機

26‧‧‧視頻捕捉介面

28‧‧‧主記憶體

32‧‧‧視頻編碼器

34‧‧‧調度單元

38‧‧‧I₂C介面

40‧‧‧輸入/輸出裝置

42、46‧‧‧視頻分析功能單元

44‧‧‧像素管線單元

48‧‧‧質心單元

50‧‧‧柱形圖單元

52‧‧‧膨脹/腐蝕單元

54‧‧‧矩陣記憶體轉移單元

56‧‧‧算術單元

58‧‧‧布林單元

60‧‧‧擷取單元

62‧‧‧查詢單元

64‧‧‧子樣本單元

66‧‧‧VAFF單元

68‧‧‧VEFF單元

100‧‧‧分析輔助編碼方案

114、116‧‧‧影子暫存器

118‧‧‧匯流排

120‧‧‧路徑

122、124‧‧‧暫存器組

130‧‧‧序列

142‧‧‧讀寫直接記憶體存取引擎

144‧‧‧直接記憶體存取引擎

146‧‧‧回授直接記憶體存取引擎

148‧‧‧主記憶體指令仲裁器

150‧‧‧外部記憶體仲裁器

152‧‧‧外部記憶體控制器

154‧‧‧類比物理

156‧‧‧外部記憶體

158‧‧‧虛擬通道識別符視頻佇列

160‧‧‧H.264視頻壓縮格式視頻佇列

162‧‧‧JPEG影像壓縮格式視頻佇列

164‧‧‧編碼器暫存佇列

166‧‧‧主記憶體仲裁器

168‧‧‧佇列

176‧‧‧訊框捕捉單元

178‧‧‧伽瑪查詢表

180、182‧‧‧縮減器

184‧‧‧訊框格式器

186‧‧‧視頻捕捉介面控制及狀態暫存器邏輯

190‧‧‧位址產生器

192‧‧‧直接記憶體存取狀態機器

194‧‧‧邏輯單元

196‧‧‧寫入資料先進先出

198‧‧‧讀取資料先進先出

200‧‧‧OR邏輯

202‧‧‧多工器

300‧‧‧讀取序列

圖1係根據本發明之一實施例之一系統架構；圖2係如圖1中所示之根據一實施例之視頻分析引擎 之電路說明；圖3係根據本發明之一實施例之視頻捕捉流程圖；圖4係根據一實施例之二維矩陣記憶體流程圖；圖5係根據一實施例之分析輔助編碼流程圖；圖6係另一實施例之流程圖；圖7係如圖2中所示之根據一實施例之記憶體控制器之說明；圖8係根據一實施例之記憶體控制器流程圖；圖9係如圖7中所示之根據一實施例之MTOE/ETOM DMA引擎之概略說明；圖10係根據一實施例之一視頻捕捉介面之概略說明；及圖11係一實施例之流程圖。

10‧‧‧電腦系統

12‧‧‧主機中央處理單元

14‧‧‧系統匯流排

16‧‧‧匯流排介面

18‧‧‧周邊組件互連高速匯流排

19‧‧‧動態隨機存取記憶體

20‧‧‧視頻分析引擎

22‧‧‧系統記憶體

24‧‧‧照相機

Claims (30)

1. 一種方法，包含：判斷視頻是否為一高清晰度或標準格式；若該視頻為標準格式，讀取連續記憶體庫中之相同列；及若該視頻為高清晰度格式，讀取相同記憶體庫中之連續列。
2. 如申請專利範圍第1項之方法，其包括轉移視頻資料於內部與外部記憶體之間。
3. 如申請專利範圍第2項之方法，其包括藉由讀取二維格式資料及將該資料轉換成一維格式，而從內部記憶體轉移視頻資料至外部記憶體。
4. 如申請專利範圍第2項之方法，其包括藉由讀取一維格式資料及將該資料轉換成二維格式，而從外部記憶體轉移視頻資料至內部記憶體。
5. 如申請專利範圍第1項之方法，其包括設置四個輸入視頻通道。
6. 如申請專利範圍第5項之方法，其包括在二或三個該等通道上接收高清晰度視頻。
7. 如申請專利範圍第5項之方法，其包括在任一個該等通道上接收標準清晰度視頻。
8. 如申請專利範圍第5項之方法，其包括設置交替緩衝器以用於各該通道。
9. 如申請專利範圍第8項之方法，其包括配置三個緩 衝器以用於各視頻訊框，其中一個緩衝器係用於亮度，其中兩個緩衝器係用於色度或紅色、綠色及藍色。
10. 如申請專利範圍第5項之方法，其包括同時過濾所有三分量。
11. 一種非暫態電腦可讀媒體，其儲存指令以執行一方法，包含：判斷視頻是否為一高清晰度或標準格式；若該視頻為標準格式，讀取連續記憶體庫中之相同列；及若該視頻為高清晰度格式，讀取相同記憶體庫中之連續列。
12. 如申請專利範圍第11項之媒體，其進一步儲存指令以執行下列方法，其包括轉移視頻資料於內部與外部記憶體之間。
13. 如申請專利範圍第12項之媒體，其進一步儲存指令以執行下列方法，包括藉由讀取二維格式資料及將該資料轉換成一維格式，而從內部記憶體轉移視頻資料至外部記憶體。
14. 如申請專利範圍第12項之媒體，其進一步儲存指令以執行下列方法，包括藉由讀取一維格式資料及將該資料轉換成二維格式，而從外部記憶體轉移視頻資料至內部記憶體。
15. 如申請專利範圍第11項之媒體，其進一步儲存指令以執行下列方法，包括設置四個輸入視頻通道。
16. 如申請專利範圍第15項之媒體，其進一步儲存指令以執行下列方法，包括在二或三個該等通道上接收高清晰度視頻。
17. 如申請專利範圍第15項之媒體，其進一步儲存指令以執行下列方法，包括在任一個該等通道上接收標準清晰度視頻。
18. 如申請專利範圍第15項之媒體，其進一步儲存指令以執行下列方法，包括設置交替緩衝器以用於各通道。
19. 如申請專利範圍第18項之媒體，其進一步儲存指令以執行下列方法，包括配置三個緩衝器以用於各視頻訊框，其中一個緩衝器係用於亮度，其中兩個緩衝器係用於色度或紅色、綠色及藍色。
20. 如申請專利範圍第15項之媒體，其進一步儲存指令以執行下列方法，包括同時過濾所有三分量。
21. 一種裝置，包含：一記憶體；及一狀態機器，其判斷該記憶體中之視頻是否為一高清晰度或標準格式，若該視頻為標準格式，讀取連續記憶體庫中之相同列，及若該視頻為高清晰度格式，讀取相同記憶體庫中之連續列。
22. 如申請專利範圍第21項之裝置，其包括內部與外部記憶體，該狀態機器轉移視頻資料於該等記憶體之間。
23. 如申請專利範圍第22項之裝置，該狀態機器藉由讀取二維格式資料及將該資料轉換成一維格式，而從內部 記憶體轉移視頻資料至外部記憶體。
24. 如申請專利範圍第22項之裝置，該狀態機器藉由讀取一維格式資料及將該資料轉換成二維格式，而從外部記憶體轉移視頻資料至內部記憶體。
25. 如申請專利範圍第21項之裝置，該狀態機器設置四個輸入視頻通道。
26. 如申請專利範圍第25項之裝置，其包括一介面，用於在二或三個該等通道上接收高清晰度視頻。
27. 如申請專利範圍第25項之裝置，其包括一介面，用於在任一個該等通道上接收標準清晰度視頻。
28. 如申請專利範圍第25項之裝置，其包括交替緩衝器以用於各該通道。
29. 如申請專利範圍第28項之裝置，其包括三個緩衝器以用於各視頻訊框，其中一個緩衝器係用於亮度，其中兩個緩衝器係用於色度或紅色、綠色及藍色。
30. 如申請專利範圍第25項之裝置，其包括邏輯器以同時過濾所有三分量。