TW202344956A - 使用前饋壓縮比的動態時脈和電壓縮放(dcvs)前瞻頻寬表決 - Google Patents
使用前饋壓縮比的動態時脈和電壓縮放(dcvs)前瞻頻寬表決 Download PDFInfo
- Publication number
- TW202344956A TW202344956A TW112113813A TW112113813A TW202344956A TW 202344956 A TW202344956 A TW 202344956A TW 112113813 A TW112113813 A TW 112113813A TW 112113813 A TW112113813 A TW 112113813A TW 202344956 A TW202344956 A TW 202344956A
- Authority
- TW
- Taiwan
- Prior art keywords
- bandwidth
- compression ratio
- vote
- feedforward
- change
- Prior art date
Links
- 238000007906 compression Methods 0.000 title claims abstract description 130
- 230000006835 compression Effects 0.000 title claims abstract description 130
- 239000003999 initiator Substances 0.000 claims abstract description 105
- 230000008859 change Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 42
- 238000005259 measurement Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
- G06F1/08—Clock generators with changeable or programmable clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
在具有影像處理部件管線的計算設備中,DCVS頻寬表決可以是基於管線中的第一影像處理部件所確定的前饋壓縮比。DCVS頻寬表決可以基於前饋壓縮比的變化與閾值的比較結果。管線中的事務發起器部件可以基於與閾值的比較結果,從基於前饋壓縮比的值和一或多個其他值中選擇其對頻寬的表決。可以基於從事務發起器部件接收的頻寬表決來選擇DCVS參數。
Description
下文內容大體而言係關於計算設備以及部件,更特定言之,下文內容係關於此類設備中的動態時脈和電壓縮放(DCVS)頻寬表決。
計算設備可以包括多個子系統、核心或其他部件。例如,此種計算設備可以是可攜式計算設備(「PCD」),諸如膝上型電腦或掌上型電腦、蜂巢式電話或智慧手機、可攜式數位助理、可攜式遊戲控制台等等。
計算設備的該多個子系統、核心或其他部件可以包括在相同的積體電路晶片內或不同的晶片內。「片上系統」或「SoC」是一個此種晶片的實例,其整合了眾多部件以提供系統級功能性。例如,SoC可以包括一或多個類型的處理器,例如中央處理單元(「CPU」)、圖形處理單元(「GPU」)、數位訊號處理器(「DSP」)和神經處理單元(「NPU」)。SoC可以包括其他處理子系統,例如提供無線連接的收發器或「數據機」子系統、記憶體子系統等。
由於PCD由電池供電,因此電源管理是一個重要的考慮因素。「電源管理」是指用於平衡PCD的功耗和效能,以及管理熱能(亦即,熱量)產生的技術。動態時脈和電壓縮放(「DCVS」)是一種動態地調整處理器或處理子系統執行的頻率和電壓的技術,亦即回應於操作條件的變化而即時調整,以在功耗和效能水平之間提供期望的平衡或折衷。當與較高效能相比,較低功耗具有更高的優先順序時,可以降低DCVS位準(亦即,時脈頻率和電壓),而當與較低功耗相比,較高效能具有更高的優先權時,可以增加DCVS位準。可以使用表決方案來選擇DCVS位準,在該方案中,各部件可以提交對該部件估計的頻寬量的表決,以實現支援該部件的隨後操作的用例的效能級別。
在多媒體用例(例如,擷取視訊圖像)開始時,諸如相機或圖像擷取和處理子系統、視訊子系統、顯示子系統或GPU之類的處理部件或子系統可以提交對最壞情況下估計的頻寬量的表決,因為傳入圖像的內容最初是未知的。頻寬需求可能因內容而異。例如,儘管處理系統可能需要很少的頻寬來壓縮或解壓縮純色,但處理系統可能需要大量的頻寬來嘗試壓縮或解壓縮雜訊很大的圖像。圖像解析度亦是壓縮的一個因素。與具有較高解析度的相同圖像相比,具有較低解析度的圖像可以實現較低的壓縮比。亦應當注意到,儘管純色是高度可壓縮的(亦即,可以實現非常高的壓縮比),但雜訊較大的圖像相對不可壓縮(亦即,只能實現較低的壓縮比)。此外,在除了圖像擷取的開始之外的多媒體使用情況期間,圖像內容可能從前一訊框急劇地改變到當前訊框。當部件確定新的頻寬需求並相應地提交表決時,需要限定的時間才能做出相應的DCVS位準改變。可以採用「前瞻」表決(亦即,基於處理一或多個先前訊框的結果來估計處理下一訊框所需的頻寬),來嘗試減少此種延遲。然而,希望進一步減少圖像內容改變(或多媒體用例開始)和DCVS位準改變之間的延遲。
揭示用於DCVS頻寬表決的系統、方法、電腦可讀取媒體和其他實例。
一種用於DCVS頻寬表決的示例性系統可以包括頻寬表決聚合器和在管線中耦合在一起的複數個影像處理部件。管線中的第一影像處理部件可以被配置為基於圖像的當前訊框來確定前饋壓縮比。該複數個影像處理部件可以包括複數個事務發起器部件。一或多個事務發起器部件可以被配置為:確定從前一訊框到該當前訊框的該前饋壓縮比的變化,將該前饋壓縮比的該變化與閾值進行比較,並基於該比較的結果,從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決。頻寬表決聚合器可以被配置為基於從該複數個事務發起器部件接收的複數個頻寬表決來確定DCVS位準。
一種用於DCVS頻寬表決的示例性方法可以包括:基於圖像的當前訊框來確定前饋壓縮比。包括複數個影像處理部件的管線中的第一影像處理部件可以執行此種前饋壓縮比的確定。該示例性方法亦可以包括:確定從前一訊框到該當前訊框的該前饋壓縮比的變化。該示例性方法亦可以包括:將該前饋壓縮比的該變化與閾值進行比較。該管線中的複數個事務發起器部件中的事務發起器部件可以執行該前饋壓縮比的變化的確定、以及該變化與該閾值的比較。該示例性方法亦可以包括:基於所述該前饋壓縮比的該變化與該閾值進行比較的結果,從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決。該示例性方法亦可以包括:基於從該複數個事務發起器部件接收的複數個頻寬表決來確定DCVS位準。頻寬表決聚合器可以執行DCVS位準的此種確定。
用於DCVS頻寬表決的另一種示例性系統可以包括:用於基於圖像的當前訊框來確定前饋壓縮比的構件。該示例性系統亦可以包括:用於確定從前一訊框到該當前訊框的該前饋壓縮比的變化的構件。該示例性系統亦可以包括:用於將該前饋壓縮比的該變化與閾值進行比較的構件。該示例性系統亦可以包括:用於基於該前饋壓縮比的該變化與該閾值進行比較的結果,從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決的構件。該示例性系統亦可以包括:用於基於從複數個事務發起器部件接收的複數個頻寬表決,來確定DCVS位準的構件。
提供了一種用於DCVS頻寬表決的示例性電腦可讀取媒體。該電腦可讀取媒體可以包括非暫時性電腦可讀取媒體,該非暫時性電腦可讀取媒體具有以電腦可執行形式儲存的指令。當該等指令由計算設備的處理系統執行時,可以配置該處理系統控制以下操作。該等指令可以配置該處理系統控制基於圖像的當前訊框來確定前饋壓縮比。該等指令亦可以配置該處理系統控制確定從前一訊框到該當前訊框的該前饋壓縮比的變化。該等指令亦可以配置該處理系統控制將該前饋壓縮比的該變化與閾值進行比較。該等指令亦可以配置該處理系統控制基於該前饋壓縮比的該變化與該閾值進行比較的結果,從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決。該等指令亦可以配置該處理系統控制基於從複數個事務發起器部件接收的複數個頻寬表決,來確定DCVS位準。
本文所使用的「示例性的」一詞意味著「用作示例、實例或說明」。本文可以與「示例性」同義地使用「說明性」一詞。本文中描述為「示例性」的任何態樣不應被解釋為比其他態樣較佳或更具優勢。
如第1A圖中所示,系統100可以在影像處理部件的管線佈置中,包括圖像感測器102、感測器介面104和影像處理器106。系統100亦可以包括圖形處理單元(「GPU」)108、視訊子系統110和顯示子系統112。在影像處理部件的管線佈置中:感測器介面104的輸入可以耦合到圖像感測器102的輸出;影像處理器106的輸入可以耦合到感測器介面104的輸出;並且GPU 108、視訊子系統110和顯示子系統112中的每一個的輸入可以耦合到影像處理器106的輸出。
系統100亦可以包括系統快取116、記憶體控制器118和系統記憶體120。在影像處理部件的管線佈置中,系統快取116可以在一些操作模式(例如,將擷取的圖像資料串流傳輸到記憶體)中,被配置為從GPU 108、視訊子系統110和顯示子系統112中的任何一個接收圖像資料。在此種操作模式中,系統記憶體120可以被配置為經由記憶體控制器118從系統快取116接收圖像資料。
感測器介面104可以被配置為以表示被擷取圖像的訊框串流的形式,從圖像感測器102接收圖像資料。感測器介面104可以被配置為執行圖像預處理,例如壓縮圖像、校正曝光、聚焦、白平衡等等。影像處理器106可以被配置為接收感測器介面104所處理的資料,並執行進一步的處理,例如圖像縮放。GPU 108可以被配置為接收影像處理器106所處理的資料,並執行其他影像處理。可以包括轉碼器的視訊子系統110可以被配置為接收影像處理器106所處理的資料,並執行進一步的資料壓縮。顯示子系統112可以被配置為接收影像處理器106所處理的資料,並顯示結果(例如,預覽訊框)以供使用者觀看。從感測器介面104經由影像處理器106,隨後經由GPU 108、視訊子系統110和顯示子系統112中的一或多個的此種資料串流方向可以稱為「下游」。根據該術語,可以將例如影像處理器106的位置描述為管線中的感測器介面104的下游。類似地,可以將例如GPU 108的位置描述為管線中的影像處理器106的下游。然而,在其他操作模式中,GPU 108、視訊子系統110和顯示子系統112中的任何一個皆可以被配置為對更下游的部件處理的資料進行操作。在此種操作模式中,資料可以向上游流動。
感測器介面104、影像處理器106、GPU 108、視訊子系統110和顯示子系統112可以稱為事務發起器部件,此是因為其可以發起與系統記憶體120的記憶體事務(例如,經由記憶體控制器118、系統快取116等等)。亦可以包括諸如中央處理單元(「CPU」)之類的其他事務發起器部件,但為了清楚說明起見而未圖示。相反,在所示的實施例中僅圖示作為影像處理部件(例如,GPU 108、視訊子系統110和顯示子系統112)、並且其可以被配置在管線中的事務發起器部件的實例。系統記憶體120、記憶體控制器118和系統快取116可以稱為「共享部件」,此是因為可以在事務發起器部件之間共享其使用。
系統100可以包括電源管理電路系統,例如電源管理積體電路或「PMIC」122。PMIC 122可以被配置為向事務發起器和共享部件提供選定的電源電壓位準,如虛線箭頭所示。經由相關的時脈信號分發電路系統,可以將具有選定頻率的時脈信號提供給事務發起器部件和共享部件。如本領域一般技藝人士所理解的,PMIC 122和相關電路可以實施動態時脈和電壓縮放(「DCVS」)。回應於指示所請求或所選定的電源電壓以及所請求或所選定的時脈頻率的請求,PMIC 122可以向事務發起器部件和共享部件提供所選定位準的電源電壓和所選定頻率的時脈信號。
系統100可以包括頻寬(「BW」)表決聚合器124。如下所述,BW表決聚合器124可以被配置為獲得在所示的實例中作為事務發起器部件的感測器介面104、影像處理器106、GPU 108、視訊子系統110和顯示子系統112中的一或多個提供的BW表決。BW表決表示事務發起器部件請求的頻寬量(例如,以每秒千百萬位元組為單位)。BW表決聚合器124可以被配置為對BW表決進行聚合,並可以基於聚合操作的結果,選擇至少一個DCVS位準。DCVS位準表示或對應於BW水平,其表示為電源電壓位準和時脈頻率的組合。如本領域一般技藝人士所理解的,可以使用例如查閱資料表(未圖示)來實施聚合操作。感測器介面104、影像處理器106、GPU 108、視訊子系統110和顯示子系統112中的每一個可以為每個共享部件提供BW表決。BW表決聚合器124可以基於BW表決,為共享部件和事務發起器部件中的每一個選擇DCVS位準,並且向PMIC 122提供該等所選擇的DCVS位準的指示。
在擷取視訊圖像時,可以對圖像訊框的串流或序列進行處理。感測器介面104可以被配置為對從圖像感測器102接收的串流之每一者連續圖像訊框進行壓縮。感測器介面104可以根據壓縮比(「CR」)來壓縮每個圖像訊框。如本領域一般技藝人士所理解的,CR可以與圖像內容相關。例如,與具有較小雜訊特性的圖像相比,具有雜訊特性的圖像可能更不可壓縮(亦即,可實現較低的CR)。例如,由一個或僅幾個純色區域組成的圖像可以是高度可壓縮的(亦即,可以實現較高CR)。此外,與以較高解析度擷取的相同圖像相比,以較低解析度擷取的圖像可能更不可壓縮。因此,由感測器介面104實現的CR可能在訊框與訊框之間改變。感測器介面104可以向CR的影像處理器106提供感測器介面104能夠在當前訊框上實現的指示,轉而影像處理器106接收當前訊框。感測器介面104能夠在當前訊框上實現的此種CR,在本文中可以稱為「前饋CR」。轉而,影像處理器106可以將此種前饋CR傳播到處理管線中更下游的影像處理部件,例如GPU 108、視訊子系統110和顯示子系統112。事務發起器部件中的一些或全部(但至少一個)可以被配置為計算從前一訊框到當前訊框的前饋CR的變化。在一些實例中,可以將所計算的前饋CR的變化傳播到處理管線中更下游的影像處理部件。事務發起器部件中的每一個可以被配置為經由以下方式,來確定從前一訊框到當前訊框的前饋CR的變化:直接根據前一訊框和當前訊框的前饋CR來計算變化,或者經由接收由上游事務發起器部件所計算的變化。
如第1B圖中所示,在一些實例中,事務發起器部件可以以管線佈置進行功能耦合,但經由片上網路(「NoC」)114或其他資料互連進行實體互連。亦即,感測器介面104、影像處理器106、GPU 108、視訊子系統110、顯示子系統112等等皆可以連接到NoC 114,此使得能夠在其中的任何一個之間進行雙向資料通訊。如本領域一般技藝人士所理解的,NoC 114可以是類似於矩陣或一或多個資料通訊匯流排的主動互連。然而,在其他實施例(未圖示)中,可以替代地採用直接的資料通訊匯流排。NoC 114是另一個共享部件,並且PMIC 122可以以與上面關於其他共享部件所描述的相同方式來向其提供電源電壓和時脈頻率。
在操作中,系統100可以將其自身動態配置(例如,經由執行軟體)到上面關於第1A圖所描述的類型的處理管線中。例如,系統100可以動態地(亦即,在操作中)將感測器介面104的輸出配置為在功能上耦合到影像處理器106的輸入,將影像處理器106的輸出在功能上耦合到GPU 108或視訊子系統110或顯示子系統112等等的輸入。在一些實例中,管線中的部件之間的耦合可以是靜態的(例如,硬接線的),而在其他實例中,該耦合可以是動態的(例如,經由諸如NoC 114之類的互連),並且在另外的實例中,一些部件可以是靜態耦合的,而其他部件可以是動態耦合的。除非針對特定示例另外說明,否則在本文中使用的術語「耦合」包括所有此類配置方式。此外,儘管可以在兩個部件之間功能性地管線傳輸資料串流,但可以經由一或多個中間部件來實體地路由資料,該一或多個中間部件不僅可以包括NoC 114,亦可以包括系統記憶體120或其他記憶體(例如,快取記憶體116)。
可以以壓縮的形式將資料儲存在系統記憶體120中。管線之每一者影像處理部件(例如,感測器介面104、影像處理器106、GPU 108、視訊子系統110或顯示子系統112)可以包括資料壓縮和解壓縮邏輯。除了可以直接從感測器102接收其輸入資料的感測器介面104之外,影像處理部件可以從系統記憶體120讀取其輸入資料,並對該資料進行解壓縮。影像處理部件可以對解壓縮的資料進行處理,對所獲得的處理後的資料進行壓縮,並將處理後的壓縮資料儲存在系統記憶體120中。儲存在系統120中的此種壓縮資料可以形成管線中的下一個(亦即,下游)影像處理部件的輸入資料。
在一些實例中,可能存在兩個或兩個以上記憶體120A-120N,並且可能存在兩個或兩個以上記憶體控制器118A-118N。應當注意,為了便於說明起見,沒有在第1B圖中圖示PMIC 122和BW表決聚合器124,但是可以包括該等部件,並且可以如關於第1A圖所描述的一般起作用。
關於第1A圖描述的實例可以對應於視訊擷取用例,其中感測器介面104是管線中的第一影像處理部件。然而,在對應於其他用例的其他實例(未圖示)中,除了感測器介面104之外的部件可以是管線中的第一影像處理部件。例如,在視訊重播用例中,視訊子系統110可以是管線中的第一影像處理部件,並且在視訊遊戲用例中,GPU 108可以是管線中的第一影像處理部件等等。鑒於本文的描述,本領域一般技藝人士將容易想到其他用例、影像處理部件和管線佈置。
可以在片上系統(「SoC」)126上,與各種其他部件和子系統(例如,CPU)一起提供感測器介面104、影像處理器106、GPU 108、視訊子系統110、顯示子系統112、NoC 114、系統快取116和記憶體控制器118,為了清楚說明起見,沒有在第1A圖至第1B圖中圖示該等部件和子系統。然而,在其他實施例中,可以以任何其他方式將該等部件佈置在一或多個晶片上。例如,在另一個實施例中,可以將一或多個圖像感測器包括在與影像處理部件相同的SoC上。
如第2圖中所示,選擇邏輯200可以被配置為基於上面所描述的前饋CR(第2圖中的「Feedforward_CR-based_BW_vote」)和一或多個其他值,從BW中選擇上面所描述的BW表決,該一或多個其他值:固定的最差情況值(亦即,常數)、用於處理前一訊框的頻寬量的量測(「N-1_frame_BW_vote」);或者處理下一訊框的估計的頻寬量(「Look_ahead_BW_vote」))。例如,Feedforward_CR-based_BW_vote可以是在沒有壓縮的情況下將前饋CR乘以BW的結果(如下該),亦可以是基於前饋CR的其他計算的結果。將在下文中進一步詳細描述「其他值」。Feedforward_CR-based_BW_vote、固定的最差情況值、N-1-frame_BW_vote和Look_ahead_BW_vote亦可以稱為四種類型的BW表決。選擇邏輯200可以被配置為每訊框選擇該四種類型的BW表決中的一種。
可以在上面所描述的被配置為提供BW表決的事務發起器部件中的每一個(例如,GPU 108、視訊子系統110和顯示子系統112)中,包括選擇邏輯200。為了便於清楚說明起見,在第2圖中以概念方式圖示了選擇邏輯200,但是其可以以任何方式實施,例如,利用配置處理器的選擇算法(例如,藉由軟體、韌體等)來實施。
固定的最差情況值(第2圖中的「Worst_case」)可以是事務發起器部件所需的最低CR或最高BW(例如,由於雜訊非常大的訊框、低解析度訊框等等)。固定的最差情況值是固定的或恆定的,因為無論圖像內容或處理操作類型如何,該值皆保持不變。通常,固定的最差情況值可以在沒有壓縮的情況下等於BW。「無壓縮BW」是部件用於處理資料訊框(例如,由影像處理器106執行的影像處理操作、由GPU 108執行的圖形處理操作等等)的BW。如前述,除了直接從感測器102接收沒有壓縮或原始形式的資料的感測器介面104之外,部件可以在從系統記憶體120(第1A圖至第1B圖)讀取壓縮資料並對其解壓縮之後處理資料。隨後,該部件可以對處理後的資料進行壓縮,並將處理後的壓縮資料寫入系統記憶體120。如本領域一般技藝人士所理解的,部件可以基於可以包括圖像解析度、畫面播放速率等等的因素,來確定無壓縮BW。應當注意,有壓縮的BW是無壓縮BW除以CR。
事務發起器部件處理先前訊框(第2圖中的「N-1_frame_BW_vote」)所使用的頻寬量的量測可以基於該事務發起器部件在處理先前(第N-1)訊框時發起的所有事務中的節拍數的計數(其中第N訊框是在事務發起器部件提供上面所描述的BW表決時,事務發起器部件正在處理的訊框)。替代地,N-1_frame_BW_vote可以是基於由事務發起器部件下游的共享部件(例如,NoC 114、系統快取116、記憶體控制器118、系統記憶體120等)中的儀器(未圖示)所量測的其他效能度量等等,如本領域一般技藝人士所理解的。
如本領域一般技藝人士所理解的,可以由事務發起器部件以各種方式來確定用於處理下一訊框的估計的頻寬量(第2圖中的「Look_ahead_BW_vote」),此可能取決於事務發起器部件的類型。例如,GPU 108可以對影像處理器106提供的圖像訊框執行縮放操作。在此種實例中(亦即,事務發起器部件正在從上游部件讀取資料,並將資料寫入下游部件),由感測器介面104提供的前饋CR可以表示GPU 108的讀取側BW要求。GPU 108的寫入側BW要求可以基於GPU 108實現的縮放值和壓縮比。在此種實例中,GPU 108的選擇邏輯200可以選擇的Look_ahead_BW_vote可以是GPU 108的讀取側和寫入側BW要求的總和。
在第3圖中,圖示用於選擇BW表決的方法300。上面所描述的選擇邏輯200(第2圖)可以被配置為控制方法300中的一些或全部。每個事務發起器部件或其選擇邏輯200可以是用於執行方法300中所闡述的功能的單元的實例。方法300可以包括以下內容。
如方塊302所示,方法300可以包括:確定影像處理是否剛剛開始,亦即,確定管線中的第一影像處理部件是否尚未處理圖像的第一訊框。若是影像處理的開始,則每個事務發起器部件可以選擇上面所描述的固定的最差情況值作為其BW表決,如方塊304所示。應當注意,在示例性方法300中,僅在影像處理開始時,才將BW表決設置為固定的最差情況值。在其他時間,將BW表決被設置為其他值,如下所示。
如方塊306所示,方法300可以包括:將從前一訊框到當前訊框的前饋CR的變化與閾值進行比較,並判斷該變化是否大於閾值。如前述,管線中的第一影像處理部件可以確定前饋CR。例如,在視訊擷取用例中,感測器介面104(第1A圖至第1B圖)可以確定前饋CR。前饋CR的變化超過閾值,表明圖像內容已經從前一訊框實質上變化到當前訊框。若事務發起器部件確定(方塊306)前饋CR的變化大於閾值,則事務發起器部件可以選擇上面所描述的Look_ahead_BW_vote作為其BW表決,如方塊308所示。
若確定(方塊306)前饋CR的變化不大於閾值,則可以選擇Feedforward_CR-based_BW_vote或N-1_frame_BW_vote。是選擇Feedforward_CR-based_BW_vote亦是N-1-frame_BW_vote可以基於例如以下內容。如方塊310所示,方法300可以包括:確定此是否是前饋CR的變化第一次小於閾值(根據方塊306),亦即,前饋CR的變化是否在少於兩個連續訊框的時間內小於閾值。若事務發起器部件確定(方塊310)此是前饋CR的變化第一次小於閾值,則事務發起器部件可以選擇Feedforward_CR-based_BW_vote作為其BW表決,如方塊312所示。若事務發起器部件確定(方塊310)此不是前饋CR的變化第一次小於閾值,則事務發起器部件可以執行方塊314所指示的確定。
如方塊314所示,可以確定Feedforward_CR-based_BW_vote是否大於N-1-frame_BW_vote。若事務發起器部件確定(方塊314)Feedforward_CR-based_BW_vote大於N-1_frame_BW_vote,則事務發起器部件可以選擇N-1-frame_BW_vote作為其BW表決,如方塊316所示。然而,若事務發起器部件確定(方塊314)Feedforward_CR-based_BW_vote不大於N-1-frame_BW_vote,則事務發起器部件可以選擇Feedforward_CR-based_BW_vote作為其BW表決,如方塊318所示。應當注意到,Feedforward_CR-based_BW_vote作為BW表決的選擇(經由方塊312或方塊318)大體上基於方塊306中指示的前饋CR小於(或等於)閾值的確定或條件。Feedforward_CR-based_BW_vote作為BW表決的選擇可以進一步基於其他條件,例如,方塊310和314中指示的條件。在任一情況下(亦即,經由方塊312或方塊318選擇Feedforward_CR-based_BW_vote作為BW表決),當前饋CR的變化小於(或等於)閾值時,選擇Feedforward_CR-based_BW_vote。
每個事務發起器部件(例如,感測器介面104、影像處理器106、GPU 108、視訊子系統110、顯示子系統112等(第1A圖至第1B圖))可以被配置為以上面關於方法300(第3圖)所描述的方式來選擇BW表決,並將其選定的BW表決提供給BW表決聚合器124(第1A圖至第2B圖)。基於從事務發起器部件共同接收的BW表決,BW表決聚合器124可以被配置為選擇或確定DCVS位準。可以藉由諸如以下的一或多個DCVS參數來表徵DCVS位準:電源電壓位準、時脈信號頻率或電源電壓位準和時脈信號頻率的組合。
BW表決聚合器124可以採用任何方法來確定(亦即,選擇)DCVS位準。例如,BW表決聚合器124可以選擇與所接收到的BW表決的總和相對應的DCVS位準。在BW表決聚合器124接收到的BW表決包括指示2千兆位元每秒(GB/s)的頻寬的第一BW表決和指示1GB/s的寬頻的第二BW表決的實例中,BW頻寬表決聚合器124可以選擇或確定與3GB/s的BW相對應的DCVS位準,其中3GB/s是2GB/s和1GB/s BW表決的總和。如本領域一般技藝人士所理解的,BW表決聚合器124可以例如採用查閱資料表(未圖示)或者將電源電壓位準和時脈信號頻率的多個組合與相應頻寬進行相關的其他資料結構或算法。
再次簡要參考第1A圖至第1B圖,PMIC 122(或PMIC 122與時脈信號分佈相關部件相結合,為了清楚說明起見,未圖示該等部件)可以向影像處理管線中的共享部件提供電源電壓和時脈信號。例如,如虛線箭頭所示,可以將表徵DCVS位準的電源電壓和時脈信號一起提供給NoC 114、系統快取116、記憶體控制器118和系統記憶體120中的每一個。BW表決聚合器124可以從每個事務發起器部件接收針對每個共享部件(亦即,在事務發起器部件之間共享)的BW表決。上面關於方法300(第3圖)描述的DCVS表決可以獨立於其他部件應用於每個共享部件。結果,可以將不同的DCVS位準(亦即,電源電壓及/或時脈信號頻率)施加到不同的共享部件。換言之,可以採用方法300,以基於接收到的對NoC BW的表決來確定用於NoC 114的DCVS位準,同時可以再次採用方法300,以基於所接收的針對系統快取BW的表決,來確定用於系統快取116的DCVS位準,並再次採用方法300來基於所接收的針對記憶體控制器BW的表決,來確定用於記憶體控制器118的DCVS位準,並且再次採用方法300來基於所接收的針對系統記憶體BW的表決,來確定用於系統記憶體120的DCVS位準。
在第4圖中,等時線400圖示基於在連續訊框(水平或時間軸)中從事務發起器部件接收的BW表決,來選擇或確定DCVS位準,亦即BW(豎直軸)的實例。第4圖中所示的實例可以表示上面所描述的系統100(第1A圖至第1B圖)、選擇邏輯200(第2圖)、方法300(第3圖)等等的操作的各態樣。亦圖示傳入圖像BW 402。應當理解,為了清楚說明起見,在第4圖中以概念形式圖示傳入圖像BW 402,並且傳入圖像BW可以具有任何波形,該波形可以以任何方式隨訊框變化。應當理解,傳入圖像BW 402對應於包括連續訊框的傳入圖像串流。
在第一訊框Frame_N開始時,管線中的第一影像處理部件尚未處理任何圖像資料訊框。例如,在系統100(第1A圖)中,感測器介面104尚未擷取從感測器102接收的第一訊框。在此種情況下(例如,圖像擷取的開始),每個事務發起器部件可以提供表示固定的、最差情況下的BW量的BW表決。BW表決聚合器124(第1A圖至第1B圖)可以確定BW水平404,該BW水平404對應於BW表決聚合器124在第一訊框開始時從事務發起器部件接收的BW表決的總和。儘管在第4圖中表示為BW水平404、406、408、410等等,但是在系統100(第1圖)中,可以將此種BW水平表示為DCVS位準(亦即,電壓位準和時脈頻率的組合)。管線中的第一影像處理部件(例如,在視訊擷取用例中的感測器介面104)可以在其完成對第一訊框的處理時,計算或確定前饋CR,並且此後可以在其每次完成對連續訊框的處理後,計算或確定前饋CR。可以將該前饋CR傳播到每個下游事務發起器部件。
在下一訊框frame_N+1開始時,每個事務發起器部件可以提供不代表最差情況下BW量的BW表決。如上面關於方法300(第3圖)所描述的,僅當管線中的第一影像處理部件尚未處理傳入圖像串流的第一訊框時,事務發起器部件才提供表示固定的最差情況值的BW表決。相反,在第二訊框和另外的訊框中,每個事務發起器部件可以提供表示以下之一的BW表決:用於處理前一訊框的BW量的量測;用於處理下一訊框所需的BW的估計量;或者基於前饋CR的值。每個事務發起器部件可以計算或以其他方式保持表示前饋CR從前一訊框到當前訊框的變化的值。事務發起器部件選擇前述值中的哪一個作為其BW表決,可以基於前饋CR的變化與閾值之間的比較結果,如上面關於方法300所描述的。在所示的實例中,BW表決聚合器124(第1A圖至第1B圖)可以確定與BW表決聚合器124在第二訊框Frame_N+1的開始時從事務發起器部件接收的BW表決的總和相對應的BW水平406。
在下一個訊框Frame_N+2開始時,每個事務發起器部件可以再次提供BW表決,該BW表決不代表最壞情況下的BW量,而是再次代表以下之一:用於處理前一訊框的BW量的量測;用於處理下一訊框所需的BW的估計量;或者基於前饋CR的值。在所示的實例中,BW表決聚合器124(第1A圖至第1B圖)可以確定在下一訊框的持續時間內維持BW水平406。
在下一訊框Frame_N+3期間,可以以上面所描述的方式來繼續選擇BW。在所示的實例中,每個事務發起器部件可以提供表示零頻寬的BW表決。因此,BW表決聚合器124(第1A圖)可以選擇(零)BW水平408。在下一訊框Frame_N+4期間,BW表決聚合器124可以基於從事務發起器部件接收的BW表決來選擇BW水平410。
可以以DCVS位準(亦即,選擇的電源電壓位準和時脈信號頻率)的形式,將BW表決聚合器124所選擇的BW提供給PMIC 122(第1A圖)。根據DCVS原理,PMIC 122可以向事務發起器部件和共享部件提供具有所選定電壓位準的電源信號和具有所選定頻率的時脈信號。可以以此種方式繼續頻寬選擇和伴隨的DCVS調整,直到圖像擷取結束為止。
第5圖圖示諸如行動電話或智慧手機之類的的可攜式計算設備(「PCD」)500的實例,在PCD 500中可以提供DCVS BS表決的系統、方法、電腦可讀取媒體和其他實例的示例性實施例。為了清楚說明起見,沒有在第5圖中圖示一些資料匯流排、互連、信號等等。例如,未圖示NoC,但是可以以上面關於第1A圖至第1B圖所描述的方式包括NoC。與第1B圖的以NoC為中心的方塊圖相比,第5圖是以CPU為中心的方塊圖。儘管將PCD 500圖示為實例,但是可以在其他類型的計算設備或系統中提供DCVS BW表決的系統、方法、電腦可讀取媒體和其他實例的其他實施例。
PCD 500可以包括SoC 502。SoC 502可以是上面所描述的SoC 126(第1A圖至第1B圖)的實例。SoC 502可以包括中央處理單元(「CPU」)504、神經處理單元(「NPU」)505、圖形處理單元(「GPU」)506、數位訊號處理器(「DSP」) 507、類比信號處理器508、數據機/數據機子系統或RF收發器554或其他處理器。CPU 504可以包括一或多個CPU核,例如第一CPU核504A、第二CPU核504B等,直至第N個CPU核504N。GPU 506可以是上面參考第1A圖至第1B圖所描述的GPU 108的實例。
顯示控制器510和觸控式螢幕控制器512可以耦合到CPU 504。SoC 502外部的觸控式螢幕顯示器514可以耦合到顯示控制器510和觸控式螢幕控制器512。PCD 500亦可以包括耦合到CPU 504的視訊解碼器516。視訊放大器518可以耦合到視訊解碼器516和觸控式螢幕顯示器514。視訊連接埠520可以耦合到視訊放大器518。通用序列匯流排(「USB」)控制器522亦可以耦合到CPU 504,USB埠524可以耦合到USB控制器522。使用者辨識模組(「SIM」)卡526亦可以耦合到CPU 504。
一或多個記憶體可以耦合到CPU 504。該一或多個記憶體可以包括揮發性和非揮發性記憶體。揮發性記憶體的實例係包括靜態隨機存取記憶體(「SRAM」)528以及動態隨機存取記憶體(「DRAM」)530和531。此種記憶體可以在諸如DRAM 530之類的SoC 502外部,或者在諸如DRAM 531之類的SoC 502之內。耦合到CPU 504的DRAM控制器532可以控制向DRAM 530和531寫入資料,以及從DRAM 530和531讀取資料。DRAM控制器532可以是記憶體控制器118(第1A圖至第1B圖)的實例。DRAM 530或531可以是系統記憶體120(第1A圖至第1B圖)的實例。
身歷聲音訊CODEC 534可以耦合到類比信號處理器508。此外,音訊放大器536可以耦合到身歷聲音訊CODEC 534。第一身歷聲揚聲器538和第二身歷聲揚聲器540可以分別耦合到音訊放大器536。此外,麥克風放大器542亦可以耦合到身歷聲音訊CODEC 534,麥克風544可以耦合到麥克風放大器542。調頻(「FM」)無線電調諧器546可以耦合到身歷聲音訊CODEC 534。FM天線548可以耦合到FM無線電調諧器546。此外,身歷聲耳機550可以耦合到身歷聲音訊CODEC 534。可以耦合到CPU 504的其他設備包括一或多個數碼(例如,CCD或CMOS)相機552。數碼相機552可以是感測器102(第1A圖至第1B圖)的實例。除了GPU 506之外,其他影像處理部件可以包括例如感測器介面551和影像處理器553,其其可以分別是上面參考第1A圖至第1B圖所描述的感測器介面104和影像處理器106的實例。在PCD 500中可以包含上文關於第1A圖至第1B圖所描述的類型的其他影像處理部件於,但為了便於清楚說明起見,而沒有在第5圖中顯示。
數據機或RF收發器554可以耦合到類比信號處理器508和CPU 504。RF開關556可以耦合到RF收發器554和RF天線558。此外,鍵盤560、具有麥克風的單聲道耳機562和振動器設備564可以耦合到類比信號處理器508。
SoC 502可以具有一或多個內部或片上熱感測器570A,並且可以耦合到一或多個外部或片外熱感測器570B。類比數位轉換器控制器572可以將熱感測器570A和570B產生的電壓下降轉換成數位信號。電源574和PMIC 576可以向SoC 502供電。
韌體或軟體可以儲存在上面所描述的記憶體(例如,DRAM 530或531、SRAM 528等等)中的任何一個裡,亦可以儲存在可由處理器硬體直接存取的本機存放區器中,其中該軟體或韌體在該處理器硬體上執行。此種韌體或軟體的執行可以控制上面所描述的方法中的任何一個的各態樣,或者配置上面所描述的系統中的任何一個的各態樣。以電腦可讀形式儲存韌體或軟體以便由處理器硬體執行的任何此種記憶體或其他非暫時性儲存媒體,可以是「電腦可讀取媒體」等等的實例,如專利詞典中理解的一般。
在以下編號的條款中描述了實施實例:
1、一種用於動態時脈和電壓縮放(DCVS)頻寬表決的系統,包括:
管線,該管線包括複數個影像處理部件,該管線中的第一影像處理部件被配置為基於圖像的當前訊框來確定前饋壓縮比,該複數個影像處理部件包括複數個事務發起器部件,該複數個事務發起器部件中的事務發起器部件被配置為基於該前饋壓縮比的該變化與該閾值的比較結果,從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決;及
頻寬表決聚合器,其配置為基於從該複數個事務發起器部件接收的複數個頻寬表決來確定DCVS位準。
2、根據條款1之系統,其中該事務發起器部件被配置為確定從前一訊框到該當前訊框的該前饋壓縮比的變化,將該前饋壓縮比的該變化與閾值進行比較,並且基於該前饋壓縮比的該變化與該閾值的比較結果來選擇該頻寬表決。
3、根據條款1或2之系統,其中該一或多個其他值包括:固定的最差情況值;用於處理前一訊框的頻寬量的量測值;及用於處理下一訊框的估計的頻寬量。
4、根據條款1-3中的任何一項該的系統,其中該事務發起器部件被配置為:經由被配置為僅當該第一影像處理部件尚未處理該圖像的第一訊框時,才選擇該固定的最差情況值,來選擇該頻寬表決。
5、根據條款2-4中的任何一項該的系統,其中該事務發起器部件被配置為:經由被配置為在該前饋壓縮比的該變化大於該閾值時,選擇用於處理下一訊框的估計的頻寬量,來選擇該頻寬表決。
6、根據條款2-5中的任何一項該的系統,其中該事務發起器部件被配置為:經由被配置為在該前饋壓縮比的該變化小於該閾值時,選擇該基於前饋壓縮比的值,來選擇該頻寬表決。
7、根據條款2-6中的任何一項該的系統,其中該事務發起器部件被配置為:經由被配置為當該前饋壓縮比的該變化在少於兩個連續訊框皆小於該閾值時,選擇該基於前饋壓縮比的值,來選擇該頻寬表決。
8、根據條款2-7中的任何一項該的系統,其中該事務發起器部件被配置為:經由被配置為當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值大於用於處理該前一訊框的頻寬量時,選擇用於處理前一訊框的頻寬量的量測值,來選擇該頻寬表決。
9、根據條款2-8中的任何一項該的系統,其中該事務發起器部件被配置為:經由被配置為當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值不大於用於處理該前一訊框的該頻寬量時,選擇該基於前饋壓縮比的值,來選擇該頻寬表決。
10、根據條款1-9中的任何一項該的系統,亦包括電源管理電路,該電源管理電路被配置為向該複數個影像處理部件中的至少一個共享處理部件提供與該DCVS位準相對應的電源電壓和時脈信號。
11、根據條款1-10中的任何一項該的系統,其中該複數個影像處理部件包括具有耦合到圖像感測器的感測器介面輸入的感測器介面、具有耦合到感測器介面輸出的影像處理器輸入的影像處理器、以及具有耦合到影像處理器輸出的顯示輸入的顯示子系統。
12、根據條款1-11中的任何一項該的系統,其中該複數個事務發起器部件包括圖形處理單元(GPU),該GPU具有耦合到該影像處理器輸出的GPU輸入。
13、一種用於動態時脈和電壓縮放(DCVS)頻寬表決的方法,包括:
由包括複數個影像處理部件的管線中的第一影像處理部件基於圖像的當前訊框來確定前饋壓縮比,該複數個影像處理部件包括複數個事務發起器部件;
由該複數個事務發起器部件中的事務發起器部件從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決;及
由頻寬表決聚合器基於從該複數個事務發起器部件接收的複數個頻寬表決來確定DCVS位準。
14、根據條款13之方法,其中選擇該頻寬表決包括:
確定從前一訊框到該當前訊框的該前饋壓縮比的變化;
將該前饋壓縮比的該變化與閾值進行比較;及
基於將該前饋壓縮比的該變化與該閾值進行比較的結果,來選擇該頻寬表決。
15、根據條款13或14之方法,其中該一或多個其他值包括:固定的最差情況值;用於處理前一訊框的頻寬量的量測值;及用於處理下一訊框的估計的頻寬量。
16、根據條款13-15中的任何一項該的方法,其中選擇該頻寬表決包括:僅當該第一影像處理部件尚未處理該圖像的第一訊框時,才選擇該固定的最差情況值。
17、根據條款14-16中的任何一項該的方法,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化大於該閾值時,選擇估計的頻寬量來處理下一訊框。
18、根據條款14-17中的任何一項該的方法,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值時,選擇該基於前饋壓縮比的值。
19、根據條款14-18中的任何一項該的方法,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化在少於兩個連續訊框皆小於該閾值時,選擇該基於前饋壓縮比的值。
20、根據條款14-19中的任何一項該的方法,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值大於用於處理該前一訊框的頻寬量時,選擇用於處理前一訊框的頻寬量的量測值。
21、根據條款14-20中的任何一項該的方法,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值不大於用於處理該前一訊框的該頻寬量時,選擇該基於前饋壓縮比的值。
22、一種用於動態時脈和電壓縮放(DCVS)頻寬表決的系統,包括:
用於基於圖像的當前訊框來確定前饋壓縮比的單元;
用於從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決的單元;及
用於基於複數個頻寬表決來確定DCVS位準的單元。
23、根據條款22之系統,其中用於選擇該頻寬表決的單元包括:
用於確定從前一訊框到該當前訊框的該前饋壓縮比的變化的單元;
用於將該前饋壓縮比的該變化與閾值進行比較的單元,其中基於該比較單元的結果,來選擇該頻寬表決。
24、根據條款22或23之系統,其中該一或多個其他值包括:固定的最差情況值;用於處理前一訊框的頻寬量的量測值;及用於處理下一訊框的估計的頻寬量。
25、根據條款22-24中的任何一項該的系統,其中選擇該頻寬表決包括:僅當該第一影像處理部件尚未處理該圖像的第一訊框時,才選擇該固定的最差情況值。
26、根據條款23-25中的任何一項該的系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化大於該閾值時,選擇估計的頻寬量來處理下一訊框。
27、根據條款23-26中的任何一項該的系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值時,選擇該基於前饋壓縮比的值。
28、根據條款23-27中的任何一項該的系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化在少於兩個連續訊框皆小於該閾值時,選擇該基於前饋壓縮比的值。
29、根據條款23-28中的任何一項該的系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值大於用於處理該前一訊框的頻寬量時,選擇用於處理前一訊框的頻寬量的量測值。
30、根據條款23-29中的任何一項該的系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值不大於用於處理該前一訊框的該頻寬量時,選擇該基於前饋壓縮比的值。
31、一種用於動態時脈和電壓縮放(DCVS)頻寬表決的電腦可讀取媒體,該電腦可讀取媒體包括具有以電腦可執行形式儲存在其上的指令的非暫時性電腦可讀取媒體,在該等指令由計算設備的處理系統執行時,配置該處理系統控制以下操作:
由包括複數個影像處理部件的管線中的第一影像處理部件基於圖像的當前訊框來確定前饋壓縮比,該複數個影像處理部件包括複數個事務發起器部件;
由該複數個事務發起器部件中的事務發起器部件從基於前饋壓縮比的值和一或多個其他值中選擇頻寬表決;及
由頻寬表決聚合器基於從該複數個事務發起器部件接收的複數個頻寬表決來確定DCVS位準。
32、根據條款31之電腦可讀取媒體,其中選擇該頻寬表決包括:
確定從前一訊框到該當前訊框的該前饋壓縮比的變化;
由該複數個事務發起器部件中的事務發起器部件將該前饋壓縮比的該變化與閾值進行比較;及
基於將該前饋壓縮比的該變化與該閾值進行比較的結果,來選擇該頻寬表決。
33、根據條款31或32之電腦可讀取媒體,其中該一或多個其他值包括:固定的最差情況值;用於處理前一訊框的頻寬量的量測值;及用於處理下一訊框的估計的頻寬量。
34、根據條款31-33中的任何一項該的電腦可讀取媒體,其中選擇該頻寬表決包括:僅當該第一影像處理部件尚未處理該圖像的第一訊框時,才選擇該固定的最差情況值。
對於本發明所屬領域的任何一般技藝人士而言,替代實施例將變得顯而易見。因此,儘管本文詳細地圖示和描述了選定的態樣,但應當理解的是,可以對其做出各種替代和改變。
100:系統
102:圖像感測器
104:感測器介面
106:影像處理器
108:圖形處理單元
110:視訊子系統
112:顯示子系統
114:片上網路
116:系統快取
118:記憶體控制器
118A:記憶體控制器
118N:記憶體控制器
120:系統記憶體
120A:記憶體
120N:記憶體
122:PMIC
124:BW表決聚合器
126:片上系統
200:選擇邏輯
300:方法
302:方塊
304:方塊
306:方塊
308:方塊
310:方塊
312:方塊
314:方塊
316:方塊
318:方塊
400:等時線
402:傳入圖像BW
404:BW水平
406:BW水平
408:BW水平
410:BW水平
500:可攜式計算設備
502:SoC
504:中央處理單元
504A:第一CPU核
504B:第二CPU核
504N:第N個CPU核
505:神經處理單元
506:圖形處理單元
507:數位訊號處理器
508:類比信號處理器
510:顯示控制器
512:觸控式螢幕控制器
514:觸控式螢幕顯示器
516:視訊解碼器
518:視訊放大器
520:視訊連接埠
522:通用序列匯流排控制器
524:USB埠
526:使用者辨識模組卡
528:靜態隨機存取記憶體
530:動態隨機存取記憶體
531:動態隨機存取記憶體
532:DRAM控制器
534:身歷聲音訊CODEC
536:音訊放大器
538:第一身歷聲揚聲器
540:第二身歷聲揚聲器
542:麥克風放大器
544:麥克風
546:調頻無線電調諧器
548:FM天線
550:身歷聲耳機
551:感測器介面
552:數碼相機
553:影像處理器
554:數據機/RF收發器
556:RF開關
558:RF天線
560:鍵盤
562:單聲道耳機
564:振動器設備
570A:內部或片上熱感測器
570B:外部或片外熱感測器
572:類比數位轉換器控制器
574:電源
576:PMIC
在附圖中,除非另外指出,否則貫穿各個視圖的相同元件符號代表類似的部件。對於利用諸如「102A」或「102B」之類的字母字元進行命名的元件符號而言,該等字母字元命名可以區分在同一附圖中出現的兩個類似零件或者元件。當一個元件符號意欲涵蓋所有附圖之中利用該相同附圖進行標記的所有零件時,可以省略用於元件符號的字母字元命名。
第1A圖是根據示例性實施例,圖示用於DCVS頻寬表決的系統的方塊圖。
第1B圖是根據示例性實施例,圖示用於DCVS頻寬表決的系統的另一個方塊圖。
第2圖是圖示基於選擇演算法來選擇頻寬表決類型的概念邏輯圖。
第3圖是圖示用於DCVS頻寬表決的方法的流程圖。
第4圖是圖示DCVS頻寬表決方法對傳入圖像信號的操作的信號圖。
第5圖是根據示例性實施例的計算設備的方塊圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記)
無
100:系統
102:圖像感測器
104:感測器介面
106:影像處理器
108:圖形處理單元
110:視訊子系統
112:顯示子系統
114:片上網路
116:系統快取
118:記憶體控制器
118A:記憶體控制器
118N:記憶體控制器
120:系統記憶體
120A:記憶體
120N:記憶體
122:PMIC
124:BW表決聚合器
126:片上系統
Claims (34)
- 一種用於動態時脈和電壓縮放(DCVS)頻寬表決的系統,包括: 一管線,該管線包括複數個影像處理部件,該管線中的一第一影像處理部件被配置為基於一圖像的一當前訊框來確定一前饋壓縮比,該複數個影像處理部件包括複數個事務發起器部件,該複數個事務發起器部件中的一事務發起器部件被配置為從一基於前饋壓縮比的值和一或多個其他值中選擇一頻寬表決;及 一頻寬表決聚合器,其被配置為基於從該複數個事務發起器部件接收的複數個頻寬表決,來確定一DCVS位準。
- 如請求項1所述之系統,其中每個事務發起器部件被配置為確定從一前一訊框到該當前訊框的該前饋壓縮比的一變化,以及將該前饋壓縮比的該變化與一閾值進行比較,以及基於該前饋壓縮比的該變化與該閾值的一比較的一結果來選擇該頻寬表決。
- 如請求項2所述之系統,其中該一或多個其他值包括:一固定的最差情況值;用於處理一先前訊框的一頻寬量的一量測;及用於處理一下一訊框的一估計的頻寬量。
- 如請求項3所述之系統,其中該事務發起器部件被配置為:藉由被配置為僅當該第一影像處理部件尚未處理該圖像的一第一訊框時,才選擇該固定的最差情況值,來選擇該頻寬表決。
- 如請求項2所述之系統,其中該事務發起器部件被配置為:藉由被配置為當該前饋壓縮比的該變化大於該閾值時,選擇用於處理一下一訊框的一估計的頻寬量,來選擇該頻寬表決。
- 如請求項2所述之系統,其中該事務發起器部件被配置為:藉由被配置為當該前饋壓縮比的該變化小於該閾值時,選擇該基於前饋壓縮比的值,來選擇該頻寬表決。
- 如請求項6所述之系統,其中該事務發起器部件被配置為:藉由被配置為當該前饋壓縮比的該變化在少於兩個連續訊框內皆小於該閾值時,選擇該基於前饋壓縮比的值,來選擇該頻寬表決。
- 如請求項6所述之系統,其中該事務發起器部件被配置為:藉由被配置為當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值大於用於處理一先前訊框的一頻寬量時,選擇用於處理該先前訊框的該頻寬量的一量測,來選擇該頻寬表決。
- 如請求項8所述之系統,其中該事務發起器部件被配置為:藉由被配置為當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值不大於用於處理該先前訊框的該頻寬量時,選擇該基於前饋壓縮比的值,來選擇該頻寬表決。
- 如請求項1所述之系統,亦包括電源管理電路系統,該電源管理電路系統被配置為向該複數個影像處理部件中的至少一個共享的處理部件提供與該DCVS位準相對應的一電源電壓和一時脈信號。
- 如請求項1所述之系統,其中該複數個影像處理部件包括具有耦合到一圖像感測器的一感測器介面輸入的一感測器介面、具有耦合到一感測器介面輸出的一影像處理器輸入的一影像處理器、以及具有耦合到一影像處理器輸出的一顯示輸入的一顯示子系統。
- 如請求項1所述之系統,其中該複數個事務發起器部件包括一圖形處理單元(GPU),該GPU具有耦合到該影像處理器輸出的一GPU輸入。
- 一種用於動態時脈和電壓縮放(DCVS)頻寬表決的方法,包括以下步驟: 由包括複數個影像處理部件的一管線中的一第一影像處理部件基於一圖像的一當前訊框來確定一前饋壓縮比,該複數個影像處理部件包括複數個事務發起器部件; 由該複數個事務發起器部件中的一事務發起器部件從一基於前饋壓縮比的值和一或多個其他值中選擇一頻寬表決;及 由一頻寬表決聚合器基於從該複數個事務發起器部件接收的複數個頻寬表決來確定一DCVS位準。
- 如請求項13所述之方法,其中選擇該頻寬表決之步驟包括以下步驟: 確定從一前一訊框到該當前訊框的該前饋壓縮比的一變化; 將該前饋壓縮比的該變化與一閾值進行比較;及 基於將該前饋壓縮比的該變化與該閾值進行比較的一結果,來選擇該頻寬表決。
- 如請求項14所述之方法,其中該一或多個其他值包括:一固定的最差情況值;用於處理一先前訊框的一頻寬量的一量測結果;及用於處理一下一訊框的一估計的頻寬量。
- 如請求項15所述之方法,其中選擇該頻寬表決之步驟包括:僅當該第一影像處理部件尚未處理該圖像的第一訊框時,才選擇該固定的最差情況值。
- 如請求項14所述之方法,其中選擇該頻寬表決之步驟包括以下步驟:當該前饋壓縮比的該變化大於該閾值時,選擇一估計的頻寬量來處理一下一訊框。
- 如請求項14所述之方法,其中選擇該頻寬表決之步驟包括以下步驟:當該前饋壓縮比的該變化小於該閾值時,選擇該基於前饋壓縮比的值。
- 如請求項18所述之方法,其中選擇該頻寬表決之步驟包括以下步驟:當該前饋壓縮比的該變化在少於兩個連續訊框內皆小於該閾值時,選擇該基於前饋壓縮比的值。
- 如請求項18所述之方法,其中選擇該頻寬表決之步驟包括以下步驟:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值大於用於處理一先前訊框的一頻寬量時,選擇用於處理該先前訊框的該頻寬量的一量測。
- 如請求項20所述之方法,其中選擇該頻寬表決之步驟包括以下步驟:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值不大於用於處理該先前訊框的該頻寬量時,選擇該基於前饋壓縮比的值。
- 一種用於動態時脈和電壓縮放(DCVS)頻寬表決的系統,包括: 用於基於一圖像的一當前訊框來確定一前饋壓縮比的構件; 用於從一基於前饋壓縮比的值和一或多個其他值中選擇一頻寬表決的構件;及 用於基於複數個頻寬表決來確定一DCVS位準的構件。
- 如請求項22所述之系統,其中該用於選擇該頻寬表決的構件包括: 用於確定從一前一訊框到該當前訊框的該前饋壓縮比的一變化的構件; 用於將該前饋壓縮比的該變化與一閾值進行比較的構件,其中該頻寬表決基於該用於比較的構件的一結果來選擇的。
- 如請求項23所述之系統,其中該一或多個其他值包括:該固定的最差情況值;用於處理一先前訊框的一頻寬量的一量測;及用於處理一下一訊框的一估計的頻寬量。
- 如請求項24所述之系統,其中選擇該頻寬表決包括:僅當該第一影像處理部件尚未處理該圖像的一第一訊框時,才選擇該固定的最差情況值。
- 如請求項23所述之系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化大於該閾值時,選擇一估計的頻寬量來處理一下一訊框。
- 如請求項23所述之系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值時,選擇該基於前饋壓縮比的值。
- 如請求項27所述之系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化在少於兩個連續訊框內皆小於該閾值時,選擇該基於前饋壓縮比的值。
- 如請求項27所述之系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值大於用於處理一先前訊框的一頻寬量時,選擇用於處理該先前訊框的該頻寬量的一量測。
- 如請求項29所述之系統,其中選擇該頻寬表決包括:當該前饋壓縮比的該變化小於該閾值並且該基於前饋壓縮比的值不大於用於處理該先前訊框的該頻寬量時,選擇該基於前饋壓縮比的值。
- 一種用於動態時脈和電壓縮放(DCVS)頻寬表決的電腦可讀取媒體,該電腦可讀取媒體包括具有以電腦可執行形式儲存在其上的指令的一非暫時性電腦可讀取媒體,該等指令在由一計算設備的一處理系統執行時,配置該處理系統控制以下操作: 由包括複數個影像處理部件的一管線中的一第一影像處理部件基於一圖像的一當前訊框來確定一前饋壓縮比,該複數個影像處理部件包括複數個事務發起器部件; 由該複數個事務發起器部件中的一事務發起器部件從一基於前饋壓縮比的值和一或多個其他值中選擇一頻寬表決;及 由一頻寬表決聚合器基於從該複數個事務發起器部件接收的複數個頻寬表決來確定一DCVS位準。
- 如請求項31所述之電腦可讀取媒體,其中選擇該頻寬表決包括: 確定從一前一訊框到該當前訊框的該前饋壓縮比的一變化; 將該前饋壓縮比的該變化與一閾值進行比較;及 基於將該前饋壓縮比的該變化與該閾值進行比較的一結果,來選擇該頻寬表決。
- 如請求項32所述之電腦可讀取媒體,其中該一或多個其他值包括:一固定的最差情況值;用於處理一先前訊框的一頻寬量的一量測;及用於處理一下一訊框的一估計的頻寬量。
- 如請求項33所述之電腦可讀取媒體,其中選擇該頻寬表決包括:僅當該第一影像處理部件尚未處理該圖像的一第一訊框時,才選擇該固定的最差情況值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/736,030 | 2022-05-03 | ||
US17/736,030 US20230360166A1 (en) | 2022-05-03 | 2022-05-03 | Dynamic clock and voltage scaling (dcvs) lookahead bandwidth voting using feedforward compression ratio |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202344956A true TW202344956A (zh) | 2023-11-16 |
Family
ID=86383185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW112113813A TW202344956A (zh) | 2022-05-03 | 2023-04-13 | 使用前饋壓縮比的動態時脈和電壓縮放(dcvs)前瞻頻寬表決 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230360166A1 (zh) |
TW (1) | TW202344956A (zh) |
WO (1) | WO2023215062A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10509588B2 (en) * | 2015-09-18 | 2019-12-17 | Qualcomm Incorporated | System and method for controlling memory frequency using feed-forward compression statistics |
US11132208B2 (en) * | 2019-11-20 | 2021-09-28 | Qualcomm Incorporated | System state management |
-
2022
- 2022-05-03 US US17/736,030 patent/US20230360166A1/en active Pending
-
2023
- 2023-04-04 WO PCT/US2023/017460 patent/WO2023215062A1/en unknown
- 2023-04-13 TW TW112113813A patent/TW202344956A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US20230360166A1 (en) | 2023-11-09 |
WO2023215062A1 (en) | 2023-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11006127B2 (en) | System and method for foveated compression of image frames in a system on a chip | |
US10509588B2 (en) | System and method for controlling memory frequency using feed-forward compression statistics | |
US20150089112A1 (en) | System and method for conserving memory power using dynamic memory i/o resizing | |
US10628308B2 (en) | Dynamic adjustment of memory channel interleave granularity | |
CN110583018B (zh) | 用于片上系统中的智能数据/帧压缩的系统和方法 | |
CN110521208B (zh) | 用于片上系统中的智能数据/帧压缩的系统和方法 | |
CN105700821B (zh) | 半导体装置及其压缩/解压缩方法 | |
US20160117215A1 (en) | System and method for dynamic bandwidth throttling based on danger signals monitored from one more elements utilizing shared resources | |
KR101722413B1 (ko) | 부하 라인 최적화를 위한 그래픽 전압 감소 | |
US20150121111A1 (en) | System and method for providing multi-user power saving codebook optmization | |
US9864536B2 (en) | System and method for conserving power consumption in a memory system | |
WO2019196634A1 (zh) | 数据处理方法及装置 | |
TW202344956A (zh) | 使用前饋壓縮比的動態時脈和電壓縮放(dcvs)前瞻頻寬表決 | |
WO2017020512A1 (zh) | 一种数据传输方法、数据传输系统和便携式显示装置 | |
US20200250101A1 (en) | System and method for intelligent tile-based memory bandwidth management | |
JP2018505489A (ja) | システムオンチップにおける動的メモリ利用 | |
US11630502B2 (en) | Hierarchical state save and restore for device with varying power states | |
WO2024061138A1 (zh) | 数据编码和数据解码的方法、装置、设备 | |
WO2022206153A1 (zh) | 电子设备控制方法、装置、存储介质及电子设备 | |
TWI772438B (zh) | 用於計算設備中的動態緩衝器大小設定的系統和方法 | |
TW202322575A (zh) | 用於計算設備中節能資料傳遞的資料重新編碼 | |
CN115797165A (zh) | 图像处理方法、装置、电子设备及存储介质 |