TW201902226A

TW201902226A - 訊框速率調整方法及圖像處理裝置

Info

Publication number: TW201902226A
Application number: TW107113530A
Authority: TW
Inventors: 汪威定; 李翰林; 陳譽仁; 林有明
Original assignee: 聯發科技股份有限公司
Priority date: 2017-05-10
Filing date: 2018-04-20
Publication date: 2019-01-01
Also published as: US20180332252A1; US10425615B2

Abstract

本發明提供了一種訊框速率調整方法及圖像處理裝置。其中該圖像處理裝置包括：一第一電路，一第二電路，一第三電路以及一第四電路。該第一電路根據圖像信號的當前訊框速率和目標訊框速率，確定訊框丟失率。該第二電路當該訊框丟失率大於第一閾值時，將該目標訊框速率降低至該當前訊框速率。該第三電路當該訊框丟失率小於第二閾值時，將該目標訊框速率提高至上限訊框速率，其中該第二閾值小於該第一閾值，該上限訊框速率係根據訊框渲染時間或記憶體帶寬能力來確定的。該第四電路對要顯示的圖像應用該降低或提高的目標訊框速率。

Description

訊框速率調整方法及圖像處理裝置

本發明涉及訊框速率(frame rate)調整，特別係涉及一種能夠提供更好的用戶體驗的訊框速率調整方法和圖像處理裝置。

在圖形和多媒體領域中，訊框速率一般係指圖形引擎提供的可視內容的訊框的速率。根據可視內容的來源，訊框速率介於24Hz至超過100Hz的範圍內，或者在靜態圖形的情況下為0Hz。可選地，某些類型的可視內容具有變化的訊框速率，或者訊框速率可以隨著不同內容類型的顯示而變化，例如，電視上的電影素材一般具有24或25Hz的訊框速率，而視頻素材(如視頻遊戲)可能具有30，50或60Hz的訊框速率。

儘管更高的訊框速率可以提供更好的視覺質量，但是他們一般趨向於導致更多的功率消耗。為了降低功耗，訊框速率調整的傳統設計對不同的應用場景配置不同的目標訊框速率。但是，在相同應用場景中，既使存在不同顯示要求的各種事件，目標訊框速率也係靜態的。

代替降低功耗，存在另一種訊框速率調整的傳統設計，該設計旨在通過增加熱節流點(thermal throttling point) 來提升系統能力以避免訊框丟失，從而提供更好的用戶體驗。但是，這會導致更高的功耗及系統過熱，這很容易導致系統進入不穩定狀態。最終，用戶體驗可能不會像預期那樣改善，但是高功耗的成本是必然的。

因此，期望一種更加穩健的訊框速率調整方式。

因此，本發明之主要目的即在於提供一種訊框速率調整方法和圖像處理裝置。

根據本發明至少一個實施例的一種圖像處理裝置，包括：一第一電路，用於根據圖像信號的當前訊框速率和目標訊框速率，確定訊框丟失率；一第二電路，用於當該訊框丟失率大於第一閾值時，將該目標訊框速率降低至該當前訊框速率；一第三電路，用於當該訊框丟失率小於第二閾值時，將該目標訊框速率提高至上限訊框速率，其中該第二閾值小於該第一閾值，該上限訊框速率係根據訊框渲染時間或記憶體帶寬能力來確定的；以及一第四電路，用於對要顯示的圖像應用該降低或提高的目標訊框速率。

根據本發明至少一個實施例的一種訊框速率調整方法，由一圖像處理裝置中的一控制器來執行，該方法包括：根據該圖像處理裝置所產生的圖像信號的當前訊框速率和目標訊框速率，確定訊框丟失率；當該訊框丟失率大於第一閾值時，將該目標訊框速率降低至該當前訊框速率；當該訊框丟失率小於第二閾值時，將該目標訊框速率提高至上限訊框速率，其中該第二閾值小於該第一閾值，該上限訊框速率係根據訊框渲染時間或記憶體帶寬能力來確定的；以及對該圖像處理裝置顯示的圖像應用該降低或提高的目標訊框速率。

本發明實施例，通過動態地調整訊框速率，因此可以得到圖像的平滑顯示，從而提供更好的用戶體驗。

10‧‧‧控制器

20‧‧‧協同控制器

30‧‧‧存儲設備

40‧‧‧顯示設備

50‧‧‧輸入設備

210‧‧‧探測模組

220‧‧‧FPS穩定模組

230‧‧‧圖形服務模組

S310~S390‧‧‧步驟

通過閱讀接下來的詳細描述以及參考所附圖式所做的示例，可以更容易地理解本發明實施例，其中：第1圖為根據本發明實施例的圖像處理裝置的模塊示例圖；第2圖為根據本發明實施例的動態訊框速率調整方法的軟體架構的示意圖；第3圖為根據本發明實施例的動態訊框速率調整方法的流程示意圖；以及第4圖為根據本發明實施例的訊框渲染(frame rendering)時間的示意圖。

以下描述出於說明本發明的一般原理的目的並且不意味著限制。需要理解的是，本發明實施例可以以軟體、硬體、韌體或者他們的任意組合的方式來實現。當在本文中使用時，術語“包括”，“包含”，和/或“含有”指明所述的特徵，整體，步驟，操作，元件和/或組件的存在，但不排除存在或添加一個或複數個其他特徵，整體，步驟，操作，元件，組件和/或其組合。

請注意，此中使用的術語“訊框速率”可以指提供的可視內容的訊框的速率。在具體實施例中，訊框速率可以表示為每秒訊框數(Frames Per Second，FPS)。

第1圖為根據本發明實施例的圖像處理裝置的模塊示意圖。該圖像處理裝置100包括：一控制器10，一協同控制器(co-controller)20，一存儲設備30，一顯示設備40，以及一輸入設備50。其中該協同控制器20，存儲設備30以及輸入設備50均耦合至控制器10，並且該協同控制器20與該存儲設備30彼此耦合並且耦合至顯示設備40。例如，該圖像處理裝置100可以為一行動手機，平板PC(Personal Computer，個人計算機)，筆記本電腦，遊戲控制台，或者任何具有顯示功能的電子設備。

控制器10可以為通用目的處理器，CPU(Central Processing Unit，中央處理單元)，MCU(Micro-Control Unit，微控制單元)，DSP(Digital Signal Processor，數位信號處理器)，應用處理器，等等，該控制器10包括各種電路，用於提供數據處理和計算，控制協同控制器20進行圖像渲染，將資料存儲至存儲設備30，從存儲設備30檢索資料，及/或，接收來自輸入設備50的信號等功能。

協同控制器20可以用來分流控制器10的圖像處理任務，從而允許控制器10處理其他處理任務。協同控制器20可以包括：一個或者複數個適當配置的圖形處理器，諸如適當配置的離散的或整合的圖形處理器(如GPU(Graphics Processing Unit，圖形處理單元))，或者為特定設備(諸如數位電視或者手持/移動設備)設計的處理器。具體地，協同控制器20包括：各種電路，用於提供圖像處理和計算，接收來自控制器10的控制信號，存儲資料至存儲設備30，從存儲設備30檢索資料，及/或，發送一系列訊框資料(如表示文本消息、圖形、圖像，等等)至存儲設備30或顯示設備40等功能。例如，訊框資料可以直接被發送至顯示設備40，或者被發送至顯示設備40可以從中檢索它的存儲設備30。

發明所屬領域具有通常知識者將會理解，控制器10及協同控制器20中的電路一般包括：複數個電晶體，被配置為根據此中描述的功能和操作來控制電路的操作。可以進一步理解的是，電晶體的特定結構或互連一般由編譯器確定，諸如RTL(Register Transfer Language，暫存器轉移語言)編譯器。處理器在非常類似匯編語言代碼的腳本上操作RTL編譯器，以將該腳本編譯為用於佈局或者製造最終電路的形式。事實上，RTL以其在促進電子和數位系統的設計過程中的作用和用途而聞名。

存儲設備30為非揮發性的機器可讀存儲介質，包括：記憶體，諸如快閃記憶體(flash)或者RAM(Random Access Memory，隨機存取記憶體)，或者磁存儲設備，諸如硬盤或者磁帶，或者光盤，或者他們的任意組合，用於存儲資料，諸如訊框資料，以及通訊協議、應用程式(如遊戲應用程式)和本發明實施例的方法的程式代碼。

具體地，控制器10或協同控制器20可以加載並執行本發明實施例的方法的程式代碼。

可選地，圖像處理裝置100可以進一步包括：訊框速率控制器，耦合至控制器10，協同控制器20，存儲設備30以及顯示設備40中的至少一個，並且專用於控制訊框速率。具體地，訊框速率控制器可以包括：各種電路，用於提供訊框速率控制的功能，例如通過從存儲設備30加載並執行本發明實施例的方法的程式代碼來提供訊框速率控制。

顯示設備40可以為CRT(Cathode Ray Tube，陰極射線管)顯示器、LCD(Liquid-Crystal Display，液晶顯示器)、LED(Light-Emitting Diode，發光二極體)顯示器，或者EPD(Electronic Paper Display，電子紙顯示器)，等等，用於根據從協同控制器20或存儲設備30接收的或讀取的訊框資料來提供顯示功能。可選地，顯示設備40可以進一步包括：一個或者複數個設置於其上或其下方的觸摸傳感器，用於感應觸摸、接觸或者物體(諸如手指或者手寫筆)的逼近。

輸入設備50可以包括：一個或者複數個按鈕、鍵盤、鼠標、觸摸墊、視訊攝影機、麥克風，及/或揚聲器，等等，充當與用戶交互的MMI(Man-Machine Interface，人機介面)。

可以理解的是，第1圖實施例中描述的元件僅出於示意目的，而不意味著對本發明實施例的限制。例如，顯示設備40可以由圖像處理裝置100外部的顯示器來實現，或者圖像處理裝置100可以進一步包括：GPS(Global Positioning System，全球定位系統)，用於提供位置信息；電源(如電池)，用於提供能量至其他元件；及/或，無線收發器，用於提供無線通信功能，等等。

第2圖是根據本發明實施例的動態訊框速率調整方法的軟體架構的示意圖。該軟體架構包括：探測模組210，FPS穩定模組220和圖形服務模組230，其中每個模組可以為使用程式代碼實現的軟體模組並且由控制器(如控制器10，協同控制器20，或者訊框速率控制器)執行，從而彼此合作執行動態訊框速率調整。

探測模組210負責從圖形處理裝置100的硬體元件收集統計信息，該硬體元件包括：控制器10，協同控制器20以及存儲設備30。具體地，該統計信息包括：當前用於圖像渲染的訊框速率，控制器10和協同控制器20要求的訊框渲染時間，控制器10和協同控制器20當前的和最大的OPP(Operating Performance Points，運行性能點)，以及存儲設備30的吞吐量和最大可用帶寬(如記憶體吞吐量和最大可用記憶體帶寬)。

FPS穩定模組220負責根據探測模組210提供的統計信息，動態地調整目標訊框速率。具體地，FPS穩定模組220通過從目標訊框速率中減去當前訊框速率以及將相減結果除以目標訊框速率以確定訊框丟失率，將該訊框丟失率與至少兩個閾值比較，以及根據比較結果和探測模組210提供的統計信息調整目標訊框速率。

圖形服務模組230負責將該目標訊框速率應用至圖形服務，諸如遊戲應用程式，該圖形服務產生將由圖像處理裝置100顯示的圖像信號。

第3圖為根據本發明實施例的動態訊框速率調整方法的流程示意圖。在本實施例中，該方法施加至一圖像處理裝置(如，圖像處理裝置100)。具體地，圖像處理裝置的控制器執行該方法，如控制器10，協同控制器20，或者除了控制器10和協同控制器20外的訊框速率控制器，其中，該控制器包括：各種電路，用於提供資料處理和計算功能，以執行本發明實施例的方法。

在步驟S310中，圖像處理裝置啟動一週期性的輪詢計時器(periodic polling timer)，以對預定的時間期間計數。

在步驟S320中，該週期性的輪詢計時器到期並且該方法繼續進行至接下來的步驟。

在步驟S330中，該圖形處理裝置根據當前的訊框速率和目標訊框速率確定訊框丟失率。具體地，通過從目標訊框速率中減去當前訊框速率並將相減結果除以目標訊框速率以確定訊框丟失率。

在一個實施例中，當前訊框速率指每秒由安卓顯示管理者處理的訊框數量。在另一實施例中，當前訊框速率指每秒由Surfaceflinger處理的訊框數量。可選地，當前訊框速率可以由存儲在隊列緩衝器中的訊框的兩個連續事件之間的時間間隔來確定。

在步驟S340中，圖像處理裝置確定訊框丟失率是否大於第一閾值，如果大於，該方法繼續進行至步驟S350。在一個實施例中，第一閾值可以被配置為0.02。

在步驟S350中，圖像處理裝置將目標訊框速率降低至當前訊框速率。

接著步驟S340，如果訊框丟失率小於或等於第一閾值，該方法繼續進行至步驟S360。

在步驟S360中，圖像處理裝置確定訊框丟失率是否小於或等於第二閾值，如果小於或等於第二閾值，則方法繼續進行至步驟S370。具體地，第二閾值被配置為在0至第一閾值的範圍內。例如，第一閾值可以被配置為0.02，而第二閾值可以被配置為0.01。

在步驟S370中，圖像處理裝置將目標訊框速率提高至上限訊框速率，其中該上限訊框速率根據訊框渲染時間及/或記憶體帶寬能力來確定。具體地，訊框渲染時間可以係指控制器(如CPU、GPU)處理訊框所需的時間期間。

第4圖為根據本發明實施例的訊框渲染時間的示意圖。如第4圖所示，表示訊框渲染時間的時間期間可以指CPU/GPU實際的處理時間(在第4圖中標記為CPU/GUP訊框時間)加上訊框渲染任務被其他線程所搶占的時間。

記憶體帶寬能力係指最大可用記憶體帶寬除以每個訊框使用的記憶體帶寬的結果，其中每個訊框使用的記憶體帶寬等於記憶體吞吐量除以當前訊框速率。

可選地，訊框渲染時間可以係指控制器處理訊框所需的時間期間乘以增強餘量(boost headroom)的結果。增強餘量可以通過將第一性能指數除以第二性能指數來確定，其中第一性能指數指示圖像處理裝置在當前系統能力下操作的性能水平，以及第二性能指數指示圖像處理裝置在最大系統能力下操作的性能水平。當前系統能力可以指圖像處理裝置當前的OPP或DVFS(Dynamic Voltage and Frequency Scaling，動態電壓頻率調整)，同時最大系統能力可以指圖像處理裝置的最大OPP或DVFS。

例如，當前OPP/DVFS可以由當前施加至控制器(如CPU或GPU)的頻率和電壓來表示，諸如{頻率=300MHz，電壓=1V}，以及最大OPP/DVFS可以由配置給控制器(如CPU或GPU)的最大頻率和電壓來表示，諸如{頻率=1GHz，電壓=1.3V}。

相應地，第一性能指數可以由使用基准來測試使用當前的OPP/DVFS的圖像處理裝置所得的分數(如1020)來表示，第二性能指數可以由使用基准來對使用最大OPP/DVFS的圖像處理裝置進行測試所得的分數(如3000)來表示。

在一個實施例中，使用訊框渲染時間的倒數來確定上限訊框速率。

在另一實施例中，通過在訊框渲染時間的倒數和記憶體帶寬能力中選擇最小值來確定上限訊框速率。例如，上限訊框速率等於記憶體帶寬能力，CPU訊框渲染時間的倒數，以及GPU訊框渲染時間的倒數中的最小值。

接著至步驟S360，如果訊框丟失率大於第二閾值，則方法繼續進行至步驟S380。

在步驟S380中，圖像處理裝置維持目標訊框速率。

接著步驟S350，S370和S380，方法繼續進行至步驟S390。

在步驟S390，圖像處理裝置對顯示圖像施加調整後的目標訊框速率，並且方法結束。

鑒於上述實施例，可以理解的是，本發明實施例通過使用訊框丟失率作為確定是否調整目標訊框速率的主要參考以及考慮各種系統提示(如，FPS，CPU/GPU訊框渲染時間，以及記憶體帶寬能力)來確定如何調整目標訊框速率，從而實現動態的訊框速率調整。有優勢地，本發明實施例的方法可以得到圖像的平滑顯示，從而提供更好的用戶體驗。

雖然已經通過示例和各種實施例的方式描述了本申請，但是應該理解，本申請不限于此。在不脫離本申請的範圍和精神的情況下，發明所屬領域具有通常知識者仍然可以進行各種改變和修改。因此，本申請的範圍應由以下申請專利範圍及其等同物限定和保護。

在申請專利範圍中使用諸如“第一”，“第二”和“第三”等順序術語來修改聲稱的要素，這本身並不意味著一個聲稱的要素的優先級，優先順序或次序高於另一個，或者執行方法的動作的時間順序，這僅被用作標簽以將具有某個名稱的一個聲稱的要素與具有相同名稱的另一個要素(但使用了順序術語)進行區分。

以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。

Claims

一種圖像處理裝置，包括：一第一電路，用於根據圖像信號的當前訊框速率和目標訊框速率，確定訊框丟失率；一第二電路，用於當該訊框丟失率大於第一閾值時，將該目標訊框速率降低至該當前訊框速率；一第三電路，用於當該訊框丟失率小於第二閾值時，將該目標訊框速率提高至上限訊框速率，其中該第二閾值小於該第一閾值，該上限訊框速率係根據訊框渲染時間或記憶體帶寬能力來確定的；以及一第四電路，用於對要顯示的圖像應用該降低或提高的目標訊框速率。
如申請專利範圍第1項所述的圖像處理裝置，其中進一步包括：一第五電路，用於當該訊框丟失率小於該第一閾值且大於該第二閾值時，維持該目標訊框速率。
如申請專利範圍第1項所述的圖像處理裝置，其中該訊框丟失率係通過從該目標訊框速率中減去該當前訊框速率並將相減的結果除以該目標訊框速率而確定的。
如申請專利範圍第1項所述的圖像處理裝置，其中該上限訊框速率係通過使用該訊框渲染時間的倒數而確定的。
如申請專利範圍第1項所述的圖像處理裝置，其中該訊框渲染時間係指中央處理單元或者圖形處理單元處理訊框所需的時間期間。
如申請專利範圍第1項所述的圖像處理裝置，其中進一步包括：一第六電路，用於確定該圖像處理裝置操作在當前系統能力下的第一性能指數，以及該圖像處理裝置操作在最大系統能力下的第二性能數；其中，該訊框渲染時間表示：第一性能指數除以第二性能指數的結果乘以中央處理單元或圖形處理單元處理訊框所需的時間期間。
如申請專利範圍第1項所述的圖像處理裝置，其中通過在訊框渲染時間的倒數和記憶體帶寬能力中選擇最小值來確定該上限訊框速率。
如申請專利範圍第7項所述的圖像處理裝置，其中該記憶體帶寬能力表示：最大可用帶寬除以每訊框使用的記憶體帶寬的結果。
一種訊框速率調整方法，由一圖像處理裝置中的一控制器來執行，該方法包括：根據該圖像處理裝置所產生的圖像信號的當前訊框速率和目標訊框速率，確定訊框丟失率；當該訊框丟失率大於第一閾值時，將該目標訊框速率降低至該當前訊框速率；當該訊框丟失率小於第二閾值時，將該目標訊框速率提高至上限訊框速率，其中該第二閾值小於該第一閾值，該上限訊框速率係根據訊框渲染時間或記憶體帶寬能力來確定的；以及對該圖像處理裝置顯示的圖像應用該降低或提高的目標訊框速率。
如申請專利範圍第9項所述的訊框速率調整方法，其中進一步包括：當該訊框丟失率小於該第一閾值且大於該第二閾值時，維持該目標訊框速率。