TWI642029B - 內容適應性視訊處理技術 - Google Patents

內容適應性視訊處理技術 Download PDF

Info

Publication number
TWI642029B
TWI642029B TW102105581A TW102105581A TWI642029B TW I642029 B TWI642029 B TW I642029B TW 102105581 A TW102105581 A TW 102105581A TW 102105581 A TW102105581 A TW 102105581A TW I642029 B TWI642029 B TW I642029B
Authority
TW
Taiwan
Prior art keywords
time
video
determining
rate
processor
Prior art date
Application number
TW102105581A
Other languages
English (en)
Other versions
TW201340030A (zh
Inventor
熊偉
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201340030A publication Critical patent/TW201340030A/zh
Application granted granted Critical
Publication of TWI642029B publication Critical patent/TWI642029B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在某些實施例中，視訊品質和處理速率兩者可能會在作業中自動做對比權衡。因此，一些不同之方法和參數可能會被調用，而在速率與品質間達成某種動態變化性平衡。

Description

內容適應性視訊處理技術
本發明係有關於內容適應性視訊處理技術。
發明背景
此一般係論及包括視訊編碼和解碼之視訊處理技術和圖形處理單元有關的硬體加速。
在一些類似視訊編碼器和解碼器之傳統式視訊處理應用程式中，存在著品質與速率間之某種對比權衡。一般而言，使用一個更複雜之處理演算法，會在速率或其他資源之代價下帶來較佳之品質。
視訊軟體可能會提供一個介面，而讓該使用者就速率與品質對比權衡選擇多數預先界定之選項中的一個選項。藉由選擇一個不同之模態或選項，視訊軟體會使用之預先界定不同的演算法，自最快速最簡單之演算法至最複雜最慢速之演算法。每個此等預先界定之演算法，會針對所有之影像使用相同之方法和參數。
依據本發明之一實施例，係特地提出一種方法，其包括基於視訊內容之性質，適性地改變多個視訊單元之處理。
10-16、20-32‧‧‧區塊
700‧‧‧系統
702‧‧‧平臺
705‧‧‧晶片集
710‧‧‧處理器
712‧‧‧記憶體
714‧‧‧儲存器
715‧‧‧圖形子系統
716‧‧‧應用程式
718‧‧‧無線電
720、804‧‧‧顯示器
721‧‧‧全球定位系統(GPS)
722‧‧‧使用者介面
723‧‧‧照相機
730‧‧‧內容服務裝置
740‧‧‧內容遞送裝置
750‧‧‧導航控制器
760‧‧‧網路
770‧‧‧作業系統
772‧‧‧至處理器之介面
780‧‧‧內部電池
790‧‧‧韌體
792‧‧‧韌體更新模組
800‧‧‧裝置
802‧‧‧外殼
806‧‧‧輸入/輸出(I/O)裝置
810‧‧‧顯示器單元
808‧‧‧天線
812‧‧‧導航特徵
某些實施例係參照以下諸圖加以說明：圖1係本發明的一個實施例有關之高階流程圖；圖2係本發明的一個更詳細之實施例的流程圖；圖3係本發明的一個實施例有關之系統示意圖；而圖4則係一個根據本發明的一個實施例之系統的前視圖。
較佳實施例之詳細說明
在某些實施例中，視訊品質和處理速率兩者會在作業中自動做對比權衡。因此，一些不同之方法和參數可能會被調用，而在速率與品質間達成某種動態變化性平衡。
視訊處理速率會依視訊內容而改變。某些視訊內容比起其他之內容自然會需要更多之處理時間。舉例而言，一些具大量移動之視訊影像比起無移動之影像典型地會需要較多之時間。在視訊編碼或處理中就速率而言常會遂巨區塊地、遂片段地、和/或遂訊框地變化。
就一個範例而言，在視訊編碼中，某些巨區塊與彼等之近鄰係如此類似，以致彼等可被編碼為一個跳躍或直接之類型。因此，就該最佳品質而言可能並不需要有耗費時間之移動搜尋。反之，某些巨區塊可能包含過多之移動，以致彼等為獲得相同之品質，或將需要半像素甚或四分之一像素移動搜尋。
在某些實施例中，為性能狀態之測量會使用一個 速率計。該速率計基本上會記錄已耗費了多少的處理時間預算。接著，基於該速率計之輸出，該系統會根據性能狀態自動選擇速率或品質路徑。舉例而言，一個使用者或應用程式可載明一個整體之目標速率或目標品質。一個視訊核心或軟體接著會極大化該性能目標內之視訊品質，或者極小化一個品質目標內之處理時間。
誠如本說明書所使用，視訊單元可能會是任何部份之視訊資料，其中包括一個像素、一個區塊、一個巨區塊、一個片段、一個影像、或一個影像群。
在某些實施例中，該視訊核心或軟體可能會依據當前之速率計而就視訊處理動態地決定應使用何種演算法。換言之，若該等先前之視訊單元早已耗費了超過一個目標或預算數量之時間，就該等當前之巨區塊或影像，便會選擇一個較簡單或較快速之演算法。若該等先前之視訊單元已耗費了低於一個目標之時間，對該等當前之巨區塊或影像，便可能適用一個較複雜和較慢速之演算法。舉例而言，在一個媒體核心中，啟用及停用階層式移動搜尋和其他特徵，可能會針對每個巨區塊或每個影像做不同之體現，以調整視訊編碼或處理速率，以及基於當前之性能狀態且基於所處理之視訊內容複雜性，而動態地達成一個希望之速率和品質對比權衡。
在某些實施例中，不同之視訊內容係適性供以不同之編碼和處理時間。由於視訊內容之時間變化性編碼或處理之性質所致，性能和品質在某些實施例中可能會被改善。
在某些實施例中，該應用程式可能為編碼、解碼、或其他視訊處理技術，其中包括視訊分析、硬體圖形加速、或任何其他之視訊處理或媒體處理應用程式。
參照圖1，起初，一個在10處所指示之使用者或應用程式，會提供一個輸入給該系統，使如區塊12所指示，選擇一個初始模態或者建立視訊處理有關之參數。接著，如區塊14中所指示，該速率計狀態會被檢查，以及該模態或一個起初被選定為內定值之參數集，可能會被更新或改變。該性能可能會使用上述決定該當前之時間狀態的速率計來加以檢查。舉例而言，一個使用者可能會就一個給定之視訊處理任務而提供一個時間預算。該時間在一個實施例中可能會等量分派給一組視訊單元。該速率計會就起初所分派之時間預算而指示該當前之序列為在何處。因此，若所耗費之時間過多，則該當前之時間狀態或將需要速率提昇，以及若在該預算上面已耗費較少之時間，品質便可能被增加。
其次，在區塊16中，一個類似巨區塊、片段、或影像之視訊單元可能會被編碼或處理。該流程接著會反覆至次一視訊單元，而如區塊14中所指示地檢查性能及更新該模態或一個需要之參數集。一些在某些實施例中可能被改變之模態，包括不同階層之品質或速率中所產生的模態。一些或許可能改變之參數範例，包括若干之基準、移動搜尋方法、重建的影像、網格量化、多重預測、巨區塊或子巨區塊分割選擇、和任何其他可能會影響到速率或品 質之參數。
參照圖2，有一個序列20可能被用來在視訊處理期間就不同類型之內容做動態調整。該序列20可能會被體現在軟體、韌體、和/或硬體中。舉例而言，其可能會被體現在一個視訊應用程式或一個視訊核心中。在軟體和韌體之實施例中，其可能會被體現為電腦可執行式指令，使儲存在一個非暫時性電腦可讀取式媒體內，諸如一個半導體、磁性或光學儲存器。
該序列20如區塊22中所指示，開始是取得該總時間目標。該時間目標以兩個範例而言，可能會被指定在一個應用程式內，或者由一個使用者來指定。接著，該當前之時間狀態係在區塊24中取得。再次地，此係得自該速率計。該速率計可能會被體現在硬體、軟體、和/或韌體中。其提供的資訊係有關該當前之視訊處理在時間預算內的何處，以及特別是相對於已有多少視訊被處理，已使用了多少可用之時間預算。
接著，在區塊26中，該等已被處理過或壓縮過之視訊單元的數目會被取得。接著，在區塊28中，該等仍要被壓縮或處理之單元的數目會被取得。
最後，該視訊單元有關之時間會基於該等性能計計量表輸入加以決定。亦即，若基於早已處理過之視訊的量和留待要處理之視訊的量，已有多於被期望之處理被完成，則藉由選擇參數或模態來達成此結果，該速率便可能會被慢下來，以及該品質可能會被改善。反之，若該處理 落後該預期之時程表，則速率可能會藉由選擇一些會改善速率之參數或模態而使增加。因此，如區塊32中所指示，該模態或參數集(或兩者)會被選定，以達成該應用程式之使用者起初設定的目標。當然，此目標會受到該視訊實際上所包含之內容的影響。就較複雜之視訊而論，該處理很有可能會落後於該時程表，以及就較簡單之視訊而論，舉例而言，就較少之移動而論，該程序可能會前進而促成速率和性能之適性對比權衡。
圖3例示一個系統700之實施例。在一些實施例中，該系統700可能為一個媒體系統，不過該系統700並非受限於此一上下文。舉例而言，該系統700可能會合併進一個個人電腦(PC)、膝上型電腦、超膝上型電腦、連網板、觸控墊板、手提式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合式蜂巢式電話/PDA、電視、智慧型裝置(舉例而言，智慧型電話、智慧型連網板、或智慧型電視)、行動式網際網路裝置(MID)、短信裝置、資料通訊裝置、等等。
在一些實施例中，該系統700包含一個耦合至一個顯示器720之平臺702。該平臺702可能會接收來自類似內容服務裝置730或內容遞送裝置740或其他類似之內容來源的一個內容裝置之內容。一個包含一或多個導航特徵之導航控制器750，可能會被用來與所舉為例之平臺702和/或顯示器720互動。每個此等組件係更詳細地說明於下文中。
在一些實施例中，該平臺702可能包含一個晶片 集705、一個處理器710、一個記憶體712、一個儲存器714、一個圖形子系統715、一個應用程式716、一個全球定位系統(GPS)721、一個照相機723、和/或一個無線電718的任何組合。該晶片集705可能會在該等處理器710、記憶體712、儲存器714、圖形子系統715、應用程式716、和/或收音機718之間提供互連。舉例而言，該晶片集705可能包含一個能夠提供與該儲存器714互連之儲存器轉接器(未加說明)。
此外，該平臺702可能包含一個作業系統770。有一個至該處理器772之介面，可能使該作業系統與該處理器710介接。
有一個韌體790可能會被提供來體現一些類似啟動序列等功能。有一個可使該韌體能夠自該平臺702之外部被更新的更新模組可能會被提供。舉例而言，該更新模組可能包含一些程式碼，藉以決定更新之嘗試是否真實，以及識別該韌體790之最近更新，以促成何時需要更新之決定。
在某些實施例中，該平臺702可能由一個外部電源供應器來供應電力。在某些情況中，該平臺702亦可能包含一個內部電池780，其在一些不適用外部電源供應器之實施例中或在一些容許電池供應電源或外部供應電源之實施例中係作用為一個電源。
圖2中所顯示之序列，可能會被體現在一些軟體和韌體之實施例中，其係藉由將彼等合併進該儲存器714內或者將彼等合併進該處理器710或圖形子系統715中之記憶 體內，姑論少數之範例。在一個實施例中，該圖形子系統715可能包含該圖形處理單元，以及該處理器710可能為一個中央處理單元。
該處理器710可能會被體現一個複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集相容性處理器、多核心或任何其他微處理器或中央處理單元(CPU)。在一些實施例中，該處理器710可能包含雙核心處理器、雙核心行動處理器、等等。
該記憶體712可能會被體現為一個揮發性記憶體裝置，諸如但非受限之隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態隨機存取記憶體(SRAM)。
該儲存器714可能會被體現為一個非揮發性儲存器裝置，諸如但非受限之磁碟機、光碟機、磁帶驅動器、內部儲存器裝置、裝接式儲存器裝置、快閃記憶體、電池支援式SDRAM(同步DRAM)、和/或網路可存取式儲存器裝置。在一些實施例中，該儲存器714舉例而言，可能包含一種技術，使在包括多重之硬碟時增加有價值之數位媒體有關之儲存器性能增強型保護。
該圖形子系統715可能會執行一些影像處理，諸如供顯示用之靜止畫面或視訊。該圖形子系統715舉例而言，可能為一個圖形處理單元(GPU)或一個視訊處理單元(VPU)。有一個類比或數位介面可能會被用來以通訊方式耦合該圖形子系統715和該顯示器720。舉例而言，該介面可能為一個高畫質多媒體介面、DisplayPort(一款數位式音訊/ 視訊接頭)、無線HDMI、和/或無線HD相容性技術中的任何一個。該圖形子系統715可使整合進該處理器710或該晶片集705內。該圖形子系統715可為一個以通訊方式耦合至該晶片集705之單機卡。
本說明書所說明之圖形和/或視訊處理技術，可能會被體現在各種硬體架構中。舉例而言，該圖形和/或視訊功能性可能被整合在一個晶片集內。或者，有一個離散式圖形和/或視訊處理器可能會被使用。就又一個實施例而言，該圖形和/或視訊功能可能會藉由一個通用式處理器來體現，其中包括一個多核心處理器。在又一個實施例中，該等功能可能會被體現在一個消費性電子產品裝置中。
該無線電718可能包含一或多個能夠使用各種適當之無線通訊技術來傳輸及接收信號之無線電。此等技術可能涉及橫跨一或多個無線網路之通訊。一些範例性無線網路包括(但非受限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會網路(WMAN)、蜂巢式網路、和衛星網路。在橫跨此等網路通訊中，該無線電718可能依據任何版本的一或多個可適用之標準而運作。
在一些實施例中，該顯示器720可能包含任何電視類型之監視器或顯示器。該顯示器720舉例而言，可能包含一個電腦顯示器螢幕、觸控螢幕顯示器、視訊監視器、電視類裝置、和/或電視。該顯示器720可能為數位式和/或類比式。在一些實施例中，該顯示器720可能為一個全像顯示器。而且，該顯示器720可能為一個可能接收一個視訊 投影之透明表面。此等投影可能會傳達各種形式之資訊、影像、和/或物件。舉例而言，此等投影可能為一個行動擴張實境(MAR)應用程式有關之視覺覆蓋(visual overlay)。在一或多個軟體應用程式716之控制下，該平臺702可能會在該顯示器720上面顯示該使用者介面722。
在一些實施例中，該(等)內容服務裝置730舉例而言，可能會由任何之國內、國際、和/或獨立之服務來主控，以及因而可經由網際網路來存取該平臺702。該(等)內容服務裝置730可能會耦合至該平臺702和/或該顯示器720。該等平臺702和/或內容服務裝置730，可能會耦合至一個網路760，使來回於該網路760傳達(舉例而言，傳送及/或接收)媒體資訊。該(等)內容遞送裝置740亦可能會耦合至該平臺702和/或該顯示器720。
在一些實施例中，該(等)內容服務裝置730，可能包含一個有線電視盒、個人電腦、網路、電話、一些能夠遞送數位資訊和/或內容之網際網路致能式裝置或電器、和任何其他能夠經由該網路760或直接單向地或雙向地在一些內容供應商與該等平臺702和/或顯示器720之間傳達內容的類似裝置。理應察覺到的是，該內容可能會經由該網路760單向地及/或雙向地來回於該系統700中的任何一個組件與一個內容供應商進行通訊。一些內容範例可能包括任何之媒體資訊，其中舉例而言包括視訊、音樂、醫療和電玩資訊、等等。
該等內容服務裝置730會接收一些類似有線電視 節目規畫等內容，其中包括媒體資訊、數位資訊、和/或其他內容。一些內容供應商之範例，可能包括任何之電纜或衛星電視或無線電或網際網路內容供應商。該等提供之範例並非意使限制本發明之實施例。
在一些實施例中，該平臺702可能會接收一些來自該導航控制器750而具有一或多個導航特徵之控制信號。該控制器750之導航特徵舉例而言，可能會被用來與該使用者介面722互動。在一些實施例中，該導航控制器750可能為一個指位裝置，其可能為一個容許一個使用者輸入空間(舉例而言，連續性及多維度)資料至一個電腦內之電腦硬體組件(明確而言，人機介面裝置)。許多類似圖形使用者介面(GUI)、和電視和監視器之系統，容許該使用者使用一些實際之手勢，來控制及提供資料給該電腦或電視。
該控制器750之導航特徵的移動，可能藉由一個顯示在一個顯示器(舉例而言，該顯示器720)上面之指位器、游標、調焦環、或其他視覺指示符的移動而在該顯示器上面回應。舉例而言，在該軟體應用程式716之控制下，該等位於上述導航控制器750上面之導航特徵，舉例而言，可能會被映射至該使用者介面722上面所顯示之虛擬導航特徵。在一些實施例中，該控制器750可能不是一個單獨之組件，而是被整合進該平臺702和/或該顯示器720內。然而，彼等實施例並非受限於該等元伴或本說明書所顯示或所說明之上下文中。
在一些實施例中，一些驅動器(未示出)舉例而言 可能包含一種技術，其可使使用者像電視一樣在被致能時於初始啟動後藉碰觸一個按鈕便立即能夠啟通及啟斷該平臺702。當該平臺702被啟斷時，有一個程式邏輯可能容許該平臺將該內容串流至一些媒體轉接器或其他之內容服務裝置730或內容遞送裝置740。此外，該晶片集705舉例而言可能包含5.1環繞身歷語音訊和/或高傳真7.1環繞身歷語音訊有關之硬體和/或軟體支援。彼等驅動器可能包含一些整合式圖形平臺有關的一個圖形驅動器。在一些實施例中，該圖形驅動器可能包含一個外設互聯標準(PCI)快捷圖形卡。
在各種實施例中，該系統700中所顯示的任何一或多個組件可能會被整合在一起。舉例而言，該等平臺702和內容服務裝置730可能會被整合在一起，或者該等平臺702和內容遞送裝置740可能會被整合在一起，或者舉例而言，該等平臺702、內容服務裝置730、和內容遞送裝置740可能會被整合在一起。在各種實施例中，該等平臺702和顯示器720可能為一個積體單元。舉例而言，該等顯示器720和內容服務裝置730可能會被整合在一起，或者該等顯示器720和內容遞送裝置740可能會被整合在一起。此等範例並非意使受限於本發明。
在各種實施例中，該系統700可能會被體現為一個無線系統、一個線接式系統、或兩者之組合。當被體現為一個無線系統時，該系統700可能包括一些適用來透過一個類似一或多個天線、發射器、接收器、收發器、擴音器、 濾波器、控制邏輯、等等之無線共享媒體進行通訊的組件和介面。一個無線共享媒體之範例可能包含部份之無線頻譜，諸如RF頻譜、等等。當被體現為一個線接式系統時，該系統700可能包括一些適用來透過一個類似一個輸入/輸出(I/O)轉接器、一個用以連接該(I/O)轉接器與一個對應之線接式通訊媒體的實體連接器、一個網路介面卡(NIC)、一個碟片控制器、一個視訊控制器、音訊控制器、等等的線接式通訊媒體進行通訊之組件和介面。一些線接式通訊媒體的範例可能包括一個電線、電纜、金屬引線、印刷電路板(PCB)、基板、開關架構、半導體材料、雙絞線、同軸電纜、光纖、等等。
該平臺702可能會建立一或多個用以傳達資訊之邏輯或實體通道。該資訊可能包括媒體資訊和控制資訊。該媒體資訊可能指稱任何表示對一個使用者有意義之內容的資料。一些內容之範例舉例而言可能包括來自語音交談、視訊會議、串流視訊、電子郵件(“電郵”)訊息、語音郵件訊息、文數符號、圖形、影像、視訊、文本、等等之資料。一些來自語音交談之資料舉例而言可能為語音資訊、靜音時期、背景雜訊、舒適雜訊、鈴聲、等等。一些控制資訊可能指稱任何表示對一個自動化系統有意義之命令、指令、或控制字組的資料。舉例而言，一些控制資訊可能會被用來使媒體資訊路由經過一個系統，或者指示一個節點使以某一預定之方式處理該媒體資訊。然而，該等實施例並非受限於該等元伴或圖3中所顯示或所說明之上下文中。
誠如上文所說明，該系統700可能會被體現在一些變化之實體類型或外觀尺寸中。圖5例示一個可能體現該系統700之小外觀尺寸裝置800的實施例。在一些實施例中，舉例而言，該裝置800可能會被體現為具有無線能力之行動運算裝置。一個行動運算裝置可能指稱任何具有一個處理系統和一個類似所舉為例的一或多個電池之行動電源或電源供應器的裝置。
誠如上文所說明，一個行動運算裝置之範例可能包括一個個人電腦(PC)、膝上型電腦、超膝上型電腦、連網板、觸控墊板、手提式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合式蜂巢式電話/PDA、電視、智慧型裝置(舉例而言，智慧型電話、智慧型連網板、或智慧型電視)、行動網際網路裝置(MID)、短信裝置、資料通訊裝置、等等。
一個行動運算裝置之範例，亦可能包括一些在安排上要供一個人員佩帶之電腦，諸如一個手腕電腦、手指電腦、指環電腦、眼鏡電腦、腰掛皮套電腦、臂章電腦、鞋電腦、衣著電腦、和其他可穿帶之電腦。在一些實施例中，舉例而言，該行動運算裝置可能會被體現為一個有能力執行電腦應用程式加上語音通訊和/或資料通訊之智慧型電話。雖然某些實施例可能說明有關一個藉由範例被體現為一個智慧型電話之行動運算裝置，理應察覺到的是，加上使用其他之無線行動運算裝置，亦可能體現其他之實施例。該等實施例並非受限於此一上下文中。
誠如圖4中所示，該裝置800可能包含一個外殼802、一個顯示器804、一個輸入/輸出(I/O)裝置806、和一個天線808。該裝置800亦可能包含一些導航特徵812。該顯示器804可能包含任何用以顯示適用於行動運算裝置之資訊的適當之顯示器單元。該I/O裝置806可能包含任何用以輸入資訊進一個行動運算裝置內之適當的I/O裝置。一些I/O裝置806有關之範例可能包括一個文數鍵盤、一個數值按鍵區、觸控墊板、輸入鍵、按鈕、開關、搖桿開關、麥克風、喇叭、語音辨識裝置和軟體、等等。彼等資訊亦可能藉由麥克風使輸入進該裝置800內。此等資訊可能藉由一個語音辨識裝置加以數位化。該等實施例並非受限於此一上下文中。
各種實施例可能使用一些硬體元伴、軟體元伴、或兩者之組合來加以體現。一些硬體元伴之範例可能包括一些處理器、一些微處理器、一些電路、一些電路元伴(舉例而言，電晶體、電阻器、電容器、電感器、等等)、積體電路、應用專屬性積體電路(ASIC)、一些可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、現場可程式化閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片集、等等。一些軟體之範例可能包括一些軟體組件、一些程式、一些應用程式、一些電腦程式、一些應用程式、一些系統程式、一些機器程式、一個作業系統軟體、一個中介軟體、一個韌體、一些軟體模組、一些公用常式、一些子程式、一些函式、一些方法、一些程序、一些軟體介面、一些應用程式介面(API)、一些指令集、運算程式碼、 電腦程式碼、程式碼片段、電腦程式碼片段、一些字組、一些值、一些符號、或彼等的任何組合。決定一個實施例是否使用一些硬體元伴和/或軟體元伴來體現，可能會依據任何數目之因素而改變，諸如所希望之計算率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速率、和其他設計或性能限制條件。
至少一個實施例的一或多個屬性，可能會由一個表示該處理器內之各種邏輯的電算機可處理式媒體上面所儲存之代表性指令來體現，該等指令在被一個電算機讀取時，可使該機器製造邏輯來執行本說明書所說明之技術。此等名為“IP核心”之代碼，可能會被儲存在一個有形電算機可讀取式媒體上面以及使供應給各種消費者或製造設備，以載入該等實際上完成該邏輯或處理器之製造機器內。
各種實施例可能會使用硬體元伴、軟體元伴、或兩者之組合來體現。一些硬體元伴之範例可能包括一些處理器、一些微處理器、一些電路、一些電路元伴(舉例而言，電晶體、電阻器、電容器、電感器、等等)、積體電路、應用專屬性積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、現場可程式化閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片集、等等。一些軟體之範例可能包括一些軟體組件、一些程式、一些應用程式、一些電腦程式、一些應用程式、一些系統程式、一些機器程式、一個作業系統軟體、一個中介軟體、一個韌體、一些軟體模組、一些公用常式、一些子程式、一些函 式、一些方法、一些程式、一些軟體介面、一些應用程式介面(API)、一些指令集、運算程式碼、電腦程式碼、一些程式碼片段、一些電腦程式碼片段、一些字組、一些值、一些符號、或彼等的任何組合。決定一個實施例是否使用一些硬體元伴和/或軟體元伴來體現，可能會依據任何數目之因素而改變，諸如所希望之計算率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速率、和其他設計或性能限制條件。
至少一個實施例的一或多個屬性，可能會由一個表示該處理器內之各種邏輯的電算機可處理式媒體上面所儲存之代表性指令來體現，該等指令在被一個電算機讀取時，可使該機器製造邏輯來執行本說明書所說明之技術。此等名為“IP核心”之代碼，可能會被儲存在一個有形電算機可讀取式媒體上面，以及會供應給各種消費者或製造設備，以載入該等實際上完成該邏輯或處理器之製造機器內。
本說明書所說明之圖形處理技術，可能會被體現在各種硬體架構中。舉例而言，該圖形功能可能會被整合在一個晶片集內。或者，有一個離散式圖形處理器可能會被使用。就又一個實施例而言，該圖形功能可能會由一個包含一個多核心處理器之通用式處理器來體現。
本專利說明書整篇對“一個實施例”或“某一實施例”之指稱意謂的是，配合該實施例所說明之特定特徵、結構、或特性，係包括在本發明內所涵蓋的至少一個實現體中。因此，片語“一個實施例”或“在一個實施例中”之出現， 並非必然指稱同一實施例。此外，該等特定之特徵、結構、或特性，可能會在其他除所例示之特定實施例外的適當形式中創立，以及所有此等形式係可能涵蓋在本說明書之申請專利範圍內。
雖然本發明已參照有限數目之實施例加以說明，本技藝之專業人士將可自彼等理解出許多修飾體和變更形式。所伴隨之申請專利範圍係意使涵蓋所有此等隸屬本發明之真實精神和界定範圍內的修飾體和變更形式。

Claims (33)

  1. 一種方法，其包含：接收一目標速率或一目標品質的規範；當在處理要被處理之連續視訊單元的一串流之進程時，判定用於該串流的一時間預算，判定已花費的時間，及判定需要去完成剩下之串流之時間的量；判定要去達成該已接收目標品質規範之一最大可達成速率，或是要去達成該已接收目標速率規範之一最大可達成品質特性；以及基於剩餘之時間預算及需要去完成剩下之串流的該時間來設定一速率或品質特性。
  2. 如申請專利範圍第1項之方法，其中包括改變被用來處理該等視訊單元的至少一個模態或參數集。
  3. 如申請專利範圍第1項之方法，其中包括改變該等視訊單元之編碼或解碼中之一者。
  4. 如申請專利範圍第1項之方法，其中包括決定對於一個視訊處理任務之一總目標時間。
  5. 如申請專利範圍第4項之方法，其中包括取得於該總目標時間內之一當前時間。
  6. 如申請專利範圍第5項之方法，其中包括取得處理過之視訊單元之數目。
  7. 如申請專利範圍第6項之方法，其中包括取得待要處理之視訊單元的數目。
  8. 如申請專利範圍第7項之方法，其中包括決定有多少時間可被用來處理下一視訊單元。
  9. 如申請專利範圍第8項之方法，其中包括基於用於下一視訊單元之時間來選擇用於視訊處理的一個模態或參數集。
  10. 如申請專利範圍第1項之方法，其中包括分派一個時間給一個包括子任務之視訊處理任務，以及決定在該處理任務之進程中剩餘多少時間。
  11. 一種非暫時性電腦可讀取式媒體，其儲存指令以致使一處理器進行：接收一目標速率或一目標品質的規範；當在處理要被處理之連續視訊單元的一串流之進程時，判定用於該串流的一時間預算，判定已花費的時間，及判定需要去完成剩下之串流之時間的量；判定要去達成該已接收目標品質規範之一最大可達成速率，或是要去達成該已接收目標速率規範之一最大可達成品質特性；以及基於剩餘之時間預算及需要去完成剩下之串流的該時間來設定一速率或品質特性。
  12. 如申請專利範圍第11項之媒體，其中進一步儲存一些指令，用以改變被用來處理該等視訊單元的至少一個模態或參數集。
  13. 如申請專利範圍第11項之媒體，其中進一步儲存一些指令，用以改變該等視訊單元的編碼或解碼中之一者。
  14. 如申請專利範圍第11項之媒體，其中進一步儲存一些指令，用以決定對於一個視訊處理任務之一總目標時間。
  15. 如申請專利範圍第14項之媒體，其中進一步儲存一些指令，用以取得於該總目標時間內之一當前時間。
  16. 如申請專利範圍第15項之媒體，其中進一步儲存一些指令，用以取得處理過之視訊單元之數目。
  17. 如申請專利範圍第16項之媒體，其中進一步儲存一些指令，用以取得待要處理之視訊單元的數目。
  18. 如申請專利範圍第17項之媒體，其中進一步儲存一些指令，用以決定有多少時間可被用來處理下一視訊單元。
  19. 如申請專利範圍第18項之媒體，其中進一步儲存一些指令，用以基於用於下一視訊單元之時間來選擇用於視訊處理的一個模態或參數集。
  20. 如申請專利範圍第11項之媒體，其中進一步儲存一些指令，用以分派一個時間給一個包含子任務之視訊處理任務，以及決定在該處理任務之進程中剩餘多少時間。
  21. 一種裝置，其包含：用以接收一目標速率或一目標品質的規範之一處理器，當在處理要被處理之連續視訊單元的一串流之進程時，判定用於該串流的一時間預算，判定已花費的時間，及判定需要去完成剩下之串流之時間的量，判定要去達成該已接收目標品質規範之一最大可達成速率，或是要去達成該已接收目標速率規範之一最 大可達成品質特性，基於剩餘之時間預算及需要去完成剩下之串流的該時間來設定一速率或品質特性；以及耦接至該處理器之一儲存器。
  22. 如申請專利範圍第21項之裝置，該處理器係用以改變被用來處理該等視訊單元的至少一個模態或參數集。
  23. 如申請專利範圍第21項之裝置，其中該處理器係用以改變該等視訊單元的編碼或解碼中之一者。
  24. 如申請專利範圍第21項之裝置，該處理器係用以決定對於一個視訊處理任務之一總目標時間。
  25. 如申請專利範圍第24項之裝置，該處理器係用以取得於該總目標時間內之一當前時間。
  26. 如申請專利範圍第25項之裝置，該處理器係用以取得處理過之視訊單元之數目。
  27. 如申請專利範圍第26項之裝置，該處理器係用以取得待要處理之視訊單元的數目。
  28. 如申請專利範圍第27項之裝置，該處理器係用以決定有多少時間可被用來處理下一視訊單元。
  29. 如申請專利範圍第28項之裝置，該處理器係用以基於用於下一視訊單元之時間來選擇用於視訊處理的一個模態或參數集。
  30. 如申請專利範圍第21項之裝置，該處理器係用以分派一個時間給一個包括子任務之視訊處理任務，以及依據該處理任務來決定剩餘多少時間。
  31. 如申請專利範圍第21項之裝置，其中包括一個作業系統。
  32. 如申請專利範圍第21項之裝置，其中包括一個電池。
  33. 如申請專利範圍第21項之裝置，其中在一個模組中包括一個韌體，藉以更新該韌體。
TW102105581A 2012-02-15 2013-02-18 內容適應性視訊處理技術 TWI642029B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/396,741 US20130208786A1 (en) 2012-02-15 2012-02-15 Content Adaptive Video Processing
US13/396,741 2012-02-15

Publications (2)

Publication Number Publication Date
TW201340030A TW201340030A (zh) 2013-10-01
TWI642029B true TWI642029B (zh) 2018-11-21

Family

ID=48945521

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102105581A TWI642029B (zh) 2012-02-15 2013-02-18 內容適應性視訊處理技術

Country Status (5)

Country Link
US (1) US20130208786A1 (zh)
EP (1) EP2815581A4 (zh)
CN (1) CN104221393A (zh)
TW (1) TWI642029B (zh)
WO (1) WO2013123322A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9524536B2 (en) * 2014-07-25 2016-12-20 Intel Corporation Compression techniques for dynamically-generated graphics resources
US10506235B2 (en) * 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080010B2 (en) * 2002-10-15 2006-07-18 Mindspeed Technologies, Inc. Complexity resource manager for multi-channel speech processing
TW200845687A (en) * 2007-01-30 2008-11-16 Qualcomm Inc Methods and systems for resizing multimedia content based on quality and rate information
US20080291995A1 (en) * 2007-05-25 2008-11-27 Carl Norman Graham Adaptive video encoding apparatus and methods

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
US20050024487A1 (en) * 2003-07-31 2005-02-03 William Chen Video codec system with real-time complexity adaptation and region-of-interest coding
JP4025260B2 (ja) * 2003-08-14 2007-12-19 株式会社東芝 スケジューリング方法および情報処理システム
GB2406184B (en) * 2003-09-17 2006-03-15 Advanced Risc Mach Ltd Data processing system
TWI253304B (en) * 2004-09-13 2006-04-11 Newsoft Technology Corp Method and system for improving fluency of video and audio data display
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
US7929599B2 (en) * 2006-02-24 2011-04-19 Microsoft Corporation Accelerated video encoding
US20080022320A1 (en) * 2006-06-30 2008-01-24 Scientific-Atlanta, Inc. Systems and Methods of Synchronizing Media Streams
WO2008070987A1 (en) * 2006-12-12 2008-06-19 Vantrix Corporation An improved video rate control for video coding standards
FR2925818A1 (fr) * 2007-12-21 2009-06-26 France Telecom Procede de decodage a complexite variable d'un signal d'images, terminal de decodage, procede de codage, dispositif de codage, signal et programmes d'ordinateur correspondants
KR101439847B1 (ko) * 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
US20100058320A1 (en) * 2008-09-04 2010-03-04 Microsoft Corporation Managing Distributed System Software On A Gaming System
JP5916624B2 (ja) * 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080010B2 (en) * 2002-10-15 2006-07-18 Mindspeed Technologies, Inc. Complexity resource manager for multi-channel speech processing
TW200845687A (en) * 2007-01-30 2008-11-16 Qualcomm Inc Methods and systems for resizing multimedia content based on quality and rate information
US20080291995A1 (en) * 2007-05-25 2008-11-27 Carl Norman Graham Adaptive video encoding apparatus and methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIH-FU CHANG, AND ANTHONY VETRO,"Video Adaptation: Concepts, Technologies, and Open Issues", Proceedings of the IEEE, Vol. 93, Pp. 148–158, 2005 *
SHIH-FU CHANG, AND ANTHONY VETRO,"Video Adaptation: Concepts, Technologies, and Open Issues", Proceedings of the IEEE, Vol. 93, Pp. 148–158, 2005。

Also Published As

Publication number Publication date
WO2013123322A1 (en) 2013-08-22
EP2815581A4 (en) 2015-12-30
EP2815581A1 (en) 2014-12-24
US20130208786A1 (en) 2013-08-15
CN104221393A (zh) 2014-12-17
TW201340030A (zh) 2013-10-01

Similar Documents

Publication Publication Date Title
TWI582720B (zh) 用於經動態生成的圖形資源之壓縮技術
TWI502540B (zh) 動態再平衡圖型處理器資源的方法、裝置與系統
US9832247B2 (en) Processing video data in a cloud
JP6182225B2 (ja) カラーバッファ圧縮
TW201411479A (zh) 基於聚焦點判定之解碼視訊圖框的選擇性後處理技術
KR101713041B1 (ko) 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축
KR20140130508A (ko) 클럭 ｃａｂｃ 디코딩당 2개의 빈
TWI551133B (zh) 分散式圖形處理技術
TWI642029B (zh) 內容適應性視訊處理技術
TWI550552B (zh) 適應性深度偏移壓縮技術
US10846142B2 (en) Graphics processor workload acceleration using a command template for batch usage scenarios
US20130342553A1 (en) Texture mapping techniques
JP5968463B2 (ja) データを別の記憶装置にコピーせずにデータソースによりバッファに格納されたデータを処理するためのポインタのスワッピング
TWI514858B (zh) 固定功能媒體裝置之先佔
US9705964B2 (en) Rendering multiple remote graphics applications
US10261570B2 (en) Managing graphics power consumption and performance
US10158851B2 (en) Techniques for improved graphics encoding
EP2798855A1 (en) Method and system to play linear video in variable time frame
US20130326351A1 (en) Video Post-Processing on Platforms without an Interface to Handle the Video Post-Processing Request from a Video Player
EP2856754A1 (en) Video post- processing on platforms without an interface to handle the video post-processing request from a video player

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees