TW201016007A - Power and computational load management techniques in video processing - Google Patents

Power and computational load management techniques in video processing Download PDF

Info

Publication number
TW201016007A
TW201016007A TW098127903A TW98127903A TW201016007A TW 201016007 A TW201016007 A TW 201016007A TW 098127903 A TW098127903 A TW 098127903A TW 98127903 A TW98127903 A TW 98127903A TW 201016007 A TW201016007 A TW 201016007A
Authority
TW
Taiwan
Prior art keywords
operations
decoding
video
data stream
processor
Prior art date
Application number
TW098127903A
Other languages
English (en)
Inventor
Vijayalakshmi R Raveendran
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201016007A publication Critical patent/TW201016007A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Power Sources (AREA)
  • Picture Signal Circuits (AREA)

Description

201016007 六、發明說明： 【發明所屬之技術領域】 本發明大體而言係關於視訊處理之領域，且更具體言 之，係關於用於視訊處理及解碼中之電力及計算負載管理 之技術。 本申請案係關於與本申請案同一天申請之名為「POWER AND COMPUTATIONAL LOAD MANAGEMENT TECHNIQUES IN VIDEO PROCESSING」（臨時以代理人案號第IDF 071979U2號引用）的美國專利申請案；且主張2008年8月19 曰申請之美國臨時申請案第61/090,176號及2008年11月14 曰申請之美國臨時申請案第61/114,985號之權利，該等申 請案全部讓與給本發明之受讓人且在此出於全部目的以全 文引用的方式明確地併入本文中。 【先前技術】 包括於視訊資料中的數位資訊之量係巨大的且傾向於隨 攝影機之效能的提昇一起增加。視訊資料之處理對具備視 訊能力之器件且詳言之諸如蜂巢式電話、個人數位助理 (PDA)、膝上型電腦及其類似物之無線通信器件的電力及 計算資源提出大量要求。 雖然視訊壓縮主要減少空間及時間冗餘，但在已捕獲 (或視情況而定自儲存器提取）源視訊之後及在於顯示器處 呈現（消耗）重建之視訊之前需要若干預處理及後處理操 作。視訊處理主要歸因於與電力需求（電池、通話時間等） 成正比之所需算術運算對記憶體（儲存及資料傳送用）及計 142708.doc 201016007 算負載提出大量要求。 右給定視訊中之冗餘之量，則應期望該等操作之數量之 按比例減少。由於壓縮比為許多數量級（1〇〇:1至1〇〇〇:1)， 因此不管實施額外負擔如何，均可達成待處理之視訊資料 之量的顯著減少。$間·時間冗餘可使用壓縮中繼資料識 別且對應於冗餘操作之減少，此減少節省電力。不同冗餘 等級轉換成處理器上之所消耗電力及計算負載之不同等 級。
因此，需要用於視訊處理及解碼中之電力及計算負載管 理之技術。 【發明内容】 本文中描述用於在視訊處理及解碼中管，理一處理器上之 電力消耗及計算負載之技術。在一組態中，提供一種裝 置，其包含一處理器，該處理器具有操作以自一含有視訊 資料之位元流提取資訊並編譯該資訊的指令之一集合。噹 處理器操作以識別用以產生該位元流之—或多個協:，二 接著識別該等協定所需之各種剖析及解碼操作。_旦經識 別，便可接著基於該裝置可用的電能之量或基於可:處理 能力來管理針對該位元流的該等剖析及解碼操作^根據一 實例，可不完整地進行該位元流之該等識別出㈣㈣作 及解碼操作，而是替代地可基於電能之可 „ 置承•處理能力 選擇性地進行該等剖析操作及解碼操作。 根據另一組態，提供一種裝置，其包含一 幾·狂器’該處 理器具有操作以自-含有視訊資料之位^流提取資訊並編 142708.doc 201016007 譯該資訊的指令之一集合。該處理器操作以識別用以產生 該位元流之一或多個協定’且接著識別該等協定所需之各 種剖析及解碼操作。一旦經識別，便基於該視訊之一視覺 品質或一使用者經驗品質來管理針對該位元流之該等剖析 及解碼操作。該裝置亦包括一耦接至該處理器之記憶體。 在另一態樣中，提供一種包含一處理器的積體電路 (ic)，該處理器具有操作以自一具有視訊之位元流提取資 訊並編譯該資訊的指令之一集合。該處理器操作以識別用
以產生該位70流之一或多個協定，識別該等協定所需之各 種剖析及解碼操作，且接著基於可用電能之量或可用處理 能力來管理針對該位元流之該等剖析及解碼操作。根據另 一組態，基於該視訊之一視覺品質或一使用者經驗品質來 管理該等剖析及解碼操作。該積體電路亦包括—叙接至該 處理器之記憶體。
在另一組態中，提供一種包括一電腦可讀媒體之電腦程 式產品，該電腦可讀媒體具有用於使一處理器自—含有視 訊Λ料之位元流提取資訊並編譯該資訊之指令。該等指令 進一步使該處理器識別用以產生該位元流之—或多個協定 以及該等^所需之各㈣析及解碼操作，且接著基於可 用電能之量或可用處理能力來管理該等剖析及解褐操作。 根據另-組態，基於該視訊之一視覺品質或—使用者經驗 品質來管理該等剖析及解碼操作。 I等組態之另一態樣包括一將該等各種剖析及解碼接 組織成群組之處理器’其中每一群組具有一計劃的電能 142708.doc • 6 · 201016007 =或計劃的處理能力需求。該處理器接著選擇—群組使得 群組之計劃的電能或處理能力需求滿足或不超過該可用 電能或該可用處理能力。或者，可基於由與彼群組相關聯 之該等剖析及解㈣作提供的該視訊之—視覺品質或使用 者經驗品質㈣等各㈣減解碼操雜織成群組。
[發明内容]不欲也不應被解釋為表示本發明之完全範圍 及範此等及額外態樣自[實施方式]將變得更顯而易 見特別疋當[實施方式]和附圖一起考慮時。 【實施方式】 詞語「例示性」在本文中用以意謂「充當一實例、例項 或說明」。在本文中被描述為「例示性」的任何組態或設 計未必被解釋為相對於其他組態或設計較佳或有利，且術 語「核心」、「引擎」、「機器」、「處理器」及「處理單元」 可互換地使用。 本文中所描述之技術可用於無線通信、計算、個人電子 器件（personal electronics)、手機等。下文描述該等技術用 於無線通信之一例示性使用。 圖1展示一無線通信系統中之一無線器件1〇之一組態的 方塊圖。無線器件10可為一手機《無線器件1〇或手機可為 一蜂巢式電話或帶相機之電話（camera phone)、一終端 機、一配備無線功能之個人數位助理（PDA)、一無線通信 器件、一視訊遊戲控制台、一膝上型電腦、一具備視訊能 力之器件或某一其他配備無線功能之器件。該無線通信系 統可為一分碼多重存取（CDMA)系統、一全球行動通信系 142708.doc 201016007 統（GSM)系統或某一其他系統。 …、線器件10能夠經由一接收路徑及一傳輸路徑提供雙向 通仏。在接收路徑上，由基地台傳輸之信號係由一天線12 接收且提供給—接收器（RCVR)14。接收器14調節並數位 化該接收到的信號且將樣本提供給一數位區段2 〇用於進一 步處理。在傳輸路徑上，一傳輸器（TMTR)16接收將自數 位區段20傳輸之資料，處理並調節該資料，且產生一經由 天線12傳輸至基地台之經調變信號。 數位區段20包括各種處理、介面及記憶體單元，諸如一 數據機處理器22、一視訊處理器24、一控制器/處理器 26、一顯示處理器28、一 ARM/DSp 32、一圖形處理單元 (GPU)34、一内部記憶體36及一外部匯流排介面（EBI)38。 數據機處理器22執行對資料傳輸及接收之處理（例如，調 變及解調變）。視訊處理器24對用於諸如攝錄像機 (camcorder)、視訊播放及視訊會議之視訊應用的視訊内容 (例如，靜態影像、移動視訊及移動文字）執行處理。視訊 處理器24執行視訊編碼及解碼或編解碼操作。視訊編碼及 解碼操作可由另一處理器來執行或在數位區段2〇中之各種 處理器中共用。控制器/處理器26可指導數位區段20内之 各種處理及介面單元之操作。顯示處理器28執行處理以促 進視訊、圖形及文字在一顯示單元3〇上之顯示。arm/DSP 32可執行無線器件的各種類型之處理。圖形處理單元34 執行圖形處理。 GPU 34可服從（例如）2005年7月28日之一公開可得之文 142708.doc -8 - 201016007 件「OpenGL Specification，Version 1.0」。此文件為針對適 合於掌上型及行動器件（諸如，蜂巢式電話及其他上文提 及之無線通信裝置）之2D向量圖形之一標準。另外，GPU 34 亦可服從 OpenGL2.0、OpenGL ES2.0 或 D3D9.0 圖形標 準〇 本文中所描述之技術可用於數位區段20中之該等處理器 中之任一者，例如，視訊處理器24。内部記憶體36儲存用 於數位區段20内之各種單元之資料及/或指令。EBI 38促進 資料沿著一匯流排或資料線DL在數位區段20(例如，内部 記憶體36)與一主記憶體40之間的傳送。 數位區段20可用一或多個DSP、微處理器、RISC等實 施。數位區段20亦可製造於一或多個特殊應用積體電路 (ASIC)或某其他類型之積體電路（1C)上。 本文中所描述之技術可實施於各種硬體單元中。舉例而 言，該等技術可實施於ASIC、DSP、RISC、ARM、數位 信號處理器件（DSPD)、可程式化邏輯器件（PLD)、場可程 式化閘陣列（FPGA)、處理器、控制器、微控制器、微處理 器及其他電子單元中。 可壓縮原始視訊資料以便減少必須傳輸至無線器件10或 其他具備視訊能力之器件或藉由該等器件處理之資訊之 量。壓縮可使用（例如）服從工業適用之視訊壓縮及通信標 準中之一或多者之視訊寫碼技術來執行，該等視訊壓縮及 通信標準包括ISO/IEC之動畫專家群MPEG-2及MPEG-4、 ITU-T之H.264/AVC或其他標準（AVC代表進階視訊寫碼）之 142708.doc 201016007 彼等標準。服從非標準壓縮方法之視訊寫碼技術(諸如 Adobe Flash player中所使用之vp6)亦可用於產生壓縮的視 訊資料纟該等組態中，原始及壓縮的視訊資料可使用無 線或有線介面或其組合傳輸至無線器件10或其他具備視訊 此力之器件、自無線器件10或其他具備視訊能力之器件傳 輸或在無線器件10或其他具備視訊能力之器件内傳輸。或 者，可將壓縮的資料儲存於諸如DVD之媒體中。 將壓縮的視訊資料封裝成―有效貞餘式讀使用輸送 協疋（例如，使用如由IETF在即時輸送協定規範中所定義 之網際網路協定（IP))傳輸。 圖2A展示無線器件1〇或其他具備視訊能力之器件必須傳 輸或處理之資料流及對應協定的方塊圖。一資料流2141包 含輸送層資料2142(例如，如輸送協定規範2145所規定之 封裝）及視訊層資料2143。該輸送層資料遵循如對應輸送 協定中所S定的資料表示之格式或語法或語義，且視訊層 資料遵循如視讯寫碼協定2144(諸如該等壓縮標準）中所規 疋的視訊資料之表示之格式或語法或語義。 一輸送協定2145封裝視訊層資料以供傳輸或儲存用，例 如如MP4之檔案格式或諸如RTP或UDP4Ip之輸送格式。 一視訊寫碼協定2144可為一視訊寫碼標準，諸如MpEG_2 或 MPEG-4，或 H.264/AVC，或諸如Real Vide〇 或 Wind〇ws Media 4之任何其他視訊編解碼器。輸送層資料之語法及 語義由輸送協定支配或規定，且視訊層資料之語法及語義 由視訊寫碼協定支配或規定。 142708.doc -10- 201016007 圖2B展示視訊層資料2143之格式。 °茨祝訊層資料包含— 序列或圖像群組（GOP)或一圖像層資料22 一 «•一 一片段或巨 集區塊（MB)層資料2254及一區塊層資料2247。 在接收器處’當接收到資料流時，在傳統系統中 處理器以對應輸送協定規範及視訊寫碼協定或桿準規範所 規定之:欠序剖析並解碼資㈣。輸料“以—對應於輪 送協定規範之次序解開該封裝，此在本文中被稱為正常剖
析操作。視訊解碼器以-由視訊寫碼協^或標準規範規定 之次序剖析並解碼視訊層資料，此在本文中被稱為正常解 碼操作。 在下文描述之系統及方法中，該視訊處理器選擇性地剖 析及/或解碼或處理資料流之各部分，且剖析及/或解碼及 處理操作之次耗基於可用電力、可料算處理能力或視 覺品質。 圖2C展示 般ΜΡΕ(^ί包格式50。MPEG封包格式為 一資料流2141之一實例人MPEG封包格式5〇包括複數個 MPEG層 52、54、56、58、60、62及 64。該等 MPEG層包 括一輸送層52、一序列層54、一圖像群組（G〇p^ 56、一 圖像層58、一片段層60、一巨集區塊（MB)層62及一區塊層 64。在圖2A中，該等層經展示為堆疊的以表示需要解碼及 處理之層之一階層式次序。為了本文中描述之目的，將序 列層54與圖像層58聚集在一起且稱作一視訊序列/圖像層 (VS/PL)70以達成本文中所描述之電力負載管理之目的。 在些“準中，可能僅呈現一序列層或一圖像層或該等層 142708.doc • 11 - 201016007 之一組合。另外’將片段層60與巨集區塊（MB)層62聚集在 一起以形成一片段/河3層（8/]^81〇72以達成本文中所描述 之電力負載管理之目的。在„_些標準中，可省略或組合該 等層中之一或多者。 在MPEG壓縮中’可將視訊圖框寫瑪並格式化成一圖像 群組（G〇P)’其可包括圖框内寫碼（I)圖框、預測寫瑪（P)圖 框及雙向預測寫碼（B)圖框中之—或多者。—些⑽框可為 參考圖框。可將非參考B圖框指定為b圖框。如可瞭解，描 述所有的圖框及標準中之圖框配置係禁止性的。 圖2D展不一具有可解碼單元之一般MpEG位元流。該位 凡流在序列層54處包括一序列標頭54A，其之後為序列資 料54B。序列層54為一可解碼單元。序列資料54β包括圖 像層58，該圖像層58包括表示為圖像^、圖像2、圖像 3 、圖像（N_ 1)及圖像N的複數個圖像。每一圖像為一 可解碼單元。每一圖像包括一圖像標頭58A及圖像資料 58B °圖像資料58B包括片段層6〇。片段層6〇包括表示為 片段1、片段2、片段3.....片段（M-1)及片段Μ的複數個 片段《每一片段為一可解碼單元。片段包括一片段標頭 60Α，之後為片段資料6〇Β。一片段之片段資料6〇β包括巨 集區塊層62。巨集區塊層62包括表示為MB i、ΜΒ 2、μβ 3.....ΜΒ (ρ-1)及ΜΒ ρ的複數個巨集區塊。每一巨集區 塊為一可解碼單元。每一巨集區塊包括一 MB標頭62Α及 MB資料62Β。一些可解碼單元視另一可解碼單元而定。因 此，優先排序將考慮依賴性可解碼單元。此外，每一層中 142708.doc 201016007 之可解碼單元中之一或多者係可分的。 圖3A展示電力管理模組100及視訊編碼器引擎ι〇2及視訊 解碼器引擎104的方塊圖。電力管理模組1〇〇具有一多層次 低功率模式集合產生器114。多層次模式集合產生器114具 有根據MPEG格式之階層式（分層級之）層配置的複數個低 功率模式。該複數個低功率模式係基於可在每一層處針對 改良之粒度及/或視覺品質而選擇性地解碼的可解碼單元 之經優先排序電力管理（PM)序列。粒度可指代對於一給定 電力消耗目標可經執行以最大化所得視覺品質的剖析或解 碼操作之程度。PM序列為促進電力管理之解碼或剖析操 作之序列。PM序列試圖經由選擇性解碼及/或剖析操作之 預看處理來最大化對於一給定電力之視覺品質。多層次低 功率模式集合產生器114具有複數個層模式。在此組態 中，該複數個層模式包括一 TL模式、一 ^凡模式及一 SL/MB模式。如可瞭解，本文中所描述之技術不限於 MPEG格式，而是可與其他視訊壓縮及/或輸送協定格式一 起使用。 在一實施例中，提取並編譯來自一包括視訊資料之資料 流的資訊，且基於此資訊，對促進電力管理的針對資料流 之解碼及剖析操作之序列（pM序列）進行優先排序。 實施例中，優先排序係基於解碼及剖析操作中之 至少-者之預看處理。在又一實施例中，計算用於該等經 ^排序之PM序列中之每—者的電力及計算負載中之至 )者之计劃。在另一實施例中，電力管理序列之該優先 142708.doc 13 201016007 排序係基於視覺品質及粒度中之至少一者。 該等實施例進-步包含產生低功率模式或品質模式之一 階層式清單以基於該優先排序選擇性地解碼該等經優先排 序之電力管理序列。不同低功率模m模式對應於不 同視覺品質程度。低功率模式之選擇可係回應於可用電力 或計算負《。另外’該等經優先排序之電力管理序列中之 一或多者之選擇性解碼可係回應於所選低功率模式。在另 一實施例中，選擇性解碼可基於計算用於 之電力管理序列之電力及計算負載中之至少—者之=序 在例示性組態中，由預測模式指示之冗餘程度（例如）得 到各層之一分級集合，該集合又可映射至低功率/降低功 率操作模式之一分級集合。一種使用H 264預測模式之格 式係基於如下事實：對應於圖框間及圖框内預測模式之遞 減次序的視訊冗餘之層次包括：跳越（skip)、直接 (Direct)、圖框間（inter)及圖框内（Intra)預測模式。模式之 次序亦對應於受損時（當對應於此等模式的M B之解碼及重 建中引入不準確性時）的不同視覺品質程度。此等概念可 擴展至其他視訊寫碼標準及格式。 為了利用視§fl冗餘以達成功率最佳化視訊處理，可將涉 及僅解碼器引擎104、僅編碼器引擎102或跨編碼器引擎及 解碼器引擎協調之若干態樣用於電力負載管理。在僅解碼 器引擎（DO)解決方案之情況下，該D〇解決方案可在器件 1 〇處之解碼或呈現期間應用且係編碼器不可知的。可將該 等解決方案分成一致種類及不一致種類。一致種類解決方 142708.doc -14 - 201016007 案將輸出-維持標準一致性之視訊流。此處，嚴格的一致 性要求待得到滿足。在不-致解決方案中，此解決方案之 一優點為靈活性及複雜性的較大降低(與-致種類相比)以 達成對視覺品質之最小影響。 在僅編碼^丨擎1G2(E晴时案之情況τ，所有複雜 法降低方法係在編碼期間併人且係解碼器不可知的。在 EO解決方案中，所有編碼功能偏離處理能力之觀點。視
情況，-針對處理能力之成本函數包括於被稱為仙功率 最佳化之速率-失真（RD)最佳化中。 在聯合編碼器-解碼器引擎（JED)解決方案之情況下，電 力減少方法係在編碼期間併入或採用，且解碼器引擎執行 適當之互反動作以提供（電力/負載/成本上的）增加之減 少。在JED解決方案中，編碼器引擎察覺到解碼器引擎應 用上述之DO解決方法之能力且將針對適當動作之指示符 併入該位元流（使用者攔位或補充增強資訊（SEI)訊息）或側 頻道中以在解碼器引擎處使用。一基於電力減少之一集合 的先前商定之協定可由編碼器引擎及解碼器引擎兩者採用 以達成電力/負載/成本上的增加之減少。 DO解決方案在解碼器引擎未察覺到編碼過程之情況下 應用於開放式應用。實例將包括行動τν、應需視訊 (Video-On-Demand，VOD)、ΡΜΡ 等。該等 Ε〇解決方案將 找到在視訊伺服器中之應用，其中需要功率友好位元流以 驅動低功率器件。該E〇解決方案在產生一源之多個寫碼 版本且一網路伺服器基於網路/頻道條件在該多個寫碼版 142708.doc 15· 201016007 本之間適應性地選擇/切換之情形下亦有用。與⑽或阳解 決方法相比，對於-給定品質，JED解決方案提供電力減 少方面的最大增益。該JED解決方案應用於封閉式或對話 式應用，其中-通信/控制路徑（即時或事先的）係可能的。 下面的描述係針對D〇解決方案且提供一多層框架組態 以調整（regulate)視訊解碼中之實施及操作複雜性。視訊解 碼及呈現操作中之負載管理係可能的，其中諸如行動 τν、攜帶型多媒體播放器（PMp)(電影/dvd播放器）等之各 種應用需要-擴展視訊播放。本文中所描述之具體化於多 層框架組態中之技術可擴展至任何視訊或多媒體應用。 ❿ 負載或電力管理指代對包括（但不限於）延遲、電力消耗 及每秒或處理器循環百萬指令⑽ps)可用性的運轉時間複 雜性之調整。調整包括在給定可用處理、電力及時間資源 之情況下最佳化使用者經驗(詳言之，視訊品質）。亦可進 行調整以最佳化使用者之經驗品質（QOE)，其可涵蓋除視 讯品質以外的其他效能因數’諸如音訊品質、回應時間、 圖形品質等。該多層框架組態允許在用於對於該（該等）應 用對視訊解碼器實施之瞬時需求的預防性及反應性回應兩 者的粒度之各種層次上的該調整。基於可用資訊及電力 (電池Μ立準或所要視覺品質推薦替代之執行或控制/資料流 路徑。蓉於前述内容’本文中所提供之描述主要針對 由解碼器引擎1〇4執行之DO操作。藉由解碼器引擎1〇4進 行之視訊解碼之後可為藉由顯示處理器28中之 28A(圖23)執行之呈現。解碼/呈現不必為—串行過程。舉 142708.doc -16- 201016007 例而言’可並行地解碼多個片段，可並行地或以可不被視 為串行之波形方式呈現一影像之多個列。儘管如此，雖然 採取_行次序的解碼繼之以呈現係職，但在-組態中， 此等操作係並行的。呈現通常包括繼之以合成待顯示·之影 像的後處理（色空間轉換、按比例調整等）及顯示過程（傳送 至一顯示緩衝器、自此緩衝器讀取及寫入至顯示器）。為 了舉例，解碼在一串行過程中繼之以呈現且以時間次序發 生（時序係基於用於解碼之解碼時間戳記及用於呈現/顯示 之出現時間戳記）。然而，至此過程（解碼及呈現）之輸入為 一視訊位元流（尋景器之情況可能除外），其未必依據視覺 質按重要性次序優先排序（亦即，瞬時解碼器再新 (IDR)、圖框内⑴及預測（ρ)圓框係穿插的）。又將視訊位 元流傳遞至解碼器引擎104之輸送層協定在按封包/序列號 次序呈現給解碼器引擎1〇4之封包中如此做。以接收次序 處理位元流可導致圖框丟棄（frame dr〇p)且不允許針對低 功率操作（由使用者開始以節約電池或基於可用或所分配 之電力由系統調變）調節輸出視訊之品質。處理器循環、 MIPS及/或累積之延遲及潛時的缺少可導致通常在大小上 較大之關鍵圖框被丟棄，從而使視訊暫停長的持續時間。 編媽器引擎102獲取或產生並壓縮服從MPEG標準、 H.264或其他標準之視訊資料。處理該視訊資料以提取視 訊資訊之一所選部分，以使得編碼滿足器件1〇之影像品 質、電力及/或計算負載需求及/或器件1〇或具備視訊能力 之器件（例如’無線或有線介面）之一輸出視訊介面的傳輸 142708.doc 17 201016007 旎力、頻寬或其他特性。另外，編碼可使得解碼（由一接 收者進行）滿足接收者之解碼器引擎或接收器14之品質、 電力及/或計算需求及能力。 圖3B展示用於與電力管理模組1〇〇 一起使用之解碼器引 擎104的方塊圖。解碼器引擎1〇4包括一標準（正常）序列解 碼處理單元105以在電力管理或一低功率模式並非必要時 解碼位元流。解碼器引擎i 〇4亦包括一輸送層（TL)剖析器 及處理單元106、一視訊序列/圖像層（vs/pL)剖析器及處理 單元108、一片段/]^層（s/MBl)剖析器及處理單元11〇、 一區塊層剖析器及處理單元i 12。在例示性組態中，未描 述區塊層64處之電力及計算負載管理。 如將自下面之描述可見，TL剖析器及處理單元ι〇6剖析 並處理輸送層52。VS/PL剖析器及處理單元1〇8至少剖析並 處理序列層54及圖像層58。序列層54與圖像層58之組合在 下文中被稱為視訊序列/圖像層（VS/PL)70。然而，VS/PL 剖析器及處理單元1 〇8亦可剖析並處理GOP層56，或某一 其他剖析器及處理單元可用於GOP層56。因此，以幻象展 示自參考數字70至GOP層56之線。S/MBL剖析器及處理單 元110剖析並處理片段層60及巨集區塊（MB)層62。區塊層 剖析器及處理單元112剖析並處理區塊層64以便解碼MPEG 格式之視訊或程式設計。 剖析器及處理單元106、108、110及112中之一或多者可 用於並行地、單獨地或以一組合關係操作以進行本文中所 描述之電力及計算負載管理功能。此外，可省略剖析器及 142708.doc •18- 201016007 處理單元106、108、110及112之電力及計算負載管理功能 中之一或多者。儘管如此，在例示性組態中，仍按需要選 擇性地致動剖析器及處理單元1〇6、1〇8及丨1〇以提供一分 層級之電力及計算負載管理功能（其控制視覺品質、電力 負載之折衷視覺品質及該等層級中之任一者中之粒度以便 在有效地使用電力之同時亦維持或增強使用者之經驗。 圖4展不一用於計劃用於解碼可解碼單元之經優先排序 之電力管理（PM)序列之電力及計算負載之過程12〇的流程 圖。為了對位元流及可解碼單元之作為結果的電力管理 (PM)序列優先排序以用於選擇性解碼，針對每一階層式 (分層級之）層提供一二階段（3階段）過程丨2〇以提供階層式 地配置之低功率操作模式。過程12〇依賴於視訊位元流中 之非因果性，且該過程之效率視預看之量（解碼器引擎之 輸入緩衝器深度）而定。 過程120在方塊122開始，在方塊122中發生剖析及提取 層資訊。方塊122之後為方塊124 ’在方塊124中對需要解 碼的可解碼單元之彼等PM序列（將不與序列層相混淆）優先 排序。為達成說明性目的，以清單形式展示可解碼單元之 經優先排序PM序列，如稍後將較詳細描述。術語「可解 碼單元之經優先排序PM序列」在下文中有時將被稱為 「經優先排序PM序列」。然而，每一序列包括—或多個可 分的可解碼單元。如將自以下描述可見，—可解碼單元包 含一圖像、一片段及多個巨集區塊中之一或多者或群組。 方塊124之後為方塊126，在方塊126中計劃用於經優先 14270S.doc •19· 201016007 排序PM序列之電力及計算負載。在例示性組態中，依據 每秒百萬指令（MIPS)之數目計劃計算負載。一對應MIps 需要一計劃或預定之電力。 在方塊126，存在經優先排序pM序列與對應Mips(且隨 後，解碼PM序列中之一或多者所需之電力）之相關性。下 面亦關於H.264標準描述方塊122及124。方塊126可使用得 自電力分析之對應於典型情形（例如，測試位元流）之結 果’且視情況回饋驅動訓練或運轉時間更新以供在計劃中 使用。一旦已知一位元流，便可計劃電力及計算負載（處 理月b力）以通知使用者該器件1〇中之電力是否不足以完全 解碼位元流。因此，若電力（電池或電能）將在位元流完全 解碼之前耗盡（諸如在播放期間），則使用者具有一選擇一 可允許位元流完成之功率模式之選項。 如先前所提及，可針對壓縮資料格式中之不同層重複3 階段過程120。在（對應於不同層之）每一方塊126之後，產 生用於解碼器引擎104之低功率模式之一階層式集合以用 於解碼操作之電力及計算負載管理。此可在作業中發生， 或其可針對適當選擇之位元流之一集合及在即時操作之前 預先經校準/程式化之解碼器預定。 圖5展示一輸送層（TL)剖析器及處理單元1〇6。tl剖析器 及處理單元1〇6包括一 TL資訊提取器及編譯器15〇(圖6)、 一 TL經優先排序PM序列產生器152(圖8)及一 TL解碼MIPS 及電力計劃器154(圖9)。輸送層（TL)剖析器及處理單元1〇6 將進行三階段過程12〇以供用於輸送層52之解碼操作之電 142708.doc •20· 201016007 力及計算負載管理中。 圖6展示一 TL資訊提取器及編譯器150。TL資訊提取器 及編譯器150視藉以接收視訊位元流之輪送協定而定。圖7 中展示一接收到的時間片段190之一部分之一實例。在例 示性組態中，可藉由TL資訊提取器及編譯器150提取及編 譯位元流中之各種資訊。TL資訊提取器及編譯器150將剖 析圖7中所展示之接收到的時間片段19〇。TL資訊提取器及 編譯器150包括一隨機存取點（RAP)提取器160、一狀態資 訊提取器166、一位元流特性提取器176及一輸送層資訊編 譯器186。RAP提取器160可提取具有標記為獲取物之封包/ 片^又的位置、大小、出現時間戮記（presentation time stamp， PTS)等之資訊162。RAP提取器160亦可提取輸送標頭（例 如’即時輸送協定（RTP)有效負載格式中之入口點標頭）中 之RAP 164之序列。在例示性組態中’藉由狀態資訊提取 器166提取之狀態資訊包括關於一頻道變化ι7〇及一使用者 觀察偏好172(諸如在廣播或行動TV應用中）的資訊。所提 取之狀態資訊166亦可包括一應用變化174(例如，解析度/ 預覽模式或晝中晝模式）等。 位元流特性提取器17 6提取一位元率17 8、一圖框率 180、一解析度182、一應用（儲存對串流）184等。在位元率 178之情況下’值在一些情況下容易得到（例如，皿1^〇檔 案格式）。在其他情況下，位元率係在將輸送標頭及填充 移除之後（諸如）由輸送層資訊編譯器186基於在藉由時間戳 記指示之一秒中的位元流之大小計算。TL層資訊提取器及 142708.doc 21 201016007 編譯器150包括一 TL資訊編譯器186以計算不可直接自接收 到的時間片段之輸送層提取之資訊。關於圖9描述對封包 大小及位元率之實例計算。 圖7展示接收到的時間片段190，在此實例中其具有在所 接收資料中之RAP! 191、RAP2 196.....RAPN 198。（其 可視情況為自一所儲存棺案提取之位元流之一段每一 RAP(諸如尺入卩丨191)具有一標頭192,之後為一具有關於為 - 隨機存取點之經寫碼圖框（諸如一 I圖框）之資料的有效負載 193。 該標頭包括複數個欄位，其中一者為一 pTS】間隔 ❿ 194。 計算（例如，在RTP中，自隨機存取（RA)計數及參考 時間及PTS偏移導出）絕對rap位置（封包）及用於每一 RAp 的來自PTS,間隔194之PTS值。RAP2 196具有一標頭，之後 為一具有關於為隨機存取點之經寫碼圖框（諸如一 I圖框）之 資料的有效負載。該標頭包括複數個攔位，其中一者為一 PTS2間隔。 將一表示為RAP--GOP的間隔定義為一自一RAp圖框開 始直至下一個RAP圖框為止的圖像群組。在輸送層處， ❹ RAP為一可解碼單元。此外，RAP--GOP可為用於輸送層 之一可解碼單元。基於應用，在需要時擷取或請求更多資 料。舉例而言，在所儲存視訊之播放期間，有可能針對幾 私（2-5秒）之多的資料搜遍檔案格式標頭以估定位元率及圖 框率。接著’基於可用電力’決定解碼所有資料或是趨於 —減小的圖框率而解碼。 接收到的時間片段190可為一用於MediaFLOTM之超級圖 142708.doc -22· 201016007 框或一用於數位視訊廣播（DVB)(諸如DVB_H(其中H代表掌 上型））之時間片段。 圖8展示TL經優先排序ΡΜ序列產生器152。處理以上所 提取之資訊以建立可解碼單元之TL經優先排序ρΜ序列之 一清單200。TL經優先排序ΡΜ序列產生器152導出絕對參 數值。假設，在輸送層52處已接收到具有對應G〇p之複數 個封包 RAPi 191、RAP2 196、·.·及 rapn 198。因此，待由 解碼器引擎104解碼的可解碼單元之tl經優先排序pm序列 自方塊202開始。此處’可解碼單元為方塊202處之RAP!、 方塊204處之RAP--GOP!之剩餘部分、方塊206處之RAP2、 方塊208處之RAP--GOP2之剩餘部分。TL經優先排序PM序 列之優先排序繼續直至方塊210處之可解碼單元RAPN及方 塊212處之《^?--00?1^之剩餘部分為止。對可解碼單元之 TL經優先排序PM序列之以上描述僅為序列之一配置的一 個實例。 圖9展示一 TL解碼MIPS及電力計劃器154。在輸送層次 52，電力/計算負載減少之一第一程度係可能的。此程度 可提供粗略的電力/計算負載減少。舉例而言，對於最低 功率模式設定或當器件1〇之電池位準已耗盡至<10%時， 將僅解碼RAP封包（由方塊202、206及210表示），且當由呈 現級28A呈現時，視情況，圖形處理單元34可被觸發以產 生I圖框之間的過渡效應。該等過渡效應提供一低成本 「視訊」而非一幻燈片展示效應（slide show effect)。基於 低功率模式，其他視訊補償可用於補償所跳越之可解碼單 142708.doc -23- 201016007 元。舉例而言，可使用影像變形（image m〇rphing)。補償 之另一實例可使用光流。 TL解碼MIPS及電力計劃器154產生表示對用以解碼丁[經 優先排序PM序列之清單200中的可解碼單元之pM序列中之 一個、多個或全部的MIPS之一計劃（行4)之資料。僅出於 說明性及描述性目的，展示— Mlps計劃表23〇。該表具有 複數個行。在行C1中，列舉輸送層資訊或可解碼單元之 - TL經優先排序PM序列。在行2中，識別用以解碼可解碼單 7G中之一些或全部的封包大小。在行C3中識別位元率計❿ 算。在打C4中，提供用以解碼可解碼單元之計劃的 MIPS。如可瞭解’行C3中之位元率及行以中之封包大小 可能已在優先排序階段期間導出。 在此實例中，列R1識別可解碼單元之TL經優先排序pM 序列之清單200中之-第一可解碼單元。在此例項中，該 第-可解碼單元為RAPi。可基於來自几提取器及編譯器 150之經提取及編譯之資訊計算RAPi之封包大小。在例示 性組態中，RAPl之解碼封包大小對應kRAPi之輸送封包❿ 之大小-(輸送標頭192加上有效負載193)之大小。RAp2之 解I封I大小對應於RAp2之輸送封包之大小·（輸送標帛加 有效負載）之大小。同樣地，RAPn之解碼封包大小對應 於rapn^送封包之大小-(輸送標頭加上有效負載）之大 】歹】RN+1 (最後一列）對應於整個的接收到之時間片段， 諸如片190。因此，針對每一可解瑪單元及列r叫處之 用於接收到的時間片段19〇之整個輸送層52的所有可解碼 142708.doc •24· 201016007 單元計算MIPS之一計劃。 在行3中’計算或提取位元率。在此情況下，根據間隔 (RAP-GOP!)之大小除以間隔（PTS2-PTS,)或（PTS2減去 PTS!)之大小，基於rap、GOPi、PTS2、PTS丨之大小計算 位元率。以類似於尺八卩丨之方式計算rap2、…、RAPN之位 元率。在列RN+1中’位元率為接收到的時間片段/間隔 (PTS2-PTS!)之大小。 在行4中，在列ri中，用以解碼尺入卩丨之計劃的MIPS具有 兩個值。第一值依據用於RAP1iI圖框大小。第二值依據 針對給定編解碼器的具有size(RAp__G〇Pi)之位元流之該部 为。關於MIP之計劃之資訊可自輸送標頭（RAp及對應pTS) 得到。因此，該等可解碼單元係可分的且在計劃MIPS時 不全部解碼。實情為，僅標頭或其一部分需要解碼以提取 必要資訊’如下文將更詳細描述。在列RN+丨中，根據用 於”·η疋編解碼器之位元流大小（針對時間片段）計劃用以解 碼正個時間片段之計劃的MJPS。應注意，用以解碼規定 量MIPS 〇十劃係依據電力概況描緣及分析。 兩對於行C4中之河„^計劃中之每一者，確定一對應電力 而求該對應電力可按需計算或可預先储存於一查找表 中此通常將完成三階段過程12〇之第三階段。 圖10說明—具有電力及計算負載管理之用於解碼之過程 240。若給定用以解碼可解碼單元中之一或多者之MIPS需 求，及—給定瞬間之可用MIPS(或電力需求對可用電力/安 培）’可作出解碼接收到的時間片段190之全部或一部分之 142708.doc -25· 201016007 決定。用以幻象展示的過程120之第三階段說明過程240。 過程120之第三階段提供解碼輸送層52所必需的計算負載 及/或電力之必要計劃。因此，在方塊242，計劃MIPS。在 方塊244 ’確定對應於計劃的MIPS之電力。儘管例示性組 態提供一 MIPS與電力之關係，但可使用影響電力及計算 負載的其他值。 方塊244結束該第三階段。方塊244之後為方塊246，在 方塊246中確定一給定瞬間之可用MIPS(計算負載）。方塊 244之後亦為方塊248 ’在方塊248中針對一給定瞬間確定 可用電力。並行地展示方塊246及248。儘管如此，在各種 組態中，以所描繪之次序執行過程240及本文中所描述之 其他過程之區塊’或可同時地、並行地或以一不同次序執 行此等步驟中之至少兩者或其部分。 方塊246之後為方塊250，在方塊250中作出計劃的Mlps 是否大於可用MIPS之判定。若該判定為意謂著該瞬間之 可用計算負載足夠之「否」，則可在方塊254解碼整個輸送 層52。然而，若方塊250處之判定為意謂著可用計算負載 不足之「是」’則可在方塊256根據在低功率模式設定之清 單260(圖11)中識別出的模式中之任一者解碼輸送層52之一 部分。 方塊248之後為方塊252，在方塊252中作出計劃的電力 是否大於可用電力之判定。若方塊252處之判定為意謂著 可用電力足夠之「否」，則可解碼整個輸送層52。然而， :¾•方塊2 5 2處之判定為意謂著可用電力不足之「是」，則可 142708.doc •26- 201016007 在方塊256處根據在低功率模式設定之清單26〇(圖}丨）中識 別出的模式中之任—者解碼輸送層52之一部分。若來自方 塊250及252之條件均為否，則將解碼整個輸送層52。對於 所有其他情況，將部分地解碼輸送層52。以幻象展示方塊 248、252以表示該等方塊亦為可選的。 圖11展示在TL模式期間的多層低功率模式集合產生器 114。多層低功率模式集合產生器114產生可選擇低功率模 式設定之一清單26〇。在圖11之例示性組態中，存在表示 為列R1中之模式1、列2中之模式1A及列3中之模式2的複 數個輸送層低功率模式。輸送層模式丨對應於（例如）一使用 所有RAP之幻燈片展示（sHdesh〇w)(在下文中稱為「％_ RAP」）。輸送層模式1A對應於具有由呈現級28a造成的過 渡效應之SS-RAP。因此，模式1A不同於模式〗之處在於， 模式1A提供一優於模式1之增強視覺品質。輸送層模式2對 應於基於可用電力選擇性地解碼RAp__G〇p。行中之清 參卩將提供必要指+以使解碼器引擎刚選擇性地解碼輸送 層52處的可解石馬單元中之一或多者。 在TL模式期間的電力管理模組1〇〇基於計劃的 或電力作出可將低功率模式1、1A或2中之哪一者提供給使 用者以用於位元流之解碼的判定。若存在可基於管理可解 碼單元之其他層之電力而進一步節約之可用電力，則可選 擇模式2，如關於視訊序列/圖像層將描述。 右選擇TL模式1 A ’則發生具有過渡效應之SS-RAP(I圖 框)之正常解碼。然而，若選擇TL模式1，則電力管理模組 142708.doc •27· 201016007 100可進行至VS/PL模式3以用於視覺品質之進一步升級。 序列/圈像層 圖12展示一視訊序列/圖像層（VS/PL)剖析器及處理單元 108。VS/PL剖析器及處理單元108包括一 VS/PL資訊提取 器及編譯器280(圖13)、一 VS/PL經優先排序PM序列產生 器282(圖15)及一 VS/PL解碼MIPS及電力計劃器284(圖 17)。VS/PL剖析器及處理單元108將進行三階段過程120以 供用於VS/PL 70之解碼操作之電力及計算負載管理中。 圖13展示一 VS/PL資訊提取器及編譯器282。VS/PL資訊 提取器及編譯器282視該視訊位元流之VS/PL格式而定。圖 14中展示根據VS/PL 70之一接收到的時間片段330之一實 例。基於視訊編解碼器（編碼器引擎及解碼器引擎），在序 列層54處提取資訊。在MPEG-2及MPEG-4之情況下，提取 視訊序列層參數。此提取需要一至視訊解碼器引擎1 〇4中 之介面。稍後將關於圖27及圖28描述該提取。 若不可擷取在輸送層52處列出的一些參數（例如，I圖框 位置或封包ID)，則可在序列層54處提取該資訊。VS/PL資 訊提取器及編譯器280提取I圖框位置284及封包ID 286。 VS/PL資訊提取器及編譯器282亦自（諸如）用於H.264標準 或序列層54之序列參數集合（SPS)提取一概況290、一層次 292及參數約束（constrained_set_flag)294。亦可使用圖像 參數集合（PPS)。 VS/PL資訊提取器及編譯器282亦可提取或編譯圖像資訊 296。該圖像資訊可包括參考圖框之數目298、解析度 14270S.doc • 28 · 201016007 300、圖框率302(若尚未擷取）、顯示參數（VUI)等以估定解 碼/處理資料所需之計算負載。額外資訊包括關於參考位 置304、參考圖像大小306、PTS及參考圖像資訊308之資 訊。亦可提取或編譯非參考圖像位置3 10、非參考圖像大 小312、非參考圖像資訊314及PTS。一被編譯的資訊係由 資訊編譯器316編譯。為了提取VS/PL資訊’僅解碼序列標 頭及所有圖像標頭。如圖27及圖28中將較詳細地描述，保 持圖像之有效負載未被解碼。 圖15展示一 VS/PL經優先排序PM序列產生器282。在 VS/PL經優先排序PM序列產生器282處，自所提取之資訊 導出絕對參數值。為了經改良之粒度’用較多細節填充 (populate)可解碼單元之VS/PL經優先排序PM序列之清單 360。該優先排序類似於關於圖8所論述之優先排序。然 而，在此層次或層處’基於I圖框之類型（諸如H.264情況下 之IDR及I圖框）’進一步評定或優先排序在輸送層52中識 別出的該複數個封包RAP,、RAp2、…、RAPN(方塊362、 382、388)。或者，使用該圖像標頭資訊識別所有I圖框且 接著對該等I圖框優先排序。
在例示性組態中’將方塊或間隔RAP--GOP1 364進一步 細分成其他VS/PL可解碼單元。進一步優先排序此等 VS/PL可解碼單元，使得idr(或MPEG-2中的在一封閉式 GOP之開始處的I圖框）之後為一非IDR I圖框（開放式 GOP)。因此’優先排序可經設定以使得⑴尺圖框366之後 為I圖框368。I圖框366之後為p圖框370，其之後為參考B 142708.doc -29- 201016007 圖框3 72。參考B圖框3 72之後接著為表示為b圖框3 74之非 參考B圖框。圖14展示一指示圖框類型（P、B及b)之接收到 的時間片段330。 因此，待由解碼器引擎104解碼之VS/PL經優先排序PM 序列以繼之以方塊364處之RAP — GOP!的方塊362處之RAPi 開始。根據方塊366、368、370、372及374，進一步優先 · 排序RAP--GOP!。可基於b圖框進一步優先排序對應於 · 1^卩--〇〇?1的間隔。在例示性組態中，使用方塊376至3 80 處之b圖框之大小資訊進一步優先排序VS/PL經優先排序 ⑩ PM序列。舉例而言，具有一大於表示為FRUC_THR之 FRUC臨限值之大小資訊的b圖框（方塊3 76)可具有一比大小 小於該FRUC臨限值之彼等b圖框高的優先權。另外，小於 一表示為DROP_THR之丟棄臨限值之b圖框可被標記且完 全被丟棄而無FRUC。因此，在方塊378，可將優先排序準 則設定為DROP_THR<b<FRUC_THR。在方塊380，可將優 先排序準則設定為b<DROP_TH。此等臨限值可映射至所 需的處理循環/電力之百分比減少。 ® 方塊382設定用於解碼RAP2之優先排序。方塊382之後為 方塊384，在方塊384中，類似於以上之方塊366、368、 3 70、3 72、3 74、3 76、378 及 380 來優先排序針對 RAP--GOP2之剩餘部分之優先排序。該等VS/PL經優先排序PM 序列之優先排序在方塊386繼續，直至用於優先排序RAPn 之解碼的方塊388為止。方塊388之後為方塊390，在方塊 390中優先排序RAP-GOPN之剩餘部分以用於解碼。 142708.doc -30- 201016007 視計算負載之狀態而定，可經由消除一適當數目個低優 先權序列或可選擇可解碼單元來減小或修改解碼操作之序 列0
圖16展示一由VS/pl解碼MIPS及電力計劃器284進行之 用以計劃MIPS之過程400的流程圖。過程400自方塊402開 始，在方塊402中確定用以解碼一 IDR-圖框大小之MIPS。 方塊402之後為方塊404，在方塊404中確定用以解碼所有j 圖框大小之MIPS。方塊404之後為方塊406，在方塊406中 確定用以解碼所有P圖框大小之MIPS。方塊406之後為方 塊408，在方塊408中確定用以解碼所有B圖框大小之 MIPS。方塊408之後為方塊410，在方塊410中於各種條件 下確定用以解碼所有b圖框大小之MIPS。舉例而言，若丢 棄該等b圖框中之一些（諸如，b丨圖框及匕圖框），則將用以 解碼之計劃的MIPS設定為〇。 圖17展不一 VS/PL解碼MIPS及電力計劃器284。在圖框 層次’圖框類型（諸如IDR、卜p、B、b、…）、大小（3〇6 或3 12)及圖框率302為可用以估定解碼圖框所需之處理器 循環之量或比例之關鍵因素（可包括其他限定符）。使用特 定測試位元流之電力概況描繪及分析可用以基於圖框類型 (IDR、I、P、B、b、..·）導出處理器循環之量與圖框大小 之間的關係。可將此等關係配置於—查找表中以供稍後用 於MIPS及電力計劃中。其他條件可在此分㈣間固定且 於稍後外推。舉例而言，可針對參考圖像情形導出映 射，且可基於獨立分析外推相對複雜性對5_參考圖像。在 142708.doc • 31 . 201016007 Η.264標準之情況下，在剖析片段標頭之前，圖框層次資 訊不可用。 在圖17中，VS/PL解碼MIPS及電力計劃器284產生用以 解碼之計劃的MIPS之一清單440。為達成說明性及描述性 目的產生該清單。在列Rl，VS/PL解碼MIPS及電力計劃器 284基於每一1〇11之8126(1011)針對1〇11圖框加以計劃。在列 R2，VS/PL解碼MIPS及電力計劃器284基於I圖框大小之— 序列（sizeCl!)、size(I2)、…）產生用於所有I圖框之計劃的 MIPS。在列R3，VS/PL解碼MIPS及電力計劃器284基於p ❿ 圖框大小（size(P〗）、size(P2)、…）產生用於所有p圖框之計 劃的MIPS。在列R4，VS/PL解碼MIPS及電力計劃器284基 於B圖框大小（size(B丨）、size(B2)、…）產生用於所有B圖框 之計劃的MIPS。在列R5，VS/PL解碼MIPS及電力計劃器 284基於B圖框大小（size%)、size(b2)、…）產生用於所有b 圖框（非參考B圖框）之計劃的MIPS。當計劃用於所有b圖框 之MIPS時，作出比及!^是否被丟棄之判定。若其被丟棄， 則將計劃的MIPS設定為零（0)。亦存在關於替代匕、、、...❹ 等之FRUC之一計劃。 關於圖10及圖17，對於用以解碼之計劃的MIPS之清單 彻中之MIPS計劃中之每—者，施加一對應電力需求。若 · 給定MIPS需求及-給㈣間之可用庸8(或電力需求對可 用電力/安培），則可以—類似於以上關於圖1〇所描述之方 式作出解碼所有或所選圖框（部分）（其為可解碼單元）之決 定。 〆、 142708.doc -32· 201016007 在序列/圖像層次處理的最後，中等粒度電力減少模式 係可能的（假設〗圖框通常組成一G〇p中之位元的3〇%，'且 位元之數目與MIPS需求成比例，則步進為約5%的自〇至 60%之減少係可能的）。視關於處理器負載及電力位準之當 前狀態之回饋而定，經由消除適當數目個低優先權實體來 縮短操作之序列。按增加的電力需求之次序在圖18中列出 在序列/圖像層處可能的模式。 圖18展示一在VS/PL模式期間的多層低功率模式集合產 生器114。多層低功率模式集合產生器114產生低功率模式 之一清單450。為達成說明性目的而產生該清單。該清單 包括一對應於用以解碼一使用RAp之幻燈片展示及所有丁圖 框的指令之VS/PL層模式3。因此，若選擇模式丨a，則電 力管理模組100將評估額外河11>8是否可用，使得亦可為了 改良之視覺品質或粒度而解碼所有該等j圖框。vs/pL層模 式3之後為一對應於用以基於一僅使用所有〗圖框及p圖框 _ 的減少之圖框率解碼的指令之VS/PL層模式4A。¥8/1^層 模式4A之後為對應於用以基於一僅使用所有〗圖框及p圖框 (具有替代B(及b)圖框之選擇性FRUC)的減少之圖框率解碼 的指令之VS/PL層模式4B。在模式4B，使用正常解碼來解 • 碼1及P圖框。然而，不解碼B圖框。實情為，對於所有B或 b圖框，選擇性FRUC取代每一 8或1)圖框。vs/pL層模式4B 之後為對應於用以基於可用電力選擇性地解瑪RAp__ GOP(諸如如上之I圖框及p圖框）的指令之VS/PL層模式 4C。然而’作為一替代操作，對於選擇性數目個b或b圖 142708.doc -33- 201016007 框使用該選擇性FRUC以替代每一 B或b圖框。VS/PL層模 式4C之後為對應於用以基於一使用所有I及P圖框的減少之 圖框率（比模式4C高）解碼的指令之VS/PL層模式4D。亦可 包括所有B圖框。替代地，使用該選擇性FRUC以替代每一 B圖框（視情況，針對選擇性數目個B圖框），且無操作用於 b圖框。替代地，可跳越或繞過該等b圖框。VS/PL層模式 4D之後為對應於用以解碼所有接收到的圖框（I、P ' B及b) 的指令之VS/PL層模式5。 若選擇VS/PL層模式3或5，則將進行另一替代操作以用 跳越巨集區塊（MB)替代。此外，自模式2起，可藉由模式 4A至4D及5所提供之改進達成經進一步增強的視覺品質或 粒度。 片段/MB層 圖19展示一片段/巨集區塊層（S/MBL)剖析器及處理單元 110。S/MBL剖析器及處理單元110包括一 S/MBL資訊提取 器及編譯器460(圖20)、一 S/MBL經優先排序PM序列產生 器462(圖21)及一 S/MBL解碼MIPS及電力估計器464。 S/MBL剖析器及處理單元110將進行三階段過程120以供在 S/MBL 72之解碼操作之電力/負載管理中使用。
圖20展示一 S/MBL資訊提取器及編譯器460。S/MBL資 訊提取器及編譯器460視視訊位元流已藉以壓縮之協定或 標準而定。此處，S/MBL資訊提取器及編譯器460提取片 段資訊470及MB資訊472。針對對應於在來自圖15之經優 先排序序列中識別出的圖像之圖像剖析片段資訊470及MB 142708.doc • 34- 201016007 標頭。可將來自先前層VS/PL 70中之經優先排序序列（圖 1 5)之圖框之一選擇部分標記為經解碼。請注意，若需要 電力管理之較精細粒度，則解碼可針對所有圖像繼續。因 此，僅片段標頭及MB標頭經解碼。 若偵測到標頭有錯誤，則可廢棄該MB或整個片段之係 數/MB資料。視情況，零MV消除可應用且稍後用更複雜 之錯誤校正（EC)加以改進。MB資訊472包括MB類型474、 運動向量（MV)476、模式478、大小480、其他資訊482及每 圖框B圖4 8 4。 在與本申請案同時申請且具有代理人案號第071445號且 如同在下文中完全陳述一般以引用方式併入本文中的專利 申請案第12/145,900號中描述了一例示性每圖框MB圖。 圖2 1展示一 S/MBL經優先排序PM序列產生器462。 S/MBL經優先排序PM序列之清單490使用片段資訊及MB圖 來估計圖1 5中之經優先排序清單中的每一圖框之複雜性。 在一組態中，僅進一步優先排序方塊492處之P圖框片段及 方塊502處之B圖框片段。在先前層，將針對VS/PL中之任 何選定模式解碼所有I圖框。基於方塊494處之每一片段之 ROI MB及方塊496處之具模式平滑（mode smoothing)之非 ROI MB進一步優先排序該等P圖框片段。根據方塊498處 之強制等速運動及方塊500處之強制P跳越進一步優先排序 該模式平滑。基於方塊504處之每一片段之ROI MB及方塊 506處之具模式平滑之非ROI MB進一步優先排序該等B圖 框片段。根據方塊507處之強制等速運動及方塊508處之強 142708.doc -35- 201016007 制B跳越進一步優先排序該模式平滑。 可應用模式平滑以聚集具有類似特性之MB。對於MB2 每個3x3或5x5視窗’針對模式之均勻性對MB之該等視 由加以估定。識別視窗中之離群值（具有不同於剩餘mb之 模式的MB)。若離群值在邊緣上不同，則迫使其變至視窗 之一模式。否則，維持離群值之模式。舉例而言，若在一 3x3 MB視窗中，一個MB為圖框間模式而其他馗8為跳越模 式，且若圖框間MB之殘差（由CBP4MB大小指示）小於一 Skip—threshold，則迫使該MB變至跳越模式。在模式平滑 之後，計算跳越模式MB對直接/圖框間模式MB之比例且包 括5亥比例以作為複雜性之一因數。另外，跳越mb之連接 區域可經由MB擴張及MB侵蝕而組合為資料塊（tile)(如在 專利申請案第12/145,900號中，該專利申請案具有代理人 案號第071445號）。可接著將資料塊評定為跳越/靜態、非 靜態、等速運動、所關注區域（R〇I ’基於相對Mb/資料塊 大小）等。在等速運動資料塊之情況下，可量化該等 MV ’且可迫使資料塊變至一個MV(請注意，此可在此等 MB之殘差/CBP為零或幾乎為零之情況下進行另一選項 為僅非靜態或ROI資料塊經解碼且迫使剩餘部分被跳越之 情況。在此情況下，該等非R〇I MB中之一些可具有除跳 越之外的模式，但將迫使跳越該等非R〇I MB，諸如在方 塊500及508中。 圖22展示一在S/MBL模式期間的多層低功率模式集合產 生器114。多層低功率模式集合產生器114產生低功率模式 142708.doc •36· 201016007 之-階層式清單65G。操縱—圖框中之MB中的哪—者及接 收到的圖框中之哪—者經處理的能力在管理解碼及呈現過 程中提供一顯著的粒度水準。另夕卜可在解犠(在作 業中）執行上述MB層次電力最佳化。再次，需要詳細的概 況描緣及電力分析以將電力減少之比例映射至對應低功率 模式。 將模式之該等實例描述為S/MBL模式6A、6b、叱、 Μ、7B、7C及8。在模式6A中’按照I圖框之正常解碼來 解碼該等I圖框。然而，可發生額外之替代操作以在電力 准許時改良視覺品質或粒度。舉例而言，在模式从中，可 迫使具有非ROI⑽之卩圖框變至p_Skip，且可迫使B圖框 及b圖框變至選擇性贿c。在模式咐，按照旧框之正 常解碼來解碼I圖框。模式6B中之替代操作可包括迫使具 有模式平滑之P圖框變至P—Skip及迫使B圖框及6圖框變至 選擇!·生FRUC。在模式6C中’根據正常解瑪過程來解碼旧 • 框。然而’作為一替代操作，具有模式平滑之P圖框可為 強制等速運動，且可迫使B圖框及1>圖框變至選擇性 FRUC。在模式7八中，根據正常解碼過程來解碼^圖框及p 圖框。然而，作為一替代操作，迫使具有非R〇I MkB圖 • ㈣至跳越模式。在模式7B巾，根據正"碼過程來解碼 I圖框及P圖框。然而，作為一替代操作，迫使具有模式平 滑之B圖框變至跳越模式。在模式7(：中，根據正常解碼過 程來解碼I圖框及P圖框。然而，作為一替代操作，具有模 式平滑之B圖框為強制等速運動。在模式8中，解碼所有接 142708.doc -37· 201016007 收到的圖框（I、p、B及b)。 圖23展示電力管理操作之高階方塊圖。該方塊圖包括與 顯示處理器28之-呈現級28A通信之解碼器引擎ι〇4。因 此，電力管理（PM)模組100以TL模式、vs/pL模式及 S/MBL模式處理該等位元流β pM模組議控制解碼器引擎 1〇4以根據所選擇之低功率模式解碼可解碼單元。在呈現 期間所需之處理亦係在上述操作之低功率模式中之任一者 中自來自框架之操作之經優先排序序列導出。此外，可將 解碼器引擎114之輸出發送至其他器件、記憶體或裝置。 可將來自該解碼器之輸出轉發至另一具備視訊能力之裝置 以用於最後儲存或消耗（顯示）。圖形處理單元34亦與顯示 處理器28通信。 圖24以順序次序說明一例示性標準（正常）解碼過程 700。亦關於圖2D描述過程7〇〇。在視訊序列及圖像層處開 始，標準（正常）解碼過程7〇〇將在方塊7〇2解碼一序列標頭 54A，繼而在方塊7〇4解碼圖像1之一圖像標頭58八。在解 碼圖像1之圖像標頭之後，解碼圖像資料58B，其包括片段 及巨集區塊資訊。因此，當解碼圖像丨資料時，解碼由片 段1至Μ指示的所有片段單元。由於每一片段係以類似方 式解碼，故將僅較詳細地描述一個片段。 當解碼片段1時’在方塊7〇6解碼圖像1之片段1之片段標 頭60Α。接著，在方塊7〇8解碼圖像1之片段1之巨集區塊 (ΜΒ)1的MB標頭62Α。在解碼ΜΒ1之MB標頭62Α之後，在 方塊710解碼圖像！之片段！之MB丨的相關MB資料。接著， 142708.doc -38- 201016007 獲得下一個巨集區塊。因此，在方塊712解碼圖像1之片段 1之巨集區塊（ΜΒ)2的MB標頭62Α。在解碼ΜΒ2之MB標頭 之後，在方塊714解碼圖像1之片段1之MB2的相關MB資料 62B。對於該片段中之所有剩餘MB繼續繼之以相關MB資 料62B之巨集區塊標頭之解碼。在此實例中，存在n個 mb。因此，圖像丨之片段丨之解碼將以在方塊716解碼圖像 1之片奴1之MB N的MB標頭、繼而在方塊718解碼圖像1之 片段1之MB N的相關MB資料62B結束》 因此’過程700將藉由以一類似於上文針對片段1所描述 之方式解碼剩餘片段中之每一者來繼續解碼圖像i資訊。 在此實例中，存在Μ個片段。因此，在方塊72〇，以如上 文關於方塊706至71 8所描述之方式解碼片段Μ。 接下來，過程700將解碼諸如圖像2的下一個圖像圖框。 為解碼圖像2，過程700將在方塊722解碼圖像2之圖像標頭 58Α以導出片段丨至]^之位置。因此，在方塊”斗，以如上 文關於方塊706至718所描述之方式解碼片段i。以類似方 式解碼圖像2之所有剩餘片段。因此，在方塊726，以如上 文關於方塊706至718所描述之方式解碼片心以完成圖像 2之解碼。 過程700以一類似方式順序地重複所有圖像圖框之解 碼，直至最後一個圖像z為止。在此實例中，存在圖像1至 z。因此，為解碼最後一個圖像（圖像z)，過程7〇〇將在方 塊728解碼圖像2之圖像標頭58A，之後為在方塊頂的片 段1解碼。解碼圖像z中之每一片段，直至在方塊732解碼 142708.doc -39- 201016007 片段Μ為止。 圖25說明一具有電力管理操作之TL解碼過程800的流程 圖。過程800自方塊802開始，在方塊802中發生TL資訊提 取及可解碼單元之PM序列之TL優先排序，如關於圖6及圖 8所描述。方塊802之後為方塊804，在方塊804中針對TL經 優先排序PM序列計劃MIPS及/或電力負載。方塊804之後 為方塊806，在方塊806中計劃用於TL低功率模式集合之 MIPS。方塊806之後為方塊808，在方塊808中作出是否存 在足以解碼位元流之電力之判定。若判定為「是」，則正 ⑩ 常解碼過程700可在方塊8 10根據關於圖24所描述之程序發 生。然而，若判定為「否」，則作為一選項，可在方塊812 通知使用者：不存在足以播放一視訊之電力。將給予使用 者對應於供以選擇之模式1、1A及2之低功率模式選項。替 代地，可自動選擇低功率模式。方塊812之後為方塊814， 在方塊8 14中由一使用者選擇或自動地選擇一 TL低功率模 式。圖25之流程圖進行至圖26。 圖26說明一具有電力管理操作之VS/PL解碼過程900的流 ® 程圖。過程900自於方塊902執行諸如圖13及圖15中所描述 的VS/PL資訊提取及PM序列之VS/PL優先排序開始。在方 塊904，計劃用於所有圖框類型（可解碼單元）之MIPS，如 關於圖16及圖17所描述。在方塊906，基於VS/PL經優先排 序PM序列計劃用於如圖18中所展示的每一 VS/PL低功率模 式集合的MIPS及/或電力負載。基於計劃的MIPS，基於視 覺品質及粒度將PM序列聚集在一起。可能由於電力不足 142708.doc •40· 201016007 而未解碼該等序列中之一些(諸如所有序列)。因此，在方 塊908，可產生來自…肌低功率模式集合之—在最大可用 T力以下的低功率模式有序子# ^排序係依據改良之視覺 时質及/或粒度。在方塊91G，視情況，可通知使用者該有 限的電力且向其提供低功率模式選項之—選擇。在方塊 912，可選擇該子集之最佳排序低功率模式錢用者所選 擇之低功率模式。在方塊914，基於所選之低功率模 式，解碼藉由在適當時將該等解碼操作插回至圖24之正常 解碼過程700中而開始。 在一組態中，在基於一所選低功率模式解碼每一圖框之 後，可重新計劃MIPS。此後，可使用一不同的所選模式 解碼位元流中之下-個圖框或其他未解碼圖框。因此，低 功率模式可在位元流之解碼期間動態地變化或在作業中產 生。 圖27說明自圖24之正常解碼過程7〇〇分出的vs/pL資訊提 取協定902A的方塊圖。在圖27中，vs/pL資訊提取協定 902A將在方塊950解碼序列標頭54A。因此，導出圖像1至 N之位置，如藉由在為圖像1至1^表示的每一方塊上方之箭 頭所表示。在方塊952，解碼圖像！之圖像標頭58A。在方 塊954，解碼圖像2之圖像標頭58A。解碼所有圖像標頭。 在方塊956，解碼圖像Z(最後一個圖像）之圖像標頭。因 此’該等圖像標頭58A之解碼允許針對一特定位元流導出 可解碼單元之PM序列且針對可解碼單元之pM序列計劃 MIPS。 142708.doc 41- 201016007 圖28說明根據VS/PL資訊提取協定902A之來自位元流之 VS/PL經解碼單元的方塊圖。序列標頭54A經加影線展示 以表示序列標頭54A已被解碼。此外，圖像1至N中之每一 者的圖像標頭58A經加影線展示以表示圖像標頭58A已被 解碼。圖像資料5 8B保持未加影線以表示其在此時仍未解 碼。序列資料54B亦仍未解碼。圖像標頭58A之解碼允許 在不解碼圖像資料之情況下獲得用於片段及巨集區塊層之 必要片段位置。 圖29說明一具有電力管理操作之S/MBL解碼過程1〇〇〇的 流程圖。過程1〇〇〇在方塊10〇2處以執行諸如圖2〇及圖21中 所描述的S/MBL資訊提取及可解碼單元之pm序列之S/MBL 優先排序開始。在一組態中，僅提取並優先排序關於p圖 框及B圖框之資訊。在方塊丨〇〇4，重新計劃用於s/Mbl低 功率模式中之每一者的MIPS。在方塊1006，產生來自 S/MBL低功率模式集合之一在最大可用電力以下的低功率 模式有序子集。排序係依據改良之視覺品質及/或粒度。 在方塊1008，視情況，可通知使用者該有限的電力且向其 提供低功率模式選項之一選擇。在方塊1010，可選擇該子 集之最佳排序低功率模式或使用者所選擇之低功率模式。 在方塊1012 ’基於所選S/MBL低功率模式，p及b圖框片段 及MB資料解碼藉由在適當時將該等解碼操作插回至圖24 之正常解碼過程7〇〇中而開始。在方塊1012之後，可在已 解碼一或多個圖框之後重新計劃MIPS，以使得可根據剩 餘可用電力將低功率模式升級或降級。 142708.doc 201016007 圖30說明自圖24之正常解碼過程700分出的S/MBL資訊 提取協定1002A的方塊圖。將結合圖31描述圖30。圖31說 明根據S/MBL資訊提取協定1〇〇2Α之來自位元流之s/MBL· 經解碼單元的方塊圖。S/MBL資訊提取協定i〇〇2A將解碼 第一圖像1之圖像資料58B。為解碼圖像資料588，僅解碼 片段標頭60A及MB標頭62B，直至可選擇一低功率模式為 止。在圖像1至N之方塊上方的箭頭指示圖像之一位置。箭 頭之黑色陰影表示基於一低功率模式的圖像之選擇。無陰 影箭頭表示一尚未選擇之圖像。在方塊1050，在方塊1〇5〇 解碼圖像1之片段標頭60A。在方塊1052，解碼圖像i之片 段1之MB 1的MB標頭62 A。在方塊1〇54，解碼圖像1之片 段1之MB 2的MB標頭62A。解碼圖像！之片段}之所有巨集 區塊標頭，其中在方塊1056，解碼圖像丨之片段丨之河8 N 之MB標頭。巨集區塊資料62B未經解碼。圖像資料5 8B、 片段標頭60A及MB標頭62A之影線表示其解碼。 解碼每一片段之片段標頭60A，繼而解碼一片段之每一 MB之MB標頭。在方塊1058，以一類似於方塊忉咒至丨❹％ 之方式解碼圖像1之片段M(最後一個片段）。以一類似方式 解碼所有剩餘圖像。在方塊1060，如上文關於方塊1〇5〇至 1058所描述，解碼圖像z(最後一個圖像）。因此，該等片 段及巨集區塊標頭之解碼允許為一特定位元流導出可解碼 單元之PM序列且為可解碼單元2PM序列計劃^1〇>8。 圖32說明根據一所選電力管理模式之最後片段及巨集區 塊解碼的方塊圖。針對所選低功率模式（諸如，模式6八至 U2708.doc -43· 201016007 6C及模式7A-7C)，根據待解碼之P1V[序列解碼片段資料60B 及MB資料62B。片段資料60B及MB資料62B經加影線展示 以指示其解碼。 圖33說明多層電力管理模式之階層式配置的方塊圖eTL PM處理1200在輸送層52開始電力管理之第一層級。作為 TL PM處理1200之結果’基於計劃的MIPS建立複數個低功 率模式。在一組態中，提議模式1、1A及2。電力管理操作 繼續至一在VS/PL PM處理12〇2處之第二層級。電力管理 之該第二層級係在序列及圖像層7〇處進行。VS/PL PM處 理1202依據計劃的MIPS及視覺品質及/或粒度產生複數個 低功率模式。在一組態中’產生模式3、4A至4D。模式5 為一功率模式’但若所有圖框被解碼，則其可能不為一低 功率模式。儘管如此’該等電力管理操作仍繼續至一在 S/MBL PM處理1204處之第三層級。電力管理之該第三層 級係在片段及巨集區塊層<72處進行。S/mbL PM處理1204 依據計劃的MIPS及視覺品質及/或粒度產生複數個低功率 模式。在一組態中，產生模式6A至6(：及7A至7C。模式8允 許在電力准許的情況下解碼所有圖框。此外，可在位元流 之一部分已被解碼且MIPS之重新計劃指示所有剩餘圖框 可被解碼之後使用模式8。 在一或多個例示性組態中，所描述之功能可實施於硬 體、軟體、韌體或其任何組合中。若於軟體中實施，則該 等力3b "J作為一或多個指令或程式碼而在一電腦可讀媒體 上儲存或經由該媒體傳輸。電腦可讀媒體包括電腦儲存媒 142708.doc • 44 · 201016007 體及通信媒體兩者，通信媒體包括促進將電腦程式自一處 傳送至另一處之任何媒體。儲存媒體可為可由電腦存取之 任何可用媒體。作為實例且非限制，該等電腦可讀媒體可 包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器 件、磁碟儲存器件或其他磁性儲存器件，或可用以載運或 儲存呈指令或資料結構之形式的所要程式碼且可由電腦存 取之任何其他媒體。又，將任何連接恰當地稱作電腦可讀 媒體。舉例而言，若使用同轴電纜、光纖電纜、雙絞線、 數位用戶線（DSL)，或諸如紅外線、無線電及微波之無線 技術自網站、伺服器或其他遠端源傳輸軟體，則同轴電 纜、光纖電缆、雙絞線、DSL，或諸如紅外線、無線電及 微波之無線技術包括於媒體之定義中。如本文中所使用， 磁碟及光碟包括緊密光碟（CD)、雷射光碟、光碟、數位影 a光碟（DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁 性方式再生資料，而光碟用雷射以光學方式再生資料。以 上各者之組合亦應包括於電腦可讀媒體之範_内。 提供所揭示組態之先前描述以使任何熟習此項技術者能 夠製造或使用本發明。對此等組態之各種修改對熟習此項 技術者而δ將為顯而易見的’且本文中所定義之一般原理 可在不脫離本發明之精神或範疇的情況下應用於其他組 態。因此，本發明不欲限於本文中所示之組態，而是應符 合與本文中所揭示之原理及新穎特徵相一致的最廣範缚。 【圖式簡單說明】 圖1展示一無線器件的整體方塊圖； 142708.doc •45- 201016007 圖2A展示一資料流； 圖2B展示一視訊層資料； 圖2C展示--般MPEG格式； 圖2D展示一具有可解碼單元之一般MPEG位元流； 圖3 A展示一電力管理模組及視訊編碼器及解碼器引擎的 方塊圖； 圖3B展示用於與電力管理模組一起使用之解碼器引擎的 方塊圖； 圖4展示一用於計劃用於解碼可解碼單元之經優先排序 電力管理（PM)序列的電力及計算負載之過程的流程圖； 圖5展示一輸送層（TL)剖析器及處理單元； 圖6展示一 TL資訊提取器及編譯器； 圖7展示一接收到的時間片段； 圖8展示一可解碼單元之TL經優先排序PM序列產生器； 圖9展示一 TL解碼MIPS及電力計劃器； 圖10展示一具有電力及計算負載管理之用於解碼之過 程； 圖11展示一在TL模式期間的多層低功率模式集合產生 3S. · 益， 圖12展示一視訊序列/圖像層（VS/PL)剖析器及處理單 元； 圖13展示一 VS/PL提取器及編譯器； 圖14展示一接收到的時間片段中之VS/PL資訊； 圖15展示一用以解碼之VS/PL經優先排序序列產生器； 142708.doc -46- 201016007 圖16展示一由VS/PL解碼MIPS及電力計劃器進行的用以 估計MIPS之過程的流程圖； 圖17展示一VS/PL解碼MIPS及電力計劃器； 圖18展示一在VS/PL模式期間的多層低功率模式集合產 生器； 圖19展示一片段/巨集區塊層（S/MBL)剖析器及處理單 ' 元； 圖20展示一 S/MBL提取器及編譯器； ® 圖21展示一用以解碼之S/MBL經優先排序序列產生器； 圖22展示一在S/MBL模式期間的多層低功率模式集合產 生器； 圖23展示電力管理操作之高階方塊圖； 圖24以順序次序展示一例示性標準（正常）解碼過程； 圖25展示一具有電力管理操作之TL解碼過程的流程圖； 圖26展示一具有電力管理操作之VS/PL解碼過程的流程 圖； 圖27展示一 VS/PL資訊提取協定的方塊圖； 圖28展示根據VS/PL資訊提取協定之來自位元流之 ' VS/PL經解碼單元的方塊圖； • 圖29展示一具有電力管理操作之S/MBL解碼過程的流程 圖； 圖30展示一 S/MBL資訊提取協定的方塊圖； 圖3 1展示根據S/MBL資訊提取協定之來自位元流之 S/MBL經解碼單元的方塊圖； 142708.doc -47- 201016007 圖32展示根據一所選電力管理模式之最後片段及巨集區 塊解碼的方塊圖；及 圖33展示多層電力管理模式之階層式配置的方塊圖。 為了促進理解，已在可能處使用相同參考數字以指明諸 圖所共有之相同元件，在適當時添加後綴以區分此等元件 除外。圖式中之影像出於說明性目的而被簡化且未按比例 描繪。預期特徵組態可有益地併入其他組態中而不予以進 一步陳述。 附加之圖式說明本發明之例示性組態，且因此不應被認 為限制可承認其他同樣有效之組態的本發明之範疇。 【主要元件符號說明】 10 無線器件 12 天線 14 接收器（RCVR) 16 傳輸器（TMTR) 20 數位區段 22 數據機處理器 24 視訊處理器 26 控制器/處理器 28 顯示處理器 28A 呈現級 30 顯示單元
32 ARM/DSP 34 圖形處理單元（GPU) 142708.doc • 48 - 201016007 ❿ 36 内部記憶體 38 外部匯流排介面（EBI) 40 主記憶體 50 一般MPEG封包格式 52 MPEG層/輸送層 54 MPEG層/序列層 54A 序列標頭 54B 序列資料 56 MPEG層/圖像群組（GOP)層 58 MPEG層/圖像層 58A 圖像標頭 58B 圖像資料 60 MPEG層/片段層 60A 片段標頭 60B 片段資料 62 MPEG層/巨集區塊（MB)層 62A MB標頭 62B MB資料 64 MPEG層/區塊層 70 視訊序列/圖像層（VS/PL) 72 片段/MB層（S/MBL) 100 電力管理模組 102 視訊編碼器引擎 104 視訊解碼器引擎 142708.doc -49- 201016007 105 106 108 110 112 114 120 150 152 154 160 162 164 166 170 172 174 176 178 180 182 184 186 標準（正常）序列解碼處理單元 輸送層（TL)剖析器及處理單元 視訊序列/圖像層（VS/PL)剖析器及處理單元 片段/MB層（S/MBL)剖析器及處理單元 區塊層剖析器及處理單元 多層低功率模式集合產生器/多層次低功率模 式集合產生器 過程
TL資訊提取器及編譯器 TL經優先排序PM序列產生器 TL解碼MIPS及電力計劃器 隨機存取點（RAP)提取器 資訊 RAP 狀態資訊提取器 頻道變化 使用者觀察偏好 應用變化 位元流特性提取器 位元率 圖框率 解析度 應用 輸送層資訊編譯器 142708.doc -50- 201016007 190 191 192 193 194 196 198 200 w 202 204 206 208 210 212 230 240 260 280 282 • 284 286 290 292 294 接收到的時間片段 RAPj 標頭 有效負載 PTSi間隔 rap2 rapn 可解碼單元之TL經優先排序PM序列之清單 RAPj RAP--GOP1之剩餘部分 rap2 RAP--GOP2之剩餘部分 RAPn rap--gopn之剩餘部分 MIPS計劃表 過程 低功率模式設定之清單 VS/PL資訊提取器及編譯器 VS/PL經優先排序PM序列產生器 VS/PL解碼MIPS及電力計劃器/1圖框位置
封包ID 概況 層次 參數約束 142708.doc -51 - 201016007 296 圖像資訊 298 參考圖框之數目 300 解析度 302 圖框率 304 參考圖像位置 306 參考圖像大小 308 參考圖像資訊 310 非參考圖像位置 312 非參考圖像大小 314 非參考圖像資訊 316 貢訊編譯|§ 330 接收到的時間片段 360 可解碼單元之VS/PL經優先排序PM序列之清單 362 方塊/封包RAP1 364 方塊或間隔RAP-GOP! 366 方塊/IDR圖框/1圖框 368 方塊/1圖框 370 方塊/P圖框 372 參考B圖框/方塊 374 b圖框/方塊 376 方塊 378 方塊 380 方塊 382 方塊/封包rap2 142708.doc - 52 · 201016007 384 方塊 386 方塊 388 方塊/封包rapn 390 方塊 400 過程 440 用以解碼之計劃的MIPS之清單 450 用以解碼之計劃的MIPS之清單/低功率模式之 清單 • 460 S/MBL資訊提取器及編譯器 462 S/MBL經優先排序PM序列產生器 464 S/MBL解碼MIPS及電力估計器 470 片段資訊 472 MB資訊 474 MB類型 476 運動向量 478 模式 480 大小 482 其他資訊 484 每圖框MB圖 - 490 S/MBL經優先排序PM序列之清單 492 方塊 494 方塊 496 方塊 498 方塊 142708.doc -53- 201016007 500 方塊 502 方塊 504 方塊 506 方塊 507 方塊 508 方塊 650 低功率模式之階層式清單 700 標準（正常）解碼過程 800 TL解碼過程 900 VS/PL解碼過程 902A VS/PL資訊提取協定 1000 S/MBL解碼過程 1002A S/MBL資訊提取協定 1200 TL PM處理 1202 VS/PL PM處理 1204 S/MBL PM處理 2141 資料流 2142 輸送層資料 2143 視訊層資料 2144 視訊寫碼協定 2145 輸送協定 2243 序列/圖像群組/圖像層資料 2245 片段或巨集區塊（MB)層資料 2247 區塊層資料 DL 資料線 142708.doc 54-

Claims (1)

  1. 201016007 七、申請專利範圍： 1. 一種處理一資料流之方法，其包含以下步驟： 接收一包括視訊資料之資料流； 識別用以產生該資料流之至少一協定； 識別該至少一協定所需之各種剖析及解碼操作； 评估可用電能之一量及可用處理能力中之至少一者丨及 基於該可用電能及該可用處理能力中之至少一者管理 針對該資料流的該等各種剖析操作及解碼操作。s 2·如請求们之方法’丨中對該等各種剖析操作及解碼操 作之該管理涉及選擇性地進行針對該資料流的該等剖析 及解碼操作。 3. 如靖求項丨之方法，其進一步包含以下步驟： 將該等各種剖析操作及解碼操作聯合成群組，其中每 -群組具有一計劃的電能需求及一計劃的處理能：需求 中之至少一者。 4. 如請求項3之方法，其進一步包含以下步驟 基於該計劃的電能需求及該計劃的處理能力需求中之 至少一者將該等群組優先排序成低功率模式之一階層式 清單。 5. 如請求項3之方*，其進一 #包含以下步驟 的：一=該所選群組之計割的電能需求及計割 電r二少一者分別滿足或不超過該可用 %月6及該可用處理能力。 6. 如請求項4之方法，其進一步包含以下步驟： 142708.doc 201016007 向一使用者呈現低功率模式之該階層式清單； 接收一指示該使用者所選之低功率模式之輸入；及 回應於該輸入選擇剖析操作及解碼操作之一群組。 7. 一種處理一資料流之方法，其包含以下步驟： 接收一包括視訊資料之資料流； 識別用以產生該資料流之至少一協定； 識別該至少一協定所需之各種剖析及解碼操作；及 基於該視訊之一視覺品質及一經驗品質（q〇e)令之至
    少一者管理針對該資料流的該等各種剖析操作及解碼操 作。 、 8·如請求項7之方法，其中對該等各種剖析操作及解碼操 作之該管理涉及選擇性地進行針對該資料流的該等剖析 及解碼操作。 9. 如叫求項7之方法，其進一步包含以下步驟： 將該等各種剖析操作及解碼操作聯合成群組其中每 群組對應於該視訊之—視覺品f程度或—經驗品 度。 籲 10. 如請求項9之方法，其進一步包含以下步驟： ^於該視訊之該視覺品質程度及該經驗品質程度中之 者將該等群組優先排序成品f模式之—階層式清 青求項9之方法，其進一步包含以下步驟： 驗群組使得該所選群組的該視訊之視覺品質及經 中之至少一者分別滿足該視訊之一所要視覺品質 142708.doc -2 · 201016007 程度及所要經驗品質程度。 12. 如請求項10之方法，其進—步包含以下步驟： 向一使用者呈現品質模式之該階層式清單； 接收一指示該使用者所選之品質模式之輸入；及 回應於該輸入選擇剖析操作及解碼操作之一群組。 13. —種用於處理一資料流之器件，其包含： 一處理器，其經組態以執行可操作以執行以下步驟的 指令之一集合： 接收一包括視訊資料之資料流； 識別用以產生該資料流之至少一協定； 識別該至少一協定所需之各種剖析及解碼操作； 評估可用電能之一量及可用處理能力令之至少一 者；及 基於該可用電能及該可用處理能力中之至少—者管 理針對該資料流的該等各種剖析操作及解碼操作。
    14·如請求項13之器件’纟中對該等各種剖析操作及解碼操 作之該㈣涉及選㈣地騎針㈣資料流的該等 及解碼操作。 15. 如明求項13之器件，其中該處理器經進一 用以執行以下步驟的指令： 步組態以執行 將該等各種剖析操作及解碼操作聯合成群組，其中每 -群組具有一計劃的電能需求及—計劃的處理能 中之至少一者。 而水 步組態以執行 16.如請求項15之器件 其中該處理器經進一 142708.doc 201016007 用以執行以下步驟的指令： 基於該S十劃的電能需求及該計劃的處理能力需求中之 至少一者將該等群組優先排序成低功率模式之一階層式 清單。 17·如請求項15之器件，其中該處理器經進一步組態以執行 用以執行以下步驟的指令： 選擇一群組使得該所選群組之計劃的電能需求及計劃 的處理能力需求中之至少一者分別滿足或不超過該可用 電能及該可用處理能力。 18. 如請求項16之器件，其中該處理器經進一步組態以執行 用以執行以下步驟的指令： 向一使用者呈現低功率模式之該階層式清單； 接收一指示該使用者所選之低功率模式之輸入；及 回應於該輸入選擇剖析操作及解碼操作之一群組。 19. 一種用於處理一資料流之器件，其包含： 一處理器，其經組態以執行可操作以執行以下步驟的 指令之一集合： 接收一包括視訊資料之資料流； 識別用以產生該資料流之至少一協定； 識別該至少一協定所需之各種剖析及解碼操作；及 基於該視訊之一視覺品質及一經驗品質（Q〇E)中之 至少一者管理針對該資料流的該等各種剖析操作及解 瑪操作。 20·如請求項19之器件，其中對該等各種剖析操作及解碼操 142708.doc -4- 201016007 作之該管理涉及選擇性地進行針對該資料流的該等剖析 及解碼操作。 21 ·如請求項19之器件，其中該處理器經進一步組態以執〜 用以執行以下步驟的指令： 將該等各種刮析操作及解碼操作聯合成群組，其中每 一群組對應於該視訊之一視覺品質程度或一經驗品質程 度。 22. 如請求項21之器件，其中該處理器經進一步組態以執行 用以執行以下步驟的指令： 基於S亥視訊之該視覺品質程度及該經驗品質程度中之 至少一者將該等群組優先排序成品質模式之一階層式清 單。 < 23. 如請求項21之器件，其中該處理器經進一步組態以執行 用以執行以下步驟的指令： 選擇一群組使得該所選群組的該視訊之視覺品質及經 驗品質中之至少一者分別滿足該視訊之一所要視覺品質 程度及所要經驗品質程度。 24·如請求項22之器件，其中該處理器經進一步組態以執行 用以執行以下步驟的指令： 白使用者呈現品質模式之該階層式清單； 接收一指示該使用者所選之品質模式之輸入；及 回應於該輸入選擇剖析操作及解碼操作之一群組。 25.種用於處理一資料流之裝置，其包含： 用於接收一包括視訊資料之資料流之構件； 142708.doc 201016007 用於識別用以產生該資料流之至少一協定之構件， 用於識別該至少一協定所需之各種剖析疋及解碼件操作 構件； ' 用於評估可用電能之一量及可用處理能力中之至少一 者之構件；及 ^ 用於基於該可用電能及該可用處理能力中之至少— 管理針對該資料流的該等各種剖析操作及解碼㈣之: 件0 26·如請求項25之裝置’其中該用於管理該等各種剖析操作 及解碼操作之構件㈣性地進行針㈣資㈣的該 析及解碼操作。 ° 27·如請求項25之裝置，其進一步包含： 用於將該等各種剖析操作及解碼操作聯合成群組之構 件，其中每—群組具有—計劃的電能需求及-計劃的處 理能力需求中之至少一者。 28.如請求項27之裝置，其進一步包含： 用於基於該計劃的電能需求及該計劃的處理能力需求 中之至少-者將該等群組優先排序成低功率模式之一階 層式清單之構件。 29.如請求項27之裝置，其進—步包含： 用於選擇-群組使得該所選群組之計劃的電能需求及 計劃的處理能力需求★之至少—者分別滿足或不超過該 可用電能及該可用處理能力之構件。 30.如請求項28之裝置，其進_步包含 14270g.doc 201016007 用於向一使用者呈現低功率模式之該階層式清單之構 件； 用於接收一指示該使用者所選之低功率模式之輸入之 構件；及 用於回應於該輸入選擇剖析操作及解碼操作之一群組 之構件。 31. ❹ 32. ❷ 33. 34. 一種用於處理一資料流之裝置，其包含： 用於接收一包括視訊資料之資料流之構件； 用於識別用以產生該資料流之至少一協定之構件； 用於識別該至少一協定所需之各種剖析及解碼操作之 構件；及 用於基於該視訊之一視覺品質及一經驗品質（Q〇E)中 之至少一者管理針對該資料流的該等各種剖析操作及解 碼操作之構件。 如請求項31之裝置，其中該用於管理該等各種剖析操作 及解碼操作之構件選擇性地進行針對該資料流的該等剖 析及解碼操作。 α 如請求項31之裝置’其進一步包含： 用於將該等各種剖析操作及解碼操作聯合成群組之構 件’其中每—群組對應於該視訊之-視覺品質程度或一 經驗品質程度。 又一 如請求項33之裝置，其進一步包含： 用於基於該視訊之該視覺品質程度及該經驗 中之至少—者將該等群組優先排序成品質模式之-階層又 142708.doc 201016007 式清單之構件。 35. 如請求項33之裝置，其進一步包含： 用於選擇一群組使得該所選群組的該視訊之視覺品質 及經驗品質中之至少一者分別滿足該視訊之一所要視覺 質程度及所要使用者經驗品質程度之構件。 36. 如請求項34之裝置，其進一步包含： 用於向一使用者呈現品質模式之該階層式清單之構 件； 用於接收-指示該使用者所選之品質模式之輸入之構 件；及 用於回應於該輸入選擇剖析操作及解碼操作之一 之構件。 37.-種電腦程式產品，其包括—儲存在由—處理器執行時 使該處理器執行以下步驟的指令之電腦可讀媒體： 接收一包括視訊資料之資料流； 識別用以產生該資料流之至少一協定； 識別該至少-協定所需之各種剖析及解瑪操作； 評估可用電能之-量及可用處理能力中之至少一 者；及 基於該可用電能及該可用處理能力中之至少一者管理 針對該資料流的該等各種剖析操作及解碼操作。 38.如請求項37之電腦程式產品其中對 及解碼操作之該管理涉及選擇性地 ^操作 該等剖析及解碼操作。 行針對該資料流的 142708.doc 201016007 請求項37之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令. 將該等各種剖析操作及解瑪操作聯合成群組，其中每 -群組具有-計劃的電能需求及一計劃的處理能力需求 中之至少一者。 4〇.，請求項39之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令：
    基於該計劃的電能需求及該計劃的處理能力需求中之 至少一者將該等群組優先排序成低功率模式之一階層式 清單。 1 41. 如請求項39之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令： 選擇一群組使得該所選群組之計劃的電能需求及計劃 的處理能力需求中之至少一者分別滿足或不超過該可用 電能及該可用處理能力。 42. 如請求項40之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令： 向一使用者呈現低功率模式之該階層式清單； 接收一指示該使用者所選之低功率模式之輸入；及 回應於該輸入選擇剖析操作及解碼操作之一群組。 43. —種電腦程式產品，其包括一儲存在由一處理器執行時 使該處理器執行以下步驟的指令之電腦可讀媒體： 接收一包括視訊資料之資料流； 識別用以產生該資料流之至少一協定； 142708.doc -9- 201016007 識別該至少一協定所需之各種剖析及解碼操作·及 基於該視訊之一視覺品質及一經驗品質（q〇e)中之至 =-者管理針對該資料流的該等各種騎操作及解瑪操 44. 如請求項43之電腦程式產品，其中對該等各種剖析操作 及解碼操作之該管理涉及選擇性地進行針對該資料流的 該等剖析及解碼操作。 45. 如請求項43之電腦程式產品，其進一步包含在由—處理 器執行時使該處理器執行以下步驟的指令： 將該等各種剖析操作及解碼操作聯合成群組，其令每 一群組對應於該視訊之一視覺品質程度或一經驗品質程 度。 46. 如請求項45之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令： 基於該視訊之該視覺品質程度及該經驗品質程度中之 至少一者將該等群組優先排序成品質模式之一階層式清 單。 47. 如請求項45之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令： 選擇一群組使得該所選群組的該視訊之視覺品質及經 驗品質中之至少一者分別滿足該視訊之一所要視覺品質 程度及所要經驗品質程度。 48 ·如請求項45之電腦程式產品，其進一步包含在由一處理 器執行時使該處理器執行以下步驟的指令： 142708.doc • 10- 201016007 向一使用者呈現品質模式之該階層式清單； 接收一指示該使用者所選之品質模式之輸入；及 回應於該輸入選擇剖析操作及解碼操作之一群組。
    142708.doc -11 -
TW098127903A 2008-08-19 2009-08-19 Power and computational load management techniques in video processing TW201016007A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9017608P 2008-08-19 2008-08-19
US11498508P 2008-11-14 2008-11-14
US12/336,347 US8964828B2 (en) 2008-08-19 2008-12-16 Power and computational load management techniques in video processing

Publications (1)

Publication Number Publication Date
TW201016007A true TW201016007A (en) 2010-04-16

Family

ID=41696376

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098127903A TW201016007A (en) 2008-08-19 2009-08-19 Power and computational load management techniques in video processing

Country Status (7)

Country Link
US (2) US8964828B2 (zh)
EP (1) EP2327204A1 (zh)
JP (2) JP5442736B2 (zh)
KR (1) KR101248371B1 (zh)
CN (1) CN102124724B (zh)
TW (1) TW201016007A (zh)
WO (1) WO2010022189A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI584221B (zh) * 2012-09-28 2017-05-21 輝達公司 適應性調整圖形處理單元之圖框率的方法及使用該方法的電腦系統

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US8948270B2 (en) 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8457311B1 (en) * 2010-04-27 2013-06-04 Adobe Systems Incorporated Protecting video as it is decoded by a codec
US8964857B2 (en) * 2010-10-20 2015-02-24 Lg Electronics Inc. Receiving system and method for processing digital broadcast signal in the receiving system
CN103621145B (zh) * 2011-04-20 2017-03-29 英派尔科技开发有限公司 移动内容体验质量的实时全参考计算方法、装置
US9414086B2 (en) 2011-06-04 2016-08-09 Apple Inc. Partial frame utilization in video codecs
WO2012169952A2 (en) * 2011-06-10 2012-12-13 Telefonaktiebolaget L M Ericsson (Publ) Signaling of end of slices
US10277915B2 (en) 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9241167B2 (en) * 2012-02-17 2016-01-19 Microsoft Technology Licensing, Llc Metadata assisted video decoding
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
US9128721B2 (en) 2012-12-11 2015-09-08 Apple Inc. Closed loop CPU performance control
US10257523B2 (en) * 2012-12-14 2019-04-09 Avago Technologies International Sales Pte. Limited Adaptive decoding system
GB2519804A (en) * 2013-10-31 2015-05-06 Nec Corp Power saving in mobile radio communications device
US9344340B2 (en) 2013-11-18 2016-05-17 International Business Machines Corporation System and method for notification of QoE issues
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
FR3017762A1 (fr) * 2014-02-14 2015-08-21 Orange Notification d'une information de consommation de bande passante a un fournisseur de service dans un reseau de telecommunications
US20150237356A1 (en) * 2014-02-18 2015-08-20 Microsoft Corporation Host encoder for hardware-accelerated video encoding
CN111832056B (zh) * 2014-09-28 2024-04-26 伊姆西Ip控股有限责任公司 用于生成二维码的方法和系统
CN105764166A (zh) * 2014-12-17 2016-07-13 联芯科技有限公司 多通终端及其系统mips控制方法和模块
EP3057318A1 (en) * 2015-02-13 2016-08-17 Alcatel Lucent Adapting coding parameters based on viewing experience and system constraints
DE102015207965A1 (de) * 2015-04-29 2016-11-03 Deere & Company Energiemanagementsystem für eine landwirtschaftliche Fahrzeuganordnung
CN113852995A (zh) * 2020-06-28 2021-12-28 中兴通讯股份有限公司 网络切片的分配方法、终端及存储介质
US11947988B1 (en) * 2020-10-19 2024-04-02 Splunk Inc. Load balancer bypass for direct ingestion of data into a data intake and query system
CN116708843B (zh) * 2023-08-03 2023-10-31 清华大学 一种语义通信过程中的用户体验质量反馈调节系统

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2881065B2 (ja) 1992-03-19 1999-04-12 富士通株式会社 モデム装置
US5655009A (en) * 1992-03-19 1997-08-05 Fujitsu Limited Modem unit
WO1994022268A1 (en) * 1993-03-25 1994-09-29 Sony Corporation Method for coding or decoding time-varying image, and apparatuses for coding/decoding
US5535401A (en) 1994-04-05 1996-07-09 International Business Machines Corporation Method and system of power and thermal management for a data processing system using object-oriented program design
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7068991B2 (en) 1997-05-09 2006-06-27 Parise Ronald J Remote power recharge for electronic equipment
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
EP1578136A3 (en) 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
ATE277378T1 (de) 1999-10-25 2004-10-15 Texas Instruments Inc Intelligente leistungssteuerung in verteilten verarbeitungssystemen
JP3957937B2 (ja) * 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
JP2004507957A (ja) 2000-08-29 2004-03-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ アルゴリズムを実行する方法と、拡張性のあるプログラマブル処理装置
JP4552296B2 (ja) * 2000-09-08 2010-09-29 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
KR100830747B1 (ko) 2000-10-25 2008-05-20 텍사스 인스트루먼츠 인코포레이티드 분산된 프로세싱 시스템을 위한 인텔리젼트 전력 관리
US6931520B2 (en) 2001-05-17 2005-08-16 International Business Machines Corporation Power management delay system using mouse pointer indicator to indicate power-up delay during powering up a powered down disk device
US6704362B2 (en) * 2001-07-06 2004-03-09 Koninklijke Philips Electronics N.V. Resource scalable decoding
JP3876687B2 (ja) 2001-10-30 2007-02-07 ソニー株式会社 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
KR20040065261A (ko) 2001-12-12 2004-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 미디어 시스템 상의 미디어 신호 처리
JP3779215B2 (ja) 2002-01-28 2006-05-24 富士通株式会社 携帯型情報処理装置
US6968441B1 (en) * 2002-04-12 2005-11-22 Barsa Consulting Group, Llc Method and system for managing interdependent resources of a computer system
US7287170B2 (en) 2002-05-14 2007-10-23 Ati Technologies Inc. Method and apparatus for power management using system and request tokens
US6710578B1 (en) 2002-08-27 2004-03-23 Motorola, Inc. Power resource management in a portable communication device
US7450963B2 (en) * 2002-08-27 2008-11-11 Qualcomm Incorporated Low power dual processor architecture for multi mode devices
US9796848B2 (en) 2002-10-25 2017-10-24 Honeywell International Inc. Foaming agents and compositions containing fluorine substituted olefins and methods of foaming
JP3504256B1 (ja) 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
US20040158878A1 (en) 2003-02-07 2004-08-12 Viresh Ratnakar Power scalable digital video decoding
RU2305377C2 (ru) 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
JP2005031826A (ja) 2003-07-09 2005-02-03 Hitachi Ltd センサデバイスおよびその制御方法
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
GB2408657B (en) * 2003-11-28 2006-04-12 Motorola Inc Radio resource management
US20050136961A1 (en) * 2003-12-17 2005-06-23 Telefonaktiebolaget Lm Ericsson (Publ), Power control method
GB0400658D0 (en) 2004-01-13 2004-02-11 Koninkl Philips Electronics Nv Portable device for receiving media content
US7885926B2 (en) * 2004-01-21 2011-02-08 GM Global Technology Operations LLC System and apparatus for wireless synchronization of multimedia content
JP2005300943A (ja) 2004-04-13 2005-10-27 Canon Inc 情報表示位置制御方法及び装置
JP2005303738A (ja) 2004-04-13 2005-10-27 Canon Inc 画像処理装置
EP1701546A4 (en) * 2004-04-23 2010-09-15 Sumitomo Electric Industries CODING METHOD AND DECODING METHOD FOR MOVABLE IMAGE DATA, FINAL DEVICE FOR CARRYING OUT THE METHOD AND BIDIRECTIONAL INTERACTIVE SYSTEM
JP5007228B2 (ja) * 2004-06-14 2012-08-22 プレコード，インコーポレイテッド 画像クリーンアップおよび前置符号化
JP2006014086A (ja) 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2006101322A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
DE602005015067D1 (de) 2004-09-30 2009-08-06 Toshiba Kk Informationsbearbeitungsgerät und Programm
JP2006113767A (ja) 2004-10-14 2006-04-27 Sony Corp 情報処理システム、および、情報処理方法、並びに、プログラム
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20060133495A1 (en) * 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
US8041967B2 (en) 2005-02-15 2011-10-18 Hewlett-Packard Development Company, L.P. System and method for controlling power to resources based on historical utilization data
WO2006109985A1 (en) 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
US7920584B2 (en) * 2005-05-04 2011-04-05 Arm Limited Data processing system
US7721011B1 (en) * 2005-05-09 2010-05-18 Oracle America, Inc. Method and apparatus for reordering memory accesses to reduce power consumption in computer systems
JP2007013315A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 情報処理装置および動画像再生方法
ATE535856T1 (de) * 2005-07-14 2011-12-15 Nxp Bv Verwendung von vorgeschichtlichen lastprofilen zur dynamischen justierung der betriebsfrequenz und verfügbaren leistung für einen prozessorkern eines in der hand gehaltenen multimedia-geräts
US20070021140A1 (en) 2005-07-22 2007-01-25 Keyes Marion A Iv Wireless power transmission systems and methods
US7529948B2 (en) * 2005-08-25 2009-05-05 Apple Inc. Methods and apparatuses for dynamic power estimation
US7337339B1 (en) * 2005-09-15 2008-02-26 Azul Systems, Inc. Multi-level power monitoring, filtering and throttling at local blocks and globally
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
US8886261B2 (en) * 2005-12-06 2014-11-11 Motorola Mobility Llc Multi-mode methods and devices utilizing battery power level for selection of the modes
WO2007078663A2 (en) * 2005-12-16 2007-07-12 Interdigital Technology Corporation Mobility middleware architecture for multiple radio access technology apparatus
JP4654300B2 (ja) 2005-12-16 2011-03-16 インターデイジタル テクノロジー コーポレーション マルチ無線アクセス技術機器用のモビリティミドルウェアアーキテクチャ
TW200805047A (en) * 2005-12-23 2008-01-16 Koninkl Philips Electronics Nv Performance analysis based system level power management
US20070192641A1 (en) 2006-02-10 2007-08-16 Intel Corporation Method and apparatus to manage power consumption in a computer
US7484110B2 (en) * 2006-03-16 2009-01-27 Microsoft Corporation Adaptive power management
US20070220293A1 (en) 2006-03-16 2007-09-20 Toshiba America Electronic Components Systems and methods for managing power consumption in data processors using execution mode selection
US7770040B2 (en) * 2006-03-24 2010-08-03 Qualcomm Incorporated Method and apparatus for reducing power consumption of a co-processor by switching to low power dedicated memory in which image data is periodically updated
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
EP1844827A1 (en) 2006-04-11 2007-10-17 Palo Alto Research Center Incorporated Method, device, and program product to monitor the social health of a persistent virtual environment
JP2007328461A (ja) 2006-06-06 2007-12-20 Matsushita Electric Ind Co Ltd 非対称マルチプロセッサ
US8379723B2 (en) * 2006-06-27 2013-02-19 Intel Corporation Chroma motion vector processing apparatus, system, and method
US7827425B2 (en) 2006-06-29 2010-11-02 Intel Corporation Method and apparatus to dynamically adjust resource power usage in a distributed system
US7836320B2 (en) 2006-07-07 2010-11-16 Arm Limited Power management in a data processing apparatus having a plurality of domains in which devices of the data processing apparatus can operate
TWI344793B (en) 2006-07-24 2011-07-01 Ind Tech Res Inst Power aware method and apparatus of video decoder on a multi-core platform
JP2008042566A (ja) 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
JP2008067194A (ja) 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP4775210B2 (ja) * 2006-09-26 2011-09-21 株式会社日立製作所 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
US9883202B2 (en) 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
US8126461B2 (en) * 2006-11-01 2012-02-28 Snrlabs Corporation System, method, and computer-readable medium for user equipment managing multiple radio networks for handover and low-power operations
JP2008124646A (ja) 2006-11-09 2008-05-29 Orion Denki Kk ビデオデコーダ及び該ビデオデコーダを備えた携帯型デジタル放送受信機
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
US7961756B1 (en) * 2006-11-21 2011-06-14 Picomobile Networks, Inc. Integrated multimedia system
US7941677B2 (en) 2007-01-05 2011-05-10 Avaya Inc. Apparatus and methods for managing power distribution over Ethernet
US8125936B2 (en) * 2007-03-08 2012-02-28 Marvell International Ltd. Low power data streaming
US8493966B2 (en) * 2007-03-13 2013-07-23 Marvell International Ltd. Optimized packet processing architecture for battery powered mobile communication device
KR100866230B1 (ko) * 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
US20080307240A1 (en) * 2007-06-08 2008-12-11 Texas Instruments Incorporated Power management electronic circuits, systems, and methods and processes of manufacture
JP2009033581A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
US8089557B2 (en) * 2007-10-04 2012-01-03 Hitachi, Ltd. Video signal processing apparatus, video signal processing method and video display apparatus
US8279946B2 (en) * 2007-11-23 2012-10-02 Research In Motion Limited System and method for providing a variable frame rate and adaptive frame skipping on a mobile device
US7795752B2 (en) * 2007-11-30 2010-09-14 Caterpillar Inc System and method for integrated power control
US8948822B2 (en) * 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US8165211B2 (en) * 2008-05-30 2012-04-24 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus of de-interlacing video
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US20100011012A1 (en) 2008-07-09 2010-01-14 Rawson Andrew R Selective Compression Based on Data Type and Client Capability
US8159520B1 (en) 2008-07-11 2012-04-17 Sprint Communications Company L.P. Ensuring quality of a video stream through a telecommunications network
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) * 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8181399B2 (en) 2009-07-17 2012-05-22 United Construction Products, Inc. Stability bracing of a support structure for elevating a building structure
CN101958140A (zh) 2009-07-20 2011-01-26 鸿富锦精密工业（深圳）有限公司 硬盘电源控制电路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI584221B (zh) * 2012-09-28 2017-05-21 輝達公司 適應性調整圖形處理單元之圖框率的方法及使用該方法的電腦系統
US10459873B2 (en) 2012-09-28 2019-10-29 Nvidia Corporation Method for adaptively adjusting framerate of graphic processing unit and computer system using thereof

Also Published As

Publication number Publication date
US8964828B2 (en) 2015-02-24
JP5442736B2 (ja) 2014-03-12
US20120054772A1 (en) 2012-03-01
WO2010022189A1 (en) 2010-02-25
KR101248371B1 (ko) 2013-04-09
JP5738950B2 (ja) 2015-06-24
US20100046631A1 (en) 2010-02-25
CN102124724B (zh) 2014-03-12
US9565467B2 (en) 2017-02-07
JP2014041628A (ja) 2014-03-06
JP2012500602A (ja) 2012-01-05
EP2327204A1 (en) 2011-06-01
KR20110055679A (ko) 2011-05-25
CN102124724A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
TW201016007A (en) Power and computational load management techniques in video processing
US9462326B2 (en) Power and computational load management techniques in video processing
US11395000B2 (en) Dependent random access point pictures
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
CN105791841B (zh) 用于网络上视频数据的自适应流处理的方法、装置和系统
US20140362918A1 (en) Tuning video compression for high frame rate and variable frame rate capture
US9264658B2 (en) Implementing channel start and file seek for decoder
US10070148B2 (en) Method and apparatus for bit rate configuration for multi-view video coding
JP2011091732A (ja) 動画像復号処理装置およびその動作方法