TW200950528A - Reference selection for video interpolation or extrapolation - Google Patents

Description

200950528 九、發明說明： 【發明所屬之技術領域】 本揭不案係關於數位視訊寫碼，且更特定言之，用於視 訊圖框内插法或外推法之技術。 本申請案主張2007年12月10曰申請之美國臨時申請案第 - 6 1/0 12,703號之權利，該案之全部内容以引用的方式併入 .本文中。 【先前技術】 ❹ 已開發用於編碼數位視訊序列之多個視訊編碼技術。動 畫專業團體（MPEG)(例如）已開發了包括mpeg- 1、MPEG-2 及MPEG-4之若干技術。其他實例包括國際電信聯盟（ιτυ)_τ Η.263標準及ITU-T Η.264標準及其對應標準〗so/jec MPEG-4第10部分，亦即，進階視訊寫碼（AVC)。此等視訊 編碼標準藉由以壓縮方式編碼資料來支援視訊序列之有效 傳輸。壓縮減少了需要傳輸的資料之總量。 視訊壓縮可涉及空間及/或時間預測以減少視訊序列中 ® 所固有的冗餘。框内寫碼使用空間預測來減少同一視訊圖 框内的視訊區塊之間的空間冗餘。框間寫碼使用時間預測 •來減少連續視訊圖框中的視訊區塊之間的時間冗餘。對於 框間寫碼，視訊編碼器執行運動估計以產生指示視訊區塊 相對於一或多個參考圖框中之對應的預測視訊區塊之移位 的運動向量。視訊編碼器執行運動補償以自參考圖框產生 一預測視訊區塊，且藉由自正經寫碼之原始視訊區塊減去 預測視訊區塊來形成一剩餘視訊區塊。 136783.doc 200950528 為了符合低頻寬要求’一些視訊應用可以減小之圖框速 率編碼視減域跳過-些圖框之編碼q幸地，低圖框 逮率視訊可產生處於運動急動形式下之時間假影。可在解 碼器侧處使用圖框内插或外推以估約由編碼器㈣的圖框 或超出由編碼器產生之基本圖框速率的圖框之内容。圖框 内插或外推可大體㈣作圖框取代。實際上，圖框取代可 用以增頻轉換實際難速率以提供較平滑的運動之感知。 圖忙取代可用以支援*被稱作圖框速率增頻轉換（FRUc)之 過程。儘管FRUC可藉由取代圖框（例如，使用内插或外推） 來增強時間品質，但一些圖框之取代可引入破壞視覺品質 之不良空間假影。 【發明内容】 本揭示案係針對用於選擇待用於一視訊單元之取代(例 如’藉由内插或外推）的一或多個參考視訊單元之技術。 視訊單元可為視訊圖框、切片(slice)、區塊或其他單位。 視訊寫碼器可應用著重品f視訊模式以基於—或多個品質 準則之分析來選擇一參考視訊單元。品質準則可指示(例 如)有可能由選定參考視訊單元產生的内插或外推品質之 位準。w質準則可包括空間及/或時間視覺品質。若參考 視訊單元中無-者収可適用之品f準則，則對於待添加 之特定視訊單元，可停用取代。 視訊寫碼器可應料重資源視訊模式以基於視訊序列之 :動位準選擇性地啟用或停用對一些視訊單元之取代。若 -或多個參考視訊單元大體為靜態，則視訊解碼器或另一 136783.doc 200950528 裝置可停用取代，藉此節省資源，諸如，電力、計算及/ 或記憶體資源。可將運動位準與—臨限值比較，該臨限值 可為固定的或可隨可用資源之位準而調整。若參考視訊單 70包括實質運動，則視訊解碼器或另-裝置可啟用取代， 例如，將品質準則用於參考視訊單元之選擇。 參 對於延遲敏感性視訊應用（諸如，視訊電話），視訊寫碼 器或另-裝置可經組態以選擇視訊參考視訊單元來減少處 理及呈現延遲。舉例而言，未來參考視訊單元時， 視訊寫碼器可經組態以基於距待添加的視訊單元之距離來 選擇參考視訊單元。視訊寫碼器亦可經組態以分析與已經 内插或外推的視訊單元相關聯之-或多個品質特性，及基 於該分析選擇性地啟用或停用視訊單元之顯示藉此節省 在一些情況下需要用來顯示額外視訊單元之資源。 在-態樣中，本揭示案提供一種方法，其包分析一 或多個候選參考視訊單元之至少一特性；及至少部分基於 該分析選擇該等候選參考視訊單元中之一或多者作為一參 考視訊單70用於-額外視訊單元之内插或外推。 在另一態樣中，本揭示案提供一種裝置，其包含：一分 析單元，其分析—或多個候選參考視訊單元之至少一特 性；及-選擇單元’其至少部分基於該分析選擇該等候選 參考視訊單凡中之-或多者作為一參考視訊單元用於一額 外視訊單元之内插或外推。 ' 在-額外態樣中’本揭示案提供一種方法，盆包含：分 ㈣外推的—或多個候選參考 136783.doc 200950528 視訊單元之—運動位準；判定 插或外推的資源位準；及基於該運動;;=視訊單元之内 擇性地停用該額外視訊單元之内插或外=及該資源位準選 在另態、樣中，本揭示案提供 析器，其經組態以分析用於一額外視二包含.一運動分 AA .. , 祝讯單疋之内插咬外掩 的一或多個候選參考损邙罝士* Μ榧及外推 哭甘 亏視訊 之一運動位準；一資源龄顏 器，其經組態以判定一用 貝源孤視 H屯 用該額外視訊單元之内插或外推 的資源位準；及一馮埋@ 4 1個4外推 ❹ 位準選擇付^古 於該運動位準及該資源 擇性地V用該額外視訊單元之内插或外推。 人樣中’本揭7^案提供—種視訊解碼裝置，其包 甚4认二析早70 ’其分析與—由—®框速率增頻轉換過程 .、經内插或經外推之視訊單元相關聯之—或多個特 杜，及-控制單元，其基於該分析選擇性地停用在一顯示 器上的該經内插或經外推之視訊單元之呈現。 在-額外態樣中，本揭示案提供一種方法，其包含：分 析與—由一圖框速率增頻轉換過程產生的經内插或經外推 之視汛單π相關聯之一或多個特性；及基於該分析選擇性 地停用在一顯示器上的該經内插或經外推之視訊單元之呈 現。 本揭示案中描述之技術可實施於硬體、軟體、韌體或其 5中右實施於軟體中’則該軟體可由一或多個處理器 執行。軟體可最初儲存於電腦可讀媒體中且由處理器載入 用於執行。因此’本揭示案涵蓋包含使一或多個處理器執 行如在本揭示案中描述之技術的指令之電腦可讀媒體。 136783.doc 200950528 二例：s ’在一些謝’本揭示案提供 媒體，其包含使-或多個處理器執行以下操作之指令：分 析-或多個候選參考視訊單元之至少一特性；及至少部分 基於該分析選擇該等候選參考視訊單元中之一或多者作為 -參考視訊單元用於—額外視訊單元之内插或外推。 在其他態樣t ’本揭示案提供—種電腦可讀媒體，其包 含使一或多個處理器執行以下操作之指令：分析用於一額 外視訊單元之内插或外推的一或多個候選參考視訊單元之 :運動位準；判定一用於該額外視訊單元之内插或外推的 資源位準；及基於該運動位準及該資源位準選擇性地停用 該額外視訊單元之内插或外推。 在另-態樣中’本揭㈣提供—種電腦可讀媒體其包 含使-或多個處理器執行以下操作之指令：分析與一由一 圖框速率增頻轉換過程產生的經内插或經外推之視訊單元 相關聯之-或多個特性；及基於該分析選擇性地啟用及停 用在-顯示器上的該經内插或經外推之視訊單元之呈現。 在隨附圖式及以下描述中闡明了所揭示之技術的一或多 個態樣之細節。自描述及圖式且自申請專利範圍，其他特 徵、目標及優點將顯而易見。 【實施方式】 圖1為說明經組態以選擇參考視訊單元用於在視訊單元 取代中使用的視訊編碼及解碼系統10之方塊圖。在各種熊 樣中，經取代之視訊單元及選定參考視訊單元可為（例J·) 視訊圖框、視訊切片或視訊區塊。如圖丨中所示，系統忉 136783.doc -11 - 200950528 可包括一視訊編碼器12及一視訊解碼器14，其中每一者可 大體被稱作視訊寫碼器。在圖1之實例中，視訊蝙碼器a 編碼輸入視訊圖框16以產生經編碼之視訊圖框ι8。視訊編 碼器12可將經編碼之視訊圖框18經由通信頻道19傳輸至視 訊解碼器14。 儘管本揭示案中描述之技術可為可適用於多種視訊單元 (諸如，圖框、切片、區塊或子區塊）的，但為了說明之目 的，本揭示案將大體描述將該等技術應用至視訊圖框，但 卻無如在本揭示案中廣泛描述的此等技術之態樣之限制。 為了減少必須在編碼器12與解碼器14之間傳輸的資料之 量，且藉此遵守對頻道19之減小頻寬要求，視訊編碼器Η 可在比源視訊單元寫碼速率小的基本視訊單元寫碼速率下 操作。舉例而言，視訊編碼器12可在一減小之視訊圖框速 率（諸如，每秒I5、3〇、6〇圖框（fps))下操作。 其他或另外，在一些情況下，視訊編碼器12可在一給定 視訊圖框速率下操作，但視情況，包括或選擇性啟動使編 碼器I2跳過一些視訊單元之編碼的跳過單元2〇。舉例而 言，視訊單元跳過單元2G可經組態以使編碼器咖過一些 圖框之編碼’藉此（例如）相對於源視訊圖框速率減小視訊 編碼器U之有效圖框速率。在圖，跳過之視訊圖框由 經編碼之圖框18中的陰影圖框說明。 在跳過之圖框或可經增頻轉換之寫碼速率之情況下，可 能需要在解碼器側處取代額外視訊單元（例如，藉由内插 或外推），以將實際視訊圖框速率轉換至增加的視訊圖框 136783.doc -12- 200950528 速率。此過程有時被稱作支援圖框速率增頻轉換（FRUc)之 圖框取代。實際上’解碼器14可將由視訊編碼器12產生之 實際圖框速率增加至經增頻轉換之圖框速率。 作為一實例’若由編碼器12產生之實際圖框速率（有或 無圖框跳過）為30 fps ’則解碼器14可經組態以取代額外圖 框（例如，藉由内插或外推），以將有效圖框速率自3〇 fps 增加至60 fps或120 fps。實際上，用額外圖框取代已經跳 過之圖框或若視訊編碼器12之基本圖框寫碼速率較大則可 已包括之圖框。如上所述，歸因於比源視訊速率小之基本 圖框速率及/或一些圖框之可選跳過（例如，藉由可選跳過 單元20)，由視訊編碼器12產生之圖框速率可能不夠理 想。 藉由跳過一些圖框或每秒寫碼較少圖框（如上所述），視 訊編碼器12可以減小之圖框速率編碼視訊。然而，低圖框 速率視訊可產生處於運動急動形式下之時間假影。圖框取 代了由解碼器14用以估約跳過之圖框或其他排除之圖框的 内容，且實際上，增頻轉換實際圖框速率以提供較平滑的 運動之感知。舉例而言，視訊解碼器14可包括一圖框速率 增頻轉換（FRUC)單元22，其内插或外推至少一些額外視訊 圖框以增加經解碼之視訊的有效圖框速率。 又，儘管關於圖框之有效寫碼速率的增頻轉換描述 FRUC單元22，但在本揭示案中描述之技術可應用於其他 視訊單元，諸如，切片、區塊或子區塊。視訊解碼器Μ可 解碼所接收之圖框24且經由FRUC單元22估約額外的視訊 136783.doc 13 200950528 圖框以產生輸出視訊圖框26。經解碼之輸出視訊圖框26可 用以驅動顯示裝置。在圖〗中，跳過之圖框的實例由所接 收之視訊圖框24中的陰影視訊圖框說明。 在圖1之實例中，FRUC單元22經展示於視訊解碼器j 4 内。在其他實施中，FRUC單元22可形成視訊後處理模組 之部分。視訊後處理模組可處理視訊解碼器14之輸出，且 可執行多種處理操作，諸如，變平滑、清晰、亮度控制及/ 或對比度增強，以及FRUC操作。作為另一替代例，FRUC 單元22可形成視訊顯示處理器或行動顯示處理器（mdp)裝 置（例如，用於行動多媒體裝置）之部分。因此，為了說明 之目的’在視訊解碼器14内的FRUC單元22之實施經描繪 於圖1及其他圖中，且不應被考慮為限制在本揭示案中廣 泛描述的技術。 運動補償（MC)視訊圖框内插（VFI)為用以增強在諸如在 解碼器側處之FRUC的應用中之視訊之時間感知品質的技 術之一實例。其他内插技術以及外推技術可應用於估約支 援FRUC過程之額外圖框。儘管FRUC技術可藉由估約跳過 之圖框或產生超出視訊編碼器12之基本圖框速率的額外圖 框來增強時間品質，但一些圖框之内插或外推可引入破壞 視覺品質之不良空間假影。 舉例而言，經取代之視訊圖框之視覺品質可能得不到保 證且可咼度地視用以執行内插或外推的該一或多個特定參 考圖框而定。另外，VFI方法可能很複雜，且消耗大量電 力及其他資源，此可阻礙將VFI用於一些裝置中之視訊應 136783.doc -14- 200950528 用’諸如’具有有限電力、計算及/或記憶體資源之行動 裝置。其他圖框取代技術可呈現類似的品質及資源問題。 FRUC單元22可經組態以分析與由視訊解碼器丨4接收的 或多個參考視訊圖框相關聯之至少一特性，且基於該分 析選擇該等參考視訊圖框中之一或多者用於在由視訊解碼 . 器進行的視訊圖框之取代中使用。可自在時間上駐留於一 . 待取代之圖框前或後的所接收之圖框24選擇參考視訊圖 框。換s之，FRUC單元22可選擇一或多個先前或未來圖 〇 框24用於在估約待取代的額外圖框過程中使用。 先前視訊圖框可包括一緊接在待取代的圖框前之圖框或 接近待取代的圖框之一或多個先前圖框.未來圖框可包括 一緊跟在待取代的圖框後之圖框或接近待取代的圖框之一 或多個圖框。在藉由内插取代之情況下，一或多個先前圖 框及一或多個未來圖框可用以内插一額外的中間圖框。在 藉由外推取代之情況下’一或多個先前圖框或一或多個未 來圖框可用於外推一額外的先前或未來圖框。 在一些態樣中，FRUC單元22可分析參考視訊圖框之品 質以選擇一或多個參考圖框用於在額外視訊圖框之取代中 使用。以此方式，FRUC單元22判定哪些圖框用作用於視 -訊圖框取代（例如’藉由内插或外推）之參考圖框。在此情 況下，FRUC單元22可選擇參考視訊圖框來增強輸出視訊 圖框26之空間-時間視訊品質。在其他態樣中，fruc單元 22可分析參考圖框之品質及視訊解碼器丨4駐留於裏面的裝 置之資源約束兩者。在此情況下，FRUC單元22可増強輸 136783.doc •15- 200950528 出視訊圖框26之空間-時間視訊品質，同時平衡降低電力 消耗、節省計算資源及/或節省記憶體資源過程中之利 益° FRUC單元22可增強内插或外推之圖框品質以及視訊 序列之時間品質。大體而言，計算及記憶體資源之消耗可 對增加之電力消耗以及在一些情況下的潛時有影響。 另外’在一些態樣中，FRUC單元22可經組態以選擇具 有偏向減少端對端處理及/或呈現延遲之參考視訊圖框。 此專延遲可尤其不良地來自一些即時或接近即時的應用， 諸如’視訊電話，其可為延遲敏感性的。舉例而言，當未 來參考視訊圖框用以估約經取代之圖框時，FRUc單元22 可經組態以促成在時間上相對靠近待估約之圖框的未來參 考視訊圖框之選擇。或者，FRUC單元22可停用對此等延 遲敏感性應用之視訊圖框取代。 在作為一說明之視訊電話應用中，基於未來圖框選擇圖 框外推可能不夠理想，或在視訊圖框内插之情況下，可能 需要選擇較靠近的未來圖框而非在未來較遠之未來圖框以 便減少端對端延遲，且藉此對使用者保持時間品質。詳言 之，依賴於在未來駐留得較遠之未來參考圖框可導致歸因 於需要等待解碼此等未來圖框的延遲。圖框在未來駐留得 愈遠，則等待可愈長，此可引起打亂視訊電話呈現中之延 遲。 在—些態樣中’視訊解碼器14可提供著重品質圖框取代 模式作為第-操作模式來基於_或多個參考圖框品質準則 之分析選擇-參考圖框。另和視訊解碼器14可提供著重 136783.doc 16 200950528 資源圖框取代模式作為第二操作模式來基於資源與品質考 慮之組合選擇性啟用或停用對一些圖框之圖框取代。在一 些態樣中著重mr貝及著重資源模式可被稱作品質最佳化 及電力最佳化模式。因此，在一些態樣中，視訊解碼器Μ 可決定哪些圖框用作用於視訊圖框内插或外推之參考圖框 . 且亦決定哪些圖框内插或外推以便節約電力且增強内插之 ' ®框品f以及視訊之時間品質。其他或另外，視訊解碼器 !4可經組態以基於品質準則停用取代圖框自視訊緩衝器至 e 顯示器之傳輸，即使在已執行了内插或外推後亦如此。 在一些態樣中，可將此著重資源模式考慮為電力最佳化 杈式，如上所論述。舉例而言，視訊解碼器14可經組態以 平衡視覺品質對電力節省及/或計算負載。在一些情況 下，視訊解碼器14可（例如）根據在應用對待取代之圖框的 FRUC操作時可用於視訊解碼器之資源在著重品質模式與 著重資源模式之間選擇性切換。 _ 在著重品質模式及/或著重資源模式下，品質準則可包 括（例如）指示有可能使用一或多個選定參考圖框產生的經 取代之圖框品質之位準的一或多個特性。換言之，可選擇 該等特性作為使用參考圖框内插或外推的圖框之可能的品 質之指示。若參考圖框中無一者滿足品質準則，則視訊解 碼器14可停用用於一特定圖框之圖框取代。因此，在著重 品質模式下，當參考圖框中無一者有可能產生令人滿意 (例如’在一臨限值上）的内插或外推品質時，視訊解碼器 14可停用圖框内插或外推以節省電力。 136783.doc •17· 200950528 在一些態樣中’可在經取代之圖框實際上由解碼器14產 生前或後應用著重品質準則。舉例而言，可在圖框内插或 外推後應用品質分析，在該情況下，可基於結果將取代圖 框選擇性應用至顯示裝置。若經内插或經外推之圖框之品 質不滿足臨限值品質位準，貝彳FRUC單元22可拋棄經内插 或經外推之圖框，而非將其自輸出視訊圖框緩衝器發送以 驅動顯示裝置。 在此情況下，即使已執行了内插或外推，若品 證明需要用來顯示圖框之額外資源，則拋棄圖框可仍為有 利的在將圖框自視机緩衝器發送至顯示緩衝器以驅動顯 不器的過程中’可耗費大量的電力。因此，拋棄取代圖框 (即使在已執行了内插或外推後)可節約將另外自視訊緩衝 器與顯示器之間的視訊資料訊務產生之電力消耗。 在著重資源模式下’若一或多個候選參考圖框之運動位 準小於-臨限值，則視訊解碼器14可停關框取代。在此

情況下，當視訊場景為大體靜態時，_插或經外推之圖 框與重複的圖框之間的差異可為可忽略的。㈣，使用圖 框重複而非内插或外推 準臨限值可為固定… 诸如’電力。運動位 ：： 隨視訊解碼器之資源位準或資源 還是著重資月况下，不巨疋啟動了著重品質 個。㈣心 啟用了圖框取代’則可使用-或多 個σσ質準則來選擇參考圖框。 用以分析候選參老 為浐干右·At "'或多個品質準則可經選擇作 為才日不有可能藉由佶 < 评衧 該等候選參考㈣產生的内插或外 136783.doc 200950528 :^質的特性。舉例而言，若將考慮中之候選參考圖框 =額外圖框之内插或外推中，則品質準則可指示經内 … “匕的时質。又，FRUC單元22可分 析作為參考圖框品質之另—指^的運動向量可靠性。由 FRUC單元22分析的品質準則之實例可包括量化參數_ 值、經寫碼之區塊型樣（CBp)值及與參考視訊圖框相關聯 的非零變換係數之數目。若CBP值不等於零，則可將呀值 ❹ ❹ 與非零係數之數目耦合以判斷由參考圖框提供的運動向量 之可靠性。 /RUC單元亦可考慮客觀品f度量（諸如，結構類似性度 篁（SSIM)、區塊效應及/或模糊性）以判定用於在内插或外 推中使用的候選參考圖框之品質。料，可考慮除了用於 參考圖框之框内模式之外的類型之框内模式及運動向量計 數。 FRUC草元22可分析其他品質準則’諸如，全部或部分 視訊單元損失之證據’其可大體被稱作視訊單元損失。舉 例而言，；FRUC單元22可分析參考視訊圖框之切片或圖框 損失（結合用於該圖框的錯誤隱藏機制之可用性的缺乏）。 舉例而言，FRUC單元22可評估錯誤之位準及錯誤隱藏機 制之品質。除了以上描述的類型之品質準則之外或作為對 以上描述的類型之品質準則之替代，可使用其他品質準 則。 在一些情況下，FRUC單元22可選擇滿足一或多個品質 臨限值之參考視訊圖框。在其他情況下，FRUC單元22可 136783.doc 200950528 對多個參考視訊圖框之品質記分且分級，且選擇產生最佳 得分之一或多個參考圖框。若兩個圖框（例如，兩個先前 圖框或兩個未來圖框）經分級大體上相同，則可能需要選 擇時間上較靠近待内插的跳過之圖框的圖框。 為了說明之目的’本揭示案大體係關於用於額外圖框之 内插或外推的參考圖框之選擇。然而，在一些實施中本 揭不案更大體地涵蓋用於不同於圖框之額外視訊單元的估 約之參考視訊單元之選擇。舉例而言，本揭示案中描述之 技術可經調適以分析且選擇多種參考視訊單元中之任一 者諸如，視訊圖框、視訊切片或諸如巨集區塊之視訊區 塊。 田諸如圖框、切片或區塊之視訊單元由視訊編碼器12跳 過時，該等技術可用以識別可用於内插或外推的各種候選 參考圖框當中之一對應的圖框、切片或區塊。或者，甚至 當不跳過圖框、切片或區塊時，該等技術亦可用以估約額 外圖框以增加編碼器12之基本圖框寫碼速率，例如，用於 圖框速率轉換應用。 甚至當需要估約整個圖框（歸因於跳過或低圖框速率） 時，選擇個別切片或區塊用於在内插待估約的圖框之切片 或區塊過程中使用亦可為有利的。在此情況下，可選擇來 自不同候選圖框之切片或區塊來内插或外推待估約的圖框 中之對應的切片或區塊。舉例而言，可逐個切片或逐個區 塊地應用類似於本揭示案中描述之品質分析的一或多個品 質分析以選擇用於額外視訊單元之内插或外推的參考視訊 136783.doc -20· 200950528 單元因此，藉由聚焦於用於待取代的跳過之圖框之内插 或外推的參考圖框之選擇，不應將本揭示案考慮為限制如 廣泛地描述之態樣。 進一步參看圖1，視訊編碼器12與視訊解碼器14可由傳 輸頻道19連接。傳輸頻道19可為有線或無線媒體，或兩者 之組合，其能夠在位元流内傳送視訊圖框。頻道19可支援 雙向或單向視訊傳輸。系統1〇可經組態用於視訊電話、視 訊串流、視訊廣播或其類似者。因此，可在頻道丨9之相對 端上提供互逆編碼、解碼、多工（Μυχ)及解多工（demux) 、.、牛在些實施中，編碼器12及解碼器14可經提供於諸 如經裝備用於視訊串流、視訊廣播接收及/或視訊電話（諸 如，所謂的無線視訊電話或相機電話）的無線行動終端機 之視訊通信裝置内。 此等無線通信裝置包括支援無線通信、音訊寫碼、視訊 寫碼及使用者介面特徵之各種組件。舉例而言，無線通信 裝置可包括一或多個處理器、音訊/視訊編碼器/解碼器 (CODEC)、記憶體、一或多個數據機、傳輸_接收（tx/rx) 電路，諸如，放大器、頻率轉換器、濾波器及其類似者。 另外’無線通信裝置可包括影像及音訊俘獲裝置、影像及 音訊輸出裝置、相關聯之驅動器、使用者輸入媒體及其類 似者。 可將編碼器12、解碼器14或兩者併入於如上所述之無線 或有線通信裝置中。又’可將編碼器12、解碼器14或兩者 實施為積體電路裝置，諸如，積體電路晶片或晶片組，其 136783.doc 21 200950528 可併入於無線或有線通信裝置中或支援數位視訊應用的另 一類型之裝置中’諸如，數位媒體播放器、個人數位助理 (PDA)、數位電視或其類似者。 系統10可支援根據會話起始協定（SIP)、ITU_T H.323標 準、ITU-T Η.324標準或其他標準之視訊電話。視訊編碼 器12可根據視訊壓縮標準（諸如，MPEG-2、MPEG-4、 ITU-T H.263、ITU-T H.264 或MPEG-4 第 10部分）產生經編 碼之視訊資料。儘管未展示於圖1中，但視訊編碼器12及 視訊解碼器14可分別地與音訊編碼器及解碼器整合，且包 括適當的硬體及軟體組件來處置資料流之音訊及視訊部分 兩者。 編碼器12編碼視訊圖框1 6 ’其可包括内部圖框（〗圖框）、 預測圖框（P圖框）及雙向預測圖框（B圖框）。I圖框為使用空 間寫碼技術完全編碼所有視訊資訊之圖框。經編碼之圖框 可包含描述形成一圖框之一系列視訊區塊之資訊。有時被 稱作巨集區塊（MB)之視訊區塊可包括界定像素值之寫碼位 兀，例如，在亮度（Y)、色度紅（Cr)及色度藍（cb)色彩頻道 中。 如上所述，編碼器12可實施圖框跳過以減小經由傳輸頻 道19傳輸的資料之圖框速率。詳言之，編碼器12可經組態 以（例如）藉由不寫碼選定圖框或不傳輸選定經寫碼之圖框 而有意地跳過選定圖框。或者，編碼器12可在有圖框跳過 或無圖框跳過之情況下以小於所欲圖框速率之基本圖框寫 碼速率產生圖框。圖框跳過或減小之圖框速率寫碼可准許 136783.doc -22· 200950528 編碼器12遵循頻道19的減小傳輸速率要求。 在圖框跳過之情況下，圖框可由圖框跳過單元20在固定 速率下跳過’使得在交替圖框處或每η個圖框發生跳過。 或者，可（例如）基於智慧圖框跳過準則按變化的速率跳過 圖框。又，編碼器12可按一給定圖框速率固定或適應性地 編碼圖框，使得圖框速率根據諸如頻道條件或其他要求之 • 考慮而變化。在任一情況下，圖框速率可由解碼器14有效 地增頻轉換以產生增加之圖框速率，例如，自30 fps至60 © fps或 12G fps。 FRUC單元22可由解碼器14用以執行圖框取代以替換經 跳過之圖框或產生額外的圖框以增加圖框速率。另外，在 些實施中，FRUC單元22可用於在傳輸期間丟棄或丟失 之圖框。由編碼器12跳過之圖框及在傳輸期間丟棄或丟失 之圖框在本揭示案中可大體被稱作跳過之圖框。在每一情 況下，為了增加有效圖框速率，且藉此改良時間品質，解 碼器14之FRUC單元22可使用視訊圖框内插或外推及參考 圖框選擇執行FRUC過程以估約具有取代圖框之跳過之圖 框中的至少一些。 若參考視訊圖框中無一者有可能支援具有足夠品質位準 之圖框取代，則FRUC單元22可停用圖框取代且應用圖框 重複。當停用圖框取代時，解碼器14可僅重複先前或未來 圖框，而非在先前圖框與未來圖框之間内插或外推一圖 框。在此情況下，解碼器14可使用先前或未來圖框之複製 版本來替代跳過之圖框或作為用於圖框速率轉換之額外圖 136783.doc •23· 200950528 框。 藉由使用圖框重複，解碼器14可避免可由内插或外推引 入的不良空間假影。由於圖框重複可降低視訊之所感知的 時間品質，所以當可達成足夠的品質時，藉由内插或外推 之圖框取代將通常更理想。然而，電力、計算及/或記憶 體資源之過度消耗可降低取代技術之總價值。如本揭示案 ' 中描述的著重資源模式可用以平衡品質對資源消耗。 在圖1之實例中，視訊編碼器12接收視訊資訊之輸入圖 〇 框16(Ft·2、Ft-i、Ft、Ft+〗、Ft+2)。Ft表示歸因於由可選圖框 跳過單元20進行的圖框跳過或歸因於由編碼器12產生的基 本圖框速率而在時間t處未寫碼之圖框。因此，應注意， 如本揭示案中描述之圖框取代大體指代估約在由解碼器14 接收之圖框中未提供（歸因於圖框跳過、頻道損失或編碼 器12之基本圖框速率）的圖框Ft之圖框Ft，的添加。 若圖框跳過單元20可適用，則可根據如上所述之固定、 _ 可調整或動態圖框跳過過程而跳過圖框。Ft2及表示在 時間上在圖框Ft前的過去圖框，且Ft+i&Ft+2為在時間上在 圖框Ft後的未來圖框。可用於圖框&之内插或外推的參考 圖框可包括在圖框Ft前及在圖框Ft後兩者之眾多圖框。然 而，為了易於說明，在圖丨中僅展示在匕前之兩個圖框及 在Ft後之兩個圖框。 大體而言，視訊編碼器I2編碼輸入圖框16作為上述卜p 或B圖框中之一者來產生經編碼之圖框18。又，圖框&在 時間上駐留於先前圖框匕·2、Fti與未來圖框Ft”、Fm之 136783.doc -24 - 200950528 間。視訊編碼器12經由傳輸頻道19將經編碼之圖框ι8(其 包括經編碼之圖框Ft·2、Ft.丨、pt+1、Ft+2 ’但非圖框pt)傳輸 至視訊解碼器14。通常，編碼器12按預界定之序列傳輸此 等圖框，諸如，IBBPBBPBBPBBI，其中卜B及p分別指代 I圖框、B圖框及p圖框。 經編碼之圖框18可經框内寫碼或框間寫碼，且可經解碼 ' 以產生在輸入圖框16中存在之視訊内容。另外，經編碼之 圖框18可充當用於視訊序列中之其他經框間寫碼之圖框的 β 解碼之參考圖框，亦即，作為用於預測之圖框的運動估計 及運動補償之參考。如在預測性寫碼之技術中所熟知，經 編碼之圖框可由指示在經編碼之圖框中的區塊相對於不同 經編碼之圖框（其充當參考圖框）中的類似對應的區塊之移 位的運動向量表徵。另外，經編碼之圖框可由指示在經編 碼之圖框中的視訊區塊與在參考圖框中的對應的視訊區塊 之間的差異之剩餘資訊表徵。 ❹輸入圖框16之編碼及所接收之圖框24之解碼可依參考圖 框而定，如上對於預測性寫碼所描述。然而，在待取代之 圖框之情況下，如在本揭示案中描述之參考圖框大體指代 用於内插或外推以在解碼器側處提供額外圖框之圖框。因 此，應注意，用於内插或外推之參考圖框在其使用中與用 於預測性寫碼之參考圖框不同，即使在一些個例中，給定 圖框可用作用於内插及預測性寫碼兩者之參考圖框。用於 預測性寫碼之參考圖框在編碼器側處經指定且用於預測性 寫碼。相反，用於内插或外推之參考圖框可在解碼器側處 136783.doc -25- 200950528 經選擇且用於額外圖框之取代（例如，藉由内插或外推 在圖1之實例中’圖框16表示在一含有許多圖框之視訊 序列中之五個圖框’且用以描述估約在時間上駐留於經編 碼之圖框18之間（例如’在㈣圖框匕2、L與未來圖框 、Ft+2之間）的圖框Ft之額外（亦即，附加的）圖框"之内 插或外推》在一些態樣中，可能需要添加多個圖框，在該 情況下，駐留於兩個經傳輸之圖框之間的—個以上圖框可 能需要内插或外推。為了易於說明’本揭示案將關於使用 選定參考圖框内插在先前圖框與未來圖框之間的一單一圖 框Ft'之實例情況。 視訊解碼器14經由傳輸頻道19接收圖框24 ^所接收之圖 框24可大體上與由視訊編碼器12傳輸的經編碼之圖框丨8等 同，歸因於傳輸頻道19之特性經受切片、圖框或區塊損 失。視訊解碼器14可應用標準解碼技術以解碼所接收之圖 框24中之每一者（Ft_2、Fw、Ft+1、Ft+2)，例如，根據 MPEG-1、MPEG-2、MPEG-4、H.263、H.264 或 MPEG-4 第 10部分標準中之一者。根據本揭示案，解碼器14進一步包 括FRUC單元22，其應用於圖框24以便選擇性估約額外圖 框IV。藉由FRUC單元22，視訊解碼器14内插或外推一圖 框以產生圖框Ft且產生輸出圖框26，其包括經解碼之圖框 Ft-2、FN1、Ft+1、Ft+2及待添加的圖框Ft之估約Ft'。 FRUC單元22接收視訊序列中之連績的圖框。對於待内 插之每一額外圖框，存在可用作用於内插之參考圖框的至 少一先前圖框及至少一未來圖框。待内插之圖框在時間上 136783.doc •26- 200950528 駐留於多個先前圖框與多個未來圖框之間。若將外推用於 估約（而非内插）’則待外推之圖框在時間上可駐留於一或 多個參考@框後或在時間上駐留於__或多個參考圖框前·; 先前及未來圖框巾之—些可產生比其他圖框好的圖框取代 結果。可藉由多種技術中之任—者來執行内插，諸如，運 動補償内插（MCI)、線性内插、雙線性内插、雙三次内 插、仿樣（spline)内插、最近鄰居内插、非線性内插、候選 圖框之線性或非線性濾波，或其類似者。内插可利用」單 一參考圖框用於單向内插或兩個或兩個以上圖框用於雙向 内插。類似地，外推可利用一單一參考圖框或兩個或兩個 以上圖框用於單向外推。 FRUC單元22可分析候選先前及/或未來圖框且選擇該等 圖框中之一或多者用於用作額外圖框之内插或外推中的參 考圖框。FRUC單元22可經組態以選擇更有可能產生有利 的圖框取代結果之特定參考圖框。舉例而言，Fruc單元 2 2可分析一組候選參考圖框之一或多個特性。可自一視訊 序列内之圖框的一子集選擇候選參考圖框。舉例而言， FRUC單元22可分析N個先前圖框及μ個未來圖框之子集， 其中Ν與Μ相等或不相等。 若分析展示候選參考圖框中無一者具有用於圖框取代之 足夠的品質位準，則FRUC單元22可停用圖框取代。在此 情況下，FRUC單元22可偵測潛在的fruc失敗（就圖框取 代結果之品質而言）。替代於浪費電力及計算資源來產生 低品質内插結果’舉例而言，FRUC單元22可應用圖框重 136783.doc -27- 200950528

在圖框重複之情況下，如先 或未來圖框中之一者的複製 在著重品質模式下，FRUC 複以產生跳過之圖框的估約。 前所描述，解碼器14使用先前 版本替代跳過之圖框。因此， 單元22可經組態以選擇特定參考圖框用於内插或外推，及 在可接受之品質位準未必可能時停用圖框取代。當解碼器 14在著重資源模式τ操作時，FRUC單元22可尋找較高品 質位準來證明圖框取代。 ❹

在-些組態中，系統10可提供一或多個益處。舉例而 言，在一些組態中，系統10可藉由在不大可能產生有利的 結果時停用圖框取代來減少視訊解碼器14中之電力消耗。 另外’在-些㈣中，系統1G可藉由選擇特定參考圖框用 於在圖框取代中使用來增強經取代之圖框的品^用於在 經取代之圖框之内插或外推中使料較高品f參考圖框之 選擇可在多種視訊應用中有用，諸如，㈣可變位元速率 (VBR)速率控制技術壓縮經編碼之視訊的應用。在乂8汉之 情況下’ A質可在不同圖框當中變化，使得在用作用於内 插或外推之參考圖框時，一些圖框可比其他圖框好。 又，視訊解碼器14可經組態以偵測遭受切片、圖框或區 塊損失之候選參考圖框，且在^存在所制之錯誤隱藏機 制時，或若可用之錯誤隱藏機制不大可能提供良好品質圖 框，則自考慮中消除此等圖框。當發生顯著的傳輸損失 時：諸如，在視訊電話應用之情況下，具有不充分的錯誤 隱藏的候選參考圖框之消除可為有用的。在減少電力消耗 同時維持合理的客觀及主觀視訊品質（例如’在低運動視 136783.doc -28- 200950528 訊片段中）之過程中，著重資源模式可為有用的。 圖2A為說明用於額外圖框之内插以支援視訊解碼器“中 之FRUC技術的簡單技術之一實例之圖。大體而言，為了 在選定先前圖框Ft_N與選定未來圖框匕_之間的經内插之 圖框Ft'中内插一巨集區塊（MB)28 ,視訊解碼器14可依在先 月’J圖框Ft_N中之MB 30與未來圖框Ft+M中之對應的mb 32之 間延伸之運動向量vNM而定。在此實例中，時間〇旨示時間 位置，亦即，待内插之額外圖框將出現於視訊序列中之時 間。圖框Ft_N及Ft+M為在時間上分別在需要内插的額外圖 框F〆前（t-N)及後（t+M)之圖框。在圖2A之實例中，圖框FtN 及Ft+M充當用於額外圖框Ft,之内插的參考圖框。 N及Μ指不相對於時間t之時間偏移，且可彼此相等或不 相等。舉例而言，若]^=1且^1=2，則圖框Ft N可為緊接在經 内插之圖框前的圖框，且圖框Ft+M可為在經内插之圖框後 的第二圈框。在N=1且M=1之簡單實例中，為了内插，在 圖框Ft_N與圖框Ft+M2間延伸的向量V。可大體除以二（對於 1:2圖框速率轉換）以產生運動向量Vnm/2&_v_/2，且識別 待内插的圖框Ft'中之一對應的MB 28。因此，在此簡化實 例中，MB 28之位置隨運動向量Vnm/2&_Vnm/2而變，其中 為了此實例之目的，。MB 28可經指派有一組 對應於MB 30或MB 32之像素值或MB 30及32的像素值之平 均值。對於較高或較低圖框增頻轉換（例如，丨：χ轉換），可 相應地按比例縮放運動向量。對於其他情況，例如，其中 Ν及Μ中之至少一者不等於一，可使用經由運動估計及運 136783.doc -29· 200950528 動向量處理獲得之不同運動向量。 另外’對於-些類型之内插，FRUC單元22可依多個參 考圖框而定，諸如，兩個或兩個以上先前圖框及兩個或兩 個以上未來圖框。大體而言，參考圖框指代單獨或結合— 或多個其他參考圖框用以内插一圖框（諸如，跳過之圖框） <圖框。在内插過程中，與在—或多個參考圖框中存在的 巨集區塊相關聯之像素值可用以在待内插的額外圖框中之 對應的巨集區塊中内插像素值，例如，如圖2A中所示。像 β 素值可包括亮度及/或色度像素值。 作為一實例，經内插之巨集區塊可包括等於先前圖框中 之巨集區塊中的像素值、未來圖框中之巨集區塊中的像素 值，或先前及未來圖框中之對應的巨集區塊中的像素值之 平均值之像素值。在經内插之圖框中的巨集區塊可相對於 參考視訊圖框中之對應的區塊經運動補償，如圖2Α中所 示。巨集區塊可由在先前與未來圖框之間延伸的運動向量 藝識別，如圖2Α中所不。圖2Α中展示的内插之說明為一實 例，且應被考慮為不限制在本揭示案中廣泛描述之技術。 可將廣泛多種不同内插技術用於根據本揭示案之圖框取 代。 圖2Β為說明使用選定參考圖框内插附加視訊圖框之圖。 在圖2Β之實例中，FRUC單元22選擇參考圖框Ft_4Ft+2用 於在内插額外圖框Ft，過程中使用。fruc單元22可分析多 個先前圖框Ft_,、Ft·2及Ft.3及多個未來圖框匕+丨、Ft+2及Ft+3 之一或多個特性。在圖2B之實例中，為了說明之目的， 136783.doc -30- 200950528 FRUC單元22分析三個先前參考圖框及三個未來參考圖 框。在此實例中，FRUC單元22可基於此分析選擇一先前 參考圖框及一未來參考圖框用於在經内插之圖框Ft，的内插 中使用。然而，先前及未來參考圖框之實際數目可與圖2B 之實例不同。另外，由FRUC單元22分析的先前圖框之數 目可與由FRUC單元分析的未來圖框之數目不同。大體而 言’ FRUC單元22可基於品質分析選擇有可能產生具有可 接受之品質位準的内插結果之一先前圖框及一未來圖框。 在圖2B之實例中’選定參考圖框Ft•丨及Fi+2由交叉影線指 示。 圖2C為說明用於在視訊解碼器14中外推一視訊單元的技 術之一實例之圖。在圖2C之實例中’使用兩個先前參考圖 框Ft_M及Ft_N來外推一額外圖框Ft’以支援圖框取代。大體而 言’為了在選定先前圖框Ft.N及選定先前圖框匕七後的圖框

Ft•中外推一 MB 31，視訊解碼器14可依在先前圖框匕…中 之對應的MB 33與在先前圖框Ft+M中之對應的mb 35之間延 伸的向量v而定。在此實例中，t指示時間位置，亦即，待 内插之額外圖框將出現於視訊序列中之時間。圖框BN及

Ft+M為在時間上分別在需要外推的額外圖框^，前及 (t+M)之圖$。在圖2C之實例中’先前參考圖框Ft^F_ 充當用於額外圖框Ft’之外推的參考圖框。然而，可使用一 或多個先前參考圖框或一或多個未來參考圖框外推額外圖 框Ft。換^之，可分別使用先前圖框或未來圖框來向前或 向後外推額外圖框。 136783.doc 200950528 如在圖2A之實例中，圖2(：中之1^及]^指示相對於時間1之 時間偏移，且彼此可相等或不相等。舉例而言，若N=2且 M=1，則圖框Ft_M可為緊接在經外推之圖框前的圖框，且 圖框Ft-N可為在經外推之圖框前的兩個圖框^ MB 3丨可經 才曰派有一組對應於MB 3 3或MB 3 5 ,或MB 33及35之像素值 的平均值之像素值。外推過程可利用運動補償外推。如在 内插之情況下，對於外推，參考圖框可指代單獨或結合一 或多個其他參考圖框用以外推一待經添加至經解碼之視訊 圖框的附加圖框之圖框。 外推可藉由自參考圖框中之對應的區塊外推連動向量v 而經運動補償，如圖2C中所示。在外推過程中，與在一或 多個參考圖框中存在的MB相關聯之像素值可用以在待外 推的額外圖框中之對應的MB中外推像素值。圖2C中展示 的外推之說明為一實例，且應被考慮為不限制在本揭示案 中廣泛描述之技術。可將廣泛多種不同外推技術用於根據 本揭示案之圖框取代。 圖2D為說明使用選定參考圖框外推附加視訊圖框之圖。 在圖2D之實例中，FRUC單元22選擇參考圖框用 於在外推額外圖框Ft，過程中使用。視是將先前還是未來圖 框用於外推而定，FRUC單元22可分析多個先前圖框匕」、 Ft-2&Ft·3或多個未來圖框之一或多個特性。在圖2d之實例 中，為了說明之目的，FRUC單元22分析四個先前參考圖 框、Ft_2、Ft-3、Ft.4。在此實例中，FRUC單元22可基於 此为析選擇兩個先前參考圖框，用於在圖框Ft,之外推中使 136783.doc -32- 200950528 用。然而，用於外推的參考圖框之實際數目可與圖2〇之實 例不同。大體而言，FRUC單元22可基於品質分析選擇有 可能產生具有可接受之品質位準的外推結果之參考圖框。 在圖2D中，選定參考圖框〜及、由交又影線指示。 圖3為更詳細地說明圖丨之視訊解碼器丨斗之一實例的方塊 。在@3之實例中，視訊解碼器14包括接收圖框緩衝器 、 34、解碼單元36、圖框取代單元38,圖框緩衝器4〇、 FRUC分析單元42及選擇單元圖框取代單元38、fruc © 分析單元42及選擇單元44可形成視訊解碼器14之？111^單 元22的部分。在圖3之實例中，FRUC單元22駐留於視訊解 碼器14内。然而，如上所提及，在其他實施中，fruc單 元22可駐留於視訊解碼器14之外部，例如’在視訊後處理 器模組或視§fL顯示處理器或MDP裝置内。接收圖框緩衝器 34接收且儲存經由頻道w自視訊編碼器12傳輸的經編碼之 圖框。解碼單元36使用可適用之寫碼過程解碼所接收之圖 @ 框且將經解碼之圖框置放於輸出圖框緩衝器4〇中。 所接枚之圖框3 4可排除待内插或外推之各種圖框。此等 圖框可包括由編碼器12跳過之圖框、在跨越頻道19之傳輸 期間丟失的圖框或圖框之部分，及編碼器12之基本圖框速 率不支援之圖框。為了提昇空間-時間品質，圖框取代單 元38可經組態以基於分析及用於在内插或外推中使用的特 疋接收之圖框之選擇内插或外推額外圓框（如可適用）。 如先前所提及，由圖框取代單元38進行之内插可包括多 種内插技術中之任一者，諸如，運動補償内插（MCI)、線 136783.doc •33- 200950528 ϋ内插、雙線性内插、雙三次内插、仿樣内插、最近鄰居 内插或其類似者。内插可利用一單一參考圖框用於單向内 插或兩個或兩個以上圖框用於雙向内插。同樣地，外推可 依一或多個圖框而定。在一些情況下，圖框取代單元38可 、 （例如）藉由重複先前或未來圖框來替代待添加之圖框而停 用圖框取代且替代地應用圖框重複。 圖框取代單凡38將經取代或重複之圖框添加至視訊輸出 圖杧緩衝器40。視訊輸出圖框緩衝器40中的經解碼之圖框 i經取代或重複之圖框可用以驅動諸如顯示器之視訊輸出 装置。作為一㈣，視訊解碼器14可形成包括數位視訊能 力之多種裝置（包括諸如行動無線電電話之無線通信裝 置、數位媒體播放器、個人數位助理（pDA)、數位電視或 其類似者）中之任一者的部分。或者，輸出圖框緩衝器的 中之圖框可經傳輸至一或多個其他裝置用於歸檔或顯示。 在母一情況下，由圖框取代單元38產生的經取代或重複之 • 圖框補充由解碼單元36解碼之圖框，例如，以增強視訊片 段之時間視覺品質。 如在圖3中進一步展示，圖框取代單元刊可自解碼單元 36之輸出接收經解碼之圖框用於用作在内插或外推圖框過 程中之參考圖框。自解碼單元26接收的經解碼之圖框可為 由解碼單元36基於來自接收圖框緩衝器34的經編碼之圖框 產生的像素域圖框。圖框取代單元38可使用經解碼之參考 圖框作為用於額外圖框之内插或外推的參考圖框。用於内 插或外推的特定參考圖框可由選擇單元44基於由FruC分 136783.doc -34- 200950528 析單元42進行的候選參考圖框之分析來識別。 分析單元42可經提供以分析候選參考視訊圖框。舉例而 言，分析單元42可自解碼單元36之輸出獲得像素域中的經 解媽之圖框（例如）用於諸如結構類似性度量（ssim)、區塊 效應及/或模糊性及視情況滲色之客觀品質度量的分析， 以判定用於在内插或外推中使用的候選參考圖框之品質。 其他或另彳’分析單㈣可分析候選參考圖框之寫瑪資訊 ❹

(諸如，與候選圖框相關聯之Qp值及CBp值），作為圖框之 相對品質位準的指示β可（例如）藉由解碼單元％自與在接 收圖框緩衝器34中之圖框相關聯的位元流剖析諸如Qp值及 CBP值之寫碼資訊’且將寫碼資訊提供至分析單元42,如 在圖2A中進-步展示。因此’在—些實施中，分析單元42 可自解碼單元36之輸出接收經解碼之像素域圖框及/或位 元流資訊（諸如，由解碼單元36自候選圖框剖析 及 CBP值）。 在自解碼單元36獲得之視訊圖框可由取代單元38用作用 於額外圖框之取代的參考圖框之意義上，可將其考慮為候 選ί考圖框。對於待添加之每—W框，分析單元42可分析 先前及/或未來圖框的—子集（相對於待添加之圖框）之像素 域資訊及/或位元流資訊，且將輸出提供至選擇單元料以 識別應經選擇用於在由取代單开^ 取代旱70 38進行的圖框内插或外推 中使用之圖框。選擇單元44可經 ，、且態以基於由分析單元42 輸出之分析選擇一或多個圖框 用於額外圖框之内插或外 推。另外’在一些情況下，選擇單元44可經組態以指導取 136783.doc •35· 200950528 代單元38啟用或停用圖框取代，例如，當分析指示候選參 考圖框中無一者適合於在可接受之品質位準下的圖框取代 中使用時。 如圖3中所示，撰裡gg _ 選擇早7L 44可產生一指導圖框取代單元 38自接收圖框緩衝器34選擇圖框中之—或多者用於在待添 加的圖框之内插或外推中使用之圖框選擇信號或命令。舉 ^言’對於待添加之每—圖框，選擇單以4可指導圖框 #代單元38選擇—先前圖框及—未來圖框用於在内插中使 ❹ 帛。圖框取代單幻8接著可應用敎圖框作為用於跳過之 圖框的内插之參考圖框。作為一說明，可使用一先前圖框 及一未來圖框來基於在先前及未來圖框中之對應的區塊之 間延伸的運動向量在待添加之圖框中内插區塊例如如 圖2Α中所示。作為另一說明，選擇單元44可指導圖框取代 單7038選擇一對先前圖框用於在額外圖框之外推中使用。 選擇單元44亦可產生一圖框取代啟用/停用命令。當由 φ 分析單元42進行之分析指示候選參考圖框中無一者適合於 在圖框取代中使用時，選擇單元44可停用由圖框取代單元 38進行之内插或外推。又，當圖框取代與圖框重複之間的 視覺差異相對感知不到時，選擇單元44可停用在著重資源 模式下之内插。在任一情況下，圖框取代單元48可重複先 前或未來圖框來替代額外圖框，而非執行内插或外推來產 生取代圖框。圖框重複可比内插或外推消耗大體上少的電 力及計算資源。當分析單元42指示接收圖框緩衝器34含有 合適的參考圖框時，選擇單元44可啟用圖框取代且識別用 136783.doc •36· 200950528 於在圖框取代中使用之選定圖框。 經選擇用於圖框取代之參考圖框可為最靠近待添加之圖 框的圖框或較遠離待添加之圖框的圖框。在一些情況下， 即使其通常經選擇用於普通FRUC過程，最靠近之圖框（亦 即’最近的先前及最近的未來圖框）亦可實際上具有使其 比其他參考圖框不適合於在内插或外推中使用之特性例 如，歸因於VBR寫碼或其他因素。分析單元42分析候選參 考圖框以提供用於在圖框取代中使用的此等圖框之合適性 的指示。替代於僅使用鄰近於跳過之圖框的圖框作為預 s史，分析單元42及選擇單元44可准許圖框取代單元38使用 提供更佳的結果之參考圖框。 圖4為更詳細地說明圖1之視訊解碼器14之另一實例的方 塊圖。在圖4之實例中，視訊解碼器14大體上對應於圖3a 之視訊解碼器。然而，圖4之視訊解碼器142FRUC單元22 進一步包括一模式選擇單元46及一資源監視器48。另外， FRUC單元22可視情況包括一延遲偵測單元51。模式選擇 單元46可支援！?111；(：單元22之兩個或兩個以上操作模式。 舉例而言，FRUC單元22可經組態以在作為第一操作模式 之著重品質模式下或在作為第二操作模式之著重資源模式 下操作。在圖4之實例中，FRUC單元22駐留於視訊解碼器 14内。在其他實施中，FRUC單元22可駐留於視訊解碼器 14之外部，例如，在視訊後處理器模組或視訊顯示處理器 或行動顯示處理器内。 ° 資源監視器48可經組態以監視、偵測、估計或另外判定 136783.doc •37· 200950528 在提供視訊解碼器14之裝置内的可用電力、計算及/或記 憶體資源。在一些情況下，資源監視器48可經組態以監視 了適用於圖框之處理的資源預算。因此，資源監視器Μ可 經組態以監視在圖框在視訊解碼器14内經處理之給定時間 可用之實際資源，或監視相對於可適用於圖框之處理的資 源預算之所估計的資源消耗。回應於不同資源位準，資源 - 監視器48可觸發模式選擇單元46選擇不同模式（例如，著 重品質或著重資源）用於FRUC單元22之操作。模式選擇單 〇 凡46可傳輸一模式選擇至FRUC分析單元42以修改候選圖 框之其分析用於參考圖框選擇。或者，如將描述，模式選 擇單元46可傳輸一模式選擇以啟用或停用取代（例如，内 插或外推）。 作為一實例，資源監視器48可經組態以藉由監視或估計 解碼器14中之處理資源的消耗（相對於對處理資源之消耗 的預算）來判定電力位準。大體而言，在於諸如數位信號 ❹ 處理器（DSP)之處理n中花費的Mips(每秒百萬指令）與用 於DSP操作而消耗之電力之間存在對應性。在自外部記憶 體提取之資料量與用於提取此資料而消耗之電力之間亦存 在對應性。另外，在發送至顯示器的圖框資料之量與用於 此操作而花費之電力之間存在對應性。對於已知裝置或晶 片組，此對應性可經可靠地建立，且接著由查找表中之^ 表示。舉例而言，可將Mlps、資料提取量及顯示量用作 映射至查找表中之電力消耗值項的索引。 對於給定晶片組中之FRUC應用，有可能判定就Mips而 136783.doc -38- 200950528 言每一操作需要的量、自外部記憶體提取的資料之量以及 將貝料發送至顯示器的量。在一情形下，資源監視器48可 經組態以計算對於每一經内插或經外推之圖框之產生及顯 示所消耗的電力，將所消耗之電力#位準與經分配至一 圖框或圖框之集合的電力預算比較。電力預算可為經指定 作為對於裝置之功能單元（諸如，行動無線手機或其他裝 置中之視訊解碼器（或整個CODEC))的設計要求之預定、 固定或可調整電力位準。 可分配用於一系列圖框（諸如，圖像群組（G〇p)或其他視 訊序列）之電力預算。隨著處理圖框且消耗電力，電力預 算中之可用電力減少。資源監視器48可經組態以（例如）基 於經内插或經外推之圖框之MIps、資料提取及顯示之間 的已知對應性（其可儲存於查找表中）估計需要用來内插或 外推新FRUC圖框的電力之量。如上所提及，電力預算可 為固定的（亦即，不由自裝置之反饋迴路調整），或者其可 基於自裝置之反饋迴路而調整。 對於-給定圖框，若在電力預算中存在足夠的電力剩餘 用於内插，則可啟用内插過程。或者，若在電力預算中存 在不足的電力剩餘，則可停用内插過程。根據本揭示案之 一態樣’替代於啟用及停用内插’資源監視器似模式選 擇單元46可經組態以選擇不同内插/外推模式。詳言之， 基於由資源監視器48判定之可用資源位準，模式選^單元 46可選擇著重品質模式或著重資源模式。 舉例而言4在視訊序列中的先前圖框之Mips、資料 136783.doc -39- 200950528 提取及/或顯^已將可用電力預算降低至低於—第一預定 臨限值之位準，則資诉龄^目 〜貧源監視器48可對模式選擇單元46指示 應選擇著重資源模式。或者，若可用電力預算高於第一預 定臨限值，則資源監視器48可對模式選擇單元娜示應選 擇著重品質模式。在-些態樣中，若可用電力預算低於— +於第-預定臨限值之第二預定臨限值，則資源監視器牦 ，彳指示可停用内插-外推以有利於圖框重複，或可能地， 不應啟用内插夕卜推或圖框重複，以便節省裝置中之電 ❿ 力。 在監視電力預算中之可用電力的過程中，f源監視器仏 可追蹤每圖框所耗費iMIPS、每圖框所提取之資料及在 給定視訊序列上經發送用於顯示的圖框資料之量。舉例而 s，資源監視器48可維持用於特定G〇p或其他視訊序列的 MIPS、所提取之資料及所顯示之資料的連續累積之總 數，且將此等值映射至對應的電力消耗值。詳言之資源 參 自視器48可將該等值中之每―者映射至—對應的電力消耗 值（例如，在一或多個查找表中），且接著對該等值求和以 產生總電力消耗值。作為一替代例，資源監視器48可存取 將關於MIPS、所提取之資料及所顯示之資料的索引之組 合映射至圖框或其他視訊單元之總電力消耗值的多維查找 表。 作為另一替代例，資源監視器48可逐個圖框地將此等值 映射至電力消耗值，且累積地添加電力消耗值以產生在視 訊序列上的電力消耗之累計。作為一說明，若視訊序列 136783.doc -40- 200950528 (例如一十個圖框之序列）具有電力預算x ,且在序列中 之第η個圖框處，估計MIps、所提取之資料及所顯示之資 料已/肖耗了電力量Υ，使得可用電力預算為X-Y=Z，則資 源I視器48可將可用電力預算與預定第一臨限值比較以選 擇著重品質模式或電力聚焦模式。 該序列之電力預算可除以在該序列中且以多種方式在序 -狀過程上經更新以提供在整個序列上之更均句的分配的 =框或在該序列中可證明額外電力預算的圖框之數目，使 得在視序列中較早期未不均勾地耗費電力預算。各種替 代例可用於估計相對於電力預算之電力消耗，以便支援著 重品質模式或電力聚焦模式之選擇。因此，以上實例經提 供用於說明之目的，且不應被考慮為限制在本揭示案中廣 泛描述的技術。 在著重品質模式下，FRUC單元22可排他地、主要地或 大體上基於-或多個參考圖框品f準則執行參考圖框選 & 擇。品質準則可指示（例如）有可能由選定參考圖框產生的 内插或外推品質之位準。若參考圖框中無一者滿足品質準 J則對於待添加之特定圖框，圖框取代可由選擇單元 州亭用。在此情況下，圖框取代單元38可應用圖框重複而 非圖框内插來估約待添加之圖框。 在著重資源模式下，卿c^22可基於資源及品質考 慮兩者之組合選擇性啟用或停用對一些圖框之圖框取代。 舉例而言，當FRUC分析單元42判定視訊序列在待取代之 圖框附近大體靜態時’選擇單元44可停用圖框取代。若視 136783.doc 41 200950528 訊序列含有低㈣位準1在執行取代過料可能存在較 』或不存在優點’因為内插或外推與圖框重複之間的視覺 差異可能小或甚至感知不到。在此情況下，藉由停用： 代解碼器14可避免耗費用於内插或外推之電力及資源， 其對視覺品質具有極小影響。 當，在足夠的運動來證明在著重資源模式下之取代時， 刀析單7L 4 2可執行與在著重品f模式下使用之品質分析等

同或類似之品f分析。因此，著重資源及著重品質模式可 月b並非完全獨立的模式。而是，當著重資源模式經啟動 時著重时質模式可僅在運動位準足以證明内插或外推 (何適用)時繼續進行。著重品質模式可經單獨啟動，或 者重資源模式可操作以停關框取代且藉此撤銷著重品質 啟用取代且啟動著重品質模式。值得注意，即使在 者重。。質模式下，若候選參考圖框巾無—者滿足品質準 則’則可停用取代。 α作為-選項’在著重資源模式下，當啟用取代時，用於 β口質刀析之品質臨限值可為（例如）可隨視訊解碼器14之資 源即約要求而調整的。舉例而言，可基於視訊解碼器14之 可用内插資源(諸如’可用電力、計算資源及/或記憶體資 源)調整臨限值。在一些實施中，可基於可用電力資源之 位準（諸如，與視訊解碼器14、視訊後處理器及/或諸如行 動顯不處理器（MDp)之視訊顯示處理器相關聯的可用電力 貝源的位準）調整品質臨限值。在任一情況下，不管臨限 值疋固疋還是可調整的，若啟用了取代，則分析單元42可 136783.doc -42· 200950528 應用一或多個品質準則以選擇參考圖框或停用取代。 作為一實例，若在待添加的圖框附近之視訊序列由很低 的運動視訊内容表徵，則視訊圖框内插或外推之益處可能 不很顯著。因此，FRUC單元22可能不僅決定哪些圖框用 作用於視訊圖框取代之參考圖框，且亦決定藉由圖框取代 '添加哪些圖框，亦即，内插或外推哪些圖框。對於一些圖 -框，内插或外推之成本可能不能由時間視覺品質之足夠的 增強來證明。舉例而言，藉由避免對於一些跳過之圖框的 ^ 内插’在著重f源模式下，刪C單元22可平衡計算資源 與相關聯的電力消耗中之節約，其具有内插之圖框品質及 視訊序列之時間視覺品質之增強。零運動向量計數及/或 小運動向量計數可用作用於基於運動内容判定是内插還是 外推-特定圖框之決策準則。可以不同方式導出計數臨限 值。舉例而言，臨限值可為固定的用於零運動向量計數及 小運動向量計數中之一或兩者判斷運動活動性。或者，可 (例如）基於解碼器14之資源位準調整臨限值中之一戋兩 _ 者。 ’ 在圖3及圖4之實例中，對於用於取代的參考圖框之著重 品質選擇，視訊解碼器14可依多種與品質有關之準則而 定。舉例而言，FRUC單元22可基於參考圖框之切片及/或 圖框損失資訊結合經提供以重建構參考圖框的錯誤隱藏方 法之可靠性及類型而選擇參考圖框用於在㈣圖框^代中 使用。FRUC單元22可經組態以分析歸因於損失的錯誤之 位準，及可用於校正錯誤的錯誤隱藏機制之品質。其他或 136783.doc •43· 200950528 另外，FRUC單元22可分析與候選圖框相關狀Qp值及 ⑽值，作為該等圖框之相對品f位準的指示。舉心 言’可將QP值與CBP值搞合來判斷參考圖框之品質。 FRUC單元22亦應㈣觀視覺品質度量。客觀視覺空間 品質度量可為非參考度量，諸如，結構類似性度量 (ssm)、區塊效應及/或模糊性。客觀品質度量可替代地 4額外地包括滲色。客觀品質度量可心產生候選參考圖 ㉟之品f得分。品質準則之其他實例可包括在候選參考圖 ® 框中使用的框内模式之類型，或候選參考圖框甲之每一者 之框内模式及運動向量計數β亦可按需要利用額外準則。 在一些態樣中，如先前所描述，當給定視訊應用在端對 端處理中需要較短的延遲時，FRUC單元22可經組態以停 用圖框取代或使參考視訊圖框之選擇偏向先前圖框而非未 來圖框。在視訊電話應用中，例如，使用者可能參加即時 或接近即時的視訊會議，其可能需要在視訊之處理及呈現 參中的延遲之減少或消除。若圖框取代技術依未來圖框而定 (例如’對於内插或外推），則解碼及處理此等未來圖框以 便產生額外圖框過程令之延遲可能不容許。在此情況下， 當視訊應用強加延遲要求時，FRUC單元22可經組態以停 用圖框取代、禁止未來候選參考圖框之選擇，或禁止不處 於待添加的圖框之預定數目個圖框内的未來候選參考圖框 之選擇。 舉例而言，如圖4中所示，fruC單元22可視情況包括一 延遲偵測單元5 1，其偵測由給定視訊應用強加的服務要求 136783.doc -44- 200950528 ❹

之最大延遲或其他品質，且指導選擇單元44停用圖框取代 或需要選擇過去的圖框或早先的未來圖框作為用於内插或 外推之參考圖框。若延遲偵測單元51偵測視訊電話應用或 其他延遲敏感性視訊應用需要最小延遲，則延遲偵測單元 51可指導選擇單元44停用圖框取代。延遲敏感性應用或可 為延遲敏感性的類型之應用可由延遲偵測單元51基於自解 碼器14經嵌入於裏面的裝置之具體信號之接收、在與由解 碼器14接收的視訊資料相關聯之旁資訊中提供之具體信號 之接收，或按多種其他方式中之任一者偵測。在延遲敏感 性應用之偵測的情況下’取代單元38可應用圖框重複或完 全地撤銷FRUC以便避免打亂可破壞用於使用者的視訊會 議之品質的延遲。 或者，延遲偵測單元51可指導選擇單元44(及/或分析單 元42)啟用圖框取代，但需要使用過去的參考圖框或早先 的未來圖框用於内插或外推（例如，基於時間距離要求p 因此，延遲偵測單元51可對選擇單元44強加約束以避免選 擇指示為具有^夠&質但距待添加<圖框過多肖間距離之 特定未來參考圖框。 舉例而3，為相對於待添加之圖框的未來一或兩個圖框 之圖框可為可接受的’用於用作圖框取代之參考圖框。然 而右纟來圖框處於遠離待添加之圖框若干圖框之時間 距離處貝J可自等待圖框被解碼及分析而產生的處理及呈 現延遲可為不可接受的。 士 丧又的可在品質分析後或品質分析前將 距離分析應用至候選參老蘭 亏圖框。若在品質分析前應用距離 I36783.doc •45- 200950528 分析，則若候選參考圖框為未來圖框且該圖框距待添加之 圖框的距離過大，則延遲谓測單元51可指導分析單元42暫 停對一特定候選參考圖框之品質分析。 作為-替代例，當延遲為關注問題時，延遲偵測單元51 彳指導分析單元42調整其品質分析，使得位於距待添加之 圖框過多距離處之未來參考圖框被提供較低品質得分，或 • 在品質分析中被排除在考慮之外。在任一情況下，效應可 為一些未來參考圖框被排除選擇為參考圖框，使得圖框取 © 代可繼續進行，而不會不利地影響延遲敏感性視訊應用 (諸如，視訊電話）之延遲特性。在一些情況下，對於視訊 電話或其他延遲敏感性視訊應用，延遲要求可消除圖框取 代，例如，歸因於視訊電話應用之即時或接近即時的服務 要求。然而，對於視訊串流及回放，延遲問題通常可不太 關注。 如上所述，在一些實施中，可至少部分基於候選參考視 ❹ 訊單元中之一或多者距額外視訊圖框之時間距離選擇用於 在額外視訊單元之内插或外推中使用的候選參考視訊單元 . 中之一或多者。當偵測延遲敏感性應用時，可基於時間距 離選擇候選參考視訊單元。或者，可定期地或回應於某一 -其他觸發事件基於時間距離選擇候選參考視訊單元。因 此，在一些態樣中，時間距離可形成應用於用於在内插或 外推中使用的參考圖框之選擇的品質分析之部分。 圖5為說明用於與圖3或圖4之視訊解碼器14 一起使用的 參考圖框分析單元42之方塊圖》如先前所提及，儘管為了 136783.doc -46 - 200950528 說明之目的描述了參考視訊圖框之分析及選擇，但分析單 元42之結構及功能性可經調適用於諸如切 如，巨集區塊或較小區塊）之其他參考視訊單元之分析及 選擇。在圖5之實.例中，分析單元42包括一客觀度量檢杳 器5〇、-錯誤隱藏（EC)檢查器52、—量化參數（Qp)檢查器 54、一經寫碼之區塊型樣（CBp)檢查器％、一品質得分計 算器58、比較早M9及一運動向量（Mv)可靠性檢查器。 ❹ 圖5中展示之各種單元可用於著重品質操作模式以及著 重資源操作模式（當啟用内插時）中。當（例如）藉由模式選 擇單元46選擇著重資源操作模式時，分析單元咖啟動運 動分析器64。另外，視情況，分析單元啊在著重資源模 式下啟動模式調整單元62。選擇單元料可考慮睛可靠性 檢查器60及運動分析器64之輸出以判定是否執行對待添加 之圖框的圖框取代，且若是，則判定是否選擇一正被分析 之圖框作為用於在圖框取代中使用之參考圖框來添加圖 框。 客觀度量檢查器50可經組態以分析候選參考圖框以判定 SSIM值及/或與此等圖框相關聯之區塊效應 色之程度’且基於該判定產生品質得分。當領測到實= 塊效應、模糊性及/或滲色時’對於一特定候選參考圖框 而吕’由客觀度量檢查器50產生之品質得分可為低，且者 :體上無區塊效應、模糊性及/或滲色時，品質得分可二 '不同候選參考區塊之品質得分可隨此等客觀視覺品質 度量特性而在高與低之間變化。或者’可基於與一預定臨 136783.doc -47· 200950528 限值之比較將品質得分表達為高或低。 田刀析單元42利用客觀度量檢查器5〇時，可將該客觀度 1檢查器應用至由解碼單元36重建構的經解碼之圖框。因 此，刀析單元42可分析自接收圖框緩衝器34獲得的經編碼 之圖框，且經由客觀度量檢查器5〇,可接收且分析藉由經 由解碼單元36解碼來自接收圖框緩衝器34之圖框獲得的經 重建構之圖框。客觀度量檢查器5〇可針對831]^值、區塊 效應、模糊性、滲色或其他客觀品質度量分析經重建構之 © 候選參考圖框以產生品質得分。 EC檢查器52分析候選參考圖框以判定每一圖框是否已 遭受切片及/或圖框損失，且若是，則判定一可靠的錯誤 隱藏機制是否可用於重建構自接收圖框緩衝器34獲得的經 編碼之圖框。在此意義上，EC檢查器52可作為EC可靠性 檢查器操作。若損失導致高於一預定位準之錯誤，則檢 查器52可評估可用於校正錯誤的錯誤隱藏機制之品質。當 n 不存在切片或圖框損失，或存在充分的錯誤隱藏機制來補 償切片或圖框損失時，EC檢查器52可產生一特定候選參考 圖框之相對高得分。當錯誤隱藏不足以補償切片或圖框損 失時’ EC檢查器52可產生低得分。由EC檢查器52產生之 ' 得分可根據切片或圖框損失之量而變化，或簡單地基於與 一預定臨限值之比較而為高或低得分。 EC檢查器52可以多種方式判定是否存在可用之充分的 錯誤隱藏機制。作為一實例，EC檢查器52可基於用於例如 H.264(使用來自共同定位之巨集區塊之運動向量）的類型之 136783.doc -48- 200950528 視訊寫碼或已知在實施解碼器14 α« /1 4曰日月紐中细~ 類型之視訊寫碼之錯誤隱藏的預定知曉扭仃的 類型。EC檢杳° 曰誤隱藏之 i EC檢查||52可依用料同切片或_損 定錯誤隱藏機制之有效性的先前離線分析而定。 、特 舉例而言，可針對在應付不同數目的損失、 位置、受影響的區塊或單元之數 同 數目、錯誤偵測時間及其類 以過程中之有效性來評定每一錯誤隱藏機制。叱檢查

❹ 52可判定與—料切片或圖框損失相關聯的以上特性-(亦 即，損失之數目、位置、錯誤偵測時間）中之一或多者， 且接著判定可用錯誤隱藏機制是否將被有效地提供彼等特 性，且被提供在類似條件下的此錯誤隱藏機制之效能 先知曉。 作為一說明’若在解碼器14中使用了錯誤隱藏機制X， 且已知機制X有效地用於由小於γι的損失數目、在特定區 域中的損失之位置，及小於Υ2的受影響之區塊/單元數 目、大於時間Z的錯誤偵測處理給定時間表徵之損失則 遵循以上特性之損失應能夠使用機制χ隱藏，在該情況 下’ EC檢查器52可產生高EC得分。 在各種情形下，若不滿足該等特性中之任一者或若特性 之或夕個組合存在於切片或圖框損失中，則錯誤隱藏可 旎失敗。若損失不遵循以上特性，則EC檢查器52可產生低 EC侍分。因此，EC檢查器52可依錯誤隱藏機制之類型的 头曉及其在隱藏具有不同的特性之切片或圖框損失過程中 之有效性而定。 136783.doc -49· 200950528 QP檢查器54分析與每一候選參考圖框相關聯之量化參 數（QP)值。大體而言，QP值指示在經編碼之視訊圖框之各 別區塊中的變換係數之量化步長。對於一圖框中之所有區 塊，QP值可相同，或對於不同區塊而變化。作為一實例， QP檢查器54可分析形成參考圖框的區塊之平均QP值。或 ' 者，QP檢查器54可分析一圖框之最大或最小QP值。若一 、圖框之平均QP值高（指示在H.264寫碼之情況下的視訊資料 之粗量化），則QP檢查器54可產生相對低得分。較小的QP ® 值指示在Η.264寫碼中的較細量化步長及大體較高的視訊 品質。因此，對於Η.264寫碼，若平均QP值較低，則QP檢 查器54可產生較高品質得分。 CBP檢查器56分析每一候選參考圖框之CBP值。CBP值 可為形成該圖框的區塊之平均CBP值。大體而言，CBP值 指示在區塊中不存在非零變換係數或在區塊中存在至少一 非零係數。變換係數可駐留於諸如離散餘弦變換（DCT)、 子波變換或其他壓縮變換域之壓縮域中。由CBP檢查器56 分析之CBP值可為亮度或色度CBP值或兩者。對於一給定 圖框，CBP檢查器56可判定CBP值指示至少一非零變換係 ' 數值的區塊之數目。在一些態樣中，可組合QP檢查器54與 : CBP檢查器56。在此情況下，可基於平均QP值及CBP值產 生組合得分。 若QP值低於一預定QP臨限值且CBP值大體為零（指示大 體上區塊中無一者具有非零係數），則圖框之品質可由高 得分指示。當CBP值指示至少一非零係數的區塊之數目低 136783.doc -50- 200950528 於.CBP臨限值時，可判定大體被視為零之cBp值。或 者右Qp值尚於QP臨限值，則得分可為低。很高的QP及 零或中等CBP值可指示低得分。若CBp為零且QP值低於臨 限值，則對一區塊之運動估計很準確，其應產生高品質得 分。 印質得分計算器58可經組態以基於客觀度量檢查器5〇、 EC檢查器52、qP檢查器54及CBp檢查器兄中之一或多者 之輸出產生一候選參考圖框的總品質得分。由客觀度量檢 β 查器50、EC檢查器52、QP檢查器54及CBp檢查器％產生 的個別得分可簡單地建構為高或低品質值’或高、中等或 低βσ質值或者，可按照眾多等級或大體上連續的級別計 算得分。品質得分計算器58可使相等加權與由客觀度量檢 查器50、EC檢查器52、QP檢查器54及CBP檢查器56產生 的得分中之每一者一致。或者，品質得分計算器58可將一 預定不均勻的加權應用至得分，使得總品質得分為所有得 分之加權總和。 作為一說明，在一些實施中，品質得分計算器58可將比 加至由EC檢查器52及客觀度量檢查器5〇輸出之得分大的權 重加至由QP檢查器54及CBP檢查器56輸出之得分。在其他 實施中’ EC檢查器52之輸出可能更重要。如上所陳述，品 質付分計算器58可對輸出加權。作為一替代例，檢查器 50、52、54、56中之每-者可經組態以產生一具有預指派 之權重的個別經加權之得分。品質得分計算器58輸出指示 用於在跳過之圖框的内插中使用之候選參考圖框之品質的 136783.doc -51 - 200950528 總得分。 給定用以計算得分之品質特性(例如，客觀度量、π特 可^及CBP特性）’總得分可指示候選參考圖框是否有 I生具有可接受之品f位準的圖框取代結果。比較單 ❹ ❹ Γ::總得分與一品質臨限值比較。若總得分令人滿 ==如，超過品質臨限值，則比較單元㈣示候選 =框具有料選擇料用於額外（亦即，附 或外推(如可適用)的參考圖框而言係可接受之品質= 分小於品質臨限值，則比較單元59衫該候選參考 王十於選擇作為用於内插或外推（如可適用）的參考圖框 可接受°在每—情況下，分析單元42可接著繼續 I繼在考慮中的額外圖框之下—個候選參考圖框 ^續刀析用於待添加的下一個圖框之參考圖框。經考慮 取代圖框的候選參考圖框之數目可根據設計 而變化。 比=得分令人滿意（例如’符合或超過品質臨限值），則 ==可指示基於品質，考慮中之候選參考圖框適合 為參考圖框。或者，比較單元59可選擇分級最高之 了批雇L如上所述。在任一情況下，在一些實施中，為 ’曰 圖框用於選擇，分析單元42可進一步包括一運 =:Γ:):靠性檢查器60,可靠性檢查器6°可分析 框取_ 中的運動向量之可靠性，以確保在視訊圖 用運動補償預測方法用於内插或外推之情況下選 考圖框將產生品質圖框取代結果。 136783.doc -52· 200950528 若運動向量可靠，則MV可靠性檢查器6〇可對選擇單元 44才曰示可選擇分析中之候選參考圖框作為用於圖框取代之 參考圖框。然而，若運動向量不可靠，則MV可靠性檢查 器60可拒絕該候選參考圖框，即使其已滿足比較單元μ之 品質要求亦如此❶在此情況下，Mv可靠性檢查器6〇可對 ' 選擇單元44指示不應選擇分析中之候選參考圖框作為用於 '圖框取代之參考圖框。 在一些實施中，比較單元59可指示用於選擇作為參考圖 〇 框之適當的圖框（在對其考慮時）。換言之，隨著分析單元 42为析每一候選參考圖框，若其識別一合適的候選參考圖 框，則其可指示應選擇該候選參考圖框。過程可繼續，直 至分析單元42識別足夠數目及類型之候選參考圖框為止， 在該點處’分析單元42可停止用於當前圖框之内插或外推 的候選參考圖框之分析，且繼續前進至用於在視訊序列中 待添加的下一個圖框之内插的候選參考圖框之分析。 ❹作為一簡單說明，分析單元42可識別用於在時間上駐留 於先前與未來圖框之間的一圖框之内插的一單一先前參考 圖框及一單一未來參考圖框。或者，對於更複雜類型之内 插’分析單元42可識別可經選擇用於待添加的圖框之内插 之多個先前及未來參考圖框。在每一情況下，分析單元42 可分析鄰近於待添加的圖框之先前及未來圖框的一子集， 直至為了選擇，識別了足夠數目及類型（例如，若必要， 先前及未來）為止。可分析有限數目個圖框。若所分析的 圖框中無一者產生足夠的品質得分，則分析單元42可指示 136783.doc -53- 200950528 無圖框被選擇，及圖框取代單元38應應用圖框重複而非圖 框取代。 ❹ Ο 在一些實施中，分析單元42可使用其他類型之品質準 貝J諸如，在候選參考圖框中使用的㈣寫碼模式及/或 框内模式之類型及候選參考圖框之運動向量計數、。作為: 實例’若在—特定候選參考圖框中的經框内寫瑪之區塊 (:如’巨集區塊)的數目超過一模式決策臨限值，則分析 早心2可指示該參考圖框之低内插品質，例如，使得不應 將該候選參考圖框用於額外囷框之内插。模式決策臨限值 可為靜態或經動態調整，例如，基於在一候選參考圖框中 的具有高於一臨限值的多個寫碼位元的區塊之數目。可使 Ζ廣泛多種其他品質準則。用於品質分析之此資訊可經考 慮為在本揭示案中描述的其他資訊(諸如，客觀品質度 ^ QP及CBP特性，及㈣性㈣代，或除了在本揭: 2描述的其他資訊之外’可考慮用於品質分析之此資 可使用與待内插或外推的其他附近圖框相同的參考圖框 之-些來内插或外推一些額外圖框。為此原因在一些 情況下旦針對品質分析—候選參考㈣，則可 儲存關於該候選參考圖框之0 U化疋0σ質的資訊。以此方式，若牲 疋候選參考圖框稍後被考慮 判定其品質，而無需再次執則可快速地 人執仃刀析。候選參考圖框可作Α 用於待在視訊序列之一部分中 在參考圖框而相關。ο㈣或外推的少數圖框之潛 136783.doc -54- 200950528 w、隨著視訊序列繼續進行，所储存之資訊可變得過時或至 相關此歸因於候選參考圖框相對於待内插或外推 的圖框之增加的時間遠離性。因此，在某一點可拋棄該資 訊例如，在視訊序列已繼續進行至大於遠離候選參考圖 預疋數目個圖框之點後。藉由儲存品質資訊，可能有 必要對於每—㈣參考圖框僅在分析單元42巾執行一次品 f分析。或者’可每當圖框經識別為用於待添加之圖框的 候選參考圖框時執行品質分析。 在-些實施中’分析單元42可經組態以分級按有關的品 質位準分析之候選參考圖框。舉例而言，分析單元42可包 括一分級候選參考圖框之分級單元（67A或67B):在此情況 下，替代於在已發現具有滿足品質臨限值之品質得分的圖 框之合適數目及類型時停止，分析單元42可分級候選參考 圖框以識別產生最佳品質得分之圖框。舉例而言分析單 凡42可按總品質得分之次序分級滿足品質位準（例如，符 合或超過品質臨限值）（如由比較單元59指示）之候選參考圖 框’且選擇分級最高的候選參考圖框。 作為一選項，參看圖5，分析單元42可包括—分級單元 67Α，其評估且分級由比較單元59識別為令人滿意（亦即， 為符合或超過品質臨限值）的候選參考圖框。分級單元G 可與需要用於由圖框取代單元38應用的圖框取代之類$的 參考圖框之數目一致地選擇多個分級最高之參考圖框。選 定（亦即，分級最高）之候選參考圖框接著可自分級單= 67Α傳遞至MV可靠性檢查器60以判定其是否具有 J 的 136783.doc -55- 200950528 MV内容。若是’則MV可靠性檢查器60可對選擇單元44指 示應選擇該等圖框用於在圖框取代中使用。若分級最高之 候選參考圖框不具有可靠的MV内容，則MV可靠性檢查器 60對選擇單元44指示圖框取代單元38應應用圖框重複而非 圖框取代。 作為另一選項，由於分級可受到不可靠的MV内容之影 響，所以分析單元42可將具有令人滿意（例如，符合或超

過品質臨限值）的品質得分之所有分級之候選參考圖框傳 遞至MV可靠性檢查器60。詳言之，比較單元59可將具有 傳遞得分之所有候選參考圖框提供至MV可靠性檢查器 60。MV可靠性檢查器60識別具有令人滿意的品質得分（例 如’符合或超過品質臨限值’例如’如由比較單元Μ指 示）及可靠MV内容兩者之候選參考圖框。分析單元42可視 情況包括一分級單元67B，其接收MV可靠性檢查器6〇之輸 出且按品質得分分級候選參考圖框。分級單元67b接著可 選擇多個分級最高之候選參考圖冑，且將選定參考圖框傳 達至選擇單元44。選擇單元44可通知圖框取代單元38用於 在圖框取代中使用以添加視訊圖框之選定參考圖框。 MV可靠性檢查器6〇可忽略不具有可靠财内$之候選參 考圖框，留下剩餘的候選參考圖框用於由分級單元㈣八 級及選擇為參考圖框。詳言之，分級單元67β可對選擇: 心識別具有可靠MV内容的分級最高之候選參考圖框， 用=選擇為作為内插的參考圖框。又，所選擇的參考圖框 之數目可隨由圖框取代單元38使料圖框取代之類型（亦 136783.doc -56- 200950528 二:=:Γ及需要用來夫援困框取代過程 ❹ 八MV可靠性檢查器6G可使用多種不同技術中之任一者來 刀析運動向量可靠性。作為_實例，mv可靠性檢查器⑼ :經組態以應用基於運動差之方法。MV可靠性檢查器6〇 可操作以分析在視訊圖框之χ(水平）方向及γ(垂直）方向兩 者上之運動向量資訊。在此情況下，Μν可靠性檢查請 可判定在候選參考圖框中的區塊（例如，巨集區塊）之Χ方 向上之運動向量與在先前圖框中的共同定位之區塊之χ方 向上之運動向量之間的差是否超過一臨限值。在此情況 下’ MV可靠性檢查器6〇可判定在候選參考圖框中之運動 向篁不可靠。舉例而言，Μν可靠性檢查器的可計數在候 選參考圖框巾之^可靠的運動向量之數目，或判定在候選 參考圖框與先前參考圖框中之運動向量之間的總平均差。 除了在Χ(例如，水平）方向上的運動向量可靠性之判定 之外MV可靠性檢查器60可以類似方式判定在γ(例如， 垂直)方向上的運動向量可靠性。若MV可靠性檢查器60偵 測到Χ方向MV不可靠性或Υ方向MV不可靠,)±，則MV可靠 ί·生檢查器可拒絕考慮中之當前候選參考圖框，且對選擇單 一 4扣示不應將候選參考圖框選擇為用於跳過之圖框的内 插之參考圖框。作為一替代例’在一些實施中，可使用角 度資訊來”f估運動向量量值及方向兩者。然而，若候選參 考圖框之MV可靠’則Mv可靠性檢查器的對選擇單元44指 厂、°選擇該候選圖框作為用於附加圖框之内插或外推的參 136783.doc -57- 200950528 考圖框。 作為一替代例’ MV可靠性檢查器60可使用圈框至圖框 運動改變偵測技術分析Mv可靠性。根據此技術，MV可靠 性檢查器60可經組態以偵測當前候選參考圖框中之向量已 自另一鄰近圖框（諸如’先前或未來圖框）中之向量大體上 改變之時間。若改變之量值大於一臨限值，則M v可靠性 檢查器60判定候選參考圖框之MV不可靠且不應被選擇為 用於圖框取代之參考圖框。 對於圖框至圖框運動改變偵測技術，為了偵測在候選參 考圖框及鄰近圖框中之向量是否連續，可使用以下兩個方 法。第一，運動改變偵測可基於運動統計。在此情況下， 可計算兩個圖框（亦即，候選參考圖框及鄰近圖框）之運動 向量統計。統計可包括運動向量（量值及角度）平均值及標 準偏差。第二’運動改變偵測可基於運動向量標註。在此 情況下，基於統計之運動改變偵測可依在圖框位準上的運 動之範圍而定來做出決策。可能不偵測在兩個圖框中的每 一共同定位之巨集區塊之運動的差。然而，為了解決此問 題，可使用基於運動向量標註之運動改變偵測。 作為另一替代例，MV可靠性檢査器6〇可使用基於運動 軌道之技術分析MV可靠性。在此情況下，基於運動軌道 之方法判定是否應藉由查看巨集區塊將在候選圖框中的何 處來使用來自鄰近圖框之運動向量（若巨集區塊已沿著與 在鄰近圖框中相同的運動軌道而行）。若由巨集^载運 之物件具有與候選圖框中之相關區（亦即，丟失 J E果區 136783.doc -58- 200950528 的顯著重疊’則可將其脚考慮為可靠，且應將 該候選圖框用於圖框取代。否則， IF，目，丨# 右其移動遠離該相關 =則其MV不可靠，且不應將該候選圖框用於圖框取 代0 I ^ 5 9使用之"°質臨限值可經預定及選擇以表示 接受之圖框取代結果有關的品質位準。品質臨限 2可為固疋的或可調整的。在—些實施中，舉例而言，品 ❹ ❹ 質值臨限值可為可隨解碼器14操作的模式而調整的。在操 =中，分析單元42可首先檢查著重資源模式是開著還是關 著。若模式選擇單元46指示著重品質模式，則模式調整單 凡62可此不調整現有品質臨限值。然而，若模式選擇單元 懒示著重資源模式，則模式調整單元62可調整品質臨限 值。舉例而言，在一些實施中，模式調整單元62可增加品 質臨限值以需要選擇較高品質圖框作為用於圖框之内插或 外推的參考圖框。 在-實施中’當選擇了著重資源模式時，可將品質臨 限值自f -值增加至第二增加值。在其他實施中，當選擇 了著重資源模式時，可將品質臨限值增加至隨可用資源位 準而計算之值。舉例而言，隨著諸如可用電力或可用計算 資源的資源變得較低，品f臨限值可較高。以此方式，。 質臨限值可與可用資源位準成反比，使得當資源位準^ 時’需要較高品質來證明圖框取代之成本，亦即，圖框内 插或㈣=成本。因此’在一些實例中，在著重資源模式 下"刀析早7042可應用運動活動性臨限值來判定是啟用還 136783.doc -59- 200950528 疋停用圖框取代，且當啟用了圖框取代時使用固定品質 臨：值或隨可用資源位準而調整之品質臨限值。 若用於特定圖框之内插或外推的候選參考圖框中無一者 產生滿足在著重資源模式下之增加的品質臨限值之品質得 分，則無圖框經選擇用於圖框之内插或外推。在此情況 下，選擇單元44停用内插，在該情況下，圊框取代單元38 可暫停圖框取代且替代地應用圖框重複。藉由在著重資源 ❻ ❹ 模式下需要增加之品質臨限值，模式調整單元62實際上迫 使圖框取代單兀38停用圖框取代，除非較高品質參考圖框 可用於圖框取代。 當資源有限時，你丨“ 如，备電力、計算及/或記憶體資源 較稀少時，模式撰; 式選擇早7046可選擇著重資源模式。當視訊 圖框内插之益處並不很顯著時，諸如，在很低的運動視訊 内谷之情況下，著重資源模式可停用視訊圖框内插。以此 方式’當資源有限時’模式選擇單元似模式調整單元Μ 對圖棍内插或外推強加較高品質證明。換言之，為了證明 =^之^本（就資源消耗而言），圖框取代之實際結果 元46選Π ?視覺品質。當資源較稀少使得模式選擇單 限值λ/ ^模式時，模式調整單以2可減小品質臨 —^ + 1 f臨限值准許圖框取代更頻繁地繼續進 二’因為更多候選圖框可能有可能滿足減小之品質臨限 二著模式選擇單—亦可啟動運動分析 二實施中’除了啟動模式調整單元62以調整品 136783.doc 200950528 質臨限值之外，運動分析器64可分析一或多個候選參考圖 框之運動活動性以判定有關視訊場景是否相對靜態。運動 分析器64可分析來自候選參考圖框冬運動向量資料以判定 視訊場景是由很小的運動還是顯著的運動來表徵。舉例2 ' 言，運動分析器64可分析當前錨定圖框之運動向量以做出 ' 是啟用還是停用視訊圖框取代之決策。錨定圖框可為鄰近 '於（例如，在前或在後）跳過之圖框的圖框。 若存在由描定圖框指示之很小的運動，使得場景相對靜 0 態，則運動分析器64可產生一輸出以停用圖框取代。若場 景相對靜態，則時間跳過圖框的内插通常將並非可證明的 (相對於圖框重複）’即使選定參考圖框將產生高品質圖框 取代結果亦如此。作為一說明，當場景相對靜態時，由圖 框内插及圖框重複產生之視覺品質差異可相對感知不到。 為此原因，内插及由視訊緩衝器與顯示器之間的視訊資料 訊務消耗之電力的成本不由任何顯著的品質增益來證明， 〇 且應被停用。在此情況下，自品質及資源節省之觀點看 來，圖框重複可更為理想。當運動分析器“指示應停用圖 «代時，可同樣地停用對於#前考慮之參考圖框的著重 品質分析。 在ϋ施巾’運動分析H64可料㈣祕與一臨限 值比較。運動臨限值可為固定的或可調整的。舉例而言， 運動分析器64可基於可用之電力、計算及/或記憶體資源 之位準調整運動臨限值。在可調整之情況下，舉例而言， 若電力資源處於相對高位準下，則運動活動性臨限值可相 136783.doc -61 - 200950528 對低。舉例而言，若電力資源處於相對低位準下，則運動 臨限值可相對高。在任一情況下，在臨限值處或高於臨限 值之運動活動性可觸發内插，經受用於在圖框取代十使用 的一或多個參考圖框之選擇，此與著重品f操作模式一 致。對於較高電力位準，較低臨限值意謂可能需要較小的 運動來觸發圖框取代。然而’對於較低電力位準，較高臨 限值意謂可能需要較高的運動來觸發圖框取代。 當模式選擇單元46選擇著重#源模式時可啟動運動分析 器64及視情況模式調整單㈣’且當模式選擇單元μ選擇 著重品質模式時可撤鎖運動分析器64及視情況模式調整單 ⑽。在著重品質模式下，解碼器14可操作以產生理想的 視覺品質。然而’在著重資源模式下’解碼器柯組合品 質與㈣節省目標兩者。模式選擇單元仏可（例如）藉由將 可用資源與一或多個誉，、S% U0 /士丨* 貝源臨限值比較而回應於有限資源之 偵測選擇著重資源模式。u 一 、Λ 因此，在一些實施中，模式選擇 ❹ 單70 46可按預6又選擇著重品質模式，且基於可用資源的位 準選擇著重資源模式。或者，其於咨、ε 飞考基於資源之模式可為預設模 在“凊况下W可用資源高於-或多個資源臨限值 時’模式選擇單元46選擇著重品質模式。 實際上’在著重資源模式下’模式選擇單元46可指導選 擇單元44選擇性地啟用七位^ _ 用或停用額外視訊單元之内插或外 推’且在著重品質模式下，指導選擇單元啟用額外視訊單 元之内插或外推。詳令夕 ,^ 。之’在著重資源模式下，模式選擇 單元46可指導選擇單亓44益 藉由觸發運動分析器64來選擇性 136783.doc -62- 200950528 地啟用或停用内插或外推。選擇單元44可接著基於運動分 析器6一4之輸出選擇性地啟用或停用内插或外推。或者，選 擇單元44可心導選擇單元44(例如）藉由不觸發運動分析器 64而啟用内插或外推。由選擇單心進行的内插之啟用可 、 仍經受由分析單元42進行的品質分析以選擇參考圖框或停 用内插或外推（若無合適的參考圖框可用）。 '作為—額外可選特徵，在-些態樣中，分析單以2可包 &一距離單元63。如上參看圖4所描述，延遲偵測單元51 可偵測延遲敏感性視訊應用（諸如，視訊電話應用）之操 作。延遲摘測單元MS導選擇單元Μ避免相對於待添加 之圖框的在未來較遠之未來參考圖框之選擇，以便避免可 有損視訊電話之視覺品質的處理及呈現中之延遲。因此， 選擇單元44可至少部分基於此等圖框距待添加之圖框的時 間距離之分析而拒絕一些候選參考圖框，即使分析單元42 可指不此等圖框之相對高品質亦如此。儘管可基於延遲敏 ◎ 感|±應用之偵測來觸發基於時間距離的參考圖框之選擇， 仁在一些實施中，時間距離可用於定期的參考圖框選擇， 亦即，有或無延遲敏感性應用之偵測。 如圖5中所示，延遲特徵可經、建置於分析單元42中。詳 s之’替代於經由選擇單元44拒絕相對於待添加之圖框在 未來駐留得過遠（亦即，基於過多的時間距離）之未來候選 參考圖框’分析單元42可經組態以將相對低品質得分指派 至此等圖框。選擇單元44可能不直接基於時間距離而是間 接地基於自時間距離產生之低品質得分來拒絕此等圖枢。 136783.doc -63 - 200950528 在任一情況下，選擇單元44可避免可將過多潛時引入至圖 框取代過程中的時間上遙遠的參考圖框之選擇。又，當偵 測到延遲敏感性應用（諸如，視訊電話）之操作時或定期地 (例如，不管是否偵測到延遲敏感性應用），時間距離可用 於選擇性地選擇參考圖框。在一些情況下，可至少部分基 於時間距離定期地選擇參考圖框，而無涉及延遲敏感性應 用之偵測的操作。 作為各種圖框特性中之一者，距離單元63可判定未來候 選參考圖框距待添加之圖框的距離。距離單元63可經組態 以產生更遠離待添加之圖框的未來候選參考圖框之逐漸更 低的得分。在一些情況下’若候選參考圖框比最大數目的 相對於待添加之圖框的未來圖框多’則距離單元63可產生 零得分。 當偵測到延遲敏感性視訊應用時，距離單元63可由延遲 偵測單元5 1啟動。或者，當偵測到延遲敏感性應用時，延 遲偵測單元51可使距離單元63之輸出載有增加的加權。當 諸如視訊回放之應用並非顯著延遲敏感性的時，可停用距 離單元63或其輸出得分可載有總品質得分中之減小的加 權。 包括於圖1至圖5中之系統1〇、編碼器12及解碼器丨4中的 各種組件、單元或模組，以及貫穿本揭示案描述之其他組 件可由硬體及/或軟體之任何合適組合實現。在圖丨至圖5 中，將各種組件描繪為獨立的組件、單元或模組。然而， 參看圖1至圖5描述的各種組件中之全部或若干可經整合至 136783.doc 200950528 普通的硬體及/或軟體内之M合的單元或模組中。因此， 為了易於說明，將特徵表示為組件、單元或模組意欲突出 特定功能特徵，且未必需要藉由獨立的硬體或軟體組件來 實現此等特徵。在-些情況下，可將各種單元實施為由一 或多個處理器執行之可程式化過程。舉例而言，在各種離 、 #中’運動分析器、資源監視器及選擇單元可由獨立的硬 ^ 體及/或軟體單元，或相同的硬體及/或軟體單元，或其組 合實現。 ^ ” ® ® 6為說明視訊解碼器14選擇參考®框用於視訊圖框取 代之例示性技術之流程圖。當啟用了圖框取代時，可在著 重品質模4 τ或在|重資源模 < 下執行圖6令所示之過 程。如圖6中所示，視訊解碼器14接收輸入視訊圖框（68)〇 在解碼器14之情況下，可接收輸入視訊圖框作為傳入的位 凡流中之經編碼的圖框，在該情況下，歸因於圖框跳過或 編碼器12之基本圖框速率，圖框中之一些丟失。在編碼器 魯 12之情況下，輸人視訊圖框可為待由編碼器編碼之源視訊 圖框。時間上排除之圖框可為已由視訊編碼器12有意跳過 之圖框或在跨越頻道19之傳輸中丟失之圖框，或不由編碼 器12之基本圖框速率支援且需要經額外地形成用於圖框速 率轉換之圖框。在圖6之實例中，分析單元42分析用於在 圖框取代中使用的一組候選參考圖框之一或多個特性 (70)。 候選參考圖框可選自相對於待添加之圖框的Ν個先前圖 框及Μ個未來圖框，其中\與厘可相等或不相等。作為一 136783.doc •65- 200950528 說明，可考慮三個先前圖框及三個未來圖框，但特定數目 個圖框係為了說明之目的，且不應被考慮為限制性的。可 考慮先前及未來圖框用於雙向内插β在一些態樣中，對於 單向内插或外推，可僅考慮先前圖框或僅未來圖框。 圖框之該一或多個特性可關於圖框之品質，且可使用像 ^ 素域值、變換域值、位元流資料或其他來分析。基於分 ' #，分析單元42選擇該等候選圖框中之一或多者作為參考 圖框（72)。使用選定候選圖框作為參考圖框，圖框取代單 ❹ 元38藉由待添加之圖框的内插（或若可適用，外推）執行圖 框取代（74)。圖6中概述之過程可由解碼器14大體上連續地 重複用於額外視訊圖框在所接收之位元流中的内插（或外 推）。 ^ 圖7為更詳細地說明用於參考圖框選擇之實例技術之流 程圖。大體而言，分析單元42可判定諸如電力節約模式之 著重資源模式是開著還是關著。若著重資源模式為開著， ❹ ?運動分析器64分析候選參考圖框之運動活動性。舉例而 吕，分析候選參考圖框之所接收之運動向量。基於運動向 量分析’做出是否内插(或外推)待添加之圖框的決策。： Α策為㈣，則與著重品質模式—致，接下來分析參考圖 框之品質。基於此分析’做出是内插還是外推之另一決 策。若選擇了内插或外推，則基於品質分析選擇一參考圖 框（或多個圓框）。接著使用至少該選定參考圖框及可能多 個參考圖框來執行視訊圖框内插或外推。 對於待添加之每-圖框或待添加之選定圖框可大體上 136783.doc -66 · 200950528 連續地在由視訊解碼器14接收之視訊序列中重複圖7中概 述之過程。在圖7之實财，解碼器14接收含有視訊序列 之經編碼之輸入視訊圖框且排除一些圖框的傳入之位元流 (76)。對於丟失的圖框之内插或外推，視訊解碼器μ可判 定著重資源模式是開著還是關著（78)。舉例而言，模式選 擇單元46可指示解喝器14之圖框取代過程是應纟著重資源 - 模式還是在著重品質模式下操作。 若啟動著重資源模式（78)，則分析單元42可啟動運動分 Φ 冑器64以分析對於候選參考圖框中之每-者所指示之運動 (80)。舉例而言，運動分析器64可分析來自候選參考圖框 之運動向量資料以判定視訊場景是相對靜態還是包括顯著 的移動。運動分析器64可分析一錨定圖框（諸如，時間上 鄰近於待添加之取代圖框的圖框）之運動向量，以做出是 啟用還是停用視訊圖框取代之決策。 若由錨定圖框指示之運動位準大於或等於一臨限運動位 ❹準（82)，則運動分析器64可對選擇單元料指示運動之位置 足以證明藉由待添加之圖框的内插（或外推）進行之圖框取 代。在此情況下’分析單元42可繼續分析該一或多個候選 參考圖框之品質（84)。然而，若運動位準低於臨限運動位 •準，則運動分析器64對選擇單元44指示不應使用圖框取 代，在該情況下，解碼器14可重複一參考圖框（92)來替代 所排除之圖框，而非内插圖框。在此情況下，可重複一先 前或未來圖框以有效地增頻轉換視訊序列之圖框速率。 在一些實施中，對於圖框重複，分析單元42可僅選擇一 136783.doc -67- 200950528

无别圖框或未來圖框且重複彼圖框替代待添加之圖框。由 於選擇了圖框重複，所^需要執行用於當前圖框的著重 品質模式之各種品質分析操作 '然而，作為一替代例分 析單兀42可應用品質分析來自複數個候選參考圖框中之一 者選擇-參考圖框，且接著使㈣選定參相框作為所重 複之圖框。詳言之，分析單元42可選擇具有滿足（例如， 符合或超過）品質臨限值的總品質得分之參考圖框且將該 選定圖框用㈣框重複1&，在—些情況下，與著重品 質模式一致的參考圖框之基於品質之選擇可不僅用於圖框 内插或外推，且亦用於圖框重複。 右如上所論述，運動位準處於或高於臨限位準，則 刀析單70 42可繼續進行著重品質操作模式來分析該一或多 個候選參考圖框之品質且將所得品質得分與一品質臨限值 比較（86)。如上參看圖5所描述，舉例而言，品質得分計算 器58可基於由客觀度量檢查器50、EC檢查器52、QP檢查 器54及CBP檢查器56中之一或多者產生之品質得分計算總 品質得分。比較單元59可接著比較總品質得分且將其與品 質臨限值比較（86)。 若品質得分令人滿意，例如，大於或等於臨限值（86)， 則分析單元42可對圖框取代單元3 8指示該一或多個參考圖 框之選擇°舉例而言’選擇單元44可識別該一或多個參考 圖框用於由圖框取代單元38選擇用於在待添加之圖框的内 插（或外推）中使用。圖框取代單元38可接著（例如）藉由使 用該一或多個選定參考圖框内插或外推圖框而繼續執行圖 136783.doc -68- 200950528 框取代（90)。若候選參考圖框中無一者具有令人滿意（例 如，符合或超過品質臨限值（86))之總品質得分，則比較單 元59可對選擇單元44指示無參考圖框應被選擇。在此情況 下’選擇單元44可對圖框取代單元38指示應停用圖框取 代’且應應用圖框重複（92)而非圖框取代。 如圖7中所示’分析單元42可視情況經組態以分級具有 滿足品質臨限值之總品質得分的候選參考圖框（93)。舉例 e ❷ 而言’對於雙向内插，分析單元42可按品質位準之次序分 級先前候選參考圖框，按品質位準之次序分級未來候選參 考圖框，其中先前圖框在時間上在待添加之圖框前且未來 圖框在時間上在待添加之圖框後，且接著選擇分級最高之 先前圖框及分級最高之未來圖框用於在圖框取代中使用。 在於分級中得大體上同樣分之情況下，分析單元42可選擇 在時間上最靠近待添加之圖框的圖框。對於單向内插，視 是將先前還是未來圖框將用作參考圖框而定，分析單元42 可選擇分級最高之先前圖框或分級最高之未來圖框。作為 另一實例，在一些情況下，分級可用以選擇分級最高之圖 框用於圖框重複以及圖框取代。 二實施中，圖棍之選擇可經受由可靠性檢查器 進仃之MV可靠性分析，如參看圖5所描述。另外，在— 2施中’品質臨限值及/或其他準則或操作可在著重品 時，2著重資源模式之間變化。舉例而t，當資源有限 以需要I調整單元62可增加著重f源模式下之品f臨限值 需要較尚的内插品質來證明内插。 136783.doc -69- 200950528 圖8為說明用於支援用於根據著重品質模式之視訊圖框 内插之參考圖框選擇的參考圖框之品質分析之實例技術的 流程圖。大體而言，估計或分析候選參考圖框之品質。可 提供每—候選參考圖框之品質得分。候選參考圖框可為相 對於跳過之圖框的先前或未來圖框1 —特定參考圖框之 品質得分不大於或等於-臨限值’則不選擇其在視訊圖框 取代中使用。若參考圖框之品質得分足夠，則可選擇該參 考圖框在視訊圖框内插或外推中使用。在一些實施中分 ❹

析單元42可能需要與候選參考圖框相關聯之運動向量為可 靠的。舉例而1： ’若視訊圖框取代將運動補償預測方法用 於内插或外推’則可檢查運動向量。 如圖8之實例中所示’分析單以2可接連分析多個候選 參考圖框以識別用於圖框之内插或外推的包括先前圖框及 未來圖框之參考圖框。在自接收圖框緩衝器34擷取下一個 候選參考圖框（94)後，分析單元42即估計候選參考圖框之 品質（96)且計算品質得分（98)，例如，如上參看圖5所描 述。右得分令人滿意（例如，大於或等於品質臨限值 (100))，則比較單元59將候選參考圖框傳遞至皿乂可靠性檢 查器6〇以判定圖框之MV内容是否可靠（1〇2)。 若總品質得分不大於或等於品質臨限值（1〇〇)，則分析 單元42可將候選參考圖框設定至"關"以用於圖框取代之選 擇的目的（104)。在此情況下，選擇單元44不選擇"關”圖框 用於由圖框取代單元38進行的取代圖框之内插或外推。若 總品質得分大於或等於品質臨限值（1〇〇)且厘¥可靠性檢查 I36783.doc -70- 200950528 器60判定MV内容可靠（106)，則分析單元42可將候選參考 圖框設定至"開"用於圖框取代之選擇的目的（1〇6)。 若分析單元42尚未考慮所有候選參考圖框’亦即，宜尚 未到達在候選參考圖框之預界定之範圍中的候選參考圖框 之結尾（108)，則分析單元42摘取下_個候選參考圖框用於 ^ 分析。由分析單元42分析的候選參考圖框之數目可經預選 、 擇，且可包括相對於待内插或外推之圖框的一或多個先前 圖框及—或多個未來圖框，例如，如參看圖2A至圖扣描 述。當到達候選參考圖框之結尾（1〇8)時，選擇單元44可選 擇已設定至"開"之候選參考圖框⑴〇)且將選定圖框傳達至 圖框取代單元38。圖框取代單元38接著可内插或外推待添 加之圖框以使用該一或多個選定參考圖框執行圖框取代 (112)。 若不存在經設定至"開"的參考圖框或存在不足數目的 開圖框，則選擇單元44可指示應停用圖框取代，且圖框 φ 取代單元38應替代地對待添加之圖框應用圖框重複。在一 些實施中，可選擇性地啟用或停用FRUC單元22中之FRUc 過程。當啟用FRUC時，可對於待添加之每一圖框或選定 圖框在由視訊解碼器14接收之視訊序列中大體上連續地重 ' 複圖8中概述之過程。 又，如參看圖7所描述，圖8中展示之過程可包括分級操 作，其中分級滿足品質臨限值之候選參考圖框。在此情況 下，可選擇分級最高之圖框作為用於圖框取代之參考圖 框0 136783.doc -71 - 200950528 圖9為說明用於產生支援用於視訊圖框内插之參考圖框 選擇的參考圖框之品質得分之實例技術的流程圖。品質得 分可用以產生總品質得分，例如，如參看圖5所描2。大 體而言，作為初始步驟，可檢查每一參考圖框（相對於跳 過之圖框的未來或先前參考圖框）之平均讲值以及CBp ‘ 值。若QP值比臨限值小（例如，H.264寫碼中之較小的（^> - 值對應於較細量化步長），則可對參考圖框提供高品質得 分。對於較小Qp值對應於較粗量化步長之不同於h°°264 = 一些寫碼過程，相反情況可為真。 另外，可進行關於一個切片損失還是多個切片損失存在 於候選參考圖框中之判定。若不存在損失或若無錯誤隱藏 經應用，則可減少參考圖框之品質得分。若存在損失且隱 藏了錯誤，則可對參考圖框設定較高品質得分。在一些實 施中’可將客觀無參考視覺品質度量（諸如，區塊效應、 模糊性及/或滲色）應用至經重建構之候選參考圖框。若度 ❿ 4提^高結果’則可增加參考之總品質得分。若參考圖框 、有门的、ι。口質得分，則其可用於内插時間跳過圖框之過 程中。 如圖9t料，分析單元42自接㈣框緩衝器34操取下 一個候選參考圖框⑴4)，且分析該圖框之QP及CBP值。在 圖9之實例中，分析單元42基於以及咖值產生組合的基 於QP之得分。若QP值小於可適用之砂臨限值（Qp」h)且 值不等於零⑴6)，則分析單元42將該圖框之基於Qp之 传分設定至"高"（118卜若Qp值大於或等於QP臨限值 136783.doc -72- 200950528 (QP_th)或CBP值大致等於零（ii6)，則分析單元42將該圖 框之基於QP之得分設定至”低"（120)。 如在圖9中進一步展示，分析單元42亦可經組態以對候 選參考圖框檢查切片損失（122)。參看圖5,切片損失檢查 可由EC檢查器52執行。切片損失可自跨越頻道19之損失或 一些其他損失或資料之惡化產生。若存在切片損失，則分 析單元42可判定一充分的錯誤隱藏（EC)機制是否可用於校 正切片損失（124)。若否’則分析單元42將候選參考圖框之 基於EC之得分設定至，，低"（126)。若充分的EC機制可用 (124)，則分析單元42將基於EC之得分設定至"高，，（128)。 在此情況下’若可使用EC機制重現丟失之切片，則候選參 考圖框之品質可適合於用作用於圖框取代之參考圖框。然 而，若不可重現切片’則不應將候選參考圖框用於圖框取 分析單元42亦可將客觀品質度量應用至候選參考圖框 (130)。舉例而言，分析單元42可分析候選參考圖框之經解 碼且經重建構之版本以分析多種客觀度量中之任一者諸 如，區塊效應、模糊性、滲色或其類似者。因此，可在像 素域中應用客觀度量來評估視覺品質。分析單元42可量化 客觀度量中之每一者以用公式表示品質度量得分QM。若 品質度量得分QM大於一可適用之品質度量臨限值 (QM_th)(132) ’則分析單π 42將候選參考圖框之基於qm 之得分設定至"高"（Π4)。若品質度量得*QM小於或等於 品質度量臨限值（QM_th)，則分析單元42將基於qm之得分 136783.doc -73- 200950528 設定至"低"（136)。 分析單元42可基於基於qP之得分、基於EC之得分與基 於QM之得分之組合設定候選參考圖框之總品質得分 (138)。可將總品質得分與一臨限值比較以判定是否選擇該 候選圖框用於在圖框取代中使用。如參看圖5所描述，= 根據基於QP之得分、基於Ec之得分與基KQM之得分的加 權總和用公式表示總品質得分，丨中分析單元42可將不同

權重加至個別得分中之每一纟。獲得個別基於沙之得分、 基於EC之得分及基於QM之得分的次序可與圖9中展示之次 序不同。另外’圖9中展示的特定類型之得分可經受變 化。大體而ΊΓ，分析單元42可經組態以獲得指示候選參考 圖框將對具有可接受之品質位準的内插結果有影響之可能 性的品質得分。 圖10及圖11為說明用於在著重資源模式下的選擇性圖框 取代之實例技術之流程圖。在著重資源模式下，分析單元 42可使料動活動性作為㈣㈣定由參相框表示之視 =場景是否為靜態。可將零運動向量計數及/或小運動向 量计數用作決策準則。大體而言，可按兩個方式導出臨限 ^舉例而言’在非適應性情況下，可使用用於零運動向 量計數之固定臨限值及用於小運動向量計數之岐臨限值 來判斷運動活㈣。在適應性情況τ，可基於（例如）解碼 器14之資源位準(諸如，可用之電力、計算資源或記憶體 之位準）調整臨限值中之一或兩者。 大體而言，當在圖框取代與圖框重複之結果之間不存在 136783.doc -74- 200950528 實質的可感知之差異時，例如，當内插與圖框重複之間的 差異不足以證明内插之使用（例如，鑒於在與解碼器Η相 關聯之裝置内的電力、計算或記憶體約束）時，著重資源 模式可為斷開（亦即，停用）内插或外推的選擇性圖樞取代 之可選模式。然而，當運動活動性顯著時，解碼器丨4可實 際上回復至著重品質模式以選擇用於圖框取代之參考圖 、框0 在一些實施中，可將著重資源模式表徵為電力節約模式 ❿ 或電力最佳化選擇性FRUC模式.在著重資源模式下，'; 將運動活動性用作量測來決定視訊場景是否為靜態。若演 算法判定場景為靜態，則可將簡單的圖框重複技術而非大 體叶算上更密集且消耗更多電力之視訊圖框取代用於 FRUC。然而，若視訊場景並非大體靜態，則圖框取代可 比圖框重複更理想。 為了判定場景是否為靜態，可分析當前錫定圖框之運動 φ 向量以做出關於是啟用還是停用視訊圖框内插或外推之決 策。運動向量可直接自位元流使用、在解碼器14中之位元 流運動向量之處理後獲得，或自解碼器14之運動估計模組 獲得。在一些情況下，用於運動分析的運動向量中之一些 • 可為用於内插或外推之相同的運動向量。錨定圖框可為鄰 近於待添加之圖框的圖框，諸如，緊鄰於待添加之圖框或 接近待添加之圖框的先前或未來圖框。基於此分析，分析 單元42可做出關於是啟用還是停用對目前在考慮中的圖框 之視訊圖框内插的決策。在一實例中，在該圖框中存在的 136783.doc •75· 200950528 零運動向量之數目可用作決策準則。 ❹ ❹ 零運動向量為具有零或大體上零值之運動向量。舉例而 吕，在一些實施中，具有低於臨限值之值的運動向量可被 考慮為零運動向量。在一些實施中’運動向量可為來自位 疋流嵌入式運動向量的經處理之值。運動向量計數 (亦即，零值運動向量之數目）大於一臨限值，則可判定場 ”為靜〜、在該清況下，停用視訊圖框内插。對於靜態場 景，可使用圖框重複。藉由使用模式決策資訊（例如，框 内或框間寫碼模式決策資訊），τ添加進一纟的增強。舉 例而言’可計數用於非框内寫瑪之巨集區塊的零運動向量 之數目以獲得更精確的零運動向量計數。 在另一實例中，除了零運動向量計數之外，可將小運動 向量計數用作決策準則。小運動向量可為具有低於一預定 臨限值的值之非零運動向量。添加小運動向量計數之一原 因在於（例如）一些場景（即使其可能具有大量由零運動向量 指示之靜態巨集區塊)亦可含有相對小量的快速移動物 件’諸如’投擲出去的球、飛翔的鳥或經過的車輛。快速 進入或離開在-系列視訊圖框上之視訊場景的新物件可在 圖框中產生顯著的運動活動性。 儘管快速移動的物件可佔據整個圖框之小部分，但將其 内插於FRUC產生之圖框中以保持時間品質可為重要的。 因此，可添加視小運動向量計數（例如，小運動向量計數 臨限值）而定之第二準則以確保在停用圖框内插時，場景 絕對靜態。此外’此準則可隱含地說明快速移動的小物件 136783.doc •76- 200950528 問題。 Ο

在圖10之實例中，運動分析器64計數圖框中的零值運動 向量之數目以產生零運動向量計數（Zmv_e)( 14〇)。大體而 §，圖框中之每一巨集區塊具有一運動向量。若巨集區塊 之運動向量具有零值（指示無移動），則將該運動向量當作 零運動向量。又，在一些情況下，若一運動向量具有低於 一臨限值之小的非零值，則可將其當作零值運動向量。在 任-情況下’ -旦計數零運動向量之數目，則運動分析器 64判定零運動向量之數目（亦即，零Mv計數Zmv—c)是大於 還是等於-可適用之臨限值Th(142)n則視訊場景 相對靜態。在此情況下，運動分析器64將應停用内插或外 推及圖框取代單元38㈣代地將圖框重複應詩待添加之 圖框傳達至選擇單元44(144)。如先前所提及，圖框重複可 使用選擇最靠近的先前或未來圖框之簡單方案，或使用基 於品質之方案來選擇較高品f參考圖框作為所重複之圖 框0 若零MV計數Zmv_c小於臨限值〇42)，則運動分析器μ 將應執行圖框取代（146)傳達至選擇單元料。在此情況下， 可^或可以執行内插（或外推），作為由分析單Μ執行 二口口析的結果’經受—或多個合適的參考圓框之選 當場景並非靜㈣，若具有用於内插之足夠 ::的=可用’則分析單元42可回復至著重品質模式以 =圖Γ 圖框。若品質分析產生一或多個合適的 則選擇單元44可將選定圖框傳達至圖框取代單 136783.doc •77· 200950528 元38用於在待添加之圖框的内插中使用。 臨限值Th(142)可為以的。或者，可基於視訊解碼器 之可用圖框取代資源（諸如，電力位準、計算資源位準 及/或記憶體資源位準）調整臨限值Th。如圖1〇中所示，在 著重資源模式下’分析單元42可視情況㈣—資源位準 (143)且基於所彳貞測之資源位準調整臨限值45)。舉例 而言，分析單元42可判定可用電力資源（諸如，電池位準） 及/或可用計算資源、每秒可用之指令的數目及/或可用& 憶體資源。可(例如)基於計算操作與資源消耗之間的已知 關係直接偵測或估計資源位準。在行動裝置之情況下，若 電池資源低，則分析單元42可減小臨限值Th，使得當存在 大量的運動時啟用圖框取代。在任一情況下，不管臨限值 是固疋還疋可調整的’若啟用圖框取代則分析單元仏可 應用-或多個品質準則以選擇參考圖框或停用圖框取代。 在圖11之實例中’運動分析器基於零計數及小 計數兩者分析運動。如圖11中所示，運動分析器64計數圖 框中的零值運動向量之數目以產生零運動向量計數 (Zmv一c)(148) ’且計數圖框中的小運動向量之數目以產生 小運動向量計數（SmV_c)(15())e小運動向量可為具有低於 一臨限值之非零值的運動而县 動白量。甚至當存在佔優勢的零運 動向量時，亦可存在多個非零運動向量，包括小(在其具 有低於Γ臨限值之值的意義上）的非零運動向量（在本文中 稱作J運動向量）。小運動向量可與一或多個小移動物件 相關聯，諸如，球、鳥、汽車或其類似者。運動分析器64 136783.doc •78· 200950528 將零MV計數（Zmv_c)及小MV計數（Smv_c)分別與各別臨限 值Thl及Th2比較（152)。 若零MV計數（Zmv_c)大於或等於臨限值Thl且小MV計數 (Smv_c)小於臨限值Th2，則運動分析器64指導選擇單元44 指示應應用圖框重複而非圖框取代（154)。在此情況下，超 過臨限值Th 1的零ΜV計數指示由圖框呈現之視訊場景大體 為靜態。同時’小於臨限值Th2的小MV計數指示不存在在 由圖框呈現之視訊場景内的顯著小物件移動。鑒於圖框之 大體靜態内容，圖框重複為適當的。 若零MV計數（Zmv_c)小於臨限值Thl或小Mv計數 (Smv_c)大於或等於臨限值Th2，則運動分析器㈠指示應執 行圖框取代（1 56)，其經受作為由分析單元42執行的品質分 析之部分的參考圖框之選擇。在此情 >兄下，小於臨限值 Thl之零MV計數指示視訊場景包括顯著的運動。 即使零MV計數不小於臨限值Thl，圖 ，圖框亦可包括將藉由

當的。

136783.doc 圖U中之臨限值Thl 源而調整。詳言之， 、Th2可為固定 可基於所判定 •79- 200950528 之資源位準調整臨限值Thl、Th2中之一或兩者。如圖^中 所不在著重資源模式下’分析單元42可視情況偵測一資 原位準（143)且基於所彳貞測之資源位準調整臨限值（⑷）。 又刀析單疋42可偵測或估計可用電力資源（諸如，行動 裝置中之電池位準）及/或可用計算資源、每秒可用之指令 的數目及/或可用s己憶體資源。舉例而言，若電池資源 低則刀析單元42可減小臨限值Th i且增加臨限值Th2，使 得當存在大量運動時啟用内插。 在些情況下’用以將運動向量分類為小運動向量之臨 限值可為固定的或可基於格式大小而調整。如上所論述， 小運動向量可為具有低於一特定臨限值之值的非零運動向 量。在一些實施中’用以判定非零運動向量是否小之臨限 值可基於正經解碼及内插或外推的視訊單元之格式大小而 調整。舉例而言，小運動向量可由用於具有逐漸更大的格 式大小之QCIF、CIF、QVGA及VGA圖框之不同臨限值分 類。CIF圖框之小運動向量臨限值之值可小於VgA圖框之 小運動向量臨限值的值。詳言之，考慮到較大格式圖框之 較大總大小，可將運動向量量值在較小格式圖框中考慮為 大，但在較大格式圖框中考慮為小。因此，在一些實施 中，運動分析器64可基於正經内插或外推的視訊單元之格 式大小而調整小運動向量臨限值。舉例而言，用於較小格 式圖框之小運動向量臨限值可小於用於較大格式圖框之小 運動向量臨限值。 圖12為說明經組態以選擇性地啟用或停用取代圖框之顯 136783.doc -80- 200950528 Γ、（ 1基於或多個品質特性之分析）的視訊解碼器158 實例的方塊圖。舉例而言’如將描述’視訊解碼器 8可I組態以分析與藉由在視訊解碼器中之圖框速率增 頻轉換過程產生的經内插或經外推之視訊圖框相關聯之一 多個特& ’且基於該分析選擇性地啟用及停用經内插或 經外推之視訊單元在顯示器上的呈現。 、分析可涉及廣泛多種品質特性中之任一者的分析。品質 特性可包括像素域特性、變換域特性及/或運動向量可靠 )生中之至少一者。該一或多個品質特性可用以用公式表示 包括空間品質度量、時間品質度量或其他度量之品質度 置。此等品質度量可在預測經内插或經外推之圖框對視訊 序列之視覺空間及/或時間品質的影響(當藉由顯示器呈現 給使用者時）過程中有用。若與取代圖框相關聯之品質位 準不滿足品質臨限值，則解碼器158可經組態以選擇性地 停用取代圖框之顯示，即使取代圖框已經内插或外推亦如 此。 與取代圖框相關聯之品質位準可基於取代圖框自身之品 質位準。在一些實施中，品質位準可基於用以内插或外推 取代圖框的一或多個參考圖框之品質位準。在其他實施 中，品質位準可基於取代圖框及用以產生取代圖框的一或 多個參考圖框之品質位準。在每一情況下，品質位準可大 體指示可藉由顯示取代圖框而達成的視覺品質之增強的程 度。 甚至當取代圖框已經内插或外推時，仍可能需要選擇性 136783.doc -81 - 200950528 分用在視訊解碼器中的取代圖框之傳輸及顯示。舉例而 言，儘管已執行内插或外推’但藉由顯示取代圖框所產生 的視覺品質可能不足以證明用於取代圖框之傳輸及顯示的 額外貝源之耗費。實情為，拋棄取代圖框且重複鄰近圖框 (例如，藉由在較長的時間週期内固持顯示中之圖框，而 #傳輸新圖框)可能更理想，藉此節省將有必要用來顯示 取代圖框之電力或其他資源。在一些實施十除了選擇性 _ ☆圖框之傳輸及顯示之外，視訊解碼器158亦可 停用或多個後處理操作’諸如，對取代圖框之變平滑、 清晰、亮度控制及/或對比度增強以節省額外資源。 在圖12之實例中’視訊解碼器158包括：—接收圖框緩 衝器160 ’其（例如）自編媽器12接收經編碼之圖框24; 一解 碼單元162,其解碼所接收之圖框；—輸出圖框緩衝器 164’其儲存經解碼之圖框；—取代單元—，其藉由内插 或外推而執行圖框取代以將圖框添加至輸出圖框緩衝器 ， 且藉此支援職過程；及一選擇性顯示分析單元 168。分析單元168可經組態以產生信號或命令。回應於來 自分析單元168之信號或命令’控制單元172可選擇性地啟 用或停用取代圖框自視訊緩衝器（諸如，輸出圓框緩衝器 I64)至顯示器丨7〇以用於對使用者視覺呈現之傳輸。在一 些態樣中，當解碼器158處於著重資源模式下（例如，如參 看圖4、目5及圖7所描述）時，可選擇性地啟動分析單元 168。或者，在其他實施中，選擇性顯示分析單元⑹可定 期地操作以選擇性地啟用或停用由取代單元166在有或無 136783.doc -82- 200950528 選擇性啟動之情況下產生的取代圖框之顯示。 取代單元1 66執行圖框取代（諸如，圖框内插或外推）以 將圖框添加至儲存於輸出圖框緩衝器164中之輸出圖植且 藉此支援FRUC過程。視訊解碼器158可能或可能不應用參 考圖忙選擇技術（如在本揭示案中其他處所描述）來選擇特 疋參考圖框用於由取代單元166在取代圖框之内插或外推 ' 巾使用。在—些‘態樣巾，取代單元166可基於一或多個參 相框之分析來選擇彼等圖框，或僅使用-或多個鄰近圖 框’來產生取代圖框。然而，在任—情況下，分析單元 168可經進一步組態以分析與取代圖框相關聯之品質位準 以判定是否顯示取代圖框。與取代圖框相關聯之品質可包 括與取代圖框自身相關聯之一或多個品質特性、與用以内 插或外推取代圖框之參考圖框中的一或多者相關聯之一或 多個w質特性’或兩者之組合。為了分析品質分析單元 168可將客觀品質度量應用至取代（例如，經内插或經外推） 珍 圖框及/或用以内插或外推取代圖框之參考圖框。 分析單元16 8可指導控制單元丨7 2基於品質分析選擇性地 啟用或停用來自輸出圖框緩衝器164之取代圖框經由顯示 器170的顯示。舉例而言，若用以產生取代圖框之一或多 個參考圖框之品質及/或取代圖框自身之品質不滿足可適 用之品質臨限值，則分析單元168可指導控制單元172停用 用於在顯示器170上呈現的來自輸出圖框緩衝器164之經内 插之圖框的傳輸。然而，若品質係可接受的，則選擇性顯 示分析單元168可指導控制單元172啟用至顯示器17〇以用 136783.doc •83- 200950528 於經由顯示器170對使用者呈現的經内插或經外推之圖框 之傳輸。以此方式，當取代圖框之品質不令人滿意時，視 訊解碼器158可避免顯示取代圖框的額外資源之耗費。 當未將一取代圖框發送至顯示器17〇時，可（例如）藉由 用隨後經解碼'内插或外推之圖框覆寫該圖框而將其自輸 出圖框緩衝器164拋棄。在此情況下，顯示器17〇可僅重複 ' 自輸出圖框緩衝器164發送至顯示器之先前圖框（例如，藉 由在較長的時間週期内固持顯示中之先前圖框），或傳輸 ^ 且重複（例如，固持）跟在取代圖框後之下一個圖框。在此 情況下，顯示器170可在額外的時間週期内顯示先前圖 才匚而非在彼時間期間顯示取代圖框。藉由使用圖框重 複，視訊解碼器159可避免傳輸且顯示取代圖框之需要， 藉此節省電力及/或其他資源，如上所提及，可單獨或結 合如在本揭示案中其他處所描述之參考圖框選擇技術使用 取代圖框之選擇性顯示。 0 分析單元16 8可經組態以分析與由取代單元丨6 6產生之取 代圖框相關聯的多種品質特性中之一或多者。在一些實施 中，由分析單元168分析之品質特性可類似於由圖5之客觀 度ϊ檢查器50評估之品質特性。舉例而言，分析單元 可經組態以分析與由取代單元166產生之取代（例如，經内 插或經外推）圖框相關聯之像素值，或與用以產生取代圖 框之一或多個參考圖框相關聯之像素值，以判定與此等圖 框，關聯的區塊效應、模糊性、滲色或其他客觀空間品質 度量之程度，且基於該判定產生品質得分。 136783.doc • 84 - 200950528 因此，可藉由分析在像素域中由取代單元166產生之取 代圖框或藉由分析在像素域中由解碼單元162產生的經解 碼、經重建構之參考圖框或兩者之組合來執行品質分析。 在分析參考圖框之實施中，參考圖框可為用以内插或外推 取代圖框之參考圖框。當在由取代單元166產生的一特定 ' _插或經外推之取代®框中（或在㈣產生該圖框之一 - 或多個參考圖框中）偵測到實質的區塊效應、模糊性及/或 纟色時，該取代圖框之品質得分可為低，且當大體上不存 纟區塊效應、模糊性及，或滲色時，品質得分可為高。 不同取代圖框之品質得分可隨此等客觀視覺品質度量特 性而在高與低之間變化。或者，可基於與一預定臨限值之 比較將品質得分表達為高或低。在任一情況下若取代圖 框之品質得分不滿足(例如，小於)品質臨限值，則分析單 元168可指導控制單幻72停用圖框自輸出圖框緩衝器⑹ 至顯示器170之傳輸。或者，若取代圖框之品質得分滿足 0 (例如，大於或等於）臨限值，則分析單元168可指導控制單 元172啟用取代圖框自輸出圖框緩衝器16 用於對使用者呈現之傳輪。 如上所述’分析單元168可藉由分析取代圖框之像素 值、用以藉由内插或外推產生取代圖框的一或多個參考圖 框之像素值，或在取代圖框附近的一或多個其他圖框之像 素值來分析與取代圖框相關聯之品質特性。若分析參考圖 框’則取代單元166可對分析單元168指示哪—或哪些 圖框用以内插或外推一特定取代圖框。 136783.doc -85- 200950528 使用像素值（如上所述），分析單元168可分析與取代圖 框及/或用以產生取代圖框之一或多個參考圖框相關聯之 一或多個空間品質度量，諸如，SSIM、區塊效應、模糊 性及/或滲色度量。在一些實施中，其他或另外，可將像 素值分析應用至在時間上接近取代圖框之其他圖框（除了 參考圖框或取代圖框之外或作為對參考圖框或取代圖框之 替代）°若取代圖框、參考圖框或另一附近圖框之空間品 質度量不滿足可適用之臨限值，則分析單元168可指導控 制單元172停用取代圖框之顯示。 作為一簡單說明，若由與取代圖框相關聯之像素值呈現 的區塊效應之量超過一臨限值，則分析單元168可停用取 代圖框之顯示。以此方式，解碼器158可避免顯示可不利 地衫響品質之取代圖框，或提供不足以證明額外顯示資源 之耗費的品質增強之取代圖框。 作為一替代或額外操作，對於品質分析，分析單元 可刀析一或多個時間品質度量，諸如，空間品質度量之時 間波動。舉例而言’分析單元168可分析在取代圖框與用 以内插或外推該取代圖框之一或多個參考圖框之間的*門 品質（例如，SSIM、區塊效應、模糊性及/或滲色）之 動。若時間品質波動大於一波動臨限值，則分析單^波 可指導控制單元172停用取代圖框之顯示。 分析單元168可單獨或結合空間品質度量自身考庹 / 多個空間品質度量之時間波動。舉例而言，若* μ或 量或睥„ 0粗Λ旦 工·间品質度 飞呀間品質度量不滿足可適用之臨限值， 則分析單元 J36783.doc -86 - 200950528 分析單元168可基於空 168可停用取代圖框之顯示。或者 且將該和與一 間品質與時間品質值之加權總和計算得分， 複合臨限值比較。 作為進-步改進，在—些實施中，分析單以68可經組 態以分析在取代圖框、參考圖框或其他附近圖框内的假影 之位置。假影可為可由在所顯示之圖框之特定區域化區域 中的區塊效應、模糊性或滲色產生之不良可視特徵。分析

單元168可分析圖樞之總體區塊效應、模糊性或滲色，或 在圖框之區域化區域之情況下考慮此等特性。舉例而言， 分析單元168可分析一圖框之區域化區域（例如，3乘3像素 區域）之像素值方差，以產生在此等區域中的紋理之指 不。大體由低方差指示之平滑區域可更易於受到由區塊效 應、模糊性、滲色或其他假影引起的可視假影之影響。然 而，此等假影可在具有更多紋理之較高方差區域中不太可 視。 分析單元168可產生圖框内之多個區域化區域之區域化 空間品質度量，作為圖框之空間品質度量的替代或除了圖 框之空間品質度量之外。若一圖框之區域化空間品質度量 不滿足在平滑區域中之任一者中的可適用之臨限值，在該 情況下假影將更可視，則分析單元168可停用取代圖框之 顯示以減少或避免可視假影之呈現。然而，若區域化空間 品質度量不滿足僅在具有更多紋理之較高方差區域中之品 質6»限值，則分析單元168可准許取代圖框之顯示，其伴 隨有在此等區域中假影將對使用者不可視或較不可視之認 136783.doc 87· 200950528 知。作為另一替代例，分析單元1 6 8可將不同臨限值用於 不同區域化區域。在一平滑低方差區域中，分析單元168 可使用較高品質臨限值，實際上，需要較高品質來減少或 避免可視假影之引入。在較高方差區域中，分析單元168 可使用較低品質臨限值，從而在僅或大體上僅在高紋理區 ' 域中出現顯著假影時准許取代圖框之顯示。 、 分析單元I68可掃描圖框以分析如上所述之區域化區 域。若區域化區域中之任—者或—預定百分比的區域化區 ® 域展現低方差（低於一方差臨限值）及低品質度量（低於一品 質臨限值）兩者，其可指示所顯示之圖框中的可視假影之 可能性，則分析單元168可指導控制單元172停用取代圖框 之顯示。預夂百分比可為固定或適應性之臨限值。在其他 實施中，分析單元168可經組態以（例如）藉由考慮具有低紋 理及低•《質兩者之區域化區域是否鄰接而分析假影可為可 視的區域之大小。因此，分析單元168可分析相對於一百 β 分比臨限值之一百分比的具有顯著假影之所有區域化區域 及/或相對於—大小臨限值之該等假影（例如，由低品質/低 紋理區域指示）中任一者之大小以判定是啟用還是停用取 代圖框之顯示。 另外或其他，分析單元168可使用其他類型之資料（諸 如才曰不與用以内插或外推取代圖框的參考圖框相關聯之 運動二：!：之可靠性的資料)分析與取代圖框相關聯之品 質。可由分析單元168用於品質分析之資料的其他實例包 括經壓縮之域資訊，諸如，關於與用於取代圖框之内插或 136783.doc •88· 200950528 —或多個參相框相關聯的離散餘弦變換（DCT)或 CBp=換係數之資訊。經壓縮之域資訊可包括（例如）QP及 :如圖12中所示’在一些實施中分析單元⑹可 碼早7L162接收QP及CBp值。砂及/或cBp值可與用以 内插或外推取代圖框之參考圖拖相關聯。使用QP、CBP值 及/或其他經壓縮之域資訊，分析單元168可分析取代圖框 之品質。

作為—實例，分析單元168可按類似於上述方式（例如， 參看圖5及圖8)之方式評估運動向量可靠性。若一或多個 參考圖框之運動向量可靠性不令人滿意，則分析單元168 可指導控制單元172停用取代圖框之顯示4析單元168可 (例如）按類似於以上關於圖5iMv可靠性檢查器6〇描述之 方式的方式應用用於判定運動向量可靠性之多種技術中之 任者，諸如，基於運動差之方法、圖框至圖框運動改變 偵測方法或基於運動軌道之方法。分析單元168可單獨或 結合本文中描述之其他品質度量（例如，包括像素域品質 度量、時間度量或區域化度量）考慮運動向量可靠性，以 判定是啟用還是停用取代圖框之顯示。 如上所述，分析單元168可基於經壓縮之域資訊（諸如， 與用以内插或外推取代圖框之參考圖框相關聯的qP及/或 CBP值）分析品質。可（例如）藉由剖析與所接收之圖框相關 聯的位元流自接收圖框緩衝器160中的參考圖框獲得經壓 縮之域資訊。作為一實例’分析單元168可經組態以按類 似於關於圖5之QP檢查器54及CBP檢查器56及品質得分計 136783.doc -89- 200950528 算器58及在圖9之流程圖中說明之過程描述之方式的方式 分析與參考圖框相關聯之QP及/或CBP。若QP及CBP值（例 如）藉由將QP與QP臨限值QP—th比較且判定CBP值是否為非 零（如圖9中所示）而指示參考圖框之相對高品質，則分析單 元168可指導控制單元172啟用使用有關參考圖框内插或外 推的取代圖框之顯示。然而，若qP及Cbp值指示低品質， 則分析單元168可指導控制單元172停用取代圖框之顯示。 經壓縮之域資訊及MV可靠性之分析可由分析單元168單

獨或結合其他品質資訊（諸如，空間品質資訊或時間品質 資訊）使用來判定是否顯示取代圖框。在一些實施中，分 析單元168可經組態以組合分析多種品質資訊。舉例而 έ，分析單元168可分析像素域中之客觀空間及/或時間品 質度量（例如，SSIM、區塊效應、模糊性及滲色及/或相關 聯之時間波動），以及變換域資訊（諸如，Qp及CBp值）及可 能錯誤隱藏（EC)可靠性資訊以產生品質得分’且接著應用 運動向量（MV>可靠性分析以判定是否顯示品質得分可接受 之取代圖框。 對於錯誤隱藏㈣可靠性，分析單元168可應㈣似於 關於圖5之EC檢查器及圖9之處理器描述之分析的财 析。舉例而言，分析單元168可分析用以產生取代圖框之 一或多個參考圖框且判定是否存在切片損失1是，則分 析单元168可判卜合適的EC機制是否可用。若不存在合 適的EC機制，則分析單元1可指- 知導控制單疋172停用由顯 心0進行的取代圖框之顯示。然而，若可㈣之Ec:機 136783.doc 200950528 失㈣機可准許取代圖框之顯示。切片損 停用取代圖框1顯執行料詩選擇性地啟用或 如，空間品質、時間品質運：合其他品 之分析而執行。 運動向量可靠性或其類似者) 八：單：實施中分析單元168可經組態以按類似於圖5之 刀析單心2之方式操作，除了分析單

❹ 取代圖框而非判定是丕、$裡〗疋龙否顯不 內奸…Α X否選擇-或多個特定參考圖框用於在 =:!取代圖框過程中使用以外。值得注意，由於取 代圖框已由取 圭· 代單①166產生’所以除了分析-或多個參 品質㈣之外或作為分析—或多個參考圖框之品 質特性的替代，公& g 単疋68可为析像素域中的取代圖框 人—^質特性。舉例而言’分析單元⑽可單獨地或結 «〆多個參考圖框之品質及’或運動向量可靠性來考慮 取代圖框之品質。或者，分析單元168可在不考慮取代圖 框之品質的情況下考慮參考圖框之品質及/或運動向量可 靠性》 當取代圖框很有可能有利地對視覺及/或時間品質有影 響時^在選擇性地將此等圖框提供至顯示器m的過程 中’分析單元168可為有效的。即使已執行内插或外推， 若品質位準不證明需要用來傳輸及顯示圖框之額外資源， 則拋棄圖框仍可為有利的。可能需要大量的電力來將取代 圖框自輸出圖框緩衝器164傳輸至顯示器17〇。 大體而言，分析單元168可經組態以分析藉由由視訊解 136783.doc 200950528 碼器158中之取代單元166執行之FRUC過程產生的經内插 或經外推之視訊圖框之一或多個品質及/或運動特性。基 於該分析，分析單元168可指導控制單元172選擇性地啟用 及停用用於在顯示裝置17〇上呈現的經内插或經外推之視 訊圖框之傳輸。儘管可針對質分析來分析諸如ssim、 區塊效應、模糊性及/或滲色之客觀視覺品質度量特性， 、 但可使用其他品質度量。 在些態樣中，解碼器15 8可經組態以在不同模式下操 ® 作在第一模式（諸如，著重資源模式）下，解碼器158可 (例如）經由控制單元172基於品質分析選擇性地啟用及停用 用於在顯示裝置17〇上顯示的經内插或經外推之視訊圖框 之傳輸。在第二操作模式下，解碼器158之控制單元172可 在不執行品質分析之情況下或不考慮品質分析之結果啟用 用於在顯示裝置1 70上呈現的經内插或經外推之圖框之傳 輸。 • 分析單元168亦可經組態以考慮在過去一系列^^個先前取 代圖框上已停用顯示的取代圖框之數目’其中N表示大於 一之數。若（例如）歸因於品質特性尚未顯示最後N個圖框 中大於預定數目或百分比]VI的先前取代圖框，則分析單元 168可啟用當前取代圖框之顯示。在此情況下，可顯示當 前取代圖框，即使其可能不滿足可適用之品質臨限值亦如 此。以此方式，分析單元168可避免跳過長系列的取代圖 框之顯示。 或者’替代於啟用顯示，分析單元168可減小用於當前 136783.doc •92- 200950528 取代圖框之一或多伽、& 兄夕個可適用之品質臨限值，使得取代圖框 具有被顯示之較高機率。因a，在任-I兄下，分析單元 168可至；部分基於在預定數目個先前圖框上尚未顯示的 取代圖框之數目判定是否啟用當前取代圖框之顯示。作為 _說明’若考慮中的先前取代圖框之數目為N=1G，且未顯 丁的圖框之臨限值數目Μ為5，則若在最後1G個圖框中的 ’頁示之圖框之數目為5或更大，則分析單元168可指導控 制單兀172准許當前取代圖框之顯示。 **、、進在些實施中’並不考慮最後Ν個取代圖框 中尚未顯示的取代圖框之絕對數目’分析單元168可考慮 尚未顯示的連續取代圖框之數目。舉例而言，分析單元 168可應用連續計數臨限值Μ。若（例如）歸因於品質特性尚 未顯不先前Μ + 1個連續取代圖框，則分析單元可指導控 制單το 172啟用當前取代圖框之顯示。分析單元168可應用 廣泛多種臨限值方案中之任一者來基於先前取代圖框之未 顯示判定是否應顯示一當前取代圖框。因此’提供此描述 以用於說明之目的且無限制。 圖13為說明用於選擇性顯示取代圖框之實例技術之流程 圖。圖12之解碼器158可經組態以執行圖13之技術。如在 圖13中所示，解碼器158可接收輸入視訊圖框（174)、解碼 圖框（176)且執行圖框取代（178)以使用所接收之圖框中之 一些作為用於内插或外推之參考圖框來產生取代圖框。一 分析單元（諸如，提供於解碼器158中之分析單元168)可分 析取代圖框中之全部或一些的一或多個品質特性（〗8〇)。在 136783.doc •93· 200950528 一些實施中’分析單元可經提供於視訊解碼器i58、視訊 後處理單凡中，或視訊顯示處理單元（諸如，行動顯示處 理器_Ρ))中。舉例而言，分析單元168可分析由取代單 凡⑹產生的經内插或經外推之圖框中之各種客觀品質特 性，諸如，SSIM、區塊效應、模糊性或滲色。 若取代圖框之品質滿足—品f臨限值，例如，大於或等 於品質臨限值（182)，則分析單元168可（例如）藉由啟用圖 框自輸出圖框緩衝器164至顯示器⑺之傳輸而指導控制單 元172啟用取代隸之顯示（184)。若品質不滿足品質臨限 值（182)，例如，小於或等於臨限值，則分析單元168可指 導控制單元！72停用取代圖框之顯示〇86)。在一些情況 下，可（例如）基於可用資源而適應性地調整品質臨限值。 因此，當取代圖框之品質不令人滿意（例如，相對於預界 定之臨限值品質位準）時，即使已耗費了一些資源來產生 取代圖框，解碼器158亦可避免額外資源之消耗。 ❹ 在圖13之實例中，分析單元168可經組態以分析取代圖 框自身之品質以判定是否顯示彼取代圖框。因此，在一些 情況下，可能不存在分析其他圖框之需要。然而，在其他 實施中，分析單元168可分析用以產生取代圖框的一或多 個參考圖框之品質作為用於判定是否顯示取代圖框之基 礎。如由區塊188指示，分析單元168可視情況單獨或結合 取代圖框之品質的分析來分析一或多個參考圖框之品質。 取代圖框之品質分析可大體涉及取代圖框之像素域值之分 析。如上所述，參考圖框之品質分析可涉及像素域值、變 136783.doc •94· 200950528

❹ 換域值、MV可靠性、EC可靠性或及其類似者之分析β 圖14Α為說明可與如圖12中所示之視訊解碼器ι58 一起使 用的分析單元168之方塊圖。在圖14Α之實例中，分析單元 168經組態以使用用於取代圖框之客觀一或多個品質度量 分析與取代圖框相關聯之品質。舉例而言，客觀产量檢杳 器173可分析客觀空間品質度量’諸如，取代圖框之 SSIM、區塊效應、模糊性或滲色。可（例如）自取代圖框之 像素值獲得此等度量。在一些實施中，客觀度量檢查器 173可整體或基於區域化區域來分析圖框。品質得分計算 器175可基於該一或多個客觀品質度量產生品質得分。比 較單元177可將品質得分與一臨限值比較以判定是啟用還 是停用取代圖框之顯示。若品質得分滿足品質臨限值，則 比較單元177可指導控制單元172准許經由顯示器17〇顯示 取代圖框。若品質得分不滿足品質臨限值，則比較單元 177可指導控制單元172停用取代圖框之顯示。在此情況 下，一先前或未來圖框（而非該取代圖框）可由顯示器17〇重 複。 圖ΗΒ為說明可與如圖12中所示之視訊解碼器158 一起使 用的另-分析單元168之方塊圖。在圖ΜΑ之實例中分析 單元168經組態以直接分析取代圖框之品f。在圖之實 例中，分析單元168可經組態以分析參考圖框之品質、取 代圖框之品質或兩者之組合。另夕卜，在圖"Β中，分析單 元168可經組態以分析像素值、變換域值、運動向量及/或 其他類型之資訊。大體而言，可以稍類似於圖5之分析單 136783.doc -95- 200950528 元42之方式組態分析單元168。舉例而言，分析單元i68可 包括一客觀度量檢查器173、品質得分計算器175、比較單 元177、EC檢查器179、一 QP檢查器181、一 CBp檢查器 183及一 MV可靠性檢查器185中之一或多者。 客觀度量檢查器173可分析一取代圖框及/或用以產生該 取代圖框之一或多個參考圖框以產生客觀空間品質及/或 、時間品質之指示，如上所述。在一些實施中，客觀度量檢 查器173可整體或基於區域化區域來分析圖框。Ec檢查器 β I79可偵測切片損失，且判定可接受之EC機制是否可用。 QP檢查器181及CBP檢查器183可基於參考圖框之Qp&CBp 值產生品質之指示。 在一些實施中，品質得分計算器175可（例如）按類似於 參看圖5及圖9描述之方式的方式計算總品質得分用於在取 代圖框之選擇性顯示中考慮。可對每一取代圖框重設品質 得分。然而’若已對先前取代圖框分析之品質度量對當前 @ 取代圖框有用，則可將其保留且重使用。作為一實例，若 將同一參考圖框用於另一取代圖框，則可重使用已經判定 用於一用於一取代圖框之内插或外推的特定參考圖框之QP 及CBP資料、MV可靠性資料或EC可靠性資料。 • 品質得分計算器17 5可經組態以基於客觀度量檢查器 173、EC檢查器181、qp檢查器181及CBP檢查器183中之 一或多者之輸出產生一候選參考圖框之總品質得分。按類 似於參看圖5及圖9描述之過程的方式，由客觀度量檢查器 173、EC檢查器181、qp檢查器181及CBP檢查器183產生 136783.doc -96- 200950528 的個別得分可簡單地經 或低品質值，或按昭眾多=或低品質值，或高、中等 品質彳β八斗管w ，、、、多荨級或大體上連續的級別計算。 中之：：：一盗175可使相等或不均勻的加權與個別得分 權總和。―致’例& ’使得總&質得分為所有得分之加 用以計算總得分之品質特性（例如，客觀度量、EC特 性、QP及CBP特性）可指示取代圖框是否有可能產生可接 ❹ ❹ 党之視覺品質位準(當由顯示器17〇呈現時”比較單元”7 可將總得刀與一品質臨限值比較。若總得分令人滿意(例 如符σ或超過品質臨限值），則比較單元i 77指示取代圖 框具有對於由顯示器17〇呈現係可接受的品質位準。若總 得分小於品質臨限值’則比較單元177判定該取代圖框對 於由顯示器170呈現係不可接受的。在每一情況下，分析 單元168可接著繼續分析下一個取代圖框之選擇性顯示的 品質。 即使品質得分指示品質令人滿意，MV可靠性檢查器i 85 亦可經提供以判定與用以產生取代圖框之一或多個參考圖 框相關聯之運動向量是否可靠。MV可靠性檢查器185可分 析一或多個參考圖框中的運動向量之可靠性以確保在圖框 取代利用運動補償預測方法用於内插或外推之情況下選定 參考圖框有可能產生品質圖框取代結果。若運動向量可 靠’則Mv可靠性檢查器185可將一啟用信號傳輸至控制單 元170以使取代圖框由顯示器170顯示。然而，若運動向量 不可靠，則MV可靠性檢查器185可將一信號傳輸至控制單 136783.doc •97· 200950528 元172 ’使得取代圖框不由顯示器17〇顯示。實情為，控制 單兀172可停用取代圖框之顯示，使得顯示器17〇可重複一 先前或未來圖框來替代取代圖框。 圖15為說明用於產生品質得分以支援取代圆框之選擇性 顯示之實例技術之流程圖。圖15之過程可類似於圖9之過 ' 程。然而，如參看圖12至圖14描述，得分過程可用於已經 、 内插或外推的取代圖框之選擇性顯示，而非用於執行内插 或外推的參考圖框之選擇。如圖15中所示，在考慮是否顯 〇 示取代圖框之過程中，分析單元168可自接收圖框緩衝器 160操取用於内插或外推的一或多個參考圖框以產生取代 圖框（190)，且分析參考圖框之QP及cBP值。如在圖9之實 例中，如在圖15中所示’分析單元168可基於Qp及CBp值 產生組合的基於QP之仔分。若QP值小於可適用之Qp臨限 值（QP一th)且CBP值不等於零（192)，則分析單元168將該圖 框之基於QP之得分設定至”高"（194)。若Qp值大於或等於 ❹ QP臨限值（QP_th)或CBP值大致等於零（192)，則分析單元 42將該圖框之基於Qp之得分設定至"低"（丨96)。 如在圖15中進一步展示，分析單元168亦可經組態以對 該一或多個參考圖框檢查切片損失（198)。參看圖14B，切 片損失檢查可由EC檢查器179執行。若存在切片損失，則 分析單元168可判定一充分的錯誤隱藏（EC)機制是否可用 於校正切片損失（200)。若否，則分析單元ι68將參考圖框 之基於EC之得分設定至"低"（202)。若可靠且充分的ec機 制可用（124)，則分析單元168將基於EC之得分設定至"高" 136783.doc -98- 200950528 (204)。在此情況下，若可使用£〇：機制可靠地重現丟失之 切片，則參考圖框之品質可指示取代圖框可靠。然而，若 不可重現切片，則參考圖框可指示取俜把叮—± 取代圖框可包括不應被 顯示之錯誤資訊。

分析單tcI 68亦可將客觀品質度量應用至參考圖框及/或 取代圖框（206)。舉例而f ’分析單元168可分析參考圖框 之經解碼且經重建構之版本以分析多種客觀度量中之任一 者，諸如，區塊效應、模糊性、滲色或其類似者。另外， 分析單元168可分析取代圖框之像素域值。因此可將客 觀度量應用至像素域中之參考圖框及/或取代圖框以評估 視覺品質。分析單元168可量化客觀度量中之每一者以用 公式表示品質度量得分QM。若品質度量得分(^^大於或等 於一可適用之品質度量臨限值（QM_th)(2〇8)，則分析單元 168將取代圖框之基於qM之得分設定至"高，,（21〇)。若品質 度量得分QM小於或等於品質度量臨限值（QM_th)，則分析 單元168將取代圖框之基於qM之得分設定至，，低,，（212)。 分析單元168可基於基於Qp之得分、基於EC之得分與基 於QM之得分之組合設定取代圖框之總品質得分（2丨4)。可 根據參考圖框及/或取代圖框的基於qP之得分、基於£(：之 得为與基於QM之得分的加權總和用公式表示總品質得 分’其中分析單元168可將不同權重加至個別得分中之每 一者。獲得個別基於QP之得分、基於EC之得分及基mQM 之得分的次序可與圖15中展示之次序不同。另外，圖15中 展示的特定類型之得分可經受變化。大體而言，分析單元 136783.doc •99· 200950528 168可經組態以獲得指示取代圖框將不破壞視覺品質且將 貢獻證明顯示取代圖框之額外資源之耗費的一定程度之視 覺品質增強的可能性之品質得分。 圖16為說明用於在視訊單元支援延遲敏感性視訊應用時 支援用於視訊單元取代之參考視訊單元選擇的參考視訊單 凡之運動及/或品質分析之實例技術的流程圖。圖16之流 程圖大體上對應於圖8之流程圖，但進一步包括判定由解 碼器14支援之視訊應用是否為延遲敏感性應用（諸如，視 ® 訊電話）之操作（216)，且若是，則判定是否符合可適用之 時間距離準則（2 1 8)。 在圖16之實例中，當擷取一候選參考圖框（94)且偵測到 延遲敏感性應用（216)時，解碼器14可判定該圖框相對於待 添加之圖框疋否為未來圖框。若是，則解碼器1 4判定未來 參考圖框之距離是否小於臨限距離。若候選參考圖框為小 於遠離待添加之圖框的臨限距離之先前圖框或未來圖框， ❹ 貝符合距離準則（218)。在一些態樣中，可按將候選參考圖 框與待添加之圖框分開的多個圖框來表達距離。 當符合時間距離準則時，解碼器14可繼續進行品質分 析，例如，如參看圖8所描述且在操作（96)至（112)中所展 -示。然而，若不符合距離準則，則解碼器14可繼續自考慮 中移除該候選參考圖框作為用於内插之參考圖框，且繼續 擷取下一個候選參考圖框（94)用於考慮。因此，將距離準 則應用於延遲敏感性應用可經受多種不同實施，諸如，基 於距取代圖框之時間距離排除特定參考圖框的選擇單2 136783.doc -100- 200950528 44(圖4)之控制、部分基於距離經由距離單元63(圖5)計算 品質付分’或當不符合距離準則時停用品質分析的分析單 元42之控制（例如，如圖16中所示）。 大體而言’如本揭示案中描述的用於選擇用於内插之參 考圖框之技術可提供一 FrUC實施，在各種態樣中，該 FRUC實施可藉由在不必要或有利時停用圖框取代來降低 資源消耗’且藉由選擇良好的參考圖框用於在圖框取代中 使用來增強經内插之圖框的品質。藉由分析QP及CBP值且 基於此分析選擇高品質參考圖框，可達成增強之品質的優 點’其在藉由可變位元速率（VBR)控制機制壓縮之視訊中 可尤其有用。 另外’若不存在錯誤隱藏機制或若錯誤隱藏機制不提供 良好品質圖框’則增強之品質可已藉由不選擇具有切片或 圖框損失之圖框作為參考圖框而達成。當傳輸損失出現 時’諸如’在視訊電話應用之情況下，具有切片或圖框損 失及不充分的錯誤隱藏之圖框的避免可尤其有用。著重資 源模式亦可在降低電力消耗或其他資源之消耗同時大體上 維持低運動視訊片段中之客觀及主觀視訊品質的過程中有 效。 本文中所描述之技術可實施於硬體、軟體、韌體或其任 何組合中。描述為模組、單元或組件之任何特徵可一起實 施於整合式邏輯裝置中或獨立地作為離散但可共同操作的 邏輯裝置。在一些情況下，可將各種特徵實施為積體電路 裝置，諸如，積體電路晶片或晶片組。若實施於軟體中， 136783.doc •101 - 200950528 則該等技術可至少部分地由包含指令之電腦可讀媒體實 現’在經執行時’該等指令使處理器執行上述方法中之一 或多者。 電腦可讀媒體可形成電腦程式產品之部分，電腦程式產 品可包括封裝材料。電腦可讀媒體可包含電腦資料儲存媒 體，諸如，隨機存取記憶體（Ram)、同步動態隨機存取記 ·. .It體（SDRAM)、唯讀記憶體（R()M)、非揮發性隨機存取記 ’隐體(NVRAM)、電可抹除可程式化唯讀記憶體 (EEPROM)、快閃記憶體、磁性或光學資料儲存媒體，及 〃類似者另外或其他，該等技術可至少部分地由電腦可 讀通信媒體來實現，該電腦可讀通信媒體以指令或資料結 構之形式載運或傳達程式碼且可由電腦存取、讀取及 執行。 一 程式碼或指令可由一或多個處理器執行，諸如，一或多 個DSP、通用微處理器、縱、場可程式化邏輯陣列 ❿ （FPGA) ’或其他等效積體或離散邏輯電路。因此，如本文 中所使用之術語"處理器，，可指代前述結構或適合於實施本 A中所▲述之技術之任何其他結構中的任—者。另外，在 • 7=1!中，本文中描述之功能性可提供於專用軟體模組 的技街中組2。本揭示案亦涵蓋包括實施本揭示案，描述 本—或多者之電路的多種積體電路裝置中之任-路提供於單—積趙電路晶片中或在所謂的晶 路裝置可用於多種應用中，此等積體電 二了包括在無線通信裝 136783.doc 200950528 置（諸如，行動電話手機）中使用。 已描述了所揭示之技術的各種態樣。此等及其他態樣處 於以下申請專利範圍之範疇内。 【圖式簡單說明】 圖1為說明經組態以選擇參考視訊單元用於在視訊單元 取代中使用的視訊編碼及解碼系統之方塊圖。 圖A為說明用於視訊單元在視訊解碼器中之内插的技術 之一實例之圖。 圖2B為說明使用選定參考視訊單元内插視訊單元之圖。 圖2C為說明用於視訊單元在視訊解碼器中之外推的技術 之一實例之圖。 圖2D為說明使用選定參考視訊單元外推視訊單元之圖。 圖3為說明經組態以選擇參考圖框用於在圖框取代中使 用的視.sfl解瑪器之一實例之方塊圖。 圖4為說明經組態以選擇參考圖框用於在圖框取代中使 用的視訊解碼器之另一實例之方塊圖。 圖5為說明可與如圖3或圖4中展示之視訊解碼器一起使 用的分析單元之方塊圖。 圖6為說明視訊解碼器選擇參考視訊單元用於視訊單元 取代之一實例技術之流程圖。 圖7為更詳細地說明用於參考視訊單线擇之實例技術 之流程圖。 圖8為說明用於支援用於視訊單元取代之參考視訊單元 選擇的參考視訊單元之品質分析之一實例技術之流程圖。 136783.doc -103- 200950528 圖9為說明用於產生支援用於視訊單元取代之參考視訊 單元選擇的參考視訊單元之品質得分之實例技術的流程 圖。 圖10為說明用於在著重資源模式下基於運動分析選擇性 取代之實例技術之流程圖。 圖11為說明用於在著重資源模式下基於運動分析選擇性 取代之另一實例技術之流程圖。 ❹

圖12為說明經組態以選擇性啟用或停用取代圖框之顯示 的視訊解碼器之一實例之方塊圖。 圖13為說明用於基於品質分析選擇性顯示取代圖框之實 例技術之流程圖。 圖14A為說明可與如圖12中展示之視訊解碼器一起使用 的分析單元之方塊圖。 圖14B為說明可與如圖12中展示之視訊解碼器一起使用 的另一分析單元之方塊圖。 圖1 5為說明用於產生品質得分以支援取代圖框之選擇性 顯不之實例技術之流程圖。 圖16為說明用於在視訊單元支援延遲敏感性視訊應用時 支援用於視訊單元取代之參考視訊單元選擇的參考視訊單 元之品質分析之實例技術的流程圖。 【主要元件符號說明】 視訊編碼及解碼系統 19 視訊編碼器 14 視訊解碼器 136783.doc •104- 200950528

16 輸入視訊圖框 18 經編碼之視訊圖框 19 通信頻道/傳輸頻道 20 圖框跳過單元 22 圖框速率增頻轉換（FRUC)單元 24 所接收之視訊圖框 26 輸出視訊圖框 28 巨集區塊（MB) 30 巨集區塊（MB) 31 巨集區塊（MB) 32 巨集區塊（MB) 33 巨集區塊（MB) 34 接收圖框緩衝器 35 巨集區塊（MB) 36 解碼單元 38 圖框取代單元 40 輸出圖框緩衝器 42 圖框速率增頻轉換（FRUC)分析單元 44 選擇單元 46 模式選擇單元 48 資源監視器 50 客觀度量檢查器 51 延遲偵測單元 52 錯誤隱藏（EC)檢查器 136783.doc •105- 200950528 ❹ 54 量化參數（QP)檢查器 56 經寫碼之區塊型樣（CBP)檢查器 58 品質得分計算器 59 比較單元 60 運動向量（MV)可靠性檢查器 62 模式調整單元 63 距離單元 64 運動分析器 67A 分級單元 67B 分級單元 158 視訊解碼器 160 接收圖框緩衝器 162 解碼單元 164 輸出圖框緩衝器 166 取代單元 168 選擇性顯示分析單元 170 顯示器/顯示裝置 172 控制單元 173 客觀度量檢查器 175 品質得分計算器 177 比較單元 179 EC檢查器 181 QP檢查器 183 CBP檢查器 136783.doc -106- 200950528 185 MV可靠性檢查器 Ft 圖框 Ft· 圖框 Ft+i 圖框 Ft-i 圖框 Ft + 2 圖框 Ft-2 圖框 Ft + 3 圖框 Ft-3 圖框 Ft + M 圖框 Ft-M 圖框 Ft-N 圖框 ❹ 136783.doc -107-

Claims (1)

1. 200950528 十、申請專利範圍： 1. 一種方法，其包含： 分析-或多個候選參考視訊單元之至少一特性；及 —至少部分基於該分析選擇該等候選參考視訊單元 ^多者作為-參考視訊單元用於—額外 • 插或外推。 干π之 - 2.如請求項1之方法，盆中蟑笠硅，睡4 土.β 一 ，、中該等候選參考視訊單元中之每 為—候選參考視訊圖框，且該額外視訊單元Α額 外視訊圖框。 早凡為一額 3. 之方法’其中該至少-特性包括-指示使用 、選參考視訊單元中之一或多者内 質位準的特性。 Γ推之口口 4. 如請求項3之方法，# φ八把 等候以心β 少一特性包括分析該 、選 > 考視訊單元中之一 < 多； 窝^广 次多者的量化參數（QP)及經 冩碼之區塊參數（CBP)值。 5·如請求項3之方法，其中 等候選參考視訊單元中之性包括偵測該 失，且Α中選擇《夕者中的一視訊單元損 為一參考 Μ祝況單疋中之一或多者作 候選參隱藏之，選擇該等 6. 如請求項3之方法，其 等候選參考視訊單^之#性包括分析該 品質度量。 或多者的一或多個客觀視覺 7. 如請求項3之方法，其 、史選擇該等候選參考視訊單元中 I36783.doc 200950528 =一或多者作為—參考視訊單元包含選擇該品質位準滿 至少—臨限值的一或多個候選參考視訊單元。 項7之方法’其進—步包含基於該品質位準分級 ^ 至少一臨限值的該等候選參考視訊單元中之至少 一些’及選擇分級最高的料候選參考視訊單元中之一 9. :請求項7之方法’其進一步包含基於可用電力資源之 一位準調整該至少一臨限值。 ❹ ❹ 10. 如請求们之方法，該方法進一步包含基於該分析内插 或外推該額外視訊單元。 η·如請求項!之方法’其中該至少一特性包含一指示該等 候選參考視訊單元中之一或多者距該額外視訊單元之一 時間距離的特性。 12.如請求項1丨之方法，其進一步包含： 债測一延遲敏感性視訊應用；及 當偵測到該延遲敏感性視訊應用時，至少部分基於該 等候選參考視訊單元中之—或多者距該額外視訊翠元之 該時間距離選擇該等候選參考視訊單元十之該一或多 者0 13. 如請求項u之方法，其進—步包含至少部分基於該等候 選參考視訊單元中之―或多者距該額外視訊單元之該時 間距離選擇該等候選參考視訊單元中之該一或多者。 14. 一種裝置，其包含： 一分析單元，其分析一或多個候選參考視訊單元之至 136783.doc 200950528 少一特性；及 一選擇里； 早几，其至少部分基於該分析選擇該等候選參 、5單元中之一或多者作為一參考視訊單元用於一額 外視訊單元之内插或外推。 15.如叫求項14之裝置其中該等候選參考視訊單元中之每 者為—候選參考視訊圖才匡，且該額外視訊單元為-額 外視訊圖框。 ❹

   16. 如請求項14之裝置，其中該至少一特性包括—指示使用 該等候選參考視訊單元中之—或多者内插或外推之一品 質位準的特性。 17. 如請求項16之裝置，其中該分析單元分析該等候選參考 視訊單疋中之—或多者的量化參數（QP)及經寫碼之區塊 參數（CBP)值。 18·如請求項16之裝置，其中該分析單元偵測該等候選參考 視訊單元中之一或多者中的視訊單元損失且該選擇單 元基於錯誤隱藏之一品質選擇該等候選參考視訊 之一或多者。 19.如請求項16之裝置，其中該分析單元分析該等候選參考 視訊單元中之一或多者的一或多個客觀視覺品質度量。 2〇:請求：16之裝置，其中該選擇單元選擇該品質位準滿 足至> —臨限值的一或多個候選參考視訊單元。 儿如請求項20之裝置，其中該分析單元基於該品質位準八 級滿足該至少-臨限值的該等候選參考視訊單元中之二 少-些’且該選擇單元選擇分級最高的該等候選參考視 I36783.doc 200950528 訊單元中之一或多者。 22·如請求項1〇之裝置’其進-步包含-調整單元，其基於 可用電力貝源之一位準調整該至少一臨限值。、 23. 如請求項14之裝置，該裝置進一步包含一取代單元其 基於該分㈣插或外推該額外視訊單元。 、 24. 如請求項14之裝詈，甘士斗广， …η 少一特性包含-指示該等 候選參考視訊單元中夕— ^ 時間距離的特性。或多者距該額外視訊單元之一 ❹ Ο 25. 如請求項24之裝置H步包含H貞測單元，其 偵測一延遲敏感性視訊應用，其中當❹】到該延遲敏感 性視訊應用時’該選擇單元至少部分基於該—或多個候 選參考視訊單元距該額外視訊單元之該時間距離選擇該 等候選參考視訊單元中之該一或多者。 26. 如請求項24之裝置，其中該選擇單元至少部分基於該一 或多個候選參考視料元距賴外視訊單元之該時間距 離選擇該等候選參考視訊單元中之該—或多者。 27. 如請求項14之裝置，其中該裝置包含—無線通信裝置手 機0 28·如請求項14之裝置，其中該裝置包含—積體電路裝置。 29. —種裴置，其包含： 用於分析一或多個候選參考視訊單元之至少一特性之 構件；及 用於至少部分基於該分析選擇該等候選參考視訊單元 中之—或多者作為一參考視訊單元用於一額外視訊單元 136783.doc 200950528 之内插或外推之構件。 3〇.如=項29之裝置，其中該等候選參考視訊單元中之每 外視訊圖:選參考視訊圖框，且該額外視訊單元為-額 31. ::求項29之裝置，其中該至少-特性包括一指示使用 =候選參考視訊單元中之一或多者内 ： 質位準的特性。 # < « 32. 如請求項3；[之裝置裴巾 丨中該用於分析該至少-特性之構 匕括：用於分析該等候選參考視訊單元中之一或多者 的量化參數（QP)及經寫碼之區塊參數（CBp)值之構件。 33. 如睛求項31之裝晋，苴由姑、 4，、中該用於分析該至少-特性之構 用於仙j該等候選參考視訊單元中之-或多者中 ==損失之構件，且該用於選擇之構件包 基於錯誤隱藏之-品質選擇料㈣參考 -或多者之構件。 早W之 ❹ 34:=:11之裝置’其中該分析該至少-特性之構件包 ;分析該等候選參考視訊單元中之—或多者的一 或夕個客觀視覺品質度量之構件。 :求項31之裝置，其中該用於選擇之構件包含：用於 選擇該品質位準_、、其5 ,丨、 ； 視訊單元之構件:一限值的-或多個候選參考 36 之裝置，其進—步包含用於基於該品質位準 至小=足該至少-臨限值的該等候選參考視訊單元中之 夕-些之構件’及用於選擇分級最高的該等候選參考 136783.doc 200950528 視訊單元中之一或多者之構件。 37.如請求項35之裝置，其進一步包含用於基於可用電力資 源之一位準調整該至少一臨限值之構件。 38·如請求項29之裝置’該裝置進-步包含用於基於該分析 内插或外推該額外視訊單元之構件。 39.2ίΓ之ί置，其中該至少一特性包含一指示該等 _ 視訊單TG中之一或多者距該額外視訊單元之一 時間距離的特性。 ❹ ❹ 40.如請求項39之裝置，其進—步包含： 用於偵測—延遲敏感性視訊應用之構件；及 用於在谓測到該延遲敏感性視訊應用時至少部分 =一或多個候選參考視訊單元距該額外視時 間距離選擇該等候選參考 之該時 件。 好考視訊之該—或多者之構 4】.如請求項39之裝置，其進一步 一或多個;至^邛力基於該 距離選擇tr單元距該額外視訊單元之該時間 距離選擇該等候選參 -ΤΠ 件。 号視訊早4之該-或多者的構 42. —種電腦可讀媒體， 操作之指令： 3使—或多個處理器執行以下 分析一或多個候選參考 至少部分基於，八4 ^早70之至少一特性，•及 刀基於該分析選擇該等 一或多者作為一參考 号視訊皁疋中之 插或外推。 5兀*用於一額外視訊單元之内 136783.doc 200950528 43. 如請求項42之電腦可讀媒體，其中該等候選參考視訊單 元中之每一者為一候選參考視訊圖框，且該額外視訊單 元為一額外視訊圖框。 44. 如請求項42之電腦可讀媒體，其中該至少一特性包括一 指示使用該等候選參考視訊單元中之一或多者内插或外 推之一品質位準的特性。 45. 如請求項44之電腦可讀媒體，其中該等指令使一或多個 處理器分析該等候選參考視訊單元中之一或多者的量化 參數（QP)及經寫碼之區塊參數（CBp)值。 46·如請求項44之電腦可讀媒體，其中該等指令使一或多個 處理器偵測該等候選參考視訊單元中之一或多者中的視 讯單7L損失，及基於錯誤隱藏之一品質選擇該等候選參 考視訊單元中之一或多者。 47·如請求項44之電腦可讀媒體，其中該等指令使一或多個 處理器分析該等候選參考視訊單元中之一或多者的一或 多個客觀視覺品質度量。 48. 如請求項44之電腦可讀媒體，其中該等指令使該一或多 個處理器選擇該品質位準滿足至少一臨限值的一或多個 候選參考視訊單元。 49. 如請求項48之電腦可讀媒體，其中該等指令使該一或多 個處理器基於該品質位準分級滿足該至少—臨限值的該 等候選參考視訊單元中之至少—些，及選擇分級最高的 該等候選參考視訊單元中之一或多者。 50. 如請求項48之電腦可讀媒體，其中該等指令使該一或多 136783.doc 200950528 個處理器基於可用電力資源之一位準調整該至少一臨限 值。 51. 如請求項42之電腦可讀媒體，其中該等指令使該一或多 個處理器基於該分析内插或外推該額外視訊單元。 52. 如請求項42之電腦可讀媒體，其中該至少一特性包含一 指示該等候選參考視訊單元中之一或多者距該額外視訊 - 單元之一時間距離的特性。 53. 如請求項52之電腦可讀媒體，其中該等指令使該一或多 ® 個處理器： 偵測一延遲敏感性視訊應用；及 當偵測到該延遲敏感性視訊應用時，至少部分基於該 等候選參考視訊單元中之一或多者距該額外視部單元之 該時間距離選擇該等候選參考視訊單元中之該—或多 者。 54. 如請求項52之電腦可讀媒體’其中該等指令使該-或多 個處理器至少部分基於該等候選參考視訊單元中之一或 多者距該額外視訊單元之該時間距離選擇該等候選參考 視訊單元中之該一或多者。 136783.doc