TWI231711B - Improved interpolation of video compression frames - Google Patents

Description

1231711 玖、發明說明： 【發明所屬之技術領域】 本申請案優先於2001年7月11日提出的美國專利申請序 號09/9 04,2 03，為其後續申請。 本發明係關於視訊壓縮，具體而言係MPEG類編碼及解碼 系統内視訊壓縮框之改良式内插。 【先前技術】 MPEG視訊壓縮 MPEG-2及MPEG-4係國際視訊壓縮標準，以更緊密編碼 資料形式定義各自的視訊語法，其提供代表影像順序之有 效方法。編碼位元之語言為r語法」。例如，一些符記可代 表樣本之整個區塊（例如用於MPEG-2之64個樣本）。兩種 MPEG標準亦說明一解碼（重建）方法，其中編碼位元從緊密 代表映射至影像順序原始格式之近似值。例如，編碼位元 流内旗標可用信號指示以下位元是否在使用離散餘弦變換 (^她c〇sine transform; DCT)演算法解碼前先使用預測 次异法。該等包括解碼方法之演算法藉由這些咖时準定 J之語意校正。此語法可用以利用公共視訊特冑，：如空 :冗餘、日夺間冗餘、等速運動、空間遮蔽等等 1 mpeg標準定義程式設計語言以及f料格式。刪 碼器必須可分析及解碼輸入資料流， 庳MPFm —〜要資料流遵守對 應MPEG#法’即可使用各種可能 (儘管由炉-五立丁 L 十〜構及壓縮技術 語法内載送需要之語意。 ，、丰）。亦可在替代 85917 l23l711 适些MPEG標準使用各種壓縮方法，包括框内及框間方法 。大多數視訊景物中’當動作發生於前台時背景保持相對

穩定。背景可移動，但大量景物通常係冗餘。這些MPEG 標準藉由建立稱為「内部」訊框或「I訊框」之參考訊框開 始壓縮。I訊框壓縮與其他訊框無關，因此包含視訊資訊整 個訊框。I訊框提供隨機存取資料位元流之進入點，不過只 能適度壓縮。通常，代表！訊框的資料置於每12至15個訊框 之位兀流内(儘官在一些情況中使用【訊框之間較寬間隔亦 有用）。隨後’由於只有一小部分參考】訊框之間的訊框不 同於括弧I訊框，僅擷取、壓縮及儲存影像差異。兩種類型 訊框用於此類差異_預測訊框（p訊框）及雙向預測（或内插） 訊框（B訊框）。 p訊框通常參考過去訊框編碼（1訊框或先前p訊框）並通常 用作隨後P訊框之參考。p訊框接收相# Α數量的壓縮。B 訊框提供最大數量的塵縮，但需要過去及將來參考訊框以 便編碼。標準壓縮技術内參考訊框從不使用雙向訊框。p 訊框及m框係「可參考訊框」，因為其可由訊框參考。 巨集塊係影像像素區域。對於MPEG_2，巨集塊係四個8χ 8 D C Τ區塊之1 6 X 1 6像幸分相，甘咖 1冢京刀組其與一個用於Ρ訊框之動作 向量及-個及兩個用於Β訊框之動作向量—起。ρ訊框内巨 集塊可使用框内及框間（預測）編碼分別編碼。Β訊框内巨集 塊可使用框内編碼、向前預測總 j 碼、向後預測編碼或向前 及向後預測編碼（即雙向内插）兩者分別編碼。MpEG_4視訊 編碼内使用略有不同但相似的結構。 85917 1231711 編碼後，MPEG資料位元流包含卜ρΛβ訊框之順序。順 序可由I、Ρ及Β訊框的幾乎任何圖案組成（其放置上有少量 語意限制）。然而，工業實踐中通常具有固定訊框圖案⑽ 如 ΙΒΒΡΒΒΡΒΒΡΒΒΡΒΒ)。 動作向量預測 MPEG-2及MPEG-4中（相同標準，例如Η·263)，使用_ 型（雙向預測）訊框有利於I缩效率。用於此類訊框每個巨 集塊之動作向量可藉由下列三種方法中任一種預測。 模式1 :從先前I或Ρ訊框向前預測（即非雙向預測訊框）。 模式2 :從隨後I或ρ訊框向後預測。 板式3 :從隨後及先前I或ρ訊框雙向預測。 模式1與用於Ρ訊框之向前預測方法相同。模式2係相同概 念，從隨後訊框向後工作除外。模式3係内插模式，其組合 來自先前及隨後訊框之資訊。 除這三種模式外，MPEG-4亦支援用於Β訊框的第二内插 動作向量預測模式··使用來自隨後p訊框之動作向量的直接 模式預測加上一心以值（若來自協同定位p巨集塊之動作向 1分成8 X 8模式-產生用於16 x 16巨集塊之四個動作向量· 接著delta應用於b訊框内全部四個獨立動作向量）。隨後p Λ框之動作向量指向先前p或〗訊框。一比例用於加權來自 後Ρ訊框之動作向量。比例係當前Β訊框關於隨後ρ及先 前Ρ(或I)訊框之相對時間位置。 圖1係根據先前技術之訊框時間線及MPEG-4直接模式動 作向里 MPEG-4直接模式（模式4)概念係每個插入β訊框之 85917 1231711 巨木塊動作可能接近用以編碼以下p訊框内相同位置的動 乍delta用以對用於隨後p訊框之成比例動作向量（來自對 應動作向量（moti〇n vect〇r ; Mv) 1〇3)做少量修正。圖1所示 係為每個中間Β訊框1〇4a、1〇4b提供至動作向量⑻、 =成2例加柘，作為先前P或1訊框105及下一P訊框1〇6之間 的:時距」功能H给對應中間3訊框1G4a、i⑽之動作 =量101、1〇2等於指定加權值（分別為1/3及2/3)安排給於下 —P訊框之工作向量1〇3，加上delta值。 使用MPEG-2，肖於⑽框之全部預測模式測試編碼，並 比較以發現用於每個巨集塊之最佳預測。若無良好預測， =集：作為「!」(用於「内部」)巨集塊獨立編碼、編碼 H每擇作為向前（模式D、向後（模式2)及雙向（模式3) 的取佳模式或作為内部編碼。使用MpEG_4，則無法選擇 内部編碼。相反，直接模式成為第四個選擇。此外，最佳 編碼模式之選擇係基於_些最佳匹配標準。在參考MpEG_2 及MPEG-4軟體編碼器中，使用Dc匹配（絕對差和或「μ 決定最佳匹配。 」 /編碼資料位㈣内連續㈣框之數量藉由MP_「M」 值决疋Μ減係每個p訊框及下一 p⑷）之間的b訊框 的數量。因此對於㈣，每個p(或υ訊框之間有兩個B訊框 ，如圖…示。限制Μ值及因此連續Β訊框之數量的主要限 制係Ρ(或I)机框之間動作變 ^ 卜又化數里增大。較高數量之Β訊框 思味著Ρ(或I)訊框之間較長的時間數量。因此，動作向量效 率及編碼範圍限制產生對中間Β訊框數量之最終限制。 85917 曰亦應4寸別庄思P訊框以移動圖像資料流向前載送「變化能 量」’因為每個解碼p訊框用作預測下—隨後p訊框之起始點 。然而B訊框使用後丟棄。因此任何用於產生B訊框之位元 僅用於該訊框，與m框不同，並不提供協助料隨後訊框 之校正。 【發明内容】 本發明係關於—種用以改良視訊影像I縮系統内-個或 多個預測訊框影傻口暂沾士/ 彳冢口口貝的方法、糸統及電腦程式，其中每 個訊框包含複數個像素。

、方面本發明包括決定雙向預測訊框内每個像素值， 作為括孤雙向預測訊框順序之非雙向預測訊框内對應像素 值之加權比例。-項具體實施例中，加權比例起括弧非錐 向預測訊框之間距離之功能。另一具體實施例中，加權Z 例係括弧非雙向預測訊框之間距離的混合功能以及括孤非 雙向預測訊框之相等平均值。 、本I明另一方面，像素值插入在線性空間或在其他不同 ;原始非線性不意圖之最佳化非線性空間内示意性執行。 本發明其他方面包括系統、電腦程式及方法，其包括： /、有3圖像區域之可參考訊框順序的視訊影像壓縮系 、先其+至少一預測訊框之至少一圖像區域參考兩個 多可參考訊框編碼。 会/、有3圖像區域之可參考訊框順序的視訊影像壓縮系 、先其中至少—預測訊框之至少-圖像區域參考—個或多 個顯示順序可參考訊框編碼，其中至少一個此類可參考訊 85917 1231711 框不是最近至少一個稽、、則印θ 制聽之顯示順序先前可參考訊框。 具有包含巨集塊之可參考訊 :二 月汁幻祝成影像壓縮系統 ，其中至少一預測訊框之至 夕 巨市塊猎由來自兩個或更 夕可簽考訊框之内插編碼。 具有包含影像區域之可炎老 同德茂" 1之了，考及雙向預測訊框順序的視訊 域繞石U 6 k 又向預測訊框之至少一圖像區 域、，扁碼成包括兩個以上重作 s , 動作向置，每個此類動作向量參考 至乂一個可參考訊框内一對應圖像區域。 具有包含圖像區域之可失去 了麥考讯框順序的視訊影像壓縮系 :、兩一預測訊框之至少一圖像區域編碼成包括至 :動:向量，每個此類動作向量參考— 一對應圖像區域，苴中至少 像區域藉由來自兩個…框之每個此類圖 '相木目兩個或更多 丧 7」爹！汛框之内插編碼。 /、有包含圖像區域之可灸者 ψ纟了，考及雙向預測訊框順序的視訊 〜像&、、、侣糸統，並φ 5 W、_她人对 中至一雙向預測訊框之至少一 ® ρ :::來自兩個或更多可參考訊框之選擇圖像區域: 加榷編碼。 、』Ρ守 具有包含圖像區域之可夂老 影像壓縮系统… 框順序的視訊 -中至夕一雙向預測訊框之至少-圖像區 戈错由末自兩個或更多可參考訊框之内插 兩個或f容π办〜 ^ T ^ y 灸多考訊框之一藉由至少一個顯示順序插入可 像區域：：雙向預測訊框彼此間隔，且其中至少此類-圖 域的不等加權編碼。 之、擇圖紅 85917 -10- 1231711 具有包含圖像區域之可參考及雙向預測訊框順序的視訊 影像壓縮系統，其中至少一雙向預測訊框之至少一圖像區 域藉由來自兩個或更多可參考訊框之内插編碼，其中至少 兩個或更多可參考訊框之一藉由至少一個顯示順序插入隨 後可茶考訊框與雙向預測訊框彼此間隔。 具有包含圖像區域之可參考及雙向預測訊框順序的視訊 心像壓#倍系統’其^至少一雙向預測訊框之至少一圖像區 域作為來自兩個或更多可參考訊框之選擇圖像區域的不等 加權編碼。 具有各包含以巨集塊配置的像素值之預測及雙向預測訊 ，順序的視訊影像壓縮系、统，其中使用基於來自兩個或更 夕預測訊框之動作向量的直接模式預測決定雙向預測訊框 内至少一巨集塊。 ^ σ包含以巨集塊配置的像素值之可參考及雙向預注 成框順序的視訊影像壓縮系統，其中使用基於來自__ 多個顯_序_純之動作向量的直接料預測決定臂 向預測訊框内至少一巨集塊，其中至少此類一 測訊框之一 _ - π — 1 ^ 顯不順序先於雙向預測訊框。 具有各包含以巨集塊配置的像素值 二框順序的視訊影像壓縮系統，其中使用基於來自2 =示順序預測訊框之動作向量的直接模式預測決= 測訊框之-顯…巿塊’其中至少此類-個或多個預 插 、T項序在雙向預測訊框之後，並藉由至少 "σ框鉍雙向預測訊框彼此間隔。 85917 -11 - 1231711 具有包含複數個具有DC值的圖像區域之訊框順序的視 訊影像壓縮系統，每個此類圖像區域包含各具有一 Ac像素 值的像素，其中至少一訊框之至少一圖像區域的Dc值及AC 像素值至少之一定為來自至少一個其他訊框之對應各自 D C值及A C像素值的加權内插。 具有包含複數個具有DC值的圖像區域之可參考訊框順 序的視訊影像壓縮系統，每個此類圖像區域包含各具有一 AC像素值的像素，其中至少一預測訊框之至少一圖像區域 的DC值及AC像素值至少之一從兩個或更多可參考訊框之 對應各自DC值及AC像素值内插。

改進視訊影像壓縮系統内兩個或更多雙向預測中間訊框 順序的影像品質，每個訊框包括複數個具有Dc值的圖像區 域，每個此類圖像區域包括各具有一 AC像素值之像素，包 括至少以下之一：將雙向預測中間訊框每個圖像區域的AC 像素值定為可參考訊框括弧雙向預測中間訊框順序内對應 AC像素值的第一加權比例；以及將此類雙向預測中間訊框 之每個圖像區域之DC值定為可參考訊框括弧雙向預測中 間訊框順序内對應D C值的第二加權比例。具有包括複數個 具有初始代表的像素之訊框順序的視訊影像壓縮系統，其 中至少-訊框之像素從至少兩個其他訊框的對應像素内插 ’其中至少兩個其他訊框之此類對應像素内插同時傳輸至 一不同代表，以及導致内插像素傳輸回至初始代表。J 在具有可參考及雙向預測訊框順序之視訊影像壓縮系统 内，動態地決定此類具有可變雙向預測訊框數量的訊框之 85917 12 1231711 編碼圖案，並治& . 框，具有至少_緊3㈤始順序’其始於一可參考訊 訊框；加入可4=之雙向預測訊框，終於-可參考 序;按-選擇評始順序末端，以產生-測試順 順序之滿意步驟，在加人可參於母一評估測試 並重覆評估步驟；以 ^ ^之别插入—雙向訊框 前測試順序為“Γ 試順序不滿意，則接受先 只汴局萄刖編碼圖案。 ”有藉由至少—雙向預測訊框彼此 序的視訊影像壓縮系統，1 ^可筝考訊框順 此類順序上不同，且皇 犬員雙向預測訊框之數量在 少-圖像區：L二至個此類雙向預測訊框之至 等加權決定。 則口了茶考隸之像素值的不 -種視訊影像I缩系統，其具有, 一解碼器解碼）、編碼之訊框順序，盆中至少1Ζ於错由 圖像區域係基於兩個或更多一：：至…框之至少- 權内插係基於可用於編碼、°匡之加核内插，此類加 了用於編碼益及解碼器之至少一組加權，其 於此眉至少-組加權選擇之一的標誌從 解碼器，以選擇一個或多個現用加權。 4接至 一種視訊影像I缩系統，其具有藉由'編瑪器(用於，由 一解碼II解碼）編狀純料，其巾至少—餘之至少:一 圖像區域係基於兩個或更多其他訊框之加權内插，此類加 權内插係基於至少一組加權，其中至少一組加權下載至一 解碼器，隨後用於此類至少—組加權選擇之一的標諸從編 碼器連接至解碼器，以選擇_個或多個現用加權。 85917 -13 - 1231711 種視訊影像壓縮 一解碼器解碼）編碼之、/.，其具有藉由一編碼器（用於藉由 序内預測訊框解碼後1參考訊框順序，其中可參考訊框順 顯示順序的傳送順戽：編碼器以不同於此類預測訊框之 、斤傳送至解碼器。 一種視訊影像壓 ^ ^ + . + 、’、扁，其具有包括配置於圖像區域内 之像素的可苓考訊框 圖# F 、予，其中至少一預測訊框之至少一 圖像區域苓考兩個 圖# 更夕可參考訊框編碼，其中每個此類 圖像區域使用對庫卜 ^ ^ , , α此頒兩個或更多可參考訊框之像素值的 不寺加柘決定。 種視況影像壓墙♦ 、、値糸、、先，其具有各包括圖像區域之預測 士 ^預測及内部訊框的順序，纟中在此類預測或雙向預 」£之動作向里補償預測中選自該組銳化 器的至少一個淪油π产 “氣 〜波杰應用於預測或雙向預測訊框至少一 圖像區域。 附圖及以下說明♦中提出本發明一項或一工員以上呈體者 施例的細卜從說明書與附圖及申請專利範圍將可明：： 發明的其他特徵、目的及優點。 【實施方式】 概要 本發明一方面係基於認知到··通常實務使用“值3，其在 每個Ρ(或I)訊框之間提供兩個Β訊框。然而，Μ=2及μ=4或 更高皆有用。應特別注意Μ值（Β訊框數加丨）亦與訊框速率具 有自然關係。在24訊框/秒（fps)，即膠片電影速率，訊框之 間時距為1/24秒可導致訊框至訊框的實質性影像變化。鈇 -14 - 85917 1231711 而在 60 fps、72 f _ #， PS或更高訊框速率，臨近訊框間時距相應 減小。結果传 & /、 δ框較高數量（即Μ較高值）變得有用且訊框 速率增加有利於壓縮效率。 本發明另_大》 y 面係基於認知到：MPEG-2及MPEG-4視訊 ,^ 、間早的内插方法。例如，對於模式3，用於訊 框母個巨隼# ^ XN 又向預測係隨後及先前訊框巨集塊的相等 ^ 由兩個對應動作向量位移。此相等平均值適用於 ^ ( P單中間B訊框），因為B訊框距先前及隨後p(或j) 吕fL框時間相望。Ab ^ w而，對於M較高值，只有中心對稱B訊框 (右笠楚曰丄 一、 寻寺即為中間訊框）會使用相等加權最佳預測 。’ MPEG-4直接模式4中，儘管動作向量按比例加權 母個中間8訊框之預測像素值係先前Ρ(或I)及隨後Ρ訊框 之對應像素的相等比例。 二因此，其代表將適當成比例加權（其中Μ>2)應用於每個Β 二框預測像素值的改良。當前㈣框内每個像素之成比例加 權對應田岫B訊框關於先前及隨後p(或〗）訊框的相關位置 口此若M-3，第一 b訊框會使用來自先前訊框之對應像 素值（動作向夏已調整）的2/3，以及來自隨後訊框 已調幻之對應像素值的1/3。 圖2係根據本發明此方面之訊框時間線及成比例像素加 核值。每個中間B訊框2〇la、201b每個巨集塊内的像素值作 為先前P或I訊框A及下一 PSZ訊框B之間的「距離」功能加 權，較大加權對應較近的訊框。即，雙向預測B訊框之 每個像素值係括弧非雙向預測訊框八及B對應像素值的加 85917 -15- 1231711 榷組合。此範例中，對於M=3，用於第一B訊框201a的加權

； ’用於苐二b訊框20 lb的加權等於1/3 A+ 2/3 B /°同樣所示的係相等平均值加權，其會指定於傳統MPEG 系統之下；用於每個3訊框2〇18、、2及4加 權應等於（A + B)/2。 延伸動恶範圍及對比範圍應用 若大方；2中間B说框内像素值成比例加權許多情形中 將改進雙向（模式3)及直接（MPEG_4模式4)編碼的效率。範 ，情形包括常見的電影及視訊編輯效果，例如淡出及交互 疊化。由於使用簡單DC匹配演算法以及通常使用]^=3(即兩 個中間B訊框），產生B訊框相等比例，這些類型的視訊效果 、子MPEG 2及MPEG-4係編碼情开m題。根據本發明此類情 形之編碼藉由使用成比例B訊框内插改進。 成比例B訊框内插亦直接應用於延伸動態及對比範圍的 編碼效率改進。影像編碼通常發生照明度變化。此發生於 目標逐漸移動進入（或離開）陰影（軟陰影邊緣）時。若一對數 編碼代表用於亮度（例如藉由對數亮度γ實施），則照明亮度 改變將係DC偏移改變。若照明亮度降至一半，像素值將全 P咸乂相專數畺。因此，為編碼此改變，應發現AC：匹配 ，一編碼DC差異應用於該區域。此編碼入p訊框之〇〔差異 亦應按比例應用於每個插入B訊框。（關於對數編碼代表額 外貧訊，見共同待審的美國專利申請序號〇9/9〇5,〇39，標題 為「用於改良壓縮影像色度資訊之方法及系統」，其讓渡給 本發明之受讓人並以參考方式並入本文）。 85917 -16- 1231711 除照明度變、#々I； 例如，心11 '比變化亦從成比例_框内插獲益。 向雲層或霾層外觀察 增加。此對比掸-可主山 /、對比將逐漸 s 了表示為對應P訊框編碼巨隼境内 AC係數增加的振 ％塊内DCT之 成比例内插最近^曰至 訊框内對比變化將藉由 取近似侍到，從而改進編碼效率。 速率變高及M值增加，利用成比例B訊框内插得 _ 對比、、爲碼效率之改進越來越顯著。 咼Μ值應用於時間分層 :用本發明之具體實施例使職可增加，從而使括弧ρ及 /或I訊框之間的Β訊框數量增加，同時料或獲得編碼效率 =類用法有利於應用數量，包括時間分層。例如，在標 通為用於先進電視之時間及解折声八层、， 析度刀層」吴國專利案號 ，中(其讓渡給本發明之受讓人並以參考方式並入 本文），應注意Β訊框係、適用於分層時間（訊框）速率之機制 。此類速率之靈活性係關於可用連❹訊框之數量。例如， 單-Β訊框（M=2)可支援72 fps資料流㈣加解碼時間層 或6〇fps資料流内3〇fps解碼時間層。三倍b訊框（m=4)可支 援72扣資料流内36加及1 8恥解碼時間層及6〇 fps資料流、 内30如及15 fps解碼時間層。在12〇如資料流内使用㈣ 可支援12 fps、24 fps& 60 fps解碼時間層。m = 4亦可使用144 fps資料流以提供72fps及36fps之解碼時間層。 由於獲得第N個訊框改進’多個12〇扣或72加之訊框可 解碼並按比例混合’如共同待審的美國專利申請序號 09/545,233所說明，標題為「對時間及解析度分^之增強」 85917 -17- 1231711 (其讓渡給本發明之受讓人並以參考方式並人本文），以改 進24 fps結果的動作模糊特性。 較高訊框速率亦可使用共同待審的美國專利申請序號 讀35,277所述方法合成，標題為「用於動㈣縮及訊框速 率轉換之系統及方法」(其讓渡給本發明之受讓人並以彖考 方式並入本文）。例如，原為72㈣照相機可利用動作補 償訊框速率轉換產生288訊框/秒的有效訊框速率。使用 ^1=12,48扣及24如訊框速率皆可獲得，例如144如、％ fps及32 fps的其他有用速率亦可得到（當然還有最初㈣ ⑽。使用此方法之訊框速率轉換不必為整數倍數。例如， 120 fps有效速率可從72 f % 士甚 2 ipS源極產生，然後用作6〇 fps及24 f p s速率之源極（使用μ = 1 〇)。 因此，最佳化Β訊框内插性能具有時間分層優勢。上 比例Β訊框内插更有教从洋 有政地產生輓咼數量的連續Β訊框，從而 提供這些優勢。 混合Β訊框内插比例 相等平均值加權已作 、作為Β汛框像素值之動作補償模式預 測:用於傳統系統，其原因之—係特定㈣框之前或之後的 Ρ“ 1)訊框可為雜訊’從而導致不良匹配。相等混合佳 化内插動作補償區塊内 円‘ δί1之減〆。亦有使用量化dct功 能編碼之差異殘餘。當然，來自動作補償比例之匹配越好 ’需要的i異殘餘位元越少，最終影像品質越高。 在有目標移人及_陰影或霾層的情形中，M>2之正確 比例提供較佳預測。妙 ^ ^ , J然而，當未發生照明及對比改變時， 85917 -18 - 1231711 相等加權可證明係較佳預測器，因為沿動作向量向前移動 巨木塊之錯誤將與來自向後位移區塊之錯誤進行平均，從 而使各自的錯誤均減少_半。即便如&，更有可能係較接 近以或I)訊框之B純巨集塊將比較遠的p⑷)訊框更多地 與該訊框相關。 口此 些情況中（例如區域性對比或亮度改變）吾人需 要為B訊框巨集塊像素加權（用於亮度及顏色兩者）使用正 確比例，如上所述。其他情況中，使用相等比例可能較佳 ’如在 MPEG-2及 MPEG-4 内。 本發明另一方面使用此兩種用於B訊框像素内插的比例 技術（相等平均值及訊框-距離比例）之混合。例如，M=3情 形中，1/3及2/3比例之3/4可與相等平均值之1/4混合，產生 3/8及5/8兩種比例。此技術可藉由使用一「混合因數」f通 用化： 加權=F*(訊框距離成比例加權）+ (1_F)·(相等平均值加權）。 混合因數F的有效範圍從表示純成比例内插的丨至表示純相 等平均值的0(亦可使用相反指定值）。 圖3係根據本發明此方面之訊框時間線及混合、成比例及 相等像素加權值。每個中間B訊框301a、301b的每個巨集塊 像素值加權為先前P或I訊框A及下一 訊框b之間的「時 距」功能，且作為Α及Β之相等平均值功能。此範例中，對 於M=3及混合因數F = 3/4，用於第一 b訊框301a之混合加權 等於5/8A+3/8B(即2/3A+1/3B之成比例加權的3/4加（A+B)/2 之相等平均值加權的1 /4)。同樣，用於第二β訊框3 〇 1 b之加 85917 -19· 1231711 權等於 3/8A+5/8B。 混合因數F值可為完全編碼整體設置，< 為每個圖像組 —〇f pictures ; G〇p)、㈣框範圍、每個β訊框或b訊 匡内的每個區域設置（例如包括為每個巨集塊，甚或在使用 广模式❻量之刪^直接模式情形中為分別^動作 區塊精確設置）。 ^位讀濟以及反映混合比例通常不會重要至使用每 木塊傳送之事實，最佳混合使用應係關於壓縮影像之 ’對於變淡、疊化或其中整體照明或對比逐漸 的影像，接近或位於1(即選擇成比例内插）的混合因數 、吊係最佳。對於運行無此類照明或對比改變的影像，則 車:低混合因數值’例如2/3、1/2或1/3可形成最佳選擇，從 而保二-些成比例内插優勢以及一些相等平均值内插優勢 =常0幻範圍内全部混合因數值係有用，而此範圍内一 寸疋值證明對任何已給定B訊框皆係最佳。 泛動態範圍及廣泛對比範圍影像’混合因數可根 域特性區域性決定。然而通H泛範圍之昭明 “匕易於向混合因數值推薦純成比例而非相等平均值内 補0 最佳混合因數通常根據經驗決定]盡管具有特定類型景 勿之經驗可用以藉由景物類型建立混合因數表1 像變化特性之決定可用以選擇用於訊二 區域性)广可使用一些候選混合因數(用於整個訊框或 。。成性)、、.扁媽’然後各自評估以最佳化影像品質(例如藉由 85917 -20- 1231711 取咼彳§號對雜訊比或SNR決定）並獲得最低位元數。這些候 达"平估接著可用以選擇混合比例最佳值。亦可使用影像變 化特性及編碼品質/效率之組合。 接近B汛框順序中間，或由低Μ值產生的B訊框不會受成 比例内插過分影響，因為計算比例已經接近相等平均值。 。而對於較鬲IV[值，極端Β訊框位置可受混合因數顯著影 響。應注意用於這些極端位置之混合因數可不同，使用更 而非更多中間位置，其背離平均值並未獲得優 勢，因為他們已經具有兩鄰近ρ(或I)k框之高比例。例如， 若M=5，第一及第四B訊框可使用混合因數f，其混合入更 多相等平均值，不過第二及第三中_訊框可使用嚴袼的 2/5及3/5相等平均值比例。若比例對平均值混合因數作為順 序B汛框位置之功能改變，混合因數改變值可傳送入壓縮位 元/;IL内或作為旁側資訊傳送至解碼器。 若需要靜態一般混合因數（由於缺少傳送該值的方法）， 則2/3值通常接近最佳’可選擇料用於編碼器及解碼器兩 者内B訊框内插之靜態值。例如，當混合因數使用f = ， 對於M=3連續訊框比例將為7/18 (7/18 = 2/3* + 及 11/18 (11/18二2/3*2/3 + 1/3*1/2)。 線性内插 視訊訊框像素值ϋ常儲存於特定代表内，諸原始影像 資訊映射為數值。此-映射可產生線性或非線性代表。例 如’壓縮内使用之亮度值係非線性。各種形式非線性代表 之使用包括對數、指數（各種功率）及黑色校正指數（通常用 85917 -21 - 1231711 於視訊信號）。 在狹乍動恶範圍或對於鄰近區域内插，非/ ϋ A hh η 、、水1王代表係可 因為這些鄰近内插代表分段線性内插。因此，袁 度U小、又化藉由線性内插可合理地 宾声声、；姓/ T q然而，對於 二又K/艾化，例如發生於廣泛動態範圍及廣泛對比範圍 影像’非線性信號作為線性處理將不準確。即使對於^常 對二像’線性變淡及交互疊化可藉由線性内插降: 。一些變淡及交互疊化利用非線性變淡及疊化速率，進一 步增加了複雜性。 對使用成比例混合甚或簡單成比例或相等平均值 内插的額外改良係在線性空間内，或在其他不同於原始非 線性π度代表之最佳化非線性空間内代表的像素值上執行 此類内插。

例如此可藉由首先將兩個來自先前及隨後Ρ(或I)訊框之 非線性焭度信號轉換至線性代表或不同的非線性代表而完 成。接著應用一成比例混合，之後應用反轉轉換，在影像 原始非線性亮度代表中產生混合結果。然而，比例功能將 已在亮度信號較佳代表上執行Q 除亮度外’當顏色變淡或變得更飽和，如與霾層及密雲 變化相關連之對比變化中所發生，將此線性或非線性轉換 有利地應用於顏色（色度）值亦很有用。 示範性具體實施例 圖4係本發明說明性具體實施例中可用電腦實施之方法 的流程圖。 85917 -22- 1231711 步驟4 Ο 〇 ··々满4 a 仕祝戒衫像壓縮系統中，對於用於計算B訊框 之^直4妾及内ί干；JL' ^ 候式’決定應用於兩個或更多雙向預測中間 吕fl框之輸入順戾久乂务 貝序σ像素的内插值使用下列之一（1)訊框-距 離比例或（2)相擎‘ # π 目寺加私及訊框-距離比例之混合，其來自至少 兩個非雙向：、、目彳^ , M j成框括弧此類由源極（例如視訊圖像資料 流）輸入之順序。 乂驟4〇 1 ·最佳化關於影像單元（例如圖像組（GOP)，訊框 、序厅、物δΚ框、訊框内一區域、巨集塊、DCT區塊或 同的有用刀組或像素選擇）之内插值。内插值可為整個編 碼對話靜態設置，或為每個影像單元動態設置。 步騄402 ·進一步最佳化關於景物類型或編碼簡化之内插 值例如，内插值可如此設置：靜態設置（例如2/3成比例 及1/3相#平均值），對於接近相等平均值之訊框按比例設 置，但與接近鄰近P(或工）訊框之相等平均值混合，·根據整體 景物特性(例如變淡及交互疊化)動態設置；根據局部影像 區域特性（例如局部對比及局部動態範圍）動態、（及局部）設 置，或根據編碼性能（例如最高編碼SNR)及產生的最小編碼 位元動態（及局部）設置。 步驟403:若非靜態決^，將適當比例數量傳送至解碼器。 步驟404 .右非靜態決定，視需要，將用於各訊框之真产 (以及選擇性地’色度）資訊傳送至線性或#代非線性代:二 ’並將此替代代表傳送至解碼器。 步驟405 步驟406 使用決定之内插值決定成比例像素值。 如果必要(由於步驟404)’重新傳送至原始代 85917 -23- 1231711 表。 延伸P訊框參考 如上所述，在先前技術MPEG-1、2及4壓縮方法中，P訊 框參考先前P或I訊框，B訊框參考最近先前及隨後P及 訊框。相同技術用於H.261及H.263動作壓縮DCT壓縮標準 ’其包含低位元速率壓縮技術。 顯影H.263 + +及H.26L標準中，參考B訊框延伸指向未直 接括弧當前訊框的p或I訊框。即，B訊框内巨集塊可指向先 河P訊框之前的一個！^或丨訊框，或指向隨後p訊框之後的一 個P或I訊框。使用一個或多個每一巨集塊位元，先前或隨 後P訊框之跨越可簡單發信號通知。概念上，用於參考B訊 框之先前p訊框之使用才需要儲存。對於凡263++或h.26l 低位元速率編碼用法，此係一少量額外記憶體。對於隨後p Λ框麥考，P汛框編碼順序必須根據B訊框編碼修改，以便 未來Ρ訊框（或者可能係〗訊框）必須在插入6訊框之前解碼。 因此，編碼順序亦為隨後ρ訊框參考之問題。 Ρ及Β訊框類型之間的主要區別係：⑴Β訊框可為雙向參 考（高至每—巨集塊兩個動作向量）；⑺Β訊框使用後丢棄 ⑼意味著他們在解碼提供時間分層時可跳過）；以及⑽ 訊框用作從一個訊框至下一個 们的踏腳石」，因為每個Ρ訊 必須解碼作為每個隨後Ρ訊框之來考。 作為本發明另一方面，ρ兮据 夕 I (與Β汛框相反）參考一個或 夕们先前Ρ或I訊框解碼（各ρ訊框僅 之愔形^ 、 ι偟芩考取近先前Ρ或I訊框 之『月形除外）。因此，例如每一 木塊兩個或更多動作向量 85917 -24- 1231711 可用於當前p訊框，全部時間回指(即指向一個或多個先前 解=框）。此類P訊框仍然保持「踏腳石」特徵 由當WP訊框500對兩個先前P訊框5〇2、5〇4及—先前I訊框 5 0 6之多個先前參考的範例示意圖。 另外，可在此類P訊框參考内應用巨集塊内插之概冬，如 上所述。因此，除對多個先前…訊框之發信號單一^考 外，亦可使用用於每個此類訊框參考之一個動作向量混人 Μ固先前P或m框之比例。例如’上述使用具有兩個訊框 參考之B訊框内插模式的技術可應用以使任何？訊框内巨集 塊使用兩個動作向量參考兩個先前p訊框或一個先前p訊框 及一個先前I訊框。此技術内插兩個動作向量之間，但並非 時間雙向（與B訊框内插情形相同），因為兩個動作向量時間 回指。記憶體成本已降至該點中記憶體内為此類當前 參考保持多個先前P或I訊框非常實際。 應用此類P訊框内插中，選擇各種先前兩個或更多p訊框 (以及選擇性地，一個先前丨訊框）之有用比例並發信號至解 碼态較具建設性。具體而言，訊框相等混合係有用混合比 例之一。例如，兩個先前p訊框參考時，可混合各p訊框的 相等1/2數量。對於三個先前p訊框，可使用1/3相等混合。 兩個P 框之另一有用混合係最近先前訊框之2/3，以及 最运先别δίΐ框之1 /3。對於三個先前p訊框，另一有用混合 係最近先丽訊框之1 /2，下一最近先前訊框之丨/3以及最遠先 前訊框之1 / 6。 然論如何’多個先别Ρ訊框（以及選擇性地，一個I訊框） 85917 -25- 1231711 =組簡單有用混合可使用並簡單地由編碼器發信號至解 # σσ所使料特定混合比例可儘量選擇有用以最佳化影 像早兀編碼效率。許多混合比例可使用少量位元選擇，其 可在任何合適時間傳送至解碼器，用於需要的影像單元。 為本毛明另—方面，從最近先前ρ(或I)訊框開關選擇單 At茶考至更「遠」先前ρ(或〖）訊框亦很有用。這樣， 、^框"使用每—巨集塊（或者選擇性地，MPEG-4式編碼内 2每8 X 8區塊）單一動作向量，但會使用一個或多個位元以 私不參考係指-單-特定先前訊框。此模式内P訊框巨集塊 不έ係内插式’而會參考一選擇先前訊框，其選自用於參 考之可能的兩個、三個或更多先前Ρ(或I)訊框選擇。例如， 4元、’扁馬可扣疋咼至四個先前訊框之一，作為選擇之單一 多考Λ框。此2位元編碼可在任何適當影像單元改變。 Β訊框之適應性數量

MPEG、、扁碼通常使用j、？及框類型之固定圖案。ρ訊框 之間的Β δί1框數量通常恆定。例如，MPEG-2編碼通常在p (或I)汛框之間使用兩個Β訊框。圖6八係典型先前技術MpEG 編碼圖案之圖式，說明括弧I訊框600及/或P訊框602之間 的B訊框（即兩個）之恆定數量。 MPEG-4視訊編碼標準概念上使括弧〗訊框及/或p訊框之 間的Β Λ框數量可變化，以及使z訊框之間的距離數量可變 化。圖6Β係理論上可能的先前技術％]?]£〇_4視訊編碼圖案之 圖式’說明括弧I訊框6〇〇及/或ρ訊框6〇2之間的β訊框之變 化數置’以及I訊框6〇〇之間的變化距離。 85917 -26 - 1231711 於藉由匹配最有效B及P訊 編碼效率。雖然此靈活性 少，且不知道此靈活結構 此靈活性編碼結構理論上可用於II 框編碼類型與移動影像訊框改進編兒 已明確得到允許，但對其探究極少， 中貝際決定B及P訊框放置之機制。 本發明另一 方面將本文所述概念應用於此靈活編碼結構

具體而言，B訊框内巨#塊可使用成比例混合，其與固定 結構一樣有效地適用於靈活編碼結構。當B訊框參考較最近 括弧P或I訊框更遠的？或〗訊框時亦可使用成比例混合。 同樣，P訊框可與固定圖案結構一樣有效地參考此靈活編 碼結構内多個先前P或I訊框。另外，當混合比例參考多個 先前P訊框（選擇性地加一個〗訊框）時他們可應用於此類p 訊框内巨集塊。 (A)決疋致活性編碼圖案内放置 以下方法使編碼器可最佳化訊框編碼圖案及所使用混合 比例兩者之效率。對於選擇之訊框範圍，可嘗試許多候選 編碼圖案，以決定最佳或接近最佳（關於特定標準）圖案。 圖7係可檢查之編碼圖案圖。一結束於p或I訊框之初始順序 7 〇 〇任思遙擇’並用作加入額外p及/或B訊框之基極，其隨 後評估（如下所述）。一項具體實施例中，p訊框加入初始順 序700，以產生用於評估之一第一測試順序7〇2。若評估令 人滿意，一介入B訊框插入以產生第二測試順序7〇4。對於 85917 -27- 1231711 每们7人滿意的評估，額外B訊框插入以產生 試順序706至712 產生越末越長的蜊 不令人滿意。在㈣㈣ 之末浐ρ、接者重覆此方法，使用先前接受編碼順序 :末™為加入新ρ訊框之起始點，然後一： "Τ根據各種評估標準聘1 # ^ ^ 知旱廷擇取佳或接近最佳編碼圖案，诵 书包括各種編碼特性之拼声 之折衷例如編碼影像品質對需要編 碼位元數量。普通評估 曰 、汁估钛準包括最少數量之使用位元（固定 ，、匕’ m中）’或最佳信號對雜訊比（固定位元速率測 试中）’或兩者之組合。 將絕對差總和（sum^absolute_difference; sad)減至最 小亦很常見，其形成Dc匹配測量。如標題為「用於視訊摩 縮系統之動作估計」的共同待審美國專利申請序號 09/904,1 92中所說明(其讓渡給本發明之受讓人並以參考方 式並入本文）’ AC匹配標準亦為特定候選匹配品質的有用測 量（本專利申請亦說明其他有用最佳化方案）。因此，八〇及 DC匹配標準，累積於全部巨集塊最佳匹配之上，可檢查以 決定每個候選編碼圖案之整體匹配品質。當與每個訊框圖 案類型之編碼位兀數量估計一起使用時，此AC/DC匹配技 術可增加或取代信號對雜訊比（SNR)及最小使用位元測試 0通苇使用里化參數（quantization parameter ; QP)值比p訊 框更高的B訊框編碼巨集塊，其影響各種候選編碼圖案内使 用之位元的品質（通常用信號對雜訊比測量）及數量。 85917 -28 - 1231711 (B)靈活編碼圖案内混合比例最佳化 或者，對於每個根據上述方法決定的候選圖案，可根據 一個或多個標準測試混合比例適用性（例如最佳或接近最 佳混合比例）。例如，此可藉由測試最佳品質（最低snr)及/ 或效率（最小適用位元）。為p訊框内每個巨集塊使用一個或 多個先前參考亦可以相同方法決定，測試每個候選參考圖 案及混合比例，以決定一組一個或多個適當參考。 一旦已選擇用於下一步驟（圖7之步驟7〇〇)之編碼圖案， 則隨後步驟（步驟702至712)可為各種候選編碼圖案測試。 這樣，可決定移動影像順序之更有效編碼。因此，效率可 =以上小部分（A)所述最佳化/改進，混合最佳化可應用於 每個測試編碼步驟。 DC對AC内插 在許多影像編碼情形中，例如當使用圖像訊框之對數代 表日可，上述訊框像素值内插將最佳化編碼照明變化。然而 ，在替代視訊「伽瑪曲線」、線性及其他代表中，其通常證 明對像素DC值而非AC值應用不同内插混合因數很有用。圖 8係流程圖，說明具有不同於AC内插之Dc内插的内插方法 之一項具體實施例。對於來自第一及第二輸入訊框8〇2、 8〇2’之選擇影像區域（通常係DCT區塊或巨集塊），每個此類 區域之平均像素值從804、804,減去，從而將選擇區域内DC 值（即整個選擇區域之平均值）8〇6、8〇6,從AC值（即帶正負號 像素值剩餘部分）808、8〇8’分離。對應〇〇值8〇6、806,接著 可乘以不同於用以乘AC(帶正負號）像素值8〇8、8〇8，的内插 85917 -29- 1231711 加權814、8 14’之内插加權81〇 内插AC值816接著可組合818， 8 2 0 〇 、810’。新内插DC值812及新 產生用於選擇區域之新預測 /艮據本發明其他内插值，適當加權可發信號至每_影像 單元之解石馬器。少量位元可在許多内插值間選擇，以:選 擇像素值AC對DC方面的獨立内插。 線性及非線性内插 —内插係線性加權平均Λ。由於内插操作係線性，且由於 母個影像訊框内像素值通常以非線性形式代表（例如視訊 伽瑪或對數代表）’内插處理進一步最佳化成為可能。例如 ，用於特定訊框順序之像素内插，以及與Ac值分離之DC 值的内插’有時關於線性像素代表係最佳或接近最佳。然 而’對於其他訊框順序，若像素以對數值表示或其他像素 代表表示則此類内插將係最佳或接近最佳。另外，用於内 插U及V(色度）信號組件之最佳或接近最佳代表可不同於用 於Y(亮度）信號組件之最佳或接近最佳代表。因此將像素代 表轉換為内插程序一部分之替代代表係本發明有用方面。 圖9係流程圖，說明使用t代具體實施例的亮度像素内插 广法之-項具體實施例。像素資料始於初始代表（例如視 訊伽瑪或對數）（步驟9〇0)内亮度（γ)像素區域或區塊，轉換 為不同於初始代表（步驟902)之替代代表（例如線性、對數、' 視訊伽瑪）。轉換的像素區域或區塊接著如上所述内插(步 驟906) ’並轉換回至初始代表(步驟9〇6)。結果係内插像素 亮度值（步驟908)。 85917 -30- 1231711 圖ι〇係流程圖，說明使用替代代表的色度像素内插方法 之一項具體實施例。像素資料始於初始代表（例如視訊伽瑪 或對數）（步驟1000)内色度（U、V)像素區域或區塊，轉換為 不同於初始代表（步驟1002)之替代代表（例如線性、對數、 視汛伽瑪）。轉換的像素區域或區塊接著如上所述内插（步. 驟1006)，並轉換回至初始代表（步驟1〇〇6)。結果係内插像 · 素色度值（步驟1 008)。 代表之間的轉換可根據標題為「用於改良壓縮影像色度 貧汛之方法及系統」的美國專利申請序號〇9/9〇5,〇39教導内 | 容執行，其讓渡給本發明之受讓人並以參考方式並入本文 。應注意替代代表及其反轉通常可使用一簡單查找表執行。 作為本發明此方面之變化，用於Ac内插之替代（線性或非 線性）代表空間可不同於用於DC内插之替代代表空間。 根據内插加權，選擇哪個替代内插代表用於各亮度（γ) 及色度（U及V)像素代表可使用少量用於選擇影像單元之位 元發信號至解碼器。 每一巨集塊動作向量數量 4Ρ MPEG-2内，每16 X 16Ρ訊框内巨集塊提供—個動作向量 ： 。；8訊框内，MPEG-2提供每16 χ 16巨集塊2工作向量的最 ， 大值，對應雙向内插模式。MPEG_4視訊編碼中，每ΐ6χ ΐ6ρ 汛框内巨集塊允許高至4動作向量，對應每8 χ 8DCT區塊一 個動作向量。MPEG-4B訊框内，當使用内插模式時，每16 χ 16巨集塊允許兩個動作向量之最大值。若隨後對應ρ訊框巨 集塊設置為具有四個向量之8 χ 8模式，MPEG_4直接模式内 85917 -31 - 1231711 早一動作向量delta可產生四個獨立「隱含」動作向量。此 藉由疋標時間距離後將丨6 x丨6B訊框巨集塊内載送的一個 動作向量delta加入來自以下P訊框巨集塊之每個對應四獨 立動作向量而實現（B訊框時間上較p訊框之先前卩或1訊框 參考更接近）。 本I明一方面包括增加每一圖像區域（例如巨集塊）動作 向里數里之遙項。例如，有時每一 B訊框巨集塊具有兩個以 動作向里證明係有利的。這些可藉由參考額外p或〗訊框 及加權和内具有三個或更多内插期應用。額外動作向量亦 :應用以為B5fl框巨集塊之8 X 8 DC丁區塊提供獨立向量。 同樣，藉由將分離心丨匕應用於來自隨後P訊框之每個四8 x 8 區域動作向量，四獨立delta可用於延伸直接模式概念。 另外，P訊框之調適可使用參考多個内插模式先前訊框之 B訊框實施技術，使用上述B訊框雙内插期技術。此技術可 容易地延伸至兩個以上先前？或1訊框，所產生的内插在加 推和内具有三個或更多期間。 根據本發明其他方面（例如像素代表及〇匸對AC内插方法） ，特定加權和可使用少量每一影像單元位元連接至解碼器。 品本&月此方面之應用中，8 x 8像素DCT區塊及動作向量 區域之間的—致性不必與MpEG_2及MPEG.4-樣嚴格。例 如’可為動作向量使用不同於16 χ 16、16 χ 8 (僅使用 MPEG_4内交錯）及8 χ 8之替代區域尺寸。此類替代可包括 任何數量之有用區域尺寸，例如4χ8、8χ 12、h Μ、“ 12、2Χ8、4χ8、24χ8、32χ32、24χ24、24χΐ6、8χ 85917 -32- 1231711 24 32 x 8、32 χ 4等等。使用少量此類有用尺寸，一些位 疋可將動作向量區域尺寸及DCT區塊尺寸之間的一致性發 仑號至解碼器。在使用傳統8 χ 8 dct區塊之系統内，一簡 單、、、動作向昼區域一致性對簡化動作補償中的處理很有用 。在DCT區塊尺寸不同於8 χ 8之系統中，則可藉由指定動 作向里區域實現較大靈活性，如在標題為「先進電視之增 強型時間及解析度分層」之共同待審的美國專利中請序號 、，/5 45,233中所述，其讓渡給本發明之受讓人並以參考方式 夏入本文。應注意動作向量區域邊界不必對應DCT區域邊 ；，貝際上，通常可以動作向量區域邊緣位於DCT區塊内 (亚不在其邊緣上）之方式定義動作向量區域。 L伸動作向虿區域靈活性之概念亦應用於本發明之内插 方面。尸、|每個{象素及一個或多個動作向量至一個或多個 乡考Λ框之間的-致性指定，上述内插方法可應用於使用 本^明王部一般性之有用動作向量的完全靈活性。甚至對 應每個動作向量之區域的尺寸可不同，當使用Ρ訊框時係對 於每域前訊框參考，當使用㈣框時㈣㈣個先前及未 框。當應用本發明之改良内插方法上時若用於動作向 里之區域尺寸不同’則内插反映交疊共同區域。用於動作 向里參考之父豐共同區域可用作分別内插DC及像素值 時決定DC期的區域。 兒明用於兩個ρ訊框lm、ιι〇6之每—個的唯—動作 :量區域尺寸1100、1102。根據本發明計算内插值前，決 疋動作向！區域尺寸之聯合UG8。聯合iiq8定義全部視為 85917 1231711 具有指定動作向量之區域。 因此例如’將B訊框1丨12之4 X 4 DCT區域向後内插至先 月il P訊框11 04時，聯合丨丨〇8内的4 x 4區域111 〇將使用對應先 刖P訊框内8 X 1 6區域1丨丨4之動作向量。若向前預測，聯合 1108内區域1110將使用對應下一 P訊框内4 X 16區域1115之 動作向量。同樣，聯合11 08内區域11 6之向後内插將使用對 應8 X 16區域U14之動作向量，而向前預測相同區域將使用 對應1 2 X 1 6區域U 1 7之動作向量。 本發明一項具體實施例中，兩個步驟用於完成通用化（及 非均勻尺寸）動作向量之内插。第一步驟係決定動作向量共 同區域，如以上根據圖丨丨所說明。此可為每個先前或隨後 Λ框參考建立像素及動作向量（即每一指定像素區域尺寸 之動作向$數量）之間的一致性。第二步驟係利用適當内插 方法及每個像素區域現用内插因數。編碼器一工作係確保 才曰疋取佳或接近最佳動作向量區域及内插方法，以及全部 像素完全指定其向量及内插方法。在具有單一指定内插方 法（例如各參考訊框距離固定比例混合，為整個訊框指定） 之動作向量（例如用於每個32 χ 8區塊之一動作響亮，為敫 個訊框指定）固定圖案情形中此可非常簡單。若動作向量= 域尺寸作區域性變化此方法亦可十分複雜，其中區域尺寸 不同取決於參考哪個先前或隨後訊框（例如用於最近先前 訊框之8 X 8區塊及用於下一最近先前訊框之& 8區塊 另外’内插方法可在訊框區域性指定。 編碼時，編碼器工作係決宏 你决疋位7G取佳或接近最佳使用以 85917 -34- 1231711 便在動作向量區域形狀及尺寸 、，、 , 3忠擇，亚選擇最佳或接 方法。亦需要決定來指定參考訊框之數量及距 離。可藉由詳盡測試多個候選動作向量區域尺寸 選訊框及用於每個此類動作向量 / 、 里^ Q之内插方法決定這些 ::’直至發現最佳或接近最佳編碼。藉由發現編碼區塊 <取小SNR或編碼區塊後用於固^量化參數（㈣心^ Γ槪⑽；QP)之最低位元數量，或藉由應用另-適當測 里了决疋表佳性（根據選擇標準）。

直接核式延伸 —用於MPEG-4内b訊框巨集塊之傳統直接模式可對動作向 里編碼很有效，提供具有簡單共同她之8"區塊 勢。直接模式根據時間距離在對岸 T ^ H果塊位置加權來自隨 後P訊框(其參考先前P訊框)之每個對應動作向量。例如， 若Μ=3 (即兩個插入B訊框），對於簡單線性

將使用-峨㈣框動作向量嗔關於此 素偏移，以及W3乘隨後Ρ訊框動作向量以決定關於先前？訊 框之像素偏移。同樣，第二Β訊框將使用·1/3乘相同ρ訊框 動作向量以決定關力此Ρ訊框之像素偏移，以及2/3乘隨後ρ 訊框動作向量以決定關於先前ρ訊框之像素偏移。直接模式 中，—小delta加入每個對應動作向量。作為本發明另一方 面’此概念可延伸至指向一個或多個11路p訊框之B訊框參考 ’其藉由考慮訊框距離以決定訊框縮放分數，依次參考一 個或多個先前或隨後P訊框或I訊框。 圖12說明P及B訊框順序，其具有用於8訊框之内插加權 85917 -35- 1231711 ’作為與參考1路隨後P訊框之2路隨後P訊框之距離的功能 。說明範例中，指示括弧P訊框1204、1206之間的兩個 連續B訊框12〇〇、km。此範例中，與傳統mpeg相同，下 一最近隨後P訊框1208(即n = 2)内每個協同定位巨集塊可指 向插入（即最近）p訊框丨204，且首先兩個B訊框1200、1202 可參考下一最近隨後P訊框1208，而非最近隨後p訊框12〇4 。因此’對於第一 B訊框1 200，訊框縮放分數5/3乘來自下 一最近隨後P訊框1 2 0 8之動作向量mv將用作關於p訊框 1208之像素偏移，第二B訊框12〇2將使用4/3乘該相同動作 向量之偏移。 若由B訊框參考之最近隨後p訊框指向下一最近先前p訊 框，則簡單訊框距離可再次用於獲得應用於動作向量之適 當訊框縮放分數。圖13說明p及b訊框順序，其具有用於B 訊框之内插加權，作為與參考2路隨後p訊框之丨路隨後p訊 框之距離的功能。說明範例中M=3，6訊框丨3⑻、1 3们來考 最近隨後P訊框1304，其依次參考2路P訊框13〇6。因此，對 於第一 B訊框1300，像素偏移分數係訊框縮放分數2/6乘以 來自最近隨後P訊框1304之動作向量mv，第二B訊框13〇2之 像素偏移將係訊框縮放分數1/6乘以該相同動作向量，因為 最近隨後P訊框1304之動作向量指向2路先前p訊框13〇6，其 間隔6訊框。 。 通常，參考直接模式單一Ρ訊框之Β訊框情形中，訊框距 離方法將訊框縮放分數之分子設置為等於從該6訊框至其 參考’或「目標」Ρ訊框的訊框距離，將分母設置為等於從 85917 -36- 1231711 目標p訊框至由目標p訊框參考之另—Pm框的訊框距離。訊 框縮放分數符號對從B訊框至隨後㈣框之測量為負，對從 B汛框至先别p讯框之測量為正。此將訊框距離或訊框縮放 分數應用於P訊框動作向量之簡單方法可實現 式編碼。 呆 另外，本發明另—方面係使直接模式可應用於多個p訊框 内插動作向量參考。例如，若p訊框從最近及下一最近先前 P訊框内插，根據本發明此方面之直接模式參考提供用於每 個多財考直接模式B訊框巨集塊之内插混合。通常，兩個 或更夕p純動作向量可應用適當的訊框縮放分數。兩個或 更多訊框距離修改動祚A旦4 + 又動作向里接者可使用用於參考或瞄準今 P訊框之每個B訊框的對岸内扞 以 曰J对應内插加榷，如下所述，以產生内 插Β訊框巨集塊動作補償。 士圖14說明MB訊框順序，其中隨後卩訊框具有參考先前Ρ =匡3的I個動作向量。此範例中，β訊框14叫考隨後P訊 王it Ρ3 „fl框依次具有兩個動作向量，其表 對應先前P訊框P2、P1。此範例中，B訊框测之每個二 塊可使用兩個加權期或奸来 " 惟肩次此颏加榷期組合以直接模式内插。 β訊框14 〇 〇之每個巨集塊將以混合形式架構： •由则1訊框縮放分數1/3移動之訊框Ρ2對應像素（其中 像素可接著乘以某成比例加權i)加由⑽訊框縮放分 = -2/3移動之訊框P3對應像素(其中像素可接著乘以 某成比例加權j );以及 •由猜2訊框縮放分數2/3(4/6)移動之訊框^對應像素 85917 -37- 1231711 (/、中像素可接著乘以某成比例加權k)加由訊框縮 放分數-1/3 (-2/6)移動之訊框P3對應像素（其中像素 可接著乘以某成比例加權1)。 根據全部直接模式，動作向量delta可使用mvl及mv2之每 一個。 根據本發明之此方面，B訊框内直接模式預測巨集塊亦可 參考多個隨後P訊框，其使用與多個先前P訊框相同的内插 方法及動作向量訊框縮放分數應用程式。圖15說明？及3訊 ，順序，其中最近隨後p訊框具有參考先前？訊框的動作向 量，以及下一最近隨後P訊框具有參考先前p訊框的多個動 作向量。此範例中，B訊框15〇〇參考兩個隨後p訊框p2、p3 。P3訊框具有兩個動作向量mvl及mv2，其參考對應先前p Λ框P2、P1。P2汛框具有一個動作向量，其參考先前p 訊框P1。此範例中B訊框15⑻每個巨集塊使用三個加權期以 直接方式内插。此情形中，動作向量訊框縮放分數可大於i 或小於-1。 用於此形式之直接模式0訊框巨集塊内插可使用本文所 述之完全一般性内插。#體而t，每個加冑或加權之組合 可測《式以狻得用於各種影像單元之最佳性能（例如品質對 位元數）。為此改良直接模式設置之内插可指定至具有較小 每影像單元位元數之解碼器。 B汛框1 500之每個巨集塊將以混合形式架構： •由mv 1訊框縮放分數-5/3移動之訊框p3對應像素（其中 像素了接著乘以某成比例加權丨）加由m V 1訊框縮放分 85917 -38- 1231711 數-2/3移動之訊框P2對應像素（其中像素可接著乘以 某成比例加權j); 由mv2 匡縮放分數_5/6移動之訊框p3對應像素（其 中像素可接著乘以某成比例加權k)加由_訊框縮放 分數1/6移動之訊框P1對應像素（其中像素可接著乘以 某成比例加權·1);以及 •由請3訊框縮放分數_2/3㈣之訊㈣對應像素（其 中像素可接著乘以某成比例加權m)加由_訊框縮放 分數1/3移動之訊框P1對應像素（其中像素可接著乘以 某成比例加權j^)。 根據全部直接模式，動作向量_可使用州、⑽2及 mv3之每一個。 應注意特定優勢直接編碼模式通常發生於當下_最近产 後P訊框參考括弧候選B訊框之最近？訊框時。 通 Μ P E G - 4内B訊框之首接；(：堇·π 接杈式、，扁碼通常將隨後Ρ訊框之動 作向量用作-參考。根據本發明另—方面，Β訊框亦可能夫 :先前Ρ訊框之協同定位巨集塊之動作向量，其有時證縣 直接权式編碼苓考之有利選擇。此情 , ，當下_最近务 ΙΤΡ訊框由最近先前訊框ρ動作向量參考時，動作向 縮放分數將大於一。圖16說明ρ&Β訊框順 苴 ° 前Ρ訊框具有參考先前Ρ訊框的動作向量。、此取近先 框1600參考1路Ρ訊框Ρ2。訊框Ρ2 乾歹’ ，3訊 〜功作向3： mv參考一 ❹訊框P1 (B訊框議為2路）。所顯示係適當㈣框㈣ 分數。 ' 85917 -39- 1231711 若最近先前p訊框從多個向量及訊框内 圖14所說明的那些相同之方法：用與結合 數及内插加權。圖17說明如訊框：序

訊框具有參考先前P訊框的兩個動作向量。：=先前P

框1700參考先俞p訊框P3。先 BA 夂考下… 无引Ρ3Λ框之-個動作向量mvl ，考下-先心訊框P2,而第二動作向量叫 訊框P1。所顯示係適當訊框縮放分數。 先别 B訊框1700之每個巨集塊將以混合形式架構： •由mvm框縮放分數1/3移動之訊框_應像中 ::素可接著乘以某成比例加權〇加由_訊框縮放分 數4/3移動之訊框應像素（其中像素可接著乘以某 成比例加權j );以及 •由mv2訊框縮放分數1/6移動之訊框_應像素（其中 像素可接著乘以某成比例加權k)加由㈣訊框縮放分 數7/6移動之訊框？1對應像素（其中像素可接著乘以某 成比例加權1)。 /先前P訊框（對應B訊框）之動作向量指向下—最近先前 Ρ Λ框’不必僅將下一最近先前訊框用作内插參考，如圖16 。=近先=訊框可證明_作補償之較佳選擇。此情形中 最k先刚Ρ舐框之動作向量縮短為從Β訊框至該ρ訊框之 ★巨離刀數。圖1 8說明？及Β訊框順序，其中最近先前ρ 麥考先月P §fL框的動作向量。此範例中，對於 第Β Λ框1 80〇將使用1/3及_2/3訊框距離分數乘最近先前 Ρ Λ C Ρ2之動作向量mv。第二Β訊框1⑽2將使用“3及 85917 1231711 Λ框距離分數（未顯示）。此選擇將發信號至 此情形與圖16所示情形。 3。。以£別 根據所有其他編碼模式，使用直接模式較佳係包含 ”他可用内插之候選模式及單—向量編碼模式及參考框 。料直接模式測試，最近隨後p訊框（以及選擇性地 :最近隨後p訊框甚或更多隨後p訊框，及/或-個或多個先 WP訊框）可作為候選測試，少 ^ 乂里位凡（通常一個或兩個）可用 才曰疋解碼益使用的直接模式P參考訊框距離。 延伸内插值 MPEG-1、2及4中以及Η·261&Η·263標準中指定b 用向前參考及向後參考气框 ° 吏 n味之像素值相等加權，由動作向 ®私動。本發明另一方面肖拓 括σ種有用不等加權之應用， :::著改進Β訊框編碼效率’以及此類不等加權的兩個以 多考之延伸，其包括兩個或更多向後及向前時間參考。 本發明此方面亦句& η _ l i 匕括用於為P讯框參考及内插之多個訊框 ，法。另外’當兩個或更多參考時間上向前指，或者者 兩個或更多參考時間上向後指，則❹負加權以及超過Γ〇 之加權有時很有用。 二’圖19係顯示三個ρ訊框Ρ1、Ρ2及”之情形的訊框順 、、中Ρ3使用具有兩個動作向量之内插參考，η及μ各 具個。例如’若P1及Ρ3之間訊框範圍發生連續變化，則 P 2 - P 1 (即由用於p 2之動作&旦

向里私動的訊框p2之像素值減去 由用於P 1之動作向晋孩AA 私動的汛框P1之像素值）將等於P3-P2 。同樣，P3-P1將兩倍於⑽及㈣之大小。此一情形中 85917 -41 - I23l711 ，用於汛框P3之像素值可藉由以下公式由p丨及p2差動地預 測： P3-P1+2 X (P2-P1) = (2 X P2)-Pl 此情形中，用於P3之内插加權對？2係2 〇，對？1係_1〇。 作為另範例’圖20係顯示四個p訊框pi、p2、p3及P4 之情形的訊框順序，其中P4使用具有三個動作向量之内插 參考，PI、P2及P3中每一個各具一個。因此，由於p4&p3 、P2及P 1預測，將應用三個動作向量及内插加權。若此情 I中’此σίΙ框範圍發生連續變化，則P2_p 1將等於p3_p2及 P4-P3 兩者，P4-P1將等於 3 x (?2_?1)及3 χ (p3_p2)。 因此此範例情形中，根據P2及p丨之p4預測將為： Ρ4 = Ρ1+3 X (Ρ2^Ρ1) = (3 χ Ρ2).(2 χ Ρ1)(加權 3·0及-2·0) 根據Ρ3及Ρ1之Ρ4預測將為： Ρ4=Ρ1+3/2 χ (Ρ3-Ρ1)=(3/2 χ Ρ3)-(1/2 χ Ρ1)(加權 L5 及 _〇.5) 根據Ρ3及Ρ2之Ρ4預測將為： Ρ4 = Ρ2 + 2 χ (Ρ3-Ρ2) = (2 χ Ρ3)-Ρ2(加權 2.0 及-ΐ·〇) 然而，亦可能最接近Ρ4之變化（包含Ρ3及Ρ2)係比包含！^ 之預測更可靠之Ρ4預測器。因此，藉由將1/4加權提供至上 述包含Ρ1之兩個期間的每一個，及將1 /2加權提供至僅包含 Ρ3及Ρ2之期間，可產生·· 1/2 (2 P3-P2)+l/4 (3/2 Ρ3-1/2 Pl)+l/4 (3 Ρ2-2 Pl) = 1 3/8 Ρ3 + 1/4 Ρ2-5/8 Ρ1 (加權 1.375、〇·25及-0.625) 因此，使用高於1 ·0及低於零之加權有時很有用。在其他 時間，若存在從一個訊框至下一個的類雜訊變化，具有〇·〇 8591? -42- 1231711 及ι·〇之間溫和係數的正加權平均值可產生p4巨集塊（或其 他像素區域）之最佳預測器。例如，—些情形中圖辦、 P2及P3之每一個的1/3相等加權可形成以最佳預測器。 應注意最佳匹配動作向量係應用於決定p丨、、Η等的

區域此耗例中由計算使用。此匹配-些情形中最好為AC 匹配，使變化沉期可藉由AC係數關。或者，若使用沉 匹配(例&絕對差和），貝,丨通常可預測AC係數變〖。其他情 形：’各種形式的動作向量匹配將形成具有各種加權混合 之最佳預測。iff 1於特定情形之最佳預龍據經驗使 用本文所述方法決定。 這^技術亦適用於3訊框，其具有兩個或更多時間上向後 或向前指的動作向量。當時間上向前指，上述用於p訊框之 係數圖案反轉以精確向後預測至當前?訊框。使用本發明之 此方面可能向前及向； J月』及门傻方向上具有兩個或更多動作向量， 從而同時在兩個方向上預測。這些各種預測之適當加權混 合可藉由選擇最佳預測當前B訊框之巨集塊（或其他像素區 域）的混合加權而最佳化。 圖2 1祝明P及B訊框順店甘 、， 化；丨貞序，其中各種p訊框具有參考各種 先前P訊框的一個或多個重Λ你 曰 乂夕们動作向置，以及說明藉由特定β 框指疋至各自向前及向德失去 门傻翏考的不同加權a-e。此範例中， B訊框21 00參考三個弁” Τ 月J Ρ Λ框及兩個隨後ρ訊框。 在圖2 1所說明範例中，f σ框P 5必須為此範例解碼以 理。有時將位元流内訊框配晉盔妒揀不 「 义泛 配置為解碼需要順序（「傳送順序） 很有用，其不必為顯示順床r7 、丁項序（「顯不順序」）。例如，在顯 85917 -43- 1231711 =週期動作之訊框順序中（例如目標旋轉），特定 最並近:遺後_更相似於遠P訊框。圖22說明?及咖 ’ 5⑽位元流傳送順序不同於顯示順序。此範例中， ;:框P3:訊框P4更相似於訊框P5。因此先於p4傳送 =先於P5顯示P4很有用。較佳的係當此類p訊框可 #母個P訊框應發信號至解碼器(例如，位： 框到期或顯示順序x訊框之後）。 、 η * λ 若加權係從一小組選擇中選擇， m , η. ^ 、j V里位兀可發信號至 使用加榷之解碼器。根據本 备一旦，推w 1、王邛其他加柘，此可在 〜早70 ’或在解碼方法内任何其他 發信號至解碼器。 #艾化有用點 亦可能下載新加權組。以此 時間啟動。此使少量位元可奸：至二里加推組可在給定 榷組可在解碼方法内任 動加 ，大旦,n— U使用。為決定合適加權組 大里加％可在編碼中測試。若一 兮2在π ☆ 丁木徒供南效率，則 q子木可發信號至解碼器以便 、 可僅祐田，如 1更使用该子集特定元件因而 ㈤ 元發信號至解碼器。例如，10位元可選擇 叱4子集元件之…另外 擇 率時，軿工隹. 田斗寸疋小子集應改變以保持效 旱％ ’新子集可發信號至解碼器 佳务# 4里π 此、、扁碼态可動態最 乜化透擇加杻組元件所需位 元數旦^ 兀数里對更新加權組需要的位 兀數里。另外，少量短編 例如W9 m 」用以“唬共同有用加權， 例如1/2、1/3、1/4等等。以此方式 ^ J. 4^ Δ 里位疋可用以發信 核組，例如P訊框内K-向前-向量預測(其中Κ=1、2、3 ···)’或者B訊框内K -向前-向吾a 月J向里及L-向後-向量預測（其中 85917 -44- 1231711 K 及 L 從 Ο、1、？、1 , Β£ 3、···中遥擇），或ρ訊框内Κ-向前-向量 及向量預測（其中κ及L從ο、丨、2、3、…中選擇） 作為田别M值功能（即㈣框關於鄰近P(或I)訊框之相對位 置）。 回，、月一有礼疋加權的P及B訊框順序。B訊框23 00具 有加權te ’其值從B訊框加權組2302表格中指定。p訊框 2304具有加核m、n，其值從p訊框加權組23〇6表格中指定 。：些力:榷可為靜態(即永久性下載至解碼器内），並由編 碼崙發#唬。其他加權可動態下載然後發信號。 此相同技術可用於動態更新加權組以選擇DC内插對 内插。另夕h編石馬值可發们虎，其選擇正常（線性）内插（其 中像素值通⑦以非線性代表代表）對轉換值線性内插（替代 次丨生或非、、泉ϋ代表内)。同樣，此類編碼值可發信號哪個此 類内插應用AC〇C值或是$分離内插AC及DC部分。 ㊉動子市亦可用於最小化在現用加權係數組之間選擇所 /兀數里例如，右在解碼器内保持i 〇24下載加權組 忙特定邓刀中可能需要啟動1 6個。因此，藉由選擇 啟動哪個16(购外）加權組子集，僅需要使用4位元以決定 ^這些Μ中哪個加權組。子集亦可使用最通料集短編 碼^信號，從而使少量位元可在通用子集中選擇。 平滑化及銳化 根據藉由減少平均值從AC信號簡單地分離DC组件，動竹 向量補償預測中亦可能用其他遽波操作。例如，各種高通 、帶通及低通濾波器可應用於像素區域（例如巨集塊）以操 85917 -45- 1231711 取各種頻帶。當執行動作補償時這此册 二頻▼可接著修改。例 如，其通常在雜訊移動圖像上使用，去τ ,,.y 為平滑化（使其不銳利 或輕微模糊）影像剔除最高頻率。泰 ^板糊影像像素，結合量 化較陡傾斜矩陣（較陡傾斜矩陣勿 心、略萄耵區塊内更高頻率 雜訊）’通常會形成一更有效編碼方 — 法。可能已經為每一影 像早70發信號量化傾斜矩陣。亦 下載用於亮度及色度 的自訂傾斜矩陣。應注意無論傾斜矩陣是否改變動作補償 之效率可改進。然@，通常最有效的係改變動作補償中應 用的傾斜矩陣及濾波器參數。 、、通常實務上係為具有色度特定傾斜矩陣之色度編碼使用 減小的解析度。然而，色度編碼解析度在此情形中係靜態 (例如垂直方向上及水平方向上4 · ? · " > 丁 /7 Π上4 · 2 · 0編碼一半解析度， 或僅水平方向上4:2:2編碼—半解析度）。編碼效率可根 據本發明此方面增加，藉由對色度及亮度（以獨立或串接 順序）之動作補償中的動態濾波器方法’為每一影像單元選 擇。 、 美國專利申請序號09/545,233,標題為「用於先進電視之 時間及解析度分層」（以上提及）’說明具有貞瓣之改良移 動遽波器的使用（截短sine函數）。這些m具有的優㈣ 田執行動作向量移動分數像素部分時他們保存清晰度。在 整數像素移動點及分數點上，一些巨集塊（或其他有二影像 區域）使用減小或增加其清晰度的濾波器更理想地移動。例 士對方、械采焦點」（其中一些訊框内目標隨時間移出焦 點，讯框其他部分進入焦點），轉換係清晰度及模糊度變化 85917 -46- Ϊ231711 因此，可在影像特定區域内增加清晰度 、 < ，J〜/曰/π研/£阿0子 區域降低清晰度的動作補償遽波器可改進編碼效率。且體 :言，若圖像區域移出焦點，其可有利於 :、 :二滑化影像(從而可能產生較佳匹配)並降低晶粒及/或雜

=可能改進編碼效率)。若影像區域進入焦點，其可 此有利於保持最大 J 色度濾波亦可從編= 較大負增加清晰度。 晰度增加及減少獲益。例如 半解析度色幻可;=率優勢(水平方向及垂直方向- 時保持,一…模糊動作嶋波器同 顏色細節較高時才而實現°只有當^ V通道 色雜訊或晶粒時較：=攻清晰移㈣波器；具有高顏 丁平乂候糊濾波器更有利。 j:點變化外，通常亦有從一個訊框至 動作模糊數量變化。在 们的方向及 簡單對話場景可且有帅作圖像膠片訊框速率，甚至 改變。例如，上唇可：二個訊框至下一個的動作模糊顯著 完全係由於照相；打門：訊框内模糊，在下-訊框銳化， 動作模糊，不僅時間中的嘴唇動作。對於此類 -有利，而且具有對銳化 匕（拉糊）慮波 ’若動作方向可決定，1干滑化的方向方面有利。例如 應影像特徵移動或作μ ^該方向的平滑化或銳化可用於對 可提供-些關於動；數：動作補償所使用的動作向量本身 訊框(或對應區域)：之有用貧讯’以及關於任何周圍 電荷（即動作模糊）。且^定訊框（或訊框内區域）動作數量 、體而言’動作向量係P訊框間最佳移 85917 -47-

I2317U ……糊由訊框内打開快門時間中的移動產生。 在框内目標位置對時間的曲線圖。照相機快門僅 牧口tL框日寸間之部公+ 模糊。動作r 开。’、門打開時目標任何動作會導致 示。因ΓΓ 由開門打開時間中的位置變化數量指 測量。快門打開時位置曲線雇傾斜度係動作模糊的 動作模糊數量及動作 向量（其方向亦可由清晰度權值、肖圍動作

指定的組合決定。仏政塗汗伯測及訊框區域人為 定數量選摆、4 可根據動作模糊及動作方向之決 心=定各㈣波器對決定動作模糊及方向的 著組合時’此類智慧應㈣波器可顯 解碼器的Γ元=率°少量此類遽波器可用少量發信號至 方法中其他有用 〜像早70或在解碼 嘴、由如 "•執行。根據加權組，可使用#7 f 屬波态以及一、本舌 1定用動恶負載組 .^ 動子集機制，以便將選摆畀士1丨

參數之間所i: # - k f、擇取有利組濾波器 j所而位凡數量減至 實施 本發明可以硬體或軟體或兩者之 陣列）實施。除非另、 σ (例如可程式邏輯 非固有地關於任何_ h + 之邛分的演算法並 、i田祂 4寸疋電腦或其他裝置。且w二一, 構更專用的裝置 式，或者其可建

士八 置例如積體電路）以執行特定4 A 本舍明可實施成 寸疋功旎。因此， 成在—個或多個可程式電腦系統（各包括至 85917 -48- 1231711 少一個處理器、至少一個咨# ^ / 们枓储存糸統（包括揮發性及非揮 發性記憶體及/或儲存元侔 s , 仔兀件）、至少一個輸入裝置或埠以及 至/ 一個輸出裝置或埠）上勃；乂门斗、·^ 式編碼用於輸入資料以執心、 夕個電腦程式。程 ; 科以執仃本文所述功能及產生輸出資訊 。輸出貧訊以熟知方式庙田士人 ，,^ Λ應用於一個或多個輪出裝置。 式可實施成任何需要的電腦語言(包括機器、 ^或回水準程式、邏輯或物件導向程式設計語言），以便 14電腦系統通信。無論如何，該語言可為編譯或内插語古。 母個此類電腦程式較佳係、儲存於或下載至通用或專用°可 =式電腦可讀的健存媒體或裝置（例如固態記憶體或記憶 -s磁性或光學媒體），用於當儲存媒體或裝置 _取以執行本文所述程序時組g及操作電腦。本發明7 、、先=視為實施成電腦可讀儲存媒體，使用電腦程式組能 "中如此組態之儲存媒體使電腦系、統以 操作’執行本文所述功能。 、（方式 、五兒月本毛明的-些具體實施例。但是’應明白’只要 不堤反本發明的精神與料’即可進行各種修改。例如， =述—些步驟可為獨立順序’因而可以不同於說明之順庠 執行。田仏 # 〜"貝序 範田壽内。、、他具體實施例都屬於下列申請專利範圍的 【圖式簡單說明】 圖1係根據先前技術之訊框時間線及MpEG_4直接模 作向量。 、A勒 圖2ίτ、根據本發明此方面之訊框時間線及成比例像素加 85917 -49- 1231711 權值。 圖3係根據本發明此方面之訊框時間線及混合、成比例及 相等像素加權值。 圖4係本發明說明性具體實施例中可用電腦實施之方法 的流程圖。 圖5係猎由當前p訊框對兩個先前p訊框及一先前I訊框之 多個先前參考的範例示意圖。 圖6A係典型先前技術MPEG-2編碼圖案之圖式，說明括孤 I訊框及/或P訊框之間的B訊框之恆定數量。 圖6B係理論上可能的先前技術MPEG-4視訊編碼圖案之 圖式，說明括弧I訊框及/或P訊框之間的B訊框之變化數量 ’以及I訊框之間的變化距離。 圖7係編碼圖案圖。 圖8係流程圖’說明具有不同於a C内插之D C内插的内插 方法之一項具體實施例。 圖9係流程圖，說明使用替代代表的亮度像素内插方法之 一項具體實施例。 圖10係流程圖，說明使用替代代表的色度像素内插方法 之一項具體實施例。 圖11係用於兩個P訊框之每一個的唯一動作向量區域尺 寸之示意圖。 圖12係P及B訊框順序，其具有用於B訊框之内插加權， 作為與參考1路隨後P訊框之2路隨後p訊框距離的功能之示 意圖。 85917 -50- 1231711 圖13係P及B訊框順序，其具有用於b訊框之内插加權， 作為與麥考2路隨後p訊框之1路隨後p訊框距離的功能之示 意圖。 圖14係P及B訊框順序，其中隨後p訊框具有參考先前p訊 框的多個動作向量之示意圖。 圖15係P及B訊框順序，其中最近隨後1>訊框具有參考先 前P訊框的動作向量，以及下一最近隨後P訊框具有參考先 前P訊框的多個動作向量之示意圖。 圖16係P及B訊框順序，其中最近先前？訊框具有參考先 前P訊框的動作向量之示意圖。 圖17係P及B訊框順序，纟中最近先前p訊框具有參考先 鈾Ρ訊框的兩個動作向量之示意圖。 、，圖18係⑽訊框順彳，其中最近先前Ρ訊框具有參考先 前Ρ訊框的動作向量之示意圖。 圖19係顯示三個ρ訊框ρ卜ρ ι r i以及ρ3之情形的訊框順序，其 中P3使用具有兩個動作向吾 ^ 口切向里之内插芩考，pl&p2各具一個。 圖20係顯示四個ρ訊框ρι、 、 z P3及Ρ4之情开> 的訊框順 序，其中Ρ4使用具有二個七 曰 ”韦一個動作向量之内插參考，ρι、 P3各具一個。 久 、， … 穴τ合禋P訊框具有參考各邏 前P訊框的一個.或多個動作A曰 動作向Ϊ，以及說明藉由特定Btf 指定至各自向前及向後來老 ° 欠的不同加權之示意圖。 圖22係P及B訊框順庠，盆士 个丨貝序其中P訊框位元流順序不同於 示順序之示意圖。 、 85917 -51 - 1231711 圖2 3係具有指定加權的P及B訊框順序之示意圖。 圖24係訊框内目標位置對時間的曲線圖。 各圖式中相同的參考符號表示相同的元件。 【圖式代表符號說明】 101 動作向量 102 動作向量 103 動作向量 104 B訊框 105 P或I訊框 106 P訊框 116 區域 400 步驟 401 步驟 402 步驟 403 步驟 404 步驟 405 步驟 406 步驟 500 P訊框 502 P訊框 504 P訊框 506 I訊框 600 I訊框 602 P訊框 85917 - 52 - 初始順序 第一測試順序 第二測試順序 測試順序 測試順序 步驟 步驟 步驟 步驟 步驟 步驟 步驟 步驟 動作向量區域尺寸 動作向量區域尺寸 P訊框 P訊框 聯合 區域 B訊框 區域 區域 區域 B訊框 -53- B訊框 P訊框 P訊框 P訊框 B訊框 B訊框 P訊框 P訊框 B訊框 B訊框 B訊框 B訊框 B訊框 B訊框加權組 P訊框 P訊框加權組 位置曲線 B訊框 B訊框 P訊框 P訊框 P訊框 訊框 訊框 -54-

Claims (1)

1231711 拾、申請專利範圍： 1 · 一種用於視訊影傻厚飨 豕&、、、侣之方法，該方法包括·· 提供包括圖像區域之— 丨員序訊框，違荨訊框包括預測 訊框及可參考訊框；以及 、 乡考m序内兩個或更多先前可參考訊框編碼至少 一個預測訊框之一圖像區域。 其中遠至少一個預測訊 其中該等可參考訊框包 2 ·如申請專利範圍第丨項之方法 框包含一可參考訊框。 3 ·如申請專利範圍第1項之方法 含預測訊框及内部訊框。 其中該等預測訊框包含 4·如申請專利範圍第丨項之方法 可參考預測訊框及雙向預測訊框。 5 ·如申請專利範圍第4項之太 .,^ ^ , 貝乏方法，其中該至少一個預測訊 框包含一雙向預測訊框。 6.如申請專利範圍第5項之方法，其進一步包括： 其中麥考Θ順序内兩個或更多隨後可參考訊框編碼 一雙向預測訊框之一圖像區域。 7·如申請專利範圍第〗項之 木上貝之方法，其進一步包括·· 識別至少該等兩個哎 Μ 4更多先則可筝考訊框之一。 8. 如申請專利範圍第1 α ^ — 、之方法，其中該編碼包含使用從 該等兩個或更多弁兪 了茶考訊框選擇的圖像區域之一 不等加權編碼。 9. 如申請專利範圍第8項之方氺，盆％ 止& 只 < 万法，其進一步包括·· 識別該不等加權。 85917 1231711 10·如申請專利範圍第8頊 罘項之方法’其中該不等加權包括大 於一或小於零的加權。 11. 如申請專利範圍第8頊 、 、方法，其中該等訊框包含配置 在圖像區域内的訊框，以豆 /、中省、扁碼包含使用對應該 “個或更多可參考訊框的不等像素值編瑪。 12. 如申請專利範圍第丨項之方 i ▲ β汛框順序包括可 蒼考§fl框及雙向預測訊框，該箄 > 寻汛汇之母一個包括配置 在巨集塊内的像素值。 a如申請專利範” 12項之方法，其進_步包括： 根據來自—個或多個顯示順序預測訊框之動作向量 使用直接模式預測決定一雙向預測訊框内至少一個巨 集塊。 1 4.如申請專利範圍第1 ^ 弟·"項之方法，其中該編碼包含使用從 该等兩個或更多先前可參考訊框選擇的圖像區域之一 不等加權編碼。 15. 16.

如=專利範圍第14項之方法，其中至少—個此類動作 向里猎由小於零或大於一之一訊框縮放分數縮放。 一種用於視訊影像壓縮之方法，該方法包括·· 提供包括圖像區域之一順序訊框，該等訊框包括雙向 預測（B)訊框及包括預測（p)訊框及内部⑴訊框的可參 考訊框；以及 苓考該順序内一先前可參考訊框編碼至少一個p訊 忙之圖像區域，其中該先前可參考訊框藉由至少一個 插入可參考訊框與該p訊框間隔。 85917 -2- 1231711 17·如申請專利範圍第W之方法，其進-步包括. 識別該等先前可參考訊框；以& a括. 將該識別發信號至―解碼器。 18· —種在具有_順床— 影像壓縮系統内用以考及雙向預測訊框的一視訊 預測訊框之此類$框f也決定具有-可變數量雙向 括： “框的-編瑪圖案之方法，該方法包 選擇一初始順序，其始於一呈 雙向預測訊框之可失考 1 —個緊跟其後之 將一可參相框加人到該初始順序之_考/框， 一測試順序，· X末鸲以產生 根據一選擇評估標準評估該測試順序丨 對於評估該測試順序之每個滿意 考Μ别插入-雙向訊框並重覆該評估步驟.以及 若評估該測試順序之該步驟滿意，則接受該先前測試 順序為一現有編碼圖案。 19·如申請專利範圍·第18項之方法，其進一步包括· 決定用於-選擇測試順序之該等訊框至少—個圖像 區域的一内插混合比例。 85917