TWI248313B - Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof - Google Patents
Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof Download PDFInfo
- Publication number
- TWI248313B TWI248313B TW093130409A TW93130409A TWI248313B TW I248313 B TWI248313 B TW I248313B TW 093130409 A TW093130409 A TW 093130409A TW 93130409 A TW93130409 A TW 93130409A TW I248313 B TWI248313 B TW I248313B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- global
- interpolation
- motion vector
- macroblock
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
Description
1248313 九、發明說明: 【發明所屬之技術領域】 本發明係相關於數位視訊,尤指可對包含有使用區塊比對移動 補侦或是全域移動補償所編碼得出之巨集區塊的一編碼視訊位元 流進行解碼的方法及相關裝置。 【先前技術】 長久以來,使用類比視訊訊號(analogvideosignal)的全動態 視訊播放(fUll-motion video display)即常見於各式各樣的電視系 統之中。而由於近幾年來電腦處理能力的快速進步以及越降越低 的系統成本,使用數位視訊訊號(digitalvide〇signa〇的全動態視 訊播放也有越來越普遍化的趨勢。相較於傳統的類比視訊系統, 數位視訊系統在建立、修改、傳送、儲存、以及播放全動態視訊 序列(Μ-motion video sequence)的功能上都有相當長足的進步。❿ 然而,在視訊序列(video sequence)中通常都包含有極大量的 原始數位資訊(raw digital inf〇rmati〇n)。對一般的個人電腦系統而 吕’要儲存或是傳送如此大量的視訊資訊通常是不可行的。舉例 : 來說,對於一個具有較低解析度(例如320x480個像素)的VHS 影像格式而言,經過數位化以後,兩個小時的全動態視訊播放必 6 1248313 須使用大約100GB的數位視訊資訊。而相對的,_般的唯獨光碟 片(CD-ROM )的容量通常只有〇 7GB,至於DVD貝j具有至多湖 的容量而已。 為了解決必須儲存或是傳送如此大量數位視訊的難題,各式各 樣的視壓縮標準或是程序也就陸續地被提出,例如膽肪_卜 MPEG 2 MPEG-4、H.26X等等。這些視訊壓縮技術利用了個別 影像圖框中靜態影像的相似性(可稱為圖框内關連此触_ correlation)、或是連續影像圖框之間的相似性(可稱為圖框間關 it ’ mtepftame correlation),來進行壓縮工作,以使用較高的壓縮 率(compressi〇nrati〇)對數位視訊資訊進行編碼。 在習知技術中,「區塊比對移動補償」(bl〇ck-matchingm()tiQn compensation,BMMC)是在對數位視訊資訊進行編碼時常會使用 到的一種技術。若一影像序列中顯示的是移動的物體,系統可以 依據這些物體的移動狀況,針對一些特定的「區塊」(bl〇ck,或是 「巨集區塊」(macroblock,MB))(這些特定的區塊中包含有移動 中的物體)產生適當的移動向量(m〇ti〇nvect〇r,Μγ)。而所得出 的移動向量則可用來預測在上述的影像序列中,相對的巨集區塊 後續的位置狀況。相對於傳送一整張新的影像,此時系統只需傳 送移動物體所在的巨集區塊對應的移動向量即可。因此,BMMc 7 1248313 的技術可以大幅減低對於包含有移動物體之影像序列所需傳送的 貝料里。然而,當影像變化得太劇烈時,有時則必須傳送所有巨 集區塊的移動向量,此舉卻會大幅降低編碼效率(c〇ding efficiency)。為了解決此一問題,習知技術中則發展出另一種編碼 技術,稱為「全域移動補償」(gl〇bal m〇ti〇n c〇mpensati〇n,), 舉例來說,_孤4(亦即腦/IEC 14496-2)中的「精靈編碼」(sprite coding)技術即是GMC技術的一種例子。在GMC技術中會考慮 到i人圖忙(previous frame)與目前圖框(current frame)之間的 全域影像變化(global image change )。關於每個圖框的全域移動參 數則可用來指出使肖GMC、編碼得出的每個巨集區塊中所有像素 (pixel)的移動向量。如此一來,每個圖框僅需使用一組的全域 移動务數即可,故對於具有全域影像變化的視訊賴而言,此舉 可以大幅增加編碼效率。 請參閱第1圖,第1圖為習知技标中一視訊解碼器的示意圖(由 美國第6,483,877號的專利案件所揭露)。第丨圖中的視訊解碼器 100係接收一輸入編碼視訊位元流1〇2,經由一解多工器1〇4將之 刀成里化後的(quantized )離散餘弦轉換(discrete cosine transform ’ DCT)參數i〇6,巨集區塊移動向量與全域移動參數 108,以及圖框内/圖框間編碼區別旗標11〇。量化後的離散餘弦轉 換參數106會由一反!化器(inversequantizer) U2以及一反離散 1248313 餘弦轉換處理器(inverw ηΓΤ • VefSeDCTProcessor)解碼成-誤差影像(_Γ image) 116加法器122則將—圖框内/圖框_換單元12〇所 輸出的-輸出影像118加入誤差影像116中,以產生一重建影像 124 〇 圖框内/圖框間切換單元12〇可依據圖框内/圖框間編碼區別旗 枯110切換其所輸出的輸出影像11S。一酬影像合成器 mage synthesizer) 126可合成出一綱影像128,至於預測影像 128則可用來執行圖框_碼。預測影像合成器126可自至少一解 碼影像130 (即健存於一圖框記憶體134中已解碼過的影像)中提 取預測區塊,並執行移_償的運算。絲i定E無塊所使 用的編碼類型,預測影像合成器126可以選擇執行BMMc或是 GMC。在圖框内編碼(intraframec〇ding)的情形下,圖框内/圖框 間切換單元120會輸出等於“〇,,的圖框内/圖框間切換訊號132,此 時系統就不會使用預測影像合成器126所輸出的訊號。 接下來请參閱弟2圖。第2圖為第1圖中預測影像合成器126 較詳細的示意圖。第2圖中的預測影像合成器126可以平行地處 理GMC以及BMMC。巨集區塊移動向量與全域移動參數1〇8係 作為一解多工器202的輸入訊號,解多工器202則可以提供全域 移動參數204至一 GMC影像合成器210,提供一巨集區塊移動向 1248313 量206至一 BM影像合成器212 ’並提供一選擇訊號208 (用來指 明是BMMC、還是GMC)至一切換單元214。BM影像合成器212 可對使用BMMC編碼得出的區塊合成出預測影像,至於GMC影 像合成器、210貝|J可對使用GMC編碼得出的區塊合成出預測影像。 個別的預測影像資料216與218則輸出至切換單元214,由切換單 元214依據接收自解多工器2〇2的選擇訊號2〇8選擇出其中一個 訊號。接下來,預測影像128則會輸出至切換單元12〇,如第ι 圖所示。 由乂上的#田述中可以瞭解,在可同日夺支援以及gmc 的視訊解碼器中’必須使用到兩個不同的影像合成器。如第2圖 的例子,第一個影像合成器212係用來執行BMMC,第二個影像 合成器21G _來執行GMC。在處理使用BMMc技術編碼得出 的區塊時’ GMC影像合成器210會處於閒置狀態;相似的,在處 理使用GMC技術編石馬得出的區塊時,舰影像合成器加則會處 關置狀態。报明顯的’上述使用兩個影像合成器的作法並不是 最仏的解决方案’且會增加影像合成器的硬體複雜度、以及整體 的系統成本。這是習知麟所面_—個問題。 【發明内容】 因此本發明的-個目的在於提供—種可對使縣塊崎移動補償 1248313 償的裝置 與使用全域移動補償所編碼得出的巨集區塊進行移動補 及相關方法,以解決習知技術所面臨的問題。 根據以下所提出的實施例,本發明所揭露的裝置可用來 含有複數侧㈣—輸人視難元流進行解碼功。該等圖框中匕 可包含有使用區塊比對移動補償所編碼得出或是使用全域移動補 償所編碼得出的複數個巨無塊。該裝置包含有—_單元,用 來對該輸入視訊位元流中每一個圖框中所包含 執行内插運算:其中,於處理一目前巨集區塊時,若該目=· 區塊係使用王域移動補偾編碼所編碼得^,貞彳該内插單元係依據 自複數個全域移動參數所轉換得出的一全域移動向量執行内插運 算。 另外,根據以下所提出的實施例,本發明亦揭露了一種使用於 -視訊解碼器中的預測影像合成器,用來對一視訊位元流解碼並φ 產生一預測影像,該視訊位元流包含有複數個圖框,該等圖框中 則包含有使用£塊比對移動補償所編碼得出的複數個第一巨集區 塊,以及使用全域移動補償所編碼得出的複數個第二巨集區塊, -该視sfl位元流中包含有複數個巨集區塊移動向量以表示該等第一 巨集區塊的移動向量,以及關於該等圖框的複數個全域移動參數 以表示5亥寺弟一巨集區塊中每個像素的一移動向量,該預測影像 11 1248313 合成器包含有:一轉換單元,用來接收該等全域移動參數,並將 該等全域移動參數轉換成一全域移動向量,其中,該全域移動向 量的形式則與該巨集區塊移動向量的形式相同;以及一内插單 元,用來接收一已解碼圖框,接收該全域移動向量,執行内插運 算,並產生該預測影像。 【實施方式】 請參閱第3圖,第3圖為本發明之預測影像合成器的_實施例馨 示意圖。本實施例中的預測影像合成器3〇〇可以使用於一視訊解 碼器之中(例如第1圖所示的視訊解碼器1〇〇)(請注意,在第3 圖中,與第1圖中包含有相同訊息的訊號係使用了相同的數字編 號表不)。預測影像合成器3〇〇包含有一解多工器3〇2,一轉換單 元304,一巨集區塊移動向量儲存單元306, 一全域移動向量儲存 單元308,一切換單元31〇,以及一内插單元。 解多工器302可接收自輸入編碼視訊位元流所得出的巨集區塊 移動向量與全域移動參數。在每一個圖框的開始處,全域移動 芩數307皆會被傳送至轉換單元3〇4。轉換單元3〇4則將全域移 : 動參數307轉換成一用於亮度(luminance)的全域移動向量(即 儿度王域移動向量)以及一用於彩度的全域移動 向里(即彩度全域移動向量)。在對該圖框中所有使用GMC所編 12 1248313 石馬得出的巨無塊進行内插運算時,可以使用到前述的 亮度全域 移動向量以及彩度全域移_量。亮度全域雜向量缝彩度全 域移動向里皆齡於全域移動向量儲存單元娜中。對於所有使 用BMMC編碼彳于出的巨集區塊,至少會有—舰倾塊移動向量 匕3於該巨集區塊中。巨集區塊移動向量3G5係包含於巨集區塊 移動向量與全域移動參數108之中,而被傳送至麵影像合成器 30〇然後’巨集區塊移動向量3〇5則被存放於巨集區塊移動向量 =存單元306之中。根據mpEG_4規格的定義,巨集區塊移動向· 1 305實際上會是—驗亮度的賴區塊移動向量(即亮度巨集 區鬼移動向里)。至於—用於彩度的巨集區塊移動向量(即彩度巨 f區塊移動向量)則可以藉由對亮度巨集區塊移動向量的計算而 知出。為了要節省巨集區塊移動向量儲存單元施中的空間,只 有巨本區塊移動向量305 (亦即亮度巨集區塊移動向量)會被儲存 於,集區塊移動向量儲存單元3〇6之中。至於彩度巨集區塊移動 向1則會由本實施例中的内插單元312計算得出。請注意,在其_ 他的貫施方式中,巨集區塊移動向量3〇5亦可以不透過巨集區塊 移動向里儲存單元3G6而直接傳送至切換單元跡至於切換單元 ⑽則可依據移動補償類型316,選擇性地將接收自巨集區塊移動 向量儲存單元3〇6的巨集區塊移動向量或是接收自全域移動向量: 儲存單元308的亮度/彩度全域移動向量傳送至内插單元η】。 · 13 1248313 至於可自一解碼影像130中讀取出至少—娜塊, 換單元= 在解碼影像130中的位置則由接收自切 換早^310的移動向量314所決定。接 相對應的預測區塊執行亮度以及彩度的内插運算。 所接收到的移動向量314可以是從巨集區塊移動向量儲存單元 鄕中讀出的巨集區塊移動向量,也可以是從全域移動向量儲存單 疋规中讀出的亮度/彩度全域移動向量。簡言之,内插單元犯 的功能係在於係接收解碼影们3〇與移動向量314,執行内插運算 以輪出:預測影像128,至於預測影像128則可用於一視訊解碼器 (例如第1圖所示的視訊解碼器刚)中以執行圖框間解碼的工 作另外内插單元3!2還可以包含有一緩衝器阳,用來暫存對 應於-巨集區塊中不同巨集區塊移動向量的内插運算結果,以適 §地對執行對該巨集區塊的内插運算。舉例來說,在對一區塊比 對巨集區塊執行雙向内插(bi_directi〇naiinterp〇iati〇n)時,内插單 元312可以將向前預測的内插結果(forwardprediction interpctokm result)暫存於緩衝器313中,配合上之後運算出之向後預測的内 插結果(backward prediction interpolation result),即可得出最終的 雙向内插結果。 接下來請參閱第4圖與第5圖,以瞭解内插單元312所執行的 亮度與彩度内插運算。第4圖係為第3圖中的預測影像合成器3〇〇 14 1248313 (half_pixel ? ^ half_pd) 内插的不思圖。第5圖則是第4圖之半像素雙線性(碰臟)内 插、口果的矩陣不思圖。在第4圖中,共有四個整數像素位置A、B、. (在第5圖中以IA、IB、Ic、1〇表示),以及五個半像素位置 (在第 5 圖中則以 Hi、H2、H3、H4、H5^)q^_bmmc 所、、為碼彳⑽的巨倾塊執行移_償工作時,本發喊使用與習 ㈣支術相同的半像素雙線性内插程序。為了說明雙線性内插的計 斤方式,睛茶閱以下公式。以下公式分別顯示了對像素位置U、籲 Η1、Η2、Η3的内插運算(至於其他像素位置的計算方式則大致相 同,這疋热習此項技術者所能輕易瞭解的,在此不多作贅述)。
Ia-Ia
Hi -( Ia + Ib + 1 - rounding—control) /2 H2 = (IA + Ic + 1 一 rounding—control) / 2 H3 — (IA + IB + Ic + ID + 2 - rounding—control) / 4 鲁 • · · 其中’參數rounding一control的值係為〇或i,其值則是由輪入 編碼視訊位元流所決定。 第6圖為習知技術之GMC的示意圖。在習知技術的GMC中, ' 對於使用GMC編碼付出的每一個巨集區塊中的每一個像素,皆需 15 1248313 要將全域義錄娜成—轉胁聰素_畅量。在第6 圖中包含有四健數像素位m Yig、^以及一非整數 像素位置Y。非整數的像素位置γ的垂直距離為一,水平距離 則為ri/S ’其中s的值如MPEG_4的參數sprite warping _racy 所定義。當順G-4的參數no乂s_e—warping』〇int的值設成^ 或是1時,全域移動參數可以轉換成—全域移動向量(對於圖框 中所有的像素都具有相同的值),本發明即是使用此一特點,亦 即’除了如習知技術的作法以每個「像素」為基礎執行gmc以外,籲 本發明亦可以以每個「巨集區塊」為基礎執行GMC (對每一個巨 集區塊使用-個移動向量)。如此一來,只需使用到與習知技術中 的BM影像合成器212大致上相同的硬體裝置,本發明即可以執 行BMMC以及GMC的工作。 第7圖為第3圖中的内插單元312對亮度GMC所執行之半像 素雙線性内插的示意圖。當MPEG-4的參數 鲁 110—0〇卩1^一〜&1^1^」)0池的值設為〇或1時,第6圖中所示的宾 度内插運算可以簡化成第7圖所示的矩陣。由於第7圖所示的矩 陣與第5圖所示的矩陣相同’也就表示只需使用同一個内插單元 -312,即可使用半像素解析度(resolution)執行BMMC的亮度與 ' 彩度内插運算,以及GMC的亮度内插運算。 16 1248313 第8圖為第3圖中的内插單元312對彩度GMC所執行之四分 之一像素(quarter-pixel或quarter-pel)雙線性内插的示意圖。當 MPEG-4的參數no一of sprite一warping」)〇int的值設為〇或1時,第 5圖中所示的彩度内插運算可以簡化成第7圖所示的矩陣。簡單地 說,第7圖是一個四分之一像素矩陣,可以使用相同於半像素矩 陣所使用到的雙線性内插程序來處理(於兩倍的解析度)。為了說 明於四分之一像素的内插計算方式,請參閱以下公式。以下公式 分別顯示 了對像素位置 IA、Qi、H2、Q4、q5、Q6、h9、Q1()、Hu 的内插運算(至於其他像素位置的計算方式則大致相同,在此不 多作贅述)。
Qi- ( 3 Ia + IB + 2 - rounding_control) /4 H2 -( Ια + Ib + 1 — rounding—control) /2 Q4 = ( 3 Ia + Ic + 2 — rounding—control) / 4 鲁 Q5 -( 9 Ia + 3 IB + 3 ic + iD + 8 一 rounding—control) / 16 Q6= ( 3 Ia + 3 IB + ic + iD + 4 — rounding—control) / 8 H9 = ( Ia + Ic + 1 一 rounding—control) / 2 Q10 = ( 3 Ia + IB + 3 ic + iD + 4 — r〇unding—control) / 8 HI 1 = ( Ia + IB + ic + iD + 2 - rounding一control) / 4 17 1248313 其中,參數Kmnding_control的值係為〇或i,其值則是由輸入 編碼視訊位元流所決定。 请注意,轉換單元3〇4會將對每一個圖框所接收到的全域移動 參數307轉換成該圖框的一亮度全域移動向量以及一彩度全域移 動向里。藉由以下的解的公式,冑知技術者可樣快地瞭解在 對MGMC編碼得出的巨集區塊執行内插運算時(參數 no—of—sprite—warpingjoint的值分別設為〇與丨),由轉換單元3〇4馨 所執行的轉換程序。此時的亮度全域移動向量係為一精確度為半 像素的移動向量,彩度全域移動向量則為一精確度為四分之一像 素的移動向量。因此,可以將這些以GMC編碼得出的巨集區塊當 成是預測模式(predictionmode)設為「圖框預測」(亦即 frame_j)rediction”)的區塊比對巨集區塊,而亮度/彩度成分的亮 度/彩度全域移動向量如以下所示。 對於參數 no—of—Sprite_warpingjpoint == 0,Sprite_enable == # ‘GMC,,且 vide〇-〇bject一layer—shape ==‘rectangle,的 GMC 巨集區 塊而言: 「GMC—Y 一 厂 GMC—CbCr
GMC (MVxgmc-y,MV广-1 ) = (〇,〇) (MV: GMC CbCr GMC CbCr (〇,〇) 18 1248313 對於參數 no_of_sprite_warping_point = 1,sprite enable 二二 GMC’,且 video_objectJayer—shape =‘rectangle’的 GMC 巨集區 塊而言: ^〇MCY - (MVr\MV^) = (/0?7〇) = i(s/2)du[〇Us/2)dv[0]) MVG^M = {MVGMC_CtCr ? ^GMeaer } = ((/〇 ^ 〇 ( (.〇 & ιχ 〇.〇 ^ ( (y〇 & j)} 其十(,。Jg) = (〇/2W〇],〇/2>/v[0]) 如MPEG-4規格所定義,du[0]與dv[0]係為自輸入編碼視訊位 元流所得出的全域移動參數,至於s的值則由參數 sprite_warping_accuracy 所決定。 雖然上述的方程式主要適用於n〇_〇f_sprite_warping_point = 〇 或 1,sprite—enable == ‘GMC,,且 video—object一layer—shape = rectangle’的情形下。然而,在 Sprite_enable 與 _ video一object一layer—shape具有其他值的情形下,還是可以使用本發 明的作法。熟習此項技術者應可瞭解,只要 no一of—sprite一warping」)〇int=-〇 或 1,即使 sprite—enable 和 video一object一layer一shape的值與前述不同,依舊可以使用本發明所 提出的作法(上述的方程式則會有些許的改變)。 19 1248313 =圖為本發明用來處理—輪入編石馬視訊位元流( 個=的方法實施例流程圖。其中,每—個陳中可以包含有 ^彳用BMMC所編碼得出的巨集區塊及(或)複數個使用 GMC所編碼得出岐龍塊。以下將詳述第9圖㈣各個步驟: 步驟900 .對於該輪入編瑪視訊位元流中的每一個圖框,將相關 於該圖框的全域移動參數轉換成—亮度全域移動向量 以及-讀全域移動向量。儲存該亮度全域移動向量 與該形度全域雜向量,崎彳錢的GMC亮度/彩度 内插運算中使用。進入步驟902。 步驟902·•當=卜目前巨集區塊進行解碼時,判斷該目前巨集區 塊疋使用BMMC所編碼得出的巨集區塊,或是使用 GMC所編碼得出的巨集區塊。若是bmmc,進入步 驟904,若是GMC,則進入步驟9〇8。 步驟904·•讀出儲存於該目前巨集區塊中的巨集區塊移動向量。 步驟906 ··依據於步驟904中所得出的巨無塊移動向量,執行 受度及彩度雙線性内插運算(對於亮度與彩度皆使用 半像素解析度)。結束本流程。 步驟:依據於步驟_情儲存的亮度全域雜向量,執行 亮度雙線性内插運算(使用半像素解析度)。然後進入 步驟910。 20 1248313 步驟910 ·依據於步驟900中所儲存的彩度全域移動向量,執行 彩度雙線性内插運算(使用四分之一像素解析度)。然 後結束本流程。 相較於習知技術,由於本發明可依據—亮度全域移動向量以及 -彩度全域腾向量對 GMC編碼得出的巨躯塊執行雙線 性内插運算’故僅需使用-個整合的單一震置即可執行BMMC與 GMC相關的工作。亮度/彩度全域移動向量則可以由輸入編碼視訊鲁 位兀流中與每-侧框一同傳送的一組全域移動參數轉換得出。 對於一符合MPEG-4規格的編碼視訊位元流(具有參數 n〇_〇f_sprite—Warping_p〇int的值設為〇或丨的GMC巨集區塊)而 言’ GMC運算可以簡化成類似於對BMMC^執行的内插運算。 不同的地方則在於,對使用GMC編碼得出之巨集區塊的彩度内插 運异而s,係使用了四分之-像素解析度。對使用BMMC編碼得 出之巨集區塊的亮度與彩度内插運算’以及使用GMC編碼得出之馨 巨集區塊的亮度内插運算而言,則使用了半像素解析度。 而當一圖框中僅包含有使用BMMC編碼得出的巨集區塊時,-該圖框可能不會具有相對應的全域移動參數。在此種情形下,本 . 發明就不需要執行將全域移動參數轉換成__亮度全域移動向量與' 一彩度全域移動向量的轉換程序(因為該圖框並沒有相對應的全 21 1248313 域移動參數),這是需要注意的一點。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範 圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。 【圖式簡單說明】 第1圖為習知技術中一視訊解碼器的示意圖。 弟2圖為第1圖中預測影像合成器較詳細的示意圖。 第3圖為本發明之預測影像合成器的一實施例示意圖。 第4圖為第3圖中預測影像合成器為亮度與彩度BMMC所執 行之半像素内插的示意圖。 第5圖為第4圖之半像素雙線性内插結果的矩陣示意圖。 第6圖為習知技術之GMC的示意圖。
第7圖為第3圖中的内插單元對亮度GMC所執行之半像素雙 線性内插的示意圖。 又 四分之, 第8圖為第3圖中的内插單元對彩度GMC所執行之 像素雙線性内插的示意圖。 實施例 第9圖為本發明用來處理一輸入編碼視訊位元流的方法 流程圖。 22 1248313 【主要元件符號說明】 100 視訊解碼器 102 輸入編碼視訊位兀流 104、202、302 解多工器 106 離散餘弦轉換參數 108 巨集區塊移動向量與全域移動參數 110 圖框内/圖框間編瑪區別旗標 112 反量化器 114 反DCT處理器 116 誤差影像 118 輸出影像 120 圖框内/圖框間切換單元 122 加法器 124 重建影像 128 預測影像 130 解碼影像 132 圖框内/圖框間切換訊號 134 圖框記憶體 204 、 307 全域移動參數 206 、 305 巨集區塊移動向量 208 選擇訊號
23 1248313 210 GMC影像合成器 212 BM影像合成器 214 、 310 切換單元 216、218 預測影像資料 300 預測影像合成器 304 轉換單元 306 巨集區塊移動向量儲存單元 308 全域移動向量儲存單元 312 内插單元 313 缓衝器 314 移動向量 316 移動補償類型 24
Claims (1)
1248313 轉換頁i 申請專利範圍: -種用來於對-輸人視訊位元流解碼時執行移動補償工作的 裝置,該輸入視訊位元流包含有複數個圖框,該等圖框中則 包含有使用區塊比對移動補償所編碼得出的複數個第一巨集 區塊,以及使用全域移動補償所編碼得出的複數個第二巨: 區塊,該裝置包含有: ' -内插單元’絲對該輸人視雜元財每—個圖框中所包含 的每一個巨集區塊執行内插運算; 其中,於處理-目前巨集區塊時,若該目前巨集區塊係使用全 域移動麵編碼所編碼得出,則該内插單元係以各個巨 集區塊為基礎,依據-全域移動向量執行内插運算。 2. 如申請專利範圍第1項所述之裳置,其另包含有一轉換單 兀’用來將與該輸入視訊位元流中—目前圖框相關的複數個 全域移動參數賴成該全域移畅量,峨該制插單元使 用 田〇 3.如帽專利翻第2項所述之裝置,其中於處理該目前巨集 區塊才右該目月ij巨集區塊係使用區塊比對移動補償所編碼 得出,則軸鮮元魏_目紅_塊情包含的至少 一巨集區塊移動向量執行内插運算。 25 1248313 .— 如申請專利範圍第3項所述之妓,其另包含有: —巨^塊移動向量儲存單元,用來儲存自每—做用區塊比 十移動補償編碼得出之巨無塊如的能㈣塊移動 向量; 一全^向量儲存單元存由該轉換單元所輪出的該 王域移動向量;以及 夕工☆ ’用來選擇_插單元使用該巨無塊移動向量或該 全域移動向量執行内插運算; 其中’於對使用區塊比對移動補償所編碼得出的巨集區塊執行 内插運异時’該多工器係將儲存於該巨集區塊移動向量 儲存單元中的該巨㈣塊移動向量輸出至該嶋單元; 於用全域移賴儀編碼料虹_塊執行内插 運异奸,該多工器係將儲存於該全域移動向量儲存單元 中的該全域移動向量輸出至該内插單元。 5. 如中請專利範圍第1項所述之裝置,其中,内插運算係包含 有亮度内插運算以及彩度内插運算。 6. 如申請專利範圍第5項所述之裝置,其中該内插單元係使用 半像素的精確度對使龍塊比對移_償所辦得出的巨集 26 1248313 區塊執行亮度内插運算。 如申請專利範圍第5項所述之裝置,並中5〜 /、〒该内插單元係使用 區塊執行彩度内插運算 半像素的精確度對使腿塊比對移動補償所編碼得出的巨集 .如申請專利範圍第5項所述之裝置,其中該内插單元係使用 半像素的精確度對個全域飾補償所編碼得㈣巨集區塊 執行亮度内插運算。 9.如帽專利範圍第5項所述之裳置,其中該内插單元係使用 四分之-像素的精確度對使用全域移動補償所編碼得出的巨 集區塊執行彩度内插運算。 10·如申請專利範圍第i項所述之裝置,其中該裝置可處理 MPEG-4規格的該輸入視訊位元流。 η·如申請專利範圍第10項所述之裝置,其中於MPEG_4規格 的該輸入視成位元流中’參數n〇 的 值係設為0或1。 27 1248313 12. 如申請專利範圍第1項所述之裝置,其中於執行内插運算 時,該内插單元係使用一雙線性内插程序。 13. -種用來處理一輸入視訊位元流的方法,該視訊位元流包含 有複數個圖框,該等圖框中則包含有使用區塊比對移動補償 所編碼得出的複數個第—巨無塊,以及使用全域移動補償 所編碼得出的複數個第二巨集區塊,該視訊位元流令包含有 複數個巨龍塊鶴向量喊補— E無塊的移動向 量’以及關於該等圖框的複數個全域移動參數以表示該等第 二巨集區塊中每個像素的一移動向量,該方法包含有: 若-目前巨集區塊係使用全域移動補償編碼所編碼得出,則依 據自該視訊位元流得出的一全域移動向量執行内插運 算’其中,該全域移動向量的形式係細於該巨集區塊 移動向量的形式。 14·如申請專利範圍第13項所述之方法,其另包含有·· 將與該輸人視訊位元流巾-目制框相騎複數個全域移動 參數轉換成該全域移動向量。 15·如申請專利範圍第13項所述之方法,其另包含有· 若該目前巨韻塊係使㈣塊比對移動補償所編碼得出,則依 28 I 1正替換頁I ^—-»«> "―巧,们'·㈣视 *.川於如-如你咖.《™j 據該目前巨集區塊所包含的一巨集區塊移動向量執行内 插運算。 如申請專利範圍第13項所述之方法,其中,内插運算係包含 有亮度内插運算以及彩度内插運算。 如申請專利範圍第16項所述之方法,其中該方法係使用半像 素的精確度對使用區塊比對移動補償所編碼得出的巨集區塊 執行亮度内插運算。 申二專她U第I6項所述之方法,其中該方法係使用半像 姑的精確度對使用區塊比對移動補償所編碼得出的巨集區塊 孰行彩度内插運算。 =請專利範圍第項所述之方法,其中該方法係使用半像_ ;:月確度對使用全域轉雜所編郷出的s倾塊執行 冗度内插運算。 之二广彳關第16項所述之方法,其中該方法係使用四分 塊勃/素的精確度對使用全域移動補償所編碼得出的巨集區 塊執仃彩度内插運算。 1248313 21·如申請專利範圍第13項所述之方法,其中該方法係可處理 MPEG-4規格的該輸入視訊位元流。 22·如申請專利範圍第21項所述之方法,其中於MPEG-4規格 的該輸入視訊位元流中,參數no of sprite warping_p〇int的 值係設為0或1。 23·如申請專利範圍第13項所述之方法,其中於執行内插運算 時,該方法係使用一雙線性内插程序。 24. -種預測影像合成器,使用於一視訊解碼器中,用來對一視 區塊中每個像素的-移動向量,該預測: -轉換單元,用來接輯等全域移動參數 訊位70流解碼並產生—鋼影像,該視纖元流包含有複數 個圖框’該等_帽包含有使用區塊比對移動補償所編碼 柳的聲數個第―巨無塊,以_全域鶴補償所編媽 于出的複數個第一巨集區塊,該視訊位元流中包含有複數個 巨集區塊移動向量以表示該等第一巨集區塊的移動向量,以 及關於轉圖框的複數個全域移動參數以表示該等第二巨集 參數轉換成-全域移動向量, 該預测影像合成器包含有·· ,動參數,並將該等全域移動 ’其中,該全域移動向量的 30 1248313 L 形式係相同於該巨集區塊移動向量的形式;以及 内插單元,用來接收一已解碼圖框、接收該全域移動向量、 執行内插運算、並產生該預測影像。 25·如申請專利範圍第24項所述之預測影像合成器,其另包含 有: 一解多工器,用來接收該等巨集區塊移動向量以及該等全域移 動參數,並分別輸出該等巨集區塊移動向量以及該等全 域移動參數; 其中,該解多工器所輸出的該等全域移動參數係傳送至該轉換 單兀,由該轉換單元將該等全域移動參數轉換成該全域 移動向量’而該全域移動向量的形式係相同於該巨集區 塊移動向量的形式,制鮮元顧來選擇性地接收該 巨木區塊移動向量或是該全域移動向量,以執行内插運 算。 26·如申明專利範圍第25項所述之預測影像合成器,其中當一目 前巨集區塊係使用全域移動補償所編碼得出時 ,該内插單元 係接收該全域移動向量。 27·如^專利關第25項所述之綱影像合成H,其中,内插 31 1248313
運算係包含有亮度内插運算以及彩度内插運算,該内插單元 係使用一第一解析度執行亮度内插運算,並使用一第二解析 度執行彩度内插運算。 28. 29. 30. 31. 如申請專利範圍第27項所述之預測影像合成器,其中該第一 解析度係為半像素解析度,該該第二解析度則為四分之一像 素解析度。 如申請專利範圍第25項所述之預測影像合成器,其中當一目 萷巨集區塊係使用區塊比對移動補償所編碼得出時,該内插 單元係接收該巨集區塊移動向量。 如申請專利範’29項所述之侧影像合成n,其中,内插 運异係包含有梵朗插運算以及彩度浦運算,該内插單元 係使用半像素崎度執行亮肋插運算以及彩度内插運算。 如申睛專利犯圍第30項所述之糊影像合成器,其中於執行 内插運算時,該内插單元係使用-雙線性内插程序。 十一、圖式: 32
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/605,882 US20050105621A1 (en) | 2003-11-04 | 2003-11-04 | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200516993A TW200516993A (en) | 2005-05-16 |
TWI248313B true TWI248313B (en) | 2006-01-21 |
Family
ID=34573095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW093130409A TWI248313B (en) | 2003-11-04 | 2004-10-07 | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof |
Country Status (4)
Country | Link |
---|---|
US (2) | US20050105621A1 (zh) |
CN (1) | CN1290342C (zh) |
DE (1) | DE102004021854A1 (zh) |
TW (1) | TWI248313B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794821A (zh) * | 2006-01-11 | 2006-06-28 | 浙江大学 | 可分级视频压缩中插值的方法与装置 |
CN101385027A (zh) * | 2006-02-10 | 2009-03-11 | 皇家飞利浦电子股份有限公司 | 一种元数据产生方法及装置 |
TWI444047B (zh) * | 2006-06-16 | 2014-07-01 | Via Tech Inc | 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元 |
AU2008306503A1 (en) * | 2007-10-05 | 2009-04-09 | Nokia Corporation | Video coding with pixel-aligned directional adaptive interpolation filters |
US8416861B2 (en) * | 2007-10-14 | 2013-04-09 | Nokia Corporation | Fixed-point implementation of an adaptive image filter with high coding efficiency |
CN101415122B (zh) * | 2007-10-15 | 2011-11-16 | 华为技术有限公司 | 一种帧间预测编解码方法及装置 |
KR101590633B1 (ko) | 2008-11-11 | 2016-02-02 | 삼성전자주식회사 | 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법 |
TWI399094B (zh) * | 2009-06-30 | 2013-06-11 | Silicon Integrated Sys Corp | 自適應移動補償內插法與其裝置 |
US20110142135A1 (en) * | 2009-12-14 | 2011-06-16 | Madhukar Budagavi | Adaptive Use of Quarter-Pel Motion Compensation |
US20110200108A1 (en) * | 2010-02-18 | 2011-08-18 | Qualcomm Incorporated | Chrominance high precision motion filtering for motion interpolation |
US9237355B2 (en) * | 2010-02-19 | 2016-01-12 | Qualcomm Incorporated | Adaptive motion resolution for video coding |
CN105472387B (zh) * | 2010-04-09 | 2018-11-02 | Lg电子株式会社 | 处理视频数据的方法和装置 |
US9083974B2 (en) | 2010-05-17 | 2015-07-14 | Lg Electronics Inc. | Intra prediction modes |
US9055305B2 (en) * | 2011-01-09 | 2015-06-09 | Mediatek Inc. | Apparatus and method of sample adaptive offset for video coding |
US10327008B2 (en) | 2010-10-13 | 2019-06-18 | Qualcomm Incorporated | Adaptive motion vector resolution signaling for video coding |
US10264290B2 (en) | 2013-10-25 | 2019-04-16 | Microsoft Technology Licensing, Llc | Hash-based block matching in video and image coding |
US11076171B2 (en) | 2013-10-25 | 2021-07-27 | Microsoft Technology Licensing, Llc | Representing blocks with hash values in video and image coding and decoding |
CN105556971B (zh) | 2014-03-04 | 2019-07-30 | 微软技术许可有限责任公司 | 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定 |
US10567754B2 (en) | 2014-03-04 | 2020-02-18 | Microsoft Technology Licensing, Llc | Hash table construction and availability checking for hash-based block matching |
WO2015196322A1 (en) | 2014-06-23 | 2015-12-30 | Microsoft Technology Licensing, Llc | Encoder decisions based on results of hash-based block matching |
JP6462119B2 (ja) | 2014-09-30 | 2019-01-30 | マイクロソフト テクノロジー ライセンシング,エルエルシー | コンピューティングデバイス |
US10404996B1 (en) * | 2015-10-13 | 2019-09-03 | Marvell International Ltd. | Systems and methods for using multiple frames to adjust local and global motion in an image |
US11082713B2 (en) | 2015-11-20 | 2021-08-03 | Mediatek Inc. | Method and apparatus for global motion compensation in video coding system |
US10136155B2 (en) | 2016-07-27 | 2018-11-20 | Cisco Technology, Inc. | Motion compensation using a patchwork motion field |
US10390039B2 (en) | 2016-08-31 | 2019-08-20 | Microsoft Technology Licensing, Llc | Motion estimation for screen remoting scenarios |
WO2018097590A1 (ko) * | 2016-11-22 | 2018-05-31 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
US11095877B2 (en) | 2016-11-30 | 2021-08-17 | Microsoft Technology Licensing, Llc | Local hash-based motion estimation for screen remoting scenarios |
US11202085B1 (en) | 2020-06-12 | 2021-12-14 | Microsoft Technology Licensing, Llc | Low-cost hash table construction and hash-based block matching for variable-size blocks |
CN114915791B (zh) * | 2021-02-08 | 2023-10-20 | 荣耀终端有限公司 | 基于二维规则化平面投影的点云序列编解码方法及装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2231225B (en) * | 1989-04-27 | 1993-10-20 | Sony Corp | Motion dependent video signal processing |
KR950014862B1 (ko) | 1992-02-08 | 1995-12-16 | 삼성전자주식회사 | 움직임추정방법 및 그 장치 |
US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
JP3774954B2 (ja) * | 1996-10-30 | 2006-05-17 | 株式会社日立製作所 | 動画像の符号化方法 |
CN1217852A (zh) * | 1997-02-13 | 1999-05-26 | 三菱电机株式会社 | 动态图象预测方式 |
KR100511810B1 (ko) * | 1997-06-03 | 2005-09-05 | 가부시키가이샤 히타치세이사쿠쇼 | 화상 부호화 및 복호화 방법 및 장치 |
US6574371B2 (en) * | 1997-06-09 | 2003-06-03 | Hitachi, Ltd. | Image decoding method |
EP2288166B1 (en) | 1997-06-09 | 2015-08-05 | Hitachi, Ltd. | Image decoding method |
US7206346B2 (en) * | 1997-06-25 | 2007-04-17 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs |
EP0940041B1 (en) * | 1997-09-23 | 2006-11-22 | Koninklijke Philips Electronics N.V. | Motion estimation and motion-compensated interpolation |
CN1496608A (zh) * | 2001-06-06 | 2004-05-12 | ������������ʽ���� | 解码装置、解码方法、查找表以及解码程序 |
US7050500B2 (en) | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
US20030123738A1 (en) | 2001-11-30 | 2003-07-03 | Per Frojdh | Global motion compensation for video pictures |
PT1486065E (pt) * | 2002-03-15 | 2016-03-30 | Nokia Technologies Oy | Método para codificação de movimento numa sequência de vídeo |
US7602848B2 (en) * | 2002-03-26 | 2009-10-13 | General Instrument Corporation | Methods and apparatus for efficient global motion compensation encoding and associated decoding |
US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
US7426308B2 (en) * | 2003-07-18 | 2008-09-16 | Microsoft Corporation | Intraframe and interframe interlace coding and decoding |
-
2003
- 2003-11-04 US US10/605,882 patent/US20050105621A1/en not_active Abandoned
-
2004
- 2004-05-04 DE DE102004021854A patent/DE102004021854A1/de not_active Withdrawn
- 2004-10-07 TW TW093130409A patent/TWI248313B/zh active
- 2004-10-25 CN CNB2004100859134A patent/CN1290342C/zh active Active
-
2010
- 2010-01-06 US US12/652,747 patent/US9332270B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20050105621A1 (en) | 2005-05-19 |
US9332270B2 (en) | 2016-05-03 |
CN1290342C (zh) | 2006-12-13 |
DE102004021854A1 (de) | 2005-06-09 |
CN1615025A (zh) | 2005-05-11 |
US20100104020A1 (en) | 2010-04-29 |
TW200516993A (en) | 2005-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI248313B (en) | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof | |
KR100945546B1 (ko) | 동적 필터 부호화 | |
JP4698947B2 (ja) | サブピクセル値補間方法 | |
US7359558B2 (en) | Spatial scalable compression | |
US20050265442A1 (en) | Apparatus for scalable encoding/decoding of moving image and method thereof | |
TW201545545A (zh) | 用於次世代視訊編碼之投射式內插預測產生之技術 | |
JPH11275592A (ja) | 動画像符号列変換装置及びその方法 | |
JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
KR20040036943A (ko) | 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치 | |
US9729869B2 (en) | Adaptive partition subset selection module and method for use therewith | |
JP2006518568A (ja) | ビデオ符号化 | |
KR20090080452A (ko) | 영상 부호화/복호화 장치 및 방법 | |
JP2005501491A (ja) | グローバル動きパラメータを用いた動きベクトル符号化方法および装置 | |
JP2001508632A (ja) | 動き補償予測画像符号化および復号化 | |
KR20080013879A (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR20080013880A (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR20080004565A (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
US20100246682A1 (en) | Scaled motion search section with downscaling and method for use therewith | |
JP2003348595A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR20060059772A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
WO2008097104A1 (en) | Method for pixel prediction with low complexity | |
KR20070029644A (ko) | 동화상 재생 방법 및 장치와 프로그램 | |
JPH09154144A (ja) | 動画像予測符号化装置、その復号化装置、及び記録媒体 |