TWI248313B - Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof - Google Patents

Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof Download PDF

Info

Publication number
TWI248313B
TWI248313B TW093130409A TW93130409A TWI248313B TW I248313 B TWI248313 B TW I248313B TW 093130409 A TW093130409 A TW 093130409A TW 93130409 A TW93130409 A TW 93130409A TW I248313 B TWI248313 B TW I248313B
Authority
TW
Taiwan
Prior art keywords
block
global
interpolation
motion vector
macroblock
Prior art date
Application number
TW093130409A
Other languages
English (en)
Other versions
TW200516993A (en
Inventor
Chi-Cheng Ju
Original Assignee
Mediatek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediatek Inc filed Critical Mediatek Inc
Publication of TW200516993A publication Critical patent/TW200516993A/zh
Application granted granted Critical
Publication of TWI248313B publication Critical patent/TWI248313B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy

Description

1248313 九、發明說明: 【發明所屬之技術領域】 本發明係相關於數位視訊,尤指可對包含有使用區塊比對移動 補侦或是全域移動補償所編碼得出之巨集區塊的一編碼視訊位元 流進行解碼的方法及相關裝置。 【先前技術】 長久以來,使用類比視訊訊號(analogvideosignal)的全動態 視訊播放(fUll-motion video display)即常見於各式各樣的電視系 統之中。而由於近幾年來電腦處理能力的快速進步以及越降越低 的系統成本,使用數位視訊訊號(digitalvide〇signa〇的全動態視 訊播放也有越來越普遍化的趨勢。相較於傳統的類比視訊系統, 數位視訊系統在建立、修改、傳送、儲存、以及播放全動態視訊 序列(Μ-motion video sequence)的功能上都有相當長足的進步。❿ 然而,在視訊序列(video sequence)中通常都包含有極大量的 原始數位資訊(raw digital inf〇rmati〇n)。對一般的個人電腦系統而 吕’要儲存或是傳送如此大量的視訊資訊通常是不可行的。舉例 : 來說,對於一個具有較低解析度(例如320x480個像素)的VHS 影像格式而言,經過數位化以後,兩個小時的全動態視訊播放必 6 1248313 須使用大約100GB的數位視訊資訊。而相對的,_般的唯獨光碟 片(CD-ROM )的容量通常只有〇 7GB,至於DVD貝j具有至多湖 的容量而已。 為了解決必須儲存或是傳送如此大量數位視訊的難題,各式各 樣的視壓縮標準或是程序也就陸續地被提出,例如膽肪_卜 MPEG 2 MPEG-4、H.26X等等。這些視訊壓縮技術利用了個別 影像圖框中靜態影像的相似性(可稱為圖框内關連此触_ correlation)、或是連續影像圖框之間的相似性(可稱為圖框間關 it ’ mtepftame correlation),來進行壓縮工作,以使用較高的壓縮 率(compressi〇nrati〇)對數位視訊資訊進行編碼。 在習知技術中,「區塊比對移動補償」(bl〇ck-matchingm()tiQn compensation,BMMC)是在對數位視訊資訊進行編碼時常會使用 到的一種技術。若一影像序列中顯示的是移動的物體,系統可以 依據這些物體的移動狀況,針對一些特定的「區塊」(bl〇ck,或是 「巨集區塊」(macroblock,MB))(這些特定的區塊中包含有移動 中的物體)產生適當的移動向量(m〇ti〇nvect〇r,Μγ)。而所得出 的移動向量則可用來預測在上述的影像序列中,相對的巨集區塊 後續的位置狀況。相對於傳送一整張新的影像,此時系統只需傳 送移動物體所在的巨集區塊對應的移動向量即可。因此,BMMc 7 1248313 的技術可以大幅減低對於包含有移動物體之影像序列所需傳送的 貝料里。然而,當影像變化得太劇烈時,有時則必須傳送所有巨 集區塊的移動向量,此舉卻會大幅降低編碼效率(c〇ding efficiency)。為了解決此一問題,習知技術中則發展出另一種編碼 技術,稱為「全域移動補償」(gl〇bal m〇ti〇n c〇mpensati〇n,), 舉例來說,_孤4(亦即腦/IEC 14496-2)中的「精靈編碼」(sprite coding)技術即是GMC技術的一種例子。在GMC技術中會考慮 到i人圖忙(previous frame)與目前圖框(current frame)之間的 全域影像變化(global image change )。關於每個圖框的全域移動參 數則可用來指出使肖GMC、編碼得出的每個巨集區塊中所有像素 (pixel)的移動向量。如此一來,每個圖框僅需使用一組的全域 移動务數即可,故對於具有全域影像變化的視訊賴而言,此舉 可以大幅增加編碼效率。 請參閱第1圖,第1圖為習知技标中一視訊解碼器的示意圖(由 美國第6,483,877號的專利案件所揭露)。第丨圖中的視訊解碼器 100係接收一輸入編碼視訊位元流1〇2,經由一解多工器1〇4將之 刀成里化後的(quantized )離散餘弦轉換(discrete cosine transform ’ DCT)參數i〇6,巨集區塊移動向量與全域移動參數 108,以及圖框内/圖框間編碼區別旗標11〇。量化後的離散餘弦轉 換參數106會由一反!化器(inversequantizer) U2以及一反離散 1248313 餘弦轉換處理器(inverw ηΓΤ • VefSeDCTProcessor)解碼成-誤差影像(_Γ image) 116加法器122則將—圖框内/圖框_換單元12〇所 輸出的-輸出影像118加入誤差影像116中,以產生一重建影像 124 〇 圖框内/圖框間切換單元12〇可依據圖框内/圖框間編碼區別旗 枯110切換其所輸出的輸出影像11S。一酬影像合成器 mage synthesizer) 126可合成出一綱影像128,至於預測影像 128則可用來執行圖框_碼。預測影像合成器126可自至少一解 碼影像130 (即健存於一圖框記憶體134中已解碼過的影像)中提 取預測區塊,並執行移_償的運算。絲i定E無塊所使 用的編碼類型,預測影像合成器126可以選擇執行BMMc或是 GMC。在圖框内編碼(intraframec〇ding)的情形下,圖框内/圖框 間切換單元120會輸出等於“〇,,的圖框内/圖框間切換訊號132,此 時系統就不會使用預測影像合成器126所輸出的訊號。 接下來请參閱弟2圖。第2圖為第1圖中預測影像合成器126 較詳細的示意圖。第2圖中的預測影像合成器126可以平行地處 理GMC以及BMMC。巨集區塊移動向量與全域移動參數1〇8係 作為一解多工器202的輸入訊號,解多工器202則可以提供全域 移動參數204至一 GMC影像合成器210,提供一巨集區塊移動向 1248313 量206至一 BM影像合成器212 ’並提供一選擇訊號208 (用來指 明是BMMC、還是GMC)至一切換單元214。BM影像合成器212 可對使用BMMC編碼得出的區塊合成出預測影像,至於GMC影 像合成器、210貝|J可對使用GMC編碼得出的區塊合成出預測影像。 個別的預測影像資料216與218則輸出至切換單元214,由切換單 元214依據接收自解多工器2〇2的選擇訊號2〇8選擇出其中一個 訊號。接下來,預測影像128則會輸出至切換單元12〇,如第ι 圖所示。 由乂上的#田述中可以瞭解,在可同日夺支援以及gmc 的視訊解碼器中’必須使用到兩個不同的影像合成器。如第2圖 的例子,第一個影像合成器212係用來執行BMMC,第二個影像 合成器21G _來執行GMC。在處理使用BMMc技術編碼得出 的區塊時’ GMC影像合成器210會處於閒置狀態;相似的,在處 理使用GMC技術編石馬得出的區塊時,舰影像合成器加則會處 關置狀態。报明顯的’上述使用兩個影像合成器的作法並不是 最仏的解决方案’且會增加影像合成器的硬體複雜度、以及整體 的系統成本。這是習知麟所面_—個問題。 【發明内容】 因此本發明的-個目的在於提供—種可對使縣塊崎移動補償 1248313 償的裝置 與使用全域移動補償所編碼得出的巨集區塊進行移動補 及相關方法,以解決習知技術所面臨的問題。 根據以下所提出的實施例,本發明所揭露的裝置可用來 含有複數侧㈣—輸人視難元流進行解碼功。該等圖框中匕 可包含有使用區塊比對移動補償所編碼得出或是使用全域移動補 償所編碼得出的複數個巨無塊。該裝置包含有—_單元,用 來對該輸入視訊位元流中每一個圖框中所包含 執行内插運算:其中,於處理一目前巨集區塊時,若該目=· 區塊係使用王域移動補偾編碼所編碼得^,貞彳該内插單元係依據 自複數個全域移動參數所轉換得出的一全域移動向量執行内插運 算。 另外,根據以下所提出的實施例,本發明亦揭露了一種使用於 -視訊解碼器中的預測影像合成器,用來對一視訊位元流解碼並φ 產生一預測影像,該視訊位元流包含有複數個圖框,該等圖框中 則包含有使用£塊比對移動補償所編碼得出的複數個第一巨集區 塊,以及使用全域移動補償所編碼得出的複數個第二巨集區塊, -该視sfl位元流中包含有複數個巨集區塊移動向量以表示該等第一 巨集區塊的移動向量,以及關於該等圖框的複數個全域移動參數 以表示5亥寺弟一巨集區塊中每個像素的一移動向量,該預測影像 11 1248313 合成器包含有:一轉換單元,用來接收該等全域移動參數,並將 該等全域移動參數轉換成一全域移動向量,其中,該全域移動向 量的形式則與該巨集區塊移動向量的形式相同;以及一内插單 元,用來接收一已解碼圖框,接收該全域移動向量,執行内插運 算,並產生該預測影像。 【實施方式】 請參閱第3圖,第3圖為本發明之預測影像合成器的_實施例馨 示意圖。本實施例中的預測影像合成器3〇〇可以使用於一視訊解 碼器之中(例如第1圖所示的視訊解碼器1〇〇)(請注意,在第3 圖中,與第1圖中包含有相同訊息的訊號係使用了相同的數字編 號表不)。預測影像合成器3〇〇包含有一解多工器3〇2,一轉換單 元304,一巨集區塊移動向量儲存單元306, 一全域移動向量儲存 單元308,一切換單元31〇,以及一内插單元。 解多工器302可接收自輸入編碼視訊位元流所得出的巨集區塊 移動向量與全域移動參數。在每一個圖框的開始處,全域移動 芩數307皆會被傳送至轉換單元3〇4。轉換單元3〇4則將全域移 : 動參數307轉換成一用於亮度(luminance)的全域移動向量(即 儿度王域移動向量)以及一用於彩度的全域移動 向里(即彩度全域移動向量)。在對該圖框中所有使用GMC所編 12 1248313 石馬得出的巨無塊進行内插運算時,可以使用到前述的 亮度全域 移動向量以及彩度全域移_量。亮度全域雜向量缝彩度全 域移動向里皆齡於全域移動向量儲存單元娜中。對於所有使 用BMMC編碼彳于出的巨集區塊,至少會有—舰倾塊移動向量 匕3於該巨集區塊中。巨集區塊移動向量3G5係包含於巨集區塊 移動向量與全域移動參數108之中,而被傳送至麵影像合成器 30〇然後’巨集區塊移動向量3〇5則被存放於巨集區塊移動向量 =存單元306之中。根據mpEG_4規格的定義,巨集區塊移動向· 1 305實際上會是—驗亮度的賴區塊移動向量(即亮度巨集 區鬼移動向里)。至於—用於彩度的巨集區塊移動向量(即彩度巨 f區塊移動向量)則可以藉由對亮度巨集區塊移動向量的計算而 知出。為了要節省巨集區塊移動向量儲存單元施中的空間,只 有巨本區塊移動向量305 (亦即亮度巨集區塊移動向量)會被儲存 於,集區塊移動向量儲存單元3〇6之中。至於彩度巨集區塊移動 向1則會由本實施例中的内插單元312計算得出。請注意,在其_ 他的貫施方式中,巨集區塊移動向量3〇5亦可以不透過巨集區塊 移動向里儲存單元3G6而直接傳送至切換單元跡至於切換單元 ⑽則可依據移動補償類型316,選擇性地將接收自巨集區塊移動 向量儲存單元3〇6的巨集區塊移動向量或是接收自全域移動向量: 儲存單元308的亮度/彩度全域移動向量傳送至内插單元η】。 · 13 1248313 至於可自一解碼影像130中讀取出至少—娜塊, 換單元= 在解碼影像130中的位置則由接收自切 換早^310的移動向量314所決定。接 相對應的預測區塊執行亮度以及彩度的内插運算。 所接收到的移動向量314可以是從巨集區塊移動向量儲存單元 鄕中讀出的巨集區塊移動向量,也可以是從全域移動向量儲存單 疋规中讀出的亮度/彩度全域移動向量。簡言之,内插單元犯 的功能係在於係接收解碼影们3〇與移動向量314,執行内插運算 以輪出:預測影像128,至於預測影像128則可用於一視訊解碼器 (例如第1圖所示的視訊解碼器刚)中以執行圖框間解碼的工 作另外内插單元3!2還可以包含有一緩衝器阳,用來暫存對 應於-巨集區塊中不同巨集區塊移動向量的内插運算結果,以適 §地對執行對該巨集區塊的内插運算。舉例來說,在對一區塊比 對巨集區塊執行雙向内插(bi_directi〇naiinterp〇iati〇n)時,内插單 元312可以將向前預測的内插結果(forwardprediction interpctokm result)暫存於緩衝器313中,配合上之後運算出之向後預測的内 插結果(backward prediction interpolation result),即可得出最終的 雙向内插結果。 接下來請參閱第4圖與第5圖,以瞭解内插單元312所執行的 亮度與彩度内插運算。第4圖係為第3圖中的預測影像合成器3〇〇 14 1248313 (half_pixel ? ^ half_pd) 内插的不思圖。第5圖則是第4圖之半像素雙線性(碰臟)内 插、口果的矩陣不思圖。在第4圖中,共有四個整數像素位置A、B、. (在第5圖中以IA、IB、Ic、1〇表示),以及五個半像素位置 (在第 5 圖中則以 Hi、H2、H3、H4、H5^)q^_bmmc 所、、為碼彳⑽的巨倾塊執行移_償工作時,本發喊使用與習 ㈣支術相同的半像素雙線性内插程序。為了說明雙線性内插的計 斤方式,睛茶閱以下公式。以下公式分別顯示了對像素位置U、籲 Η1、Η2、Η3的内插運算(至於其他像素位置的計算方式則大致相 同,這疋热習此項技術者所能輕易瞭解的,在此不多作贅述)。
Ia-Ia
Hi -( Ia + Ib + 1 - rounding—control) /2 H2 = (IA + Ic + 1 一 rounding—control) / 2 H3 — (IA + IB + Ic + ID + 2 - rounding—control) / 4 鲁 • · · 其中’參數rounding一control的值係為〇或i,其值則是由輪入 編碼視訊位元流所決定。 第6圖為習知技術之GMC的示意圖。在習知技術的GMC中, ' 對於使用GMC編碼付出的每一個巨集區塊中的每一個像素,皆需 15 1248313 要將全域義錄娜成—轉胁聰素_畅量。在第6 圖中包含有四健數像素位m Yig、^以及一非整數 像素位置Y。非整數的像素位置γ的垂直距離為一,水平距離 則為ri/S ’其中s的值如MPEG_4的參數sprite warping _racy 所定義。當順G-4的參數no乂s_e—warping』〇int的值設成^ 或是1時,全域移動參數可以轉換成—全域移動向量(對於圖框 中所有的像素都具有相同的值),本發明即是使用此一特點,亦 即’除了如習知技術的作法以每個「像素」為基礎執行gmc以外,籲 本發明亦可以以每個「巨集區塊」為基礎執行GMC (對每一個巨 集區塊使用-個移動向量)。如此一來,只需使用到與習知技術中 的BM影像合成器212大致上相同的硬體裝置,本發明即可以執 行BMMC以及GMC的工作。 第7圖為第3圖中的内插單元312對亮度GMC所執行之半像 素雙線性内插的示意圖。當MPEG-4的參數 鲁 110—0〇卩1^一〜&1^1^」)0池的值設為〇或1時,第6圖中所示的宾 度内插運算可以簡化成第7圖所示的矩陣。由於第7圖所示的矩 陣與第5圖所示的矩陣相同’也就表示只需使用同一個内插單元 -312,即可使用半像素解析度(resolution)執行BMMC的亮度與 ' 彩度内插運算,以及GMC的亮度内插運算。 16 1248313 第8圖為第3圖中的内插單元312對彩度GMC所執行之四分 之一像素(quarter-pixel或quarter-pel)雙線性内插的示意圖。當 MPEG-4的參數no一of sprite一warping」)〇int的值設為〇或1時,第 5圖中所示的彩度内插運算可以簡化成第7圖所示的矩陣。簡單地 說,第7圖是一個四分之一像素矩陣,可以使用相同於半像素矩 陣所使用到的雙線性内插程序來處理(於兩倍的解析度)。為了說 明於四分之一像素的内插計算方式,請參閱以下公式。以下公式 分別顯示 了對像素位置 IA、Qi、H2、Q4、q5、Q6、h9、Q1()、Hu 的内插運算(至於其他像素位置的計算方式則大致相同,在此不 多作贅述)。
Qi- ( 3 Ia + IB + 2 - rounding_control) /4 H2 -( Ια + Ib + 1 — rounding—control) /2 Q4 = ( 3 Ia + Ic + 2 — rounding—control) / 4 鲁 Q5 -( 9 Ia + 3 IB + 3 ic + iD + 8 一 rounding—control) / 16 Q6= ( 3 Ia + 3 IB + ic + iD + 4 — rounding—control) / 8 H9 = ( Ia + Ic + 1 一 rounding—control) / 2 Q10 = ( 3 Ia + IB + 3 ic + iD + 4 — r〇unding—control) / 8 HI 1 = ( Ia + IB + ic + iD + 2 - rounding一control) / 4 17 1248313 其中,參數Kmnding_control的值係為〇或i,其值則是由輸入 編碼視訊位元流所決定。 请注意,轉換單元3〇4會將對每一個圖框所接收到的全域移動 參數307轉換成該圖框的一亮度全域移動向量以及一彩度全域移 動向里。藉由以下的解的公式,冑知技術者可樣快地瞭解在 對MGMC編碼得出的巨集區塊執行内插運算時(參數 no—of—sprite—warpingjoint的值分別設為〇與丨),由轉換單元3〇4馨 所執行的轉換程序。此時的亮度全域移動向量係為一精確度為半 像素的移動向量,彩度全域移動向量則為一精確度為四分之一像 素的移動向量。因此,可以將這些以GMC編碼得出的巨集區塊當 成是預測模式(predictionmode)設為「圖框預測」(亦即 frame_j)rediction”)的區塊比對巨集區塊,而亮度/彩度成分的亮 度/彩度全域移動向量如以下所示。 對於參數 no—of—Sprite_warpingjpoint == 0,Sprite_enable == # ‘GMC,,且 vide〇-〇bject一layer—shape ==‘rectangle,的 GMC 巨集區 塊而言: 「GMC—Y 一 厂 GMC—CbCr
GMC (MVxgmc-y,MV广-1 ) = (〇,〇) (MV: GMC CbCr GMC CbCr (〇,〇) 18 1248313 對於參數 no_of_sprite_warping_point = 1,sprite enable 二二 GMC’,且 video_objectJayer—shape =‘rectangle’的 GMC 巨集區 塊而言: ^〇MCY - (MVr\MV^) = (/0?7〇) = i(s/2)du[〇Us/2)dv[0]) MVG^M = {MVGMC_CtCr ? ^GMeaer } = ((/〇 ^ 〇 ( (.〇 & ιχ 〇.〇 ^ ( (y〇 & j)} 其十(,。Jg) = (〇/2W〇],〇/2>/v[0]) 如MPEG-4規格所定義,du[0]與dv[0]係為自輸入編碼視訊位 元流所得出的全域移動參數,至於s的值則由參數 sprite_warping_accuracy 所決定。 雖然上述的方程式主要適用於n〇_〇f_sprite_warping_point = 〇 或 1,sprite—enable == ‘GMC,,且 video—object一layer—shape = rectangle’的情形下。然而,在 Sprite_enable 與 _ video一object一layer—shape具有其他值的情形下,還是可以使用本發 明的作法。熟習此項技術者應可瞭解,只要 no一of—sprite一warping」)〇int=-〇 或 1,即使 sprite—enable 和 video一object一layer一shape的值與前述不同,依舊可以使用本發明所 提出的作法(上述的方程式則會有些許的改變)。 19 1248313 =圖為本發明用來處理—輪入編石馬視訊位元流( 個=的方法實施例流程圖。其中,每—個陳中可以包含有 ^彳用BMMC所編碼得出的巨集區塊及(或)複數個使用 GMC所編碼得出岐龍塊。以下將詳述第9圖㈣各個步驟: 步驟900 .對於該輪入編瑪視訊位元流中的每一個圖框,將相關 於該圖框的全域移動參數轉換成—亮度全域移動向量 以及-讀全域移動向量。儲存該亮度全域移動向量 與該形度全域雜向量,崎彳錢的GMC亮度/彩度 内插運算中使用。進入步驟902。 步驟902·•當=卜目前巨集區塊進行解碼時,判斷該目前巨集區 塊疋使用BMMC所編碼得出的巨集區塊,或是使用 GMC所編碼得出的巨集區塊。若是bmmc,進入步 驟904,若是GMC,則進入步驟9〇8。 步驟904·•讀出儲存於該目前巨集區塊中的巨集區塊移動向量。 步驟906 ··依據於步驟904中所得出的巨無塊移動向量,執行 受度及彩度雙線性内插運算(對於亮度與彩度皆使用 半像素解析度)。結束本流程。 步驟:依據於步驟_情儲存的亮度全域雜向量,執行 亮度雙線性内插運算(使用半像素解析度)。然後進入 步驟910。 20 1248313 步驟910 ·依據於步驟900中所儲存的彩度全域移動向量,執行 彩度雙線性内插運算(使用四分之一像素解析度)。然 後結束本流程。 相較於習知技術,由於本發明可依據—亮度全域移動向量以及 -彩度全域腾向量對 GMC編碼得出的巨躯塊執行雙線 性内插運算’故僅需使用-個整合的單一震置即可執行BMMC與 GMC相關的工作。亮度/彩度全域移動向量則可以由輸入編碼視訊鲁 位兀流中與每-侧框一同傳送的一組全域移動參數轉換得出。 對於一符合MPEG-4規格的編碼視訊位元流(具有參數 n〇_〇f_sprite—Warping_p〇int的值設為〇或丨的GMC巨集區塊)而 言’ GMC運算可以簡化成類似於對BMMC^執行的内插運算。 不同的地方則在於,對使用GMC編碼得出之巨集區塊的彩度内插 運异而s,係使用了四分之-像素解析度。對使用BMMC編碼得 出之巨集區塊的亮度與彩度内插運算’以及使用GMC編碼得出之馨 巨集區塊的亮度内插運算而言,則使用了半像素解析度。 而當一圖框中僅包含有使用BMMC編碼得出的巨集區塊時,-該圖框可能不會具有相對應的全域移動參數。在此種情形下,本 . 發明就不需要執行將全域移動參數轉換成__亮度全域移動向量與' 一彩度全域移動向量的轉換程序(因為該圖框並沒有相對應的全 21 1248313 域移動參數),這是需要注意的一點。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範 圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。 【圖式簡單說明】 第1圖為習知技術中一視訊解碼器的示意圖。 弟2圖為第1圖中預測影像合成器較詳細的示意圖。 第3圖為本發明之預測影像合成器的一實施例示意圖。 第4圖為第3圖中預測影像合成器為亮度與彩度BMMC所執 行之半像素内插的示意圖。 第5圖為第4圖之半像素雙線性内插結果的矩陣示意圖。 第6圖為習知技術之GMC的示意圖。
第7圖為第3圖中的内插單元對亮度GMC所執行之半像素雙 線性内插的示意圖。 又 四分之, 第8圖為第3圖中的内插單元對彩度GMC所執行之 像素雙線性内插的示意圖。 實施例 第9圖為本發明用來處理一輸入編碼視訊位元流的方法 流程圖。 22 1248313 【主要元件符號說明】 100 視訊解碼器 102 輸入編碼視訊位兀流 104、202、302 解多工器 106 離散餘弦轉換參數 108 巨集區塊移動向量與全域移動參數 110 圖框内/圖框間編瑪區別旗標 112 反量化器 114 反DCT處理器 116 誤差影像 118 輸出影像 120 圖框内/圖框間切換單元 122 加法器 124 重建影像 128 預測影像 130 解碼影像 132 圖框内/圖框間切換訊號 134 圖框記憶體 204 、 307 全域移動參數 206 、 305 巨集區塊移動向量 208 選擇訊號
23 1248313 210 GMC影像合成器 212 BM影像合成器 214 、 310 切換單元 216、218 預測影像資料 300 預測影像合成器 304 轉換單元 306 巨集區塊移動向量儲存單元 308 全域移動向量儲存單元 312 内插單元 313 缓衝器 314 移動向量 316 移動補償類型 24

Claims (1)

1248313 轉換頁i 申請專利範圍: -種用來於對-輸人視訊位元流解碼時執行移動補償工作的 裝置,該輸入視訊位元流包含有複數個圖框,該等圖框中則 包含有使用區塊比對移動補償所編碼得出的複數個第一巨集 區塊,以及使用全域移動補償所編碼得出的複數個第二巨: 區塊,該裝置包含有: ' -内插單元’絲對該輸人視雜元財每—個圖框中所包含 的每一個巨集區塊執行内插運算; 其中,於處理-目前巨集區塊時,若該目前巨集區塊係使用全 域移動麵編碼所編碼得出,則該内插單元係以各個巨 集區塊為基礎,依據-全域移動向量執行内插運算。 2. 如申請專利範圍第1項所述之裳置,其另包含有一轉換單 兀’用來將與該輸入視訊位元流中—目前圖框相關的複數個 全域移動參數賴成該全域移畅量,峨該制插單元使 用 田〇 3.如帽專利翻第2項所述之裝置,其中於處理該目前巨集 區塊才右該目月ij巨集區塊係使用區塊比對移動補償所編碼 得出,則軸鮮元魏_目紅_塊情包含的至少 一巨集區塊移動向量執行内插運算。 25 1248313 .— 如申請專利範圍第3項所述之妓,其另包含有: —巨^塊移動向量儲存單元,用來儲存自每—做用區塊比 十移動補償編碼得出之巨無塊如的能㈣塊移動 向量; 一全^向量儲存單元存由該轉換單元所輪出的該 王域移動向量;以及 夕工☆ ’用來選擇_插單元使用該巨無塊移動向量或該 全域移動向量執行内插運算; 其中’於對使用區塊比對移動補償所編碼得出的巨集區塊執行 内插運异時’該多工器係將儲存於該巨集區塊移動向量 儲存單元中的該巨㈣塊移動向量輸出至該嶋單元; 於用全域移賴儀編碼料虹_塊執行内插 運异奸,該多工器係將儲存於該全域移動向量儲存單元 中的該全域移動向量輸出至該内插單元。 5. 如中請專利範圍第1項所述之裝置,其中,内插運算係包含 有亮度内插運算以及彩度内插運算。 6. 如申請專利範圍第5項所述之裝置,其中該内插單元係使用 半像素的精確度對使龍塊比對移_償所辦得出的巨集 26 1248313 區塊執行亮度内插運算。 如申請專利範圍第5項所述之裝置,並中5〜 /、〒该内插單元係使用 區塊執行彩度内插運算 半像素的精確度對使腿塊比對移動補償所編碼得出的巨集 .如申請專利範圍第5項所述之裝置,其中該内插單元係使用 半像素的精確度對個全域飾補償所編碼得㈣巨集區塊 執行亮度内插運算。 9.如帽專利範圍第5項所述之裳置,其中該内插單元係使用 四分之-像素的精確度對使用全域移動補償所編碼得出的巨 集區塊執行彩度内插運算。 10·如申請專利範圍第i項所述之裝置,其中該裝置可處理 MPEG-4規格的該輸入視訊位元流。 η·如申請專利範圍第10項所述之裝置,其中於MPEG_4規格 的該輸入視成位元流中’參數n〇 的 值係設為0或1。 27 1248313 12. 如申請專利範圍第1項所述之裝置,其中於執行内插運算 時,該内插單元係使用一雙線性内插程序。 13. -種用來處理一輸入視訊位元流的方法,該視訊位元流包含 有複數個圖框,該等圖框中則包含有使用區塊比對移動補償 所編碼得出的複數個第—巨無塊,以及使用全域移動補償 所編碼得出的複數個第二巨集區塊,該視訊位元流令包含有 複數個巨龍塊鶴向量喊補— E無塊的移動向 量’以及關於該等圖框的複數個全域移動參數以表示該等第 二巨集區塊中每個像素的一移動向量,該方法包含有: 若-目前巨集區塊係使用全域移動補償編碼所編碼得出,則依 據自該視訊位元流得出的一全域移動向量執行内插運 算’其中,該全域移動向量的形式係細於該巨集區塊 移動向量的形式。 14·如申請專利範圍第13項所述之方法,其另包含有·· 將與該輸人視訊位元流巾-目制框相騎複數個全域移動 參數轉換成該全域移動向量。 15·如申請專利範圍第13項所述之方法,其另包含有· 若該目前巨韻塊係使㈣塊比對移動補償所編碼得出,則依 28 I 1正替換頁I ^—-»«> "―巧,们'·㈣视 *.川於如-如你咖.《™j 據該目前巨集區塊所包含的一巨集區塊移動向量執行内 插運算。 如申請專利範圍第13項所述之方法,其中,内插運算係包含 有亮度内插運算以及彩度内插運算。 如申請專利範圍第16項所述之方法,其中該方法係使用半像 素的精確度對使用區塊比對移動補償所編碼得出的巨集區塊 執行亮度内插運算。 申二專她U第I6項所述之方法,其中該方法係使用半像 姑的精確度對使用區塊比對移動補償所編碼得出的巨集區塊 孰行彩度内插運算。 =請專利範圍第項所述之方法,其中該方法係使用半像_ ;:月確度對使用全域轉雜所編郷出的s倾塊執行 冗度内插運算。 之二广彳關第16項所述之方法,其中該方法係使用四分 塊勃/素的精確度對使用全域移動補償所編碼得出的巨集區 塊執仃彩度内插運算。 1248313 21·如申請專利範圍第13項所述之方法,其中該方法係可處理 MPEG-4規格的該輸入視訊位元流。 22·如申請專利範圍第21項所述之方法,其中於MPEG-4規格 的該輸入視訊位元流中,參數no of sprite warping_p〇int的 值係設為0或1。 23·如申請專利範圍第13項所述之方法,其中於執行内插運算 時,該方法係使用一雙線性内插程序。 24. -種預測影像合成器,使用於一視訊解碼器中,用來對一視 區塊中每個像素的-移動向量,該預測: -轉換單元,用來接輯等全域移動參數 訊位70流解碼並產生—鋼影像,該視纖元流包含有複數 個圖框’該等_帽包含有使用區塊比對移動補償所編碼 柳的聲數個第―巨無塊,以_全域鶴補償所編媽 于出的複數個第一巨集區塊,該視訊位元流中包含有複數個 巨集區塊移動向量以表示該等第一巨集區塊的移動向量,以 及關於轉圖框的複數個全域移動參數以表示該等第二巨集 參數轉換成-全域移動向量, 該預测影像合成器包含有·· ,動參數,並將該等全域移動 ’其中,該全域移動向量的 30 1248313 L 形式係相同於該巨集區塊移動向量的形式;以及 内插單元,用來接收一已解碼圖框、接收該全域移動向量、 執行内插運算、並產生該預測影像。 25·如申請專利範圍第24項所述之預測影像合成器,其另包含 有: 一解多工器,用來接收該等巨集區塊移動向量以及該等全域移 動參數,並分別輸出該等巨集區塊移動向量以及該等全 域移動參數; 其中,該解多工器所輸出的該等全域移動參數係傳送至該轉換 單兀,由該轉換單元將該等全域移動參數轉換成該全域 移動向量’而該全域移動向量的形式係相同於該巨集區 塊移動向量的形式,制鮮元顧來選擇性地接收該 巨木區塊移動向量或是該全域移動向量,以執行内插運 算。 26·如申明專利範圍第25項所述之預測影像合成器,其中當一目 前巨集區塊係使用全域移動補償所編碼得出時 ,該内插單元 係接收該全域移動向量。 27·如^專利關第25項所述之綱影像合成H,其中,内插 31 1248313
運算係包含有亮度内插運算以及彩度内插運算,該内插單元 係使用一第一解析度執行亮度内插運算,並使用一第二解析 度執行彩度内插運算。 28. 29. 30. 31. 如申請專利範圍第27項所述之預測影像合成器,其中該第一 解析度係為半像素解析度,該該第二解析度則為四分之一像 素解析度。 如申請專利範圍第25項所述之預測影像合成器,其中當一目 萷巨集區塊係使用區塊比對移動補償所編碼得出時,該内插 單元係接收該巨集區塊移動向量。 如申請專利範’29項所述之侧影像合成n,其中,内插 運异係包含有梵朗插運算以及彩度浦運算,該内插單元 係使用半像素崎度執行亮肋插運算以及彩度内插運算。 如申睛專利犯圍第30項所述之糊影像合成器,其中於執行 内插運算時,該内插單元係使用-雙線性内插程序。 十一、圖式: 32
TW093130409A 2003-11-04 2004-10-07 Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof TWI248313B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/605,882 US20050105621A1 (en) 2003-11-04 2003-11-04 Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof

Publications (2)

Publication Number Publication Date
TW200516993A TW200516993A (en) 2005-05-16
TWI248313B true TWI248313B (en) 2006-01-21

Family

ID=34573095

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093130409A TWI248313B (en) 2003-11-04 2004-10-07 Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof

Country Status (4)

Country Link
US (2) US20050105621A1 (zh)
CN (1) CN1290342C (zh)
DE (1) DE102004021854A1 (zh)
TW (1) TWI248313B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
CN101385027A (zh) * 2006-02-10 2009-03-11 皇家飞利浦电子股份有限公司 一种元数据产生方法及装置
TWI444047B (zh) * 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
AU2008306503A1 (en) * 2007-10-05 2009-04-09 Nokia Corporation Video coding with pixel-aligned directional adaptive interpolation filters
US8416861B2 (en) * 2007-10-14 2013-04-09 Nokia Corporation Fixed-point implementation of an adaptive image filter with high coding efficiency
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
KR101590633B1 (ko) 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
TWI399094B (zh) * 2009-06-30 2013-06-11 Silicon Integrated Sys Corp 自適應移動補償內插法與其裝置
US20110142135A1 (en) * 2009-12-14 2011-06-16 Madhukar Budagavi Adaptive Use of Quarter-Pel Motion Compensation
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
CN105472387B (zh) * 2010-04-09 2018-11-02 Lg电子株式会社 处理视频数据的方法和装置
US9083974B2 (en) 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US10264290B2 (en) 2013-10-25 2019-04-16 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
US11076171B2 (en) 2013-10-25 2021-07-27 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
WO2015196322A1 (en) 2014-06-23 2015-12-30 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング,エルエルシー コンピューティングデバイス
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
US11082713B2 (en) 2015-11-20 2021-08-03 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
US10136155B2 (en) 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
WO2018097590A1 (ko) * 2016-11-22 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN114915791B (zh) * 2021-02-08 2023-10-20 荣耀终端有限公司 基于二维规则化平面投影的点云序列编解码方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
KR950014862B1 (ko) 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
CN1217852A (zh) * 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
KR100511810B1 (ko) * 1997-06-03 2005-09-05 가부시키가이샤 히타치세이사쿠쇼 화상 부호화 및 복호화 방법 및 장치
US6574371B2 (en) * 1997-06-09 2003-06-03 Hitachi, Ltd. Image decoding method
EP2288166B1 (en) 1997-06-09 2015-08-05 Hitachi, Ltd. Image decoding method
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
EP0940041B1 (en) * 1997-09-23 2006-11-22 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation
CN1496608A (zh) * 2001-06-06 2004-05-12 ������������ʽ���� 解码装置、解码方法、查找表以及解码程序
US7050500B2 (en) 2001-08-23 2006-05-23 Sharp Laboratories Of America, Inc. Method and apparatus for motion vector coding with global motion parameters
US20030123738A1 (en) 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
PT1486065E (pt) * 2002-03-15 2016-03-30 Nokia Technologies Oy Método para codificação de movimento numa sequência de vídeo
US7602848B2 (en) * 2002-03-26 2009-10-13 General Instrument Corporation Methods and apparatus for efficient global motion compensation encoding and associated decoding
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding

Also Published As

Publication number Publication date
US20050105621A1 (en) 2005-05-19
US9332270B2 (en) 2016-05-03
CN1290342C (zh) 2006-12-13
DE102004021854A1 (de) 2005-06-09
CN1615025A (zh) 2005-05-11
US20100104020A1 (en) 2010-04-29
TW200516993A (en) 2005-05-16

Similar Documents

Publication Publication Date Title
TWI248313B (en) Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
KR100945546B1 (ko) 동적 필터 부호화
JP4698947B2 (ja) サブピクセル値補間方法
US7359558B2 (en) Spatial scalable compression
US20050265442A1 (en) Apparatus for scalable encoding/decoding of moving image and method thereof
TW201545545A (zh) 用於次世代視訊編碼之投射式內插預測產生之技術
JPH11275592A (ja) 動画像符号列変換装置及びその方法
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
KR20040036943A (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
US9729869B2 (en) Adaptive partition subset selection module and method for use therewith
JP2006518568A (ja) ビデオ符号化
KR20090080452A (ko) 영상 부호화/복호화 장치 및 방법
JP2005501491A (ja) グローバル動きパラメータを用いた動きベクトル符号化方法および装置
JP2001508632A (ja) 動き補償予測画像符号化および復号化
KR20080013879A (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR20080013880A (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR20080004565A (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20100246682A1 (en) Scaled motion search section with downscaling and method for use therewith
JP2003348595A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR20060059772A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
WO2008097104A1 (en) Method for pixel prediction with low complexity
KR20070029644A (ko) 동화상 재생 방법 및 장치와 프로그램
JPH09154144A (ja) 動画像予測符号化装置、その復号化装置、及び記録媒体