TWI297576B - Method of motion vector determination in digital video compression - Google Patents

Description

1297576 年月曰修(4)1替換頁 ,d.Γ \ 九、發明說明· 【發明所屬之技術領域】 本發明提供一數位影像，尤指/種使用動態估計之數位影像壓縮技術。 【先前技術】 數位影像已經是目前資訊傳播中常用的方法，例如電腦視訊會議 (C〇_ter-based vide。conferencing)以及數位電視皆是應用此$技_ 例子。當-個包含數以千計的像素的單_數位_需要許多連續的圖像框 以產生高階影像時’就必需使用賴系統以在壓縮時能更有效率地節省處 理時間以及儲存空間。 一般來說，__受到像《中的交《算影響。舉例來說，因為受 ’、'、轉換速度的限制而需要較高壓縮比時，可能會犧牲影像的品質或者 員外硬體以及軟體。若在運用低壓縮比時，鱗持影像 ^質就需要增加記憶體的儲存空間。為了從中取得平衡點，任何不會降低 質或不而要另外增加必要硬體的壓縮技術一直都是大家都在追求的 目標。 請參閱圖— 圖一為習知的數位影像（digital video) 10顯示圖像 1297576

Ά f、！ ‘ . A 6 0·丄 12的現存資料框14以及先前資料框16之示意圖。現存資料框14係 由影像記憶或顯示裝置（如電腦監視器或數位電視機）之像素 (pixel)20所組成。為達到影像壓縮之目的，常使用動態估計，使像 素20組成現存資料塊18。常用的高階動態估計壓縮系統即為MPEG-1 以及 MPEG-2。 在動態估計期間，重複的資料會暫時最小化冗餘影像框，從而提供 壓縮。經過壓縮之資料塊18的像素資訊會與先前資料框16之像素資 訊相對照。特別是先前資料塊16會先搜尋出一預測區（predictor region)22，而預測區22則包含大量的資料塊18之像素資料。一旦發 現適當的預測區，會以一動態向量加以確認標示，該動態向量即用來 表示預測區22相對於資料塊18的位置。換言之，資料塊18内的資料 包含有用來表示預測區22相對於資料塊18位置的動態向量以及其他 用來表示預測區22之像素變動的資料。因此，現存資料框14之資料 塊18可以取代先前資料框16。 有許多方法可透過搜尋先前資料框或參考資料框來尋找一適當的 預測資料塊。其中從較慢的像素搜尋法到快速的取樣動態估計法等 等。圖二係表示為習知的快速動態估計方法。區域30表示被搜尋的參 考資料框之區域，其中格子點代表預設搜尋區域。搜尋區域之範圍可 1297576 -Μ...ii S3 ：… 大可小’從單一像素到-陣列（array)像辛比;a ^ ^言白可，而且一般來說搜尋區 域與被壓縮之資料塊大 技域在空間上的大小與中央區域 R1相符。根據三步驟枝第— 弗乂驟所不，被壓縮之資料塊之像素資 訊（即現存資料塊）會與搜尋 之 之像素貧汛相對照。之後便能 決定每-區域R1，的像素資訊經過交聯運算後所得到的成本函數值 ’而擁有最低成本函數值（圖二之區域R4)之區域則 會被選取。在步驟二中’將環繞在步驟—中具有最低成本函數值的區 或R4之搜福域S2—S9與現存㈣塊之像素資訊相對照，而且再一次 地選取其中擁有最低成本函數值（本例之區域S7)之區域。最後，第三 々驟將現存㈣塊與搜尋區域T2_T9相對照，其中擁有最低成本函數 之區域（區域T2)與現存資料塊最相符。f三步驟的結果就是壓縮之現 存資料塊的預砸之位置，而且此結果可被參考資料框之動態向量（區 域T2向量（1，3))所確定。 般來w兒成本函數為絕對差(ab s〇 1 u k ^丨丨f e r e nc e s)之總和（$ ad ) 或者為平方差之總和（SSD)，兩者皆可以以下兩函數表示： SAD(u^ ^) = ΣΣ Kr (i, j)-p^(i + uj + V)| 1297576 1年月日修/一疋替舞頁 I96..1L30 'V —-

..J N M 2 SSDiu^v) = ΣΣί^,τ

/=1 /=i J 其中

Pcun·為正被壓縮之現存資料塊之像素資料，如亮度；

PrefS2為的搜尋區域之像素資料(如圖二之區域R1，、 i’ j為搜尋區域以及現存資料塊像素之水平減(hQri襲tai㈣⑽) 以及垂直指數； Ν’ Μ為搜尋區域以及現存資料塊之水平面積以及垂直面積；以及 u，:為與現存資料框中的現存資料塊之位置相_參考資料框 區域的水平偏移量（hQrizQn1;al Qff 務 R5為例，u_-_4 ^ = 〇)。 ：直偏移里（以區域 儘管三嫩帐叙_，蝴伽彳㈣简的最傾 〇cal rnmmunO。舉圖二_子來說，雖然在第—步驟中， 現存資料塊得出最佳的„運算結果，但是區域χι可能才財最 函數值，版，賴铜3_，細鳩量辆心= 以則述三步驟麟方錢行料，謂—麵綱，可 -疋右 «^^^^^^,^Ccandidate), 1297576 運异，最終會得出-不正麵動態向量如Τ2。這是因為—旦第—步驟選定 區域接下來的三步驟搜尋的結果會被限制在附近的區域，導致估計 的錯誤。 【發明内容】 本發明之目的為提供-決定現存資料塊之動態向量之方法，其中 錢存資料塊將相近於現存㈣塊之資料塊的動態向量，—相異資料 框之相符資料塊’以及預定搜尋模式，用來降低局部最小錯誤（local minimum error)之可能性。 本务月之利範圍係提供—種方法將—現存資料塊之像素資訊會 ” ’考㈣框之像素資訊作交聯運算，其中參考資料框可以三種向量表 ^ ·⑷第-_向量表示近似於現存龍塊的資料塊，⑹第二動態向 里表丁在参考貝料框中，在空間上與現存資料塊相符的資料塊，以及(C)第 :動態向量表示參考資料框之預設區域。並從具有最低成本函數之第一、 t以及第三_向量中，選取至少—項作為候補向量。現存資料塊之像 素貝讯與候補向量所標示之區域所近鄰區域的像素資訊作交聯運算，以決 疋丫|補動及對應的成本函數。之後，選取具有最低成本函數之候 補動態向|作為現存資料塊之動態向4。 level) 舍月之申δ月專利範圍在對應成本函數高於臨界值(比res_ 1297576 t >5 \ 的情況下，可摒棄第一以及第二動態向量。 本發明之優點在於該相近資料塊之動㈣量如同就區域以及相 符資料塊之動態向量-樣，可做為該現存資料塊之_，因此可提升決定 動態向量之精確度。 本發明之優點為當對應成本函數高於臨界值時，可拋棄相近資料塊之 動態向量以及树龍塊之_向量，因此#該相近資料塊之像素資訊與 該現存資料塊之像素資減緩慢敝聯料時，可增加蚊動態向量過程 的速度。 【實施方式】 一般情形（General): 圖三係-執行本發明之決定動態向量方法之影像系統4Q之方塊圖。影 像系統4Q包含—隨機存取記憶齡她m _ss _ry，_44以及— 處理器46，用來執行壓縮演算系統48。該壓縮演算系統可儲存在麵4或 者處理H之記,_。影像減4()賴麵4齡面（絲*)鄉像來源42 如—數位影像攝影機’接彳卜未域_影像織。接下錢 46會執 仃£縮轉系統48以處雌存在麵4之未經處理的影像賴，而且透過 輪出，I面（圖未示)輸出已壓縮影像資料到顯示或儲存裝置加。在實際的 10 !297576 …用中錄衫或者是現場直播的節目，即影像來源42 ,可用數位播放的方 式傳送到一具有rAM44、處理器46以及顯示裝置50之數位電視機裡。同樣 地’影像麵42也可能是_電狀數錄賴，其帽M44以及處理器 46為該電腦的—部分，另義示裝置5G也可能是-遙控監視n，能透過網 路將已壓縮影像傳送到該監視器。 圖四係‘、，、員示本發明方法之較佳實施例之示意圖，在圖四中，一數位影像 之現存資料框60以及參考資料框（參考圖像)7Q。參考資料框％為一典型 的即時先前資料框⑽ediately _丨咖f聰）。假設在—特定時間， 現存資料框6G之資料塊62的像素資訊正在進行壓縮程序。本發明將三組 動態向量視為現存資料塊之像素資訊之壓縮，其中該三組動態向量係包 括：附近(相近）資料塊之動態向量H間位置但不同龍框之資料塊 的動態向量’以及由與現存資料塊位置相關之預定位置所決定之動能向 量。緊接著’這些候補動態向量之成本函數會依照預設規則加以對昭，以 決定接下______。最後，在接下㈣交聯運 算使用任何已知財法後，纽__向量帽取具有最低成本函數值 的動態向量作為現存資料塊之動態向量。 相近資料塊(Proximate Blocks):

請參閱圖四，此時相近於現存資料塊62之龍塊64、66以及68會被 1297576 4取。透過合理喊計程序可觀特定的相近資料塊，因為這些選取的相 近貝料塊會使彳德悲向s的轉較有效率。軸最佳實關僅選取三個相 近貝料塊64、66以及68 ’但事實上可選取任意個相近資料塊。接下來，相 近資料塊64、66以及68之個別動態向量M、A2以及A3 (如圖四所示）與這 些動態向量之平均向量A4相對照，也就是說，根據動態向量M、a2、八3 以及A4相對於資料塊62在參考圖像7〇在空間上的區域，其像素資訊與現 存資料塊62的像素資訊進行比較。舉例來說，相近區域％之動態向量M 會被用來粒參相像70對麟現特懸6Q巾的鱗f料塊犯之位置 之區域L又現存:貝料框6〇中的現存資料塊62之座標為⑽,⑻ ，動態向 里為（3，2) ’則參考圖像7〇中的區域(61，48)像素資訊與現存資料塊62 之像素資喊為交互_(e咖latedWb_素資讀關可為一成本 函數(cost function)所對照，並可依任何先前所提到的方法如SAD或娜 力以執行接下來，有最低成本函數值的_向量n μ以及μ，亦 即有最佳交聯關係者，會被選取作為—可能動態向量或者點ρι。很自然地， 在其他實_巾，可崎兩似上嶋態向量列入考慮。 可能動態向量（potential mntim uai motion vectoiOPi之決定如圖五流程圖之步 驟100以及圖六流程圖之步驟2〇〇所示。 12 1297576 IV修Φ正替换買 同位資料塊(C〇-located Block): 選取參考資料框中相關位置與現存資料框60中的現存資料塊犯相同、 資料塊72。此同位(或相符）資料塊72之動態向量標名為可能動態向量κ 當然，假如同位資料塊72在現存資料框60之外，則同位資料塊72不會 參考資料框70之内。除此之外，同位資料塊72應該已經有已決定的動〜 向量來避免冗長的計算 可能動態向量P2之決定如圖五流程圖之步驟⑽以及圖六流程 驟200所示。 圖之步 預設區域(Predetermined Regions) 選取預設賴標示之_，如圖二之區域R1_R9。為了方便在資料框 60 上標示’這些點在_中係以虛線_ R所標^但實際上是表示參考資 料框70之區域。對應於這些點R的動態向量被用來定位參考圖像7〇之區 域’這祕域會與現存資料塊作交聯運算。具有最佳交聯運算之兩區域r 的動態向量’（換言之具有最低成本函數值的_向量），可設定為可能動 態向量P3以及P4。可能動_量p3以及p4的選取與湘已知三步驟方法 之第一步職定結果闕方法軸。細，她佳實施财，多於或少於 13 1297576 兩個動態向量P3、P4都可被接受。 可能動態向*P3以及P4之決定如圖五流程圖之步驟1〇〇以及圖六流程 圖之步驟200所示。 候補動態向量（Candidate Motion Vectors): 在本發明中，一旦決定了可能動態向量PI、P2、P3以及P4後，緊接著 會將可能動態向量減少為兩個候補動態向|C1以及C2。以上可依適當決定 規則（suitable decision rule)完成，而以下將說明其中的兩項。 依照第一決定規則，從可能動態向量PI、P2、P3、P4之中選取兩個具 有最低成本函數值的可能動態向量作為候補動態向量C1、C2。當決定可能 動態向量PI、P2、P3以及P4日f，因為已經蚊成本函數值，所以不需要 重複計异。該第一決定標準如圖五之步驟1Q2所示。 依據第二決定規則，將該相近資料塊以及同位資料塊得出之可能動態向 量PI、P2之成本函數值與一適當臨界值（threshold value)作比較。假如 成本函數值都高於適當臨界值時，則會摒棄可能動態向量P1、p2。之後， 未被摒棄之可能動態向量PI、P2和可能動態向量p3、P4之成本函數值會 14 1297576 ‘ . Γ: —: : ::ί.…‘一'-~—; | ί 、'Ή : ㈣函i值而域縣腳動態向 量C1以及C2之動態向量。第二決定標準如圖六之步驟2〇2以及2〇4所示。 當然，僅需要決定-候補動態向量即可，但為求保險，兩個動態向量的選 取可降低發生局部估計值的機會。 對於不同裝置來說’用來決定的參數需求也會不同，但是凡是運用本發 明選取規則的方法亦應屬於本發明之範脅。 進-步的交聯運算與選取（Further c〇rrelat咖_如邮⑻： 在決定候補動態向量Π以及C2後，此候補動態向量可作為任何已知撞 尋方法之起始向量。舉例來說，依據先前所述之三步驟方法所剩下的兩牛 驟所示’__ Π罐即可作她向量。在執行精確的鮮 方法之後，最終得出的動態向量（resultlngmQt咖赠⑻之成本函數值 會被比較。由於鶴態向量具有最低成本_，因此會被選為現存資觀 之動__函數。此過程_如關五之步_、⑽. 之步驟206、208所示。 圖/、 摘要(Summary): 15 以7576 ，年月 嘴)正 在實際的應用中，圖三之處理器46 勒態向量的錢仃上述決定現存資料塊之 万法上述處理裔46所能執扞 . D 方法可儲存為壓縮演算系統48 -者儲存在RAM44中。本發明之方法 — 4錢如及軟體實行，上述的每 一項優點要看如何在特定應用上使用。 相較於習知技術，本發明將相近資料塊之動態向量、同位資料壤之動能 向量以及預定搜尋區域之動態向量用來決定—現存資料塊之最適動㈣

量。也就找’本發明之方法將向量搜尋區域盡可能的擴大到預設 區域之外的位置。如此-來，則本發明可在數位影像壓縮的過程中得以擴 大搜尋範圍，以減少得出不正確的局部估計值的發生機會。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍 等變化與修飾，皆應屬本發明專利之涵蓋範圍。

16

1297576 【圖式簡單說明】 圖一為一數位影像資料框之示意圖。 圖二為習知之三步驟動態向量搜尋方法之示意圖。 圖三為執行本發明方法之影像系統之方塊圖。. 圖四為本發明方法之示意圖。 圖五為本發明方法之第一實施例之流程圖。 圖六為本發明方法之第二實施例之流程圖。

【主要元件符號說明】

10 數位影像 12 圖像 14、60 現存資料框 16 先前資料框 18、62 現存資料塊 20 像素 22 預測區 30 搜尋區域 40 影像系統 42 影像來源 44 隨機存取記憶體 46 處理器 48 壓縮演算系統 50 顯示裝置 64、66、68相近資料塊 70 參考資料框 72 同位資料塊 17

Claims (1)

1297576

十、申請專利範圍： 1. 2用來較-現存資巾的贿資料塊之_向量的方法，兮方法 可軚不出-參考資料框内之區域，並將該參考資料框 y 存貝枓塊之像素㈣作父聯運算，_現存資料框以及參 數位影像之-連串資料框的_部份，該方法包含： 將該現存資料塊之像素資訊與該參考資料框之像素資訊作交聯運 昇，以決定-第一成本函數值，其令該參考資料框之像素資訊 係由近似於該現存資料塊之f料塊的第—動態向量所把干. 將該财子資料塊之像素資訊與該參考資料框之像素資訊作交聯運 异’以決定-第二成本函數值，其中該參考資料框之像素資訊 係由:第一動態向量所標示，該第二動態向量係一該參考資料 框之貧料塊，而且在空間上的位置與該現存資料塊相符； 將親存貧料塊之像素資訊與至少一該參考資料框之預定區域之像 素資訊作交聯運算，以決定至少—第三動態向量以及對應第三 成本函數值； ㈣第-動態向量、該第二動態向量以及該第三動態向量之中選取 至少-個具有最低成本函數值之動態向量作為—候補動態向 量； 將該現存㈣塊之像素資訊與從鱗考㈣框姉⑽㈣的區域 像素貝sfl作交聯運鼻，以決定精確候補動態向量以及對應的精 確成本函數值，其中該區域像素資訊係由該候補動態向量所標 示；以及 選取具有最低精確成本函數值之精麵_g向量作為該現存資料 塊之動態向量。 18 1297576 2. 如申請專利範圍第1項所述之方法，其中該像素資訊交聯運算之執行， 是依據絕對差之總和或者平方差之總和。 3. 如申研專利範圍第1項所述之方法，其中複數個近似資料塊會作交聯運 算，而且會從擁有該最低成本函數之近似資料塊之中選取該第一動態向 f以及第'^成本函數值。 4·如申明專利範圍第1項所述之方法，其中複數個近似資料塊會作交聯運 异，而且會從擁有該最低成本函數之近似資料塊選取該第一動態向量以 及第一成本函數值，並選取該複數個近似資料塊之平均動態向量作為該 第動心向里’在所對應的平均成本函數值為該最低成本函數值的情況 下。 5.如申凊專利範圍第i項所述之方法，其中會從具有最低成本函數之該第 動心向里、韻二動態向量以及該第三動態向量之中，選取兩個動態 向量作為候補動態向量。 6· ^申4利關第5項所述之方法，其巾會對九個預設區域進行交聯運 算，以決定兩個第三動態向量以及對應的第三成本函數值。 7.如申=糊减第6項所述之方法，其巾該九侧設區域無現存資料 塊=交聯運算後，會選取兩個具有該最低成本函數之區域作為第三動雖 向量。、 一心 19 •1297576 年I曰修(ip正替換寅 11 8. 如申請專利範圍第1項所述之方法，其中當該第一以及第二成本函數分 別低於一預設臨界值時，僅會將該第一以及第二動態向量作為該候補動 態向量。 9. 如申請專利範圍第1項所述之方法，其中執行該精確候補動態向量以及 對應的精確成本函數值的步驟會重複執行兩次。

20

1297576 七、指定代表圖： (一） 本案之指定代表圖為：第（五）圖 (二） 本代表圖之元件符號簡單說明： 圖五為本發明之流程圖 八、本案若有化學式時，請揭示最能顯示發明特徵的化學