TWI392373B - The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity - Google Patents
The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity Download PDFInfo
- Publication number
- TWI392373B TWI392373B TW098129967A TW98129967A TWI392373B TW I392373 B TWI392373 B TW I392373B TW 098129967 A TW098129967 A TW 098129967A TW 98129967 A TW98129967 A TW 98129967A TW I392373 B TWI392373 B TW I392373B
- Authority
- TW
- Taiwan
- Prior art keywords
- coefficient
- conversion
- picture
- inverse
- compensation
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
本發明係一種資料反轉換與次取樣的方法，將繁複的資料反轉換過程簡化，並可同時對資料作次取樣的動作，特別是簡化的流程具有一個係數補償的方法，以解決因簡化流程可能造成資料失真的問題之低計算複雜度之視訊資料解壓縮與影像縮小的方法。
多媒體資料通常採用空間域與頻率域之間係數轉換的方式、量化與可變長度編碼來壓縮原始資料，常見的空間域與頻率域之間的係數轉換方式如離散小波轉換、離散正弦轉換、離散餘弦轉換或離散傅利葉轉換等。而視訊或靜態影像通常採用離散餘弦轉換或離散小波轉換，對於視訊或靜態影像進行畫面資料轉換的動作，使其畫面資料資訊在轉換後會集中在低頻部份，利於後續的量化與可變長度編碼。空間域與頻率域之間的係數轉換在編碼端與解碼端都需要龐大的計算量，而在講求快速的解碼流程中，頻率域與空間域間係數的反轉換過程將造成解碼器的負擔，因此有許多研究著重於係數反轉換的計算架構，在文獻[1]美國專利5,452,466號、文獻[2]美國專利5,590,066號、文獻[3]美國專利5,596,517號中，分別提出不同的快速反轉換計算架構。
此外，有部份文獻與發明針對頻率域係數的分佈情形，提出降低解碼器內頻率域與空間域間係數反轉換計算量的方法。因空間域係數在經過空間域與頻率域間係數轉換後，係數能量會集中於低頻部份，針對此特性，文獻[4]美國專利5,883,823號，提出的簡化反離散餘弦轉換流程，僅對頻率域係數左上角16個低頻係數與剩餘48個係數中的非零係數作反離散餘弦轉換，藉此降低反離散餘弦轉換的計算量。
在文獻[5]美國專利6,717,988號中，使用一個裝置判斷解碼器接收到的頻率域係數內的非零係數分佈情形，因非零係數涵蓋範圍越
大的方塊在反離散餘弦轉換時的計算複雜度越大，解碼器的反離散餘弦轉換會因先前判斷得到的結果而具有可調性的功能，僅對特定範圍內的係數進行反轉換，藉此過濾許多係數為零的反轉換計算，不過此方法與文獻[4]的方法比較，會遺漏部份高頻資訊。
在文獻[6]美國專利7,142,598號中，以畫面資料能量來決定反離散餘弦轉換的處理流程，定義畫面能量為畫面內每一個像素值與整張畫面像素平均值之間的差異總和，另外定義方塊能量為方塊內每一個像素值與整個方塊像素平均值的差異總和。在每一個方塊進行反離散餘弦轉換前，比較方塊能量與畫面能量，若方塊能量大於畫面能量，則對方塊左上角的16個低頻係數作反離散餘弦轉換，若方塊能量小於畫面能量且為正值，則對方塊左上角的9個低頻係數作反離散餘弦轉換，至於方塊能量小於畫面能量且為負值者，則對方塊左上角的1個低頻係數作反離散餘弦轉換，此方法同樣會損失高頻資訊。
在文獻[7]美國專利7,366,236號中，利用方塊編碼之係數結束點(頻率域係數內最後一個非零係數所在位置)資訊判斷方塊內部係數分佈情形，而且僅對部分係數進行反離散餘弦轉換。其中當係數結束點等於0時，僅對直流(DC)係數作反離散餘弦轉換，當係數結束點不為0且64個係數中只有一個係數不為0時，針對不為0之係數查表作反離散餘弦轉換，當係數結束點小於等於14時，僅對方塊內左上角20個低頻係數作反離散餘弦轉換，當係數結束點小於等於25時，僅對方塊內左上角42個低頻係數作反離散餘弦轉換，而其餘係數結束點則對方塊內64個係數進行完整的反離散餘弦轉換，此方法將不會損失任何高頻或低頻資訊。
在文獻[8]美國專利7,129,962號中，其反離散餘弦轉換的計算流程不以矩陣運算完成，是以每一個空間域係數之數值藉由非零之頻率域組成係數進行查表，而此係數表由空間域係數與其頻率域組成係數於反離散餘弦轉換時所乘上之數值所組成，以加法與乘法重建每一個空間域係數，以每八點為平行處理的單位，加快運算速度，並可扣
除頻率域係數為零的計算流程。針對上述文獻[4]~文獻[8]以頻率域係數分佈特性作簡化反轉換流程的發明和文獻，以下列表(一)列舉數項特點以玆比較：
在視訊或靜態影像解碼器中通常包含畫面尺寸縮放的功能，此功能需要非常繁複的計算過程，以計算出縮小或放大後的畫面資料，因此有許多研究致力於降低畫面尺寸轉換的計算複雜度。以視訊解碼器為例，視訊編碼器通常利用離散餘弦轉換將空間域的畫面資料轉換成頻率域的畫面資料，隨後經過量化與可變長度編碼的處理，達到壓縮畫面資料的效果。在視訊解碼器逐步解壓縮時，通常將反離散餘弦轉換前的畫面資料稱作頻率域畫面資料，而反離散餘弦轉換後的資料稱作空間域畫面資料。而畫面尺寸轉換依其所處理之畫面資料型態不同分成兩類，若畫面尺寸轉換安排在反離散餘弦轉換前，其處理之畫面資料為頻率域畫面資料，此轉換方法稱為頻率域畫面尺寸轉換方法；若將畫面尺寸轉換安排在反離散餘弦轉換後，則稱作空間域畫面尺寸轉換方法。此外在視訊解碼流程中，當畫面尺寸縮小時，其移動補償所使用的參考畫面記憶體，可依其畫面縮小後的尺寸調整其參考畫面記憶體的容量，藉此達到減少記憶體需求的目的。
空間域畫面尺寸縮小轉換對於反離散餘弦轉換後的空間域畫面資料作次取樣的動作，而頻率域畫面尺寸縮小轉換對於反離散餘弦轉換前的頻率域畫面資料作次取樣的動作，因此頻率域畫面尺寸縮小轉換方法可減少反離散餘弦轉換處理的畫面資料個數，進而降低解碼器的整體計算量。
文獻[9]Huifang Sun,“Hierarchical decoder for MPEG
compressed video data,”IEEE Transactions on Consumer Electronics
,vol.39,no.3,pp.559-564,Aug.1993，提出一種頻率域畫面尺寸縮小方法，其畫面縮小的基本單位為一個包含64個係數的頻率域係數，保留其方塊左上角16個低頻係數，對這16個低頻係數作頻率域與空間域間係數的反轉換，得到尺寸為4×4的空間域畫面資料係數。因空間域係數在轉換成頻率域係數後，畫面資料的能量會集中在頻率域係數的左上角低頻部份，因此在畫面縮小轉換時，保留低頻係數進行頻率域與空間域間係數的反轉換，可保有大部分原始空間域畫面資料係數的資訊。但是方塊內的其他較高頻的頻率域係數不一定皆為零，因此保留低頻係數的作法可能損失部分高頻資訊。
為此本發明提出一種低計算複雜度之反轉換與次取樣的方法，以改善上述缺失。
本發明之主要目的在提供一種低計算複雜度之資料反轉換與次取樣的方法，其係利用空間域畫面尺寸縮小演算法結合頻率域與空間域係數反轉換的方法保留所有頻率域的非零係數，以完整的頻率域係數進行畫面尺寸縮小與係數反轉換。此外，針對結合後的處理流程做簡化的動作，以降低畫面尺寸縮小與係數反轉換的計算量，並且在簡化流程中加入係數資訊補償的方法，解決因簡化流程所產生的誤差問題。
本發明之另一目的在提供一種低計算複雜度之資料反轉換與次取樣的方法，其係針對繁複的頻率域與空間域間係數反轉換與資料次取樣的處理流程，提出一種低計算複雜度的合併流程，降低其龐大的計算量，可應用於視訊解碼器的畫面尺寸縮減功能上，因其屬於頻率域畫面尺寸縮減方法，因此可達到減少參考記憶體需求的目的。
底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
目前在許多視訊解碼器中都包含畫面尺寸縮放的功能，對於已經解碼完成的畫面資料進行畫面尺寸的轉換，利用鄰近像素建立新的像素點，例如內插像素值，並藉由減少畫面內像素點達到畫面尺寸縮小的目的，由於此方法在進行插補像素值時，可使用整張畫面的資訊，因此可減少內插像素值與原始畫面內像素值的差異性，但畫面尺寸縮放所需之計算複雜度龐大，因此先前研究提出將畫面尺寸縮小的流程提前至解碼流程的反轉換前，由於畫面資料的次取樣動作，反轉換所需處理的資料個數減少，藉此降低畫面尺寸縮小的計算複雜度。
本發明提出的低計算複雜度之資料反轉換與次取樣的方法，其係關於一種頻率域與空間域間係數反轉換與資料次取樣方法，可應用於視訊或靜態影像畫面尺寸縮減，將畫面資料於頻率域與空間域間係數的反轉換和畫面尺寸縮減之計算流程簡化，以利於即時解碼播放。此外，本發明以視訊畫面尺寸縮小轉換為例，將視訊解碼器中的頻率域與空間域間係數的反轉換(即反離散餘弦轉換)與資料次取樣(即空間域畫面尺寸縮小)合併之後，針對畫面尺寸縮小比例來簡化合併流程，加入頻率域係數補償的概念以消除簡化流程所造成的誤差。
第1圖為第一種傳統之解碼器的方塊示意圖，其視訊串流由解碼器的可變長度解碼模組接收後，經由可變長度解碼模組100對視訊串流進行可變長度解碼流程後，再透過反量化模組101的反量化流程，將其作反量化的處理後，可得到頻率域的畫面資料係數。轉換模組102，包括反離散餘弦轉換模組103及空間域畫面尺寸縮小轉換模組104；將此頻率域的畫面資料係數輸出至轉換模組102之反離散餘
弦轉換模組103後得到空間域畫面資料係數，隨後以空間域畫面尺寸縮小轉換模組104對空間域畫面資料係數作次取樣的動作，得到次取樣後的空間域畫面資料係數。
第1圖中空間域畫面尺寸縮小轉換模組104是在轉換模組102輸出前進行畫面尺寸縮小轉換動作，對反離散餘弦轉換後所得到的空間域畫面資料作次取樣的動作，其中，次取樣的方式可為規律間隔取樣、非規律間隔取樣以及其他各種次取樣形式。以畫面尺寸縮小與規律間隔取樣的方式為例，在次取樣前可對空間域畫面資料做濾波或插補的動作以及不做任何前處理，然後規律地間隔取樣，其取樣方式一實施例如第2圖所示。圖中的64個點代表一個空間域8×8 block內64個相鄰的係數，實心點代表被取樣點，白色的點代表因減少取樣而捨去的係數，在減少取樣後僅保留16個係數輸出。
再者，須判斷這個次取樣後的空間域畫面資料係數為畫面內編碼(intra-frame coding)或畫面間編碼(inter-frame coding)；若這個次取樣後的空間域畫面資料係數為畫面內編碼，將次取樣後的空間域畫面資料係數輸出，輸出的次取樣後的空間域畫面資料係數可成為一個新的畫面，新的畫面可直接播放並且儲存於參考畫面記憶體108中。
若這個次取樣後的空間域畫面資料係數為畫面間編碼，以移動向量縮減器105計算縮小參考畫面的移動向量，其中移動向量縮減器105接收可變長度解碼模組100傳送的移動向量資訊，因此移動向量縮減器105依畫面尺寸縮小的比例將移動向量縮小，再將縮小後的移動向量傳送給移動補償模組106進行移動補償，移動補償模組106會利用
移動向量在參考畫面記憶體108中找出相對應之參考畫面並進行補償，隨後將移動補償模組106的輸出與轉換模組102的輸出藉由加法器107加總後，成為完整的畫面資料係數，然後輸出完整的畫面。完整的畫面可輸出直接播放並且儲存於參考畫面記憶體108中。
空間域畫面尺寸縮小轉換模組104的空間域畫面尺寸縮小方式，係以矩陣運算方式完成，其運算過程如方程式(1)：
而方程式(1)的轉換流程是以畫面長度與寬度等比例縮小為例，畫面長度與寬度的縮小比例皆為N/M
，M
為原始畫面的區塊長度與寬度，N
為縮小畫面的區塊長度與寬度，方程式(1)中的X M
×M
為經過轉換模組102之反離散餘弦轉換模組103進行反離散餘弦轉換後的空間域畫面資料係數，而L N
×M
與為空間域畫面尺寸縮小轉換所使用之轉換矩陣，在空間域畫面尺寸縮小轉換模組104中利用此縮小轉換矩陣進行空間域畫面尺寸縮小轉換。而L N
×M
與互為轉置矩陣。而方程式(1)中的為X M
×M
經過空間域畫面尺寸縮小轉換模組104進行空間域畫面尺寸縮小轉換後的畫面資料係數。
因畫面尺寸縮小轉換模組與反離散餘弦轉換模組皆可用矩陣運算方式完成，可參照文獻[10]Wenwu Zhu,Kyeong Ho Yang and F.A.Faryar,“A fast and memory efficient algorithm for down-conversion of an HDTV bitstream to an SDTV signal,”IEEE Transactions on Consumer Electronics
,vol.45,no.1,pp.57~61,Feb.1999.所提出的方式實施。其方式是將其合併成一個矩陣運算流程，並以一個整合反離散餘弦轉換及畫面尺寸縮小轉換取代，以降低反離散餘弦轉換所需處理的資料個數，如第3圖所示。視訊串流由解碼器的可變長度解碼模組接收後，經由可變長度解碼模組200對視訊串流進行可變長度解碼流程後，再透過反量化模組201的反量化流程，將其作反量化的處理後，可得到頻率域的畫面資料係數。轉換模組202，包括反離散餘弦轉換及空間域畫面尺寸縮小轉換整合模組203；將此頻率域的畫面資料係數輸出至反離散餘弦轉換及空間域畫面尺寸縮小轉換整合模組203後直接得到反轉換與次取樣後的空間域畫面資料係數。
再者，須判斷這個次取樣後的空間域畫面資料係數為畫面內編碼(intra-frame coding)或畫面間編碼(inter-frame coding)；若這個次取樣後的空間域畫面資料係數為畫面內編碼，將次取樣後的空間域畫面資料係數輸出，輸出後的次取樣後的空間域畫面資料係數可成為一個新的畫面，新的畫面可直接播放並且儲存於參考畫面記憶體207中。
若這個次取樣後的空間域畫面資料係數為畫面間編碼，以移動向量縮減器204計算縮小參考畫面的移動向量，其中移動向量縮減器204接收可變長度解碼模組200傳送的移動向量資訊，因此移動向量縮減器204依畫面尺寸縮小的比例將移動向量縮小，再將縮小後的移動向量傳送給移動補償模組205進行移動補償，移動補償模組205會利用
移動向量在參考畫面記憶體207中找出相對應之參考畫面並進行補償，隨後將移動補償模組205的輸出與轉換模組202的輸出藉由加法器206加總後，成為完整的畫面資料係數，然後輸出完整的畫面。這個完整的畫面可輸出直接播放並且儲存於參考畫面記憶體207中。
反離散餘弦轉換及空間域畫面尺寸縮小轉換整合模組203中的轉換流程為兩種轉換流程的合併，一為反離散餘弦轉換流程，另一為空間域畫面尺寸縮小轉換流程，而空間域畫面尺寸縮小流程如方程式(1)，反離散餘弦轉換的流程如方程式(2)所示：
方程式(2)中與D M
×M
為反離散餘弦轉換所使用的轉換矩陣，Y M
×M
為反量化後的頻率域畫面係數，而X M
×M
為反離散餘弦轉換後的空間域畫面資料係數。將反離散餘弦轉換的結果代入空間域畫面尺寸縮小流程中，其結果如方程式(3)所示：
因矩陣運算的維度相同，可將空間域畫面尺寸縮小轉換矩陣與反離散餘弦轉換矩陣合併得到如方程式(4)的合併流程：
其中H N
×M
等於L N
×M ． ；K M
×N
等於D M
×M ． 。合併流程得到的轉換結果為縮小後的空間域畫面資料係數，而方程式(4)即為反離散餘弦轉換及空間域畫面尺寸縮小轉換整合模組203中的合併流程。合併後的流程直接對反量化後的頻率域係數作反離散餘弦轉換與畫面尺寸縮小轉換得到縮小後的空間域畫面資料係數。
第二種傳統解碼器相較於第一種傳統解碼器，可減少許多計算量，但畫面尺寸縮小轉換與反轉換合併後的計算量仍嫌稍多。因此本發明提出一個比上述兩種傳統解碼器更低計算量的方式，其針對頻率域係數能量集中於低頻的特性與畫面尺寸縮小比例，將方程式(4)的計算流程簡化如方程式(5)所示：
原始合併流程中，對完整的頻率域係數Y M
×M
作轉換，在簡化流程中僅保留其左上角低頻係數進行轉換，因處理的頻率域係數減少，因此其轉換矩陣也可簡化。因原始流程中高頻係數皆已被捨棄，所以轉換運算中高頻係數部分也可捨棄，因此方程式(4)中的轉換矩陣與分別可簡化成與，而為矩陣左半邊低頻部份，為矩陣上半部低頻部份。此種僅針對低頻係數進行畫面尺寸縮小轉換的方法，雖然可進一步的降低計算量，但其在進行縮小轉換時並未保有完整的頻率域係數，可能會造成其縮小轉換後的
空間域係數缺少畫面資料中的部份高頻資訊。針對此缺失，本發明提出了頻率域係數補償的概念，將上述的方法改良後，可使簡化流程所得到的空間域係數保有完整的畫面資料資訊，可用較低計算複雜度的簡化流程完成如空間域畫面尺寸縮小轉換的結果。
在上述的簡化流程中，僅針對低頻係數作處理，因此損失了高頻資訊，針對此簡化流程，頻率域係數補償的方式就是將高頻資訊加入簡化流程欲處理的低頻係數中，使得轉換後的空間域係數能保有高頻資訊。將高頻係數加入低頻係數時必須考慮到兩者在原始流程中所乘上的轉換係數(即與內的係數)，高頻係數必須乘上特定係數才能加入低頻係數，並經過簡化流程處理後才可得到正確的高頻資訊。假設有一頻率域係數的係數分佈情形如方程式(6)所示：
而畫面長度與寬度縮小比例假設分別為N 1 /M
與N 2 /M
，當採用方程式(5)的簡化流程時，僅針對方程式(6)左上角N 1
×N 2
的低頻係數作轉換，因此在轉換後會缺少這個高頻係數的資訊，造成畫面品質的下降，
而本發明提出的頻率域係數補償方法將高頻係數的資訊加入低頻係數後，也就是經過頻率域係數補償成為，然後進行簡化流程轉換如方程式(7)所示： 為其轉換後得到的空間域係數。假設Y M
×M
係數如方程式(6)所示，在此乘上特定係數r (u
,v
)
，以下列方程式(8)的方式加入中：
方程式(8)的結果即為，於是將此代入方程式(7)，將其結果與方程式(4)完整流程所得到的結果比較，若希望補償係數的結果能讓其空間域係數等同於完整流程的空間域係數，因此假設，換言之，兩個矩陣每一個空間域係數都相同，為達此目的，我們的方法需將頻率域係數考慮至轉換過程中，在此利用有考慮頻率域至空間域轉換與沒有考慮此係數頻率域至空間域轉換的差異，進一步反推對所需的補償值，利用上述關係可以得到如下N 1
×N 2
個聯立方程式：
方程式(9)等號右邊為完整流程所產生的空間域係數之組成部份，等號左邊為經過頻率域係數補償的簡化流程所產生的空間域係數之組成部份，為每一個頻率域係數進行轉換時乘上的係數(即與內的係數，)，由於與皆為已知數，因此可解出上述N 1
×N 2
個聯立方程式的未知數r (u
,v
)
，得到r (u
,v
)
後再代入方程式(8)的補償方式得到，再將其代入方程式(7)的轉換方式得到，可使成立。而其他高頻係數的補償方式也如同的作法，分別求出其補償係數時所需的r (u
,v
)
。特別是此係數r (u
,v
)
針對每一個高頻係數為一固定值，因此可預先儲存此係數表以利後續轉換使用。換句話說，我們可以根據方程式(4)的合併流程，並考量畫面非等比例縮小，將方程式(4)中的矩陣分解為下列表示方程式：
其中H 1
的大小為N 1
×N 1
，H 2
的大小為N 1
×(M
-N 1
)，Y 1
的大小為N 1
×N 2
，Y 2
的大小為N 1
×(M
-N 2
)，Y 3
的大小為(M
-N 1
)×N 2
，Y 4
的大小為(M
-N 1
)×(M
-N 2
)，K 1
的大小為N 2
×N 2
，K 2
的大小為(M
-N 2
)×N 2
。而方程式(10)可以進一步堆導如下：
其中×H 2
×Y 3
+Y 2
×K 2
×+×H 2
×Y 4
×K 2
×即代表補償係數。再者，我們可以將Y 2
、Y 3
與Y 4
矩陣中的每一個數值做分解，並找出每一個數值與其對應之補償係數的關係，即前面所提到的方程式(9)與係數r (u
,v
)
。最後，在進行高頻係數的補償計算時，利用係數結束點，針對係數結束點前數值非零的係數進行補償計算，因此整體的頻率域畫面尺寸縮小計算量會隨著不同的視訊串流而有所差異，但整體來說，本發明提出的方法其計算量仍少於傳統空間域畫面縮小轉換法。
本發明之頻率域反轉換及次取樣係針對次取樣的需求，選取適當的反轉換矩陣大小，此矩陣大小是小於原反轉換矩陣大小，然後整合頻率域反轉換的小矩陣係數與次取樣的小矩陣係數，再配合補償後的
頻率域之輸入係數，進行較小矩陣的反轉換與次取樣運算。換句話說，輸入訊號分出高頻與低頻訊號是依據資料次取樣的方式，決定反轉換矩陣的大小，可利用畫面長度與寬度縮小的關係，例如原畫面大小L 1
×W 1
，縮小畫面大小為L 2
×W 2
，藉由L 2
/L 1
與W 2
/W 1
的縮小比例關係來近似縮小反轉換矩陣大小並實現畫面尺寸縮小轉換，並藉此來決定低頻訊號的個數。
本發明並針對反轉換與次取樣作簡化與合併流程，加入頻率域係數補償的概念以消除簡化流程所造成的誤差，其頻率域係數補償方法的流程如第4圖所示，將頻率域係數依縮小比例利用頻率域係數補償模組300之分離高低頻係數裝置301分成兩個部份(高頻係數與低頻係數)，隨後將較高頻的非零係數經過補償係數模組302作頻率域係數補償的動作得到補償係數，接著將與低頻係數以加法器303相加得到，隨後經過頻率域反轉換及次取樣整合模組304進行反轉換與次取樣得到。而本發明所提出的方法應用於視訊解碼器的解碼流程如第5圖所示，其中轉換模組402的處理流程如第4圖所示。第5圖之視訊串流由解碼器的可變長度解碼模組接收後，經由可變長度解碼模組400對視訊串流進行可變長度解碼流程後，再透過反量化模組401的反量化流程，將其作反量化的處理後，可得到頻率域的畫面資料係數。轉換模組402，包括頻率域係數補償模組403與頻率域反轉換及次取樣整合模組404；將此頻率域的畫面資料係數輸出至轉換模組402之頻率域係數補償模組403後得到，隨後輸出至頻率域反轉換及次取樣整合模組404作反轉換及次取樣的動作，並
得到空間域畫面資料係數()。
再者，須判斷這個次取樣後的空間域畫面資料係數為畫面內編碼或畫面間編碼；若這個次取樣後的空間域畫面資料係數為畫面內編碼，將次取樣後的空間域畫面資料係數輸出，輸出後的空間域畫面資料係數可成為一個新的畫面，新的畫面可直接播放並且儲存於參考畫面記憶體408中。
若這個次取樣後的空間域畫面資料係數為畫面間編碼，以移動向量縮減器405計算縮小參考畫面的移動向量，其中移動向量縮減器405接收可變長度解碼模組400傳送的移動向量資訊，因此移動向量縮減器405依畫面尺寸縮小的比例將移動向量縮小，再將縮小後的移動向量傳送給移動補償模組406進行移動補償，移動補償模組406會利用移動向量在參考畫面記憶體408中找出相對應之參考畫面並進行補償，隨後將移動補償模組406的輸出與轉換模組402的輸出藉由加法器407加總後，成為完整的畫面資料係數，然後輸出完整的畫面。這個完整的畫面可輸出直接播放並且儲存於參考畫面記憶體408中。
在文獻[10]中，其頻率域畫面尺寸縮小的方法如第3圖所示，可保有完整的頻率域係數進行頻率域畫面縮小轉換，然而本發明提出的方法透過頻率域係數補償亦可保有完整的頻率域係數，並且大幅地減少頻率域畫面尺寸縮小的計算量。又比文獻[11]美國專利6,141,456號，本發明針對畫面縮小比例，簡化頻率域畫面縮小轉換流程，可降低頻率域係數補償流程的計算量，相對文獻[11]損失大量的高頻資訊來的進步。
針對於特定尺寸縮小轉換，例如由尺寸720×480縮小至352×288，若採用畫面尺寸縮減器將耗費非常多的計算量，若要以精簡的方法完成上述縮小比例，畫面長度與畫面寬度需採用非等比例的縮小，將畫面尺寸縮減到接近352×288後，再進行邊界的裁切。而本發明所提出的方法也可完成畫面長度與寬度非等比例縮小，假設寬度縮小比例為N 2 /M
，長度縮小比例為N 1 /M
，那麼完整的頻率域畫面縮小轉換採用方程式(7)來完成。在簡化的頻率域畫面縮小轉換前，依縮小比例將低頻係數的範圍定為方塊Y M
×M
左上角N 1
×N 2
個低頻係數，接著進行頻率域係數補償的動作，將其他較高頻的(M
×M
-N 1
×N 2
)個係數進行係數補償，而補償係數所需的r (u
,v
)
可利用方程式(9)求得。
針對本發明提出的低計算複雜度之頻率域與空間域間係數反轉換與資料次取樣的方法應用於視訊畫面解碼與尺寸縮小轉換，以下列出三個實施例說明畫面長度與寬度等比例縮小與畫面長度與寬度非等比例縮小的方法與其應用：
(1)畫面長度與寬度等比例縮小，假設N
=4與M
=8：空間域畫面縮小轉換如方程式(12)。
(2)畫面長度與寬度非等比例縮小，假設N 1
=4、N 2
=5與M
=8：如畫面長度與寬度等比例縮小方法，其空間域取樣方式假設以像素固定間隔取樣的方式，則其空間域轉換方式如方程式(17)。
本發明提出的低計算複雜度之視訊資料解壓縮的反轉換與畫面尺寸縮小的方法，其係為低計算複雜度之頻率域與空間域間係數反轉換與資料次取樣，可應用於視訊或靜態影像解碼器中的頻率域與空間域間係數反轉換解碼與畫面尺寸縮小轉換，以降低畫面尺寸縮小轉換的計算複雜度，以增加解碼速率。除了可應用在畫面長度與寬度等比例縮小，也可應用在畫面長度與寬度非等比例縮小。
唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之形狀、構造、特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。
100‧‧‧可變長度解碼模組
101‧‧‧反量化模組
102‧‧‧轉換模組
103‧‧‧反離散餘弦轉換模組
104‧‧‧空間域畫面尺寸縮小轉換模組
105‧‧‧移動向量縮減器
106‧‧‧移動補償模組
107‧‧‧加法器
108‧‧‧參考畫面記憶體
200‧‧‧可變長度解碼模組
201‧‧‧反量化模組
202‧‧‧轉換模組
203‧‧‧反離散餘弦轉換及空間域畫面尺寸縮小轉換整合模組
204‧‧‧移動向量縮減器
205‧‧‧移動補償模組
206‧‧‧加法器
207‧‧‧參考畫面記憶體
300‧‧‧頻率域係數補償模組
301‧‧‧分離高低頻係數裝置
302‧‧‧補償係數模組
303‧‧‧加法器
304‧‧‧頻率域反轉換及次取樣整合模組
400‧‧‧可變長度解碼模組
401‧‧‧反量化模組
402‧‧‧轉換模組
403‧‧‧頻率域係數補償模組
404‧‧‧頻率域反轉換及次取樣整合模組
405‧‧‧移動向量縮減器
406‧‧‧移動補償模組
407‧‧‧加法器
408‧‧‧參考畫面記憶體
第1圖係第一種傳統之解碼器的方塊示意圖。
第2圖係一種次取樣之動作示意圖。
第3圖係第二種傳統之解碼器的方塊示意圖。
第4圖係本發明之轉換模組的方塊示意圖。
第5圖係本發明應用在視訊解碼器的方塊示意圖。
300‧‧‧頻率域係數補償模組
301‧‧‧分離高低頻係數裝置
302‧‧‧補償係數模組
303‧‧‧加法器
304‧‧‧頻率域反轉換及次取樣整合模組
Claims (7)
- 一種低計算複雜度之資料反轉換與次取樣的方法，包括下列步驟：(1)對輸入訊號分出高頻與低頻訊號；(2)對於非零的高頻訊號進行補償計算並算出補償值；(3)分出的低頻訊號與補償值相加；以及(4)相加結果再進行頻率域反轉換及次取樣，其係針對次取樣的需求，選取適當的反轉換矩陣大小，此矩陣大小是小於原反轉換矩陣大小，然後整合頻率域反轉換的小矩陣係數與次取樣的小矩陣係數，再配合補償後的頻率域之輸入係數，進行較小矩陣的反轉換與次取樣運算。
- 如申請專利範圍第1項所述之低計算複雜度之資料反轉換與次取樣的方法，其中輸入訊號分出高頻與低頻訊號是依據資料次取樣的方式，決定反轉換矩陣的大小，可利用畫面長度與寬度縮小的關係，例如原畫面大小L 1 ×W 1 ，縮小畫面大小為L 2 ×W 2 ，藉由L 2 /L 1 與W 2 /W 1 的縮小比例關係來近似縮小反轉換矩陣大小並實現畫面尺寸縮小轉換，並藉此來決定低頻訊號的個數。
- 如申請專利範圍第1項所述之低計算複雜度之資料反轉換與次取樣的方法，其中對於非零的高頻訊號進行補償計算並算出補償值，此補償計算是藉由係數補償表與非零的高頻訊號相乘產生補償值。
- 如申請專利範圍第3項所述之低計算複雜度之資料反轉換與次取樣的方法，其中補償計算是藉由一補償係數模組實施，且該補償係數模組中內建有係數補償表或該補償係數模組可通過計算得到係數補 償表。
- 如申請專利範圍第1項所述之低計算複雜度之資料反轉換與次取樣的方法，其中對於非零的高頻訊號進行補償計算時，可利用係數結束點，針對係數結束點前數值非零的高頻係數進行補償計算，此方式可減少非零高頻訊號的判斷。
- 如申請專利範圍第1項所述之低計算複雜度之資料反轉換與次取樣的方法，其中反轉換運算可為反離散餘弦轉換、反離散正弦轉換、反離散傅利葉轉換、反離散小波轉換以及其他各種反轉換形式。
- 如申請專利範圍第1項所述之低計算複雜度之資料反轉換與次取樣的方法，其中在次取樣可包含資料有做濾波的動作或不做任何前處理，而次取樣的方式可為規律間隔取樣、非規律間隔取樣以及其他各種次取樣形式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW098129967A TWI392373B (zh) | 2009-09-04 | 2009-09-04 | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity |
| US12/688,076 US8559500B2 (en) | 2009-09-04 | 2010-01-15 | Low-complexity inverse transform and sub-sampling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW098129967A TWI392373B (zh) | 2009-09-04 | 2009-09-04 | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201110707A TW201110707A (en) | 2011-03-16 |
| TWI392373B true TWI392373B (zh) | 2013-04-01 |
Family
ID=43647751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW098129967A TWI392373B (zh) | 2009-09-04 | 2009-09-04 | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8559500B2 (zh) |
| TW (1) | TWI392373B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI800765B (zh) * | 2020-11-06 | 2023-05-01 | 瑞昱半導體股份有限公司 | 影像處理方法及影像處理系統 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5614952A (en) * | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
| TW466843B (en) * | 1999-06-17 | 2001-12-01 | Sony Corp | Decoding method and apparatus and program furnishing medium |
| US6456663B1 (en) * | 2000-03-29 | 2002-09-24 | Matsushita Electric Industrial Co., Ltd. | DCT domain down conversion system that compensates for IDCT mismatch |
| US20040126021A1 (en) * | 2000-07-24 | 2004-07-01 | Sanghoon Sull | Rapid production of reduced-size images from compressed video streams |
| TW200742442A (en) * | 2005-09-27 | 2007-11-01 | Qualcomm Inc | Scalability techniques based on content information |
| US7366236B1 (en) * | 2001-06-04 | 2008-04-29 | Cisco Sytems Canada Co. | Source adaptive system and method for 2D iDCT |
-
2009
- 2009-09-04 TW TW098129967A patent/TWI392373B/zh not_active IP Right Cessation
-
2010
- 2010-01-15 US US12/688,076 patent/US8559500B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5614952A (en) * | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
| TW466843B (en) * | 1999-06-17 | 2001-12-01 | Sony Corp | Decoding method and apparatus and program furnishing medium |
| US6456663B1 (en) * | 2000-03-29 | 2002-09-24 | Matsushita Electric Industrial Co., Ltd. | DCT domain down conversion system that compensates for IDCT mismatch |
| US20040126021A1 (en) * | 2000-07-24 | 2004-07-01 | Sanghoon Sull | Rapid production of reduced-size images from compressed video streams |
| US7366236B1 (en) * | 2001-06-04 | 2008-04-29 | Cisco Sytems Canada Co. | Source adaptive system and method for 2D iDCT |
| TW200742442A (en) * | 2005-09-27 | 2007-11-01 | Qualcomm Inc | Scalability techniques based on content information |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110058603A1 (en) | 2011-03-10 |
| TW201110707A (en) | 2011-03-16 |
| US8559500B2 (en) | 2013-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4092734B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| JP4026238B2 (ja) | 画像復号装置及び画像復号方法 | |
| US8275042B2 (en) | High-performance video transcoding method | |
| US20140044193A1 (en) | A guaranteed-rate tiled memory-data compression | |
| JP2004015744A (ja) | 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法 | |
| US7903731B2 (en) | Methods and transcoders that estimate an output macroblock and motion vector for video transcoding | |
| US20100086048A1 (en) | System and Method for Video Image Processing | |
| JP2002514022A (ja) | スケーリング圧縮画像 | |
| WO2011110088A1 (zh) | 一种视频预测编码方法和装置 | |
| JP3937599B2 (ja) | 画像復号装置及び画像復号方法 | |
| TWI392373B (zh) | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity | |
| JP3696490B2 (ja) | デコーダのビデオメモリ条件を減少させる方法及びビデオデコーダ | |
| EP2601791A2 (en) | Video decoder with down-sampler in the frequency domain | |
| TWI479897B (zh) | 具備三維去雜訊化功能之視訊編碼/解碼裝置及其控制方法 | |
| JP4051772B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP2000115765A (ja) | 映像信号符号化装置 | |
| JP2000165875A (ja) | メモリ量の少ない動画像解像度変換符号化・復号装置 | |
| JP2008109700A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| JP4605212B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| Lee et al. | Visual quality enhancement in DCT-domain spatial downscaling transcoding using generalized DCT decimation | |
| JP4513856B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| Shi et al. | A low complexity MPEG video decoder with arbitrary downscaling capability | |
| Garg | MPEG Video Transcoding in Compress Domain: By Ankit Garg | |
| Chen et al. | A low bit-rate video coding approach using modified adaptive warping and long-term spatial memory | |
| JP2008118693A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |