TWI669955B - 視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體 - Google Patents

視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體 Download PDF

Info

Publication number
TWI669955B
TWI669955B TW106146392A TW106146392A TWI669955B TW I669955 B TWI669955 B TW I669955B TW 106146392 A TW106146392 A TW 106146392A TW 106146392 A TW106146392 A TW 106146392A TW I669955 B TWI669955 B TW I669955B
Authority
TW
Taiwan
Prior art keywords
offset
sample
block
current
current block
Prior art date
Application number
TW106146392A
Other languages
English (en)
Other versions
TW201813402A (zh
Inventor
雅希納艾爾納
雅辛亞歷山大
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201813402A publication Critical patent/TW201813402A/zh
Application granted granted Critical
Publication of TWI669955B publication Critical patent/TWI669955B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/424Syntactic representation, e.g. by using alphabets or grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/435Computation of moments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Abstract

用以產生相對於原始影像具有最小誤差之所復原之影像的視訊編碼方法與裝置以及視訊解碼方法與裝置。所述視訊解碼方法包含:自所接收之位元串流解析指示視訊區塊中的當前區塊與至少一個相鄰區塊之偏移參數是否彼此相同的偏移合併資訊;基於偏移合併資訊,自當前區塊之偏移參數復原偏移類型與偏移值;基於指示偏移類型之當前區塊之邊緣類型或畫素值帶類型,判定所復原之畫素之邊緣類別或畫素值帶;以及自偏移值判定對應於所復原之畫素之邊緣類別或畫素值帶之偏移值,並根據偏移值來調整所述所復原之畫素之畫素值。

Description

視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體
本發明是關於經執行以將原始影像與所復原之影像之間的誤差減至最小的視訊編碼方法與裝置以及視訊解碼方法與裝置。
隨著用於再生以及儲存高解析度或高品質視訊內容之硬體正被開發以及供應,對用於有效地對高解析度或高品質視訊內容進行編碼或解碼之視訊編解碼器的需要增加。在習知視訊編解碼器中,視訊是基於具有預定大小之巨集區塊根據有限編碼方法(limited encoding method)而編碼。
藉由使用頻率轉換,將空間域之影像資料轉換為頻域之係數。視訊編解碼器將影像分割為具有預定大小之區塊,對每一區塊執行離散餘弦轉換(discrete cosine transformation;DCT)轉換,且以區塊為單位來對頻率係數進行編碼,以執行頻率轉換之快速算術運算。相比於空間域之影像資料,頻域之係數為易壓縮類型。特定言之,空間域之影像畫素值經由視訊編解碼器之畫面間預測(inter prediction)或畫面內預測(intra prediction)而表達為預測誤差,且因此,若對預測誤差執行頻率轉換,則資料可轉換為0。視訊編解碼器以具有大小較小之資料替代連續並重複出現之資料,藉此減少資料量。
本發明提供用於產生相對於原始影像具有最小誤差之復原影像的視訊編碼方法與裝置及視訊解碼方法與裝置。
根據本發明之一態樣,提供一種視訊解碼方法,包含:自所接收之位元串流解析指示視訊區塊中的當前區塊與至少一個相鄰區塊之偏移參數是否彼此相同的偏移合併資訊;基於所述偏移合併資訊,自當前區塊之偏移參數復原偏移類型與偏移值;基於指示所述偏移類型之當前區塊之邊緣類型或畫素值帶類型,判定當前區塊的所復原之畫素之邊緣類別或畫素值帶;以及自偏移值判定對應於所復原之畫素之邊緣類別或畫素值帶的偏移值,並根據所述偏移值來調整所述所復原之畫素之畫素值。
根據本發明之一態樣,所復原之畫素之邊緣類別或畫素值帶的判定可包含:在當前區塊之偏移類型為邊緣類型之狀況下,比較當前復原之畫素與根據邊緣類型及邊緣大小而安置的當前復原之畫素之相鄰畫素的畫素值,且判定指示所述當前復原之畫素是否為邊緣畫素之邊緣類別,其中,根據所述偏移值的所述所復原之畫素之畫素值的調整包含:在所述偏移值包括對應於分配至當前偏移類型之邊緣類別的偏移值的狀況下,自偏移值判定對應於當前復原之畫素之邊緣類別的偏移值。
根據本發明之一態樣,所復原之畫素之邊緣類別或畫素值帶的判定可包含:在當前區塊之偏移類型為畫素值帶類型的狀況下,自多個帶判定指示當前復原之畫素之畫素值所屬的畫素值範圍的畫素值帶,其中,根據所述偏移值的所復原之畫素之畫素值的調整包含:在所述偏移值包含對應於分配至當前偏移類型之畫素值帶的偏移值的狀況下,自所述偏移值判定對應於當前復原之畫素之畫素值帶的偏移值。
根據本發明之一態樣,所述偏移類型與所述偏移值的復原可包含:若基於所述偏移合併資訊,當前區塊之左側區塊及上方區塊之至少一個偏移參數與當前區塊之偏移參數相同,則將所述當前區塊之偏移參數復原為與所述當前區塊之所述左側區塊與所述上方區塊之所述至少一個偏移參數相同。
根據本發明之一態樣,所述偏移類型與所述偏移值之復原可包含:若基於所述偏移合併資訊,當前區塊之左側區塊與上方區塊之至少一個偏移參數與當前區塊之偏移參數不同,則自所接收之位元串流解析並復原所述當前區塊之偏移參數。
根據本發明之一態樣,所述偏移類型與所述偏移值的復原可包括:藉由參考偏移參數中彼此之偏移參數,對當前區塊之明度分量及色度分量中的至少一個色彩分量的偏移參數執行預測與復原。根據本發明之一態樣,偏移值為包含於相同邊緣類別或相同畫素值帶中的所復原之畫素與原始畫素之間的差值的平均值。
根據本發明之另一態樣,提供有一種視訊編碼方法,包括:根據視訊區塊中的當前區塊之邊緣類型來判定邊緣類別,或根據其畫素值帶類型來判定畫素值帶;藉由使用包含於所述邊緣類別或所述畫素值帶中的所復原之畫素與原始畫素之間的差值來判定對應於邊緣類別或畫素值帶的偏移值;以及當每一區塊之偏移參數包括指示邊緣類型或畫素值帶類型之偏移類型以及對應於邊緣類別或畫素值帶之偏移時,基於當前區塊與至少一個相鄰區塊之偏移參數之間的同一性,對指示是否對所述當前區塊之偏移參數進行編碼的當前區塊之偏移合併資訊進行編碼。
根據本發明之一態樣,所述邊緣類別與所述畫素值帶之判定包括:在根據邊緣類型判定當前區塊之偏移的狀況下,比較當前復原之畫素與根據所述邊緣類型及邊緣大小而安置的當前復原之畫素的相鄰畫素的畫素值,且判定指示當前復原之畫素是否為邊緣畫素之邊緣類別。
根據本發明之一態樣,所述邊緣類別與所述畫素值帶之判定包括:在根據所復原之畫素之畫素值帶類型判定當前區塊之偏移的狀況下,自多個帶判定指示當前復原之畫素之畫素值所屬的畫素值範圍的畫素值帶。
根據本發明之一態樣,所述當前區塊之偏移合併資訊之編碼包括:若所述當前區塊之左側區塊及上方區塊之至少一個偏移參數與所述當前區塊之偏移參數相同,則對排除所述當前區塊之偏移參數的偏移合併資訊進行編碼。
根據本發明之一態樣,對應於邊緣類別或畫素值帶之偏移值之判定包括:按照包含於相同邊緣類別或相同畫素值帶中的所復原之畫素與原始畫素之間的差值的平均值來判定所述偏移值。
根據本發明之另一態樣,提供一種視訊解碼裝置,包括:偏移參數解析單元,所述偏移參數解析單元用於自所接收之位元串流解析指示視訊區塊中的當前區塊與至少一個相鄰區塊之偏移參數是否彼此相同的偏移合併資訊,基於所述偏移合併資訊自當前區塊之偏移參數復原偏移類型與偏移值;以及偏移調整單元,所述偏移調整單元用於基於指示所述偏移類型之當前區塊之邊緣類型或畫素值帶類型,判定所復原之畫素之邊緣類別或畫素值帶,且自偏移值判定對應於所述所復原之畫素之邊緣類別或畫素值帶之偏移值,並根據所述偏移值調整所述所復原之畫素之畫素值。
根據本發明之另一態樣,提供一種視訊編碼裝置,包括:偏移判定單元,所述偏移判定單元用於根據視訊區塊中的當前區塊之邊緣類型來判定邊緣類別,或根據其畫素值帶類型來判定畫素值帶,且藉由使用包含於邊緣類別或畫素值帶中的所復原之畫素與原始畫素之間的差值來判定對應於邊緣類別或畫素值帶之偏移值;以及偏移參數編碼單元,所述偏移參數編碼單元用於當每一區塊之偏移參數包括指示邊緣類型或畫素值帶類型之偏移類型以及對應於邊緣類別或畫素值帶之偏移時,基於當前區塊與至少一個相鄰區塊之偏移參數之間的同一性,對指示是否對所述當前區塊之偏移參數進行編碼的當前區塊之偏移合併資訊進行編碼。
根據本發明之另一態樣,提供一種電腦可讀記錄媒體,所述電腦可讀記錄媒體上記錄有用於執行視訊解碼方法之程式。
根據本發明之另一態樣,提供一種電腦可讀記錄媒體,所述電腦可讀記錄媒體上記錄有用於執行視訊編碼方法之程式。
藉由參考附圖詳細描述例示性實施例,例示性實施例之以上以及其他特徵與優點將變得更加顯而易見。
在下文中將參考附圖更完整地描述本發明,附圖所示為本發明之例示性實施例。
如本文中所使用,術語「及/或」包含相關聯之所列出項目中之一或多者的任何以及所有組合。
下文將參照圖1至圖7描述根據畫素分類調整偏移而執行的視訊編碼方法及視訊解碼方法的一實施例。且,下文將參照畫素偏移或畫素帶之類型以及圖20描述基於具有樹狀結構之編碼單位的視訊編碼方法及視訊解碼方法,使用根據畫素分類之偏移調整的實施例。在下文中,「影像」可意謂視訊之靜態影像、其動態影像(亦即,視訊自身)。
首先,下文現將參照圖1至圖7根據一實施例描述根據畫素分類調整偏移而執行的視訊編碼方法及視訊解碼方法。
圖1為根據本發明之一實施例的視訊編碼裝置10的方塊圖。
根據一實施例的視訊編碼裝置10包含偏移判定單元12以及偏移參數編碼單元14。
根據一實施例的視訊編碼裝置10接收視訊之影像,將每一影像分割為區塊,且針對每一區塊對影像進行編碼。區塊類型可為正方形或矩形,且可為任意幾何形狀。區塊類型不限於具有統一大小之資料單位。根據一實施例的區塊可為呈樹狀結構之編碼單位中的最大編碼單位,編碼單位等。稍後,將參照圖8至圖20描述基於呈樹狀結構的編碼單位的視訊編碼與解碼方法。
根據一實施例的視訊編碼裝置10可對每一影像區塊執行畫面內預測、畫面間預測、轉換以及量化,產生樣本,對所述樣本執行熵編碼(entropy encoding),並以位元串流方式輸出所述樣本。
根據一實施例的視訊編碼裝置10可對指示原始影像之畫素(原始畫素)與所復原之影像之畫素(所復原之畫素)之間差值的偏移值進行編碼,以將原始畫素與所復原之畫素之間的誤差減至最小。
根據一實施例的視訊編碼裝置10可針對諸如圖像、片段、區塊等每一預定資料單位判定偏移值。可針對每一預定資料單位對包含偏移值與偏移類型之偏移參數進行編碼。
根據一實施例的偏移判定單元12判定當前區塊之邊緣類型或畫素值帶類型。偏移判定單元12可判定是否適於根據當前區塊之畫素特性,基於畫素類型或畫素值帶類型對當前區塊之畫素進行分類。
根據一實施例的邊緣類型可指示由所復原之畫素與相鄰畫素形成的邊緣的方向以及大小。且,在當前區塊之畫素值的整個範圍帶分割為預定數目的帶時,根據一實施例的畫素值帶類型可指示畫素值之帶的總數、每一帶之範圍等。
在根據邊緣類型判定當前區塊之偏移值的狀況下,根據一實施例的偏移判定單元12可判定屬於每一所復原的畫素之邊緣類別。根據一實施例的邊緣類別指示當前復原之畫素是否為邊緣之畫素。舉例而言,邊緣類別可指示當前復原之畫素是否為邊緣之端點、是否為構成邊緣之邊緣畫素,或是否不是構成邊緣之畫素等。
在根據邊緣類型判定當前區塊之偏移值的狀況下,根據一實施例的偏移判定單元12可比較當前復原之畫素的畫素值與根據邊緣之方向與大小相鄰於當前復原之畫素而安置的相鄰畫素之畫素值,且判定指示當前復原之畫素是否為邊緣畫素之邊緣類別。
在根據畫素值帶類型判定當前區塊之偏移值的狀況下,根據一實施例的偏移判定單元12可判定屬於每一所復原之畫素的畫素值帶。根據一實施例的畫素值帶指示多個畫素值帶中當前復原之畫素的畫素值所屬之畫素值帶。所述多個畫素值帶可根據相等的畫素值範圍而分割。且,所述多個畫素值帶可根據不等的畫素值範圍而分割。亦即,偏移判定單元12可所述多個畫素值帶判定指示當前復原之畫素的畫素值所屬之畫素值範圍的畫素值帶。
根據一實施例的偏移判定單元12藉由使用所復原之畫素與包含於與所復原之畫素相同的邊緣類別或畫素值帶中的原始畫素之間的差值,判定對應於所復原之畫素的邊緣類別或畫素值帶之偏移值。
根據一實施例的偏移判定單元12可判定所復原之畫素與包含於與當前邊緣類別相同的邊緣類別或與當前畫素值帶相同的畫素值帶中的原始畫素之間的差值之平均值(亦即,所復原之畫素之平均誤差),作為對應於當前邊緣類別或當前畫素值帶之偏移值。
偏移判定單元12可針對當前區塊中的每一所復原之畫素判定邊緣類別或畫素值帶。因此,偏移判定單元12可判定對應於區塊之每一邊緣類別的每一偏移值。且,偏移判定單元12可判定對應於區塊之每一畫素值帶的每一偏移值。
根據一實施例的偏移參數編碼單元14可對每一區塊之偏移類型以及偏移值進行編碼。根據一實施例的偏移類型指示每一區塊之邊緣類型或其畫素值帶類型。
每一區塊之偏移參數可包含每一區塊之偏移類型以及偏移值。若偏移類型為邊緣類型,則偏移參數可包含對應於每一邊緣類別之偏移值。且,若偏移類型為畫素值帶類型,則偏移參數可包含對應於每一畫素值帶之偏移值。亦即,偏移參數編碼單元14可針對每一區塊對偏移參數進行編碼。
根據一實施例的偏移參數編碼單元14可基於當前區塊與至少一個相鄰區塊之偏移參數之間的同一性(identities),對指示是否對當前區塊之偏移參數進行編碼的當前區塊之偏移合併資訊進行編碼。
若當前區塊之左側區塊與右側區塊之偏移參數中的至少一者與當前區塊之偏移參數相同,則根據一實施例的偏移參數編碼單元14可對除當前區塊之偏移參數之外的偏移合併資訊進行編碼。
若當前區塊之左側區塊與右側區塊之偏移參數與當前區塊之偏移參數不同,則根據一實施例的偏移參數編碼單元14可對當前區塊之偏移合併資訊以及偏移參數進行編碼。
若相鄰區塊之偏移參數之部分資訊與當前區塊之偏移參數相同,則根據一實施例的偏移參數編碼單元14可對一個位元之偏移合併資訊進行編碼,且僅對除相鄰區塊之偏移參數中與當前區塊之偏移參數相同的部分資訊之外的當前區塊之偏移參數的資訊進行編碼。舉例而言,若當前區塊與相鄰區塊的偏移值相同,則可針對當前區塊對一個位元之偏移合併資訊以及偏移類型進行編碼。
根據一實施例的偏移參數編碼單元14可對相鄰區塊之偏移值與當前偏移之間的差分資訊進行編碼。
若偏移為0,則根據一實施例的偏移參數編碼單元14可對除偏移之外的偏移參數進行編碼。
根據一實施例的偏移參數編碼單元14可藉由參考其他色彩分量之偏移參數對當前區塊之明度分量與色度分量中的至少一個色彩分量進行預測及編碼。舉例而言,藉由共用或互相參考偏移參數,對明度分量與色度分量之偏移參數進行預測及編碼。作為另一實例,藉由共用或互相參考偏移參數,對第一色度分量以及第二色度分量之偏移參數進行預測及編碼。
根據一實施例的視訊編碼裝置10可包含中央處理器(未圖示),所述中央處理器整體控制偏移判定單元12以及偏移參數編碼單元14。或者,偏移判定單元12以及偏移參數編碼單元14可由其交互操作之各別處理器(未圖示)操作,且因此,視訊編碼裝置10可整體操作。或者,可藉由根據一實施例的視訊編碼裝置10之外部處理器(未圖示)之控制來控制偏移判定單元12及偏移參數編碼單元14。
根據一實施例的視訊編碼裝置10可包含至少一個資料儲存單元(未圖示),所述資料儲存單元儲存偏移判定單元12以及偏移參數編碼單元14之輸入以及輸出資料。視訊編碼裝置10可包含記憶體控制單元(未圖示),所述記憶體控制單元控制資料儲存單元(未圖示)之資料輸入與輸出。
根據一實施例的視訊編碼裝置10可結合安裝於其中之內部視訊編碼處理器或外部視訊編碼處理器操作,以輸出視訊編碼結果,藉此執行包含轉換之視訊編碼操作。根據一實施例的視訊編碼裝置10之內部視訊編碼處理器可包含單獨的處理器,且視訊編碼裝置10、中央操作裝置或圖形操作裝置可包含視訊編碼處理模組,以實施基礎視訊編碼操作。
圖2為根據本發明之一實施例的視訊解碼裝置20的方塊圖。
根據一實施例的視訊解碼裝置20包含偏移參數解析單元22以及偏移調整單元24。
根據一實施例的視訊解碼裝置20接收包含經編碼之視訊資料的位元串流。視訊解碼裝置20可自所接收之位元串流解析經編碼之視訊樣本,對每一影像區塊執行熵編碼、逆量化、逆轉換以及預測與運動補償,產生所復原之畫素且產生最終的所復原之影像。且,根據一實施例的視訊解碼裝置20可接收指示原始畫素與所復原之畫素之間的差值之偏移值,以將原始影像與所復原之影像之間的誤差減至最小。
根據一實施例的偏移參數解析單元22可自位元串流解析指示視訊區塊中的當前區塊與至少一個相鄰區塊之偏移參數是否彼此相同的偏移合併資訊。
根據一實施例的偏移參數解析單元22可基於當前區塊之偏移合併資訊而自當前區塊之偏移參數復原偏移類型以及偏移值。
舉例而言,若基於當前區塊之偏移合併資訊,當前區塊與至少一個相鄰區塊之偏移參數彼此不同,則偏移參數解析單元22可自位元串流解析並復原當前區塊之偏移參數。然而,若基於當前區塊之偏移合併資訊,當前區塊與至少一個相鄰區塊之偏移參數彼此相同,則偏移參數解析單元22可藉由使用至少一個相鄰區塊之偏移參數來復原當前區塊之偏移參數,而不自位元串流解析當前區塊之偏移參數。
根據一實施例的偏移調整單元24可基於指示當前區塊之偏移類型的當前區塊之邊緣類型或畫素值帶類型來判定所復原之畫素的邊緣類別或畫素值帶。
根據一實施例的偏移調整單元24可自當前區塊之偏移值判定對應於所復原之畫素的邊緣類別或畫素值帶之偏移值。偏移調整單元24可按偏移來調整所復原之畫素的畫素值。
根據一實施例的偏移調整單元24可針對當前區塊之每一所復原之畫素來判定邊緣類別或畫素值帶。因此,偏移調整單元24可自所復原之偏移值判定對應於每一所復原之畫素的所判定之邊緣類別或畫素值帶之偏移值,並按偏移來調整每一所復原之畫素。
若當前區塊之偏移類型為邊緣類型,則根據一實施例的偏移調整單元24可比較當前區塊畫素與根據邊緣方向與邊緣大小而安置的當前復原之畫素之相鄰畫素的畫素值,並判定當前復原之畫素的邊緣類別。因此,偏移調整單元24可自偏移值判定對應於當前復原之畫素之邊緣類別的偏移值。偏移調整單元24可計算包含於與當前邊緣類別相同之邊緣類別中的所復原之畫素與原始畫素之間的差值之平均值,並將所述平均值判定為對應於當前復原之畫素之偏移。
若當前區塊之偏移類型為畫素值帶類型,根據一實施例的偏移調整單元24可自多個帶判定當前復原之畫素的畫素值所屬之畫素值帶。因此,偏移調整單元24可自所復原之偏移值判定對應於當前復原之畫素之畫素值帶的偏移值。由偏移調整單元24自所復原之偏移值選擇之偏移值可為包含於與當前畫素值帶相同的畫素值帶中的所復原之畫素與原始畫素之間的差值之平均值。
針對偏移參數調整單元22之更詳細描述,若基於偏移合併資訊,當前區塊之左側區塊及右側區塊之偏移參數中之至少一個與當前區塊之偏移參數相同,則可將當前區塊之偏移參數復原為與當前區塊之左側區塊及右側區塊之偏移參數中的所述至少一個相同。可基於偏移合併資訊自相鄰區塊判定具有待參考之偏移參數之區塊。
此外,若基於偏移合併資訊,當前區塊之左側區塊及右側區塊之偏移參數與當前區塊之偏移參數不同,則偏移參數調整單元22可自位元串流解析並復原當前區塊之偏移參數。
此外,若自位元串流解析之一個位元之偏移合併資訊指示相鄰區塊之偏移參數之部分資訊與當前區塊之偏移參數相同,則偏移參數調整單元22可藉由使用相鄰區塊之偏移參數之部分資訊來復原當前區塊之偏移參數之部分資訊。可自位元串流解析並復原當前區塊之偏移參數之剩餘資訊。
此外,偏移參數調整單元22可自位元串流解析並復原偏移參數之差分值。在此狀況下,偏移參數調整單元22可組合相鄰區塊之偏移值與當前區塊之偏移值之間的差分資訊,並預測及復原當前區塊之偏移值。
此外,若偏移參數不包含至少一個偏移值,則偏移參數調整單元22可將偏移值復原為0。
根據一實施例的偏移參數解析單元22可藉由相互參考色彩分量之偏移參數來預測並復原當前區塊之明度分量與色度分量中的至少一個色彩分量之偏移參數。舉例而言,藉由共用或參考偏移參數,可復原明度分量與色度分量之偏移參數。作為另一實例,藉由共用或參考偏移參數,可預測並復原第一色度分量以及第二色度分量之偏移參數。
根據一實施例的視訊解碼裝置20可包含中央處理器(未圖示),所述中央處理器整體控制偏移參數解析單元22以及偏移調整單元24。或者,偏移參數解析單元22以及偏移調整單元24可藉由其交互操作之各別處理器(未圖示)操作,且因此,視訊解碼裝置20可整體操作。或者,可藉由根據一實施例的視訊解碼裝置20之外部處理器(未圖示)之控制來控制偏移參數解析單元22及偏移調整單元24。
根據一實施例的視訊解碼裝置20可包含至少一個資料儲存單元(未圖示),所述資料儲存單元儲存偏移參數解析單元22以及偏移調整單元24之輸入以及輸出資料。視訊解碼裝置20可包含記憶體控制單元(未圖示),所述記憶體控制單元控制資料儲存單元(未圖示)之資料輸入與輸出。
根據一實施例的視訊解碼裝置20可結合安裝於其中之內部視訊解碼處理器或外部視訊解碼處理器操作,以經由視訊解碼來復原視訊,藉此執行視訊解碼操作。根據一實施例的視訊解碼裝置20之內部視訊解碼處理器可包含單獨的處理器,且視訊解碼裝置20、中央操作裝置或圖形操作裝置可包含視訊解碼處理模組,以實施基礎視訊解碼操作。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20使用樣本適應性偏移(sample adaptive offset;SAO),以便將原始畫素與所復原之畫素之間的誤差減至最小。藉由使用根據一實施例的SAO,視訊編碼裝置10將每一影像區塊之畫素分類為預定畫素群組,將每一畫素分配至對應畫素群組,且對包含於相同畫素群組中用以指示原始畫素與所復原之畫素之間的誤差之平均值的偏移值進行編碼。
對樣本進行編碼並在視訊編碼裝置10與視訊解碼裝置20之間傳輸。亦即,視訊編碼裝置10可對樣本進行編碼,並以位元串流類型傳輸經編碼之樣本,且視訊解碼裝置20可自所接收之位元串流解析並復原樣本。根據一實施例的視訊編碼裝置10與視訊解碼裝置20根據經由畫素分類而判定之偏移值調整所復原之畫素值,並對偏移參數進行編碼/解碼,以便將原始畫素與所復原之畫素之間的誤差減至最小。在視訊編碼裝置10與視訊解碼裝置20之間執行發信號(signaling),所述發信號涉及將偏移值作為偏移參數進行編碼、傳輸、接收及解碼。
因此,藉由使用根據一實施例的SAO,視訊解碼裝置20可對所接收之位元串流進行解碼,針對每一影像區塊而產生所復原之畫素,自位元串流復原偏移值,且按對應偏移來調整所復原之畫素,藉此產生相對於原始影像具有最小誤差之所復原之影像。
在下文中,現將描述針對根據一實施例的SAO將畫素分類為畫素群組之實施例。藉由使用根據一實施例的SAO,可(i)根據構成所復原之畫素之邊緣類型或(ii)根據其畫素值帶類型而對畫素進行分類。根據一實施例,可藉由偏移類型定義根據邊緣類型抑或畫素值帶類型對畫素進行分類。
現將描述藉由使用根據一實施例的SAO根據邊緣類型對畫素進行分類之實施例。
可根據針對當前區塊而判定之當前邊緣類型來判定包含於當前區塊中之每一所復原之畫素的邊緣類別。亦即,可藉由比較當前復原之畫素與相鄰畫素之畫素值來定義當前復原之畫素之邊緣類別。
舉例而言,可根據以下<程序1>來判定邊緣類別。
<程序1> Class =0; 對於若Rec(i, j) < Rec(x, y),則Class++ 若Rec(i, j) < Rec(x, y),則Class--
當前復原之畫素Rec(x, y)之x與y分別表示水平座標與垂直座標。相鄰於當前復原之畫素Rec(x, y)之相鄰畫素Rec(i, j)之i與j分別表示水平座標與垂直座標。Ω表示安置了相鄰畫素Rec(i, j)的空間範圍,相鄰畫素為當前復原之畫素Rec(x, y)之比較目標。亦即,根據上文<程序1>,可根據相鄰畫素Rec(i, j)之數目來判定當前復原之畫素Rec(x, y)之邊緣類別Class。在安置於預定空間範圍中的相鄰畫素Rec(i, j)中,邊緣類別Class可根據相比當前復原之畫素Rec(x, y)具有較高畫素值之相鄰畫素Rec(i, j)之數目而增大,且邊緣類別Class可根據相比當前復原之畫素Rec(x, y)具有較低畫素值之相鄰畫素Rec(i, j)之數目而減小。
可如下文所示定義安置了相鄰畫素Rec(i, j)<相鄰畫素空間範圍Ω>。
<最大相鄰畫素範圍>, 但(i, j) ≠ (x, y) x-M ≤ i ≤ x+M, & y-M ≤ j ≤ y+M
M表示自當前復原之畫素Rec(x, y)至相鄰畫素Rec(i, j)之最大水平及垂直距離。因此,最大相鄰畫素範圍可包含安置於當前復原之畫素Rec(x, y)周圍之相鄰畫素之最大數目(4M^2 + 4M)。在此狀況下,邊緣類別Class可處於自最小-(4M^2+4M)至最大(4M^2+4M)之範圍中。邊緣類別Class範圍之中心值可指示當前復原之畫素Rec(x, y)為安置於邊緣周圍之畫素,而非邊緣畫素。處於相鄰畫素空間範圍Ω內之相鄰畫素Rec(i, j)之數目可根據邊緣類型增大或減小。M可為1,以便將操作量減至最小。
舉例而言,在邊緣類型為垂直邊緣的狀況下,可就畫素值而將當前復原之畫素Rec(x, y)與安置在水平方向上的相鄰畫素進行比較。亦即,可如下文所示判定垂直邊緣之相鄰畫素空間範圍Ω。
<垂直邊緣之相鄰畫素空間範圍Ω>,但(i, j) ≠ (x, y) x-M ≤ i ≤ x+M, & j = y
可根據由相鄰畫素空間範圍Ω內之畫素形成的邊緣類型(諸如,垂直邊緣、水平邊緣、對角邊緣、嚴格最大值以及嚴格最小值)來判定相鄰畫素空間範圍Ω之類型與大小。邊緣類別值指示畫素是否包含於邊緣中,或是否安置在邊緣周圍。因此,可判定用於根據邊緣類型與邊緣類別之組合校正構成邊緣之畫素值之偏移,且因此可根據邊緣類型與邊緣類別之組合來定義畫素群組。
可根據邊緣類型來判定包含於相鄰畫素空間範圍Ω中之相鄰畫素的數目。可在相鄰畫素之數目之範圍內判定邊緣類別值。因此,視訊編碼裝置10與視訊解碼裝置20可針對當前邊緣類型之每一邊緣類別來對對應偏移值進行編碼、傳輸及接收,並根據偏移值來調整所復原之畫素。在下文中,將根據預定邊緣類型的邊緣類別之係數作為待編碼並傳輸至視訊解碼裝置20之偏移值的長度進行參考。
在用於邊緣類型與邊緣類別之預定組合之偏移值(亦即,當前邊緣類型之邊緣類別N之偏移值)先前判定為0的狀況下,無需對偏移值進行編碼並將其傳輸至視訊解碼裝置20。在此狀況下,可減小邊緣類型與邊緣類別之預定組合之長度。
因此,視訊編碼裝置10與視訊解碼裝置20可根據影像特性(諸如,邊緣類型)而對畫素進行分類,判定與偏移具有相同特性之畫素之間的平均誤差值,並根據所述偏移來調整所復原之畫素,藉此將原始影像與所復原之影像之間的誤差減至最小。
圖3為根據本發明之一實施例的用於畫素分類的邊緣類型31、32、33、34、35及36與長度的表格。
索引5、4、0、1、2及3可按順序分配至邊緣類型31、32、33、34、35及36。邊緣類型31、32、33、34、35及36之出現之命中率愈高,可分配至邊緣類型31、32、33、34、35及36的索引5、4、0、1、2及3愈小。關於索引5之邊緣類型31,可藉由比較當前復原之畫素X0與鄰近於當前復原之畫素X0之八個相鄰畫素X1、X2、X3、X4、X5、X6、X7以及X8之畫素值而判定當前復原之畫素X0之邊緣類別。在此狀況下,分配至當前復原之畫素X0之邊緣類別之數目為17,且因此長度可判定為17。
如上所述,關於索引4之邊緣類型32,藉由比較當前復原之畫素X0之當前復原之畫素值與水平且垂直鄰近於當前復原之畫素X0的四個相鄰畫素X1、X2、X3與X4,將邊緣類別之數目判定為9,且因此長度可判定為9。
且,關於索引0之邊緣類型33,藉由比較當前復原之畫素X0之當前復原之畫素值與水平鄰近於當前復原之畫素X0的兩個相鄰畫素X1與X2,將邊緣類別之數目判定為5,且因此長度可判定為5。
且,關於索引1之邊緣類型34,藉由比較當前復原之畫素X0之當前復原之畫素值與水平鄰近於當前復原之畫素X0的兩個相鄰畫素X3與X4,將邊緣類別之數目判定為5,且因此長度可判定為5。
且,關於索引2之邊緣類型35,藉由比較當前復原之畫素X0之當前復原之畫素值與在135°之對角方向上鄰近於當前復原之畫素X0的兩個相鄰畫素X5與X8,將邊緣類別之數目判定為5,且因此長度可判定為5。
且,關於索引3之邊緣類型36,藉由比較當前復原之畫素X0之當前復原之畫素值與在45°之對角方向上當前復原之畫素X0鄰近於兩個相鄰畫素X6與X7,將邊緣類別之數目判定為5,且因此長度可判定為5。
舉例而言,在邊緣類型為如索引0之邊緣類型33的垂直邊緣且將當前復原之畫素X0與水平鄰近於當前復原之畫素X0之兩個相鄰畫素X1與X2進行比較的狀況下,當前復原之畫素X0之邊緣類別Class可根據下文<程序2>來判定。
<程序2> (1)若(X0>X1且X0<X2)則Class = 2 ; (2)若(X0>X1且X1==X2)或(X0==X1且X1>X2)則Class = 1; (3)若(X0==X1且X1==X2)或(X0==X1且X1==X2)則Class = 0; (4)若(X0<X1且X1==X2)或(X0==X1且X1<X2)則Class = -1; (5)若(X0<X1且X0<X2)則Class = -2。
根據上文<程序2>,在當前復原之畫素X0分別為(1)邊緣之局部最大點;(2)區塊邊緣之畫素;(3)除邊緣之外的畫素;(4)凹邊之畫素;以及(5)邊緣之局部最小點的狀況下,可判定對應邊緣類別。在邊緣類別值為0的狀況下,因為偏移值極有可能為0,所以可能無法對所復原之畫素之邊緣類別進行編碼。
接著,現將描述藉由使用根據一實施例的SAO根據畫素值帶類型對畫素進行分類之實施例。
所復原之畫素的畫素值可屬於根據一實施例的畫素值帶之一。舉例而言,根據p位元取樣,畫素值之最小值Min與最大值Max可具有0, …, 2^(p-1)之總範圍。畫素值範圍(Min, Max)可分割為K個畫素值帶。在BK 表示第k個畫素值帶之最大值的狀況下,第k個畫素值帶可分割為[B0 , B1 -1]、[B1 , B2 -1]、[B2 , B3 -1]、……、[BK -1 , BK ]。在當前復原之畫素Rec(x, y)之畫素值屬於[BK-1, BK]的狀況下,當前畫素值帶可定義為k。
畫素值帶可分割為相等類型或不等類型。可考慮實際最小值Min與實際最大值Max來判定此類畫素值帶類型。在此狀況下,在視訊編碼裝置10與視訊解碼裝置20之間可編碼並傳輸或接收並解碼畫素值帶之分割參考。在根據畫素值之理論範圍{0, ……, 2p-1 }分割畫素值帶的狀況下,可在無需編碼的狀況下判定畫素值帶類型。此畫素值帶類型可定義為偏移類型。
可自根據畫素值帶類型分類之多個畫素值帶判定針對每一所復原之畫素每一畫素值所屬之畫素值帶。且,可針對每一畫素值帶來判定指示原始畫素與所復原之畫素之間的誤差之平均值的偏移值。
因此,視訊編碼裝置10與視訊解碼裝置20可針對根據當前畫素值帶類型分類之畫素值帶中之每一者來對對應偏移值進行編碼、傳輸並接收,並根據偏移來調整所復原之畫素。且,偏移值之長度可與畫素值帶之數目相同。視訊編碼裝置10可對長度進行編碼,並將長度傳輸至視訊解碼裝置20。
在用於邊緣類型與邊緣類別之預定組合之偏移值(亦即,當前畫素值帶類型之第k個畫素值帶之偏移值)先前判定為0的狀況下,無需對偏移值進行編碼並將其傳輸至視訊解碼裝置20。在此狀況下,可減小邊緣類型與邊緣類別之預定組合之長度。
舉例而言,在畫素值分類類型為8位元相等帶的狀況下,畫素值可分割為32個畫素值帶。更具體而言,畫素值可分割為畫素值帶[0, 7]、[8, 15]、……、[240, 247]、[248, 255]。在此狀況下,長度為32。
在畫素值帶之總數(亦即,長度)為2的冪的狀況下,可將根據一實施例用於根據畫素值帶類型來對畫素進行分類之操作量減至最小。
因此,視訊編碼裝置10與視訊解碼裝置20可根據影像特性(諸如,畫素值帶類型)而對畫素進行分類,判定與偏移具有相同特性之畫素之間的平均誤差值,並根據偏移來調整所復原之畫素,藉此將原始影像與所復原之影像之間的誤差減至最小。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可針對每一預定區域判定偏移類型與偏移值。視訊編碼裝置10可針對包含於預定區域中的每一畫素來判定原始畫素值與所復原之畫素值之間的誤差,並將畫素誤差之平均值判定為偏移值。針對迅速操作,視訊編碼裝置10與視訊解碼裝置20可針對每一區塊來判定並傳輸或接收偏移值。
偏移類型可根據每一區塊之影像特性來判定。舉例而言,包含垂直邊緣、水平邊緣、對角邊緣等之區塊較適合用於根據邊緣類型來對畫素值進行分類,並針對邊緣值之校正來判定偏移值。在區塊並非邊緣區塊的狀況下,較適合根據帶分類來判定偏移值。因此,視訊編碼裝置10與視訊解碼裝置20可針對每一區塊來傳輸或接收偏移類型。
根據一實施例的偏移參數可包含偏移類型、偏移值、長度以及偏移類別。可根據偏移類型來判定長度。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可判定對應於偏移類型之偏移類別。
因此,根據一實施例的視訊編碼裝置10可對偏移參數之偏移類型與偏移值進行編碼並將其傳輸至視訊解碼裝置20。視訊解碼裝置20可接收偏移類型與偏移值,並基於偏移類型來判定長度與偏移類別。且,視訊解碼裝置20可自所接收之偏移值選擇對應於長度或偏移類別之偏移值,並根據偏移值來調整所復原之畫素。
根據一實施例的視訊編碼裝置10可根據偏移類型之出現之命中率來判定偏移類型之索引,以便對偏移類型進行編碼。舉例而言,偏移類型中的索引之偏移類型之出現的命中率愈高,可編碼的索引之碼字愈短。
視訊編碼裝置10與視訊解碼裝置20可具有以下偏移類型之索引之實例,所述偏移類型可選自包含根據邊緣類型與畫素值帶類型之畫素分類之偏移類型: (i) 在不使用SAO的狀況下,偏移類型為-1; (ii) 在垂直方向上包含三個畫素的邊緣類型的狀況下,偏移類型為0; (iii) 在水平方向上包含三個畫素的邊緣類型的狀況下,偏移類型為1; (iv) 在135°之對角方向上包含三個畫素的邊緣類型的狀況下,偏移類型為2; (v) 在45°之對角方向上包含三個畫素的邊緣類型的狀況下,偏移類型為3; (vi) 畫素值帶類型之偏移類型為4。
在(ii)偏移類型為0的狀況下,邊緣類別可編碼為{-2、-1、1、2},並且可不對邊緣類別0進行編碼,因此長度可為4。在(vi)偏移類型為4且畫素值帶之數目為32的狀況下,長度可為32。
圖4為說明根據本發明之一實施例的偏移值編碼程序的流程圖。
在根據本發明之一實施例的視訊編碼裝置10與視訊解碼裝置20之間進行傳輸並接收的待編碼與解碼之偏移值極有可能為0。除0之外的偏移值具有正號或負號。因此,根據一實施例的視訊編碼裝置10判定當前偏移值是否為0(操作步驟
41),且,若當前偏移值不為0,則判定當前偏移值是否大於0(操作步驟42)。若當前偏移值大於0,則對正負號位元「0」進行編碼(操作步驟44)。若當前偏移值不大於0,則對正負號位元「1」進行編碼(操作步驟43)。在對正負號位元進行編碼後,可進一步對位元率進行編碼,所述位元率是藉由對藉由將偏移值之絕對值減1而獲得的值執行一元二進制編碼而產生(操作步驟45)。若當前偏移值為「0」,視訊編碼裝置10可最終對當前偏移值「0」進行編碼(操作步驟46),並完全對偏移值進行編碼。
視訊解碼裝置20可接收偏移值,判定偏移值是否為0,且若偏移值不為0,則解析正負號位元以及藉由將偏移值之絕對值減1而獲得的值,並復原當前偏移值。
根據一實施例,可針對每一區塊判定並傳輸並接收偏移參數。舉例而言,視訊編碼裝置10與視訊解碼裝置20可針對每一圖像或每一片段來判定並傳輸並接收偏移參數。或者,視訊編碼裝置10與視訊解碼裝置20可針對樹狀結構之每一編碼單位或最大編碼單位來判定並傳輸並接收偏移參數。稍後將參照圖8至圖20更詳細描述根據一實施例基於包含樹狀結構之最大編碼單位以及編碼單位的樹狀結構之編碼單位的視訊編碼/解碼操作。
每一區塊之偏移類型及/或偏移值在鄰近區塊之間極有可能相同。在當前區塊之偏移參數與相鄰區塊之偏移參數進行比較並與之相同的狀況下,根據一實施例的視訊編碼裝置10可將當前區塊與相鄰區塊之偏移參數合並且編碼為一個偏移參數。若先對相鄰區塊之偏移參數進行編碼,則可不對當前區塊之偏移參數進行編碼,但可對當前區塊之偏移合併資訊進行編碼。
根據一實施例的視訊解碼裝置20可首先解析偏移合併資訊,並在自所接收之位元串流解析偏移參數之前判定是否解析了偏移參數。視訊解碼裝置20可基於當前區塊之偏移合併資訊來判定在相鄰區塊之偏移參數中是否存在與當前區塊具有相同偏移參數之區塊。
舉例而言,若基於當前區塊之偏移合併資訊,判定在相鄰區塊之偏移參數中存在與當前區塊具有相同偏移參數之區塊,則視訊解碼裝置20可不解析當前區塊之偏移參數,而是可將當前區塊之偏移參數復原為與相鄰區塊之所復原之偏移參數相同。且,可基於偏移合併資訊而自相鄰區塊判定具有待參考之偏移參數之相鄰區塊。
舉例而言,在基於偏移合併資訊,相鄰區塊之偏移參數與當前區塊之偏移參數不同的狀況下,視訊解碼裝置20可自位元串流解析並復原當前區塊之偏移參數。
圖5為根據本發明之一實施例的用於合併偏移參數之候選參考區塊的圖式。
根據一實施例的視訊編碼裝置10可自於當前區塊之前復原之相鄰區塊判定作為當前區塊50之偏移參數之參考目標的相鄰區塊之候選清單。視訊編碼裝置10可將候選清單之相鄰區塊與當前區塊50之偏移參數進行比較。
根據一實施例的候選清單可包含安置於與當前區塊50相同之當前畫面57中之相鄰區塊。具體而言,左側區塊51、上方區塊52、左上方區塊53以及右上方區塊54可包含於所述候選清單中。
根據另一實施例的視訊編碼裝置10可參考在當前畫面57之前復原之相鄰畫面58與59中的區塊55與56之偏移參數。包含於相鄰畫面58與59中之區塊55與56可為時間上安置在當前畫面57的先前畫面58與後續畫面59中且在空間上安置在與當前區塊50相同之區域中之區塊。在此狀況下,候選清單可包含當前畫面57中所包含之相鄰區塊51、52、53、54以及相鄰畫面58與59中所包含之區塊55與56。
因此,根據一實施例的視訊編碼裝置10可根據預定參考序列而將包含於候選清單中之相鄰區塊之偏移參數與當前區塊50之偏移參數進行比較。舉例而言,根據左側區塊51、上方區塊52、左上方區塊53、右上方區塊54、先前區塊55以及後續區塊56之參考序列,相鄰區塊之偏移參數可與當前區塊50之偏移參數進行比較。所比較之相鄰區塊中與當前區塊50具有相同偏移參數之相鄰區塊可判定為參考區塊。
視訊編碼裝置10與視訊解碼裝置20可基於相同候選清單預測並參考、且編碼並傳輸、或接收並解碼鄰近區塊之間的偏移參數。根據一實施例的視訊解碼裝置20可基於偏移合併資訊自候選清單判定與當前區塊50具有相同偏移參數之相鄰區塊,並參考對應相鄰區塊之偏移參數,以復原與對應相鄰區塊之偏移參數具有相同值之當前區塊50之偏移參數。
舉例而言,假定使用包含左側區塊51與上方區塊52之候選清單。根據一實施例的偏移參數編碼單元14可將指示左側區塊51之偏移參數是否與當前區塊50之偏移參數相同之左側偏移合併資訊以及指示上方區塊52之偏移參數是否與當前區塊50之偏移參數相同之上方偏移合併資訊編碼為偏移合併資訊。在此狀況下,當前區塊50可與左側區塊51進行比較,以判定其偏移參數是否彼此相同,且接著當前區塊50可與上方區塊52進行比較,以判定其偏移參數是否彼此相同。可根據比較結果來判定偏移合併資訊。
若左側區塊51與上方區塊52之至少一個偏移參數與當前區塊50之偏移參數相同,則偏移參數編碼單元14可對對應左側偏移合併資訊與上方偏移合併資訊進行編碼,但可不對當前區塊50之偏移參數進行編碼。
若左側區塊51與上方區塊52之偏移參數與當前區塊50之偏移參數不同,則偏移參數編碼單元14可對對應左側偏移合併資訊與上方偏移合併資訊以及當前區塊50之偏移參數進行編碼。
若左側區塊51與上方區塊52之偏移參數與當前區塊50之偏移參數不同,則根據一實施例的偏移參數編碼單元14可對偏移合併資訊與當前區塊50之偏移參數進行編碼。
作為另一實例,若相鄰區塊之偏移參數之部分資訊與當前區塊50之偏移參數相同,則根據一實施例的偏移參數編碼單元14可對一個位元之偏移合併資訊以及當前偏移參數中除相鄰區塊之偏移參數之相同部分資訊之外的剩餘資訊進行編碼。舉例而言,若當前區塊50與相鄰區塊的偏移值彼此相同,則可針對當前區塊50來對一個位元之偏移合併資訊以及偏移類型值進行編碼。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可對當前區塊50與相鄰區塊之間的偏移類型與偏移值進行比較,且,若存在與當前區塊50具有相同偏移類型與偏移值之相鄰區塊,則可傳輸並接收偏移合併資訊。
作為另一實例,比較當前區塊50與相鄰區塊之偏移參數中的偏移類型,且,若存在與當前區塊50具有相同偏移類型之相鄰區塊,則可傳輸並接收對應相鄰區塊之偏移類型之合併資訊。
作為另一實例,比較當前區塊50與相鄰區塊之偏移參數中的偏移值,且,若存在與當前區塊50具有相同偏移值之相鄰區塊,則可傳輸並接收對應相鄰區塊之偏移值之合併資訊。
若儘管鄰近區塊之間的偏移類型不同,但鄰近區塊之長度相同,則鄰近區塊之偏移值可相似。舉例而言,鄰近區塊極有可能在影像所指示之物件中構成相同物件區域。因此,儘管當前區塊50之邊緣類型(垂直邊緣)與相鄰區塊之邊緣類型(對角邊緣)不同,但是當前區塊50與相鄰區塊之畫素可構成相同物件區域。因此,當前區塊50之偏移值與相鄰區塊之偏移值可傾向於相似。因此,用於當前區塊50之相鄰區塊之候選清單可包含僅具有邊緣類型之相同長度的相鄰區塊。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可藉由參考具有相同長度之區塊之間的相鄰區塊之偏移參數來預測當前區塊50之偏移參數。
在對偏移參數執行預測編碼的狀況下,視訊編碼裝置10與視訊解碼裝置20可用信號發送包含可參考以便對偏移參數執行預測編碼之相鄰區塊的預測候選清單。或者,始終參考最鄰近於當前區塊50之區塊之偏移參數,且因此可不傳輸或接收包含於預測候選清單中之最鄰近的區塊。
根據一實施例,包含當前區塊50之最鄰近區塊之預測候選清單可(i)包含配置在參考序列中之候選區塊(ii)處於在當前區塊50之前復原且具有相同長度之候選區塊中,(iii)除具有相同偏移參數之候選區塊之外。預測候選清單之第一等級候選區塊可為最鄰近區塊。舉例而言,若預測候選清單包含安置於距當前區塊50相同距離處之左側區塊51與上方區塊52,則相比上方區塊52具有較小操作量之左側區塊51可為最鄰近區塊,所述操作量為自當前區塊50存取所需。
判定預測候選清單後,可藉由參考最鄰近區塊之偏移值來對當前區塊50之偏移值執行預測編碼。可編碼並傳輸或接收當前區塊50之偏移值與最鄰近區塊之偏移值之間的差值。
<偏移預測值> Offset[i] - Offset_prediction[i], O ≤i≤ Length-1
亦即,根據<偏移預測值>,可針對當前區塊50與具有相同長度Length之最鄰近區塊之間的每一邊緣類別i(或每一畫素值帶)編碼並傳輸或接收當前區塊50之偏移值Offset[i]與最鄰近區塊之偏移值Offset_prediction[i]之間的差值Offset[i]-Offset_prediction[i]。只要邊緣類別i(或畫素值帶)改變,便可傳輸或接收關於對應邊緣類別(或對應畫素值帶)之預測差分值。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可有限地對偏移參數執行合併編碼或預測編碼。舉例而言,為根據畫素值帶類型來對當前區塊50之偏移參數進行編碼,儘管兩個相鄰區塊具有相同長度,即相同數目之畫素值帶,但是相鄰區塊之最大值與最小值以及當前區塊50之最大值與最小值不同,且因此若畫素值之整個範圍在相鄰畫素與當前區塊50之間不同,則根據畫素值帶類型,相鄰區塊之偏移參數與當前區塊50之偏移參數無關。因此,若相鄰區塊與當前區塊50的偏移類型之特性不同,則視訊編碼裝置10與視訊解碼裝置20較不適於合併鄰近區塊之間的偏移參數並對其執行預測編碼。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可針對每一色彩分量對偏移參數執行預測編碼。
舉例而言,SAO可應用於YUV色彩格式之明度區塊與色度區塊兩者。Y分量之明度區塊之偏移類型及/或偏移值可與U與V分量之色度區塊之偏移類型及/或偏移值極其相似。
舉例而言,視訊編碼裝置10與視訊解碼裝置20在與當前色度區塊相同的位置處將明度區塊添加至當前色度區塊之候選清單,且因此可藉由參考明度區塊之偏移參數而預測當前色度區塊之偏移參數。最高優先級可分配至候選清單中所包含之區塊之參考清單中的明度區塊。
作為另一實例,視訊編碼裝置10與視訊解碼裝置20可基於明度分量與色度分量之偏移參數之間的預定關係來對偏移參數進行編碼。一般而言,色度區塊比明度區塊平坦,且根據色度區塊之最大值與最小值、邊緣類別以及畫素值帶的偏移值之絕對值小於明度區塊之絕對值。
下文<色度偏移預測方程式>解釋在基於明度區塊之偏移值判定色度區塊之偏移值的狀況下執行色度區塊之偏移值之預測編碼的實施例。
<色度偏移預測方程式> Value_to_be_encoded[i]=Offset[i]-F(Offset_prediction[i]); 其中F(x)=A*x+B; 就此而言,i表示長度範圍內之當前邊緣類別(畫素值帶),且可在視訊編碼裝置10與視訊解碼裝置20之間傳輸或接收基於色度區塊參考之明度區塊之偏移值Offset_prediction[i]而判定的色度區塊之預測值F(Offset_prediction[i])與偏移值Offset[i]之間的誤差值Value_to_be_encoded[i]。
在F(x)中,A與B表示明度區塊與色度區塊之間的相關參數。可針對U分量與Y分量來單獨設定相關參數A與B。或者,U分量與Y分量可共用相關參數A與B。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可編碼並傳輸或接收並解碼相關參數A與B,以便基於色彩分量之間的相關性來對明度區塊與色度區塊之間的偏移值執行預測編碼。根據一實施例,相關參數A與B可先前固定為預定值。可針對諸如區塊、圖像、片段、視訊序列等每一預定資料單位而判定根據一實施例的相關參數A與B,且可在針對每一區塊、圖像參數集合(picture parameter set;PPS)、片段標頭以及序列參數集合(sequence parameter set;SPS)包含於參數中後進行傳輸或接收。
圖6為說明根據本發明之一實施例的視訊編碼方法的流程圖。
在操作步驟61中,可根據視訊區塊中之當前區塊之邊緣類型判定邊緣類別,或可根據畫素值帶類型判定畫素值帶。
在根據邊緣類型判定當前區塊之偏移的狀況下,可藉由比較當前復原之畫素與相鄰畫素之畫素值來判定指示當前復原之畫素是否為根據邊緣方向與邊緣大小而安置的當前復原之畫素之相鄰畫素中的端點之邊緣類別。
且,在根據所復原之畫素的畫素值帶類型來判定當前區塊之偏移的狀況下,可自多個帶判定指示當前復原之畫素之畫素值所屬之畫素值範圍的畫素值帶。
在操作步驟63中,藉由使用包含於邊緣類別或畫素值帶中之所復原之畫素與原始畫素之間的差值來判定對應於當前邊緣類別或畫素值帶之偏移,可將包含於相同邊緣類別或相同畫素值帶中的所復原之畫素與原始畫素之間的差值之平均值判定為偏移值。
在操作步驟65中,對每一區塊之偏移參數進行編碼。偏移參數可包含對應區塊之偏移類型、其偏移值、其長度以及其邊緣類別與其畫素值帶。
每一區塊之偏移類型指示對應區塊之邊緣類型或畫素值帶類型。根據每一區塊之邊緣類型將每一區塊之所復原之畫素分類為多個邊緣類別,且針對每一邊緣類別判定每一偏移值,且因此判定了對應於多個邊緣類別之多個偏移值。或者,根據每一區塊之邊緣類型將每一區塊之所復原之畫素分類為多個畫素值帶,且針對每一畫素值帶判定每一偏移值,且因此判定了對應於多個畫素值帶之多個偏移值。根據每一區塊之邊緣類型或其畫素值帶來判定長度。因此,僅對每一區塊之偏移參數中的偏移類型與偏移值進行編碼。
基於當前區塊與至少一個相鄰區塊之偏移參數之間的同一性,可對當前區塊之偏移合併資訊進行編碼。偏移合併資訊可指示是否對當前區塊之偏移參數進行編碼。亦即,若相鄰區塊包含與當前區塊具有相同偏移參數之區塊,則可僅對當前區塊之偏移合併資訊進行編碼,且不對其偏移參數進行編碼。
藉由對相鄰區塊之偏移參數與當前區塊之偏移參數執行預測,可對相鄰區塊之偏移參數與當前區塊之偏移參數之間的差分資訊進行編碼。藉由參考彼此之偏移參數,可對當前區塊之明度區塊與色度區塊中的至少一個色彩分量執行預測編碼。
圖7為說明根據本發明之一實施例的視訊解碼方法的流程圖。
在操作步驟71中,解析自所接收之位元串流的偏移合併資訊,其中偏移合併資訊指示視訊區塊中之當前區塊與至少一個相鄰區塊之偏移參數是否彼此相同之。
在操作步驟73中,基於偏移合併資訊而自當前區塊之偏移參數復原偏移類型與偏移值。
在操作步驟75中,基於指示偏移類型之當前區塊之邊緣類型或其畫素值帶類型來判定所復原之畫素之邊緣類別或其畫素值帶。在操作步驟77中,自偏移值判定對應於所復原之畫素的邊緣類別或其畫素值帶的偏移值,且根據偏移值來調整所復原之畫素的畫素值。
在操作步驟75中當前區塊之偏移類型為邊緣類型的狀況下,可藉由比較當前復原之畫素與根據邊緣方向與邊緣大小而安置的當前復原之畫素之相鄰畫素的畫素值來判定當前復原之畫素的邊緣類別。在此狀況下,在操作步驟77中,可自所接收之偏移值選擇對應於當前復原之畫素之邊緣類別的偏移。
且,在操作步驟75中當前區塊之偏移類型為畫素值帶類型的狀況下,可判定當前復原之畫素之畫素值帶,且在操作步驟77中,可自偏移值選擇對應於當前復原之畫素之畫素值帶的偏移。
若操作步驟71中基於所述偏移合併資訊,當前區塊之左側區塊及上方區塊之至少一個偏移參數與當前區塊之偏移參數相同,則將當前區塊之偏移參數復原為與當前區塊之左側區塊與上方區塊之至少一個偏移參數相同。且,若基於偏移合併資訊,當前區塊之左側區塊及上方區塊之至少一個偏移參數與當前區塊之偏移參數不同,則可自所接收之位元串流解析並復原當前區塊之偏移參數。
若在操作步驟71中自位元串流解析偏移值之差分值,則藉由組合相鄰區塊之偏移值與偏移資訊之間的差分資訊,可對當前區塊之偏移值執行預測復原。
藉由操作步驟71中參考彼此之偏移參數,可對當前區塊之明度分量與色度分量中的至少一個色彩分量執行預測復原。
因此,使用根據一實施例的SAO的視訊編碼裝置10與視訊解碼裝置20根據影像特性(諸如,影像區塊之邊緣類型或其畫素值帶類型)而對畫素值進行分類,編碼並傳輸或接收並解碼作為具有相同特性的所分類之畫素值之間的平均誤差值的偏移值,並根據偏移值來調整所復原之畫素中未預期之畫素值,藉此將原始影像與所復原之影像之間的誤差減至最小。
根據一實施例的視訊編碼裝置10與視訊解碼裝置20可將自視訊資料分割之區塊分割為樹狀結構之編碼單位,且針對上述每一最大編碼單位或每一編碼單位根據畫素分類來判定偏移集合。下文將參照圖7至圖20描述根據一實施例的基於具有樹狀結構之編碼單位與轉換單位之視訊編碼方法及裝置與視訊解碼方法及裝置。
圖8為根據本發明之一實施例的基於具有樹狀結構之編碼單位的視訊編碼裝置100的方塊圖。
根據一實施例的涉及基於具有樹狀結構之編碼單位之視訊預測的視訊編碼裝置100包含最大編碼單位分割器110、編碼單位判定器120以及輸出單元130。為便於描述,根據一實施例的涉及基於具有樹狀結構之編碼單位之視訊預測的視訊編碼裝置100在下文中將稱為「視訊編碼裝置100」。
最大編碼單位分割器110可基於影像之當前圖像之最大編碼單位來分割當前圖像。若當前圖像大於最大編碼單位,則當前圖像之影像資料可分割為至少一個最大編碼單位。根據本發明之一實施例的最大編碼單位可為大小為32×32、64×64、128×128、256×256等之資料單位,其中資料單位之形狀是寬度以及長度為2的平方之正方形。影像資料可根據至少一個最大編碼單位而輸出至編碼單位判定器120。
根據本發明之一實施例的編碼單位可藉由最大大小以及深度來表徵。深度表示編碼單位自最大編碼單位在空間上分割之次數,且隨著深度加深,根據深度之較深編碼單位可自最大編碼單位分割為最小編碼單位。最大編碼單位之深度為最上層深度,且最小編碼單位之深度為最下層深度。由於對應於每一深度之編碼單位的大小隨著最大編碼單位之深度加深而減小,因此對應於較上層深度之編碼單位可包含對應於較下層深度的多個編碼單位。
如上文所述,當前圖像之影像資料根據編碼單位之最大大小分割為最大編碼單位,且最大編碼單位中的每一者可包含根據深度而分割的較深編碼單位。由於根據本發明之一實施例的最大編碼單位是根據深度來分割,因此包含於最大編碼單位中之空間域的影像資料可根據深度而階層式分類。
限制最大編碼單位之高度以及寬度階層式分割之總次數的編碼單位之最大深度以及最大大小可為預定的。
編碼單位判定器120對藉由根據深度來分割最大編碼單位之區域而獲得的至少一個分割區域進行編碼,並判定深度以根據所述至少一個分割區域輸出最終編碼之影像資料。換言之,編碼單位判定器120藉由根據當前圖像之最大編碼單位來對根據深度之較深編碼單位中之影像資料進行編碼以及選擇具有最小編碼誤差的深度來判定經編碼之深度。因此,最終輸出對應於所判定的經編碼的深度之編碼單位的經編碼之影像資料。且,對應於所述經編碼的深度之編碼單位可視為經編碼之編碼單位。
所判定之經編碼的深度以及根據所判定之經編碼的深度的經編碼之影像資料輸出至輸出單元130。
基於對應於等於或低於最大深度之至少一個深度的較深編碼單位,對最大編碼單位中之影像資料進行編碼,且基於較深編碼單位中的每一者比較對影像資料進行編碼之結果。可在比較較深編碼單位之編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大編碼單位選擇至少一個經編碼之深度。
隨著編碼單位根據深度而階層式分割,且隨著編碼單位之數目增大,最大編碼單位的大小被分割。且,即使編碼單位對應於一個最大編碼單位中之同一深度,仍藉由單獨量測每一編碼單位之影像資料的編碼誤差而判定是否將對應於同一深度之編碼單位中的每一者分割為較下層深度。因此,即使當影像資料包含於一個最大編碼單位中時,影像資料仍根據深度分割為區域,且編碼誤差可根據此一個最大編碼單位中之區域而不同,且因此經編碼之深度可根據影像資料中之區域而不同。因此,可在一個最大編碼單位中判定一或多個經編碼之深度,且可根據至少一個經編碼之深度的編碼單位而劃分最大編碼單位之影像資料。
因此,編碼單位判定器120可判定包含於最大編碼單位中之具有樹狀結構的編碼單位。根據本發明之一實施例的「具有樹狀結構的編碼單位」包含最大編碼單位中所包含之所有較深編碼單位中的對應於判定為經編碼之深度的深度的編碼單位。可根據最大編碼單位之同一區域中的深度而階層式判定經編碼之深度的編碼單位,且可在不同區域中獨立地進行判定。類似地,可獨立於另一區域中之經編碼之深度而判定當前區域中之經編碼的深度。
根據本發明之一實施例的最大深度為與自最大編碼單位至最小編碼單位之分割次數相關的索引。根據本發明之一實施例的第一最大深度可表示自最大編碼單位至最小編碼單位之總分割次數。根據本發明之一實施例的第二最大深度可表示自最大編碼單位至最小編碼單位之總深度層級數。舉例而言,當最大編碼單位之深度為0時,最大編碼單位被分割一次之編碼單位的深度可設定為1,且最大編碼單位被分割兩次之編碼單位的深度可設定為2。此處,若最小編碼單位為最大編碼單位被分割四次之編碼單位,則存在深度0、1、2、3以及4的5個深度層級,且因此第一最大深度可設定為4,且第二最大深度可設定為5。
可根據最大編碼單位執行預測編碼以及轉換。根據最大編碼單位,亦基於根據等於最大深度之深度或小於最大深度之深度的較深編碼單位來執行預測編碼以及轉換。可根據正交轉換或整數轉換方法來執行轉換。
由於只要根據深度來分割最大編碼單位,較深編碼單位之數目便增大,因此對隨著深度加深而產生的所有較深編碼單位執行包含預測編碼以及轉換的編碼。為便於描述,在最大編碼單位中,現將基於當前深度之編碼單位來描述預測編碼以及轉換。
視訊編碼裝置100可按各種方式選擇用於對影像資料進行編碼之資料單位的大小或形狀。為了對影像資料進行編碼,執行諸如預測編碼、轉換以及熵編碼之操作,且此時,同一資料單位可用於所有操作或不同資料單位可用於每一操作。
舉例而言,視訊編碼裝置100可不僅選擇用於對影像資料進行編碼之編碼單位,而且選擇不同於編碼單位之資料單位,以便對編碼單位中之影像資料執行預測編碼。
為了在最大編碼單位中執行預測編碼,可基於對應於經編碼之深度的編碼單位(亦即,基於不再對應於較下層深度分割編碼單位的編碼單位)來執行預測編碼。下文中,不再分割且變為用於預測編碼的基礎單元之編碼單位現將稱作「預測單位」。藉由分割預測單位而獲得之分區可包含藉由分割預測單位之高度以及寬度中的至少一者而獲得的預測單位或資料單位。分區為自編碼單位之預測單位分割的資料單位,且預測單位可為與編碼單位具有相同大小的分區。
舉例而言,當2N×2N(其中N為正整數)之編碼單位不再分割時,編碼單位變為2N×2N之預測單位,分區之大小可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單位之高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單位之高度或寬度(諸如,1:n或n:1)而獲得的分區、藉由用幾何方式分割預測單位而獲得之分區,以及具有任意形狀的分區。
預測單位之預測模式可為畫面內模式、畫面間模式以及跳過模式(skip mode)中之至少一者。舉例而言,可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。且,可僅對2N×2N之分區執行跳過模式。在編碼單位中對一個預測單位獨立地執行編碼,藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料進行編碼之編碼單位,而且基於不同於編碼單位之資料單位而對編碼單位中的影像資料執行轉換。
為了在編碼單位中執行轉換,可基於具有小於或等於編碼單位之大小的資料單位來執行轉換。舉例而言,資料單位可包含用於畫面內模式之資料單位以及用於畫面間模式之轉換單位。
亦可在轉換單位中設定轉換深度,其中轉換深度指示藉由分割編碼單位之高度以及寬度而達到轉換單位之分割次數。舉例而言,在2N×2N之當前編碼單位中,當轉換單位之大小亦為2N×2N時,轉換深度可為0;在當前編碼單位之高度與寬度中之每一者分割為兩個相等部分、完全分割為4^1個轉換單位且轉換單位之大小因此為N×N時,轉換深度可為1;且在當前編碼單位之高度與寬度中之每一者分割為四個相等部分、完全分割為4^2個轉換單位且轉換單位之大小因此為N/2×N/2時,轉換深度可為2。舉例而言,可根據階層式樹狀結構來設定轉換單位,其中較上層轉換深度之轉換單位根據轉換深度之階層式特性而分割為較下層轉換深度之四個轉換單位。
類似於編碼單位,編碼單位中之轉換單位可按遞迴方式分割為大小較小的區域,使得可按區域為單位來獨立判定轉換單位。因此,可根據具有根據轉換深度之樹狀結構的轉換單位而劃分編碼單位中之殘餘資料。
根據對應於經編碼之深度的編碼單位的編碼資訊不僅需要關於經寫碼之深度的資訊,而且需要關於預測編碼以及轉換之資訊。因此,編碼單位判定器120不僅判定具有最小編碼誤差之經編碼的深度,而且判定預測單位中的分區類型、根據預測單位之預測模式以及用於轉換之轉換單位之大小。
稍後將參照圖7至圖19詳細描述在最大編碼單位、預測單位、分區以及轉換單位中根據樹狀結構判定編碼單位之方法。
編碼單位判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用位元率-失真最佳化(Rate-Distortion Optimization)來量測根據深度之較深編碼單位之編碼誤差。
輸出單元130按照位元串流的形式輸出基於由編碼單位判定器120判定之至少一個經編碼之深度而編碼的最大編碼單位之影像資料,以及根據經編碼之深度關於編碼模式的資訊。
可藉由對影像之殘餘資料進行編碼來獲得經編碼之影像資料。
根據經編碼之深度關於編碼模式的資訊可包含關於經編碼之深度、關於預測單位中之分區類型、預測模式以及轉換單位之大小的資訊。
可藉由使用根據深度之分割資訊來定義關於經編碼之深度的資訊,根據深度之分割資訊指示是否對較下層深度而非當前深度之編碼單位執行編碼。若當前編碼單位之當前深度為經編碼之深度,則當前編碼單位中之影像資料得以編碼且輸出,且因此分割資訊可定義為不將當前編碼單位分割為較下層深度。或者,若當前編碼單位之當前深度並非經編碼之深度,則對較下層深度之編碼單位執行編碼,且因此分割資訊可定義為分割當前編碼單位以獲得較下層深度的編碼單位。
若當前深度並非經編碼之深度,則對分割為較下層深度之編碼單位的編碼單位執行編碼。由於較下層深度之至少一個編碼單位存在於當前深度之一個編碼單位中,因此對較下層深度之每一編碼單位重複地執行編碼,且因此可對具有同一深度之編碼單位按遞迴方式執行編碼。
由於針對一個最大編碼單位而判定具有樹狀結構之編碼單位,且針對經編碼之深度的編碼單位而判定關於至少一個編碼模式的資訊,因此可針對一個最大編碼單位而判定關於至少一個編碼模式的資訊。且,最大編碼單位之影像資料的經編碼之深度可根據位置而不同,此是因為根據深度而階層式分割影像資料,且因此可針對影像資料而設定關於經編碼之深度以及編碼模式的資訊。
因此,輸出單元130可將關於對應經編碼之深度以及編碼模式之編碼資訊指派給包含於最大編碼單位中之編碼單位、預測單位以及最小單元中的至少一者。
根據本發明之一實施例的最小單元為藉由將構成最下層深度的最小編碼單位分割為4份而獲得的矩形資料單位。或者,最小單元可為可包含於最大編碼單位中所包含之所有編碼單位、預測單位、分區單元以及轉換單位中的最大矩形資料單位。
舉例而言,經由輸出單元130而輸出之編碼資訊可分類為根據編碼單位之編碼資訊,以及根據預測單位的編碼資訊。根據編碼單位之編碼資訊可包含關於預測模式以及關於分區之大小的資訊。根據預測單位之編碼資訊可包含關於畫面間模式之估計方向、關於畫面間模式之參考影像索引、關於運動向量、關於畫面內模式之色度分量以及關於畫面內模式之內插方法的資訊。且,關於根據圖像、片段或圖像群組(Group Of Pictures, GOP)所定義之編碼單位之最大大小的資訊以及關於最大深度之資訊可插入至位元串流、序列參數集合(Sequence Parameter Set, SPS)或圖像參數集合(Picture Parameter Set)的標頭中。
且,可經由位元串流、序列參數集合或圖像參數集合之標頭輸出關於可供當前視訊使用的轉換單位之最大大小之資訊以及關於轉換單位之最小大小之資訊。輸出單元130可對參照圖1至圖6所描述的與預測有關的參考資訊、雙向預測資訊、包含第四片段類型的片段類型資訊等進行編碼及輸出。
在視訊編碼裝置100中,較深編碼單位可為藉由將較上層深度之編碼單位(其為上一層)的高度或寬度劃分為2份而獲得的編碼單位。換言之,在當前深度之編碼單位的大小為2N×2N時,較下層深度之編碼單位的大小為N×N。且,大小為2N×2N之當前深度的編碼單位可包含較下層深度的最大4個編碼單位。
因此,視訊編碼裝置100可基於考慮當前圖像之特性而判定的最大編碼單位之大小以及最大深度,藉由針對每一最大編碼單位判定具有最佳形狀以及最佳大小的編碼單位而形成具有樹狀結構之編碼單位。且,由於藉由使用各種預測模式以及轉換中之任一者對每一最大編碼單位執行編碼,因此可考慮各種影像大小之編碼單位的特性來判定最佳編碼模式。
因此,若在習知巨集區塊中對具有高解析度或大資料量之影像進行編碼,則每圖像之巨集區塊的數目過度地增大。因此,針對每一巨集區塊產生之壓縮資訊之片段的數目增大,且因此難以傳輸壓縮資訊,且資料壓縮效率降低。然而,藉由使用視訊編碼裝置100,因為在考慮影像之大小而增大編碼單位的最大大小的同時考慮影像之特性而調整編碼單位,所以影像壓縮效率可提高。
圖8之視訊編碼裝置100可執行上文參照圖1所描述之視訊編碼裝置10之操作。
編碼單位判定器120可執行視訊編碼裝置10之偏移判定單元12之操作。編碼單位判定器120可藉由根據每一最大編碼單位之邊緣類型來對畫素值進行分類而判定每一邊緣類別之偏移值,或藉由根據畫素值帶類型對畫素值進行分類而判定每一畫素值帶之偏移值。諸如邊緣類別或畫素值帶之每一畫素群組之偏移值可為包含於對應畫素群組中之所復原之畫素與原始畫素之間的平均誤差值。作為另一實例,可針對諸如編碼單位、預測單位以及轉換單位之每一預定資料單位來判定邊緣類別與偏移值或畫素值帶與偏移值。
輸出單元130可對針對每一最大編碼單位判定之偏移參數中的偏移類型與偏移值進行編碼。在針對諸如編碼單位、預測單位以及轉換單位之每一預定資料單位來判定偏移參數的狀況下,偏移類型與偏移值可編碼為對應資料單位之參數。
輸出單元130可藉由參考相鄰最大編碼單位之相鄰偏移參數來對當前最大編碼單位之當前偏移參數執行預測編碼。若相鄰偏移參數中之至少一個與當前偏移參數相同,則輸出單元130可對當前最大編碼單位之偏移合併資訊進行編碼,而不對當前偏移參數進行編碼。若相鄰偏移參數與當前偏移參數彼此不同,則輸出單元130可對當前最大編碼單位之偏移合併資訊與當前偏移參數進行編碼。
圖9為根據本發明之一實施例的基於具有樹狀結構之編碼單位的視訊解碼裝置200的方塊圖。
根據一實施例的涉及基於具有樹狀結構之編碼單位之視訊預測的視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220、影像資料解碼器230。為便於描述,根據一實施例的涉及基於具有樹狀結構之編碼單位之視訊預測的視訊解碼裝置200在下文中將稱為「視訊解碼裝置200」。
用於視訊解碼裝置200之各種操作的各種術語(諸如,編碼單位、深度、預測單位、轉換單位以及關於各種編碼模式之資訊)的定義與圖7以及視訊編碼裝置100所述的術語相同。
接收器210接收且解析經編碼之視訊之位元串流。影像資料以及編碼資訊提取器220自所解析之位元串流提取每一編碼單位之經編碼之影像資料,其中編碼單位具有根據每一最大編碼單位之樹狀結構,且將所提取之影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像或SPS之標頭提取關於當前圖像之編碼單位之最大大小的資訊。
且,影像資料以及編碼資訊提取器220自所解析之位元串流針對具有根據每一最大編碼單位之樹狀結構之編碼單位提取關於經編碼之深度以及編碼模式的資訊。關於經編碼之深度以及編碼模式之所提取之資訊輸出至影像資料解碼器230。換言之,位元串流中之影像資料分割為最大編碼單位,使得影像資料解碼器230對每一最大編碼單位之影像資料進行解碼。
可針對關於對應於經編碼之深度之至少一個編碼單位的資訊而設定根據最大編碼單位關於經編碼之深度以及編碼模式之資訊,且關於編碼模式的資訊可包含關於對應於經編碼之深度之對應編碼單位的分區類型、關於預測模式以及轉換單位之大小的資訊。且,可將根據深度之分割資訊作為關於經編碼之深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一最大編碼單位關於經編碼之深度以及編碼模式的資訊,為關於經判定以在諸如視訊編碼裝置100之編碼器根據每一最大編碼單位對根據深度之每一較深編碼單位重複地執行編碼時,產生最小編碼誤差的經編碼之深度以及編碼模式的資訊。因此,視訊解碼裝置200可藉由根據產生最小編碼誤差的經編碼之深度以及編碼模式來對影像資料進行解碼而復原影像。
由於關於經編碼之深度以及編碼模式之編碼資訊可指派給對應編碼單位、預測單位以及最小單元中一預定資料單位,因此影像資料以及編碼資訊提取器220可根據預定資料單位提取資料單位關於經編碼之深度以及編碼模式的資訊。被指派關於經編碼之深度以及編碼模式之相同資訊的預定資料單位可推斷為包含於同一最大編碼單位中的資料單位。
影像資料解碼器230藉由基於根據最大編碼單位關於經編碼之深度以及編碼模式之資訊而對每一最大編碼單位中的影像資料進行解碼來復原當前圖像。換言之,影像資料解碼器230可基於關於每一最大編碼單位中所包含之具有樹狀結構的編碼單位中的每一編碼單位之分區類型、預測模式以及轉換單位的所提取之資訊而對經編碼之影像資料進行解碼。解碼程序可包含:包含畫面內預測以及運動補償之預測;以及逆轉換。可根據逆正交轉換或逆整數轉換之方法執行逆轉換。
影像資料解碼器230可基於根據經編碼之深度關於每一編碼單位之預測單位之分區類型以及預測模式的資訊,根據所述編碼單位之分區以及預測模式來執行畫面內預測或運動補償。
且,影像資料解碼器230可根據編碼單位中的每一轉換單位基於關於根據經編碼之深度的編碼單位的轉換單位之大小的資訊來執行逆轉換,以便根據最大編碼單位來執行逆轉換。
影像資料解碼器230可藉由使用根據深度之分割資訊而判定當前最大編碼單位之至少一個經編碼之深度。若分割資訊指示影像資料在當前深度中不再分割,則當前深度為經編碼之深度。因此,影像資料解碼器230可藉由使用關於對應於經編碼之深度之每一編碼單位的預測單位之分區類型、預測模式以及轉換單位之大小的資訊來對對應於當前最大編碼單位中之每一經編碼之深度的至少一個編碼單位之經編碼之資料進行解碼,且輸出當前最大編碼單位之影像資料。
換言之,可藉由觀測針對編碼單位、預測單位以及最小單元中的預定資料單位指派的編碼資訊集合,而收集含有包含相同分割資訊之編碼資訊的資料單位,且可將所收集之資料單位視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單位。可藉由針對如上所述判定之編碼單位獲得關於編碼模式之資訊來執行當前編碼單位之解碼。
且,圖9之視訊解碼裝置200可執行上文參照圖2所描述之視訊解碼裝置20之操作。
接收器210以及影像資料以及編碼資訊提取器220可執行視訊解碼裝置20之偏移參數解析單元22之操作。影像資料解碼器230可執行視訊解碼裝置20之偏移調整單元24之操作。
在僅自位元串流解析偏移合併資訊而無當前最大編碼單位之偏移參數的狀況下,影像資料以及編碼資訊提取器220可將當前偏移參數復原為與相鄰偏移參數中的至少一個相同。可基於偏移合併資訊來判定相鄰偏移參數中待參考之參數。若基於自位元串流解析之當前最大編碼單位之偏移合併資訊而判定相鄰偏移參數與當前偏移參數彼此不同,則影像資料以及編碼資訊提取器220可自位元串流解析並復原當前最大編碼單位之當前偏移參數。
影像資料以及編碼資訊提取器220可藉由參考相鄰最大編碼單位之相鄰偏移參數來對當前最大編碼單位中的當前偏移參數執行預測復原。
影像資料解碼器230可自位元串流解析每一最大編碼單位之偏移參數。可自所復原的偏移參數判定當前最大編碼單位之偏移類型為邊緣類型或畫素值帶類型。若當前最大編碼單位之偏移類型為邊緣類型,則可判定每一所復原之畫素之邊緣類別,且可自偏移參數之偏移值選擇對應於每一所復原之畫素之邊緣類別的偏移值。若當前最大編碼單位之偏移類型為畫素值帶類型,則可判定每一所復原之畫素之每一畫素值帶,且自所解析且包含於偏移參數內之偏移值選擇對應於每一所復原之畫素之畫素值帶的偏移值。
影像資料解碼器230可藉由按對應於每一所復原之畫素之偏移值調整對應的所復原之畫素值而產生相對於原始畫素具有最小誤差的所復原之畫素。作為另一實例,在針對諸如編碼單位、預測單位以及轉換單位之每一預定資料單位解析偏移參數的狀況下,可針對每一對應資料單位復原對應於每一邊緣類別之偏移值,或可復原對應於每一畫素值帶之偏移值。
總而言之,視訊解碼裝置200可獲得關於當對每一最大編碼單位按遞迴方式執行編碼時產生最小編碼誤差之至少一個編碼單位之資訊,且可使用所述資訊來對當前圖像進行解碼。換言之,可對判定為每一最大編碼單位中的最佳編碼單位的具有樹狀結構之編碼單位進行解碼。且,考慮到解析度與影像資料量而判定編碼單位之最大大小。
因此,即使影像資料具有高解析度及大量資料,仍可藉由使用自編碼器接收之關於最佳編碼模式之資訊,藉由使用根據影像資料之特性適應性地判定之編碼單位之大小及編碼模式而有效地對影像資料進行解碼及復原
圖10為用於描述根據本發明之一實施例的編碼單位之概念的圖式。
編碼單位之大小可用寬度×高度來表達,且可為64×64、32×32、16×16以及8×8。64×64之編碼單位可分割為64×64、64×32、32×64或32×32之分區,且32×32之編碼單位可分割為32×32、32×16、16×32或16×16的分區,16×16之編碼單位可分割為16×16、16×8、8×16或8×8之分區,且8×8之編碼單位可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中,解析度為1920×1080,編碼單位之最大大小為64,且最大深度為2。在視訊資料320中,解析度為1920×1080,編碼單位之最大大小為64,且最大深度為3。在視訊資料330中,解析度為352×288,編碼單位之最大大小為16,且最大深度為1。圖10所示之最大深度表示自最大編碼單位至最小編碼單位之總分割次數。
若解析度高或資料量大,則編碼單位之最大大小可為大的,以便提高編碼效率外而且更準確地反映影像之特性。因此,具有高於視訊資料330之解析度的視訊資料310以及320之編碼單位的最大大小可為64。
由於視訊資料310之最大深度為2,因此視訊資料310之編碼單位315可包含長軸大小為64的最大編碼單位,以及長軸大小為32以及16的編碼單位,此是因為深度藉由分割最大編碼單位兩次而加深為兩層。同時,由於視訊資料330之最大深度為1,因此視訊資料330之編碼單位335可包含長軸大小為16的最大編碼單位,以及長軸大小為8之編碼單位,此是因為深度藉由分割最大編碼單位一次而加深為一層。
由於視訊資料320之最大深度為3,因此視訊資料320之編碼單位325可包含長軸大小為64的最大編碼單位,以及長軸大小為32、16以及8的編碼單位,此是因為深度藉由分割最大編碼單位三次而加深為三層。隨著深度加深,可精確地表達詳細資訊。
圖11為根據本發明之一實施例的基於編碼單位之影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之編碼單位判定器120的操作以對影像資料進行編碼。換言之,畫面內預測器410對當前畫面405中的處於畫面內模式中之編碼單位執行畫面內預測,且運動估計器420以及運動補償器425藉由使用當前畫面405以及參考畫面495而對當前畫面405中處於畫面間模式中的編碼單位執行畫面間估計以及運動補償。
自畫面內預測器410、運動估計器420以及運動補償器425輸出之資料經由轉換器430以及量化器440作為經量化之轉換係數而輸出。經量化之轉換係數經由逆量化器460以及逆轉換器470復原為空間域中之資料,且空間域中之所復原之資料在經由解區塊單元480以及迴路濾波單元490後處理之後作為參考畫面495輸出。經量化之轉換係數可經由熵編碼器450作為位元串流455輸出。
為了使影像編碼器400應用於視訊編碼裝置100中,影像編碼器400之所有元件(亦即,畫面內預測器410、運動估計器420、運動補償器425、轉換器430、量化器440、熵編碼器450、逆量化器460、逆轉換器470、解區塊單元480以及迴路濾波單元490)在考慮每一最大編碼單位之最大深度的同時基於具有樹狀結構之編碼單位中的每一編碼單位來執行操作。
具體言之,畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大編碼單位之最大大小以及最大深度的同時判定具有樹狀結構之編碼單位中的每一編碼單位之分區以及預測模式,且轉換器430判定具有樹狀結構之編碼單位中的每一編碼單位中之轉換單位的大小。
影像編碼器400可根據參考畫面495之每一最大編碼單位的邊緣類型(或畫素值帶)來對畫素進行分類,針對每一所復原之畫素判定邊緣類別(或畫素值帶),並判定屬於每一邊緣類別(或每一畫素值帶)之所復原之畫素的平均誤差值。可編碼並傳輸或接收並解碼每一最大編碼單位之偏移類型與偏移值。
圖12為根據本發明之一實施例的基於編碼單位之影像解碼器500的方塊圖。
解析器510自位元串流505解析待解碼之經編碼之影像資料以及解碼所需之關於編碼的資訊。經編碼之影像資料經由熵解碼器520以及逆量化器530作為經逆量化之資料而輸出,且經逆量化之資料經由逆轉換器540而復原為空間域中的影像資料。
畫面內預測器550關於空間域中之影像資料對處於畫面內模式中之編碼單位執行畫面內預測,且運動補償器560藉由使用參考畫面585對處於畫面間模式中的編碼單位執行運動補償。
通過畫面內預測器550以及運動補償器560之空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為所復原之畫面595輸出。且,經由解區塊單元570以及迴路濾波單元580後處理之影像資料可作為參考畫面585輸出。
為了在視訊解碼裝置200之影像資料解碼器230中對影像資料進行解碼,影像解碼器500可執行在解析器510之後執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中,影像解碼器500之所有元件(亦即,解析器510、熵解碼器520、逆量化器530、逆轉換器540、畫面內預測器550、運動補償器560、解區塊單元570以及迴路濾波單元580)針對每一最大編碼單位基於具有樹狀結構之編碼單位來執行操作。
具體言之,畫面內預測550與運動補償器560基於具有樹狀結構之編碼單位中之每一者的分區與預測模式來執行操作,且逆轉換器540基於每一編碼單位之轉換單位之大小來執行操作。
影像解碼器500可自位元串流提取最大編碼單位之偏移參數,且藉由使用包含於偏移參數中之偏移類型與偏移值按對應於對應邊緣類別或畫素值帶之偏移值來調整所復原之畫面595之每一最大編碼單位的每一所復原之畫素。
圖13為說明根據本發明之一實施例的根據深度之較深編碼單位以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式編碼單位以便考慮影像之特性。可根據影像之特性來適應性地判定編碼單位之最大高度、最大寬度以及最大深度,或可由使用者不同地進行設定。可根據編碼單位之預定最大大小判定根據深度之較深編碼單位的大小。
在根據本發明之一實施例的編碼單位之階層式結構600中,編碼單位之最大高度以及最大寬度各為64,且最大深度為4。由於深度沿著階層式結構600之垂直軸加深,因此將較深編碼單位之高度以及寬度各自分割。且,沿著階層式結構600之水平軸展示作為用於每一較深編碼單位之預測編碼之基礎的預測單位以及分區。
換言之,編碼單位610為階層式結構600中之最大編碼單位,其中深度為0且大小(亦即,高度乘寬度)為64×64。深度沿著垂直軸而加深,且存在大小為32×32且深度為1之編碼單位620、大小為16×16且深度為2之編碼單位630、大小為8×8且深度為3之編碼單位640,以及大小為4×4且深度為4的編碼單位650。大小為4×4且深度為4之編碼單位650為最小編碼單位。
編碼單位之預測單位以及分區根據每一深度沿著水平軸而配置。換言之,若大小為64×64且深度為0之編碼單位610為預測單位,則預測單位可分割為包含於編碼單位610中的分區,亦即,大小為64×64之分區610、大小為64×32之分區612、大小為32×64之分區614或大小為32×32的分區616。
類似地,大小為32×32且深度為1之編碼單位620的預測單位可分割為包含於編碼單位620中的分區,亦即,大小為32×32之分區620、大小為32×16之分區622、大小為16×32之分區624以及大小為16×16的分區626。
類似地,大小為16×16且深度為2之編碼單位630的預測單位可分割為包含於編碼單位630中的分區,亦即,包含於編碼單位中的大小為16×16之分區630、大小為16×8之分區632、大小為8×16之分區634以及大小為8×8的分區636。
類似地,大小為8×8且深度為3之編碼單位640的預測單位可分割為包含於編碼單位640中的分區,亦即,包含於編碼單位中的大小為8×8之分區640、大小為8×4之分區642、大小為4×8之分區644以及大小為4×4的分區646。
大小為4×4且深度為4之編碼單位650為最小編碼單位以及最下層深度之編碼單位。編碼單位650之預測單位僅指派給大小為4×4之分區。
為了判定構成最大編碼單位610之編碼單位的至少一個經編碼之深度,視訊編碼裝置100之編碼單位判定器120對包含於最大編碼單位610中之對應於每一深度的編碼單位執行編碼。
隨著深度加深,包含相同範圍中之資料以及相同大小的根據深度之較深編碼單位的數目增大。舉例而言,需要對應於深度2之四個編碼單位來涵蓋包含於對應於深度1之一個編碼單位中的資料。因此,為了比較根據深度之相同資料的編碼結果,將對應於深度1之編碼單位以及對應於深度2之四個編碼單位各自編碼。
為了針對深度中之當前深度執行編碼,可藉由沿著階層式結構600之水平軸對對應於當前深度之編碼單位中的每一預測單位執行編碼而針對當前深度選擇最小編碼誤差。或者,可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層式結構600之垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇編碼單位610中具有最小編碼誤差之深度以及分區作為編碼單位610之經編碼之深度以及分區類型。
圖14為用於描述根據本發明之一實施例的編碼單位710與轉換單位720之間的關係的圖式。
視訊編碼裝置100或200針對每一最大編碼單位根據具有小於或等於最大編碼單位之大小的編碼單位來對影像進行編碼或解碼。可基於不大於對應編碼單位之資料單位而選擇在編碼期間用於轉換之轉換單位的大小。
舉例而言,在視訊編碼裝置100或200中,若編碼單位710之大小為64×64,則可藉由使用大小為32×32之轉換單位720來執行轉換。
且,可藉由對大小為小於64×64之32×32、16×16、8×8以及4×4之轉換單位中的每一者執行轉換而對大小為64×64之編碼單位710的資料進行編碼,且接著可選擇具有最小編碼誤差的轉換單位。
圖15為用於描述根據本發明之一實施例的對應於經編碼之深度的編碼單位之編碼資訊的圖式。
視訊編碼裝置100之輸出單元130可對關於分區類型之資訊800、關於預測模式之資訊810,以及關於對應於經編碼之深度的每一編碼單位的轉換單位之大小的資訊820進行編碼且作為關於編碼模式之資訊而傳輸。
資訊800指示關於藉由分割當前編碼單位之預測單位而獲得的分區之形狀的資訊,其中分區為用於當前編碼單位之預測編碼的資料單位。舉例而言,大小為2N×2N之當前編碼單位CU_0可分割為大小為2N×2N之分區802、大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N的分區808中之任一者。此處,關於分區類型的資訊800設定為指示大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N的分區808中之一者。
資訊810指示每一分區之預測模式。舉例而言,資訊810可指示對由資訊800指示之分區執行的預測編碼之模式,亦即,畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前編碼單位執行轉換之轉換單位。舉例而言,轉換單位可為第一畫面內轉換單位822、第二畫面內轉換單位824、第一畫面間轉換單位826或第二畫面間轉換單位828。
根據每一較深編碼單位,視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。
圖16為根據本發明之一實施例的根據深度之較深編碼單位的圖式。
分割資訊可用以指示深度之改變。分割資訊指示當前深度之編碼單位是否分割為較下層深度之編碼單位。
用於深度為0且大小為2N_0×2N_0之編碼單位900之預測編碼的預測單位910可包含大小為2N_0×2N_0之分區類型912、大小為2N_0×N_0之分區類型914、大小為N_0×2N_0之分區類型916以及大小為N_0×N_0的分區類型918之分區。圖16僅說明藉由對稱地分割預測單位910而獲得之分區類型912至918,但分區類型不限於此,且預測單位910之分區可包含非對稱分區、具有預定形狀之分區以及具有幾何形狀的分區。
根據每一分區類型,對大小為2N_0×2N_0之一個分區、大小為2N_0×N_0之兩個分區、大小為N_0×2N_0之兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分區執行在畫面內模式以及畫面間模式中之預測編碼。僅對大小為2N_0×2N_0之分區執行在跳過模式中之預測編碼。
比較包含分區類型912至918中之預測編碼之編碼的誤差,且判定分區類型中的最小編碼誤差。若編碼誤差在分區類型912至916中之一者中最小,則預測單位910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小,則深度自0改變為1以在操作920中分割分區類型918,且對深度為2且大小為N_0×N_0之編碼單位930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1(=N_0×N_0)之編碼單位930之預測編碼的預測單位940可包含大小為2N_1×2N_1之分區類型942、大小為2N_1×N_1之分區類型944、大小為N_1×2N_1之分區類型946以及大小為N_1×N_1的分區類型948之分區。
若編碼誤差在分區類型948中最小,則深度自1改變為2以在操作950中分割分區類型948,且對深度為2且大小為N_2×N_2之編碼單位960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時,可執行根據每一深度之分割操作直至深度變為d-1時,且可對分割資訊進行編碼直至深度變為0至d-2中之一者時。換言之,當執行編碼直至在對應於深度d-2之編碼單位在操作970中分割之後深度為d-1時,用於深度為d-1且大小為2N_(d-1)×2N_(d-1)之編碼單位980之預測編碼的預測單位990可包含大小為2N_(d-1)×2N_(d-1)之分區類型992、大小為2N_(d-1)×N_(d-1)之分區類型994、大小為N_(d-1)×2N_(d-1)之分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998之分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)之一個分區、大小為2N_(d-1)×N_(d-1)之兩個分區、大小為N_(d-1)×2N_(d-1)之兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時,由於最大深度為d,因此深度為d-1之編碼單位CU_(d-1)不再分割為較下層深度,且將構成當前最大編碼單位900之編碼單位的經編碼之深度判定為d-1,且可將當前最大編碼單位900的分區類型判定為N_(d-1)×N_(d-1)。且,由於最大深度為d且具有最下層深度d-1之最小編碼單位980不再分割為較下層深度,因此不設定最小編碼單位980之分割資訊。
資料單位999可為當前最大編碼單位之「最小單元」。根據本發明之一實施例的最小單元可為藉由將最小編碼單位980分割為4份而獲得的矩形資料單位。藉由重複地執行編碼,視訊編碼裝置100可藉由根據編碼單位900之深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定經編碼之深度,且將對應分區類型以及預測模式設定為經編碼之深度的編碼模式。
因而,在所有深度1至d中比較根據深度之最小編碼誤差,且可將具有最小編碼誤差之深度判定為經編碼之深度。可對經編碼之深度、預測單位之分區類型以及預測模式進行編碼且作為關於編碼模式之資訊而傳輸。且,由於編碼單位自深度0分割為經編碼之深度,因此僅經編碼之深度的分割資訊設定為0,且排除經編碼之深度的深度的分割資訊設定為1。
視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用關於編碼單位900之經編碼之深度以及預測單位的資訊以對分區912進行解碼。視訊解碼裝置200可藉由使用根據深度之分割資訊而將分割資訊為0之深度判定為經編碼之深度,且使用關於對應深度之編碼模式的資訊以用於解碼。
圖17至圖19為用於描述根據本發明之一實施例的編碼單位1010、預測單位1060與轉換單位1070之間的關係的圖式。
編碼單位1010為最大編碼單位中的對應於由視訊編碼裝置100判定之經編碼之深度的具有樹狀結構之編碼單位。預測單位1060為編碼單位1010中之每一者之預測單位的分區,且轉換單位1070為編碼單位1010中之每一者的轉換單位。
當最大編碼單位之深度在編碼單位1010中為0時,編碼單位1012以及1054之深度為1,編碼單位1014、1016、1018、1028、1050以及1052之深度為2,編碼單位1020、1022、1024、1026、1030、1032以及1048之深度為3,且編碼單位1040、1042、1044以及1046的深度為4。
在預測單位1060中,藉由分割編碼單位1010中之編碼單位來獲得一些編碼單位1014、1016、1022、1032、1048、1050、1052及1054。換言之,編碼單位1014、1022、1050以及1054中之分區類型的大小為2N×N,編碼單位1016、1048以及1052中之分區類型的大小為N×2N,且編碼單位1032之分區類型的大小為N×N。預測單位以及編碼單位1010之分區小於或等於每一編碼單位。
對小於編碼單位1052之資料單位中之轉換單位1070中的編碼單位1052之影像資料執行轉換或逆轉換。且,轉換單位1070中之編碼單位1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單位1060中的編碼單位。換言之,視訊編碼裝置100以及視訊解碼裝置200可對同一編碼單位中之資料單位個別地執行畫面內預測、運動估計、運動補償、轉換以及逆轉換。
因此,對在最大編碼單位之每一區域中具有階層式結構之編碼單位中的每一者以遞迴方式執行編碼以判定最佳編碼單位,且因此可獲得具有遞迴樹狀結構之編碼單位。編碼資訊可包含關於編碼單位之分割資訊、關於分區類型之資訊、關於預測模式之資訊,以及關於轉換單位之大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊。
表1
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之編碼單位的編碼資訊,且視訊解碼裝置200之影像資料以及編碼資訊提取器220可自所接收之位元串流提取關於具有樹狀結構之編碼單位的編碼資訊。
分割資訊指示當前編碼單位是否分割為較下層深度之編碼單位。若當前深度d之分割資訊為0,則當前編碼單位不再分割為較下層深度之深度為經編碼之深度,且因此可針對經編碼之深度而定義關於分區類型、預測模式以及轉換單位之大小的資訊。若根據分割資訊進一步分割當前編碼單位,則對較下層深度之四個分割編碼單位獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中之一者。可在所有分區類型中定義畫面內模式以及畫面間模式,且僅在大小為2N×2N之分區類型中定義跳過模式。
關於分區類型之資訊可指示:大小為2N×2N、2N×N、N×2N以及N×N之對稱分區類型,其是藉由對稱地分割預測單位之高度或寬度而獲得;以及大小為2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分區類型,其是藉由非對稱地分割預測單位之高度或寬度而獲得。可藉由以1:3以及3:1分割預測單位之高度而分別獲得大小為2N×nU以及2N×nD之非對稱分區類型,且可藉由以1:3以及3:1分割預測單位的寬度而分別獲得大小為nL×2N以及nR×2N之非對稱分區類型。
轉換單位之大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之,若轉換單位之分割資訊為0,則轉換單位之大小可為2N×2N,此為當前編碼單位之大小。若轉換單位之分割資訊為1,則可藉由分割當前編碼單位而獲得轉換單位。且,若大小為2N×2N之當前編碼單位的分區類型為對稱分區類型,則轉換單位之大小可為N×N,且若當前編碼單位之分區類型為非對稱分區類型,則轉換單位的大小可為N/2×N/2。
關於具有樹狀結構之編碼單位的編碼資訊可包含對應於經編碼之深度的編碼單位、預測單位以及最小單元中的至少一者。對應於經編碼之深度的編碼單位可包含預測單位以及含有相同編碼資訊之最小單元中的至少一者。
因此,藉由比較鄰近資料單位之編碼資訊而判定鄰近資料單位是否包含於對應於經編碼之深度的同一編碼單位中。且,藉由使用資料單位之編碼資訊而判定對應於經編碼之深度的對應編碼單位,且因此可判定最大編碼單位中之經編碼之深度的分佈。
因此,若基於鄰近資料單位之編碼資訊而預測當前編碼單位,則可直接參考且使用鄰近於當前編碼單位的較深編碼單位中之資料單位的編碼資訊。
或者,若基於鄰近資料單位之編碼資訊而預測當前編碼單位,則使用資料單位之經編碼之資訊而搜尋鄰近於當前編碼單位之資料單位,且可參考所搜尋之鄰近編碼單位以用於預測當前編碼單位。
圖20為用於描述根據表1之編碼模式資訊的編碼單位、預測單位或分區與轉換單位之間的關係的圖式。
最大編碼單位1300包含經編碼之深度的編碼單位1302、1304、1306、1312、1314、1316以及1318。此處,由於編碼單位1318為經編碼之深度的編碼單位,因此分割資訊可設定為0。關於大小為2N×2N之編碼單位1318之分區類型的資訊可設定為大小為2N×2N之分區類型1322、大小為2N×N之分區類型1324、大小為N×2N之分區類型1326、大小為N×N之分區類型1328、大小為2N×nU之分區類型1332、大小為2N×nD之分區類型1334、大小為nL×2N之分區類型1336以及大小為nR×2N之分區類型1338中的一者。
轉換單位之分割資訊(TU大小旗標)為一種轉換索引。對應於轉換索引之轉換單位大小可根據編碼單位之預測單位類型或分區類型而變化。
當分區類型設定為對稱(亦即,分區類型1322、1324、1326或1328)時,若轉換單位之分割資訊(TU大小旗標)為0,則設定大小為2N×2N之轉換單位1342,且若TU大小旗標為1,則設定大小為N×N之轉換單位1344。
當分區類型設定為非對稱(亦即,分區類型1332、1334、1336或1338)時,若TU大小旗標為0,則設定大小為2N×2N之轉換單位1352,且若TU大小旗標為1,則設定大小為N/2×N/2之轉換單位1354。
參考圖20,TU大小旗標為具有值0或1之旗標,但TU大小旗標不限於1個位元,且轉換單位可在TU大小旗標自0增大時階層式分割為具有樹狀結構。轉換單位之分割資訊(TU大小旗標)可用作轉換索引之實施例。
在此狀況下,可藉由使用根據本發明之一實施例的轉換單位之TU大小旗標與轉換單位之最大大小以及最小大小來表達已實際使用之轉換單位的大小。根據本發明之一實施例,視訊編碼裝置100能夠對最大轉換單位大小資訊、最小轉換單位大小資訊以及最大TU大小旗標進行編碼。對最大轉換單位大小資訊、最小轉換單位大小資訊以及最大TU大小旗標進行編碼之結果可插入至SPS中。根據本發明之一實施例,視訊解碼裝置200可藉由使用最大轉換單位大小資訊、最小轉換單位大小資訊以及最大TU大小旗標而對視訊進行解碼。
舉例而言,若當前編碼單位之大小為64×64且最大轉換單位大小為32×32,則在TU大小旗標為0時,轉換單位之大小可為32×32,在TU大小旗標為1時,轉換單位之大小可為16×16,且在TU大小旗標為2時,轉換單位之大小可為8×8。
作為另一實例,若當前編碼單位之大小為32×32且最小轉換單位大小為32×32,則在TU大小旗標為0時,轉換單位之大小可為32×32。此處,TU大小旗標不可設定為除0以外之值,此是因為轉換單位之大小不可小於32×32。
作為另一實例,若當前編碼單位之大小為64×64且最大TU大小旗標為1,則TU大小旗標可為0或1。此處,TU大小旗標不可設定為除0或1以外之值。
因此,若定義最大TU大小旗標為「MaxTransformSizeIndex」,最小轉換單位大小為「MinTransformSize」,且在TU大小旗標為0時轉換單位大小為「RootTuSize」,則可在當前編碼單位中判定之當前最小轉換單位大小「CurrMinTuSize」可由方程式(1)定義:
CurrMinTuSize = max(MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex)) …....(1)
與可在當前編碼單位中判定之當前最小轉換單位大小「CurrMinTuSize」比較,在TU大小旗標為0時之轉換單位大小「RootTuSize」可表示可在系統中選擇的最大轉換單位大小。在方程式(1)中,「RootTuSize/(2^MaxTransformSizeIndex)」表示在轉換單位大小「RootTuSize」在TU大小旗標為0時分割對應於最大TU大小旗標之次數時的轉換單位大小,且「MinTransformSize」表示最小轉換大小。因此,「RootTuSize/(2^MaxTransformSizeIndex)」以及「MinTransformSize」中的較小值可為可在當前編碼單位中判定的當前最小轉換單位大小「CurrMinTuSize」。
根據本發明之一實施例,最大轉換單位大小RootTuSize可根據預測模式之類型而變化。
舉例而言,若當前預測模式為畫面間模式,則可藉由使用下文之方程式(2)來判定「RootTuSize」。在方程式(2)中,「MaxTransformSize」表示最大轉換單位大小,且「PUSize」表示當前預測單位大小。
RootTuSize = min(MaxTransformSize, PUSize) .........(2)
亦即,若當前預測模式為畫面間模式,則在TU大小旗標為0時之轉換單位大小「RootTuSize」可為最大轉換單位大小以及當前預測單位之大小中的較小值。
若當前分區單元之預測模式為畫面內模式,則可藉由使用下文之方程式(3)來判定「RootTuSize」。在方程式(3)中,「PartitionSize」表示當前分區單元之大小。
RootTuSize = min(MaxTransformSize, PartitionSize) ...........(3)
亦即,若當前預測模式為畫面內模式,則在TU大小旗標為0時之轉換單位大小「RootTuSize」可為最大轉換單位大小以及當前分區單元之大小中的較小值。
然而,根據分區單元中之預測模式之類型而變化的當前最大轉換單位大小「RootTuSize」僅為實例,且本發明並不限於此。
根據上文參考圖8至圖20而描述的基於樹狀結構之編碼單位之視訊編碼方法,可針對樹狀結構之每一編碼單位來對空間域之影像資料進行編碼,且當根據基於樹狀結構之編碼單位之視訊解碼方法針對每一最大編碼單位執行解碼時,可復原空間域之影像資料,且因此可復原包含圖像與圖像序列之視訊。所復原之視訊可由再生裝置再生,儲存在儲存媒體中,或經網路傳輸。
且,可針對每一圖像、每一片段或每一最大編碼單位,或針對樹狀結構之每一編碼單位、或編碼單位之預測單位、或編碼單位之轉換單位來編碼與傳輸或接收與解碼偏移參數。舉例而言,可基於針對每一最大編碼單位接收之偏移參數藉由使用所復原之偏移值來調整最大編碼單位之所復原之畫素值,且因此可復原相對於原始區塊具有最小誤差之所復原之區塊。
本發明之一實施例可寫為電腦程式,且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體之實例包含磁性儲存媒體(例如,ROM、軟碟、硬碟等)以及光學記錄媒體(例如,CD-ROM或DVD)。
儘管已參考本發明之較佳實施例特定地展示且描述了本發明,但一般熟習此項技術者將理解,在不脫離如由所附申請專利範圍界定的本發明之精神以及範疇的情況下,可對本發明進行形式以及細節上的各種改變。較佳實施例應僅在描述性意義上考慮且並非用於限制目的。因此,本發明之範疇並非由本發明之詳細描述界定而是由所附申請專利範圍界定,且在此範疇內之所有差異將解釋為包含於本發明中。
10‧‧‧視訊編碼裝置
12‧‧‧偏移判定單元
14‧‧‧偏移參數編碼單元
20‧‧‧視訊解碼裝置
22‧‧‧偏移參數解析單元/偏移參數調整單元
24‧‧‧偏移調整單元
31~36‧‧‧邊緣類型
41~47、61~65、71~77‧‧‧操作步驟
50‧‧‧當前區塊
51‧‧‧左側區塊
52‧‧‧上方區塊
53‧‧‧左上方區塊
54‧‧‧右上方區塊
55、56‧‧‧參考區塊
57‧‧‧當前畫面
58‧‧‧先前畫面/相鄰畫面
59‧‧‧後續畫面/相鄰畫面
100‧‧‧視訊編碼裝置
110‧‧‧最大編碼單位分割器
120‧‧‧編碼單位判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315、325、335‧‧‧編碼單位
320、330‧‧‧視訊資料
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧轉換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆轉換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考畫面
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧解析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆轉換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元
585‧‧‧參考畫面
595‧‧‧所復原之畫面
600‧‧‧階層式結構
610‧‧‧編碼單位/分區/最大編碼單位
612、614、616、622、624、626、632、634、636、642、644、646‧‧‧分區
620、630、640‧‧‧編碼單位/分區
710‧‧‧編碼單位
720‧‧‧轉換單位
800、810、820‧‧‧資訊
802、804、806、808、810‧‧‧分區
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
822‧‧‧第一畫面內轉換單位
824‧‧‧第二畫面內轉換單位
826‧‧‧第一畫面間轉換單位
828‧‧‧第二畫面間轉換單位
900‧‧‧編碼單位/當前最大編碼單位
910‧‧‧預測單位
912‧‧‧分區類型/分區
914、916、918‧‧‧分區類型
920、950、970‧‧‧操作
930、960‧‧‧編碼單位
940、990‧‧‧預測單位
942、944、946、948‧‧‧分區類型
980‧‧‧編碼單位/最小編碼單位
992、994、996、998‧‧‧分區類型
999‧‧‧資料單位
1010、1012、1014、1016、1018、1020、1022、1024、1026、1028、1030、1032、1040、1042、1044、1046、1048、1050、1052、1054‧‧‧編碼單位
1060‧‧‧預測單位
1070‧‧‧轉換單位
1300‧‧‧最大編碼單位
1302、1304、1306、1312、1314、1316、1318‧‧‧編碼單位
1322、1324、1326、1328、1332、1334、1336、1338‧‧‧分區類型
1342、1344、1352、1354‧‧‧轉換單位
CU_0‧‧‧當前編碼單位
CU_1‧‧‧編碼單位
CU_(d-1)‧‧‧編碼單位
圖1為根據本發明之一實施例的視訊編碼裝置的方塊圖。 圖2為根據本發明之一實施例的視訊解碼裝置的方塊圖。 圖3為根據本發明之一實施例的用於畫素分類的邊緣類型與長度的表格。 圖4為說明根據本發明之一實施例的偏移值編碼程序的流程圖。 圖5為根據本發明之一實施例的用於合併偏移參數之候選參考區塊的圖式。 圖6為說明根據本發明之一實施例的視訊編碼方法的流程圖。 圖7為說明根據本發明之一實施例的視訊解碼方法的流程圖。 圖8為根據本發明之一實施例的基於具有樹狀結構之編碼單位的視訊編碼裝置的方塊圖。 圖9為根據本發明之一實施例的基於具有樹狀結構之編碼單位的視訊解碼裝置的方塊圖。 圖10為用於描述根據本發明之一實施例的編碼單位之概念的圖式。 圖11為根據本發明之一實施例的基於編碼單位的影像編碼器的方塊圖。 圖12為根據本發明之一實施例的基於編碼單位的影像解碼器的方塊圖。 圖13為說明根據本發明之一實施例的根據深度之較深編碼單位及分區的圖式。 圖14為用於描述根據本發明之一實施例的編碼單位與轉換單位之間的關係的圖式。 圖15為用於描述根據本發明之一實施例的對應於經編碼之深度的編碼單位之編碼資訊的圖式。 圖16為根據本發明之一實施例的根據深度之較深編碼單位的圖式。 圖17至圖19為用於描述根據本發明之一實施例的編碼單位、預測單位與轉換單位之間的關係的圖示。 圖20為用於描述根據表1之編碼模式資訊的編碼單位、預測單位或分區與轉換單位之間的關係的圖示。

Claims (12)

  1. 一種視訊解碼裝置,包括:接收器,配置成自位元串流解析偏移合併資訊,其中所述偏移合併資訊指示當前區塊之偏移參數是否根據相鄰區塊之偏移參數所判定;以及處理器,配置成當所述偏移合併資訊指示為所述當前區塊之所述偏移參數是根據所述相鄰區塊之所述偏移參數所判定時,使用所述相鄰區塊之所述偏移參數來判定所述當前區塊之所述偏移參數,其中,當所述偏移合併資訊指示為所述當前區塊之所述偏移參數不是根據所述相鄰區塊之所述偏移參數所判定時,所述接收器自所述位元串流更獲得所述當前區塊之偏移類型資訊,其中,當所述偏移類型資訊是帶偏移類型資訊時,所述接收器自所述位元串流獲得多個偏移的絕對值,且,當所述多個偏移的所述絕對值不是零時,所述接收器更自所述位元串流獲得所述多個偏移的正負號位元,且所述處理器使用所述多個偏移的所述絕對值與所述多個偏移的所述正負號位元補償所述當前區塊的樣本,其中,所述多個偏移對應多個帶,其中,要應用於所述當前區塊的當前樣本的偏移的絕對值,是根據在所述多個帶中包含所述當前樣本的何者帶,而在所述多個偏移的所述絕對值中被判定,以及其中,要應用於所述當前樣本的偏移的正負號位元,是根據在所述多個帶中包含所述當前區塊的當前樣本的何者帶,而在所述多個偏移的所述正負號位元中被判定。
  2. 如申請專利範圍第1項所述的視訊解碼裝置,其中當所述偏移合併資訊指示為所述當前區塊之所述偏移參數是根據所述相鄰區塊之所述偏移參數所判定時,所述當前區塊之所述偏移參數不是自所述位元串流所解析。
  3. 一種視訊編碼方法,包括:產生偏移合併資訊,指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中:當所述當前區塊之所述樣本偏移參數被判定為等於所述相鄰區塊之所述樣本偏移參數時,所述產生偏移合併資訊的步驟包括產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數是由所述相鄰區塊之所述樣本偏移參數所推導出,當所述當前區塊之所述樣本偏移參數被判定為不等於所述相鄰區塊之所述樣本偏移參數時,所述產生偏移合併資訊的步驟包括產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出,且產生關於所述當前區塊之偏移類型以及所述當前區塊之所述多個偏移的資訊;在所述當前區塊之多個樣本中的當前樣本之樣本值,藉由使用在所述當前區塊之所述多個偏移中的所述當前樣本之偏移而被補償,當所述偏移類型是帶偏移類型時,所述視訊編碼方法更包括產生關於指示所述帶偏移類型的偏移類型的資訊及產生所述多個偏移的多個絕對值,以及當所述多個偏移的所述多個絕對值不為零時,更產生所述多個偏移的多個正負號,以及當所述當前區塊之所述偏移類型是邊緣偏移類型時,所述視訊編碼方法更包括產生關於指示所述邊緣偏移類型的偏移類型的資訊及產生對應包含所述當前樣本的邊緣類別之多個邊緣類別的多個偏移,在所述當前樣本附近的多個樣本中的兩個相鄰樣本,是對應所述當前區塊的邊緣方向所判定,所述當前樣本之所述邊緣類別是根據是否所述當前樣本大於所述兩個相鄰樣本所判定,且所述當前樣本之所述偏移是對應在所述多個邊緣類別中的所述當前樣本之所述邊緣類別所判定。
  4. 一種視訊編碼裝置,所述裝置包括至少一個處理器設置有:偏移編碼器,配置成產生偏移合併資訊,其中所述偏移合併資訊指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中,當所述當前區塊之所述樣本偏移參數被判定為等於所述相鄰區塊之所述樣本偏移參數時,所述偏移編碼器配置成產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數是由所述相鄰區塊之所述樣本偏移參數所導出,當所述當前區塊之所述樣本偏移參數被判定為不等於所述相鄰區塊之所述樣本偏移參數時,所述偏移編碼器配置成產生所述產生偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出,且產生關於所述當前區塊之偏移類型以及所述當前區塊之所述多個偏移的資訊;在所述當前區塊之多個樣本中的當前樣本之樣本值,藉由使用在所述當前區塊之所述多個偏移中的所述當前樣本之偏移而被補償,當所述偏移類型是帶偏移類型時,所述偏移編碼器產生關於指示所述帶偏移類型的偏移類型的資訊及產生所述多個偏移的多個絕對值,以及當所述多個偏移的所述多個絕對值不為零時,產生所述多個偏移的多個正負號,以及當所述當前區塊之所述偏移類型是邊緣偏移類型時,所述偏移編碼器產生關於指示所述邊緣偏移類型的偏移類型的資訊及產生對應包含所述當前樣本的邊緣類別之多個邊緣類別的多個偏移,在所述當前樣本附近的多個樣本中的兩個相鄰樣本,是對應所述當前區塊的邊緣方向所判定,所述當前樣本之所述邊緣類別是根據是否所述當前樣本大於所述兩個相鄰樣本所判定,且所述當前樣本之所述偏移是對應在所述多個邊緣類別中的所述當前樣本之所述邊緣類別所判定。
  5. 一種視訊編碼方法,包含:產生偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中,當所述當前區塊之所述樣本偏移參數被判定為等於所述相鄰區塊之所述樣本偏移參數時,所述產生偏移合併資訊的步驟包括產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數是由所述相鄰區塊之所述樣本偏移參數所推導出,當所述當前區塊之所述樣本偏移參數被判定為不等於所述相鄰區塊之所述樣本偏移參數時,所述產生偏移合併資訊的步驟包括產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出,且產生關於所述當前區塊之偏移類型以及所述當前區塊之所述多個偏移的資訊;其中,在所述當前區塊之多個樣本中的當前樣本之樣本值,藉由使用在所述當前區塊之所述多個偏移中的所述當前樣本之偏移而被補償,當所述偏移類型是帶偏移類型時,所述視訊編碼方法更包括產生關於指示所述帶偏移類型的偏移類型的資訊及產生所述多個偏移的多個絕對值,以及當所述多個偏移的所述多個絕對值不為零時,更產生所述多個偏移的多個正負號,以及所述相鄰區塊是所述當前區塊附近的左邊區塊與右邊區塊的其一者。
  6. 一種視訊編碼裝置,所述裝置包括至少一個處理器設置有:偏移編碼器,配置成產生偏移合併資訊,其中所述偏移合併資訊指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中,當所述當前區塊之所述樣本偏移參數被判定為等於所述相鄰區塊之所述樣本偏移參數時,所述偏移編碼器配置成產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數是由所述相鄰區塊之所述樣本偏移參數所導出,當所述當前區塊之所述樣本偏移參數被判定為不等於所述相鄰區塊之所述樣本偏移參數時,所述偏移編碼器配置成產生所述產生偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出,且產生關於所述當前區塊之偏移類型以及所述當前區塊之所述多個偏移的資訊;其中,在所述當前區塊之多個樣本中的當前樣本之樣本值,藉由使用在所述當前區塊之所述多個偏移中的所述當前樣本之偏移而被補償,當所述偏移類型是帶偏移類型時,所述偏移編碼器產生關於指示所述帶偏移類型的偏移類型的資訊及產生所述多個偏移的多個絕對值,以及當所述多個偏移的所述多個絕對值不為零時,產生所述多個偏移的多個正負號,以及所述相鄰區塊是所述當前區塊附近的左邊區塊與右邊區塊的其一者。
  7. 一種視訊編碼方法,包含:產生偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中,當所述當前區塊之所述樣本偏移參數被判定為等於所述相鄰區塊之所述樣本偏移參數時,所述產生偏移合併資訊的步驟包括產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數是由所述相鄰區塊之所述樣本偏移參數所推導出,當所述當前區塊之所述樣本偏移參數被判定為不等於所述相鄰區塊之所述樣本偏移參數時,所述產生偏移合併資訊的步驟包括產生所述偏移合併資訊,以指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出,且產生關於所述當前區塊之偏移類型以及所述當前區塊之所述多個偏移的資訊;其中,在所述當前區塊之多個樣本中的當前樣本之樣本值,藉由使用在所述當前區塊之所述多個偏移中的所述當前樣本之偏移而被補償,當所述偏移類型是帶偏移類型時,所述視訊編碼方法更包括產生關於指示所述帶偏移類型的偏移類型的資訊及產生所述多個偏移的多個絕對值,以及當所述多個偏移的所述多個絕對值不為零時,更產生所述多個偏移的多個正負號,以及所述當前樣本的所述偏移的絕對值,在多個偏移的所述多個絕對值中,是根據所述多個帶中包含所述當前樣本的一帶來判定。
  8. 一種非暫時性的電腦可讀的儲存媒體,儲存位元串流,所述位元串流是藉由使用至少一處理器執行視訊編碼的操作所產生,所述位元串流包括:偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中所述操作包括:當所述偏移合併資訊指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出時,產生關於所述當前區塊之偏移類型的資訊,當關於所述偏移類型的所述資訊是帶偏移類型時,產生多個偏移的多個絕對值,以及當多個偏移的所述多個絕對值不為零時,更產生多個偏移的多個正負號,以及當關於所述偏移類型的所述資訊是邊緣偏移類型時,產生對應多個邊緣類別的多個偏移的多個絕對值;以及產生所述位元串流,包括所述偏移合併資訊,關於所述當前區塊之偏移類型的所述資訊,以及多個偏移的所述多個絕對值與多個偏移的所述多個正負號的至少一個,其中:當前樣本的偏移的絕對值,在所述當前區塊之多個偏移的所述多個絕對值中,是用以補償在所述當前區塊之多個樣本中的所述當前樣本的樣本值。
  9. 一種非暫時性的電腦可讀的儲存媒體,儲存位元串流,所述位元串流是藉由使用至少一處理器執行視訊編碼的操作所產生,所述位元串流包括:偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中所述操作包括:當所述偏移合併資訊指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出時,產生關於所述當前區塊之偏移類型的資訊,當關於所述偏移類型的所述資訊是帶偏移類型時,產生多個偏移的多個絕對值,以及當多個偏移的所述多個絕對值不為零時,更產生多個偏移的多個正負號;產生所述位元串流,包括所述偏移合併資訊,關於所述當前區塊之偏移類型的所述資訊,以及多個偏移的所述多個絕對值與多個偏移的所述多個正負號的至少一個,其中:當前樣本的偏移的絕對值,在所述當前區塊之多個偏移的所述多個絕對值中,是用以補償在所述當前區塊之多個樣本中的所述當前樣本的樣本值;以及所述相鄰區塊是所述當前區塊附近的左邊區塊與右邊區塊的其一者。
  10. 一種非暫時性的電腦可讀的儲存媒體,儲存位元串流,所述位元串流是藉由使用至少一處理器執行視訊編碼的操作所產生,所述位元串流包括:偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中所述操作包括:當所述偏移合併資訊指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出時,產生關於所述當前區塊之偏移類型的資訊;當關於所述偏移類型的所述資訊是帶偏移類型時,產生多個偏移的多個絕對值,以及當多個偏移的所述多個絕對值不為零時,更產生多個偏移的多個正負號;以及產生所述位元串流,包括所述偏移合併資訊,關於所述當前區塊之偏移類型的所述資訊,以及多個偏移的所述多個絕對值與多個偏移的所述多個正負號的至少一個,其中:當前樣本之所述偏移的絕對值,在所述當前樣本之多個偏移的所述多個絕對值中,是根據在包含有所述當前樣本的所述多個帶的一者而被判定,以及當前樣本的偏移的所述絕對值,是用以補償在所述當前區塊之多個樣本中的所述當前樣本的樣本值。
  11. 一種非暫時性的電腦可讀的儲存媒體,儲存位元串流,所述位元串流是藉由使用至少一處理器執行視訊編碼的操作所產生,所述位元串流包括:偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中所述操作包括:當所述偏移合併資訊指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出時,產生關於所述當前區塊之偏移類型的資訊;當關於所述偏移類型的所述資訊是帶偏移類型時,產生多個偏移的多個絕對值,以及當多個偏移的所述多個絕對值不為零時,更產生多個偏移的多個正負號,以及當關於所述偏移類型的所述資訊是邊緣偏移類型時,產生對應多個邊緣類別的多個偏移的所述多個絕對值,及標示當前區塊的邊緣方向的資訊;以及產生所述位元串流,包括所述偏移合併資訊,關於所述當前區塊之偏移類型的所述資訊,以及多個偏移的所述多個絕對值、多個偏移的所述多個正負號與標示所述當前區塊的所述邊緣方向的所述資訊的至少一個,其中:鄰近於當前樣本的兩個相鄰樣本,在所述當前區塊的多個樣本中,是對應所述當前區塊的所述邊緣方向來判定,所述當前樣本之邊緣類別是根據是否所述當前樣本大於所述兩個相鄰樣本來判定,且所述當前樣本之偏移的所述絕對值是在所述多個邊緣類別中對應所述當前樣本之邊緣類別來判定;以及所述當前樣本的偏移的所述絕對值,在所述當前區塊之多個偏移的所述多個絕對值中,是用以補償在所述當前區塊之所述多個樣本中的所述當前樣本的樣本值。
  12. 一種非暫時性的電腦可讀的儲存媒體,儲存位元串流,所述位元串流是藉由使用至少一處理器執行視訊編碼的操作所產生,所述位元串流包括:偏移合併資訊,以指示當前區塊之樣本偏移參數是否由相鄰區塊之樣本偏移參數所推導出,其中所述操作包括:當所述偏移合併資訊指示所述當前區塊之所述樣本偏移參數不是由所述相鄰區塊之所述樣本偏移參數所推導出時,產生多個偏移及關於所述當前區塊之偏移類型的資訊;當關於所述偏移類型的所述資訊是帶偏移類型時,產生多個偏移的多個絕對值,以及當多個偏移的所述多個絕對值不為零時,更產生多個偏移的多個正負號;以及產生所述位元串流,包括所述偏移合併資訊,關於所述當前區塊之所述偏移類型的所述資訊,以及多個偏移的所述多個絕對值與多個偏移的所述多個正負號的至少一個,多個帶是以均勻分割於所述當前區塊的多個樣本的多個值的範圍來判定,以及當前樣本的所述偏移的所述絕對值,在所述當前區塊的所述多個樣本中,是在多個偏移的所述多個絕對值中,根據所述多個帶中包含所述當前樣本的一帶來判定。
TW106146392A 2011-06-28 2012-06-28 視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體 TWI669955B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161502018P 2011-06-28 2011-06-28
US61/502,018 2011-06-28

Publications (2)

Publication Number Publication Date
TW201813402A TW201813402A (zh) 2018-04-01
TWI669955B true TWI669955B (zh) 2019-08-21

Family

ID=47424664

Family Applications (5)

Application Number Title Priority Date Filing Date
TW101123236A TWI521970B (zh) 2011-06-28 2012-06-28 視訊解碼方法
TW104119675A TWI549492B (zh) 2011-06-28 2012-06-28 視訊解碼裝置
TW105123827A TWI601418B (zh) 2011-06-28 2012-06-28 視訊解碼方法
TW106146392A TWI669955B (zh) 2011-06-28 2012-06-28 視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體
TW106128692A TWI615022B (zh) 2011-06-28 2012-06-28 視訊解碼方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW101123236A TWI521970B (zh) 2011-06-28 2012-06-28 視訊解碼方法
TW104119675A TWI549492B (zh) 2011-06-28 2012-06-28 視訊解碼裝置
TW105123827A TWI601418B (zh) 2011-06-28 2012-06-28 視訊解碼方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW106128692A TWI615022B (zh) 2011-06-28 2012-06-28 視訊解碼方法

Country Status (16)

Country Link
US (7) US9426482B2 (zh)
EP (3) EP2849444A3 (zh)
JP (6) JP5964422B2 (zh)
KR (6) KR101457398B1 (zh)
CN (6) CN104994393A (zh)
AU (3) AU2012276452B2 (zh)
BR (5) BR122021004578B1 (zh)
CA (2) CA3016913C (zh)
MX (4) MX338669B (zh)
MY (3) MY193771A (zh)
PH (4) PH12017501636A1 (zh)
RU (3) RU2632139C1 (zh)
SG (4) SG10201408726QA (zh)
TW (5) TWI521970B (zh)
WO (1) WO2013002554A2 (zh)
ZA (1) ZA201400649B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378560B2 (en) 2011-06-17 2016-06-28 Advanced Micro Devices, Inc. Real time on-chip texture decompression using shader processors
MY161905A (en) * 2011-06-27 2017-05-15 Panasonic Ip Corp America Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding-decoding apparatus
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP2849444A3 (en) * 2011-06-28 2015-06-24 Samsung Electronics Co., Ltd Video encoding method using merge information to code offset parameters and apparatus therefor, video decoding method and apparatus therefor
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9277194B2 (en) 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
SG10201503492WA (en) 2011-12-22 2015-06-29 Samsung Electronics Co Ltd Video Encoding Method Using Offset Adjustment According To Classification Of Pixels By Maximum Encoding Units And Apparatus Thereof, And Video Decoding Method And Apparatus Thereof
KR20140111039A (ko) * 2012-01-19 2014-09-17 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법 및 화상 부호화 방법
TWI632805B (zh) * 2012-06-11 2018-08-11 三星電子股份有限公司 視訊解碼方法、視訊編碼方法、視訊解碼裝置、視訊編碼裝置以及非暫態的電腦可讀取儲存媒體
US9635360B2 (en) * 2012-08-01 2017-04-25 Mediatek Inc. Method and apparatus for video processing incorporating deblocking and sample adaptive offset
WO2014052731A2 (en) 2012-09-28 2014-04-03 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
EP2905961A4 (en) * 2012-10-05 2016-07-06 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
IN2013MU01146A (zh) * 2013-03-26 2015-04-24 Tektronix Inc
US9497476B2 (en) * 2013-04-05 2016-11-15 Sharp Kabushiki Kaisha Image decoding apparatus
CN110072106B (zh) * 2013-12-13 2022-06-07 北京三星通信技术研究有限公司 视频编解码中像素处理的方法和装置
JP6253406B2 (ja) * 2013-12-27 2017-12-27 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
CA2934941C (en) 2014-02-03 2017-03-07 Mitsubishi Electric Corporation Video encoding device and video encoding method
WO2016119746A1 (zh) * 2015-01-29 2016-08-04 同济大学 图像编码方法及装置、图像解码方法及装置
WO2016182152A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 샘플값 보상을 위한 영상 부호화 방법과 그 장치, 및 샘플값 보상을 위한 영상 복호화 방법과 그 장치
KR20230128138A (ko) * 2015-07-08 2023-09-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
JP6094838B2 (ja) * 2015-08-31 2017-03-15 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102423880B1 (ko) 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
WO2017086740A1 (ko) * 2015-11-18 2017-05-26 한국전자통신연구원 인루프 필터를 이용한 비디오 복호화 방법 및 이를 위한 장치
WO2017191749A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
KR101981687B1 (ko) * 2016-05-04 2019-05-24 한국항공대학교산학협력단 오프셋 정보 부호화 및 복호화 방법 및 장치
CN106130562B (zh) * 2016-06-15 2019-09-06 中国石油集团渤海钻探工程有限公司 一种随钻测井数据实时压缩方法及解压缩方法
JP6229030B2 (ja) * 2016-10-06 2017-11-08 株式会社三共 遊技機
CN114520915A (zh) 2017-01-12 2022-05-20 索尼公司 图像处理装置、图像处理方法和计算机可读记录介质
JP6341304B2 (ja) * 2017-02-14 2018-06-13 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP3471413A1 (en) * 2017-10-10 2019-04-17 Thomson Licensing Encoding and decoding methods and corresponding devices
KR20230127363A (ko) 2018-03-27 2023-08-31 (주)휴맥스 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
TWI678107B (zh) 2018-05-16 2019-11-21 香港商京鷹科技股份有限公司 影像傳輸方法及其系統與影像傳送端裝置
US11317099B2 (en) 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
CN113453005B (zh) * 2020-03-26 2022-11-01 杭州海康威视数字技术股份有限公司 解码方法、编码方法、装置及设备
CN114080806B (zh) 2020-06-03 2022-11-11 北京达佳互联信息技术有限公司 在多跨分量预测(pmc)模式下的色度编解码增强

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157780A1 (en) * 2003-12-17 2005-07-21 Werner Carl W. Signaling system with selectively-inhibited adaptive equalization
TWI238661B (en) * 2002-07-15 2005-08-21 Thomson Licensing Sa Adaptive weighting of reference pictures in video encoding
CN1684518A (zh) * 2004-04-15 2005-10-19 微软公司 高保真代码转换
US20080137989A1 (en) * 2006-11-22 2008-06-12 Ng Andrew Y Arrangement and method for three-dimensional depth image construction
US20090003718A1 (en) * 2007-06-26 2009-01-01 Shan Liu Inverse Tone Mapping for Bit-Depth Scalable Image Coding Adapted to Variable Block Sizes
US20090034621A1 (en) * 2003-11-28 2009-02-05 Anthony Joch Low-Complexity Motion Vector Prediction Systems and Methods
TWI324480B (en) * 2005-04-13 2010-05-01 Lg Electronics Inc Method and apparatus for decoding video signal using reference pictures
US7796822B2 (en) * 2004-08-16 2010-09-14 Fotonation Vision Limited Foreground/background segmentation in digital images

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661862A (en) 1984-04-27 1987-04-28 Rca Corporation Differential PCM video transmission system employing horizontally offset five pixel groups and delta signals having plural non-linear encoding functions
US4971407A (en) 1989-08-09 1990-11-20 Unisys Corp. Two stage run and string data compressor providing doubly compressed output
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6418166B1 (en) * 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US20020122595A1 (en) 1999-06-04 2002-09-05 Rikk Crill Apparatus and method for radial and angular or rotational analysis of images for shape content and matching
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
EP1407615A1 (en) 2001-07-10 2004-04-14 Koninklijke Philips Electronics N.V. Method and device for generating a scalable coded video signal from a non-scalable coded video signal
JP2003230147A (ja) 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 映像信号符号化装置およびその方法
CN100508609C (zh) * 2002-04-18 2009-07-01 株式会社东芝 运动图像编码/解码方法和装置
US20050047504A1 (en) 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
RU2402811C2 (ru) * 2004-07-29 2010-10-27 Майкрософт Корпорейшн Обработка изображений с помощью линейных параметров светоустановки и других усовершенствований обработки изображений
US8068673B2 (en) 2006-12-01 2011-11-29 Beihang University Rapid and high precision centroiding method and system for spots image
CN101641954B (zh) 2007-03-23 2011-09-14 Lg电子株式会社 用于解码/编码视频信号的方法和装置
KR20100105680A (ko) * 2008-03-07 2010-09-29 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
KR101438471B1 (ko) * 2011-01-03 2014-09-16 미디어텍 인크. 필터 유닛 기반 인-루프 필터링 방법
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
CN106454357A (zh) 2011-01-09 2017-02-22 寰发股份有限公司 已处理视频数据的样本自适应补偿的方法和装置
EP2700230A4 (en) 2011-04-21 2014-08-06 Mediatek Inc METHOD AND APPARATUS FOR ENHANCED LOOP FILTERING
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
WO2012155553A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
EP2719183B1 (en) 2011-06-10 2019-01-16 MediaTek Inc. Method and apparatus of scalable video coding
CN106851319B (zh) 2011-06-10 2020-06-19 寰发股份有限公司 推导方法及推导装置
LT3361725T (lt) * 2011-06-23 2020-07-10 Huawei Technologies Co., Ltd. Nuokrypį iššifruojantis prietaisas, nuokrypį šifruojantis prietaisas, vaizdo filtravimo prietaisas ir duomenų struktūra
EP2849444A3 (en) 2011-06-28 2015-06-24 Samsung Electronics Co., Ltd Video encoding method using merge information to code offset parameters and apparatus therefor, video decoding method and apparatus therefor

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI238661B (en) * 2002-07-15 2005-08-21 Thomson Licensing Sa Adaptive weighting of reference pictures in video encoding
US20090034621A1 (en) * 2003-11-28 2009-02-05 Anthony Joch Low-Complexity Motion Vector Prediction Systems and Methods
US20050157780A1 (en) * 2003-12-17 2005-07-21 Werner Carl W. Signaling system with selectively-inhibited adaptive equalization
CN1684518A (zh) * 2004-04-15 2005-10-19 微软公司 高保真代码转换
US7796822B2 (en) * 2004-08-16 2010-09-14 Fotonation Vision Limited Foreground/background segmentation in digital images
TWI324480B (en) * 2005-04-13 2010-05-01 Lg Electronics Inc Method and apparatus for decoding video signal using reference pictures
US20080137989A1 (en) * 2006-11-22 2008-06-12 Ng Andrew Y Arrangement and method for three-dimensional depth image construction
US20090003718A1 (en) * 2007-06-26 2009-01-01 Shan Liu Inverse Tone Mapping for Bit-Depth Scalable Image Coding Adapted to Variable Block Sizes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A1 *

Also Published As

Publication number Publication date
AU2018202603B2 (en) 2019-07-18
AU2012276452A1 (en) 2014-01-30
KR20140075657A (ko) 2014-06-19
JP2015128333A (ja) 2015-07-09
KR20150039143A (ko) 2015-04-09
MY193778A (en) 2022-10-27
BR122021004574B1 (pt) 2022-07-26
TWI601418B (zh) 2017-10-01
PH12017501635A1 (en) 2018-04-23
SG10201408726QA (en) 2015-02-27
JP2014523183A (ja) 2014-09-08
JP2016197890A (ja) 2016-11-24
RU2663331C1 (ru) 2018-08-03
KR20140146559A (ko) 2014-12-26
KR101603688B1 (ko) 2016-03-15
KR20150041772A (ko) 2015-04-17
CA3016913C (en) 2020-03-10
KR20150039144A (ko) 2015-04-09
US9438922B2 (en) 2016-09-06
JP5964480B2 (ja) 2016-08-03
US9438921B2 (en) 2016-09-06
JP5965021B2 (ja) 2016-08-03
BR122021004576B1 (pt) 2022-07-26
RU2632139C1 (ru) 2017-10-02
AU2018202603A1 (en) 2018-05-10
KR101457398B1 (ko) 2014-11-04
SG10201408715UA (en) 2015-02-27
TWI615022B (zh) 2018-02-11
BR112013033701B1 (pt) 2022-08-02
US10038911B2 (en) 2018-07-31
CN103959776A (zh) 2014-07-30
JP5965022B2 (ja) 2016-08-03
MX338670B (es) 2016-04-27
MX338669B (es) 2016-04-27
TW201739259A (zh) 2017-11-01
MY192854A (en) 2022-09-13
JP2015128334A (ja) 2015-07-09
PH12017501633A1 (en) 2018-04-23
US20160337656A1 (en) 2016-11-17
CN105049864A (zh) 2015-11-11
KR20130002284A (ko) 2013-01-07
US9426483B2 (en) 2016-08-23
MY193771A (en) 2022-10-27
US20150163516A1 (en) 2015-06-11
PH12017501636B1 (en) 2018-04-23
CN104980758A (zh) 2015-10-14
CA2840583A1 (en) 2013-01-03
AU2016204005A1 (en) 2016-07-07
JP2015128332A (ja) 2015-07-09
US20150163502A1 (en) 2015-06-11
TW201640901A (zh) 2016-11-16
RU2014102576A (ru) 2015-08-10
JP2015164331A (ja) 2015-09-10
AU2016204005B2 (en) 2018-01-18
CA3016913A1 (en) 2013-01-03
KR101906506B1 (ko) 2018-12-07
US9462288B2 (en) 2016-10-04
PH12017501636A1 (en) 2018-04-23
US20150139335A1 (en) 2015-05-21
ZA201400649B (en) 2014-11-26
CA2840583C (en) 2018-10-23
WO2013002554A2 (ko) 2013-01-03
MX2014000046A (es) 2014-02-17
US20150131742A1 (en) 2015-05-14
JP5964422B2 (ja) 2016-08-03
WO2013002554A3 (ko) 2013-04-11
US20140192891A1 (en) 2014-07-10
TW201537967A (zh) 2015-10-01
BR122021004578B1 (pt) 2022-07-26
PH12017501635B1 (en) 2018-04-23
US10542273B2 (en) 2020-01-21
RU2581553C2 (ru) 2016-04-20
CN104980756A (zh) 2015-10-14
EP2728865A2 (en) 2014-05-07
EP2728865A4 (en) 2016-03-16
BR122021004575B1 (pt) 2022-07-26
JP6181246B2 (ja) 2017-08-16
US20180324450A1 (en) 2018-11-08
PH12017501633B1 (en) 2018-04-23
US9426482B2 (en) 2016-08-23
JP5964479B2 (ja) 2016-08-03
CN104980757A (zh) 2015-10-14
PH12017501634B1 (en) 2018-04-23
PH12017501634A1 (en) 2018-04-23
EP2849444A3 (en) 2015-06-24
TW201309030A (zh) 2013-02-16
EP2849444A2 (en) 2015-03-18
EP2887669A1 (en) 2015-06-24
KR101603678B1 (ko) 2016-03-15
SG10201408716TA (en) 2015-02-27
BR112013033701A2 (pt) 2019-04-09
TW201813402A (zh) 2018-04-01
AU2012276452B2 (en) 2016-03-31
KR101603685B1 (ko) 2016-03-15
TWI521970B (zh) 2016-02-11
KR101603690B1 (ko) 2016-03-15
MX337235B (es) 2016-02-18
CN104994393A (zh) 2015-10-21
TWI549492B (zh) 2016-09-11
SG10201408720TA (en) 2015-01-29

Similar Documents

Publication Publication Date Title
TWI669955B (zh) 視訊解碼/編碼裝置與方法、儲存位元串流的記錄媒體
US9967572B2 (en) Determining intra prediction mode of image coding unit and image decoding unit
US9473776B2 (en) Method and apparatus for coding video and method and apparatus for decoding video, using intra prediction
US9319707B2 (en) Method and apparatus for decoding video according to individual parsing or decoding in data unit level, and method and apparatus for encoding video for individual parsing or decoding in data unit level
TW201735636A (zh) 畫面間預測的方法
JP6130556B6 (ja) ビデオ復号化方法及びその装置