TW201526617A - 影像處理方法與系統、解碼方法、編碼器與解碼器 - Google Patents

影像處理方法與系統、解碼方法、編碼器與解碼器 Download PDF

Info

Publication number
TW201526617A
TW201526617A TW103142135A TW103142135A TW201526617A TW 201526617 A TW201526617 A TW 201526617A TW 103142135 A TW103142135 A TW 103142135A TW 103142135 A TW103142135 A TW 103142135A TW 201526617 A TW201526617 A TW 201526617A
Authority
TW
Taiwan
Prior art keywords
blocks
sub
block
module
search
Prior art date
Application number
TW103142135A
Other languages
English (en)
Other versions
TWI536811B (zh
Inventor
Chun-Lung Lin
Fan-Di Jou
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to US14/583,111 priority Critical patent/US20150189333A1/en
Priority to CN201410821814.1A priority patent/CN104754343B/zh
Publication of TW201526617A publication Critical patent/TW201526617A/zh
Application granted granted Critical
Publication of TWI536811B publication Critical patent/TWI536811B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding

Abstract

一種用於畫面內區塊複製的影像處理方法與解碼方法，以及使用此方法的影像處理系統、編碼器與解碼器。本影像處理方法包括在編碼畫面中將編碼單元分割為多個子區塊，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數。本影像處理方法還包括在編碼畫面中的搜尋範圍內搜尋對應於子區塊中的其中一個子區塊的參考區塊並且記錄此其中一個子區塊與對應此其中一個子區塊的參考區塊之間的相對位置。本影像處理方法更包括依據相對位置來編碼此其中一個子區塊。

Description

影像處理方法與系統、解碼方法、編碼器與解碼器
本揭露是有關於一種將編碼單元分割以用於畫面內區塊複製的影像處理方法與解碼方法，以及使用此方法的影像處理系統、編碼器與解碼器。
隨著科技的演進，視訊顯示器的解析、規格、尺寸越來越高，人們對視訊畫面品質與尺寸的要求也隨之不斷上升。為滿足此需求，國際電信聯盟(ITU-T)下的視訊編碼專家小組VCEG(Video Coding Experts Group)與國際標準化組織ISO/IEC下的動態畫像專家小組MPEG(Moving Picture Experts Group)共同成立視訊編碼聯合工作小組JCT-VC(Joint Collaborative Team on Video Coding)，並開始H.265/HEVC(High Efficiency Video Coding)專案，目標為提供比H.264/AVC(Advanced Video Coding)視訊壓縮標準更高的編碼效率(在相同主觀品質下約可節省50%的位元率)，尤其以高解析度(High Definition，HD)、超高解析度(Ultra High Definition，Ultra HD)等解析度高之視訊為重。
此大尺寸與高解析度之視訊應用的環境多以自然視訊影像為主，並已於2013年完成制訂，目前正在制定的是H.265/HEVC應用範圍擴展(Range Extensions)，其中包含制定針對螢幕分享應用服務所需要的螢幕視訊內容編碼(Screen Content Coding，SCC)標準。螢幕分享的視訊內容通常會有混合的視訊內容素材，例如畫面可能同時包含自然影像、大量文字圖片、滑鼠指標及各種線條等，由於此螢幕應用環境已不符H.265/HEVC當初所設計的目標，故JCT-VC近來已將重心轉至發展新的高效能螢幕編碼標準技術。SCC乃基於H.265/HEVC現有的工具下進行開發，畫面內區塊複製(Intra Block Copy，IBC)技術就是其所發展出來的新工具。IBC的技術概念是將鄰近區塊的畫面內容直接複製到目前正在編碼的編碼單元(Coding Unit，CU)的區塊，以減少位元傳輸量，此設計背景乃是因為螢幕應用環境會有較多的線條與字母等，所以鄰近區塊畫面會有很高比例與目前正在編碼之編碼單元的畫面相似。
在H.265/HEVC的標準與IBC的實作上，是以一個編碼樹單元(Coding Tree Unit，CTU)作為編碼單元編碼時的最大處理區塊，此編碼樹單元的大小通常是設定為64×64的區塊，其中編碼樹單元的大小的單位為像素。編碼單元則可以是小於或等於編碼樹單元的區塊大小，例如，編碼單元會是正方矩形並且其大小可以為64×64、32×32、16×16與8×8的區塊。
圖1是根據先前技術所繪示之使用目前畫面內區塊複製(IBC)技術之操作的範例。
請參照圖1，編碼端會在指定的搜尋範圍內，搜尋與目前正在編碼的編碼單元102相同大小的鄰近參考區塊進行比對，每一個參考區塊進行比對後便可找出與目前正在編碼的編碼單元畫面最相近的參考區塊104。而編碼端只需要傳輸所選定的參考區塊與目前正在編碼的編碼單元的相對位置給解碼端。解碼端即可根據此相對位置將參考區塊的畫面複製到目前正在編碼的編碼單元的區塊。IBC技術的搜尋範圍可以是侷限在一個編碼樹單元(例如，編碼樹單元100-1)的大小，也可以是兩個編碼樹單元(例如，編碼樹單元100-1與編碼樹單元100-2)的大小。
由上述可知，目前的畫面內區塊複製的概念是將與目前正在編碼的編碼單元相同大小的參考區塊複製到目前正在編碼的編碼單元區塊，然而，IBC技術會限定基於編碼單元區塊的大小來搜尋對應的參考區塊，因此找到匹配之參考區塊的比率會偏低，進而影響編碼的效能。據此，如何能更快速地找到適當的參考區塊，以減少編碼運算所需要的時間，已成為當務之急。
本揭露提供一種影像處理方法以及使用此方法的影像處理系統、編碼器與解碼器，其能夠有效地提升螢幕視訊編碼技術的編碼效能。
本揭露的一範例實施例提出一種影像處理方法，本影像處理方法包括：在一編碼畫面中，將第一編碼樹單元中的編碼單元分割為多個子區塊，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數。本影像處理方法也包括：在編碼畫面中的一搜尋範圍內搜尋對應於所述子區塊之中的其中一個子區塊的參考區塊，並且記錄所述其中一個子區塊與對應於所述其中一個子區塊的參考區塊之間的一相對位置。本影像處理方法還包括：依據所述相對位置來編碼所述其中一個子區塊。
本揭露的一範例實施例提出一種用於一編碼畫面中影像處理的編碼器，此編碼器包括分割模式設定模組、影像分割模組以及編碼模組。分割模式設定模組用以選擇一分割模式。影像分割模組用以在所述編碼畫面中，根據所述分割模式將第一編碼樹單元中的編碼單元分割多個子區塊，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數。編碼模組用以在編碼畫面中的一搜尋範圍內搜尋對應子區塊之中的其中一個子區塊的參考區塊。編碼模組更用以記錄所述其中一個子區塊與對應於所述其中一個子區塊的參考區塊之間的相對位置，並且依據所述相對位置來編碼所述其中一個子區塊。
本揭露的一範例實施例提出一種用於解碼畫面中影像處理的解碼器，本解碼器包括分割模式接收模組與解碼模組。分割模式接收模組用以接收一分割模式，以及解碼模組用以接收第一 編碼樹單元的編碼單元所被分割為多個子區塊中的其中一個子區塊與對應於所述其中一個子區塊的參考區塊之間的相對位置，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數。解碼模組更用以根據所述分割模式、所述相對位置與對應所述其中一個子區塊的參考區塊，在解碼畫面中解碼所述其中一個子區塊。其中參考區塊為在解碼畫面中的一搜尋範圍內對應於所述子區塊之中的其中一個子區塊。
本揭露的一範例實施例提出一種影像處理系統，本影像處理系統包括：編碼器模組與解碼器模組。編碼器模組具有一分割模式設定模組、一影像分割模組與一編碼模組，解碼器模組具有一分割模式接收模組與一解碼模組。分割模式設定模組用以選擇一分割模式，以及影像分割模組用以在一編碼畫面中，根據所述分割模式將第一編碼樹單元中的編碼單元分割多個子區塊，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數。編碼模組用以在編碼畫面中的一搜尋範圍內搜尋對應子區塊之中的其中一個子區塊的參考區塊並且記錄所述其中一個子區塊與對應於所述其中一個子區塊的參考區塊之間的相對位置。此外，編碼模組更用以依據所述相對位置來編碼其中一個子區塊。
本揭露的一範例實施例提出一種解碼方法，本解碼方法包括：接收第一編碼樹單元中的編碼單元所被分割為多個子區塊中的其中一個子區塊與對應於所述其中一個子區塊的參考區塊之 間的相對位置，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數。根據所述相對位置與對應所述其中一個子區塊的參考區塊，在一解碼畫面中解碼所述其中一個子區塊。其中所述參考區塊為在解碼畫面中的一搜尋範圍內對應於子區塊之中的其中一個子區塊。
基於上述，本揭露之範例實施例所提出的影像處理方法與解碼方法及使用此方法的影像處理系統、編碼器與解碼器能夠在被分割為兩個大小為N×2N或2N×N之子區塊的編碼單元中，快速地找到對應於每一子區塊之適當且匹配的參考區塊，進而大幅減少編碼運算所需要的時間。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100-1、100-2、400-1、400-2、500-1、500-2‧‧‧編碼樹單元
102、402、502‧‧‧編碼單元
104、404、504‧‧‧參考區塊
S201、S203、S205、S207、S209‧‧‧影像處理方法的步驟
300‧‧‧影像處理晶片
302、342、352‧‧‧處理電路
304‧‧‧緩衝記憶體
306‧‧‧影像感測元件
310‧‧‧編碼器
312‧‧‧分割模式設定模組
314‧‧‧影像分割模組
316‧‧‧編碼模組
320‧‧‧解碼器
322‧‧‧分割模式接收模組
324‧‧‧解碼模組
330、340、350‧‧‧儲存電路
360‧‧‧編碼器模組
370‧‧‧解碼器模組
402-1、402-2、502-1、502-2‧‧‧子區塊
410、510‧‧‧向量
401a、401b、401c、401d、501a、501b、501c、501d‧‧‧區塊
圖1是根據先前技術所繪示之使用目前畫面內區塊複製(IBC)技術之操作的範例。
圖2為根據本揭露所繪示的影像處理方法的流程圖。
圖3A是根據本揭露之第一範例實施例所繪示的編碼器。
圖3B是根據本揭露之第一範例實施例所繪示的解碼器。
圖3C是根據本揭露之第一範例實施例所繪示的影像處理晶片。
圖4是根據本揭露之第一範例實施例所繪示的影像處理運作示意圖。
圖5是根據本揭露之第二範例實施例所繪示的影像處理運作示意圖。
圖2為根據本揭露所繪示的影像處理方法的流程圖。請參照圖2，為了能有效地提升螢幕視訊編碼技術的編碼效能，本揭露範例實施例提出一種影像處理方法，此方法包括在一編碼畫面中，將第一編碼樹單元中的編碼單元分割為多個子區塊，其中編碼單元的大小為2N×2N，並且子區塊的大小為N×2N或2N×N，其中N為正整數(S201)，並且在一搜尋範圍內搜尋對應於所述子區塊之中的其中一個子區塊的參考區塊(S203)。接著，此方法還包括記錄所述其中一個子區塊與對應於所述其中一個子區塊的參考區塊之間的相對位置(例如，所述其中一個子區塊與對應於所述其中一個子區塊的參考區塊之間的移動向量)(S205)，並且依據對應所述其中一個子區塊的參考區塊與相對位置來編碼所述其中一個子區塊(S207)。之後，此方法更包括根據相對位置與對應所述其中一個子區塊的參考區塊，在一解碼畫面中解碼所述其中一個子區塊(S209)。基此，藉由將編碼單元分割為大小為N×2N或2N×N的兩個子區塊，可快速地找到對應於此些子區塊之最適當且匹配的參考區塊，來進行畫面內區塊複製的影像編解碼程序以減少編碼運 算所需要的時間，由此可有效地提升螢幕視訊編碼技術的編碼效能。為了能夠更明瞭本揭露，以下將以數個範例實施例來進行說明。
[第一範例實施例]
圖3A是根據本揭露之第一範例實施例所繪示的編碼器。
請參照圖3A，編碼器310包括分割模式設定模組312、影像分割模組314、編碼模組316、儲存電路340與處理器電路342。
在本範例實施例中，儲存電路340用以儲存各種資料、程式碼或待處理及處理後的影像。例如，儲存電路340可以是記憶體(memory)或硬碟(Hard Disk Drive，HDD)等儲存媒體，但不限於此。處理器電路340可以是中央處理器(CPU)、微處理器(micro-processor)或嵌入式控制器(embedded controller)，本揭露並不加以限制。處理器電路342耦接至儲存電路340，並且用以執行分割模式設定模組312、影像分割模組314與編碼模組316。
分割模式設定模組312用以選擇一分割模式，而影像分割模組314用以在一編碼畫面中，根據分割模式設定模組312所選擇的分割模式將一編碼樹單元中的編碼單元分割為多個子區塊。例如，分割模式設定模組312會根據執行每一分割模式的所需的效能與編碼器310的性能來選擇適當的分割模式，然而，在另一範例實施中，分割模式設定模組312也可以根據任意的條件或演算法來選擇分割模式，本揭露不加以限制。例如，在一範例實施例中，分割模式設定模組312可以隨機地或依序地選擇多種 分割模式中的其中之一。此外，分割模式設定模組312亦可以透過使用者的輸入選擇，來設定分割模式。
例如，在H.265/HEVC的標準下，是以一個編碼樹單元(Coding Tree Unit，CTU)作為編碼單元編碼時的最大編碼區塊，此編碼樹單元的大小通常是設定為64×64的區塊。編碼單元則可以是小於或等於編碼樹單元的區塊大小。舉例而言，編碼單元為一正方矩形並且其大小可以是64×64、32×32、16×16與8×8的區塊。在本揭露範例實施例中所述的編碼樹單元、編碼單元、子區塊、參考區塊等區塊及範圍之大小的單位皆為像素。而影像分割模組314會根據從分割模式設定模組312所接收的分割模式將編碼單元分割為大小為N×2N或2N×N的兩個子區塊。
具體而言，編碼模組316會在編碼畫面中的搜尋範圍內分別搜尋對應於上述被分割之子區塊的參考區塊並且記錄此些子區塊與對應於此些子區塊的參考區塊之間的相對位置，以分別地依據對應於此些子區塊的參考區塊與其相對位置來編碼影像分割模組314所分割的多個子區塊。在本揭露之一範例實施例中，子區塊與參考區塊之間的相對位置例如是移動向量，可使解碼端依據移動向量定位參考區塊的相對位置，將參考區塊的內容複製到解碼區塊；在另一實施例中，編碼模組316可將對應於所述相對位置的移動向量壓縮，以使得編碼的過程中，編碼模組316可利用先前的移動向量來預測目前的移動向量。在又一實施例中，解碼區塊與參考區塊未必會完全相同且可允許些微誤差，例如，解 碼區塊與參考區塊之間的誤差值亦稱為殘餘值，編碼模組316亦會將此些殘餘值壓縮。
在完成上述編碼後，編碼器310可將編碼後的資料傳送至一解碼器來進行解碼。具體而言，編碼後的資料為一串編碼位元資訊，其可包括上述用以定位參考區塊的相對位置、殘餘值以及分割模式等資訊，由此解碼器可根據此些資訊正確地還原像素資料。例如，在本揭露範例實施例中，編碼器310是實作在影像發送終端中，而解碼器是實作在影像接收終端中，其中編碼器與解碼器可透過有線或無線方式來通訊。
圖3B是根據本揭露之第一範例實施例所繪示的解碼器。
請參照圖3B，解碼器320包括分割模式接收模組322、解碼模組324、處理器電路352與儲存電路350。儲存電路350用以儲存各種資料、程式碼或待處理及處理後的影像，並且處理器電路352耦接至儲存電路350以執行上述分割模式接收模組322與解碼模組324。
相對於編碼器310，解碼器320會接收到上述編碼位元資訊，並從此串編碼位元資訊中解析出每個位元資訊所代表的意義。例如，解碼器320會解析出用以定位參考區塊的相對位置、殘餘值以及分割模式。據此，解碼器320的分割模式接收模組322會從編碼器310的分割模式設定模組312接收對應所接收之編碼影像的分割模式，解碼器320的解碼模組324會根據分割模式接收模組322所接收的分割模式得知編碼單元中子區塊的分割模 式，並且從編碼器310的編碼模組316接收並獲得影像分割模組314所分割的多個子區塊與對應於此些子區塊的參考區塊之間的相對位置，並且根據所接收的分割模式、此些相對位置與對應於此些子區塊的參考區塊，在解碼畫面中分別地解碼此些子區塊。在解碼模組324解碼子區塊的操作中，解碼模組324會依據所獲得的相對位置從解碼畫面中獲取對應之參考區塊的內容，並且在此解碼畫面中將對應此參考區塊的內容複製到所對應之子區塊的位置上。
值得一提的是，上述編碼器與解碼器是分別實作於不同的終端中，並且透過網路傳遞彼此所需要的資料，然而，本揭露不限於此。在另一範例實施例中，編碼器與解碼器可實作於同一個晶片或系統中。
圖3C是根據本揭露之第一範例實施例所繪示的影像處理晶片。
請參照圖3C，影像處理晶片300(亦可為影像處理系統)包括處理器電路302、緩衝記憶體304、影像感測元件306、儲存電路330、編碼器模組360以及解碼器模組370。其中儲存電路330用以儲存各種資料、程式碼或待處理及處理後的影像。
處理器電路302用以控制影像處理晶片300的整體運作。例如，處理器電路302會下達指令給編碼器模組360與解碼器模組370，以對視訊影像進行編碼與解碼的操作。
緩衝記憶體304耦接至處理器電路302，並且用以暫存資 料。在本範例實施例中，緩衝記憶體304為靜態隨機存取記憶體(Static Random-Access Memory,SRAM)。必須瞭解的是，本揭露不限於此，在另一範例實施例中，緩衝記憶體304可以是動態隨機存取記憶體(Dynamic Random Access Memory)或其他記憶體。
影像感測元件306耦接至處理器電路302。影像感測元件306用以根據處理器電路302的控制來感測影像，並且輸出對應的影像資料。例如，處理器電路302會將影像感測元件306所輸出的影像資料暫存於緩衝記憶體304中。值得一提的是，本揭露並不加以限制影像的來源，例如，在另一範例實施例中，影像處理晶片300可不包括影像感測元件306，影像可來自任何的外部影像擷取裝置，並且透過傳輸由處理器電路302接收所述外部影像。此外，在另一範例實施例中，影像資料可事先儲存於儲存電路330。
儲存電路330耦接至處理器電路302、緩衝記憶體304與影像感測元件306。編碼器模組360與解碼器模組370的運作是分別相似於上述圖3A與圖3B中所示的編碼器310與解碼器320。例如，編碼器模組360包括分割模式設定模組312、影像分割模組314與編碼模組316。解碼器模組370包括分割模式接收模組322與解碼模組324。
值得注意的是，本揭露中的編碼器與解碼器可以是由軟體模組或程式碼來實作，例如，儲存電路330會儲存上述分割模式設定模組、影像分割模組、編碼模組、分割模式接收模組以及解碼模組的軟體程式碼，並且當影像處理晶片300致能時，此些 軟體程式碼會從儲存電路330被載入至緩衝記憶體304且由處理器電路302執行以運作分割模式設定模組、影像分割模組、編碼模組、分割模式接收模組以及解碼模組的功能。然而，本揭露不限於此，例如，在本揭露另一範例實施例中，影像處理晶片、編碼器與解碼器可以是由硬體電路來實作。例如，上述分割模式設定模組、影像分割模組、編碼模組、分割模式接收模組以及解碼模組可以硬體電路實作為分割模式設定電路、影像分割電路、編碼電路、分割模式接收電路以及解碼電路。
為了更清楚地描述編碼器310、解碼器320與影像處理晶片300的運作，以下將參照圖3C的影像處理晶片300以一範例來進行說明。
圖4是根據本揭露之第一範例實施例所繪示的影像處理運作示意圖。
請參照圖4，在此假設編碼單元402的大小為2N×2N，其中N為正整數，並且影像分割模組314根據分割模式設定模組312所選擇的分割模式將編碼單元402分割為大小為N×2N的兩個子區塊402-1與402-2。舉例來說，編碼模組316會在預定的搜尋範圍內(例如，在本範例實施例中，搜尋範圍為兩個編碼樹單元，即，編碼樹單元400-1與編碼樹單元400-2)搜尋與子區塊402-1與402-2大小一樣的多個搜尋區塊來進行比對，以尋找對應每一子區塊402-1與402-2之最相似的參考區塊。在本範例實施例中，搜尋範圍為兩個編碼樹單元，亦即，編碼樹單元400-1與編碼樹單元 400-2，換言之，搜尋範圍是欲編碼之編碼單元402所在的編碼樹單元400-1延伸至其左邊64個像素寬的區塊(以編碼樹單元的大小為64×64的區塊為例)，但不包括目前欲編碼的編碼單元或編碼樹單元內未解碼的區域。然而，本揭露並不加以限制搜尋範圍的區域，例如，在另一範例實施例中，搜尋範圍亦可包括目前欲編碼的編碼單元或編碼樹單元內未解碼的區域。
例如，在本範例實施例中，當編碼模組316在搜尋範圍內搜尋對應於此些子區塊之中的其中一個子區塊(例如，子區塊402-1)的參考區塊的操作中，編碼模組316會在搜尋範圍內搜尋多個搜尋區塊並且計算每一搜尋區塊的像素值，並且根據此些搜尋區塊的像素值計算此些搜尋區塊分別與子區塊402-1之間的亮度失真值與編碼此些搜尋區塊與子區塊402-1所需之亮度位元數。在此，編碼搜尋區塊與子區塊所需之亮度位元數可以是搜尋區塊與子區塊之間的移動向量及/或殘餘值編碼所需之位元數。
此後，編碼模組316會根據對應每一搜尋區塊的亮度失真值與編碼此些搜尋區塊與子區塊402-1所需之亮度位元數選出多個候選區塊。例如，編碼模組316是根據對應每一搜尋區塊的亮度失真值與編碼此些搜尋區塊與子區塊402-1所需之亮度位元數計算出對應每一搜尋區塊的一亮度代價值，並將上述對應每一搜尋區塊的亮度代價值之中的多個最小值所對應的多個搜尋區塊作為候選區塊。上述多個候選區塊例如是八個候選區塊，在另一實施例中，候選區塊也可能是六個、七個、九個或十六個候選區 塊，但並不以此為限。
之後，編碼模組316會根據此些候選區塊的像素值計算此些候選區塊分別與子區塊402-1之間的彩度失真值及編碼此些候選區塊與子區塊402-1所需要的彩度位元數，並且計算對應每一候選區塊的彩度失真值與亮度失真值的總和失真值和計算對應每一候選區塊的彩度位元數與亮度位元數的總和位元數。接著，編碼模組316會根據編碼每一候選區塊與子區塊402-1所需之總和位元數與對應每一候選區塊的總和失真值計算出對應每一候選區塊的總代價值，並且編碼模組316會將上述對應每一候選區塊的總代價值之中的一個最小值所對應的候選區塊作為參考區塊404。其中上述亮度失真值可以由絕對誤差合(Sum of Absolute Difference，SAD)、均方差(Mean Squared Error，MSE)等方式來表示。
在本範例實施例中，是先以亮度失真值及所需的亮度位元數先篩選出多個候選區塊，再使用亮度失真值、彩度失真值及所需位元數選出參考區塊404，然而本揭露不限於此。在又一範例實施例中，編碼模組316可全部使用亮度失真值及所需的位元數挑選最佳的參考區塊，或是編碼模組316可全部使用亮度失真值、彩度失真值及所需位元數挑選出最佳的參考區塊，而不需先挑選出候選區塊。
值得一提的是，本揭露並不加以限制獲得參考區塊的計算方法，例如，在另一範例實施例中，亮度失真值、彩度失真值 與編碼所需的位元數是根據編碼單元402(即，合併後的子區塊402-1和子區塊402-2)以及多個搜尋區塊所計算，舉例來說，編碼模組316會計算多個搜尋區塊分別與編碼單元402之間的亮度失真值以及編碼此些搜尋區塊與編碼單元402所需之位元數。也就是說，亮度失真值與編碼所需的位元數並不侷限於由個別的根據子區塊402-1與多個搜尋區塊來計算，或由個別的根據子區塊402-2與多個搜尋區塊來計算。
在編碼模組316獲得上述參考區塊404之後，編碼模組316會記錄子區塊402-1與對應於子區塊402-1之參考區塊404之間的相對位置，以依據對應於子區塊402-1的參考區塊404以及子區塊402-1與參考區塊404之間相對位置來編碼子區塊402-1。具體而言，編碼模組316會根據子區塊402-1的位置與參考區塊404的位置來計算出向量410，並且藉由此向量410識別子區塊402-1與參考區塊404的相對位置。在本範例實施例中，編碼模組316會將此相對位置傳送給解碼模組324，亦即，解碼模組324會從編碼模組316接收到子區塊402-1與對應於此子區塊402-1的參考區塊404之間的相對位置。特別是，在編碼器310的分割模式設定模組314根據所選擇的分割模式進行設定後，亦會將所選擇的分割模式傳送至解碼器320的分割模式接收模組322。因此，在解碼模組324解碼子區塊402-1的操作中，解碼模組324是根據分割模式接收模組322所接收的分割模式以及依據所獲得的相對位置從解碼畫面(例如編碼樹單元400-2)中獲取對應於參考區塊 404的內容，並且在解碼畫面中根據此相對位置將對應於參考區塊404的內容複製到子區塊402-1的位置上。
在本揭露範例實施例中，上述編碼模組316的搜尋範圍會包括至少一其他子區塊，並且在解碼模組324於解碼畫面中解碼其中一個子區塊(例如，子區塊402-1)之前，此至少一其他子區塊(例如，參考區塊404)是已經先被解碼的區塊，亦即，搜尋範圍不包括目前欲編碼的編碼單元或編碼樹單元內未解碼的區域，然而，本揭露並不加以限制搜尋範圍，例如，在另一範例實施例中，搜尋範圍亦可包括目前欲編碼的編碼單元或編碼樹單元內未解碼的區域。此外，在本揭露範例實施例中，搜尋範圍可包括第一編碼樹單元400-1以及鄰近於此第一編碼樹單元400-1的至少一第二編碼樹單元400-2。換言之，搜尋範圍可以是一個編碼樹單元(例如，編碼樹單元400-1)的大小，也可以是兩個編碼樹單元(例如，編碼樹單元400-1與編碼樹單元400-2，其中編碼樹單元400-2是鄰近於編碼樹單元400-1的編碼樹單元)的大小，甚至也可以是包括編碼樹單元400-1與鄰近於編碼樹單元400-1之多個編碼樹單元的大小，然而，本揭露並不限於此，本揭露的搜尋範圍亦可以是整張畫面的大小。
在本範例實施例中，對應於子區塊402-1之最相似的參考區塊為參考區塊404，且對應於子區塊402-1與參考區塊404之間的相對位置的向量為向量410。值得一提的是，在編碼模組316比對與搜尋對應於子區塊402-1、402-2之參考區塊的操作中，以 水平方向搜尋而言，編碼模組316最遠可以搜尋到區塊401a的畫面，以垂直方向搜尋而言，編碼模組316最遠可以搜尋到區塊401d的畫面，而以二維搜尋而言，最遠可以搜尋到區塊401b的畫面。
[第二範例實施例]
第二範例實施例與第一範例實施例主要差異處在於第二範例實施例是將大小為2N×2N的編碼單元分割為兩個大小為2N×N的子區塊來進行影像處理。以下將使用第一範例實施例的系統及元件標號來說明第二範例實施例與第一範例實施例的差異之處。
圖5是根據本揭露之第二範例實施例所繪示的影像處理運作示意圖。
在本例實施例中，當分割模式設定模組312選擇的分割模式為將編碼單元分割為兩個大小為2N×N的子區塊時，影像分割模組314會根據從分割模式設定模組312所接收到的分割模式將編碼單元分割為兩個大小為2N×N的子區塊。請參照圖5，影像分割模組316將編碼單元502分割為兩個子區塊502-1與502-2，並且每一子區塊的大小皆為2N×N。在此範例實施例中，編碼模組316與解碼模組324是以相似於第一範例實施例所示之操作方式來獲得對應於子區塊502-1與502-2之最相似的參考區塊以及其與參考區塊之間的相對位置，以在解碼時將此些參考區塊複製到所對應的子區塊502-1與502-2的位置上，在此不再重述。例如，在本範例實施例中，所獲得之對應於子區塊502-1之最相似的參考 區塊為參考區塊504，且對應於子區塊502-1與參考區塊504之間的相對位置的向量為向量510。此外，在編碼模組316比對與搜尋對應於子區塊502-1與502-2之參考區塊的操作中，以水平方向搜尋而言，編碼模組516最遠可以搜尋到區塊501a的畫面，以垂直方向搜尋而言，編碼模組316最遠可以搜尋到區塊501d的畫面，而以二維搜尋而言，最遠可以搜尋到區塊501b的畫面。
綜上所述，本揭露之範例實施例所提出的影像處理方法及使用此方法的影像處理系統、編碼器與解碼器藉由將目前正在編碼的編碼單元分割為大小為N×2N或2N×N的兩個子區塊，由此能夠快速地找到對應於此些子區塊之最適當且匹配的參考區塊，進而減少編碼運算所需要的時間，並可有效地提升螢幕視訊編碼技術的編碼效能。
S201、S203、S205、S207、S209‧‧‧影像處理方法的步驟

Claims (22)

  1. 一種影像處理方法，包括：在一編碼畫面中，將一第一編碼樹單元中的一編碼單元分割為多個子區塊，其中該編碼單元的大小為2N×2N，並且該些子區塊的大小為N×2N或者為2N×N，其中該N為正整數；在該編碼畫面中的一搜尋範圍內搜尋對應於該些子區塊之中的其中一個子區塊的一參考區塊；記錄該其中一個子區塊與對應於該其中一個子區塊的該參考區塊之間的一相對位置；以及依據該相對位置來編碼該其中一個子區塊。
  2. 如申請專利範圍第1項所述之影像處理方法，更包括根據該相對位置與對應該其中一個子區塊的該參考區塊，在一解碼畫面中解碼該其中一個子區塊。
  3. 如申請專利範圍第2項所述之影像處理方法，其中根據該相對位置與對應該其中一個子區塊的該參考區塊，解碼該其中一個子區塊的步驟包括：獲取該相對位置；依據該相對位置從該解碼畫面中獲取對應該參考區塊的內容；以及在該解碼畫面中將對應該參考區塊的內容複製到對應該其中一個子區塊的位置上。
  4. 如申請專利範圍第3項所述之影像處理方法，其中在該搜 尋範圍內搜尋對應於該些子區塊之中的該其中一個子區塊的該參考區塊的步驟包括：在該搜尋範圍內搜尋多個搜尋區塊並且計算每一該些搜尋區塊的一像素值；根據該些搜尋區塊的像素值計算該些搜尋區塊分別與該其中一個子區塊之間的多個亮度失真值與編碼該些搜尋區塊與該其中一個子區塊所需之亮度位元數；根據對應每一該些搜尋區塊的亮度失真值以及編碼該些搜尋區塊與該其中一個子區塊所需之亮度位元數選出多個候選區塊；根據該些候選區塊的像素值計算該些候選區塊分別與該其中一個子區塊之間的多個彩度失真值及編碼該些候選區塊與該其中一個子區塊所需之彩度位元數，且計算對應每一該些候選區塊的彩度失真值與亮度失真值的一總和失真值和計算對應每一該些候選區塊的彩度位元數與亮度位元數的一總和位元數；以及根據對應每一該些候選區塊所需之該總和位元數以及對應每一該些候選區塊的該總和失真值計算出對應每一該些候選區塊的一總代價值，並將對應每一該些候選區塊的該總代價值之中的一最小值所對應的候選區塊作為該參考區塊。
  5. 如申請專利範圍第4項所述之影像處理方法，其中該搜尋範圍包括至少一其他子區塊，其中在該解碼畫面中在解碼該其中一個子區塊之前，該至少一其他子區塊已經被解碼。
  6. 如申請專利範圍第5項所述之影像處理方法，其中該搜尋 範圍包括該第一編碼樹單元以及鄰近於該第一編碼樹單元的至少一第二編碼樹單元。
  7. 一種編碼器，用於一編碼畫面中的影像處理，該編碼器包括：一分割模式設定模組，用以選擇一分割模式；一影像分割模組，用以在該編碼畫面中，根據該分割模式將一第一編碼樹單元中的一編碼單元分割多個子區塊，其中該編碼單元的大小為2N×2N，並且該些子區塊的大小為N×2N或者為2N×N，其中該N為正整數；以及一編碼模組，用以在該編碼畫面中的一搜尋範圍內搜尋對應該些子區塊之中的其中一個子區塊的一參考區塊，其中該編碼模組更用以記錄該其中一個子區塊與對應於該其中一個子區塊的該參考區塊之間的一相對位置，其中該編碼模組更用以依據該相對位置來編碼該其中一個子區塊。
  8. 如申請專利範圍第7項所述之編碼器，其中在該編碼模組在該搜尋範圍內搜尋對應於該些子區塊之中的該其中一個子區塊的該參考區塊的操作中，該編碼模組更用以在該搜尋範圍內搜尋多個搜尋區塊並且計算每一該些搜尋區塊的一像素值，其中該編碼模組更用以根據該些搜尋區塊的像素值計算該些搜尋區塊分別與該其中一個子區塊之間的多個亮度失真值與編碼該些搜尋區塊與該其中一個子區塊所需之亮度位元數， 其中該編碼模組更用以根據對應每一該些搜尋區塊的亮度失真值以及編碼該些搜尋區塊與該其中一個子區塊所需之亮度位元數選出多個候選區塊，其中該編碼模組更用以根據該些候選區塊的像素值計算該些候選區塊分別與該其中一個子區塊之間的多個彩度失真值及編碼該些候選區塊與該其中一個子區塊所需之彩度位元數，且計算對應每一該些候選區塊的彩度失真值與亮度失真值的一總和失真值和計算對應每一該些候選區塊的彩度位元數與亮度位元數的一總和位元數，其中該編碼模組更用以根據對應每一該些候選區塊所需之該總和位元數以及對應每一該些候選區塊的該總和失真值計算出對應每一該些候選區塊的一總代價值，並將對應每一該些候選區塊的該總代價值之中的一最小值所對應的候選區塊作為該參考區塊。
  9. 如申請專利範圍第8項所述之編碼器，該搜尋範圍包括至少一其他子區塊，其中在該解碼畫面中在解碼該其中一個子區塊之前，該至少一其他子區塊已經被解碼。
  10. 如申請專利範圍第9項所述之編碼器，其中該搜尋範圍包括該第一編碼樹單元以及鄰近於該第一編碼樹單元的至少一第二編碼樹單元。
  11. 一種解碼器，用於一解碼畫面中的影像處理，該解碼器包括： 一分割模式接收模組，用以接收一分割模式；以及一解碼模組，用以接收一第一編碼樹單元中的一編碼單元所被分割為多個子區塊中的其中一個子區塊與對應於該其中一個子區塊的一參考區塊之間的一相對位置，其中該編碼單元的大小為N×2N或2N×N，並且該些子區塊的大小為N×2N或者為2N×N，其中該N為正整數，其中該解碼模組更用以根據該分割模式、該相對位置與對應該其中一個子區塊的該參考區塊，在該解碼畫面中解碼該其中一個子區塊，其中該參考區塊為在該解碼畫面中的一搜尋範圍內對應於該些子區塊之中的其中一個子區塊。
  12. 如申請專利範圍第11項所述之解碼器，其中該解碼模組根據該相對位置與對應該其中一個子區塊的該參考區塊，解碼該其中一個子區塊的操作中，其中該解碼模組更用以依據該相對位置從該解碼畫面中獲取對應該參考區塊的內容，其中該解碼模組更用以在該解碼畫面中將對應該參考區塊的內容複製到對應該其中一個子區塊的位置上。
  13. 如申請專利範圍第12項所述之解碼器，其中該搜尋範圍包括至少一其他子區塊，其中在該解碼畫面中在解碼該其中一個子區塊之前，該至少一其他子區塊已經被解碼。
  14. 一種影像處理系統，包括：一編碼器模組，具有一分割模式設定模組、一影像分割模組 與一編碼模組；以及一解碼器模組，具有一分割模式接收模組與一解碼模組，其中該分割模式設定模組用以選擇一分割模式，其中該影像分割模組用以在一編碼畫面中，根據該分割模式將一第一編碼樹單元中的一編碼單元分割多個子區塊，其中該編碼單元的大小為2N×2N，並且該些子區塊的大小為N×2N或者為2N×N，其中該N為正整數，其中該編碼模組用以在該編碼畫面中的一搜尋範圍內搜尋對應該些子區塊之中的其中一個子區塊的一參考區塊，其中該編碼模組更用以記錄該其中一個子區塊與對應於該其中一個子區塊的該參考區塊之間的一相對位置，其中該編碼模組更用以依據該相對位置來編碼該其中一個子區塊。
  15. 如申請專利範圍第14項所述之影像處理系統，其中該分割模式接收模組用以接收該分割模式，其中該解碼模組用以根據該分割模式、該相對位置與對應該其中一個子區塊的該參考區塊，在一解碼畫面中解碼該其中一個子區塊。
  16. 如申請專利範圍第15項所述之影像處理系統，其中在該解碼模組根據該相對位置與對應該其中一個子區塊的該參考區塊，在該解碼畫面中解碼該其中一個子區塊的操作中，該解碼模組更用以獲取該相對位置， 其中該解碼模組更用以依據該相對位置從該解碼畫面中獲取對應該參考區塊的內容，其中該解碼模組更用以在該解碼畫面中將對應該參考區塊的內容複製到對應該其中一個子區塊的位置上。
  17. 如申請專利範圍第16項所述之影像處理系統，在該編碼模組在該搜尋範圍內搜尋對應於該些子區塊之中的該其中一個子區塊的該參考區塊的操作中，該編碼模組更用以在該搜尋範圍內搜尋多個搜尋區塊並且計算每一該些搜尋區塊的一像素值，其中該編碼模組更用以根據該些搜尋區塊的像素值計算該些搜尋區塊分別與該其中一個子區塊之間的多個亮度失真值與編碼該些搜尋區塊與該其中一個子區塊所需之亮度位元數，其中該編碼模組更用以根據對應每一該些搜尋區塊的亮度失真值以及編碼該些搜尋區塊與該其中一個子區塊所需之亮度位元數選出多個候選區塊，其中該編碼模組更用以根據該些候選區塊的像素值計算該些候選區塊分別與該其中一個子區塊之間的多個彩度失真值及編碼該些候選區塊與該其中一個子區塊所需之彩度位元數，且計算對應每一該些候選區塊的彩度失真值與亮度失真值的一總和失真值和計算對應每一該些候選區塊的彩度位元數與亮度位元數的一總和位元數，其中該編碼模組更用以根據對應每一該些候選區塊所需之該總和位元數以及對應每一該些候選區塊的該總和失真值計算出對 應每一該些候選區塊的一總代價值，並將對應每一該些候選區塊的該總代價值之中的一最小值所對應的候選區塊作為該參考區塊。
  18. 如申請專利範圍第17項所述之影像處理系統，其中該搜尋範圍包括至少一其他子區塊，其中在該解碼畫面中在解碼該其中一個子區塊之前，該至少一其他子區塊已經被解碼。
  19. 如申請專利範圍第18項所述之影像處理系統，其中該搜尋範圍包括該第一編碼樹單元以及鄰近於該第一編碼樹單元的至少一第二編碼樹單元。
  20. 一種解碼方法，包括：接收一第一編碼樹單元中的一編碼單元所被分割為多個子區塊中的其中一個子區塊與對應於該其中一個子區塊的一參考區塊之間的一相對位置，其中該編碼單元的大小為2N×2N，並且該些子區塊的大小為N×2N或者為2N×N，其中該N為正整數；以及根據該相對位置與對應該其中一個子區塊的該參考區塊，在一解碼畫面中解碼該其中一個子區塊，其中該參考區塊為在該解碼畫面中的一搜尋範圍內的對應於該些子區塊之中的其中一個子區塊。
  21. 如申請專利範圍第20項所述之解碼方法，其中根據該相對位置與對應該其中一個子區塊的該參考區塊，解碼該其中一個子區塊的步驟包括：獲取該相對位置； 依據該相對位置從一解碼畫面中獲取對應該參考區塊的內容；以及在該解碼畫面中將對應該參考區塊的內容複製到對應該其中一個子區塊的位置上。
  22. 如申請專利範圍第21項所述之解碼方法，其中該搜尋範圍包括至少一其他子區塊，其中在該解碼畫面中在解碼該其中一個子區塊之前，該至少一其他子區塊已經被解碼。
TW103142135A 2013-12-27 2014-12-04 影像處理方法與系統、解碼方法、編碼器與解碼器 TWI536811B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/583,111 US20150189333A1 (en) 2013-12-27 2014-12-25 Method and system for image processing, decoding method, encoder, and decoder
CN201410821814.1A CN104754343B (zh) 2013-12-27 2014-12-25 图像处理方法与系统、解码方法、编码器与解码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361921091P 2013-12-27 2013-12-27

Publications (2)

Publication Number Publication Date
TW201526617A true TW201526617A (zh) 2015-07-01
TWI536811B TWI536811B (zh) 2016-06-01

Family

ID=53483424

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103142135A TWI536811B (zh) 2013-12-27 2014-12-04 影像處理方法與系統、解碼方法、編碼器與解碼器
TW103145939A TWI565298B (zh) 2013-12-27 2014-12-27 利用畫面內矩形區塊估測模式的視訊編解碼方法及其裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103145939A TWI565298B (zh) 2013-12-27 2014-12-27 利用畫面內矩形區塊估測模式的視訊編解碼方法及其裝置

Country Status (2)

Country Link
US (1) US10142654B2 (zh)
TW (2) TWI536811B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI666926B (zh) * 2016-10-14 2019-07-21 聯發科技股份有限公司 使用樹結構的塊分割
WO2022037628A1 (en) * 2020-08-20 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Block vector processing in intra block copy coding

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
MX2016004705A (es) 2013-10-14 2016-07-18 Microsoft Technology Licensing Llc Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video.
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
WO2015100726A1 (en) * 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
JP2017512026A (ja) 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
US10477232B2 (en) * 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
WO2015194913A1 (ko) * 2014-06-20 2015-12-23 성균관대학교 산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR101748620B1 (ko) * 2014-06-20 2017-07-04 성균관대학교산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding
CN106034236B (zh) 2015-03-19 2019-07-19 阿里巴巴集团控股有限公司 一种hevc编码最佳参考帧的选择方法、装置及编码器
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
CN112567749B (zh) * 2018-06-18 2024-03-26 Lg电子株式会社 使用仿射运动预测来处理视频信号的方法和装置
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
CN113475079A (zh) * 2019-02-01 2021-10-01 北京字节跳动网络技术有限公司 环路整形和帧内块复制之间的相互作用
KR20210118400A (ko) 2019-02-01 2021-09-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 루마 종속적 크로마 잔차 스케일링의 구성
WO2020171658A1 (ko) * 2019-02-21 2020-08-27 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11012686B2 (en) * 2019-03-08 2021-05-18 Tencent America LLC Unified block vector prediction for intra picture block compensation
EP3939268A1 (en) * 2019-03-11 2022-01-19 VID SCALE, Inc. Intra sub-partitions in video coding
CN117499644A (zh) 2019-03-14 2024-02-02 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
WO2020192614A1 (en) 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
EP3942811A4 (en) * 2019-04-24 2022-06-15 ByteDance Inc. CONSTRAINTS ON THE REPRESENTATION OF A DIFFERENTIAL MODULATION BY CODED PULSES OF QUANTIFIED RESIDUE FOR A CODED VIDEO
KR20220002292A (ko) 2019-05-01 2022-01-06 바이트댄스 아이엔씨 양자화된 잔차 차동 펄스 코드 변조 코딩을 사용하는 인트라 코딩된 비디오
WO2020223615A1 (en) 2019-05-02 2020-11-05 Bytedance Inc. Coding mode based on a coding tree structure type
CN115280778A (zh) * 2020-04-03 2022-11-01 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及存储介质
KR20220157765A (ko) * 2021-05-21 2022-11-29 삼성전자주식회사 영상 부호화 장치 및 이의 동작 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US7120196B2 (en) 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
KR101432775B1 (ko) * 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
HUE051313T2 (hu) 2009-10-01 2021-03-01 Sk Telecom Co Ltd Eljárás és készülék képek változtatható méretû makroblokkok használatával történõ kódolására/dekódolására
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
JP5784596B2 (ja) * 2010-05-13 2015-09-24 シャープ株式会社 予測画像生成装置、動画像復号装置、及び、動画像符号化装置
EP4120686B1 (en) * 2011-01-07 2023-08-23 Ntt Docomo, Inc. Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector
JP5541240B2 (ja) * 2011-07-12 2014-07-09 コニカミノルタ株式会社 画像形成装置および画像処理方法
CN103648434A (zh) * 2011-07-12 2014-03-19 高露洁-棕榄公司 牙刷和牙刷柄部
TWI424583B (zh) * 2011-07-25 2014-01-21 Nat Univ Tsing Hua 薄膜太陽能電池的製造方法
RU2710303C2 (ru) * 2011-11-08 2019-12-25 Кт Корпорейшен Способ декодирования видеосигнала
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
WO2013115560A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 공간 서브영역별로 비디오를 부호화하는 방법 및 그 장치, 공간 서브영역별로 비디오를 복호화하는 방법 및 그 장치
US9503715B2 (en) * 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
WO2015131325A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI666926B (zh) * 2016-10-14 2019-07-21 聯發科技股份有限公司 使用樹結構的塊分割
WO2022037628A1 (en) * 2020-08-20 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Block vector processing in intra block copy coding

Also Published As

Publication number Publication date
TW201540047A (zh) 2015-10-16
US20150189272A1 (en) 2015-07-02
US10142654B2 (en) 2018-11-27
TWI565298B (zh) 2017-01-01
TWI536811B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
TWI536811B (zh) 影像處理方法與系統、解碼方法、編碼器與解碼器
JP7279233B2 (ja) ビデオを符号化して送信する方法およびコンピュータプログラム
WO2015124058A1 (zh) 编解码方法和装置
US20230421790A1 (en) Secondary transform for intra prediction
CN111819852A (zh) 用于变换域中残差符号预测的方法及装置
KR20200110442A (ko) 다중 부호 비트 숨기기 및 잔차 부호 예측을 조화시키기 위한 방법 및 장치
CN104581177B (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
US8526745B2 (en) Embedded graphics coding: reordered bitstream for parallel decoding
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
WO2020103800A1 (zh) 视频解码方法和视频解码器
CN112840657B (zh) 用于视频解码的方法、装置、设备和可读介质
US20230232027A1 (en) Sign coding for one-dimensional transform skip
CN104754343B (zh) 图像处理方法与系统、解码方法、编码器与解码器
US20220150510A1 (en) Method and apparatus for video coding
US11395002B2 (en) Prediction direction selection method and apparatus in image encoding, and storage medium
JP2013506379A (ja) カラー画像のための結合スカラー埋め込みグラフィックス符号化
US20230020637A1 (en) Quantizer for One-Dimensional Transform Skip
US20220353547A1 (en) Entropy coding of sign map for transform coefficients
CN105122808A (zh) 用于三维及多视图视频编码的视差向量推导的方法及装置
CN115769575A (zh) 用于视频编码的方法和设备
CN116076074A (zh) 用于视频编码中的时域滤波的方法和设备
RU2787812C2 (ru) Способ и аппаратура предсказания видеоизображений
RU2778993C2 (ru) Способ и аппаратура предсказания видеоизображений
US20230247209A1 (en) Signalling of eob for one dimensional transform skip
US20230179764A1 (en) Arrangement of adaptive loop filter coefficients for fast vectorized transpositions