TWI596934B - Video encoding device, video encoding method and recording medium - Google Patents
Video encoding device, video encoding method and recording medium Download PDFInfo
- Publication number
- TWI596934B TWI596934B TW105136463A TW105136463A TWI596934B TW I596934 B TWI596934 B TW I596934B TW 105136463 A TW105136463 A TW 105136463A TW 105136463 A TW105136463 A TW 105136463A TW I596934 B TWI596934 B TW I596934B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- signal
- quantization parameter
- coding
- unit
- Prior art date
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明係有關於影像編碼及解碼技術,尤其是有關於利用了濾波的影像編碼及解碼技術。
動態影像的壓縮編碼方式的具有代表性者,係有MPEG-2視訊、MPEG-4映像、MPEG-4 AVC/H.264等規格。在這些規格中,是將圖像分割成複數矩形區塊而以區塊單位來進行編碼/解碼。由於是以區塊單位,進行畫面內預測、畫面間預測、正交轉換、量化而進行編碼,因此在區塊的交界會產生失真。此失真被稱作區塊失真。區塊失真,係因為夾著區塊交界的上下、或左右的2個區塊間的畫面內/畫面間等之模式、在畫面間預測中所參照之影像、在畫面間預測中所使用的運動向量、量化之際的量化參數等之差異等原因,而發生。對解碼後的影像,去除或減少該區塊失真的處理,稱作去區塊濾波法。
[非專利文獻1]ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
為了減少因量化所產生的區塊失真,去區塊濾波之強度,必須要隨著量化參數而適切地設定。
本發明係有鑑於此種狀況而研發,其目的在於,提供一種,為了降低區塊失真而可適切地設定去區塊濾波之強度(濾波強度)的影像編碼技術及對應於其的影像解碼技術。
提供一種影像解碼裝置,係屬於以區塊單位將含有亮度訊號與色差訊號的影像訊號進行解碼的影像解碼裝置,其特徵為,含有:量化參數導出部,係將區塊的量化參數,予以導出;和第1解碼部,係將已被壓縮編碼之區塊的影像訊號,基於前記量化參數而進行逆量化並解碼;和第2解碼部,係將已被非壓縮編碼之區塊的影像訊號,予以解碼;和去區塊濾波器部,係使用區塊交界之兩側的區塊所各自被設定之量化參數值,來導出濾波強度,對前記區塊交界之兩側的區塊的已解碼影像訊號實施濾波處理;前記量化參數導出部,係於已被壓縮編碼之區塊及已被非壓縮編碼之區塊中,導出前記量化參數;前記去區塊濾波器部,係不區別前記區塊交界的影像訊號是否已被非壓縮編碼,就使用前記區塊交界之兩側的區塊所各自被
設定之前記量化參數值的平均值來導出前記濾波強度,並且基於用來表示在前記被非壓縮編碼之區塊的影像訊號上將濾波處理設成或是不設成無效的旗標,當前記旗標表示不設成無效時,係將前記濾波處理實施後的影像訊號予以輸出,當前記旗標表示要設成無效時,係在前記被非壓縮編碼之區塊上,將實施前記濾波處理前的影像訊號,直接當成輸出訊號。
提供一種影像解碼方法,係屬於以區塊單位將含有亮度訊號與色差訊號的影像訊號進行解碼的影像解碼方法,其特徵為,含有:量化參數導出步驟,係將區塊的量化參數,予以導出;和第1解碼步驟,係將已被壓縮編碼之區塊的影像訊號,基於前記量化參數而進行逆量化並解碼;和第2解碼步驟,係將已被非壓縮編碼之區塊的影像訊號,予以解碼;和去區塊濾波步驟,係使用區塊交界之兩側的區塊所各自被設定之量化參數值,來導出濾波強度,對前記區塊交界之兩側的區塊的已解碼影像訊號實施濾波處理;前記量化參數導出步驟,係於已被壓縮編碼之區塊及已被非壓縮編碼之區塊中,導出前記量化參數;前記去區塊濾波步驟,係不區別前記區塊交界的影像訊號是否已被非壓縮編碼,就使用前記區塊交界之兩側的區塊所各自被設定之前記量化參數值的平均值來導出前記濾波強度,並且基於用來表示在前記被非壓縮編碼之區塊的影像訊號上將濾波處理設成或是不設成無效的旗標,當前記旗標表示不設成無效時,係將前記濾波處理實施後的影像
訊號予以輸出,當前記旗標表示要設成無效時,係在前記被非壓縮編碼之區塊上,將實施前記濾波處理前的影像訊號,直接當成輸出訊號。
提供一種記錄媒體,係儲存有以區塊單位將含有亮度訊號與色差訊號的影像訊號進行解碼的影像解碼程式,其特徵為,前記影像解碼程式令電腦執行:量化參數導出步驟,係將區塊的量化參數,予以導出;和第1解碼步驟,係將已被壓縮編碼之區塊的影像訊號,基於前記量化參數而進行逆量化並解碼;和第2解碼步驟,係將已被非壓縮編碼之區塊的影像訊號,予以解碼;和去區塊濾波步驟,係使用區塊交界之兩側的區塊所各自被設定之量化參數值,來導出濾波強度,對前記區塊交界之兩側的區塊的已解碼影像訊號實施濾波處理;前記量化參數導出步驟,係於已被壓縮編碼之區塊及已被非壓縮編碼之區塊中,導出前記量化參數;前記去區塊濾波步驟,係不區別前記區塊交界的影像訊號是否已被非壓縮編碼,就使用前記區塊交界之兩側的區塊所各自被設定之前記量化參數值的平均值來導出前記濾波強度,並且基於用來表示在前記被非壓縮編碼之區塊的影像訊號上將濾波處理設成或是不設成無效的旗標,當前記旗標表示不設成無效時,係將前記濾波處理實施後的影像訊號予以輸出,當前記旗標表示要設成無效時,係在前記被非壓縮編碼之區塊上,將實施前記濾波處理前的影像訊號,直接當成輸出訊號。
此外,即使將以上構成要素之任意組合、本
發明之表現,在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者,對本發明的態樣而言皆為有效。
若依據本發明,則可適切地設定濾波強度以降低區塊失真。
101‧‧‧影像記憶體
102‧‧‧量化參數決定部
103‧‧‧畫面內預測部
104‧‧‧PCM編碼部
105‧‧‧畫面間預測部
106‧‧‧編碼方法決定部
107‧‧‧殘差訊號生成部
108‧‧‧正交轉換‧量化部
109‧‧‧逆量化‧逆正交轉換部
110‧‧‧解碼影像訊號重疊部
111‧‧‧去區塊濾波器部
112‧‧‧編碼資訊儲存記憶體
113‧‧‧第1解碼影像記憶體
114‧‧‧第2解碼影像記憶體
115‧‧‧第1編碼位元列生成部
116‧‧‧第2編碼位元列生成部
117‧‧‧第3編碼位元列生成部
118‧‧‧編碼位元列多工化部
119‧‧‧開關
201‧‧‧編碼位元列分離部
202‧‧‧第1編碼位元列解碼部
203‧‧‧第2編碼位元列解碼部
204‧‧‧第3編碼位元列解碼部
205‧‧‧量化參數導出部
206‧‧‧畫面內預測部
207‧‧‧PCM解碼部
208‧‧‧畫面間預測部
209‧‧‧逆量化‧逆正交轉換部
210‧‧‧解碼影像訊號重疊部
211‧‧‧去區塊濾波器部
212‧‧‧編碼資訊儲存記憶體
213‧‧‧第1解碼影像記憶體
214‧‧‧第2解碼影像記憶體
215‧‧‧開關
216‧‧‧開關
[圖1]實施形態的影像編碼裝置之構成的區塊圖。
[圖2]實施形態的影像解碼裝置之構成的區塊圖。
[圖3]本實施例所規定之樹區塊、及編碼區塊的說明圖。
[圖4]本實施例所規定之分割模式的說明圖。
[圖5]量化群組區塊之一例的說明圖。
[圖6]量化參數之決定及編碼處理程序的說明用流程圖。
[圖7]量化參數之解碼.導出處理程序的說明用流程圖。
[圖8]圖6的步驟S1109、圖7的步驟S1206中的量化參數之預測值之導出處理之程序的說明用流程圖。
[圖9]區塊交界之像素之一例的說明圖。
[圖10]影像編碼裝置的去區塊濾波器部111及影像解碼裝置的去區塊濾波器部211所進行的處理之程序的說明用流程圖。
[圖11]每編碼區塊的去區塊濾波器處理程序的說明用
流程圖。
[圖12]編碼區塊內的轉換區塊的垂直交界與水平交界之一例的說明圖。
[圖13]編碼區塊內的預測區塊的垂直交界與水平交界之一例的說明圖。
[圖14]圖11的步驟S2204的訊號之濾波處理程序的流程圖。
[圖15]第1實施例的圖14之步驟S2302的區塊邊緣的濾波處理程序的流程圖。
[圖16]將索引indexB與變數β建立對應而成的表的說明圖。
[圖17]將索引indexTc與變數tc建立對應而成的表的說明圖。
[圖18]第1實施例的圖15之步驟S3114中的每線之訊號的濾波處理之程序的流程圖。
[圖19]第2實施例及第3實施例的圖14之步驟S2302的區塊邊緣的濾波處理程序的流程圖。
[圖20]第2實施例的圖19之步驟S3114中的每線之訊號的濾波處理之程序的流程圖。
[圖21]第3實施例的圖19之步驟S3114中的每線之訊號的濾波處理之程序的流程圖。
在本實施形態中,係關於動態影像的編碼,
尤其是以將圖像分割成任意尺寸、形狀之矩形而成的區塊單位,進行後述的畫面內預測、畫面間預測、正交轉換、量化而進行編碼。
首先定義本實施形態中所使用的技術、及技術用語。
在實施形態中,如圖3所示,將圖像內均等分割成任意之同一尺寸的正方之矩形單位。將此單位定義為樹區塊,是用來在圖像內將編碼/解碼對象區塊(編碼處理時係為編碼對象區塊、解碼處理時係為解碼對象區塊。以下若無特別聲明則都是如此意思)加以特定所需之位址管理的基本單位。單色除外的樹區塊,係由1個亮度訊號與2個色差訊號所構成。樹區塊的尺寸係隨應於圖像尺寸或圖像內的紋理,而可自由設定成2的次方數的尺寸。樹區塊係會隨著圖像內的紋理,為了使編碼處理最佳化,而可因應需要而將樹區塊內的亮度訊號及色差訊號遞迴地4分割(縱橫各2分割),變成小尺寸的區塊。將此區塊分別定義為編碼區塊,是進行編碼及解碼之際的處理的基本單位。單色除外的編碼區塊,也是由1個亮度訊號與2個色差訊號所構成。編碼區塊的最大尺寸係和樹區塊的尺寸相同。編碼區塊的最小尺寸之編碼區塊稱作最小編碼區塊,可自由設定成2的次方數的尺寸。
於圖3中,編碼區塊A係不將樹區塊做分
割,而當作1個編碼區塊。編碼區塊B係為將樹區塊做4分割而成的編碼區塊。編碼區塊C係為將樹區塊做4分割而成的區塊再做4分割而成的編碼區塊。編碼區塊D係為將樹區塊做4分割而成的區塊再遞迴地二度做4分割而成的編碼區塊,是最小尺寸的編碼區塊。
於實施形態的說明中,是以色差格式為4:2:0的方式,將樹區塊的尺寸設定成亮度訊號為64×64像素、色差訊號為32×32像素,將最小編碼區塊的尺寸設定成亮度訊號為8×8像素、色差訊號為4×4像素。在圖3中,編碼區塊A的尺寸係在亮度訊號為64×64像素、色差訊號為32×32像素,編碼區塊B的尺寸係在亮度訊號為32×32像素、色差訊號為16×16像素,編碼區塊C的尺寸係在亮度訊號為16×16像素、色差訊號為8×8像素,編碼區塊D的尺寸係在亮度訊號為8×8像素、色差訊號為4×4像素。此外,當色差格式是4:4:4時,各編碼區塊的亮度訊號與色差訊號的尺寸係相等。當色差格式是4:2:2時,編碼區塊A的尺寸係在色差訊號為32×64像素,編碼區塊B的尺寸係在色差訊號為16×32像素,編碼區塊C的尺寸係在色差訊號為8×16像素,最小編碼區塊亦即編碼區塊D的尺寸係在色差訊號為4×8像素。
以編碼區塊單位,切換著不使用已編碼/解碼(在編碼處理時係用於將已編碼之訊號進行解碼後的圖像、預測區
塊、影像訊號等,在解碼處理時係用於已解碼之圖像、預測區塊、影像訊號等。以下,只要沒有特別聲明,就照該意義來使用)的圖像就在編碼/解碼對象圖像內進行編碼的畫面內模式(MODE_INTRA)、及參照已編碼/解碼之圖像的解碼影像訊號來進行畫面間預測以進行編碼的畫面間模式(MODE_INTER)。將用來識別該畫面內模式(MODE_INTRA)與畫面間模式(MODE_INTER)的模式,定義成預測模式(PredMode)。預測模式(PredMode)係具有畫面內模式(MODE_INTRA)、或畫面間模式(MODE_INTER)之值,可選擇而編碼。
將圖像內分割成區塊來進行畫面內預測及畫面間預測時,為了使畫面內預測及畫面間預測之方法的切換單位更小,會因應需要而將編碼區塊進行分割然後進行預測。將用來識別該編碼區塊之亮度訊號與色差訊號的分割方法的模式,定義成分割模式(PartMode)。然後,還因應需要而將該已被分割之區塊,定義成預測區塊。如圖4所示,隨著編碼區塊的亮度訊號的分割方法,定義8種分割模式(PartMode)。
將圖4(a)所示未將編碼區塊之亮度訊號做分割而視為1個預測區塊的分割模式(PartMode),定義為2N×2N分割(PART_2Nx2N)。將圖4(b)、(c)、(d)所示未將編碼區塊之亮度訊號分割成上下並排之2個預測區塊的分割
模式(PartMode),分別定義為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)。但是,2N×N分割(PART_2NxN)係為上下以1:1之比率做分割的分割模式,2N×nU分割(PART_2NxnU)係為上下以1:3之比率做分割的分割模式,2N×nD分割(PART_2NxnD)係為上下以3:1之比率做分割的分割模式。將圖4(e)、(f)、(g)所示未將編碼區塊之亮度訊號分割成左右並排之2個預測區塊的分割模式(PartMode),分別定義為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)。但是,N×2N分割(PART_Nx2N)係為左右以1:1之比率做分割的分割模式,nL×2N分割(PART_nLx2N)係為左右以1:3之比率做分割的分割模式,nR×2N分割(PART_nRx2N)係為左右以3:1之比率做分割的分割模式。將圖4(h)所示的編碼區塊的亮度訊號做上下左右4分割,而將變成4個預測區塊的分割模式(PartMode),分別定義為N×N分割(PART_NxN)。
此外,各分割模式(PartMode)皆分別是以和亮度訊號之縱橫分割比率同樣地,分割色差訊號。
在預測模式(PredMode)為畫面間模式(MODE_INTER)時,分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N
分割(PART_nRx2N)。僅最小編碼區塊的編碼區塊D,分割模式(PartMode)係除了2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)之外還可定義N×N分割(PART_NxN)。此外,最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是,在最小編碼區塊以外,無法將編碼區塊做4分割而表現更小的編碼區塊。
在預測模式(PredMode)為畫面內模式(MODE_INTRA)時,除了最小編碼區塊亦即編碼區塊D(本實施例係亮度訊號為8×8像素)以外,分割模式(PartMode)係僅定義2N×2N分割(PART_2Nx2N),僅最小編碼區塊的編碼區塊D,分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)還有N×N分割(PART_NxN)。此外,最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是,在最小編碼區塊以外,無法將編碼區塊做4分割而表現更小的編碼區塊。
在畫面內預測中係根據相同圖像內的周圍之已解碼的區塊的像素之值,來預測處理對象區塊的像素之值。本實施例的編碼裝置及解碼裝置中,從34種畫面內預測模式中進行選擇,進行畫面內預測。畫面內預測模式
(intraPredMode),係根據上方之已解碼區塊在垂直方向上進行預測的垂直預測(畫面內預測模式intraPredMode=0),根據左方之已解碼區塊在水平方向上進行預測的水平預測(畫面內預測模式intraPredMode=1),根據周圍之已解碼區塊算出平均值以進行預測的平均值預測(畫面內預測模式intraPredMode=2),根據周圍之已解碼區塊以斜向45度之角度進行預測的平均值預測(intraPredMode=3)以外,還定義了根據周圍之已解碼區塊而在以各種角度傾斜之方向上進行預測的31種角度預測(畫面內預測模式intraPredMode=4...34)。
以畫面內模式(MODE_INTRA)從已編碼/解碼之周圍的影像訊號來進行預測的畫面內預測之際所使用的畫面內預測模式,係分別準備亮度訊號、色差訊號,將亮度訊號用的畫面內預測模式定義為畫面內亮度預測模式,將色差訊號用的畫面內預測模式定義為畫面內色差預測模式。畫面內亮度預測模式的編碼、及解碼時,係利用與周邊區塊之畫面內亮度預測模式的相關性,在編碼側上若判斷為可根據周邊區塊之畫面內亮度預測模式來進行預測時,就將進行參照之區塊加以特定的資訊予以傳輸,若判斷為與其根據周邊區塊之畫面內亮度預測模式來進行預測,不如對畫面內亮度預測模式設定別的值較佳時,才將畫面內亮度預測模式之值予以編碼、或解碼,是採用如此機制。藉由根據周邊區塊之畫面內亮度預測模式來預測編碼.解碼對象區塊的畫面內亮度預測模式,就可削減所傳
輸的編碼量。另一方面,畫面內色差預測模式的編碼、及解碼時,係利用與色差訊號之預測區塊相同位置的亮度訊號的預測區塊的畫面內亮度預測模式的相關性,在編碼側上若判斷為可根據畫面內亮度預測模式來進行預測時,就根據畫面內亮度預測模式之值來預測畫面內色差預測模式之值,若判斷為與其根據畫面內亮度預測模式來進行預測,不如對畫面內色差預測模式設定獨自的值較佳時,則將畫面內色差預測模式之值予以編碼、或解碼,是採用如此機制。藉由根據畫面內亮度預測模式來預測畫面內色差預測模式,就可削減所傳輸的編碼量。
在實施形態中,在畫面內模式(MODE_INTRA)裡,係除了使用根據已編碼/解碼的周圍之影像訊號來進行預測的畫面內預測而進行編碼的畫面內預測編碼以外,還定義了不使用畫面內預測、畫面間預測、正交轉換、量化等之壓縮處理,將影像訊號以非壓縮而直接編碼成PCM訊號的畫面內PCM編碼。在畫面內PCM中,係隨著編碼區塊的尺寸與PCM訊號的位元深度,編碼量會是固定長度,因此可當作保證所定單位之編碼量的緊急模式來加以靈活運用。又,進行了細緻量化之際而編碼量變大的情況下,選擇非壓縮畫面內PCM編碼,有時候反而可以用較小的編碼量來進行編碼。甚至,亦可支援,將所有的影像訊號進行畫面內PCM編碼而可成為無損編碼。畫面內PCM編
碼係以編碼區塊單位而被進行。
和先前同樣地,在本實施形態中也是使用DCT(離散餘弦轉換)、DST(離散正弦轉換)等,將離散訊號轉換成頻率領域的正交轉換和其逆轉換,以謀求編碼量之削減。編碼區塊係可隨應於圖像內的紋理,為了使編碼處理最佳化,因應需要而可將編碼區塊內的亮度訊號、及色差訊號,進行遞迴性4分割,然後以較小的區塊單位,來進行轉換、或逆轉換。因應需要而將已被分割之作為正交轉換或逆正交轉換之對象的區塊,定義成轉換區塊。
在實施形態中,將已被正交轉換之係數進行量化之際的量化步進之大小予以導出所需的量化參數,是以下記的量化群組區塊單位來進行設定並傳輸。藉由在編碼側控制此量化參數的值,可控制量化步進之大小,可控制編碼量、控制主觀畫質。藉由將量化參數之值設定得較小,量化步進就會變小而可進行細緻的量化。此情況下,雖然需要較多的編碼量,但可降低影像的劣化,可使區塊失真或飛蚊失真等之編碼失真不容易變得醒目。另一方面,藉由將量化參數之值設定得較大,量化步進就會變大而可進行粗糙的量化。此情況下,雖然可以較少的編碼量進行編碼,但影像的劣化會變高,區塊失真或飛蚊失真等之編碼
失真會容易變得醒目。在實施形態中,量化參數QPY係可採取-QpBdOffsetY至51的值。其中,變數QpBdOffsetY係為根據所被編碼之映像訊號的位元深度而被設定的變數,是由下式而被導出。
QpBdOffsetY=6 * bit_depth_luma_minus8其中,變數bit_depth_luma_minus8係為根據所被編碼之亮度訊號的位元深度而被設定的語法要素,帶有從所被編碼之亮度訊號的位元深度之值減去8之後的值。在亮度訊號的位元深度是8位元的時候,bit_depth_luma_minus8、QpBdOffsetY之值皆為0,在10位元的時候,bit_depth_luma_minus8之值係為2,QpBdOffsetY之值係為12。
然後,量化、逆量化之際所被實際使用的亮度訊號之量化參數QPY’、色差訊號Cb、Cr之量化參數QPCb’、QPCr’係藉由下式而被導出。
QPY’=QPY+QpBdOffsetY
QPCb’=QPY+cb_qp_offset+QpBdOffsetC
QPCr’=QPY+cr_qp_offset+QpBdOffsetC其中,變數QpBdOffsetC係為根據所被編碼之色差訊號的位元深度而被設定的變數,是由下式而被導出。
QpBdOffsetC=6 * bit_depth_chroma_minus8其中,變數bit_depth_chroma_minus8係為根據所被編碼之色差訊號的位元深度而被設定的語法要素,帶有從所被編碼之色差訊號的位元深度之值減去8之後的值。在色差訊號的位元深度是8位元的時候,bit_depth_chroma_minus8、QpBdOffsetC之值皆為0,在10位元的時候,bit_depth_luma_minus8之值係為2,QpBdOffsetC之值係為12。又,亮度訊號的量化參數QPY’係可採取0至51+QpBdOffsetY的值。又,色差訊號Cb、Cr的量化參數QPCb’、QPCr’係可採取0至51+QpBdOffsetC的值。
在實施形態中,係定義了量化參數之基本單位亦即量化群組區塊,對每一量化群組區塊,設定1個量化參數。
本實施形態的樹區塊、編碼區塊、預測區塊、轉換區塊為首的各區塊之位置,係令亮度訊號的圖像之最左上之亮度訊號的像素位置為原點(0,0),將各個區塊領域中所包含之最左上的亮度訊號之像素位置,以(x,y)的二維座標來表示。座標軸的方向係水平方向朝右的方向、垂直方
向朝下的方向分別令為正的方向,單位係為亮度訊號的1像素單位。亮度訊號與色差訊號上影像尺寸(像素數)是相同的色差格式是4:4:4時不用說,亮度訊號與色差訊號上影像尺寸(像素數)是不同的色差格式是4:2:0、4:2:2的情況下,也將色差訊號的各區塊之位置以該區塊之領域中所包含之亮度訊號的像素之座標來表示,單位係為亮度訊號的1像素。藉由如此設計,不但可以特定色差訊號的各區塊之位置,只需藉由比較座標之值,亮度訊號的區塊與色差訊號的區塊之位置關係也很明確。在實施形態中,係不論色差格式之種類或區塊的形狀、大小,只有當所定義之亮度訊號的區塊的座標與色差訊號的區塊的座標的x成分與y成分之值皆相同時,這些區塊係定義為相同位置。
圖1係實施形態所述之影像編碼裝置之構成的區塊。實施形態的影像編碼裝置,係具備:影像記憶體101、量化參數決定部102、畫面內預測部103、PCM編碼部104、畫面間預測部105、編碼方法決定部106、殘差訊號生成部107、正交轉換‧量化部108、逆量化‧逆正交轉換部109、解碼影像訊號重疊部110、去區塊濾波器部111、編碼資訊儲存記憶體112、第1解碼影像記憶體113、第2解碼影像記憶體114、第1編碼位元列生成部115、第2編碼位元列生成部116、第3編碼位元列生成部117、編碼位元列多工化部118、開關119。
在影像記憶體101中,係將按照時間順序所
供給的編碼對象之影像訊號,予以暫時儲存。被儲存在影像記憶體101中的編碼對象之影像訊號,係被排序成編碼順序,以相應於設定之複數組合而被分割成各個編碼區塊單位,然後,被分割成各個預測區塊單位,供給至畫面內預測部103、畫面間預測部105、殘差訊號生成部107。
在量化參數決定部102中,從編碼量控制、適應量化等之觀點來看,以量化群組區塊單位來決定量化參數。所被決定之量化參數係被供給至編碼方法決定部106、正交轉換‧量化部108、逆量化‧逆正交轉換部109,並且被儲存在編碼資訊儲存記憶體112中。
畫面內預測部103係以複數編碼區塊單位中的各個分割模式(PartMode)所相應的預測區塊單位,根據第1解碼影像記憶體113中所儲存的已解碼之影像訊號,針對編碼對象之預測區塊的亮度訊號、色差訊號,分別進行相應於複數畫面內亮度預測模式、及畫面內色差預測模式的各個畫面內預測,獲得畫面內預測訊號。
從以預測區塊單位所供給之編碼對象之訊號,每一像素地減算預測區塊單位的畫面內預測訊號,獲得預測殘差訊號。使用該預測殘差訊號來算出用來評估編碼量與失真量所需的評價值,以預測區塊單位,從複數畫面內預測模式之中,根據最佳編碼量、及失真量之觀點來選擇最佳之模式,作為該當預測區塊的畫面內預測之候補,將已被選擇之畫面內預測模式所對應的畫面內預測資訊、畫面內預測訊號、及畫面內預測之評價值,供給至編
碼方法決定部106。
PCM編碼部104係將以編碼區塊單位而編碼成為PCM訊號所需的PCM訊號,進行排列。被PCM編碼部104所生成的PCM訊號,係以編碼區塊之尺寸與訊號之位元深度,而被統一決定其編碼量。又,由於沒有編碼劣化,不發生編碼失真,因此將失真量設成0。將這些編碼量與失真量當成畫面內PCM編碼的評價值,與PCM訊號一同供給至編碼方法決定部106。
畫面間預測部105係以複數編碼區塊單位中的各個分割模式(PartMode)所相應的單位,亦即預測區塊單位,根據第2解碼影像記憶體114中所儲存的已解碼之影像訊號來進行複數畫面間預測模式(L0預測、L1預測、雙預測)及相應於參照影像的各個畫面間預測,獲得畫面間預測訊號。此時,進行運動向量探索,隨應於所探索到的運動向量來進行畫面間預測。此外,在雙預測的情況下,是將2個畫面間預測訊號做每一像素地平均、或是加算權重,以進行雙預測的畫面間預測。從以預測區塊單位所供給之編碼對象之訊號,每一像素地減算預測區塊單位的畫面間預測訊號,獲得預測殘差訊號。使用該預測殘差訊號來算出用來評估編碼量與失真量所需的評價值,以預測區塊單位,從複數畫面間預測模式之中,根據最佳編碼量、及失真量之觀點來選擇最佳之模式,作為該當預測區塊的畫面間預測之候補,將已被選擇之畫面間預測模式所對應的畫面間預測資訊、畫面間預測訊號、及畫面間預測
之評價值,供給至編碼方法決定部106。
編碼方法決定部106係基於複數編碼區塊單位中的各個預測區塊所分別被選擇之畫面內預測資訊所對應的畫面內預測評價值、畫面間預測資訊所對應的畫面間預測評價值,而決定最佳的編碼區塊之分割方法、預測模式(PredMode)、分割模式(PartMode)、是否編碼成為PCM訊號、轉換區塊之分割方法,將含有符合決定之編碼區塊之分割方法、含表示是否編碼成為PCM訊號之資訊的畫面內預測資訊、或畫面間預測資訊的編碼資訊,供給至第2編碼位元列生成部116,並且儲存至編碼資訊儲存記憶體112中,將符合所決定之已被畫面內預測或畫面間預測而成的預測訊號,供給至殘差訊號生成部107、及解碼影像訊號重疊部110。然後,將符合決定之量化參數、轉換區塊之分割方法,供給至正交轉換‧量化部108、逆量化‧逆正交轉換部109、第3編碼位元列生成部117,並且儲存至編碼資訊儲存記憶體112。又,當畫面內PCM編碼被選擇時,則供給至第2編碼位元列生成部116。
殘差訊號生成部107,係在編碼方法決定部106中決定了以畫面內預測或畫面間預測進行編碼之際,從進行編碼的影像訊號,每一像素地減去已被畫面內預測或畫面間預測而成的預測訊號而生成殘差訊號,供給至正交轉換‧量化部108。
正交轉換‧量化部108,係在編碼方法決定部106中決定了以畫面內預測或畫面間預測進行編碼之際,
係對於從編碼方法決定部106所供給之殘差訊號,使用根據從量化參數決定部102供給之量化參數QPY而被導出的亮度訊號之量化參數QPY’、及色差訊號Cb、Cr的色差訊號之量化參數QPCb’、QPCr’,來進行會轉換成DCT或DST等之頻率領域的正交轉換及量化而生成已被正交轉換‧量化之殘差訊號,供給至第3編碼位元列生成部117、及逆量化‧逆正交轉換部109。
第1編碼位元列生成部115,係依照語法要素之意義、定義導出方法的語意規則,而算出序列、圖像、及切片單位之編碼資訊的相關之語法要素之值,將所算出的各語法要素之值,依照語法規則而進行可變長度編碼、算術編碼等之熵編碼,生成第1編碼位元列,將已被編碼之第1編碼位元列,供給至編碼位元列多工化部118。
第2編碼位元列生成部116,係依照語法要素之意義、定義導出方法的語意規則,而對每一樹區塊,算出編碼區塊之分割資訊、編碼區塊單位之編碼資訊以外,還對每一預測區塊算出被編碼方法決定部106所決定之編碼資訊之相關的語法要素之值。具體而言,除了算出編碼區塊的分割方法、預測模式(PredMode)、分割模式(PartMode)等之編碼區塊單位的編碼資訊,還算出預測區塊單位之編碼資訊的相關之語法要素之值。若預測模式(PredMode)為畫面內模式(MODE_INTRA)且畫面內預測編碼時,則將用來表示是否畫面內PCM編碼的語法要素pcm_flag設成0,算出含有畫面內亮度預測模式、及畫面
內色差預測模式的畫面內預測模式的相關之語法要素之值,若畫面內模式(MODE_INTRA)且畫面內PCM編碼時,則將用來表示是否畫面內PCM編碼的語法要素pcm_flag設成1,若預測模式(PredMode)是畫面間模式(MODE_INTER),則算出畫面間預測模式、用來特定參照影像之資訊、運動向量等之畫面間預測資訊的相關之語法要素之值。將已被算出的各語法要素之值,依照語法規則而進行可變長度編碼、算術編碼等之熵編碼,生成第2編碼位元列,將已被編碼之第2編碼位元列,供給至編碼位元列多工化部118。然後,若為畫面內PCM編碼時,則將PCM訊號予以編碼。
第3編碼位元列生成部117,係將轉換區塊之分割資訊、量化參數資訊,予以編碼。將已被正交轉換及量化之殘差訊號,依照規定之語法規則而進行可變長度編碼、算術編碼等之熵編碼,生成第3編碼位元列,將第3編碼位元列,供給至編碼位元列多工化部118。量化參數資訊編碼的詳細處理,將於後述。
在編碼位元列多工化部118中,將第1編碼位元列與第2編碼位元列、及第3編碼位元列,依照規定之語法規則而進行多工化,生成位元串流,將已被多工化之位元串流,予以輸出。
逆量化‧逆正交轉換部109,係將從正交轉換‧量化部108所供給之已被正交轉換‧量化之殘差訊號,使用根據從量化參數決定部102供給之量化參數QPY
而被導出的亮度訊號之量化參數QPY’、及色差訊號Cb、Cr的色差訊號之量化參數QPCb’、QPCr’,來進行逆量化及逆正交轉換以算出殘差訊號,供給至解碼影像訊號重疊部110。解碼影像訊號重疊部110,係隨著編碼方法決定部106所做的決定而將已被畫面內預測或畫面間預測而成的預測訊號與已被逆量化‧逆正交轉換部109進行逆量化及逆正交轉換後的殘差訊號加以重疊而生成解碼影像,儲存至第1解碼影像記憶體113中。
去區塊濾波器部111係隨應於編碼資訊儲存記憶體112中所儲存之編碼資訊而對第1解碼影像記憶體113中所儲存之解碼影像,實施用來減少編碼所致區塊失真等的濾波處理,然後儲存至第2解碼影像記憶體114。去區塊濾波器部111之詳細處理,將於後述。
圖2係圖1之影像編碼裝置所對應之實施形態所述之影像解碼裝置之構成的區塊。實施形態的影像解碼裝置,係具備:編碼位元列分離部201、第1編碼位元列解碼部202、第2編碼位元列解碼部203、第3編碼位元列解碼部204、量化參數導出部205、畫面內預測部206、PCM解碼部207、畫面間預測部208、逆量化‧逆正交轉換部209、解碼影像訊號重疊部210、去區塊濾波器部211、編碼資訊儲存記憶體212、第1解碼影像記憶體213、第2解碼影像記憶體214、及開關215、216、217。
被供給至編碼位元列分離部201的位元串流
係依照規定之語法規則而進行分離,表示序列、圖像、及切片單位之編碼資訊的第1編碼位元列會被供給至第1編碼位元列解碼部202,含有編碼區塊單位之編碼資訊的第2編碼位元列會被供給至第2編碼位元列解碼部203,含有已被正交轉換及量化之殘差訊號的第3編碼位元列會被供給至第3編碼位元列解碼部204。
第1編碼位元列解碼部202係依照語法規則,將所被供給之第1編碼位元列進行熵解碼,獲得序列、圖像、及切片單位之編碼資訊的相關之語法要素之各值。依照語法要素之意義、定義導出方法的語意規則,而根據已被解碼之序列、圖像、及切片單位之編碼資訊的相關之語法要素之值,算出序列、圖像、及切片單位的編碼資訊。第1編碼位元列解碼部202係對應於編碼側之第1編碼位元列生成部115的編碼位元列解碼部,具有從含有已被第1編碼位元列生成部115所編碼之序列、圖像、及切片單位之編碼資訊的編碼位元列,還原出各個編碼資訊的機能。第1編碼位元列解碼部202所獲得之序列、圖像、及切片單位之編碼資訊係被供給至編碼資訊儲存記憶體212,並且在未圖示的所有區塊中被使用。
第2編碼位元列解碼部203係依照語法規則,將所被供給之第2編碼位元列進行熵解碼,針對每一樹區塊,分別獲得編碼區塊之分割資訊、編碼區塊、及預測區塊單位之編碼資訊的相關之語法要素之各值。依照語法要素之意義、定義導出方法的語意規則,而將所被供給
之編碼區塊之分割資訊予以解碼,根據編碼區塊單位、及預測區塊單位的編碼資訊的相關之語法要素之值,算出編碼區塊單位、及預測區塊單位的編碼資訊。第2編碼位元列解碼部203係對應於編碼側之第2編碼位元列生成部116的編碼資訊算出部,具有從含有已被第2編碼位元列生成部116所編碼之編碼區塊、及預測區塊單位之編碼資訊的第2編碼位元列,還原出各個編碼資訊的機能。具體而言,若從將第2編碼位元列依照規定之語法規則進行解碼而得的各語法要素,解碼出編碼區塊之分割方法、預測模式(PredMode)、分割模式(PartMode)的預測模式(PredMode)是畫面內模式(MODE_INTRA),則將用來表示是否畫面內PCM編碼的語法要素pcm_flag予以解碼。若pcm_flag為0則為畫面內預測編碼,會獲得含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式。若pcm_flag為1則為畫面內PCM編碼,獲得PCM訊號。另一方面,若預測模式(PredMode)是畫面間模式(MODE_INTER),則會獲得畫面間預測模式、用來特定參照影像之資訊、運動向量等之畫面間預測資訊。若預測模式(PredMode)為畫面內模式(MODE_INTRA)且pcm_flag為0時,則透過開關215,將含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式,供給至畫面內預測部206,若預測模式(PredMode)是畫面間模式(MODE_INTER),則透過開關215,將畫面間預測模式、用來特定參照影像之資訊、運動向量等之畫面間預測資
訊,供給至畫面間預測部208。若為畫面內PCM編碼則將PCM訊號供給至PCM解碼部207。
第3編碼位元列解碼部204係將所被供給之編碼位元列予以解碼而取得轉換區塊之分割資訊、量化參數資訊、已被正交轉換‧量化之殘差訊號,將已被正交轉換‧量化之殘差訊號,供給至逆量化‧逆正交轉換部209。然後,將量化參數資訊(後述之語法要素cu_qp_delta),供給至量化參數導出部205。量化參數導出部205,係從所被供給之量化參數資訊(後述之語法要素cu_qp_delta)、及第1編碼位元列解碼部202所得之編碼資訊,導出量化參數QPY,供給至逆量化‧逆正交轉換部209,並且儲存至編碼資訊儲存記憶體212中。
畫面內預測部206係隨應於所被供給之含有畫面內亮度預測模式、及畫面內色差預測模式的畫面內預測模式,根據第1解碼影像記憶體213中所儲存的已解碼之周邊區塊,藉由畫面內預測而生成預測影像訊號,透過開關216,將預測影像訊號供給至解碼影像訊號重疊部210。又,在本實施形態中,係在根據畫面內亮度預測模式之值來預測畫面內色差預測模式之值之際,隨應於色差格式,畫面內色差預測模式的導出方法有所不同。此時,係使用會隨應於色差格式而不同之方法所導出的畫面內預測模式,來進行畫面內預測。
PCM解碼部207係進行所被輸入之訊號的解碼處理,獲得編碼區塊單位的PCM訊號。將所獲得之編
碼區塊單位的PCM訊號,透過開關217而儲存至第1解碼影像記憶體213。
畫面間預測部208係使用所被供給之畫面間預測模式、用來特定參照圖像之資訊、運動向量等之畫面間預測資訊,根據第2解碼影像記憶體214中所儲存的已解碼之參照圖像,藉由使用了運動補償的畫面間預測而生成預測影像訊號,透過開關216,將預測影像訊號供給至解碼影像訊號重疊部210。此外,在雙預測的情況下,係對L0預測、L1預測的2個運動補償預測影像訊號,適應性地乘算權重係數,生成最終的預測影像訊號。
逆量化‧逆正交轉換部209,係使用根據從量化參數導出部205所供給之量化參數QPY而被導出的亮度訊號之量化參數QPY’、及色差訊號Cb、Cr的色差訊號之量化參數QPCb’、QPCr’,而對第3編碼位元列解碼部204所解碼之已被正交轉換‧量化之殘差訊號,進行逆正交轉換及逆量化,獲得已被逆正交轉換.逆量化之殘差訊號。
解碼影像訊號重疊部210,係將已被畫面內預測部206、或畫面間預測部208所預測出來的預測影像訊號、和已被逆量化‧逆正交轉換部209進行逆正交轉換.逆量化之殘差訊號加以重疊,以將解碼影像訊號予以解碼,並透過開關217,儲存至第1解碼影像記憶體213。
去區塊濾波器部211係對第1解碼影像記憶體213中所儲存之解碼影像,實施用來減少編碼所致區塊
失真等的濾波處理,然後儲存至第2解碼影像記憶體214。第2解碼影像記憶體214中所儲存的解碼影像訊號,係按照輸出順序而被輸出。
接著,詳細說明實施形態的重點之1的量化群組區塊。
如前述,在本實施形態中,係定義了將量化參數進行編碼之單位亦即量化群組區塊,對每一量化群組區塊,設定量化參數。圖5係量化群組區塊之一例的說明圖。在圖5中,以實線描繪的區塊A、B0、B1、B2、C0、C1、C2及D0、D1、D2、D3係為編碼區塊,以虛線描繪的區塊係為量化群組區塊。在圖5所示的例子中,樹區塊的尺寸係在亮度訊號是設成64×64像素,在色差訊號是設定成32×32像素。編碼區塊A係不將樹區塊做分割,而當作1個編碼區塊,編碼區塊A的尺寸係在亮度訊號為64×64像素、在色差訊號為32×32像素。編碼區塊B0、B1、B2係為將樹區塊做4分割而成的編碼區塊,編碼區塊B0、B1、B2的尺寸係在亮度訊號為32×32像素、在色差訊號為16×16像素。編碼區塊C0、C1、C2係為將樹區塊做4分割而成的區塊再做4分割而成的編碼區塊,編碼區塊C0、C1、C2的尺寸係在亮度訊號為16×16像素、在色差訊號為8×8像素。編碼區塊D0、D1、D2、D3係為將樹區塊做4分割而成的區塊再階層式地做二度4分割而成的編碼區塊,編碼區塊D0、D1、D2、D3的尺寸係在亮度訊號為8×8像素、在色差訊號為4×4像素。在圖5所示的
例子中,係將量化群組區塊之尺寸在亮度訊號設定成32×32像素,在色差訊號設定成16×16像素。
在本實施形態中,係存在於與量化群組區塊相同位置的編碼區塊及轉換區塊的量化參數,係為相同。量化群組區塊之尺寸係亦可設定成與樹區塊之尺寸相同,也可設定成較小。甚至,量化群組區塊之尺寸係亦可和編碼區塊之尺寸相同,也可比編碼區塊之尺寸還大、或還小。
當量化群組區塊之尺寸小於編碼區塊之尺寸時,雖然在量化群組區塊中會含有複數個編碼區塊,但這些編碼區塊的量化參數係為相同的值。在圖5所示的例子中,比最右上之量化群組區塊還小的4個編碼區塊D0、D1、D2、D3的量化參數,係被設定成相同的值。
當量化群組區塊之尺寸大於編碼區塊之尺寸時,雖然在編碼區塊中會含有複數個量化群組區塊,但這些量化群組區塊的量化參數係為相同的值。在圖5所示的例子中,編碼區塊A中所含的16個量化群組區塊的量化參數係被設定成相同的值,編碼區塊B0中所含的4個量化群組區塊的量化參數係被設定成相同的值,編碼區塊B1中所含的4個量化群組區塊的量化參數係被設定成相同的值,B2中所含的4個量化群組區塊的量化參數係被設定成相同的值。
接著,詳細說明實施形態的重點之1的量化參數之決定、編碼/解碼、導出。
圖6係量化參數之決定及編碼處理程序的說明用流程圖。這些處理係在影像編碼裝置的量化參數決定部102及第3編碼位元列生成部117中進行。對圖像內的每個切片,進行步驟S1102至S1122的處理(步驟S1101~S1123)。然後,對切片內的每個編碼樹區塊,進行步驟S1103至S1121的處理(步驟S1102~S1122)。
首先,對編碼樹區塊內的每一量化群組區塊,決定量化參數QPY量化(步驟S1103~S1105)。這些處理係在影像編碼裝置的量化參數決定部102中進行。量化參數QPY係於編碼量控制中,當發生編碼量降低時,則對量化參數QPY設定較大的值,當發生編碼量上升時,則對量化參數QPY設定較小的值。用來調整主觀畫質所需的適應量化之際,編碼列會會容易醒目之量化群組區塊,係對量化參數QPY設定較大的值,編碼劣化容易醒目之量化群組區塊係對量化參數QPY設定較小的值。
接著,藉由對編碼樹區塊內的每一編碼區塊,進行步驟S1107至S1120的處理,以將量化群組區塊的量化參數QPY予以編碼(步驟S1106~S1121)。這些處理係在影像編碼裝置中在第3編碼位元列生成部117裡被實施。在將量化參數QPY進行編碼之際,是導出語法要素cu_qp_delta,將該所被導出之語法要素cu_qp_delta,予以編碼。
首先,身為對象之編碼區塊在編碼順序上位於量化群組區塊之開頭時(步驟S1107的YES),則對用來
表示身為對象之編碼區塊所對應之量化群組區塊之QPY所對應之語法要素cu_qp_delta是否有被編碼的變數IsCuQpDeltaCoded設定0(步驟S1108),導出量化參數的預測值QPPRED(步驟S1109)。針對步驟S1109之處理,係使用圖8來詳細說明。
接著將步驟S1109中所導出之量化參數的預測值QPPRED之值,設定至編碼資訊儲存記憶體112的量化群組區塊的QPY(步驟S1110)。此對編碼資訊儲存記憶體112之設定之際,若相較於量化群組區塊之尺寸,編碼區塊之尺寸是較大,則將相同量化參數的預測值QPPRED之值,設定至編碼區塊中所包含之所有量化群組區塊的量化參數QPY。
另一方面,若身為對象之編碼區塊並非在編碼順序上位於量化群組區塊之開頭時(步驟S1107的NO),則前進至步驟S1111。
接著,若編碼區塊是畫面內PCM編碼時(步驟S1111的NO),則略過步驟S1112至S1220之處理而前進至步驟S1221。若編碼區塊並非畫面內PCM編碼時(步驟S1111的YES),則藉由對編碼區塊內的每一轉換區塊進行步驟S1113至S1119的處理,以將量化群組區塊的量化參數QPY予以編碼(步驟S1112~S1120)。首先,判定身為對象之轉換區塊的變數cbf_luma、cbf_cb、cbf_cr之值(步驟S1113)。此處,變數cbf_luma係含有對象之亮度之轉換區塊為非0的係數(非0係數)、且係數是被編碼時
則為1,不含非0之係數、係數不被編碼時則為0的變數。變數cbf_cb係含有對象之色差Cb之轉換區塊為非0的係數(非0係數)、且係數是被編碼時則為1,不含非0之係數、係數不被編碼時則為0的變數。變數cbf_cr係含有對象之色差Cr之轉換區塊為非0的係數(非0係數)、且係數是被編碼時則為1,不含非0之係數、係數不被編碼時則為0的變數。當身為對象之轉換區塊的變數cbf_luma、cbf_cb、cbf_cr之任一者為1時(步驟S1113的YES),則進行步驟S1114至S1119之處理,當轉換區塊的變數cbf_luma、cbf_cb、cbf_cr之任一者均非1時,亦即全部為0時(步驟S1113的NO),則略過步驟S1114至S1119之處理,前進至步驟S1120。
在步驟S1114中,係判定變數IsCuQpDeltaCoded(步驟S1114),若變數IsCuQpDeltaCoded為0(步驟S1114的YES),則進行步驟S1115至S1118之處理,若變數IsCuQpDeltaCoded為1(步驟S1114的NO),則略過步驟S1115至S1118之處理,前進至步驟S1119。
將步驟S1104中所被設定的量化群組區塊的量化參數QPY之值,設定至編碼資訊儲存記憶體112的量化群組區塊的量化參數QPY(步驟S1115)。此對編碼資訊儲存記憶體112之設定之際,若相較於量化群組區塊之尺寸,編碼區塊之尺寸是較大,則將相同量化參數QPY之值,設定至編碼區塊中所包含之所有量化群組區塊的量
化參數QPY。在步驟S1110中被覆寫至編碼資訊儲存記憶體112中所儲存之量化群組區塊的量化參數QPY。
在步驟S1116中,藉由下式而導出語法要素cu_qp_delta(步驟S1116)。
QPDIFF=QPY-QPPRED
cu_qp_delta=(QPDIFF+78+QpBdOffsetY+(QpBdOffsetY/2))%(52+QpBdOffsetY)-26-(QpBdOffsetY/2);其中,變數QpBdOffsetY係為根據映像訊號的位元深度而被設定的變數,在8位元下係為0,在10位元下係為12。
接著,將語法要素cu_qp_delta進行熵編碼(步驟S1117),對變數IsCuQpDeltaCoded設定1(步驟S1118),將轉換區塊的係數予以編碼(步驟S1119)。
若編碼區塊內的所有轉換區塊之處理都完成,則前進至步驟S1121,進行下個編碼區塊之處理。
若編碼樹區塊內的所有編碼區塊之處理都完成,則前進至步驟S1122,進行下個編碼樹區塊之處理。
若切片內的所有編碼樹區塊之處理都完成,則前進至步驟S1123,進行下個切片之處理。
若切片內的所有切片之處理都完成,則結束本量化參數決定、編碼處理。
圖7係量化參數之解碼.導出處理程序的說
明用流程圖。這些處理係在影像解碼裝置的量化參數導出部205中進行。但是,步驟S1212的熵解碼處理,係在影像解碼裝置的第3編碼位元列解碼部204中進行。對圖像內的每個切片,進行步驟S1202至S1219的處理(步驟S1201~S1220)。然後,對切片內的每個編碼樹區塊,進行步驟S1203至S1218的處理(步驟S1202~S1219)。
接著,藉由對編碼樹區塊內的每一編碼區塊,進行步驟S1204至S1217的處理,以將量化群組區塊的量化參數QPY予以解碼並導出(步驟S1203~S1218)。這些處理係在影像解碼裝置中在第3編碼位元列解碼部204及量化參數導出部205裡被實施。在導出量化參數QPY之際,係將量化參數的預測值QPPRED予以導出,將語法要素cu_qp_delta予以解碼,使用此已被解碼之語法要素cu_qp_delta來導出量化參數QPY。
首先,身為對象之編碼區塊在解碼順序上位於量化群組區塊之開頭時(步驟S1204的YES),則對用來表示身為對象之編碼區塊所對應之量化群組區塊之QPY所對應之語法要素cu_qp_delta是否有被解碼的變數IsCuQpDeltaCoded設定0(步驟S1205),導出量化參數QPY之預測值QPPRED(步驟S1206)。針對步驟S1206之處理,係使用圖8來詳細說明。
接著將步驟S1109中所導出之量化參數的預測值QPPRED之值,設定至編碼資訊儲存記憶體212的量化群組區塊的量化參數QPY(步驟S1207)。此編碼資訊儲
存記憶體212之際,若相較於量化群組區塊之尺寸,編碼區塊之尺寸是較大,則將相同量化參數的預測值QPPRED之值,設定至編碼區塊中所包含之所有量化群組區塊的量化參數QPY。
另一方面,若身為對象之編碼區塊並非在解碼順序上位於量化群組區塊之開頭時(步驟S1204的NO),則前進至步驟S1208。
接著,若編碼區塊是畫面內PCM編碼時(步驟S1210的NO),則略過步驟S1209至S1217之處理而前進至步驟S1218。若編碼區塊並非畫面內PCM編碼時(步驟S1210的YES),則藉由對編碼區塊內的每一轉換區塊進行步驟S1210至S1216的處理,以將量化群組區塊的量化參數QPY予以解碼並導出(步驟S1209~S1217)。首先,判定身為對象之轉換區塊的變數cbf_luma、cbf_cb、cbf_cr之值(步驟S1210)。此處,變數cbf_luma係含有對象之亮度之轉換區塊為非0的係數(非0係數)、且係數是被編碼時則為1,不含非0之係數、係數不被編碼時則為0的變數。變數cbf_cb係含有對象之色差Cb之轉換區塊為非0的係數(非0係數)、且係數是被編碼時則為1,不含非0之係數、係數不被編碼時則為0的變數。變數cbf_cr係含有對象之色差Cr之轉換區塊為非0的係數(非0係數)、且係數是被編碼時則為1,不含非0之係數、係數不被編碼時則為0的變數。當身為對象之轉換區塊的變數cbf_luma、cbf_cb、cbf_cr之任一者為1時(步驟S1210
的YES),則進行步驟S1211至S1216之處理,當轉換區塊的變數cbf_luma、cbf_cb、cbf_cr之任一者均非1時,亦即全部為0時(步驟S1210的NO),則略過步驟S1211至S1216之處理,前進至步驟S1217。
在步驟S1211中,係判定變數IsCuQpDeltaCoded(步驟S1211),若變數IsCuQpDeltaCoded為0(步驟S1211的YES),則進行步驟S1212至S1215之處理,若變數IsCuQpDeltaCoded為1(步驟S1211的NO),則略過步驟S1212至S1215之處理,前進至步驟S1216。
接著,將語法要素cu_qp_delta進行熵解碼(步驟S1212)。
接著,藉由下式而導出量化群組區塊的量化參數QPY(步驟S1213)。
QPY=(((QPPRED+cu_qp_delta+52+2 * QpBdOffsetY)%(52+QpBdOffsetY))-QpBdOffsetY其中,變數QpBdOffsetY係為根據映像訊號之位元深度而被設定的變數。
將步驟S1213中所被導出的量化群組區塊的量化參數QPY之值,對編碼資訊儲存記憶體212設定至量化群組區塊的量化參數QPY(步驟S1214)。此對編碼資訊儲存記憶體212之設定之際,若相較於量化群組區塊之
尺寸,編碼區塊之尺寸是較大,則將相同量化參數QPY之值,設定至編碼區塊中所包含之所有量化群組區塊的量化參數QPY。在步驟S1207中被覆寫至編碼資訊儲存記憶體212中所儲存之量化群組區塊的量化參數QPY。
接著,對變數IsCuQpDeltaCoded設定1(步驟S1215),將轉換區塊的係數予以解碼(步驟S1216)。
若編碼區塊內的所有轉換區塊之處理都完成,則前進至步驟S1218,進行下個編碼區塊之處理。
若編碼樹區塊內的所有編碼區塊之處理都完成,則前進至步驟S1219,進行下個編碼樹區塊之處理。
若切片內的所有編碼樹區塊之處理都完成,則前進至步驟S1220,進行下個切片之處理。
若切片內的所有切片之處理都完成,則結束本量化參數解碼、導出處理。
圖8係圖6的步驟S1109、圖7的S1206的量化參數之預測值的導出處理程序的說明用流程圖。這些處理係在影像編碼裝置的第3編碼位元列生成部117及影像解碼裝置的量化參數導出部205中進行。首先,被儲存至影像編碼裝置的編碼資訊儲存記憶體112或影像解碼裝置的編碼資訊儲存記憶體212中。
判定左方相鄰之量化群組區塊是否為可利用,若左方相鄰之量化群組區塊是可利用(步驟S1301的YES),則將左方相鄰之量化群組區塊的量化參數QPLEFT之值,設定至量化參數QPA(步驟S1302),若為無法利用
(步驟S1301的NO),則將編碼/解碼順序上前一個量化群組區塊的量化參數QPPREV之值,設定至量化參數QPA(步驟S1303)。
判定上方相鄰之量化群組區塊是否為可利用,若上方相鄰之量化群組區塊是可利用(步驟S1304的YES),則將上方相鄰之量化群組區塊的量化參數QPLEFT之值,設定至量化參數QPB(步驟S1305),若為無法利用(步驟S1304的NO),則將編碼/解碼順序上前一個量化群組區塊的量化參數QPPREV之值,設定至量化參數QPB(步驟S1306)。
接著,藉由下式,算出量化參數QPA與量化參數QPB的平均值,當作量化參數的預測值QPPRED(步驟S1307),結束本量化參數導出處理。
QPPRED=(QPA+QPB+1)>>1
在畫面內PCM編碼中雖然不進行量化,但在本實施形態中,係在去區塊濾波之際,會使用量化參數。於是,對畫面內PCM之編碼區塊,也設定量化參數。與非畫面內PCM編碼之編碼區塊的量化參數同樣地,將含有畫面內PCM之編碼區塊的量化群組區塊的量化參數,視作畫面內PCM之編碼區塊的量化參數。
說明畫面內PCM區塊之尺寸與量化群組區塊之尺寸的關係與量化參數之值。
編碼區塊為畫面內PCM編碼,且編碼區塊之尺寸是量化群組區塊之尺寸以上的情況下,語法要素cu_qp_delta就不會被編碼,畫面內PCM區塊的量化參數QPY之值係與量化參數的預測值QPPRED相等,該與量化參數之預測值QPPRED相等的量化參數QPY之值,係被儲存至影像編碼裝置的編碼資訊儲存記憶體112或影像解碼裝置的編碼資訊儲存記憶體212中。
編碼區塊為畫面內PCM編碼,且編碼區塊之尺寸是未滿量化群組區塊之尺寸的情況下,同一量化群組區塊內的非畫面內PCM編碼之編碼區塊中語法要素cu_qp_delta有可能被編碼,畫面內PCM編碼之編碼區塊的量化參數QPY之值係並不一定與量化參數之預測值QPPRED之值相等,要被編碼/解碼之量化參數QPY之值係被儲存至影像編碼裝置的編碼資訊儲存記憶體112或影像解碼裝置的編碼資訊儲存記憶體212中。
此外,為了更適切地設定去區塊濾波器的濾波強度來降低區塊失真,即使當編碼區塊是畫面內PCM編碼的情況下,亦可仍將量化參數QPY之值進行編碼/解碼。此情況下,要被編碼/解碼之量化參數QPY之值係被儲存至影像編碼裝置的編碼資訊儲存記憶體112或影像解碼裝置的編碼資訊儲存記憶體212中。
接著,詳細說明實施形態的重點之1的去區塊濾波器的編碼/解碼。在本實施形態中,係在亮度訊號,導出將圖像切割成8×8像素區塊之際位於交界上之轉
換區塊及預測區塊之交界,進行去區塊濾波器處理。圖9係區塊交界之像素之一例的說明圖。在進行垂直邊緣之濾波處理時,如圖9(a)所示,令夾住垂直交界的左側之區塊為區塊P、右側之區塊為區塊Q。然後,將區塊P中所含之身為濾波對象的垂直交界的像素p,從區塊之交界起往左依序令作像素p0、p1、p2、p3,將區塊Q中所含之像素q,從區塊之交界起往右依序令作像素q0、q1、q2、q3。雖然僅圖示最上面的1線,但跨越垂直交界、針對垂直方向之各線,會在水平方向上進行濾波。另一方面,在進行水平邊緣之濾波處理時,如圖9(b)所示,令夾住水平交界的上側之區塊為區塊P、下側之區塊為區塊Q。然後,將區塊P中所含之身為濾波對象的垂直交界的像素p,從區塊之交界起往上依序令作像素p0、p1、p2、p3,將區塊Q中所含之像素q,從區塊之交界起往下依序令作像素q0、q1、q2、q3。雖然僅圖示最左方的1線,但跨越水平交界、針對水平方向之各線,會在垂直方向上進行濾波。
說明第1實施例。圖10、圖11、圖14、圖15及圖18係影像編碼裝置的去區塊濾波器部111及影像解碼裝置的去區塊濾波器部211的第1實施例之處理程序的說明用流程圖。在影像編碼裝置中,係編碼對象之圖像的所有解碼影像訊號都被儲存在第1解碼影像記憶體113中之後,以去區塊濾波器部111進行去區塊濾波器處理,儲存至第2解碼影像記憶體114。在影像解碼裝置中,係
解碼對象之圖像的所有解碼影像訊號都被儲存在第1解碼影像記憶體213中之後,以去區塊濾波器部211進行去區塊濾波器處理,儲存至第2解碼影像記憶體214。
首先說明圖10的去區塊濾波器處理程序。對影像編碼裝置的第1解碼影像記憶體113或影像解碼裝置的第1解碼影像記憶體213中所儲存的圖像內之每一編碼區塊,重複步驟S2102與S2103之處理(步驟S2101~S2104)。進行垂直邊緣之水平方向的濾波處理(步驟S2102),將輸出影像p’、q’儲存至影像記憶體(步驟S2103)。此時,是被儲存至中間資料暫時保存用的影像記憶體。接著,對已被去區塊濾波器處理之圖像內的每一編碼區塊,重複步驟S2106與S2107之處理(步驟S2105~S2108)。進行水平邊緣之垂直方向的濾波處理(步驟S2106),將輸出影像p’、q’儲存至影像記憶體(步驟S2107)。此時,會被儲存至影像編碼裝置的第2解碼影像記憶體114或影像解碼裝置的第2解碼影像記憶體214。步驟S2102的垂直邊緣之水平方向之濾波處理和步驟S2106的水平邊緣之垂直方向之濾波處理,係僅處理方向不同,處理程序係為共通,使用圖11、圖14、圖15及圖18來詳細說明。
說明圖11的每一編碼區塊的去區塊濾波器處理程序。首先,使用編碼資訊儲存記憶體112或編碼資訊儲存記憶體212中所儲存的編碼資訊,來導出編碼區塊內的轉換區塊之交界(步驟S2201)。圖12係編碼區塊內的轉
換區塊的垂直交界與水平交界之一例的說明圖。在進行垂直邊緣之濾波處理時,將編碼區塊之內部及左側之邊上的圖12(a)之粗線所示的,導出編碼區塊內的轉換區塊的垂直方向之交界3101,予以導出。另一方面,在進行水平邊緣之濾波處理時,將編碼區塊之內部及上側之邊上的圖12(b)之粗線所示的,導出編碼區塊內的轉換區塊的水平方向之交界3102,予以導出。
接著,導出預測區塊交界(步驟S2202)。圖13係編碼區塊內的預測區塊的垂直交界與水平交界之一例的說明圖。在進行垂直邊緣之濾波處理時,將編碼區塊之內部及左側之邊上的圖13(a)之粗線所示的,導出編碼區塊內的預測區塊的垂直方向之交界3201,予以導出。另一方面,在進行水平邊緣之濾波處理時,將編碼區塊之內部及上側之邊上的圖13(b)之粗線所示的,導出編碼區塊內的預測區塊的水平方向之交界3202,予以導出。
接著,導出轉換區塊及預測區塊的各個區塊交界之強度(步驟S2203)。針對各區塊交界,並非進行一樣相同強度的去區塊濾波器處理,而是應該要根據各個區塊交界之條件來決定要進行哪種程度之強度的去區塊濾波器處理。
當像素p0或q0是被以畫面內預測模式而被編碼之編碼區塊所包含時,將表示區塊交界之強度的變數bS的值,設定成2。2係表示最強強度的值。
當像素p0或q0未被以畫面內預測模式而被
編碼之編碼區塊所包含時,當像素p0或q0是被含非0轉換係數之轉換區塊所包含時,將表示區塊交界之強度的變數bS的值,設定成1。1係表示中程度之強度的值。
當像素p0或q0未被以畫面內預測模式而被編碼之編碼區塊所包含,像素p0或q0未被含非0轉換係數之轉換區塊所包含時,含有像素p0之預測區塊,是與含有像素q0之預測區塊為不同之參照圖像、或不同之預測區塊的運動向量數時,則將表示區塊交界之強度的變數bS的值,設定成1。
當像素p0或q0未被以畫面內預測模式而被編碼之編碼區塊所包含,像素p0或q0未被含非0轉換係數之轉換區塊所包含,含有像素p0之預測區塊,是與含有像素q0之預測區塊為相同之參照圖像且相同之預測區塊的運動向量數時,含有像素p0之預測區塊的運動向量之值、與含有像素q0之預測區塊的運動向量的運動向量之值是有所定值以上之差異時,將表示區塊交界之強度的變數bS的值,設定成1。
當像素p0或q0未被以畫面內預測模式而被編碼之編碼區塊所包含,像素p0或q0未被含非0轉換係數之轉換區塊所包含,含有像素p0之預測區塊係與含有像素q0之預測區塊是相同參照圖像且相同預測區塊之運動向量數且含有像素p0之預測區塊的運動向量之值、與含有像素q0之預測區塊的運動向量的運動向量之值是沒有所定值以上之差異時,將表示區塊交界之強度的變數
bS的值,設定成0。0係表示最弱強度的值。
接著,進行亮度訊號的濾波(步驟S2204)。針對步驟S2204之亮度訊號的濾波處理程序,使用圖14來詳細說明。接著,進行色差訊號的濾波(步驟S2205),結束本去區塊濾波器處理程序。至於色差訊號之濾波也是和亮度訊號之濾波大致相同的手法,因此省略詳細說明。
圖14係步驟S2204之訊號的濾波處理程序的流程圖。對編碼區塊內的每8×8區塊(步驟S2301~S2303),進行亮度區塊邊緣的濾波(步驟S2302)。
圖15係第1實施例的步驟S2302的區塊邊緣的濾波處理程序的流程圖。首先,取得含有像素p(像素p0、p1、p2、p3)的區塊P的量化參數QPP(步驟S3101)。取得含有像素q(像素q0、q1、q2、q3)的區塊Q的量化參數QPQ(步驟S3102)。當含有像素p之區塊P是畫面內PCM區塊時(步驟S3103的YES),則不進行量化,沒有編碼劣化,因此對量化參數QPP設定0(步驟S3104)。同樣地,當含有像素q之區塊Q是畫面內PCM區塊時(步驟S3105的YES),則不進行量化,沒有編碼劣化,因此對量化參數QPQ設定0(步驟S3106)。此外,當含有區塊P或區塊Q的編碼區塊是畫面內PCM區塊時,於步驟S3104及步驟S3106中,雖然是對畫面內PCM區塊的量化參數QPP、QPQ設定了0,但尤其是,當後述的語法要素beta_offset_div2及tc_offset_div2之值所採取的範圍較廣時,對畫面內PCM區塊的量化參數QPP、QPQ不設成
0而改為設成量化參數QY的最小值亦即-QpBdOffsetY,藉此可使後述的變數β及變數tc之值變小。此時,藉由將無畫質劣化之畫面內PCM區塊所涉及之濾波器強度減弱,就可較適切地設定去區塊濾波器的濾波強度。接著藉由下式,導出量化參數QPP與量化參數QPQ的平均值,當作QPA(步驟S3107)。
QPA=(QPP+QPQ+1)>>1
接著,導出變數β(步驟S3108)。變數β係為去區塊濾波器強度決定之際所使用的變數。量化參數之平均值QPA越大,則變數β之值會變得越大。在變數β之導出中,係以下式導出索引indexB,若索引indexB小於0為設成0,若大於51為限幅成51,藉由參照圖16的表,導出變數β。
indexB=QPA+(beta_offset_div2<<1)其中,beta_offset_div2係為以序列單位而被編碼的語法要素,帶有-13至13的值。當含有區塊P或區塊Q的編碼區塊是畫面內PCM區塊時,藉由將畫面內PCM區塊的量化參數QPP或QPQ設定成-QpBdOffsetY或0,量化參數的平均值QPA之值會變小,β之值會變小。若β之值較小,則如後述,容易變成不施加濾波器,會容易選擇弱
濾波器。
接著,導出變數tc(步驟S3109)。變數tc之值係為去區塊濾波器強度決定之際所使用的變數,量化參數之平均值QPA或表示交界強度之變數bS之值越大,則變數tc之值就越大。在變數tc之導出中,係以下式導出索引indexTc,若索引indexTc小於0為設成0,若大於53為限幅成53,藉由參照圖17的表,導出變數tc。
indexTc=QPA+2 *(bS-1)+(tc_offset_div2<<1)其中,tc_offset_div2係為以序列單位而被編碼的語法,帶有-13至13的值。
接著,根據交界附近的像素值之關係,導出評價值d(步驟S3110)。若評價值d是變數β以上(步驟S3111的NO),則將輸入像素直接當成輸出像素(步驟S3116),結束本亮度訊號之濾波處理。若變數β之值較小,則容易變成不施加濾波器。
若評價值d是小於變數β(步驟S3111的YES),則根據交界附近之像素值與變數β之關係,來決定去區塊濾波器之種類(步驟S3112)。在本實施形態中係將強濾波器與弱濾波器這2種類的濾波器,做切換使用。若變數β之值較大,則容易選擇強濾波器,若變數β之值較小,則容易選擇弱濾波器。
接著,對濾波區塊的每一線,將訊號進行濾
波(步驟S3113~S3115)。進行每線訊號的夾住區塊交界的像素p(像素p0、p1、p2、p3)、像素q(像素q0、q1、q2、q3)之濾波(步驟S3114)。
圖18係第1實施例的步驟S3114的每線訊號之濾波處理程序的流程圖。若為施加強濾波器時(步驟S3201的YES),則施加強濾波器(步驟S3202)。若非如此(步驟S3201的NO),則施加弱濾波器(步驟S3203)。將施加過濾波器的像素p’(像素p0’、p1’、p2’、p3’)、像素q’(像素q0’、q1’、q2’、q3’),當作輸出像素,結束本濾波處理程序。
接著,說明第2實施例。圖10、圖11、圖14、圖19、圖20係影像編碼裝置的去區塊濾波器部111及影像解碼裝置的去區塊濾波器部211的第2實施例之處理程序的說明用流程圖。與第1實施例係為,圖10、圖11、圖14係相同,圖15改成圖19,圖18改成圖20。對相同處理(步驟)係標示相同編號。第2實施例的圖19係為,第1實施例的圖15之步驟S3103~S3106的判定含區塊P及區塊Q之編碼區塊是否為畫面內PCM區塊、若為畫面內PCM時則將量化參數QPP或QPQ設定成0之處理被省略掉,這點有所不同。第2實施例的圖20係對第1實施例的圖18,追加了步驟S3205~S3208之處理這點,有所不同。
圖19係第2實施例的步驟S2302的區塊邊緣的濾波處理程序的流程圖。首先,取得含有像素p的區塊
P的量化參數QPP(步驟S3101)。取得含有像素q的區塊Q的量化參數QPQ(步驟S3102)。圖19的步驟S3107以後的處理,係和第1實施例的圖15相同,因此省略說明。
圖20係第2實施例的步驟S3114的每線的亮度訊號之濾波處理程序的流程圖。若為施加強濾波器時(步驟S3201的YES),則施加強濾波器(步驟S3202)。若非如此(步驟S3201的NO),則施加弱濾波器(步驟S3203)。將被施加過濾波器的像素p’、q’當作輸出像素。
當含有像素p之區塊P是畫面內PCM區塊時(步驟S3205的YES),則將輸入影像p之像素值,設定至輸出像素p’(步驟S3206)。亦即,在未對畫面內PCM區塊之像素p施加濾波器的狀態下,直接當作輸出像素而予以輸出。當含有像素p之區塊不是畫面內PCM區塊時(步驟S3205的YES),則將被施加過濾波器的像素p’直接當作輸出像素而前進至步驟S3207。
當含有像素q之區塊是畫面內PCM區塊時(步驟S3207的YES),則將輸入影像q之像素值,設定至輸出像素q’(步驟S3208)。亦即,在未對畫面內PCM區塊之像素q施加濾波器的狀態下,直接當作輸出像素而予以輸出。當含有像素q之區塊不是畫面內PCM區塊時(步驟S3207的YES),則將被施加過濾波器的像素q’直接當作輸出像素,結束本濾波處理程序。
在第1實施例中,若區塊P或區塊Q之任一
方是畫面內PCM,則將畫面內PCM區塊的量化參數設成0或量化參數的最小值而算出變數β之值,因此在非畫面內PCM的另一方之區塊上也是,變數β之值會變小、變成不會施加濾波器,變成容易選擇弱濾波器,而無法適切地施加去區塊濾波器,存在如此課題。例如,於圖9(a)或(b)中,亮度訊號的位元深度是8位元,且區塊P是畫面內PCM編碼且量化參數QPP之值為30,區塊Q是畫面內預測模式且編碼參數QPQ之值為30,語法要素beta_offset_div2之值為0時,則量化參數QPP之值會被設定成0,編碼參數QPA之值會變成15,變數β之值會變成0。此時,不只是區塊P而就連區塊Q也不會施加濾波器,無法去除區塊失真。
另一方面,在第2實施例中,則是不區別是否為畫面內PCM,而是利用量化參數,因此可施加適切強度的濾波器。例如,於圖9(a)或(b)中,亮度訊號的位元深度是8位元,且區塊P是畫面內PCM編碼且編碼參數QPP之值為30,區塊Q是畫面內預測模式且編碼參數QPQ之值為30,語法要素beta_offset_div2之值為0時,則編碼參數QPA之值會變成30,變數β之值會變成22。此時,對區塊Q會施加適切的濾波器,去除區塊失真。又,關於沒有編碼劣化之畫面內PCM區塊,則總是不施加濾波器,因此關於畫面內PCM區塊也不會發生編碼劣化。
接著,說明第3實施例。圖10、圖11、圖
14、圖19、圖21係影像編碼裝置的去區塊濾波器部111及影像解碼裝置的去區塊濾波器部211的第3實施例之處理程序的說明用流程圖。與第2實施例係為,圖10、圖11、圖14、圖19係相同,圖20改成圖21。對相同處理(步驟)係標示相同編號。第2實施例的圖21係對第2實施例的圖20,追加了步驟S3204之處理這點,有所不同。圖10、圖11、圖14、圖19之處理係和第2實施例相同,因此省略說明。
圖21係第3實施例的步驟S3114的每線的亮度訊號之濾波處理程序的流程圖。若為施加強濾波器時(步驟S3201的YES),則施加強濾波器(步驟S3202)。若非如此(步驟S3201的NO),則施加弱濾波器(步驟S3203)。
接著,判定旗標pcm_loop_filter_disable_flag之值(步驟S3204)。pcm_loop_filter_disable_flag係為用來表示是否對以畫面內PCM而被編碼之像素施加去區塊濾波器或其他迴圈濾波器用的旗標,是以序列、圖像、或切片單位而被設定、編碼。若pcm_loop_filter_disable_flag為1(步驟S3204的YES),則前進至步驟S3205,若pcm_loop_filter_disable_flag為0(步驟S3204的NO),則將被施加過濾波器的像素p’、q’當作輸出像素,結束本濾波處理程序。
當含有像素p之區塊是畫面內PCM區塊時(步驟S3205的YES),則將輸入影像p之像素值,設定至
輸出像素p’(步驟S3206)。亦即,在未對畫面內PCM區塊之像素p施加濾波器的狀態下,直接當作輸出像素而予以輸出。當含有像素p之區塊不是畫面內PCM區塊時(步驟S3205的YES),則將被施加過濾波器的像素p’直接當作輸出像素而前進至步驟S3207。
當含有像素q之區塊是畫面內PCM區塊時(步驟S3207的YES),則將輸入影像q之像素值,設定至輸出像素q’(步驟S3208)。亦即,在未對畫面內PCM區塊之像素q施加濾波器的狀態下,直接當作輸出像素而予以輸出。當含有像素q之區塊不是畫面內PCM區塊時(步驟S3207的YES),則將被施加過濾波器的像素q’直接當作輸出像素,結束本濾波處理程序。
在第3實施例中,由於可根據旗標pcm_loop_filter_disable_flag來切換是否對以畫面內PCM而被編碼之像素施加去區塊濾波器,因此尤其在高位元速率之際,藉由對旗標pcm_loop_filter_disable_flag設定0,就可省略區塊是否為畫面內PCM之判定,可削減演算量。
此外,在第1實施例中,亦可不實施圖18之每線訊號的濾波處理程序,改成實施第3實施例所說明之圖21的每線訊號之濾波處理程序。由於可根據旗標pcm_loop_filter_disable_flag來切換是否對以畫面內PCM而被編碼之像素施加去區塊濾波器,因此尤其在低位元速率之際,對旗標pcm_loop_filter_disable_flag設定1,對
畫面內PCM區塊不施加去區塊濾波器,藉此就可抑制畫質劣化。
以上所述的實施形態的影像編碼裝置所輸出的影像的編碼位元列,係為了可隨著實施形態中所使用之編碼方法來進行解碼,而具有特定的資料格式,對應於影像編碼裝置的影像解碼裝置係可將此特定資料格式的編碼位元列加以解碼。
影像編碼裝置與影像解碼裝置之間為了收授編碼位元列,而使用有線或無線網路的情況下,可將編碼位元列轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下,會設置有:將影像編碼裝置所輸出之編碼位元列轉換成適合於通訊路之傳輸形態之資料形式的已被封包化之編碼串流然後發送至網路的影像送訊裝置、和從網路接收已被封包化之編碼串流並復原成編碼位元列而供給至影像解碼裝置的影像收訊裝置。
影像送訊裝置,係含有:將影像編碼裝置所輸出之編碼位元列予以緩衝的記憶體、將編碼位元列予以封包化的封包處理部、將已被封包化的編碼串流透過網路而進行發送的送訊部。影像收訊裝置,係含有:將已被封包化的編碼串流透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理,係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現,當然,也
可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供,或可透過有線或無線網路從伺服器來提供,也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示,這些各構成要素或各處理程序之組合中還有各種可能的變形例,而這些變形例也都屬於本發明之範圍,而能被當業者所理解。
本發明係可利用於,利用到濾波的影像編碼及解碼技術。
101‧‧‧影像記憶體
102‧‧‧量化參數決定部
103‧‧‧畫面內預測部
104‧‧‧PCM編碼部
105‧‧‧畫面間預測部
106‧‧‧編碼方法決定部
107‧‧‧殘差訊號生成部
108‧‧‧正交轉換‧量化部
109‧‧‧逆量化‧逆正交轉換部
110‧‧‧解碼影像訊號重疊部
111‧‧‧去區塊濾波器部
112‧‧‧編碼資訊儲存記憶體
113‧‧‧第1解碼影像記憶體
114‧‧‧第2解碼影像記憶體
115‧‧‧第1編碼位元列生成部
116‧‧‧第2編碼位元列生成部
117‧‧‧第3編碼位元列生成部
118‧‧‧編碼位元列多工化部
119‧‧‧開關
Claims (3)
- 一種影像編碼裝置,係屬於以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼裝置,其特徵為,含有:量化參數決定部,係將區塊的量化參數,予以設定;和第1編碼部,係將區塊的影像訊號,基於前記量化參數而進行量化、壓縮並編碼;和第2編碼部,係將區塊的影像訊號,進行非壓縮編碼;和去區塊濾波器部,係使用區塊交界之兩側的區塊所各自被設定之量化參數值,來導出濾波強度,對前記區塊交界之兩側的區塊的影像訊號實施濾波處理;前記量化參數決定部,係於進行壓縮編碼之區塊及進行非壓縮編碼之區塊中,設定前記量化參數;前記去區塊濾波器部,係不區別前記區塊交界的影像訊號是否已被非壓縮編碼,就使用前記區塊交界之兩側的區塊所各自被設定之前記量化參數值的平均值來導出前記濾波強度,並且基於用來表示在前記被非壓縮編碼之區塊的影像訊號上將濾波處理設成或是不設成無效的旗標,當前記旗標表示不設成無效時,係將前記濾波處理實施後的影像訊號予以輸出,當前記旗標表示要設成無效時,係在前記被非壓縮編碼之區塊上,將實施前記濾波處理前的影 像訊號,直接當成輸出訊號。
- 一種影像編碼方法,係屬於以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼方法,其特徵為,含有:量化參數決定步驟,係將區塊的量化參數,予以設定;和第1編碼步驟,係將區塊的影像訊號,基於前記量化參數而進行量化、壓縮並編碼;和第2編碼步驟,係將區塊的影像訊號,進行非壓縮編碼;和去區塊濾波步驟,係使用區塊交界之兩側的區塊所各自被設定之量化參數值,來導出濾波強度,對前記區塊交界之兩側的區塊的影像訊號實施濾波處理;前記量化參數決定步驟,係於進行壓縮編碼之區塊及進行非壓縮編碼之區塊中,設定前記量化參數;前記去區塊濾波器步驟,係不區別前記區塊交界的影像訊號是否已被非壓縮編碼,就使用前記區塊交界之兩側的區塊所各自被設定之前記量化參數值的平均值來導出前記濾波強度,並且基於用來表示在前記被非壓縮編碼之區塊的影像訊號上將濾波處理設成或是不設成無效的旗標,當前記旗標表示不設成無效時,係將前記濾波處理實施後的影像訊號予以輸出,當前記旗標表示要設成無效時,係在前記被非壓縮編碼之區塊上,將實施前記濾波處理前的 影像訊號,直接當成輸出訊號。
- 一種記錄媒體,係儲存有以區塊單位將含有亮度訊號與色差訊號的影像訊號進行編碼的影像編碼程式的記錄媒體,其特徵為,前記影像編碼程式係令電腦執行:量化參數決定步驟,係將區塊的量化參數,予以設定;和第1編碼步驟,係將區塊的影像訊號,基於前記量化參數而進行量化、壓縮並編碼;和第2編碼步驟,係將區塊的影像訊號,進行非壓縮編碼;和去區塊濾波步驟,係使用區塊交界之兩側的區塊所各自被設定之量化參數值,來導出濾波強度,對前記區塊交界之兩側的區塊的影像訊號實施濾波處理;前記量化參數決定步驟,係於進行壓縮編碼之區塊及進行非壓縮編碼之區塊中,設定前記量化參數;前記去區塊濾波器步驟,係不區別前記區塊交界的影像訊號是否已被非壓縮編碼,就使用前記區塊交界之兩側的區塊所各自被設定之前記量化參數值的平均值來導出前記濾波強度,並且基於用來表示在前記被非壓縮編碼之區塊的影像訊號上將濾波處理設成或是不設成無效的旗標,當前記旗標表示不設成無效時,係將前記濾波處理實施後的影像訊號予以輸出,當前記旗標表示要設成無效時,係在前記被非壓縮編碼之區塊上,將實施前記濾波處理前的 影像訊號,直接當成輸出訊號。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012082564 | 2012-03-30 | ||
JP2012082563 | 2012-03-30 | ||
JP2013070431A JP2013229865A (ja) | 2012-03-30 | 2013-03-28 | 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム |
JP2013070432A JP2013229866A (ja) | 2012-03-30 | 2013-03-28 | 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201717634A TW201717634A (zh) | 2017-05-16 |
TWI596934B true TWI596934B (zh) | 2017-08-21 |
Family
ID=49990403
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105136463A TWI596934B (zh) | 2012-03-30 | 2013-03-29 | Video encoding device, video encoding method and recording medium |
TW106123981A TWI612802B (zh) | 2012-03-30 | 2013-03-29 | 影像解碼裝置、影像解碼方法 |
TW102111561A TW201345269A (zh) | 2012-03-30 | 2013-03-29 | 影像編碼裝置、影像編碼方法、影像編碼程式、送訊裝置、送訊方法、及送訊程式、以及影像解碼裝置、影像解碼方法、影像解碼程式、收訊裝置、收訊方法、及收訊程式 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106123981A TWI612802B (zh) | 2012-03-30 | 2013-03-29 | 影像解碼裝置、影像解碼方法 |
TW102111561A TW201345269A (zh) | 2012-03-30 | 2013-03-29 | 影像編碼裝置、影像編碼方法、影像編碼程式、送訊裝置、送訊方法、及送訊程式、以及影像解碼裝置、影像解碼方法、影像解碼程式、收訊裝置、收訊方法、及收訊程式 |
Country Status (1)
Country | Link |
---|---|
TW (3) | TWI596934B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060133504A1 (en) * | 2004-12-17 | 2006-06-22 | Samsung Electronics Co., Ltd. | Deblocking filters for performing horizontal and vertical filtering of video data simultaneously and methods of operating the same |
US20060262990A1 (en) * | 2005-05-20 | 2006-11-23 | National Chiao-Tung University | Dual-mode high throughput de-blocking filter |
TW200803525A (en) * | 2006-06-16 | 2008-01-01 | Via Tech Inc | Deblockings filter for video decoding, video decoders and graphic processing units |
US20080123750A1 (en) * | 2006-11-29 | 2008-05-29 | Michael Bronstein | Parallel deblocking filter for H.264 video codec |
TW201123899A (en) * | 2009-12-22 | 2011-07-01 | Univ Feng Chia | Block artifact filtering method for video encoding and filter device thereof. |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4501676B2 (ja) * | 2004-12-22 | 2010-07-14 | 日本電気株式会社 | 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム |
-
2013
- 2013-03-29 TW TW105136463A patent/TWI596934B/zh active
- 2013-03-29 TW TW106123981A patent/TWI612802B/zh active
- 2013-03-29 TW TW102111561A patent/TW201345269A/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060133504A1 (en) * | 2004-12-17 | 2006-06-22 | Samsung Electronics Co., Ltd. | Deblocking filters for performing horizontal and vertical filtering of video data simultaneously and methods of operating the same |
US20060262990A1 (en) * | 2005-05-20 | 2006-11-23 | National Chiao-Tung University | Dual-mode high throughput de-blocking filter |
TW200803525A (en) * | 2006-06-16 | 2008-01-01 | Via Tech Inc | Deblockings filter for video decoding, video decoders and graphic processing units |
US20080123750A1 (en) * | 2006-11-29 | 2008-05-29 | Michael Bronstein | Parallel deblocking filter for H.264 video codec |
TW201123899A (en) * | 2009-12-22 | 2011-07-01 | Univ Feng Chia | Block artifact filtering method for video encoding and filter device thereof. |
Non-Patent Citations (1)
Title |
---|
Keiichi Chono,H. Aoki,V. Wahadaniah.etc,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting,Geneva, CH, 16-23 March 2011 * |
Also Published As
Publication number | Publication date |
---|---|
TW201739248A (zh) | 2017-11-01 |
TW201345269A (zh) | 2013-11-01 |
TWI563833B (zh) | 2016-12-21 |
TW201717634A (zh) | 2017-05-16 |
TWI612802B (zh) | 2018-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210360262A1 (en) | Encoder-side options for intra block copy prediction mode for video and image coding | |
US11107253B2 (en) | Image processing method, and image decoding and encoding method using same | |
US10390034B2 (en) | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area | |
CA3118429C (en) | Image signal encoding/decoding method and apparatus therefor | |
JP6497423B2 (ja) | 映像復号装置、映像復号方法及びプログラム | |
CN116962721A (zh) | 利用样本值的非相邻参考线进行帧内图片预测的方法 | |
KR20190083948A (ko) | 영상을 부호화 또는 복호화하는 방법 및 장치 | |
KR20160072181A (ko) | 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐 | |
EP4224850B1 (en) | Video signal encoding and decoding method, and apparatus therefor | |
KR20140005296A (ko) | 스케일러블 비디오 코딩의 방법 및 장치 | |
KR20210095949A (ko) | 비디오 코딩 방법 및 장치 | |
WO2013145773A1 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム | |
JP2017055464A (ja) | 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム | |
JP2013223096A (ja) | 画像符号化装置、画像符号化方法及び画像符号化プログラム | |
JP2013229865A (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム | |
TWI596934B (zh) | Video encoding device, video encoding method and recording medium | |
KR20200081207A (ko) | 움직임정보 표현 방법 및 이를 이용한 영상 복호화 장치 | |
KR102648468B1 (ko) | 레벨 설정 방법 및 이를 이용한 영상 복호화 장치 | |
KR102711408B1 (ko) | 레벨 설정 방법 및 이를 이용한 영상 복호화 장치 | |
JP2013223097A (ja) | 画像復号装置、画像復号方法及び画像復号プログラム | |
JP2022538687A (ja) | 改良された可逆圧縮のためのエンコーダ、デコーダ、方法およびコンピュータプログラム |