TWI489837B - A moving picture decoding apparatus, an image coding apparatus, an image decoding method, and an image coding method - Google Patents

A moving picture decoding apparatus, an image coding apparatus, an image decoding method, and an image coding method Download PDF

Info

Publication number
TWI489837B
TWI489837B TW102101582A TW102101582A TWI489837B TW I489837 B TWI489837 B TW I489837B TW 102101582 A TW102101582 A TW 102101582A TW 102101582 A TW102101582 A TW 102101582A TW I489837 B TWI489837 B TW I489837B
Authority
TW
Taiwan
Prior art keywords
unit
prediction
block
coding
filter
Prior art date
Application number
TW102101582A
Other languages
English (en)
Other versions
TW201342934A (zh
Inventor
峯澤彰
杉本和夫
宮澤一之
伊谷裕介
服部亮史
守屋芳美
日和佐憲道
關口俊一
村上篤道
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201342934A publication Critical patent/TW201342934A/zh
Application granted granted Critical
Publication of TWI489837B publication Critical patent/TWI489837B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Description

動畫像解碼裝置、動畫像編碼裝置、動畫像解碼方法以及動畫像編碼方法
本發明係有關一種以高效率將動畫像進行編碼之動畫像編碼裝置及動畫像編碼方法、及將已以高效率編碼的動畫像進行解碼之動畫像解碼裝置及動畫像解碼方法者。
習知以來,在MPEG或ITU-T H.26x等國際標準影像編碼方式中,將輸入影像畫框分割為由16×16畫素區塊構成的巨集區塊單位,並實施動作補償預測後,藉由在區塊單位將預測誤差訊號進行直交轉換˙量化而進行資訊壓縮。
但是,當壓縮率變高時,有以實施動作補償預測時所用之預測參照畫像的品質降低為起因,而妨礙壓縮效率的問題。
為此,在MPEG-4 AVC/H.264的編碼方式(參照非專利文獻1)中,藉由實施迴圈內去區塊濾波器處理,可以除去伴隨著直交轉換係數的量化而發生之預測參照畫像的區塊偏斜。
尤其是,在畫框間實施動作補償預測的情況下,利用巨集區塊本身、或者、將巨集區塊再微細分割之次區塊單位搜尋動作向量。
再者,藉由使用該動作向量,實施對於利用記憶體107儲存之參照畫像訊號的動作補償預測而產生動作補償預測畫 像,並藉由求出顯示該動作補償預測畫像之預測訊號與分割畫像訊號的差分而算出預測誤差訊號。
又,預測部102係將取得預測訊號時所決定的預測訊號產生用參數輸出到可變長編碼部108。
又,在預測訊號產生用參數中係包含例如:顯示如何進行在畫框內的空間預測之畫面內預測模式、或顯示畫框間的動作量之動作向量等資訊。
壓縮部103係從預測部102接收到預測誤差訊號時,藉由實施對於該預測誤差訊號的DCT(離散餘弦轉換)處理而除去訊號相關性後,藉由量化而取得壓縮資料。
局部解碼部104係從壓縮部103接收到壓縮資料時,將該壓縮資料進行逆量化,並藉由實施逆DCT處理而算出相當於從預測部102輸出之預測誤差訊號的預測誤差訊號。
加算器105係從局部解碼部104接收到預測誤差訊號時,將該預測誤差訊號與從預測部102輸出的預測訊號進行加算而產生局部解碼畫像。
迴圈濾波器106係除去重疊在表示利用加算器105所產生的局部解碼畫像之局部解碼畫像訊號的區塊偏斜,並將除去偏斜後的局部解碼畫像訊號作為參照畫像訊號儲存在記憶體107。
可變長編碼部108係從壓縮部103接收到壓縮資料時,將該壓縮資料進行熵編碼,並輸出該編碼結果,也就是位元流。
又,可變長編碼部108係在輸出位元流時,將從預測部102 所輸出之預測訊號產生用參數在位元流多工化後輸出。
其中,在非專利文獻1所揭示的編碼方式中,迴圈濾波器106係對於DCT之區塊邊界的周圍畫素,依據量化粗度、編碼模式、動作向量的偏差度等資訊而決定平滑化強度,圖謀發生在區塊邊界的偏斜減低。
藉此,改善參照畫像訊號的品質,可以提高之後的編碼中的動作補償預測之效率。
一方面,在非專利文獻1所揭示的編碼方式中,越是以高壓縮率進行編碼,越會喪失訊號的高頻率成分,而使畫面整體過於平滑化造成影像模糊的問題。
為了解決該問題,在以下的專利文獻1中,提出了適用維納濾波器(Wiener Filter)作為迴圈濾波器106,並將迴圈濾波器106構成為使原畫像訊號,也就是編碼對象的畫像訊號、及與其對應的參照畫像訊號的平方誤差偏斜最小化之技術。
圖22係為在專利文獻1所揭示之畫像編碼裝置中,顯示根據維納濾波器之參照畫像品質改善的原理之說明圖。
在圖22中,訊號s係相當於輸入到圖21的區塊分割部101之編碼對象的畫像訊號之訊號,訊號s’係相當於從圖21的加算器105所輸出之局部解碼畫像訊號、或者是非專利文獻1中之根據迴圈濾波器106之減低發生在區塊邊界的偏斜之局部解碼畫像訊號的訊號。
換言之,訊號s’係在訊號s重疊有編碼偏斜(雜訊)e的訊號。
維納濾波器係定義為以利用平方誤差偏斜的規範將該編碼偏斜(雜訊)e最小化的方式,對於訊號s’予以施行的濾波器,一般而言,利用訊號s’的本身相關行列Rs’s’ 、及訊號s、s’的相互相關向量Rss’ ,從下述之式(1)可以求出濾波器係數w。行列Rs’s’ ,Rss’ 之大小係與求出之濾波器的抽頭數對應。
根據施行濾波器係數w的維納濾波器,可以得到已品質改善的訊號s帽子(電子申請的關係,將附字母文字的「^」以帽子表示)作為相當於參照畫像訊號的訊號。
又,在專利文獻1中,因應動作資訊或畫像的局部訊號特性而將畫框進行區域分類(等級分類),藉由在每個等級設計最適合的維納濾波器,實現因應畫像的局部性之高精確度的偏斜補償。
先前技術文獻 專利文獻
專利文獻1:國際公開第2008/010929號公報
非專利文獻
非專利文獻1:MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
習知之動畫像編碼裝置係因為如以上所示予以構成,可以實現因應編碼對象之畫像的局部性高精確度的偏斜補 償。但是,針對等級分類係由於是利用因應動作資訊或畫像的局部性訊號特性而決定的手法予以進行的,因此根據編碼對象之畫像而使濾波器處理的效果大不相同,會有發生幾乎看不到根據濾波器處理之偏斜補償效果的畫像之課題。
本發明係為用以解決上述課題而開發出來的,以得到可以提高畫像品質的改善精確度之動畫像解碼裝置、動畫像編碼裝置、動畫像解碼方法以及動畫像編碼方法為目的。
關於本發明之動畫像解碼裝置的濾波手段係為實施:使用等級分類手法,在最大尺寸編碼區塊單位實施利用解碼畫像產生手段所產生的解碼畫像內之各畫素的等級分級,並將各等級的偏置值加算到屬於各等級的畫素之畫素值之畫素適應偏置處理者。
根據本發明,因為濾波手段係構成為實施:使用等級分類手法,在最大尺寸編碼區塊單位實施利用解碼畫像產生手段所產生的解碼畫像內之各畫素的等級分級,並將各等級的偏置值加算到屬於各等級的畫素之畫素值之畫素適應偏置處理,因此有可以提高畫像品質的改善精確度的效果。
1‧‧‧區塊分割部(區塊分割手段)
2‧‧‧編碼控制部(編碼控制手段)
3‧‧‧切換開關
4‧‧‧畫面內預測部(畫面內預測手段)
5‧‧‧動作補償部(動作補償手段)
6‧‧‧減算部(差分畫像產生手段)
7‧‧‧轉換‧量化部(畫像壓縮手段)
8‧‧‧逆量化‧逆轉換部(局部解碼畫像產生手段)
9‧‧‧加算部(局部解碼畫像產生手段)
10‧‧‧迴圈濾波器部(濾波手段)
11‧‧‧迴圈濾波器部(濾波手段)
12‧‧‧動作補償預測畫框記憶體(動作補償預測手段)
13‧‧‧可變長編碼部(可變長編碼手段)
31‧‧‧可變長解碼部(可變長解碼手段)
32‧‧‧逆量化‧逆轉換部(差分畫像產生手段)
33‧‧‧切換開關
34‧‧‧畫面內預測部(畫面內預測手段)
35‧‧‧動作補償部(動作補償手段)
36‧‧‧加算部(解碼畫像產生手段)
37‧‧‧畫面內預測用記憶體(畫面內預測手段)
38‧‧‧迴圈濾波器部(濾波手段)
39‧‧‧動作補償預測畫框記憶體(動作補償預測手段)
101‧‧‧區塊分割部
102‧‧‧預測部
103‧‧‧壓縮部
104‧‧‧局部解碼部
105‧‧‧加算部
106‧‧‧迴圈濾波器
107‧‧‧記憶體
108‧‧‧可變長編碼部
圖1係為顯示根據本發明之實施形態1的動畫像編碼裝置之構成圖。
圖2係為顯示根據本發明之實施形態1的動畫像編碼裝置 之處理內容(動畫像編碼方法)的流程圖。
圖3係顯示根據本發明之實施形態1的動畫像解碼裝置之構成圖。
圖4係為顯示根據本發明之實施形態1的動畫像解碼裝置之處理內容(動畫像解碼方法)的流程圖。
圖5係為顯示將最大編碼區塊階層性分割為複數個編碼區塊之例示的說明圖。
圖6(a)為顯示分割後的編碼區塊與預測區塊的分布,(b)為顯示藉由階層分割分配編碼模式m(Bn )的狀況之說明圖。
圖7係為顯示編碼區塊Bn 內的各預測區塊Pi n 所可選擇之畫面內預測參數(畫面內預測模式)的一例之說明圖。
圖8係為顯示在產生li n =mi n =4情況之各預測區塊Pi n 內的畫素預測值時所用的畫素之一例的說明圖。
圖9係為顯示以預測區塊Pi n 內的左上畫素為原點之相對座標的說明圖。
圖10係為顯示利用根據本發明之實施形態1的動畫像編碼裝置之迴圈濾波器部,使用複數個迴圈濾波器處理情況下的構成例之說明圖。
圖11係為顯示適應濾波器處理中之最大編碼區塊單位的等級分類的一例之說明圖。
圖12為顯示在根據本發明之實施形態1的動畫像解碼裝置之迴圈濾波器部使用複數個迴圈濾波器處理情況下的構成例之說明圖。
圖13係為顯示在根據本發明之實施形態1的動畫像編碼 裝置之迴圈濾波器部進行適應濾波器處理情況下的一例之流程圖。
圖14係為顯示在根據本發明之實施形態1的動畫像編碼裝置之迴圈濾波器部進行適應濾波器處理情況下的一例之流程圖。
圖15係為顯示適應濾波器處理之編碼區塊單位的濾波器處理有無之一例的說明圖。
圖16係為顯示適應濾波器處理之最大編碼區塊單位的等級編號之使用Move-To-Front的編碼處理之說明圖。
圖17係為顯示適應濾波器處理之最大編碼區塊單位的濾波器處理有無之一例的說明圖。
圖18係為顯示利用根據本發明之實施形態1的動畫像編碼裝置之可變長編碼部所產生位元流的一例之說明圖。
圖19係為顯示在根據本發明之實施形態1的動畫像解碼裝置之迴圈濾波器部進行適應濾波器處理情況下的一例之流程圖。
圖20係為顯示進行畫素適應偏置處理情況下之等級分類手法的一部份之說明圖。
圖21係為顯示非專利文獻1所揭示之畫像編碼裝置的構成圖。
圖22係為顯示根據維納濾波器之參照畫像訊號的品質改善原理之說明圖。
圖23係為顯示適應濾波器處理或畫素適應偏置處理之最大編碼區塊單位的索引編碼之一例的說明圖。
實施形態1.
圖1係為顯示根據本發明之實施形態1的動畫像編碼裝置之構成圖。
在圖1中,區塊分割部1係實施:當將影像訊號作為輸入畫像輸入時,將該輸入畫像分割為利用編碼控制部2所決定的最大尺寸編碼區塊,也就是最大編碼區塊,同時直至利用編碼控制部2所決定的上限階層數,將該最大編碼區塊階層性分割為各編碼區塊的處理,。
即,區塊分割部1係實施:因應編碼控制部2所決定的分割將輸入影像分割為各編碼區塊,輸出該編碼區塊的處理。又,各編碼區塊係分割為構成預測處理單位之1個或複數個預測區塊。
又,區塊分割部1係構成區塊分割手段。
編碼控制部2係實施:藉由決定構成實施編碼處理時的處理單位之編碼區塊的最大尺寸,同時決定階層性分割最大尺寸編碼區塊時的上限階層數,決定各個編碼區塊的尺寸的處理。
又,編碼控制部2係實施:從可選擇之1以上的編碼模式表(示預測處理單位之預測區塊的尺寸等有所不同之1以上的畫面內編碼模式、預測區塊的尺寸等有所不同之1以上的畫面間編碼模式)之中,選擇適用於從區塊分割部1所輸出的編碼區塊之編碼模式的處理。
作為選擇手法的一例,其係有從可選擇之1以上的編碼模 式之中,選擇對於從區塊分割部1所輸出之編碼區塊的編碼效率最高之編碼模式的手法。
又,編碼控制部2係實施:在編碼效率最高的編 碼模式為畫面內編碼模式的情況下,對於每個上述畫面內編碼模式所示的預測處理單位,也就是預測區塊,決定利用該畫面內編碼模式實施對於編碼區塊的畫面內預測處理時所用的畫面內預測參數,在編碼效率最高的編碼模式為畫面間編碼模式的情況下,對於每個上述畫面間編碼模式所示的預測處理單位,也就是預測區塊,決定利用該畫面間編碼模式實施對於編碼區塊的畫面間預測處理時所用的畫面間預測參數的處理。
再者,編碼控制部2係實施:決定施加到轉換˙量化部7及逆量化˙逆轉換部8之預測差分編碼參數的處理。在預測差分編碼參數中係包含:顯示編碼區塊之構成直交轉換處理單位之直交轉換區塊的分割資訊之直交轉換區塊分割資訊、或規定進行轉換係數的量化時之量化步驟尺寸之量化參數等。
又,編碼控制部2係構成編碼控制手段。
切換開關3係實施:若利用編碼控制部2所決定 的編碼模式為畫面內編碼模式的話,將從區塊分割部1所輸出的編碼區塊輸出到畫面內預測部4,若利用編碼控制部2所決定的編碼模式為畫面間編碼模式的話,將從區塊分割部1所輸出的編碼區塊輸出到輸出到動作補償預測部5的處理。
畫面內預測部4係實施:在利用編碼控制部2選 擇畫面內編碼模式作為從切換開關3所輸出之與編碼區塊對應的編碼模式的情況下,對於每個進行該編碼區塊的預測處理時 之預測處理單位,也就是預測區塊,一邊參照儲存在畫面內預測用記憶體10的局部解碼畫像,一邊實施使用藉由編碼控制部2所決定的畫面內預測參數之畫面內預測處理(畫框內預測處理)而產生畫面內預測畫像的處理。
又,由畫面內預測部4及畫面內預測用記憶體10構成畫面內預測手段。
動作補償預測部5係實施:在利用編碼控制部2 選擇畫面間編碼模式作為從切換開關3所輸出之與編碼區塊對應的編碼模式的情況下,在預測處理單位,也就是預測區塊比較編碼區塊與儲存在動作補償預測畫框記憶體12的1畫框以上的局部解碼畫像而搜尋動作向量,使用該動作向量與利用編碼控制部2所決定之參照的畫框編號等畫面間預測參數,在預測區塊單位實施對於該編碼區塊的畫面間預測處理(動作補償預測處理)而產生畫面間預測畫像的處理。
又,由動作補償預測部5及動作補償預測畫框記憶體12構成動作補償預測手段。
減算部6係實施:從由區塊分割部1所輸出的編 碼區塊,減去利用畫面內預測部4所產生的畫面內預測畫像、或是利用動作補償預測部5所產生的畫面間預測畫像,並將該減算結果,也就是顯示差分畫像的預測差分訊號輸出到轉換˙量化部7的處理。又,減算部6係構成差分畫像產生手段。
轉換˙量化部7係實施:參照包含在利用編碼控制部2所決定的預測差分編碼參數之直交轉換區塊分割資訊,在直交轉換區塊單位實施對於從減算部6所輸出的預測差分訊號之直交 轉換處理(例如DCT(離散餘弦轉換)或DST(離散正弦轉換)、對於預先特定學習系列成為基底設計之KL轉換等直交轉換處理)而算出轉換係數,同時參照包含在該預測差分編碼參數的量化參數,將該直交轉換區塊單位的轉換係數進行量化,將量化後的轉換係數,也就是壓縮資料輸出到逆量化˙逆轉換部8及可變長編碼部13的處理。
又,轉換˙量化部7係構成畫像壓縮手段。
逆量化˙逆轉換部8係實施:參照包含在利用編碼 控制部2所決定的預測差分編碼參數之量化參數及直交轉換區塊分割資訊,在直交轉換區塊單位將從轉換˙量化部7所輸出的壓縮資料進行逆量化,同時實施對於逆量化後的壓縮資料,也就是轉換係數的逆直交轉換處理而算出相當於從減算部6所輸出之預測差分訊號的局部解碼預測差分訊號的處理。
加算部9係實施:將利用逆量化˙逆轉換部8所算出的局部解碼預測差分訊號、與利用畫面內預測部4所產生的畫面內預測畫像、或是利用動作補償部5所產生的畫面間預測畫像進行加算而算出相當於從區塊分割部1所輸出之編碼區塊的局部解碼畫像的處理。
又,由逆量化˙逆轉換部8及加算部9構成局部解碼畫像產生手段。
畫面內預測用記憶體10係為儲存利用加算部9所算出的局部解碼畫像之記錄媒體。
迴圈濾波器部11係實施:對於利用加算部9所算出的局部解碼畫像實施特定的濾波器處理,並輸出濾波器處理 後的局部解碼畫像的處理。
具體而言,進行:減低發生在直交轉換區塊的邊界或預測區塊的邊界之偏斜的濾波器(去區塊濾波器)處理、在畫素單位適應性加算偏置值(畫素適應偏置)的處理、適應性切換維納濾波器等線形濾波器而進行濾波器處理之適應濾波器處理等。
但是,迴圈濾波器部11係構成為進行上述之去區塊濾波器處理、畫素適應偏置處理、適應濾波器處理之中的1個處理亦可,或者如圖10所示,構成為進行2個以上的濾波器處理亦可。
一般而言,使用的濾波器處理種類越多,越能提升畫像品質,但是另一方面則會造成處理負荷變高。即,由於畫像品質與處理負荷係具有權衡關係,因此依從動畫像編碼裝置允許的處理負荷而決定構成為佳。
又,迴圈濾波器部11係構成濾波手段。
其中,畫素適應偏置處理係於最初將在最大編碼區塊單位沒有進行偏置處理情況作為等級分類手法的一種予以定義,從預先準備的複數個等級分類手法之中選擇1個等級分類手法。
其次,根據選擇的等級分類手法而將區塊內的各畫素進行等級分類,並對於每個等級算出編碼對象畫像與局部解碼畫像之間的亮度值平方誤差和為最小的偏置值。
最後,藉由對於局部解碼畫像的亮度值,進行加算該偏置值的處理而改善局部解碼畫像的畫像品質。
因此,畫素適應偏置處理係將顯示最大編碼區塊單位的等 級分類手法之索引、及最大編碼區塊單位之各等級的偏置值作為濾波器參數的一部份輸出到可變長編碼部13。
又,適應濾波器處理係如圖11所示,也包含在最 大編碼區塊單位沒有進行濾波器處理情況進行等級分類(群組分類)(在圖11的例示中,等級編號0係表示”沒有濾波器處理”),對於每個屬於各等級(群組)的區域(局部解碼畫像)設計補償重疊的偏斜之濾波器,並使用該濾波器實施該局部解碼畫像的濾波器處理。
再者,將上述之等級(群組)數(濾波器數)、屬於各等級(群組)的局部解碼畫像的濾波器、最大編碼區塊單位的等級(群組)辨別資訊,也就是等級編號(濾波器編號)作為濾波器參數的一部份輸出到可變長編碼部13。
又,在進行畫素適應偏置處理及適應濾波器處理的情況下,由於在迴圈濾波器部11必須參照影像訊號,因此必須將影像訊號輸入到迴圈濾波器部11而變更圖1的動畫像編碼裝置。
又,作為共同使用畫素適應偏置處理及適應濾波 器處理的手法,並不是如圖10所示的形式,而是在最大編碼區塊單位最佳選擇畫素適應偏置處理及適應濾波器處理的任一者即可。藉此,可以一邊抑制每個最大編碼區塊單位之濾波器處理的運算量,一邊實現高精確度的濾波器處理。但是,在如此構成的情況下,將最大編碼區塊單位之進行畫素適應偏置處理或進行適應濾波器處理的選擇資訊作為濾波器參數的一部份輸出到可變長編碼部13。
動作補償預測畫框記憶體12係為儲存迴圈濾波器部11之濾波器處理後的局部解碼畫像之記錄媒體。
可變長編碼部13係實施:將從量化部7所輸出的壓縮資料、編碼控制部2的輸出訊號(最大編碼區塊內的區塊分割資訊、編碼模式、預測差分編碼參數、畫面內預測參數或畫面間預測參數)、從動作補償預測部5所輸出的動作向量(在編碼模式為畫面間編碼模式的情況下)、及從迴圈濾波器部11所輸出的濾波器參數進行可變長編碼而產生位元流的處理。又,可變長編碼部13係構成可變長編碼手段。
在圖1的例示中,雖然假設動畫像編碼裝置的構 成要素,也就是區塊分割部1、編碼控制部2、切換開關3、畫面內預測部4、動作補償部5、減算部6、轉換˙量化部7、逆量化˙逆轉換部8、加算部9、畫面內預測用記憶體10、迴圈濾波器部11、動作補償預測畫框記憶體12、及可變長編碼部13係各自利用專用的硬體(例如安裝有CPU的半導體積體電路、單晶片微電腦等)予以構成者,但是在動畫像編碼裝置為利用電腦構成的情況下,將敘述區塊分割部1、編碼控制部2、切換開關3、畫面內預測部4、動作補償部5、減算部6、轉換˙量化部7、逆量化˙逆轉換部8、加算部9、迴圈濾波器部11、及可變長編碼部13的處理內容之程式儲存在電腦的記憶體,而該電腦的CPU係實行儲存在該記憶體的程式亦可。
圖2係為顯示根據本發明之實施形態1的動畫像編碼裝置之處理內容(動畫像編碼方法)之流程圖。
圖3係為顯示根據本發明之實施形態1的動畫像 解碼裝置的構成圖。
在圖3中,可變長解碼部31係當輸入利用圖1的動畫像編碼裝置所產生的位元流時,從該位元流將顯示被階層性分割的各個編碼區塊的分割狀況之區塊分割資訊進行可變長解碼。
又,可變長解碼部31係實施:參照區塊分割資訊,在最大解碼區塊(相當於圖1的動畫像編碼裝置「最大編碼區塊」之區塊)單位,將最大解碼區塊階層性分割並特定進行解碼處理的單位,也就是解碼區塊(相當於圖1的動畫像編碼裝置「編碼區塊」之區塊),並且將關於各個解碼區塊的壓縮資料、編碼模式、畫面內預測參數(編碼模式為畫面內編碼模式的情況)、畫面間預測參數(編碼模式為畫面間編碼模式的情況)、預測差分編碼參數、及動作向量(編碼模式為畫面間編碼模式的情況)進行可變長解碼,同時將每個最大解碼區塊之在迴圈濾波器部38所使用的濾波器參數進行可變長解碼的處理。又,可變長解碼部31係構成可變長解碼手段。
逆量化˙逆轉換部32係實施:參照包含在利用可變 長解碼部31進行可變長解碼之預測差分編碼參數的量化參數及直交轉換區塊分割資訊,在直交轉換區塊單位將利用可變長解碼部31予以可變長解碼之壓縮資料進行逆量化,同時實施對於逆量化後的壓縮資料,也就是轉換係數的逆直交轉換處理,算出與從圖1的逆量化˙逆轉換部8所輸出的局部解碼預測差分訊號相同的解碼預測差分訊號的處理。又,逆量化˙逆轉換部32係構成差分畫像產生手段。
切換開關33係實施:若利用可變長解碼部31進 行可變長解碼的編碼模式為畫面內編碼模式的話,將可變長解碼部31進行可變長解碼的畫面內預測參數輸出到畫面內預測部34,若利用可變長解碼部31進行可變長解碼的編碼模式為畫面間編碼模式的話,將可變長解碼部31進行可變長解碼的畫面間預測參數及動作向量輸出到動作補償部35的處理。
畫面內預測部34係實施:在關於從利用可變長解 碼部31進行可變長解碼的區塊分割資訊被特定的解碼區塊之編碼模式為畫面內編碼模式的情況下,在每個在進行該解碼區塊的預測處理時之預測處理單位,也就是預測區塊,一邊參照儲存在畫面內預測用記憶體37的解碼畫像,一邊實施使用從切換開關33所輸出的畫面內預測參數之畫面內預測處理(畫框內預測處理)而產生畫面內預測畫像的處理。
又,由畫面內預測部34及畫面內預測用記憶體37構成畫面內預測手段。
動作補償部35係實施:在關於從利用可變長解碼 部31進行可變長解碼的區塊分割資訊被特定的解碼區塊之編碼模式為畫面間編碼模式的情況下,在每個進行上述解碼區塊的預測處理時之預測處理單位,也就是預測區塊,一邊參照儲存在動作補償預測畫框記憶體39之解碼畫像,一邊實施使用從切換開關33所輸出的動作向量及畫面間預測參數之畫面間預測處理(動作補償預測處理)而產生畫面間預測畫像的處理。
又,由動作補償部35及動作補償預測畫框記憶體39構成動作補償預測手段。
加算部36係實施:將利用逆量化˙逆轉換部32所 算出的解碼預測差分訊號、與利用畫面內預測部34所產生的畫面內預測畫像、或是利用動作補償部35所產生的畫面間預測畫像進行加算,而算出與從圖1的加算部9所輸出的局部解碼畫像相同的解碼畫像的處理。又,加算部36係構成解碼畫像產生手段。
畫面內預測用記憶體37係為儲存利用加算部36所算出之解碼畫像的記錄媒體。
迴圈濾波器部38係實施:對於利用加算部36所 算出的解碼畫像,實施特定的濾波器處理,並輸出濾波器處理後的解碼畫像的處理。
具體而言,進行減低發生在直交轉換區塊的邊界或預測區塊的邊界之偏斜的濾波器(去區塊濾波器)處理、在畫素單位適應性加算偏置值(畫素適應偏置)的處理、適應性切換維納濾波器等線形濾波器而進行濾波器處理之適應濾波器處理等。
但是,迴圈濾波器部38係構成為進行上述之去區塊濾波器處理、畫素適應偏置處理、適應濾波器處理之中的1個處理亦可,或者如圖12所示,構成為進行2個以上的濾波器處理亦可,但是必須構成為進行與利用動畫像編碼裝置的迴圈濾波器部11所進行的濾波器處理相同的濾波器處理。
又,迴圈濾波器部38係構成濾波手段。
其中,畫素適應偏置處理係參照包含在利用可變 長解碼部31進行可變長解碼的濾波器參數之顯示最大解碼區塊單位的等級分類手法之索引,在該索引不是顯示”不進行偏 置處理”的索引之情況下,在最大解碼區塊單位進行區塊內之各畫素的等級分類。
其次,藉由進行將包含在利用可變長解碼部31進行可變長解碼的濾波器參數之每個等級的偏置值加算到屬於該等級的畫素之亮度值的處理而改善解碼畫像的畫像品質。
又,適應濾波器處理係參照利用可變長解碼部31進行可變長解碼的濾波器參數(等級(群組)數(濾波器數)、屬於各等級(群組)之局部解碼畫像的濾波器、最大解碼區塊單位的等級辨別資訊,也就是等級編號(濾波器編號)),在該等級編號所示之等級(群組)不是顯示”不進行偏置處理”之等級(群組)的情況下,使用與該等級編號對應之濾波器,進行屬於該等級(群組)之解碼畫像的濾波器處理。
動作補償預測畫框記憶體39係為儲存迴圈濾波器部38之濾波器處理後的解碼畫像之記錄媒體。
又,作為一邊抑制迴圈濾波器部38之濾波器處理 整體的運算量,一邊共同使用畫素適應偏置處理及適應濾波器處理之手法,動畫像編碼裝置的迴圈濾波器部11為以在最大編碼區塊單位最佳選擇畫素適應偏置處理及適應濾波器處理的任一者的方式構成之情況下,參照包含在利用可變長解碼部31進行可變長解碼的濾波器參數之最大解碼區塊單位的進行畫素適應偏置處理或進行適應濾波器處理之選擇資訊,而在每個最大解碼區塊實施畫素適應偏置處理或適應濾波器處理。
在圖3的例示中,雖然假設動畫像解碼裝置的構 成要素,也就是可變長解碼部31、逆量化˙逆轉換部32、切換 開關33、畫面內預測部34、動作補償部35、加算部36、畫面內預測用記憶體37、迴圈濾波器部38、及動作補償預測畫框記憶體39係各自利用專用的硬體(例如安裝有CPU的半導體積體電路、單晶片微電腦等)予以構成者,但是在動畫像解碼裝置為利用電腦構成的情況下,將敘述可變長解碼部31、逆量化˙逆轉換部32、切換開關33、畫面內預測部34、動作補償部35、加算部36、及迴圈濾波器部38的處理內容之程式儲存在電腦的記憶體,而該電腦的CPU係實行儲存在該記憶體的程式亦可。
圖4係為顯示根據本發明之實施形態1的動畫像解碼裝置之處理內容(動畫像解碼方法)之流程圖。
其次針對動作進行說明。
在該實施形態1中,針對:將影像的各畫框畫像作為輸入畫像,實施來自已編碼的附近畫素之畫面內預測或者在靠近畫框間之動作補償預測,並對於得到之預測差分訊號施予根據直交轉換˙量化的壓縮處理,之後,進行可變長編碼而產生位元流之動畫像編碼裝置、及將從該動畫像編碼裝置所輸出的位元流進行解碼之動畫像解碼裝置進行說明。
圖1之動畫像編碼裝置,其特徵在於:與影像訊 號之空間˙時間方向的局部性變化適應,而將影像訊號分割為多種尺寸的區塊,進行畫框內˙畫框間適應編碼。
一般而言,影像訊號係具有在空間˙時間上使訊號的複雜度局部變化之特性。當從空間上觀察時,在某個影像訊號畫框上,例如若是在空白或壁等比較寬廣的畫像區域中具有均一訊 號的特性之圖形的話,也會混雜有包含人物或密緻結構的圖畫等之在小畫像區域中具有複雜的結構圖案之圖形。
從時間上觀察時也是,在空白或壁雖然局部性時間方向的圖形變化為小,但是在動作的人物或物體係由於使該輸廓在時間上進行剛體˙非剛體的運動而使時間上的變化為大。
編碼處理係藉由時間˙空間上的預測,產生訊號電 力或熵為小的預測差分訊號,進行削減整體編碼量的處理,但是若是可以將預測所用的參數儘可能地均一適用於大的畫像訊號區域的話,可以縮小該圖案的編碼量。
一方面,對於在時間上˙空間上變化為大的畫像訊號圖案,當將相同的預測參數均一適用在大的畫像訊號區域時,由於會增加預測錯誤而增加預測差分訊號的編碼量。
因此,在時間上˙空間上變化為大的區域中,期望將適用相同的預測參數進行預測處理之區塊尺寸變小,增加預測所用之參數的資料量,減低預測差分訊號的電力˙熵者。
在該實施形態1中,為了進行適應於這樣的影像 訊號的一般性質編碼,形成為最初從特定的最大的區塊尺寸開始預測處理等,並階層性分割影像訊號,在每個分割的區域將預測處理、或該預測差分的編碼處理適應化的構成。
作為圖1之動畫像編碼裝置所處理對象之影像訊 號格式係除了由亮度訊號與2個色差訊號構成的YUV訊號、從數位拍攝元件所輸出之RGB訊號等任意色空間之彩色影像訊號之外,也可以是黑色畫像訊號或紅外線畫像訊號等影像畫框為由水平˙垂直2次元的數位樣本(畫素)列構成之任意的影 像訊號。
但是,各畫素的色調可以是8位元,10位元或12位元的色調亦可。
在以下的說明中,為了方便性,除非另有說明, 針對處理輸入畫像的影像訊號為YUV訊號,而且,2個色差成分U、V係對於亮度成分Y被採樣之4:2:0格式之訊號的情況進行說明。
又,將與影像訊號之各畫框對應的處理資料單位稱為「圖片」。
在該實施形態1中,雖然「圖片」係作為依序掃描(前進掃描)的影像畫框訊號進行說明,但是在影像訊號為交錯訊號的情況下,「圖片」係為構成影像畫框的單位,也就是場圖像訊號亦可。
最初,說明圖1之動畫像編碼裝置的處理內容。 首先,編碼控制部2係決定:成為編碼對象之圖片(當前圖片)的編碼所用之最大編碼區塊的尺寸、及將最大編碼區塊階層分割之階層數上限(圖2的步驟ST1)。
就最大編碼區塊的尺寸決定方法而言,例如因應輸入畫像之影像訊號的解析度,對於所有的圖片規定相同的尺寸亦可,將輸入畫像之影像訊號的局部性動作之複雜度不同作為參數進行定量化,在動作為激烈的圖片中係規定小尺寸,另一方面在動作為少的圖片中係規定大尺寸亦可。
就分割階層數上限的決定方法而言,例如因應輸入畫像之影像訊號的解析度,對於所有的圖片規定相同的階層數之方 法、或是在輸入畫像之影像訊號的動作為激烈的情況下設定成階層數為深而可以檢測出更細微的動作,在動作為少的情況下設定成抑制階層數的方法。
又,編碼控制部2係從可利用之1以上的編碼模 式之中,選擇與被階層分割之各編碼區塊對應的編碼模式(步驟ST2)。
即,編碼控制部2係在每個最大編碼區塊尺寸的畫像區域,將具有編碼區塊尺寸的編碼區塊階層性分割成直至之前決定的分割階層數上限,並決定對於各編碼區塊的編碼模式。
在編碼模式中,有1至複數個畫面內編碼模式(總稱為「INTRA」)、及1至複數個畫面間編碼模式(總稱為「INTER」),編碼控制部2係選擇在該圖片可利用的所有編碼模式、或是從該子集之中選擇與各編碼區塊對應之編碼模式。
但是,利用後述之區塊分割部1進行階層分割之 各編碼區塊係進一步分割成進行預測處理的單位,也就是1至複數個預測區塊,也將預測區塊的分割狀態作為資訊包含在編碼模式之中。即,編碼模式係為辨別具有怎樣的預測區塊分割之畫面內模式或畫面間編碼模式之索引。
根據編碼控制部2之編碼模式的選擇方法係由於是悉知的技術而省略詳細說明,但是例如有使用可利用之任意的編碼模式,實施對於編碼區塊之編碼處理並驗證編碼効率,在可利用的複數個編碼模式之中,選擇編碼効率最佳的編碼模式之方法等。
又,編碼控制部2係在每個編碼區塊決定壓縮差 分畫像時所用之量化參數及直交轉換區塊分割狀態,同時決定實施預測處理時所用之預測參數(畫面內預測參數或是畫面間預測參數)。
但是,在編碼區塊被進一步分割為進行預測處理的預測區塊單位的情況下,可以對於每個預測區塊選擇預測參數(畫面內預測參數或是畫面間預測參數)。
再者,對於編碼模式為畫面內編碼模式之編碼區塊,詳細將於後述,但是因為進行畫面內預測處理時使用與預測區塊相鄰之已編碼的畫素,因此必須在預測區塊單位進行編碼,可選擇轉換區塊尺寸係限制在預測區塊的尺寸以下。
編碼控制部2係將包含量化參數及轉換區塊尺寸 之預測差分編碼參數輸出到轉換˙量化部7、逆量化˙逆轉換部8、及可變長編碼部13。
又,編碼控制部2係因應必要將畫面內預測參數輸出到畫面內預測部4。
又,編碼控制部2係因應必要將畫面間預測參數輸出到動作補償部5。
區塊分割部1係當輸入影像訊號作為輸入畫像 時,將該輸入畫像分割為利用編碼控制部2所決定之最大編碼區塊尺寸,再者,將已分割之最大編碼區塊階層性分割為編碼控制部2所決定之編碼區塊,並輸出該編碼區塊。
其中,圖5係為顯示將最大編碼區塊階層性分割為複數個編碼區塊之例的說明圖。
在圖5中,最大編碼區塊係為具有標記為「第0階層」之 亮度成分為(L0 ,M0 )的尺寸之編碼區塊。
藉由以最大編碼區塊為出發點,進行階層性分割直至利用四元樹構造另外規定的特定深度,而得到編碼區塊。
在深度n中,編碼區塊的係為尺寸(Ln ,Mn )的畫像區域。
但是,Ln 及Mn 係為相同亦可,不同亦可,但是在圖5中係顯示Ln =Mn 的案例。
之後,利用編碼控制部2所決定之編碼區塊尺寸係定義為編碼區塊之亮度成分中的尺寸(Ln ,Mn )。
由於進行四元樹分割,所以(Ln+1 ,Mn+1 )=(Ln /2,Mn /2)經常成立。
又,RGB訊號等,在所有色成分為具有相同樣本數之彩色影像訊號(4:4:4格式)中,雖然所有色成分的尺寸成為(Ln ,Mn ),但是在處理4:2:0格式的情況下,對應的色差成分的編碼區塊尺寸則成為(Ln /2,Mn /2)。
之後,以Bn 表示第n階層的編碼區塊,以m(Bn )表示在編碼區塊Bn 可選擇的編碼模式。
在由複數個色成分構成之彩色影像訊號情況下,編碼模式m(Bn )係構成為對於每個色成分分別使用個別的模式亦可,構成為對於所有的色成分使用共通的模式亦可。之後,除非另有說明,構成為意指對於YUV訊號,4:2:0格式之編碼區塊的亮度成分之編碼模式者進行說明。
編碼區塊Bn 係如圖5所示,利用區塊分割部1,分割為表示預測處理單位之1至複數個預測區塊。
之後,將屬於編碼區塊Bn 的預測區塊表記為Pi n (i為第n 階層中之預測區塊編號)。在圖5中係顯示P0 0 及P1 0 的例示。
編碼區塊Bn 內的預測區塊分割是如何進行係作為資訊而包含在編碼模式m(Bn )之中。
預測區塊Pi n 雖然是依據所有的編碼模式m(Bn )進行預測處理,但是對於每個預測區塊Pi n 可以選擇個別的預測參數(畫面內預測參數或是畫面間預測參數)。
編碼控制部2係對於最大編碼區塊,產生例如圖6所示之區塊分割狀態,並特定編碼區塊。
以圖6(a)的虛線所包圍的矩形係表示各編碼區塊,在各編碼區塊內之以斜線塗畫的區塊係表示各預測區塊的分割狀態。
圖6(b)係針對圖6(a)的例示,四元樹圖表示根據階層分割分配編碼模式m(Bn )的狀況者。以圖6(b)的□所包圍的節點係為分配編碼模式m(Bn )的節點(編碼區塊)。
該四元樹圖的資訊係連同編碼模式m(Bn )一起從編碼控制部2輸出到可變長編碼部13,在位元流多工化。
切換開關3係在利用編碼控制部2所決定的編碼模式m(Bn )為畫面內編碼模式的情況下(m(Bn )INTRA的情況),將從區塊分割部1所輸出的編碼區塊Bn 輸出到畫面內預測部4。
一方面,在利用編碼控制部2所決定的編碼模式m(Bn )為畫面間編碼模式的情況下(m(Bn )INTER的情況),將從區塊分割部1所輸出的編碼區塊Bn 輸出到動作補償部5。
畫面內預測部4係在利用編碼控制部2所決定的編碼模式m(Bn )為畫面內編碼模式(m(Bn )INTRA的情況),並 從切換開關3接收到編碼區塊Bn 時(步驟ST3),一邊參照儲存在畫面內預測用記憶體10的局部解碼畫像,一邊使用利用編碼控制部2所決定的畫面內預測參數,實施對於該編碼區塊Bn 內的各預測區塊Pi n 的畫面內預測處理,產生畫面內預測畫像PINTRAi n (步驟ST4)。
又,由於動畫像解碼裝置也必須產生與畫面內預測畫像PINTRAi n 完全相同的畫面內預測畫像,因此用於畫面內預測畫像PINTRAi n 產生之畫面內預測參數係從編碼控制部2輸出到可變長編碼部13,在位元流多工化。
畫面內預測部4之處理內容的詳細係於後述。
動作補償部5係在利用編碼控制部2所決定的編碼模式m(Bn )為畫面間編碼模式(m(Bn )INTER的情況),並從切換開關3接收到編碼區塊Bn 時(步驟ST3),將該編碼區塊Bn 內的各預測區塊Pi n 與儲存在動作補償預測畫框記憶體12之濾波器處理後的局部解碼畫像進行比較而搜尋動作向量,使用該動作向量及利用編碼控制部2所決定的畫面間預測參數,實施對於該編碼區塊Bn 內的各預測區塊Pi n 的畫面間預測處理,產生畫面間預測畫像PINTERi n (步驟ST5)。
又,由於動畫像解碼裝置也必須產生與畫面間預測畫像PINTERi n 完全相同的畫面間預測畫像,因此用於畫面間預測畫像PINTERi n 產生之畫面間預測參數係從編碼控制部2輸出到可變長編碼部13,在位元流多工化。
又,利用動作補償部5所搜尋之動作向量也輸出到可變長編碼部13,在位元流多工化。
減算部6係當從區塊分割部1接收到編碼區塊Bn 時,從該編碼區塊Bn 內的預測區塊Pi n 減算利用畫面內預測部4所產生的畫面內預測畫像PINTRAi n 、或是利用動作補償部5所產生的畫面間預測畫像PINTERi n 的任一者,將該減算結果,也就是表示差分畫像之預測差分訊號ei n 輸出到轉換‧量化部7(步驟ST6)。
轉換‧量化部7係當從減算部6接收到預測差分訊號ei n 時,參照包含在利用編碼控制部2所決定的預測差分編碼參數之直交轉換區塊分割資訊,在直交轉換區塊單位實施對於該預測差分訊號ei n 的直交轉換處理(例如DCT(離散餘弦轉換)或DST(離散正弦轉換)、對於預先特定學習系列成為基底設計之KL轉換等直交轉換處理),算出轉換係數。
又,轉換‧量化部7係參照包含在該預測差分編碼參數之量化參數,將該直交轉換區塊單位的轉換係數進行量化,將量化後的轉換係數,也就是壓縮資料輸出到逆量化‧逆轉換部8及可變長編碼部13(步驟ST7)。
逆量化‧逆轉換部8係當從轉換‧量化部7接收到壓縮資料時,參照包含在利用編碼控制部2所決定的預測差分編碼參數之量化參數及直交轉換區塊分割資訊,在直交轉換區塊單位將該壓縮資料進行逆量化。
又,逆量化‧逆轉換部8係在直交轉換區塊單位實施對於逆量化後的壓縮資料,也就是轉換係數之逆直交轉換處理(例如逆DCT、逆DST、逆KL轉換等),算出相當於從減算部6所輸出之預測差分訊號ei n 的局部解碼預測差分訊號並輸出到 加算部9(步驟ST8)。
加算部9係當從逆量化˙逆轉換部8接收到局部解 碼預測差分訊號時,藉由將該局部解碼預測差分訊號、與利用畫面內預測部4所產生的畫面內預測畫像PINTRAi n 、或是、利用動作補償部5所產生的畫面間預測畫像PINTERi n 的任一方進行加算,算出局部解碼畫像(步驟ST9)。
又,加算部9係將該局部解碼畫像輸出到迴圈濾波器部11,同時將該局部解碼畫像儲存在畫面內預測用記憶體10。
該局部解碼畫像係成為之後的畫面內預測處理時所用之已編碼的畫像訊號。
迴圈濾波器部11係當從加算部9接收到局部解碼 畫像時,對於該局部解碼畫像,實施特定的濾波器處理,並將濾波器處理後的局部解碼畫像儲存在動作補償預測畫框記憶體12(步驟ST10)。
迴圈濾波器部11之處理內容的詳細係於後述。
步驟ST3~ST9的處理係反覆實施直到對於被階 層性分割之所有編碼區塊Bn 的處理結束,當對於所有編碼區塊Bn 的處理結束時,移行到步驟ST13的處理(步驟ST11、ST12)。
可變長編碼部13係將從轉換˙量化部7所輸出的壓 縮資料、從編碼控制部2所輸出的最大編碼區塊內的區塊分割資訊(以圖6(b)為例之四元樹資訊)、編碼模式m(Bn )及預測差分編碼參數、編碼控制部2所輸出的畫面內預測參數(編碼模式為畫面內編碼模式的情況)或畫面間預測參數(編碼模式為畫 面間編碼模式的情況)、動作補償部5所輸出的動作向量(編碼模式為畫面間編碼模式的情況)、及從迴圈濾波器部11所輸出的濾波器參數進行可變長編碼,產生顯示該等編碼結果之位元流(步驟ST13)。
根據可變長編碼部13之濾波器參數的可變長編碼處理之詳細係於後述。
其次,詳細說明畫面內預測部4的處理內容。
圖7係為顯示編碼區塊Bn 內的各預測區塊Pi n 所能選擇之畫面內預測參數,也就是畫面內預測模式的一例之說明圖。但是,Ni 係表示畫面內預測模式數。
在圖7中,其係顯示畫面內預測模式的索引值、及該畫面內預測模式所示之預測方向向量,在圖7的例示中,其係設計為依據可選擇的畫面內預測模式個數增加,使預測方向向量的相對角度變小。
畫面內預測部4係如上述所示,參照預測區塊Pi n 的畫面內預測參數,實施對於該預測區塊Pi n 的畫面內預測處理,產生畫面內預測畫像PINTRAi n ,但是其中係針對產生亮度訊號中之預測區塊Pi n 的畫面內預測訊號之畫面內處理進行說明。
將預測區塊Pi n 的尺寸係為li n ×mi n 畫素。
圖8係為顯示產生li n =mi n =4情況下之預測區塊Pi n 內的畫素預測值時所用之畫素的一例之說明圖。
在圖8中,雖然是將預測區塊Pi n 之上方已編碼的(2×li n +1)個畫素、及左方已編碼的(2×mi n )個畫素作為預測所用的畫素, 但是預測所用的畫素係比圖8所示之畫素更多或更少皆可。
又,在圖8中,雖然是將預測區塊Pi n 之附近的1行或1列分的畫素作為預測所用,但是將2行或2列、或是其等以上的畫素用於預測亦可。
在對於預測區塊Pi n 之畫面內預測模式的索引值為0(平面(Planar)預測)的情況下,使用與預測區塊Pi n 之上方相鄰的已編碼畫素及與預測區塊Pi n 之左方相鄰的已編碼畫素,將因應此等畫素與預測區塊Pi n 內之預測對象畫素之距離而內插之值作為預測值產生預測畫像。
在對於預測區塊Pi n 之畫面內預測模式的索引值為3(平均值(DC)預測)的情況下,使用與預測區塊Pi n 之上方相鄰的已編碼畫素及與預測區塊Pi n 之左方相鄰的已編碼畫素之平均值作為預測區塊Pi n 內之畫素的預測值而產生預測畫像。
在畫面內預測模式之索引值為0(平面預測)及3(平均值預測)以外的情況,依據索引值所示之預測方向向量υP =(dx,dy),產生預測區塊Pi n 內之畫素的預測值。
如圖9所示,當以預測區塊Pi n 之左上畫素作為原點,並將預測區塊Pi n 內的相對座標設定為(x,y)時,預測所用之參照畫素的位置係成為下述L與相鄰畫素的交點。
但是,k為負的純量值。
在參照畫素位於整數畫素位置的情況下,將該整數畫素作為預測對象畫素的預測值,在參照畫素不是位於整數 畫素位置的情況下,將從與參照畫素相鄰的整數畫素所產生之補間畫素作為預測值。
在圖8之例示中,因為參照畫素不是位於整數畫素,因此將從與參照畫素相鄰的2畫素進行內插者作為預測值。又,不只是相鄰的2畫素,從相鄰的2畫素以上的畫素產生補間畫素作為預測值亦可。
藉由補間處理所用之畫素變多而有提升補間畫素的補間精確度之效果,一方面因為增加了補間處理所需的運算複雜度,在即使運算負荷變大還是要求高編碼性能之動畫像編碼裝置的情況下,以從更多的畫素產生補間畫素者為佳。
藉由以上所述之處理,產生對於預測區塊Pi n 內之亮度訊號的所有畫素之預測畫素,輸出畫面內預測畫像PINTRAi n
又,畫面內預測畫像PINTRAi n 產生所用之畫面內預測參數(畫面內預測模式)係為了在位元流多工化而輸出到可變長編碼部13。
又,與如先前說明之MPEG-4 AVC/H.264的8×8畫素之區塊的畫面內預測時,對於參照畫像所施行之平滑化處理相同,在畫面內預測部4中,即使是將產生預測區塊Pi n 的中間預測畫像時的參照畫素構成為已平滑化處理與預測區塊Pi n 相鄰之已編碼的畫素之畫素的情況下,也可以進行與上述例示相同之對於中間預測畫像的濾波器處理。
對於預測區塊Pi n 的色差訊號亦同,利用與亮度訊號相同的順序,實施依據畫面內預測參數(畫面內預測模式)之 畫面內預測處理,並將畫面內預測畫像產生所用之畫面內預測參數輸出到可變長編碼部13。
但是,在色差訊號可選擇的畫面內預測參數(畫面內預測模式)係與亮度訊號不同亦可。例如,在YUV訊號4:2:0格式的情況下,色差訊號(U,V訊號)係對於亮度訊號(Y訊號)成為將解析度在水平方向、垂直方向同時縮小1/2的訊號,與亮度訊號相比,因為畫像訊號的複雜性為低,易於預測,可選擇的畫面內預測參數係構成為比亮度訊號更少數而圖謀將畫面內預測參數進行編碼所需要之編碼量削減、或預測處理的低運算化亦可。
其次,詳細說明迴圈濾波器部11的處理內容。
迴圈濾波器部11係實施:對於利用加算部9所算出之局部解碼畫像,實施特定的濾波器處理,並輸出濾波器處理後的局部解碼畫像之處理。
具體而言,進行減低發生在直交轉換區塊的邊界或預測區塊的邊界之偏斜的濾波器(去區塊濾波器)處理、在畫素單位適應性加算偏置值(畫素適應偏置)的處理、適應性切換維納濾波器等線形濾波器而進行濾波器處理之適應濾波器處理等。
但是,迴圈濾波器部11係構成為進行上述之去區塊濾波器處理、畫素適應偏置處理、適應濾波器處理之中的1個處理亦可,或者如圖10所示,構成為進行2個以上的濾波器處理亦可。
一般而言,使用的濾波器處理種類越多,越能提升畫像品質,但是另一方面則會造成處理負荷變高。即,由於畫像品質 與處理負荷係具有權衡關係,因此依從動畫像編碼裝置允許的處理負荷而決定構成為佳。
其中,畫素適應偏置處理係於最初利用特定的手 法,在最大編碼區塊單位將區塊內的各畫素進行等級分類,對於每個等級算出編碼對象畫像與局部解碼畫像之間的亮度值平方誤差和為最小的偏置值。
再者,藉由進行將各等級之偏置值加算到屬於該等級之畫素(局部解碼畫像的畫素)的亮度值之處理,改善局部解碼畫像的畫像品質。
就進行等級分類的特定手法而言,有:利用局部 解碼畫像之亮度值大小進行分類之手法、或是在如圖20所示之在每個邊緣方向,因應各畫素的周圍狀況(是否為邊緣部等)進行分類的手法,此等手法係在畫像編碼裝置及畫像解碼裝置為共通且預先準備,並且將不進行偏置處理情況也定義為等級分類手法的一種,在編碼側中係在上述區塊單位選擇使用此等手法之中哪種手法進行等級分類。
又,將在圖片整體不進行畫素適應偏置處理的情況、與進行利用上述所決定之畫素適應偏置處理的情況進行比較,選擇哪一個佳。
因此,畫素適應偏置處理係將圖片位準之畫素適應偏置處理的有無資訊、及在該有無資訊顯示為”有”的情況下,顯示最大編碼區塊單位之等級分類手法的索引、最大編碼區塊單位之各等級的偏置值作為濾波器參數的一部份輸出到可變長編碼部13。
其次,具體說明適應濾波器處理。
圖13係為顯示適應濾波器處理的一例之流程圖。
在圖13的例示中,為了實施最大編碼區塊單位的適應濾波器處理,對於各最大編碼區塊實行步驟ST102~ST106的濾波器選擇及濾波器處理(步驟ST101)。
針對步驟ST102~ST106的濾波器選擇及濾波器處理進行說明。
首先,對於現在處理對象之最大編碼區塊,將不實施濾波器處理情況的成本C0 作為濾波器編號0的情況進行算出(步驟ST102)。
就成本的定義而言,其係有下述所示之例示。
成本=D+λ‧R (3)
但是,D係為區塊內之編碼對象的畫像訊號、與濾波器處理後之局部解碼畫像訊號間的平方誤差和,λ為常數。
又,R為將用以選擇使用的濾波器之濾波器編號、及與該濾波器編號對應之濾波器係數進行編碼時所需要的編碼量。
其中,雖然以式(3)表示成本,但是例如只以平方誤差和D作為成本亦可。藉由如此,雖然作為成本的正確性會降低,但是減少成本的算出負荷。
又,D並非是平方誤差和,而是運算負荷更低的誤差之絕對值和亦可。
成本是以哪種形式加以定義則是依從動畫像編碼裝置所允許的運算負荷加以決定即可。
又,在不實施濾波器處理情況的成本C0 之情況下,D係成 為編碼對象的畫像訊號與沒進行濾波器處理之局部解碼畫像訊號間的平方誤差和,濾波器所需要的編碼量R為0。
其次,將處理對象之最大編碼區塊內的畫素成為對象,依據式(1)算出編碼對象的畫像訊號與局部解碼畫像訊號間的平方誤差和最小化之維納濾波器(步驟ST103),對於區塊內的畫素算出實施濾波器處理情況下的成本Cnew (步驟ST104)。在此,根據維納之濾波器處理係以下式(4)加以表示。
S' (x 0 )=a 0 S (x 0 )+a 1 S (x 1 )+…+a L -1 S (x L -1 )+a L (4)
但是,x0 為濾波器處理對象畫素,x1 (l=0,1,2,...,L-1)為濾波器的參照畫素(包含濾波器處理對象畫素),L為濾波器的參照畫素數。
又,S(x)為畫素x的亮度值,S’(x)為畫素x之濾波器處理後的亮度值,am (m=0,1,2,...,L)係表示濾波器係數。
又,aL 係表示偏置係數,經常使aL =0而將偏置係數成為無效亦可。藉由如此,雖然會減低濾波器性能,但是削減應進行編碼之濾波器係數,可以削減濾波器係數編碼所需要的編碼量。
再者,使用現在的處理對象之最大編碼區塊設計之濾波器以外可以使用的濾波器(設定濾波器編號1,2,...,numbl的濾波器),算出實施濾波器處理的情況下之成本C1 ,C2 ,...,Cnumbl (步驟ST105)。
但是,numbl係表示現在的處理對象之最大編碼區塊設計之濾波器以外可以使用的濾波器數。
就現在的處理對象之最大編碼區塊設計之濾波器以外可以使用的濾波器之例示而言,舉例如已經實施濾波器處理之在最大編碼區塊使用的濾波器、或是在進行編碼處理前預先準備的濾波器等。
其次,在直到目前已算出之各成本Cnew ,C0 ,C1 ,C2 ,...,Cnumbl 之中,特定成為最小的成本,將關於該成本的濾波器處理決定為在現在的處理對象之最大編碼區塊的濾波器處理(步驟ST106)。
此時,已決定之濾波器處理係為現在的處理對象之最大編碼區塊設計之濾波器(成本Cnew )情況下,將該已設計的濾波器設定作為在下個處理對象之最大編碼區塊可以使用之第numbl+1個的濾波器(濾波器編號numbl+1),將可以使用的濾波器數numbl加算1。
再者,移行到下個處理對象之最大編碼區塊的濾波器選擇及濾波器處理(步驟ST107)。又,將上述設定的濾波器編號定義為等級編號,該濾波器數稱為等級數。
對於所有的最大碼編區塊實施上述處理,並在最後比較在圖片整體沒有進行適應濾波器處理的情況、及上述決定之進行最大編碼區塊單位的適應濾波器處理的情況,選擇最佳者。
因此,適應濾波器處理係將圖片位準之適應濾波器處理的有無資訊、及在該有無資訊顯示為”有”的情況下,將等級數、 包含”無濾波器處理”之最大編碼區塊單位的等級編號、各等級的濾波器係數作為濾波器參數的一部份輸出到可變長編碼部13。
又,就適應濾波器處理的例示而言,在圖13以外也考量在圖14所示之例示等。
在圖14的例示中亦同,只有在各最大編碼區塊之濾波器處理的選擇手法有所不同,如圖11所示,表示最大編碼區塊單位所使用之濾波器的等級編號、及與各等級編號對應之濾波器輸出到可變長編碼部13之作為濾波器參數之點係為相同。
即,在圖14的例示中,預先準備在圖片內使用的濾波器(步驟ST108),對於各最大編碼區塊,算出不進行濾波器處理情況之成本C0 (步驟ST110)、及使用預先準備的濾波器情況之成本C1 ,C2 ,...,Cnumbl (步驟ST111),選擇成本為最小之最佳的濾波器處理(步驟ST112)。
再者,藉由對於圖片內的所有最大編碼區塊實施步驟ST110~ST112為止的處理(步驟ST109,ST113),決定在各最大編碼區塊之濾波器處理。
與圖13之例示相比,在圖14的例示中,由於只使用預先準備的濾波器設定,因此不需要最大編碼區塊單位之濾波器設計的處理。為此,雖然濾波器的最佳性會降低,但是可以減輕處理負荷。
因此,在比濾波器處理之畫質改善效果更重視處理負荷的情況下,使用圖14的例示即可。
又,在上述例示中,雖然在最大編碼區塊單位決 定最佳的濾波器處理,但是當考量在比最大編碼區塊更小的區域單位時,存在有根據濾波器處理而增加編碼對象畫像與局部解碼畫像之間之亮度值平方誤差和情況的可能性。
因此,如圖15所示,在分割最大編碼區塊之編碼區塊單位選擇可否實施濾波器處理亦可。
藉由如此,由於可以減少增加編碼對象畫像與局部解碼畫像之間之亮度值的平方誤差和之畫素數,因此可以實現高精確度之濾波器處理。在進行本處理的情況下,必須將編碼區塊單位之濾波器處理的有無資訊作為濾波器參數進行編碼。
又,本編碼區塊單位之濾波器的ON、OFF處理係即使導入到畫素適應偏置處理,也可以得到與導入到適應濾波器處理情況下相同的效果。
再者,在上述例示中,雖然對於最大編碼區塊單位決定1個最佳的濾波器處理,但是對於最大編碼區塊單位內之小區塊單位因應局部性質(分散等亮度值的散射度、邊緣方向)等進行群組分類,對於該每個群組設計濾波器,進行濾波器處理亦可。藉由如此,由於在最大編碼區塊單位必須將群組數分的濾波器進行編碼而會增加濾波器所需要的編碼量,但是由於可以在更小的區域單位使用最佳的濾波器,可以實現高精確度的濾波器處理。以進行本處理的方式構成動畫像編碼裝置的情況下,在動畫像解碼裝置側也必須構成為進行與動畫像編碼裝置相同的群組分類。
又,作為畫素適應偏置處理及適應濾波器處理共同使用的手法,並非是如圖10所示的形式,而是在最大編碼 區塊單位最佳選擇畫素適應偏置處理及適應濾波器處理的任一者亦可。藉由如此,可以一邊抑制每個最大編碼區塊之濾波器處理的運算量,一邊實現高精確度的濾波器處理。但是,在如此構成之情況下,將最大編碼區塊單位之進行畫素適應偏置處理或進行適應濾波器處理的選擇資訊作為濾波器參數的一部份輸出到可變長編碼部13進行編碼。
又,在上述例示中,雖然針對在最大編碼區塊單 位進行畫素適應偏置處理之等級分類手法選擇、適應濾波器處理的等級選擇者加以說明,但是也可以在任意的區塊尺寸單位進行。藉由如此,在圖形不複雜的圖像中係利用比最大編碼區塊更大的區塊尺寸進行,使畫質改善性能不致於太過減低並且可以削減應進行編碼之區塊單位的選擇資訊。一方面,在圖形為複雜的畫像中係利用比最大編碼區塊更小區塊尺寸進行,雖然會增加應進行編碼之區塊單位的選擇資訊,但是由於可以達到追隨複雜的圖形變化之處理,而可以得到大的畫質改善效果。又,如上述所示,在任意的區塊尺寸單位進行畫素適應偏置處理之等級分類手法選擇、適應濾波器處理的等級選擇之情況下,將上述區塊尺寸作為濾波器參數的一部份輸出到可變長編碼部13進行編碼。
其次,針對濾波器參數之可變長編碼處理的詳細 進行說明。
在可變長編碼部13中,將從迴圈濾波器部11所輸出的濾波器參數進行可變長編碼。
就濾波器參數而言,作為畫素適應偏置處理所必要的參 數,有:圖片位準之畫素適應偏置處理的有無資訊、及在該有無資訊為”有處理”的情況下,顯示最大編碼區塊單位的等級分類手法之索引、及最大編碼區塊單位之各等級的偏置值。
又,作為適應濾波器處理所必要的參數,有:圖片位準之適應濾波器處理的有無資訊、及在該有無資訊為”有處理”的情況下,等級數、顯示最大編碼區塊單位所使用的濾波器之等級編號,及與各等級編號對應之濾波器係數。
尤其是,適應濾波器處理之最大編碼區塊單位的等級編號之可變長編碼為實施使用圖16所示之Move-To-Front(前移)之編碼處理。
所謂Move-To-Front,其係為在將等級編號進行編碼後,將該等級編號分配到最小的編碼索引(索引0),其他的等級編號係將對應的編碼索引加算1之處理。
如此一來,藉由在每個最大編碼區塊更新編碼索引,在等級編號存在有空間相關性的情況下,使編碼索引的發生機率偏向0附近,藉由實施因應該發生頻率機率之可變長編碼,能夠利用高編碼效率進行編碼。
再者,在上述編碼索引的可變長編碼係使用哥倫布碼的情況下,編碼索引的最大值係不必進行解碼處理。換言之,在使用哥倫布碼的情況下,由於不需要等級數而不進行編碼亦可。因此,若是使用哥倫布碼,可以削減等級數編碼所要的編碼量。又,在使用α符號(一元碼)或、γ符號、δ符號等的情況下亦同,由於編碼索引的最大值不需要進行解碼處理,因此不需要等級數的編碼。
或是,在每個最大編碼區塊於進行編碼時利用可選擇的濾波器索引數(圖13的numbl)每次設計可變長編碼的機率模組而進行熵編碼亦可。藉由如此,由於可以只依據實際可選擇的濾波器的發生機率進行編碼,因此可以實施更高效率的編碼。又,在該情況下也不需要將等級數進行編碼,可以抑制編碼量。
就最大編碼區塊單位的等級編號(濾波器編號)之編碼手法而言,如圖17所示,先將最大編碼區塊單位之濾波器處理的有無資訊進行編碼,再者,在該有無資訊顯示為”有濾波器處理”的情況下,實施上述說明之等級編號的編碼亦可。藉由如此,在沒濾波器處理情況之各等級的發生機率、與有濾波器處理情況之各等級的發生機率大不相同的情況下,可以將可變長編碼的機率模組設計簡單化。
又,對於顯示畫素適應偏置處理之最大編碼區塊單位的等級分類手法之索引的編碼亦同,與適應濾波器處理之最大編碼區塊單位的等級編號的編碼相同,當使用Move-To-Front時,易於使索引的發生機率偏向0附近,藉由實施因應該發生頻率機率的可變長編碼,能夠以高編碼率進行編碼。
針對適應濾波器處理之最大編碼區塊單位的等級編號的編碼、及顯示畫素適應偏置處理之最大編碼區塊單位的等級分類手法之索引的編碼,在使用上述之Move-To-Front的編碼手法之其他,也考量在最大編碼區塊單位顯示是否與周圍的區塊(例如上及左區塊)相同之旗標、及在旗標顯示為”相同”情況下顯示與哪個區塊相同的索引、及在旗標顯示為”不相同” 情況下將編碼象的索引進行編碼之手法。
此外,如圖23所示,也考量將顯示是否與上區塊相同的索引之旗標、及顯示與右相同的索引是接續哪個區塊之參數(run-length;運行長度)進行編碼,在編碼對象區塊不是與左區塊相同的索引,也不是與上區塊相同索引情況下,換言之,只有在編碼對象區塊之左區塊結束run-length並顯示是否與上區塊相同的索引之旗標顯示為”不相同”的情況下,將編號對象的索引進行編碼的手法。
此等手法也與使用Move-To-Front的編碼手法相同,在與編號對象之左區塊的索引存在有空間相關性的情況下,可以實現高編碼效率。再者,此等手法係與使用Move-To-Front的編碼手法不同,針對在與編號對象之上區塊的索引存在有空間相關性的情況下,也可以實現高編碼效率。
又,在標頭資訊將在圖片單位可使用之畫素適應偏置處理之最大偏置數、或適應濾波器處理之最大等級數進行編碼亦可。藉由如此,由於在解碼側也可以知道每個圖片解碼所必須的最大偏置數或濾波器數,因此可以利用標頭資訊規定實現即時解碼裝置所用的限制。
在此,圖18係顯示利用可變長編碼部13所產生之位元流。
在位元流中,在圖片資料之前至少插入1個序列位準標頭或圖片位準標頭,而可以參照在各圖片解碼所必要的參數。
又,圖片資料係分成至少1個以上的切片再進行編碼,切片係可以構成為分割最大編碼區塊之編碼區塊單位。
再者,與圖片位準標頭相同,已進行可變長編碼之濾波器參數係作為濾波器參數設定,將至少1個插入到圖片資料之前。
各切片係藉由在切片標頭具有顯示是參照哪個濾波器參數之索引,利用各切片可以參照迴圈濾波器部11處理所必要的參數。
又,適應濾波器處理及畫素適應偏置處理係如圖 15所示,以在分割最大編碼區塊之編碼區塊單位選擇是否實施濾波器處理的方式定義適應濾波器處理的情況下,將該編碼區塊單位之濾波器處理的有無資訊進行可變長編碼並在位元流多工。被編碼之編碼區塊單位之濾波器處理的有無資訊係在圖18的切片單位,將在各切片所具有的編碼區塊範圍之濾波器處理的有無資訊在切片標頭多工。或者,與其他的濾波器參數一起作為濾波器參數設定而在位元流多工亦可。
其次,具體說明圖3之動畫像解碼裝置的處理內 容。
可變長解碼部31係當輸入利用圖1之動畫像編碼裝置所產生的位元流時,實施對於該位元流的可變長解碼處理(圖4之步驟ST21),在由1畫框以上的圖片構成之序列單位、或是圖片單位將畫框尺寸的資訊進行解碼。
此時,將作為濾波器參數設定被進行編碼之迴圈濾波器部38所使用的濾波器參數進行解碼。
就濾波器參數而言,作為畫素適應偏置處理所必要的參數,有:圖片位準之畫素適應偏置處理的有無資訊、及在該有無資訊為”有處理”的情況下,顯示最大解碼區塊單位的等級分 類手法之索引、及最大解碼區塊單位之各等級的偏置值。
又,作為適應濾波器處理所必要的參數,有:圖片位準之適應濾波器處理的有無資訊、及在該有無資訊為”有處理”的情況下,等級數、顯示最大解碼區塊單位之使用的濾波器之等級編號,及與各等級編號對應之濾波器係數。
但是,在使用哥倫布碼、或α符號(一元碼)或、γ符號、δ符號等進行表示最大解碼區塊單位所使用的濾波器之等級編號的編碼、或是只利用在各最大解碼區塊可選擇之等級數設計機率模組而進行熵編碼的情況下,由於即使等級數不明也可以進行解碼,因此不必利用動畫像編碼裝置將等級數進行編碼,如此一來在動畫像編碼裝置沒有將等級數進行編碼的情況下在動畫像解碼裝置中也不必進行等級數的解碼。
又,可變長解碼部31係利用與動畫像編碼裝置相 同的順序決定利用圖1之動畫像編碼裝置的編碼控制部2所決定的最大編碼區塊尺寸及分割階層數的上限(步驟ST22)。
例如,在最大編碼區塊尺寸及分割階層數的上限為因應影像訊號的解析度而決定的情況下,依據已解碼的畫框尺寸資訊,利用與動畫像編碼裝置相同的順序決定最大編碼區塊尺寸。
在最大編碼區塊尺寸及分割階層數的上限係在動畫像編碼裝置側於位元流多工化的情況下,從位元流使用已解碼的值。
之後,在動畫像解碼裝置中,將上述最大編碼區塊尺寸稱為最大解碼區塊尺寸,將最大編碼區塊稱為最大解碼區塊。
可變長解碼部31係在已決定之最大解碼區塊單位將圖6所示之最大解碼區塊的分割狀態進行解碼。依據被解碼的分割狀態,階層性特定解碼區塊(相當於圖1之動畫像編碼裝置的「編碼區塊」之區塊)(步驟ST23)。
其次,可變長解碼部31係將分配在解碼區塊之編碼模式進行解碼。
可變長解碼部31係依據包含在該編碼模式之資訊,將解碼區塊再分割為1至複數個預測處理單位,也就是預測區塊,並將分配在預測區塊單位之預測參數進行解碼(步驟ST24)。
即,可變長解碼部31係在分配在解碼區塊之編碼模式為畫面內編碼模式情況下,在每個包含在解碼區塊並成為預測處理單位,也就是1個以上的預測區塊,將畫面內預測參數進行解碼。
一方面,在分配在解碼區塊之編碼模式為畫面間編碼模式情況下,在每個包含在解碼區塊並成為預測處理單位,也就是1個以上的預測區塊,將畫面間預測參數及動作向量進行解碼(步驟ST24)。
又,可變長解碼部31係依據包含在預測差分編碼參數之直交轉換區塊分割資訊,在每個直交轉換區塊將壓縮資料(轉換‧量化後的轉交係數)進行解碼(步驟ST24)。
切換開關33係在利用可變長解碼部31進行可變長解碼的編碼模式m(Bn )為畫面內編碼模式(m(Bn )INTRA的情況),將利用可變長解碼部31進行可變長解碼的預測區塊單位的畫面內預測參數輸出到畫面內預測部34。
一方面,在利用可變長解碼部31進行可變長解碼的編碼模式m(Bn )為畫面間編碼模式(m(Bn )INTER的情況),將用可變長解碼部31進行可變長解碼的預測區塊單位的畫面間預測參數及動作向量輸出到動作補償部35。
畫面內預測部34係在利用可變長解碼部31進行 可變長解碼的編碼模式m(Bn )為畫面內編碼模式(m(Bn )INTRA的情況)(步驟ST25),接受從切換開關33所輸出的預測區塊單位的畫面內預測參數,並利用與圖1之畫面內預測部4相同的順序,一邊參照儲存在畫面內預測用記憶體37的解碼畫像,一邊實施對於使用上述畫面內預測參數之解碼區塊Bn 內的各預測區塊Pi n 之畫面內預測處理,產生畫面內預測畫像PINTRAi n (步驟ST26)。
動作補償部35係在利用可變長解碼部31進行可 變長解碼的編碼模式m(Bn )為畫面間編碼模式(m(Bn )INTER的情況)(步驟ST25),接受從切換開關33所輸出之預測區塊單位的動作向量及畫面間預測參數,一邊參照儲存在動作補償預測畫框記憶體39之濾波器處理後的解碼畫像,一邊實施對於使用該動作向量及畫面間預測參數之解碼區塊Bn 內的各預測區塊Pi n 之畫面間預測處理,產生畫面間預測畫像PINTERi n (步驟ST27)。
逆量化˙逆轉換部32係當從可變長解碼部31接收 到壓縮資料及預測差分編碼參數時,利用與圖1之逆量化˙逆轉換部8相同的順序,參照包含在該預測差分編碼參數之量化參數及直交轉換區塊分割資訊,在直交轉換區塊單位將該壓縮 資料進行逆量化。
又,逆量化˙逆轉換部32係在直交轉換區塊單位實施對於逆量化後的壓縮資料,也就是轉換係數的逆直交轉換處理,算出與圖1之逆量化˙逆轉換部8所輸出之局部解碼預測差分訊號相同的解碼預測差分訊號(步驟ST28)。
加算部36係將利用逆量化˙逆轉換部32所算出之 解碼預測差分訊號、與利用畫面內預測部34所產生的畫面內預測畫像PINTRAi n 、或是、利用動作補償部35所產生的畫面間預測畫像PINTERi n 的任一方進行加算,算出解碼畫像,並將該解碼畫像輸出到迴圈濾波器部38,同時將該解碼畫像儲存在畫面內預測用記憶體37(步驟ST29)。
該解碼畫像係成為之後的畫面內預測處理時所用之已解碼的畫像訊號。
迴圈濾波器部38係當結束對於所有解碼區塊Bn 之步驟ST23~ST29的處理時(步驟ST30),對於從加算部36所輸出的解碼畫像,實施特定的濾波器處理,將濾波器處理後的解碼畫像儲存在動作補償預測畫框記憶體39(步驟ST31)。
具體而言,進行減低發生在直交轉換區塊的邊界或預測區塊的邊界之偏斜的濾波器(去區塊濾波器)處理、在畫素單位適應性加算偏置值(畫素適應偏置)的處理、適應性切換維納濾波器等線形濾波器而進行濾波器處理之適應濾波器處理等。
但是,迴圈濾波器部38係構成為進行上述之去區塊濾波器處理、畫素適應偏置處理、適應濾波器處理之中的1個處理亦可,或者如圖12所示,構成為進行2個以上的濾波器處理 亦可,但是必須構成為與在動畫像編碼裝置的迴圈濾波器部11所進行的濾波器處理相同的濾波器處理。
其中,畫素適應偏置處理係參照包含在利用可變 長解碼部31進行可變長解碼的濾波器參數之顯示最大解碼區塊單位的等級分類手法之索引,從預先準備的等級分類手法之中,特定與該索引對應之等級分類手法,並使用該等級分類手法,在最大解碼區塊單位進行區塊內各畫素的等級分類。
再者,進行將包含在利用可變長解碼部31進行可變長解碼的濾波器參數之每個等級的偏置值加算到屬於該等級之畫素(解碼畫像的畫素)的亮度值之處理。
又,適應濾波器處理係參照利用可變長解碼部31 進行可變長解碼的濾波器參數(等級數(濾波器數)、屬於各等級的局部解碼畫像的濾波器、區塊單位的等級辨別資訊,也就是等級編號(濾波器編號)),在該等級編號所示之等級不是顯示”不進行偏置處理”之等級的情況下,使用與該等級編號對應之濾波器,進行屬於該等級的解碼畫像之濾波器處理。
其中,圖19係顯示適應濾波器處理的流程圖之一 例。
在圖19中,為了實施最大解碼區塊單位的適應濾波器處理,對於各最大解碼區塊實行步驟ST222~ST224的濾波器處理(步驟ST221)。
針對步驟ST222~ST224的濾波器處理進行說明。
首先,從包含在利用可變長解碼部31進行可變長解碼的濾波器參數之最大解碼區塊單位的等級編號,判定對於 處理對象之最大解碼區塊是否實施濾波器處理(步驟ST222)。
在進行濾波器處理的情況下,使用與該上述等級編號對應之濾波器,實施對於區塊內的畫素之濾波器處理(步驟ST223)。再者移行到下個最大解碼區塊(步驟ST224)。
對於所有的最大解碼區塊實施以上的處理,並將處理後的解碼畫像儲存在動作補償預測畫框記憶體39。
又,就一邊抑制迴圈濾波器部38之濾波器處理整體的運算量,一邊共同使用畫素適應偏置處理及適應濾波器處理之手法而言,以在最大解碼區塊單位最佳選擇畫素適應偏置處理及適應濾波器處理的任一者的方式構成動畫像編碼裝置的迴圈濾波器部11的情況下,參照包含在利用可變長解碼部31進行可變長解碼的濾波器參數之最大解碼區塊單位的進行畫素適應偏置處理或是進行適應濾波器處理之選擇資訊,在每個最大解碼區塊實施畫素適應偏置處理或適應濾波器處理。
又,在上述例示中,針對將最大解碼區塊單位之畫素適應偏置處理的等級分類手法選擇資訊、適應濾波器處理的等級選擇資訊進行解碼再進行迴圈濾波器處理者加以說明,但是以將區塊尺寸、該區塊尺寸單位之畫素適應偏置處理的等級分類手法選擇資訊、適應濾波器處理的等級選擇資訊進行編碼的方式構成動畫像編碼裝置的情況下,利用可變長解碼部31將上述區塊尺寸、該區塊尺寸單位之畫素適應偏置處理的等級分類手法選擇資訊、適應濾波器處理的等級選擇資訊進行可變長解碼,迴圈濾波器部38係依據此等參數實施上述區塊尺寸單位的迴圈濾波器處理。
又,在切片標頭將在分割最大解碼區塊的解碼區 塊單位是否實施濾波器處理的資訊進行編碼的情況下,利用可變長解碼部31將上述資訊進行解碼,步驟ST223的處理係只在具有所謂進行濾波器處理的資訊之解碼區塊實施濾波器處理。
利用該迴圈濾波器部38之濾波器處理後的解碼畫像係成為動作補償預測用的參照畫像、或者成為播放畫像。
如以上明確所示,根據該實施形態1,因為動畫像 編碼裝置的迴圈濾波器部11係在利用編碼控制部2所決定的最大尺寸的編碼區塊單位實施利用加算部9所產生的局部解碼畫像的等級分級,同時在屬於各等級的局部解碼畫像設計補償重疊的偏斜之濾波器,使用該濾波器實施該局部解碼畫像的濾波器處理,而可變長編碼部13係將利用迴圈濾波器部11所設計之屬於各等級的局部解碼畫像所用之濾波器、及各最大編碼區塊的等級編號作為濾波器參數進行編碼加以構成,由於使用者可以在特定的區塊尺寸單位以任意手法進行任意等級數的等級分類,並在每個屬於各等級的區域進行濾波器處理,因此可以進行因應編碼對象畫像之等級分類,達到可以提高畫像品質的改善精確度之效果。
根據該實施形態1,因為構成為參照利用動畫像解 碼裝置的可變長解碼部31進行可變長解碼之濾波器參數,使用屬於各等級的濾波器進行濾波器處理,藉由在動畫像編碼裝置側要求最佳的等級分類並進行編碼,達到可以提高畫像品質的改善精確度之效果。
又,本發明係在該發明範圍內可進行實施形態之任意構成要素的變形、或是實施形態之任意構成要素的省略。
產業上的可利用性
關於本發明之動畫像編碼裝置及動畫像編碼方法係適用於必須以高效率將動畫像進行編碼者,關於本發明之動畫像解碼裝置及動畫像解碼方法係適用於必須將已以高效率編碼之動畫像進行解碼者。
1‧‧‧區塊分割部
2‧‧‧編碼控制部
3‧‧‧切換開關
4‧‧‧畫面內預測部
5‧‧‧動作補償預測部
6‧‧‧減算部
7‧‧‧轉換‧量化部
8‧‧‧逆量化‧逆轉換部
9‧‧‧加算部
10‧‧‧畫面內預測用記憶體
11‧‧‧迴圈濾波器部
12‧‧‧動作補償預測畫框記憶體
13‧‧‧可變長編碼號

Claims (4)

  1. 一種動畫像解碼裝置,包括:可變長解碼手段,從編碼資料將圖片中的對於已被預測處理的解碼畫像之濾波器處理的有無資訊解碼,並當對於上述圖片之濾波器處理的有無資訊顯示有濾波器處理時,將對於上述圖片中最大尺寸的編碼區塊之資訊,即解碼對象之上述最大尺寸的編碼區塊的濾波器參數是否和上方或左方鄰接的上述最大尺寸的編碼區塊的濾波器參數相同之上述資訊進行可變長解碼;及濾波手段,當上述資訊顯示其為相同時,使用上方或左方鄰接的上述最大尺寸的編碼區塊的濾波器參數,對於解碼對象之上述最大尺寸的編碼區塊進行上述濾波器處理,並將上述濾波器處理後的解碼畫像輸出。
  2. 如申請專利範圍第1項之動畫像解碼裝置,上述濾波器處理為複數個濾波器處理當中之一者。
  3. 一種動畫像解碼方法,包括:從編碼資料將圖片中的對於已被預測處理的解碼畫像之濾波器處理的有無資訊解碼的步驟,當對於上述圖片之濾波器處理的有無資訊顯示有濾波器處理時,將對於上述圖片中最大尺寸的編碼區塊之資訊,即解碼對象之上述最大尺寸的編碼區塊的濾波器參數是否和上方或左方鄰接的上述最大尺寸的編碼區塊的濾波器參數相同之上述資訊進行可變長解碼的步驟,當上述資訊顯示其為相同時,使用上方或左方鄰接的上述 最大尺寸的編碼區塊的濾波器參數,對於解碼對象之上述最大尺寸的編碼區塊進行上述濾波器處理,並將上述濾波器處理後的解碼畫像輸出的步驟。
  4. 如申請專利範圍第3項之動畫像解碼方法,上述濾波器處理為複數個濾波器處理當中之一者。
TW102101582A 2012-01-19 2013-01-16 A moving picture decoding apparatus, an image coding apparatus, an image decoding method, and an image coding method TWI489837B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012009128 2012-01-19
PCT/JP2013/050207 WO2013108684A1 (ja) 2012-01-19 2013-01-09 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法

Publications (2)

Publication Number Publication Date
TW201342934A TW201342934A (zh) 2013-10-16
TWI489837B true TWI489837B (zh) 2015-06-21

Family

ID=48799110

Family Applications (4)

Application Number Title Priority Date Filing Date
TW104117115A TWI586148B (zh) 2012-01-19 2013-01-16 Animation decoding apparatus and moving picture decoding method
TW106113415A TWI608728B (zh) 2012-01-19 2013-01-16 Image decoding device, image decoding method, image coding device, image coding method, coding data
TW102101582A TWI489837B (zh) 2012-01-19 2013-01-16 A moving picture decoding apparatus, an image coding apparatus, an image decoding method, and an image coding method
TW106137752A TWI665908B (zh) 2012-01-19 2013-01-16 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法、電腦可讀取記錄媒體

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW104117115A TWI586148B (zh) 2012-01-19 2013-01-16 Animation decoding apparatus and moving picture decoding method
TW106113415A TWI608728B (zh) 2012-01-19 2013-01-16 Image decoding device, image decoding method, image coding device, image coding method, coding data

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW106137752A TWI665908B (zh) 2012-01-19 2013-01-16 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法、電腦可讀取記錄媒體

Country Status (14)

Country Link
US (1) US20150023420A1 (zh)
EP (1) EP2806639A4 (zh)
JP (4) JP5551837B2 (zh)
KR (6) KR101647242B1 (zh)
CN (1) CN104067623A (zh)
BR (1) BR112014016291A8 (zh)
CA (3) CA2961818C (zh)
HK (1) HK1199589A1 (zh)
IN (1) IN2014CN04356A (zh)
MX (1) MX2014008781A (zh)
RU (5) RU2616598C1 (zh)
SG (5) SG11201403454PA (zh)
TW (4) TWI586148B (zh)
WO (1) WO2013108684A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
KR102276914B1 (ko) * 2013-10-24 2021-07-13 삼성전자주식회사 비디오 인코딩 장치 그리고 이의 구동 방법
EP3104614A4 (en) * 2014-02-03 2017-09-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method
US10440397B2 (en) 2014-03-31 2019-10-08 Sony Corporation Image decoding device and method
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
KR20180050333A (ko) 2015-09-29 2018-05-14 엘지전자 주식회사 영상 코딩 시스템에서 필터링 방법 및 장치
JP6634936B2 (ja) * 2016-04-05 2020-01-22 富士通株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、画像復号プログラムおよび画像伝送システム
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
US11057619B2 (en) 2019-03-23 2021-07-06 Lg Electronics Inc. Image coding method and apparatus based on intra prediction using MPM list
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
US10708624B1 (en) * 2019-05-30 2020-07-07 Ati Technologies Ulc Pre-processing for video compression
CN112135130B (zh) * 2019-06-24 2024-03-22 财团法人工业技术研究院 视频编译码方法及其图像处理装置
CN115589484A (zh) * 2019-12-06 2023-01-10 杭州海康威视数字技术股份有限公司 滤波方法、装置及设备
CN113808157B (zh) * 2021-11-18 2022-02-22 腾讯科技(深圳)有限公司 图像处理方法、装置、及计算机设备
CN116385414B (zh) * 2023-04-10 2023-11-07 哈尔滨耐是智能科技有限公司 零部件多尺度缺陷特征提取方法、计算设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW256896B (zh) * 1991-07-19 1995-09-11 Sony Co Ltd
TW526663B (en) * 2000-10-04 2003-04-01 Sanyo Electric Co Moving image decoding device and moving image decoding method
TWI277349B (en) * 2004-07-14 2007-03-21 Ntt Docomo Inc Animation image decoding method, animation image decoding program, animation image decoder, animation image encoding method, animation image encoding program, and animation image encoder
TWI318076B (zh) * 2005-04-13 2009-12-01 Ntt Docomo Inc

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
JP4114494B2 (ja) * 2002-03-07 2008-07-09 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
KR100745765B1 (ko) * 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
JP5535625B2 (ja) 2006-07-18 2014-07-02 トムソン ライセンシング 適応的参照フィルタリングの方法及び装置
RU2427976C2 (ru) * 2006-07-28 2011-08-27 Кабусики Кайся Тосиба Способ и устройство для кодирования и декодирования изображения
JP4931214B2 (ja) * 2007-01-24 2012-05-16 キヤノン株式会社 画像処理装置及びその方法
CN101677400B (zh) * 2008-09-19 2012-08-15 华为技术有限公司 编码、解码方法和编码器、解码器及编解码系统
JP2010130522A (ja) * 2008-11-28 2010-06-10 Canon Inc 動画像符号化装置及び動画像符号化方法
JPWO2010134292A1 (ja) * 2009-05-19 2012-11-08 パナソニック株式会社 描画装置及び描画方法
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR20110001990A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
US20110194613A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US20110222608A1 (en) * 2010-03-15 2011-09-15 Yongying Gao Localized in-loop filtering with multiple filters in hybrid video coding
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
SG10201502226SA (en) * 2010-04-09 2015-05-28 Mitsubishi Electric Corp Moving image encoding device and moving image decoding device
JP5676744B2 (ja) * 2010-04-13 2015-02-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エントロピー符号化
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN106454356B (zh) * 2010-06-17 2019-11-08 夏普株式会社 解码装置及编码装置
US20120029435A1 (en) * 2010-07-30 2012-02-02 Miriam Gutierrez Del Rio Ng/og support systems
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
JP5763210B2 (ja) * 2011-04-21 2015-08-12 メディアテック インコーポレイテッド 改良されたループ型フィルタリング処理のための方法と装置
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
CN105049864A (zh) * 2011-06-28 2015-11-11 三星电子株式会社 根据像素分类使用偏移调整的视频解码方法及其设备
US20130013616A1 (en) * 2011-07-08 2013-01-10 Jochen Lothar Leidner Systems and Methods for Natural Language Searching of Structured Data
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW256896B (zh) * 1991-07-19 1995-09-11 Sony Co Ltd
TW526663B (en) * 2000-10-04 2003-04-01 Sanyo Electric Co Moving image decoding device and moving image decoding method
TWI277349B (en) * 2004-07-14 2007-03-21 Ntt Docomo Inc Animation image decoding method, animation image decoding program, animation image decoder, animation image encoding method, animation image encoding program, and animation image encoder
TWI318076B (zh) * 2005-04-13 2009-12-01 Ntt Docomo Inc

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Sample Adaptive Offset with LCU-based Syntax", http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2519,JCTVC-F056 (version 5 - date 2011-07-15 18:40:45) *

Also Published As

Publication number Publication date
BR112014016291A8 (pt) 2017-07-04
CA3001027A1 (en) 2013-07-25
TWI665908B (zh) 2019-07-11
IN2014CN04356A (zh) 2015-09-04
JP2015228709A (ja) 2015-12-17
KR102021257B1 (ko) 2019-09-11
KR20190105135A (ko) 2019-09-11
RU2684570C1 (ru) 2019-04-09
TWI586148B (zh) 2017-06-01
CA2862805C (en) 2019-02-12
JP2014187704A (ja) 2014-10-02
SG10201906914WA (en) 2019-09-27
TWI608728B (zh) 2017-12-11
BR112014016291A2 (pt) 2017-06-13
RU2703229C1 (ru) 2019-10-15
CA2961818A1 (en) 2013-07-25
KR102157481B1 (ko) 2020-09-18
SG10201912258SA (en) 2020-02-27
TW201808007A (zh) 2018-03-01
KR20180123191A (ko) 2018-11-14
RU2658178C1 (ru) 2018-06-19
RU2577320C1 (ru) 2016-03-20
KR20140111039A (ko) 2014-09-17
JP2017092980A (ja) 2017-05-25
JP5551837B2 (ja) 2014-07-16
TW201731292A (zh) 2017-09-01
JP6082073B2 (ja) 2017-02-15
TW201534108A (zh) 2015-09-01
WO2013108684A1 (ja) 2013-07-25
SG10201604926WA (en) 2016-08-30
EP2806639A1 (en) 2014-11-26
RU2616598C1 (ru) 2017-04-18
KR20200108111A (ko) 2020-09-16
KR20140117557A (ko) 2014-10-07
CA2961818C (en) 2020-06-09
KR20170098967A (ko) 2017-08-30
HK1199589A1 (zh) 2015-07-03
JP5815795B2 (ja) 2015-11-17
TW201342934A (zh) 2013-10-16
CN104067623A (zh) 2014-09-24
EP2806639A4 (en) 2016-06-01
SG11201403454PA (en) 2014-08-28
US20150023420A1 (en) 2015-01-22
KR102272564B1 (ko) 2021-07-02
CA2862805A1 (en) 2013-07-25
KR102113985B1 (ko) 2020-05-22
SG10201912254WA (en) 2020-02-27
MX2014008781A (es) 2014-10-23
JPWO2013108684A1 (ja) 2015-05-11
KR101647242B1 (ko) 2016-08-09

Similar Documents

Publication Publication Date Title
TWI489837B (zh) A moving picture decoding apparatus, an image coding apparatus, an image decoding method, and an image coding method
JP6851429B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
JP6820115B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
TWI529664B (zh) 畫像編碼裝置及畫像解碼裝置
TWI600317B (zh) Image decoding apparatus, picture decoding method, picture encoding apparatus, picture encoding method, and data structure of encoded data
WO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JP6362370B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6373008B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2013108882A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014135552A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法