TW201642663A - 影像處理裝置及方法、程式、以及記錄媒體 - Google Patents

影像處理裝置及方法、程式、以及記錄媒體 Download PDF

Info

Publication number
TW201642663A
TW201642663A TW105126097A TW105126097A TW201642663A TW 201642663 A TW201642663 A TW 201642663A TW 105126097 A TW105126097 A TW 105126097A TW 105126097 A TW105126097 A TW 105126097A TW 201642663 A TW201642663 A TW 201642663A
Authority
TW
Taiwan
Prior art keywords
unit
filter
parameter
image
processing
Prior art date
Application number
TW105126097A
Other languages
English (en)
Other versions
TWI581623B (zh
Inventor
Shuo Lu
Masaru Ikeda
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201642663A publication Critical patent/TW201642663A/zh
Application granted granted Critical
Publication of TWI581623B publication Critical patent/TWI581623B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本揭露係有關於,可抑制區塊雜訊的影像處理裝置及方法、程式、以及記錄媒體。 β LUT_input計算部與限幅處理部,係求出對既存β生成部及擴充β生成部進行輸入的值β LUT_input。既存β生成部,係當來自限幅處理部的β LUT_input qp之值是51以下時,則使用HEVC方式所規定之LUT來求出β,供給至濾波處理決定部。擴充β生成部,係當來自限幅處理部之β LUT_input qp的值是大於51時,則求出擴充之β,供給至濾波處理決定部。本揭露係可適用於例如影像處理裝置。

Description

影像處理裝置及方法、程式、以及記錄媒體
本揭露係有關於影像處理裝置及方法、程式、以及記錄媒體,尤其是有關於可抑制區塊雜訊的影像處理裝置及方法、程式、以及記錄媒體。
近年來,將影像資訊以數位方式加以處理,此時,為了高效率的資訊傳輸、積存之目的,利用影像資訊特有的冗長性,採用藉由離散餘弦轉換等之正交轉換和運動補償而進行壓縮的編碼方式,來將影像予以壓縮編碼的裝置,正逐漸普及。在此編碼方式中,係有例如MPEG(Moving Picture Experts Group)或H.264及MPEG-4 Part10(Advanced Video Coding,以下記作H.264/AVC)等。
然後,目前,為了比H.264/AVC更加提升編碼效率,由ITU-T、和ISO/IEC之共同標準化團體亦即JCTVC(Joint Collaboration Team-Video Coding),正在進行一種稱作HEVC(High Efficiency Video Coding)的編碼方式的標準化。關於HEVC規格,係在2012年2月發行 了最初的草案版規格亦即Committee draft(例如參照非專利文獻1)。
在現時點的HEVC草案中,作為迴圈內濾波器,是採用了去區塊濾波器、適應迴圈濾波器、及適應偏置濾波器,作為去區塊濾波器的參數,係有參數β與參數Tc這2者。參數β係具有0至51的52種值,對於大於51之輸入則固定成64。參數Tc係具有0至53的54種值,對於大於53之輸入則固定成13。
HEVC中所能使用的量化參數QP之範圍,係為0至51,但去區塊濾波器的參數的偏置之範圍,係為-26至26。因此,理論上,去區塊濾波器的參數的LUT(Look Up Table)的輸入範圍,係為0至77。
[先前技術文獻] [非專利文獻]
[非專利文獻1]Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6", JCTVC-H1003 ver20, 2012.2.17
然而,實際對去區塊濾波器之參數之LUT的輸入亦即量化參數QP,係為0至51,未把偏置值做最大 限度的活用。
又,如上述,即使使用HEVC中的參數β之最大值的64與參數Tc之最大值的13,在一部分的序列中,仍會留下肉眼可見的區塊雜訊。
本揭露係有鑑於此種狀況而研發,目的在於能夠抑制區塊雜訊。
本揭露之一側面的影像處理裝置,係含有:濾波部,係使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;和編碼部,係使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
前記濾波部,係可使用前記範圍中所含之大於14的值的濾波器參數,來適用前記去區塊濾波器。
前記濾波器參數係為,隨應於量化參數而被設定的值。
前記量化參數係為,對相鄰於前記區塊交界的相鄰區塊所被設定的量化參數之平均。
前記濾波部,係可使用依照對前記量化參數之平均與前記濾波器參數之對應關係而已被擴充成使得前 記濾波器參數之值會含有大於14的值的範圍而被設定的前記濾波器參數,對位於前記本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器。
前記去區塊濾波器係含有:具有第1強度的弱濾波器和具有比前記第1強度還強的第2強度的強濾波器;前記濾波器參數係為,在選擇前記弱濾波器與前記強濾波器之其中任一方之際或對前記強濾波器被適用後的像素進行限幅處理之際,所被使用的參數。
前記區塊交界係為,進行正交轉換的單位也就是變形單元之交界或進行預測處理的單位也就是預測單元之交界。
前記編碼部係可含有:正交轉換部,係將前記影像進行正交轉換,以生成轉換係數資料;和量化部,係將前記正交轉換部所生成的前記轉換係數資料進行量化,以生成量化資料;和算術編碼部,係將前記量化部所生成的前記量化資料,進行算術編碼。
前記編碼部,係可以將最大編碼單元遞迴地進行分割所得的編碼單元來作為處理單位,而將前記影像進行編碼處理。
前記最大編碼單元係為,前記4分樹構造中的最上位層之編碼單元。
前記最大編碼單元係為,序列單位下固定尺寸的區塊;前記編碼單元係為可變尺寸的區塊。
本揭露之一側面的影像處理方法,係由影像 處理裝置的濾波部使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;由編碼部使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
可由前記濾波部使用前記範圍中所含之大於14的值的濾波器參數,來適用前記去區塊濾波器。
前記濾波器參數係為,隨應於量化參數而被設定的值。
前記量化參數係為,對相鄰於前記區塊交界的相鄰區塊所被設定的量化參數之平均。
可由前記濾波部使用依照對前記量化參數之平均與前記濾波器參數之對應關係而已被擴充成使得前記濾波器參數之值會含有大於14的值的範圍而被設定的前記濾波器參數,對位於前記本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器。
前記去區塊濾波器係含有:具有第1強度的弱濾波器和具有比前記第1強度還強的第2強度的強濾波器;前記濾波器參數係為,在選擇前記弱濾波器與前記強濾波器之其中任一方之際或對前記強濾波器被適用後的像素進行限幅處理之際,所被使用的參數。
前記區塊交界係為,進行正交轉換的單位也 就是變形單元之交界或進行預測處理的單位也就是預測單元之交界。
可於前記編碼部中,由正交轉換部將前記影像進行正交轉換,以生成轉換係數資料;由量化部將前記正交轉換部所前記生成的轉換係數資料進行量化以生成量化資料;由算術編碼部將前記量化部所前記生成的量化資料,進行算術編碼。
可由前記編碼部以將最大編碼單元遞迴地進行分割所得的編碼單元來作為處理單位,而將前記影像進行編碼處理。
前記編碼單元,係將前記最大編碼單元依照4分樹構造而被遞迴地分割。
前記最大編碼單元係為,前記4分樹構造中的最上位層之編碼單元。
前記最大編碼單元係為,序列單位下固定尺寸的區塊;前記編碼單元係為可變尺寸的區塊。
本揭露的一側面的程式及記錄媒體中所記錄的程式,係使電腦發揮機能成為:濾波部,係使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;和編碼部,係使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像 進行編碼處理。
於本揭露之一側面中,是藉由解碼部而將編碼串流進行解碼處理,生成解碼影像,藉由濾波部,使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器。
此外,上述的影像處理裝置,係可為獨立的裝置,也可為構成1台影像編碼裝置或影像解碼裝置的內部區塊。
若依據本揭露之第1側面,則可將影像予以解碼。尤其是,可抑制區塊雜訊。
若依據本揭露之第2側面,則可將影像予以編碼。尤其是,可抑制區塊雜訊。
11‧‧‧影像編碼裝置
21‧‧‧A/D(Analog/Digital)轉換部
22‧‧‧畫面排序緩衝區
23‧‧‧演算部
24‧‧‧正交轉換部
25‧‧‧量化部
26‧‧‧可逆編碼部
27‧‧‧積存緩衝區
28‧‧‧逆量化部
29‧‧‧逆正交轉換部
30‧‧‧演算部
31,31a,31b‧‧‧去區塊濾波器
32‧‧‧畫格記憶體
33‧‧‧選擇部
34‧‧‧畫面內預測部
35‧‧‧運動預測.補償部
36‧‧‧預測影像選擇部
37‧‧‧速率控制部
41‧‧‧適應偏置濾波器
42‧‧‧適應迴圈濾波器
51‧‧‧影像解碼裝置
61‧‧‧積存緩衝區
62‧‧‧可逆解碼部
63‧‧‧逆量化部
64‧‧‧逆正交轉換部
65‧‧‧演算部
67‧‧‧畫面排序緩衝區
68‧‧‧D/A轉換部
69‧‧‧畫格記憶體
70‧‧‧選擇部
71‧‧‧畫面內預測部
72‧‧‧運動預測.補償部
73‧‧‧選擇部
81‧‧‧適應偏置濾波器
82‧‧‧適應迴圈濾波器
101‧‧‧組態設定部
102‧‧‧濾波執行部
111‧‧‧QP算出部
111a‧‧‧QP取得部
111b‧‧‧平均QP計算部
112‧‧‧β生成部
113‧‧‧Tc生成部
114‧‧‧濾波處理決定部
115‧‧‧濾波處理部
121‧‧‧βLUT_input計算部
122‧‧‧限幅處理部
123‧‧‧既存β生成部
124‧‧‧擴充β生成部
131‧‧‧LUT
141‧‧‧β(qp)計算部
151‧‧‧電腦
152‧‧‧β(qp)計算部
153‧‧‧擴充LUT
161‧‧‧Tc_LUT_input計算部
162‧‧‧限幅處理部
163‧‧‧既存Tc生成部
164‧‧‧擴充Tc生成部
171‧‧‧LUT
181‧‧‧Tc(qp)計算部
191‧‧‧電腦
192‧‧‧Tc(qp)計算部
193‧‧‧擴充LUT
201‧‧‧濾波處理決定部
251‧‧‧β生成處理部
301‧‧‧組態設定部
302‧‧‧濾波執行部
311‧‧‧β生成部
312‧‧‧Tc生成部
321‧‧‧βLUT_input計算部
322‧‧‧β生成處理部
331‧‧‧Tc_LUT_input計算部
332‧‧‧Tc生成處理部
401‧‧‧組態設定部
451‧‧‧組態設定部
600‧‧‧多視點影像編碼裝置
601‧‧‧編碼部
602‧‧‧編碼部
603‧‧‧多工化部
610‧‧‧多視點影像解碼裝置
611‧‧‧逆多工部
612‧‧‧解碼部
613‧‧‧解碼部
620‧‧‧階層影像編碼裝置
621‧‧‧編碼部
622‧‧‧編碼部
623‧‧‧多工化部
630‧‧‧階層影像解碼裝置
631‧‧‧逆多工部
632‧‧‧解碼部
633‧‧‧解碼部
800‧‧‧電腦
801‧‧‧CPU
802‧‧‧ROM
803‧‧‧RAM
804‧‧‧匯流排
805‧‧‧輸出入介面
806‧‧‧輸入部
807‧‧‧輸出部
808‧‧‧記憶部
809‧‧‧通訊部
810‧‧‧驅動機
821‧‧‧可移除式媒體
900‧‧‧電視裝置
901‧‧‧天線
902‧‧‧選台器
903‧‧‧解多工器
904‧‧‧解碼器
905‧‧‧映像訊號處理部
906‧‧‧顯示部
907‧‧‧聲音訊號處理部
908‧‧‧揚聲器
909‧‧‧外部介面
910‧‧‧控制部
911‧‧‧使用者介面
912‧‧‧匯流排
920‧‧‧行動電話機
921‧‧‧天線
922‧‧‧通訊部
923‧‧‧聲音編解碼器
924‧‧‧揚聲器
925‧‧‧麥克風
926‧‧‧攝影機部
927‧‧‧影像處理部
928‧‧‧多工分離部
929‧‧‧記錄再生部
930‧‧‧顯示部
931‧‧‧控制部
932‧‧‧操作部
933‧‧‧匯流排
940‧‧‧記錄再生裝置
941‧‧‧選台器
942‧‧‧外部介面
943‧‧‧編碼器
944‧‧‧HDD(Hard Disk Drive)
945‧‧‧碟片驅動機
946‧‧‧選擇器
947‧‧‧解碼器
948‧‧‧OSD(On-Screen Display)
949‧‧‧控制部
950‧‧‧使用者介面
960‧‧‧攝像裝置
961‧‧‧光學區塊
962‧‧‧攝像部
963‧‧‧訊號處理部
964‧‧‧影像處理部
965‧‧‧顯示部
966‧‧‧外部介面
967‧‧‧記憶體
968‧‧‧媒體驅動機
969‧‧‧OSD
970‧‧‧控制部
971‧‧‧使用者介面
972‧‧‧匯流排
1000‧‧‧資料傳輸系統
1001‧‧‧可調式編碼資料記憶部
1002‧‧‧配訊伺服器
1003‧‧‧網路
1004‧‧‧個人電腦
1005‧‧‧AV機器
1006‧‧‧平板裝置
1007‧‧‧行動電話機
1011‧‧‧可調式編碼資料(BL+EL)
1012‧‧‧可調式編碼資料(BL)
1100‧‧‧資料傳輸系統
1101‧‧‧播送台
1102‧‧‧終端裝置
1111‧‧‧地表波播送
1112‧‧‧網路
1121‧‧‧可調式編碼資料(BL)
1122‧‧‧可調式編碼資料(EL)
1200‧‧‧攝像系統
1201‧‧‧攝像裝置
1202‧‧‧可調式編碼資料記憶裝置
1211‧‧‧被攝體
1221‧‧‧可調式編碼資料(BL+EL)
1222‧‧‧可調式編碼資料(BL)
[圖1]影像編碼裝置的主要構成例的區塊圖。
[圖2]編碼處理之流程例的說明用流程圖。
[圖3]影像解碼裝置的主要構成例的區塊圖。
[圖4]解碼處理之流程例的說明用流程圖。
[圖5]AVC方式中的去區塊濾波器的參數α之值與圖形的圖示。
[圖6]AVC方式中的去區塊濾波器的參數β之值與圖形的圖示。
[圖7]HEVC方式中的量化參數Q所對應之參數β及參數Tc之值的圖示。
[圖8]本技術之第1擴充方法中的量化參數QP與參數β之關係的圖示。
[圖9]以k=2之1次函數之方式進行擴充時的量化參數QP與參數β之值與圖形的圖示。
[圖10]以k=4之1次函數之方式進行擴充時的量化參數QP與參數β之值與圖形的圖示。
[圖11]以k=8之1次函數之方式進行擴充時的量化參數QP與參數β之值與圖形的圖示。
[圖12]以指數函數之方式進行擴充時的量化參數QP與參數β之值與圖形的圖示。
[圖13]本技術之第1擴充方法中的量化參數QP與參數Tc之值與圖形的圖示。
[圖14]適用了本技術的去區塊濾波器之構成例的區塊圖。
[圖15]進行亮度交界之濾波處理的濾波執行部之構成例的區塊圖。
[圖16]β生成部之構成例的區塊圖。
[圖17]擴充β生成部之構成例的區塊圖。
[圖18]擴充β生成部之另一構成例的區塊圖。
[圖19]Tc生成部之構成例的區塊圖。
[圖20]擴充Tc生成部之構成例的區塊圖。
[圖21]擴充Tc生成部之另一構成例的區塊圖。
[圖22]進行色差交界之濾波處理的濾波執行部之構成例的區塊圖。
[圖23]說明去區塊濾波處理的流程圖。
[圖24]說明亮度交界之濾波處理的流程圖。
[圖25]說明β之生成處理的流程圖。
[圖26]說明限幅處理的流程圖。
[圖27]說明Tc之生成處理的流程圖。
[圖28]限幅處理之另一例的說明用流程圖。
[圖29]說明色差交界之濾波處理的流程圖。
[圖30]本技術之第2擴充方法中的量化參數QP與參數β(新β)之值與圖形的圖示。
[圖31]量化參數QP與參數tc之關係和近似式之調整量的說明圖。
[圖32]本技術的第3擴充方法的參數β之例子的說明圖。
[圖33]本技術的第3擴充方法的參數Tc之例子的說明圖。
[圖34]在量化參數QP(0至51)內擴充時的量化參數QP與參數β之值與圖形的圖示。
[圖35]β生成部之構成例的區塊圖。
[圖36]說明β之生成處理的流程圖。
[圖37]適用了本技術的去區塊濾波器之構成例的區塊圖。
[圖38]進行亮度交界之濾波處理的濾波執行部之構成例的區塊圖。
[圖39]β生成部之構成例的區塊圖。
[圖40]Tc生成部之構成例的區塊圖。
[圖41]說明去區塊濾波處理的流程圖。
[圖42]說明濾波器的組態設定處理的流程圖。
[圖43]說明β之生成處理的流程圖。
[圖44]說明Tc之生成處理的流程圖。
[圖45]偏置之傳輸的說明圖。
[圖46]語法之例子的圖示。
[圖47]適用了本技術的去區塊濾波器之構成例的區塊圖。
[圖48]說明濾波器的組態設定處理的流程圖。
[圖49]適用了本技術的去區塊濾波器之構成例的區塊圖。
[圖50]說明濾波器的組態設定處理的流程圖。
[圖51]偏置之傳輸的說明圖。
[圖52]語法之例子的圖示。
[圖53]多視點影像編碼方式之例子的圖示。
[圖54]適用了本技術的多視點影像編碼裝置的主要構成例之區塊圖。
[圖55]適用了本技術的多視點影像解碼裝置的主要構成例之區塊圖。
[圖56]階層影像編碼方式之例子的圖示。
[圖57]適用了本技術的階層影像編碼裝置的主要構成例之區塊圖。
[圖58]適用了本技術的階層影像解碼裝置的主要構成例之區塊圖。
[圖59]電腦的主要構成例的區塊圖。
[圖60]電視裝置之概略構成之一例的區塊圖。
[圖61]行動電話機之概略構成之一例的區塊圖。
[圖62]記錄再生裝置之概略構成之一例的區塊圖。
[圖63]攝像裝置之概略構成之一例的區塊圖。
[圖64]可調式編碼利用之一例的區塊圖。
[圖65]可調式編碼利用之另一例的區塊圖。
[圖66]可調式編碼利用的再另一例的區塊圖。
以下,說明用以實施本揭露的形態(以下稱作實施形態)。此外,說明係用以下順序來進行。
1.裝置及動作之概要
2.先前手法之說明
3.第1實施形態(第1擴充方法)
4.第2實施形態(第2擴充方法)
5.第3實施形態(第3擴充方法)
6.第4實施形態(第4擴充方法)
7.第5實施形態(第1偏置送訊方法)
8.第6實施形態(第2偏置送訊方法)
9.第7實施形態(多視點影像編碼.多視點影像解碼裝置)
10.第8實施形態(階層影像編碼.階層影像解碼裝置)
11.第9實施形態(電腦)
12.應用例
13.可調式編碼的應用例
<1.裝置及動作之概要>
[影像編碼裝置的構成例]
圖1係表示作為適用了本揭露之影像處理裝置的影像編碼裝置之一實施形態的構成。
圖1所示的影像編碼裝置11,係使用預測處理來將影像資料予以編碼。此處,作為編碼方式,係使用例如HEVC(High Efficiency Video Coding)方式等。
此外,於HEVC方式中,係被規定有編碼單元(CU(Coding Unit))。CU係亦稱作Coding Tree Block(CTB),是擔任和H.264/AVC方式中的巨集區塊同樣的角色,係為圖像單位的影像之部分領域。相對於後者係被固定成16×16像素之大小,前者的大小並非固定,而是在各個序列中,在影像壓縮資訊中做指定。
例如,在輸出的編碼資料中所含之序列參數 集(SPS(Sequence Parameter Set))裡頭,規定了CU的最大尺寸(LCU(Largest Coding Unit))與最小尺寸((SCU(Smallest Coding Unit))。
在各個LCU內,係在不低於SCU之尺寸的範圍內,藉由設成split-flag=1,就可分割成更小尺寸的CU。2N×2N之大小的CU,係當split_flag之值為「1」時,就被分割成下1個階層的N×N之大小的CU。
甚至,CU係還會被分割成,作為畫面內或是畫面間預測處理之對象的領域(圖像單位之影像的部分領域)亦即預測單元(Prediction Unit(PU)),又還可以被分割成,作為正交轉換處理之對象的領域(圖像單位之影像的部分領域)亦即變形單元(Transform Unit(TU))。目前,在HEVC方式中,除了4×4及8×8以外,還可使用16×16及32×32正交轉換。
圖1的影像編碼裝置11係具有:A/D(Analog/Digital)轉換部21、畫面排序緩衝區22、演算部23、正交轉換部24、量化部25、可逆編碼部26、及積存緩衝區27。又,影像編碼裝置11係具有:逆量化部28、逆正交轉換部29、演算部30、去區塊濾波器31a、畫格記憶體32、選擇部33、畫面內預測部34、運動預測.補償部35、預測影像選擇部36、及速率控制部37。
再者,影像編碼裝置11,係在去區塊濾波器31a與畫格記憶體32之間,具有適應偏置濾波器41及適應迴圈濾波器42。
A/D轉換部21,係將所被輸入之影像資料進行A/D轉換,輸出至畫面排序緩衝區22而記憶之。
畫面排序緩衝區22,係將已記憶之顯示順序的畫格之影像,隨應於GOP(Group of Picture)構造,排序成編碼所需的畫格之順序。畫面排序緩衝區22,係將畫格順序排序過的影像,供給至演算部23。又,畫面排序緩衝區22,係也將畫格順序排序過的影像,供給至畫面內預測部34及運動預測.補償部35。
演算部23,係將從畫面排序緩衝區22所讀出之影像,減去透過預測影像選擇部36而從畫面內預測部34或運動預測.補償部35所供給之預測影像,將其差分資訊,輸出至正交轉換部24。
例如,若是進行畫面內編碼的影像,則演算部23係從畫面排序緩衝區22所讀出之影像,減去從畫面內預測部34所供給之預測影像。又,例如,若是進行畫面間編碼的影像,則演算部23係由從畫面排序緩衝區22所讀出之影像,減去從運動預測.補償部35所供給之預測影像。
正交轉換部24,係對從演算部23所供給的差分資訊,實施離散餘弦轉換、卡忽南-拉維轉換等之正交轉換,將其轉換係數供給至量化部25。
量化部25,係將正交轉換部24所輸出的轉換係數,進行量化。量化部25係將已被量化之轉換係數,供給至可逆編碼部26。
可逆編碼部26,係對該已被量化之轉換係數,實施可變長度編碼、算術編碼等之可逆編碼。
可逆編碼部26係從畫面內預測部34取得表示畫面內預測模式之資訊的參數,從運動預測.補償部35取得表示畫面間預測模式之資訊或運動向量資訊等之參數。
可逆編碼部26係將已被量化之轉換係數予以編碼,並且將所取得之各參數(語法要素)予以編碼,當成編碼資料的標頭資訊的一部分(進行多工化)。可逆編碼部26,係將編碼所得到之編碼資料,供給至積存緩衝區27而積存之。
例如,在可逆編碼部26中,會進行可變長度編碼或算術編碼等之可逆編碼處理。作為可變長度編碼,係可舉例CAVLC(Context-Adaptive Variable Length Coding)等。作為算術編碼,係可舉例CABAC(Context-Adaptive Binary Arithmetic Coding)等。
積存緩衝區27係將從可逆編碼部26所供給之編碼串流(資料)予以暫時保持,在所定之時序上,當作編碼過的編碼影像,輸出至例如後段未圖示的記錄裝置或傳輸路等。亦即,積存緩衝區27係亦為將編碼串流予以傳輸的傳輸部。
又,於量化部25中被被量化過的轉換係數,係也被供給至逆量化部28。逆量化部28係將該已被量化之轉換係數,以對應於量化部25所做之量化的方法,進 行逆量化。逆量化部28,係將所得到之轉換係數,供給至逆正交轉換部29。
逆正交轉換部29,係將所被供給之轉換係數,以正交轉換部24所做之正交轉換處理所對應的方法,進行逆正交轉換。已被逆正交轉換之輸出(已被復原之差分資訊),係被供給至演算部30。
演算部30,係對逆正交轉換部29所供給之逆正交轉換結果、亦即已被復原之差分資訊,加算上透過預測影像選擇部36而從畫面內預測部34或運動預測.補償部35所供給的預測影像,獲得局部性解碼之影像(解碼影像)。
例如,若差分資訊是對應於進行畫面內編碼的影像,則演算部30係對該差分資訊,加算上從畫面內預測部34所供給之預測影像。又,例如,若差分資訊是對應於進行畫面間編碼的影像,則演算部30係對該差分資訊,加算上從運動預測.補償部35所供給之預測影像。
該加算結果之解碼影像,係被供給至去區塊濾波器31a及畫格記憶體32。
去區塊濾波器31a,係藉由適宜地進行去區塊濾波處理,以抑制解碼影像的區塊失真。去區塊濾波器31a,係具有根據量化參數QP所求出的參數β及Tc。參數β及Tc,係為關於去區塊濾波器之判定中所被使用的閾值(參數)。去區塊濾波器31a所具有的參數β及Tc,係 從HEVC方式所規定之β與Tc所擴充而來。
此外,去區塊濾波器31a,係亦可根據使用者之指示而設成不可利用,對去區塊濾波器31a,係可藉由使用者操作未圖示之操作部,來輸入是否進行去區塊濾波器的ON/OFF資訊。又,上述的參數β及Tc的各偏置,預設係為0,但若為該值以外的情況下,則可藉由使用者操作未圖示之操作部等,而被輸入至去區塊濾波器31a。這些去區塊濾波器的ON/OFF資訊(亦稱作DisableDeblockingFilter旗標資訊),和參數β及Tc的各偏置,係作為去區塊濾波器的參數,而在可逆編碼部26中被編碼,被發送至後述圖3的影像解碼裝置51。
去區塊濾波器31a,係對來自演算部30的影像,使用上述的ON/OFF資訊、偏置、以及從HEVC方式所規定之β與Tc所被擴充而來的參數β及Tc,來進行去區塊濾波處理。去區塊濾波器31a,係將其濾波處理結果,供給至適應偏置濾波器41。此外,去區塊濾波器31a的詳細構成,係參照圖14而後述。
適應偏置濾波器41,係對去區塊濾波器31a所致之濾波後的影像,進行主要用來抑制漣波現象的偏置濾波器(SAO:Sample adaptive offset)處理。
偏置濾波器之種類,係有頻帶偏置2種、邊緣偏置6種、無偏置,總計9種。適應偏置濾波器41,係使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值,來對去區塊濾波器31a所 致之濾波後的影像,實施濾波處理。適應偏置濾波器41,係將濾波處理後之影像,供給至適應迴圈濾波器42。
此外,於影像編碼裝置11中,quad-tree結構與每一分割領域之偏置值,係藉由適應偏置濾波器41而被算出而使用。已被算出的quad-tree結構與每一分割領域之偏置值,係作為適應偏置參數,在可逆編碼部26中被編碼,被發送至後述圖3的影像解碼裝置51。
適應迴圈濾波器42,係對適應偏置濾波器41所致之濾波後的影像,使用濾波器係數,每一處理單位地,進行適應迴圈濾波器(ALF:AdaptiveLoop Filter)處理。於適應迴圈濾波器42中,作為濾波器係可使用例如2維的維納濾波器(Wiener Filter)。當然,也可使用維納濾波器以外的濾波器。適應迴圈濾波器42,係將濾波處理結果,供給至畫格記憶體32。
此外,雖然在圖1的例子中沒有圖示,但於影像編碼裝置11中,濾波器係數係每一處理單位地,以使得與來自畫面排序緩衝區22之原影像的殘差呈最小的方式,藉由適應迴圈濾波器42而被算出而使用。已被算出之濾波器係數,係作為適應迴圈濾波器參數,而在可逆編碼部26中被編碼,被發送至後述圖3的影像解碼裝置51。
畫格記憶體32係於所定之時序上,將所累積的參照影像,透過選擇部33而輸出至畫面內預測部34或 運動預測.補償部35。
例如,若是進行畫面內編碼的影像,則畫格記憶體32係將參照影像,透過選擇部33而供給至畫面內預測部34。又,例如,若畫面間編碼有被進行的情況下,畫格記憶體32係將參照影像,透過選擇部33而供給至運動預測.補償部35。
選擇部33係當從畫格記憶體32所供給之參照影像,是將進行畫面內編碼之影像,則將該參照影像供給至畫面內預測部34。又,選擇部33係當從畫格記憶體32所供給之參照影像,是將進行畫面間編碼之影像,則將該參照影像,供給至運動預測.補償部35。
畫面內預測部34,係進行畫面內預測(Inter預測),使用畫面內的像素值來生成預測影像。畫面內預測部34,係藉由複數模式(畫面內預測模式)來進行畫面內預測。
畫面內預測部34,係以所有的畫面內預測模式來生成預測影像,並評估各預測影像,選擇出最佳模式。畫面內預測部34,係一旦選擇了最佳的畫面內預測模式,就將該最佳模式所生成之預測影像,透過預測影像選擇部36而供給至演算部23或演算部30。
又,如上述,畫面內預測部34係亦可將表示所採用之畫面內預測模式的畫面內預測模式資訊等之參數,適宜地供給至可逆編碼部26。
運動預測.補償部35,係針對被進行畫面間 編碼的影像,使用從畫面排序緩衝區22所供給之輸入影像、和透過選擇部33而從畫格記憶體32所供給之參照影像,來進行運動預測。又,運動預測.補償部35,係隨應於藉由運動預測而被偵測出來的運動向量來進行運動補償處理,生成預測影像(畫面間預測影像資訊)。
運動預測.補償部35,係進行所有候補之畫面間預測模式的畫面間預測處理,生成預測影像。運動預測.補償部35,係將已被生成之預測影像,透過預測影像選擇部36而供給至演算部23或演算部30。
又,運動預測.補償部35,係將表示已被採用之畫面間預測模式的畫面間預測模式資訊、或表示已算出之運動向量的運動向量資訊等之參數,供給至可逆編碼部26。
預測影像選擇部36係若是進行畫面內編碼之影像時,則將畫面內預測部34之輸出,供給至演算部23或演算部30;若是進行畫面間編碼之影像時,則將運動預測.補償部35之輸出,供給至演算部23或演算部30。
速率控制部37,係基於積存緩衝區27中所積存之壓縮影像,以不會發生溢位或下溢之方式,控制量化部25的量化動作之速率。
[影像編碼裝置之動作]
參照圖2,說明如以上之影像編碼裝置11所執行的 編碼裝置之流程。
於步驟S11中,A/D轉換部21係將所輸入之影像進行A/D轉換。於步驟S12中,畫面排序緩衝區22係將已被A/D轉換之影像加以記憶,進行從各圖像之顯示順序往編碼之順序的排序。
若從畫面排序緩衝區22所供給之處理對象的影像是被畫面內處理之區塊的影像,則所被參照之已解碼影像會從畫格記憶體32中被讀出,透過選擇部33而供給至畫面內預測部34。
基於這些影像,於步驟S13中,畫面內預測部34係將處理對象之區塊的像素,以身為候補之所有畫面內預測模式來進行畫面內預測。此外,作為所被參照之已解碼像素,係使用了未被去區塊濾波器31a進行濾波的像素。
藉由此處理,會以身為候補之所有畫面內預測模式來進行畫面內預測,對身為候補之所有畫面內預測模式,算出成本函數值。然後,基於已被算出之成本函數值,來選擇最佳畫面內預測模式,最佳畫面內預測模式的畫面內預測所生成之預測影像和其成本函數值,會被供給至預測影像選擇部36。
若從畫面排序緩衝區22所供給之處理對象的影像是被畫面間處理之區塊的影像,則所被參照之影像會從畫格記憶體32中被讀出,透過選擇部33而供給至運動預測.補償部35。基於這些影像,於步驟S14中,運動 預測.補償部35係進行運動預測.補償處理。
藉由此處理,會以身為候補之所有畫面間預測模式來進行運動預測處理,對於身為候補之所有畫面間預測模式,會算出成本函數值,基於已算出之成本函數值,來決定最佳畫面間預測模式。然後,藉由最佳畫面間預測模式而被生成之預測影像和其成本函數值,會被供給至預測影像選擇部36。
於步驟S15中,預測影像選擇部36係基於畫面內預測部34及運動預測.補償部35所輸出的各成本函數值,而將最佳畫面內預測模式與最佳畫面間預測模式的其中一方,決定成最佳預測模式。然後,預測影像選擇部36係將已決定之最佳預測模式的預測影像予以選擇,供給至演算部23、30。此預測影像,係在後述的步驟S16、S21之演算中,會被利用。
此外,該預測影像的選擇資訊,係被供給至畫面內預測部34或運動預測.補償部35。當畫面內預測模式的預測影像被選擇時,畫面內預測部34係將表示畫面內預測模式之資訊(亦即畫面內預測之相關參數),供給至可逆編碼部26。
當畫面間預測模式的預測影像被選擇時,運動預測.補償部35,係將表示最佳畫面間預測模式之資訊,和相應於最佳畫面間預測模式之資訊(亦即運動預測之相關參數),輸出至可逆編碼部26。作為相應於最佳畫面間預測模式之資訊,係可舉例如運動向量資訊、參照畫 格資訊等。
於步驟S16中,演算部23係演算出步驟S12中被排序過之影像、與步驟S15中所選擇之預測影像之間的差分。預測影像,係若進行畫面間預測時則從運動預測.補償部35、若進行畫面內預測時則從畫面內預測部34,分別透過預測影像選擇部36而供給至演算部23。
差分資料係相較於原始的影像資料,資料量較小。因此,相較於把影像直接進行編碼的情形,可壓縮資料量。
於步驟S17中,正交轉換部24係將從演算部23所供給之差分資訊,進行正交轉換。具體而言,會進行離散餘弦轉換、卡忽南-拉維轉換等之正交轉換,而輸出轉換係數。
於步驟S18中,量化部25係將轉換係數予以量化。此量化之際,如後述的步驟S28之處理所說明,速率會被控制。
如以上所述,已被量化之差分資訊,係如下述般地被局部性解碼。亦即,於步驟S19中,逆量化部28係將已被量化部25所量化之轉換係數,以量化部25之特性所對應之特性,進行逆量化。於步驟S20中,逆正交轉換部29係將已被逆量化部28所逆量化之轉換係數,以正交轉換部24之特性所對應之特性,進行逆正交轉換。
於步驟S21中,演算部30係將透過預測影像 選擇部36所輸入之預測影像,加算至已被局部性解碼的差分資訊,生成已被局部性解碼(亦即已被本地解碼)之影像(對應於往演算部23輸入的影像)。
於步驟S22中,去區塊濾波器31a,係對演算部30所輸出的影像,進行去區塊濾波處理。關於去區塊濾波處理,係在圖23中詳細說明,但此時,作為去區塊濾波器之相關判定的閾值,是使用從HEVC方式所規定之β與Tc所被擴充而來的參數β及Tc。來自去區塊濾波器31a的濾波後的影像,係被輸出至適應偏置濾波器41。
此外,藉由使用者操作了操作部而被輸入,去區塊濾波器31a上所被使用的ON/OFF資訊、和參數β及Tc的各偏置,係作為去區塊濾波器的參數,而被供給至可逆編碼部26。
於步驟S23中,適應偏置濾波器41係進行適應偏置濾波處理。藉由此處理,使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值,來對去區塊濾波器31a所致之濾波後的影像,實施濾波處理。濾波後的影像,係被供給至適應迴圈濾波器42。
此外,已被決定之quad-tree結構和每一分割領域之偏置值,係被當成適應偏置參數,供給至可逆編碼部26。
於步驟S24中,適應迴圈濾波器42,係對適應偏置濾波器41所致之濾波後的影像,進行適應迴圈濾 波處理。例如,對適應偏置濾波器41所致之濾波後的影像,使用濾波器係數,每一處理單位地,對影像進行濾波處理,濾波處理結果會被供給至畫格記憶體32。
於步驟S25中,畫格記憶體32係將已被過濾之影像,加以記憶。此外,對畫格記憶體32,係還會有未被去區塊濾波器31a、適應偏置濾波器41、及適應迴圈濾波器42進行濾波之影像,從演算部30被供給,而被記憶。
另一方面,在上述的步驟S18中被量化之轉換係數,係也被供給至可逆編碼部26。於步驟S26中,可逆編碼部26係將量化部25所輸出之已被量化之轉換係數、和所被供給之各參數,加以編碼。亦即,差分影像係被可變長度編碼、算術編碼等之可逆編碼,而被壓縮。此處,作為已被編碼之各參數,係可舉例如:去區塊濾波器的參數、適應偏置濾波器的參數、適應迴圈濾波器的參數、量化參數、運動向量資訊或參照畫格資訊、預測模式資訊等。
於步驟S27中,積存緩衝區27係將已被編碼之差分影像(亦即編碼串流),當成壓縮影像而予以積存。積存緩衝區27所積存之壓縮影像,係被適宜讀出,透過傳輸路而傳輸至解碼側。
於步驟S28中,速率控制部37係基於積存緩衝區27中所積存之壓縮影像,以不會發生溢位或下溢之方式,控制量化部25的量化動作之速率。
一旦步驟S28的處理結束,則編碼處理就會結束。
[影像解碼裝置的構成例]
圖3係表示作為適用了本揭露之影像處理裝置的影像解碼裝置之一實施形態的構成。如圖3所示的影像解碼裝置51,係為對應於圖1之影像編碼裝置11的解碼裝置。
已被影像編碼裝置11所編碼之編碼串流(資料),係透過所定之傳輸路,被傳輸至該對應於影像編碼裝置11的影像解碼裝置51,而被解碼。
如圖3所示的影像解碼裝置51,係具有:積存緩衝區61、可逆解碼部62、逆量化部63、逆正交轉換部64、演算部65、去區塊濾波器31b、畫面排序緩衝區67、及D/A轉換部68。又,影像解碼裝置51係具有:畫格記憶體69、選擇部70、畫面內預測部71、運動預測.補償部72、及選擇部73。
再者,影像解碼裝置51,係在去區塊濾波器31b、和畫面排序緩衝區67及畫格記憶體69之間,具有適應偏置濾波器81及適應迴圈濾波器82。
積存緩衝區61,係將所被傳輸過來的編碼資料加以收取的收取部。積存緩衝區61,係將所被傳輸過來的編碼資料,加以收取並積存。該編碼資料係被影像編碼裝置11所編碼而成。可逆解碼部62,係將在所定之時序上從積存緩衝區61所讀出之編碼資料,以圖1之可逆 編碼部26之編碼方式所對應之方式,進行解碼。
可逆解碼部62,係將已被解碼之表示畫面內預測模式之資訊等參數,供給至畫面內預測部71,並將表示畫面間預測模式之資訊或運動向量資訊等參數,供給至運動預測.補償部72。又,可逆解碼部62係將已被解碼之去區塊濾波器的參數,供給至去區塊濾波器31b,將已被解碼之適應偏置參數,供給至適應偏置濾波器81。
逆量化部63,係將可逆解碼部62解碼所得之係數資料(量化係數),以圖1之量化部25的量化方式所對應之方式,進行逆量化。亦即,逆量化部63,係使用從影像編碼裝置11所供給之量化參數,以和圖1之逆量化部28同樣的方法,進行量化係數的逆量化。
逆量化部63係將已被逆量化之係數資料、亦即正交轉換係數,供給至逆正交轉換部64。逆正交轉換部64,係以圖1的正交轉換部24的正交轉換方式所對應之方式,將該正交轉換係數進行逆正交轉換,獲得在影像編碼裝置11中被正交轉換前的殘差資料所對應之解碼殘差資料。
逆正交轉換所得到的解碼殘差資料,係被供給至演算部65。又,對演算部65,係透過選擇部73,而從畫面內預測部71或是運動預測.補償部72,供給著預測影像。
演算部65,係將該解碼殘差資料與預測影像進行加算,獲得影像編碼裝置11之演算部23進行預測影 像減算前的影像資料所對應之解碼影像資料。演算部65,係將該解碼影像資料,供給至去區塊濾波器31b。
去區塊濾波器31b,係藉由適宜地進行去區塊濾波處理,以抑制解碼影像的區塊失真。去區塊濾波器31b,係和圖1的去區塊濾波器31a基本上同樣地被構成。亦即,去區塊濾波器31b,係具有根據量化參數所求出的參數β及Tc。參數β及Tc,係為關於去區塊濾波器之判定中所被使用的閾值。去區塊濾波器31b所具有的參數β及Tc,係從HEVC方式所規定之β與Tc所擴充而來。
此外,已被影像編碼裝置11所編碼之去區塊濾波器的ON/OFF資訊、和參數β及Tc的各偏置,係作為去區塊濾波器的參數,而於影像解碼裝置51中被接收,被可逆解碼部62所解碼,然後被去區塊濾波器31b所使用。
去區塊濾波器31b,係對來自演算部30的影像,使用上述的ON/OFF資訊、偏置、以及從HEVC方式所規定之β與Tc所被擴充而來的參數β及Tc,來進行去區塊濾波處理。去區塊濾波器31b,係將其濾波處理結果,供給至適應偏置濾波器81。此外,去區塊濾波器31b的詳細構成,係參照圖14而後述。
適應偏置濾波器81,係對去區塊濾波器31b所致之濾波後的影像,進行主要用來抑制漣波現象的偏置濾波(SAO)處理。
適應偏置濾波器81,係使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值,來對去區塊濾波器31b所致之濾波後的影像,實施濾波處理。適應偏置濾波器81,係將濾波處理後之影像,供給至適應迴圈濾波器82。
此外,此quad-tree結構與每一分割領域之偏置值,係被影像編碼裝置11的適應偏置濾波器41所算出,被當成適應偏置參數,而被編碼然後發送。然後,已被影像編碼裝置11所編碼之quad-tree結構與每一分割領域之偏置值,係作為適應偏置參數,於影像解碼裝置51中被接收,被可逆解碼部62所解碼,然後被適應偏置濾波器81所使用。
適應迴圈濾波器82,係對適應偏置濾波器81所致之濾波後的影像,使用濾波器係數,每一處理單位地進行濾波處理,將濾波處理結果,供給至畫格記憶體69及畫面排序緩衝區67。
此外,雖然在圖3的例子中沒有圖示,但於影像解碼裝置51中,濾波器係數,係被影像編碼裝置11的適應迴圈濾波器42而每LUC地算出,作為適應迴圈濾波器參數,而被編碼而送來者,係被可逆解碼部62所解碼然後使用。
畫面排序緩衝區67,係進行影像的排序。亦即,藉由圖1的畫面排序緩衝區22而被排序成編碼所需之順序的畫格之順序,係被排序成原本的顯示順序。D/A 轉換部68,係將從畫面排序緩衝區67所供給之影像進行D/A轉換,輸出至未圖示之顯示器而顯示之。
適應迴圈濾波器82的輸出,係還會被供給至畫格記憶體69。
畫格記憶體69、選擇部70、畫面內預測部71、運動預測.補償部72、及選擇部73,係、分別對應於影像編碼裝置11的畫格記憶體32、選擇部33、畫面內預測部34、運動預測.補償部35、及預測影像選擇部36。
選擇部70,係將被畫面間處理之影像與被參照之影像,從畫格記憶體69中讀出,供給至運動預測.補償部72。又,選擇部70,係將畫面內預測時所使用的影像,從畫格記憶體69中讀出,供給至畫面內預測部71。
對畫面內預測部71係從可逆解碼部62適宜供給著,將標頭資訊解碼所得之表示畫面內預測模式的資訊等。畫面內預測部71係基於該資訊,而根據從畫格記憶體69所取得之參照影像,生成預測影像,將所生成之預測影像供給至選擇部73。
對運動預測.補償部72,係有將標頭資訊解碼所得到的資訊(預測模式資訊、運動向量資訊、參照畫格資訊、旗標、及各種參數等),會從可逆解碼部62被供給。
運動預測.補償部72,係基於從可逆解碼部 62所供給之這些資訊,根據從畫格記憶體69所取得之參照影像,生成預測影像,將所生成之預測影像供給至選擇部73。
選擇部73,係將運動預測.補償部72或畫面內預測部71所生成之預測影像加以選擇,供給至演算部65。
[影像解碼裝置之動作]參照圖4,說明如以上之影像解碼裝置51所執行的解碼處理的流程例。
解碼處理一旦開始,則於步驟S51中,積存緩衝區61係將所被傳輸過來的編碼串流(資料),加以收取、積存。於步驟S52中,可逆解碼部62係將從積存緩衝區61所供給之編碼資料,加以解碼。已被圖1之可逆編碼部26所編碼的I圖像、P圖像、以及B圖像,會被解碼。
在早於圖像之解碼前,運動向量資訊、參照畫格資訊、預測模式資訊(畫面內預測模式、或畫面間預測模式)等之參數的資訊,也被解碼。
預測模式資訊是畫面內預測模式資訊的情況下,預測模式資訊係被供給至畫面內預測部71。當預測模式資訊是畫面間預測模式資訊時,與預測模式資訊對應的運動向量資訊等,係被供給至運動預測.補償部72。又,去區塊濾波器的參數及適應偏置參數也被解碼,分別被供給至去區塊濾波器31b及適應偏置濾波器81。
於步驟S53中,畫面內預測部71或運動預 測.補償部72,係對應於從可逆解碼部62所供給之預測模式資訊,而分別進行預測影像生成處理。
亦即,從可逆解碼部62供給了畫面內預測模式資訊時,畫面內預測部71係生成畫面內預測模式的畫面內預測影像。從可逆解碼部62供給了畫面間預測模式資訊時,運動預測.補償部72,係進行畫面間預測模式的運動預測.補償處理,生成畫面間預測影像。
藉由此處理,畫面內預測部71所生成之預測影像(畫面內預測影像)、或運動預測.補償部72所生成之預測影像(畫面間預測影像),係被供給至選擇部73。
於步驟S54中,選擇部73係選擇預測影像。亦即,畫面內預測部71所生成之預測影像、或運動預測.補償部72所生成之預測影像,會被供給。因此,已被供給之預測影像會被選擇然後供給至演算部65,於後述的步驟S57中,與逆正交轉換部64之輸出進行加算。
於上述的步驟S52中,已被可逆解碼部62所解碼之轉換係數,係也被供給至逆量化部63。於步驟S55中,逆量化部63係將已被可逆解碼部62所解碼之轉換係數,以圖1之量化部25之特性所對應之特性,進行逆量化。
於步驟S56中,逆正交轉換部29係將已被逆量化部28所逆量化之轉換係數,以圖1之正交轉換部24之特性所對應之特性,進行逆正交轉換。藉此,圖1之正交轉換部24之輸入(演算部23之輸出)所對應的差分資 訊,就被解碼。
於步驟S57中,演算部65係將上述步驟S54之處理中所被選擇,透過選擇部73而被輸入的預測影像,與差分資訊進行加算。藉此,原本的影像就被解碼。
於步驟S58中,去區塊濾波器31b,係對演算部65所輸出的影像,進行去區塊濾波處理。關於去區塊濾波處理,係在圖23中詳細說明,但此時,作為去區塊濾波器之相關判定的閾值,是使用從HEVC方式所規定之β與Tc所被擴充而來的參數β及Tc。來自去區塊濾波器31b的濾波後的影像,係被輸出至適應偏置濾波器81。此外,於去區塊濾波處理中,從可逆解碼部62所供給之去區塊濾波器的參數亦即ON/OFF資訊、和參數β及Tc的各偏置,也會被使用。
於步驟S59中,適應偏置濾波器81係進行適應偏置濾波處理。藉由此處理,使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值,來對去區塊濾波器31b所致之濾波後的影像,實施濾波處理。濾波後的影像,係被供給至適應迴圈濾波器82。
於步驟S60中,適應迴圈濾波器82,係對適應偏置濾波器81所致之濾波後的影像,進行適應迴圈濾波處理。適應迴圈濾波器82,係使用每一處理單位所被計算出來的濾波器係數,對輸入影像,每一處理單位地進行濾波處理,將濾波處理結果,供給至畫面排序緩衝區 67及畫格記憶體69。
於步驟S61中,畫格記憶體69係將已被過濾之影像,加以記憶。
於步驟S62中,畫面排序緩衝區67係進行適應迴圈濾波器82後的影像之排序。亦即,已被影像編碼裝置11的畫面排序緩衝區22為了進行編碼而排序過的畫格之順序,會被排序成原本的顯示順序。
於步驟S63中,D/A轉換部68係將來自畫面排序緩衝區67的影像,進行D/A轉換。該影像係被輸出至未圖示的顯示器,而顯示出影像。
一旦步驟S63的處理結束,則解碼處理就會結束。
<2.先前手法之說明>
[AVC方式中的去區塊濾波器之參數]
接著,說明AVC方式中的去區塊濾波器之參數。於AVC方式中,作為判定去區塊濾波器之需要與否的參數,係為α及β,它們值是隨著量化參數QP而被決定。
圖5的A係表示參數α與量化參數QP之關係的圖形,圖5的B係表示參數α與量化參數QP之關係的表。參數α,係以下式(1)為基本,藉由微調而被最佳化。
參數α,係對0至51之量化參數QP,可取0至255之值。
圖6的A係表示參數β與量化參數QP之關係的圖形,圖6的B係表示參數β與量化參數QP之關係的表。參數β,係以下式(2)為基本,藉由微調而被最佳化。圖6的A中的虛線係表示式(2),實線係表示將式(2)做過微調的圖6之B所示的值。
[數2]β(qp)=round(0.5*qp-7)…(2)
參數β,係對0至51之量化參數QP,可取0至18之值。
[HEVC方式中的去區塊濾波器之參數]
作為相當於AVC方式中之α及β的參數,在HEVC方式中,會使用參數β及參數Tc。
參數β及參數Tc,係為關於去區塊濾波器之判定中所被使用的濾波器參數。具體而言,參數β係去區 塊濾波器之需要與否判定、和強度選擇判定中所被使用的閾值,是用來調整去區塊濾波器之強度的參數。參數Tc係強度選擇判定中所被使用之閾值,是用來調整去區塊濾波器之強度的參數。此外,參數Tc係為,在濾波處理之際的限幅處理中也會被使用的值。參數β及參數Tc,係如圖7所示,是隨應於量化參數QP而被設定的值。圖7係量化參數QP所對應之參數β及參數Tc之值的圖示。
參數β係具有0至51的52種值,對於大於51之輸入則固定成64。參數Tc係具有0至53的54種值,對於大於53之輸入則固定成13。
此處,HEVC方式中所能使用的量化參數QP之範圍,係為0至51,但去區塊濾波器的參數的偏置之範圍,係為-26至26。因此,理論上,去區塊濾波器的參數的LUT(Look Up Table)的輸入範圍,係為0至77。
然而,實際對去區塊濾波器之參數之LUT的輸入亦即量化參數QP,係為0至51,未把偏置值做最大限度的活用。
又,如上述,即使使用HEVC方式中的參數β之最大值的64與參數Tc之最大值的13,在一部分的序列中,仍會留下肉眼可見的區塊雜訊。
於是,於本技術中,為了提升去區塊濾波器之強度,將參數β與參數Tc予以擴充,於去區塊濾波器中,使用已被擴充之參數β及參數Tc。亦即,於去區塊濾波器中,將濾波器加以控制的濾波器參數(參數β及參 數Tc)之範圍是已被擴充成會使濾波器之強度提升的此種參數,會被使用。
此外,此處所謂擴充係指,作為AVC方式的參數之範圍及非專利文獻1所記載之HEVC方式的ver20的參數之範圍等既存的參數之範圍,而對於既存的參數之範圍,將參數之範圍予以擴充之意思。然後,於本技術中,既存之參數,係會有殘留雜訊的情形,因此為了對該雜訊來提升濾波器之強度,而將參數之範圍予以擴充。
<3.第1實施形態(第1擴充方法)>
[參數β之擴充]
圖8係本技術中的量化參數QP與參數β之關係的圖示。
此外,於圖8所示的表中,粗線框內係為本技術所做的擴充部分。
如圖8的粗線框內所示,將量化參數QP(52至qpmax)所對應之參數β(β(52)至β(qpmax)),予以擴充(追加)。此外,以下,qpmax係設成例如77來說明,但其值係為可設定,並不限定於77。
進行擴充的參數β之值,係可以量化參數之函數的方式來設定,但參數β的設定方法係有2種。第1種β設定方法,係將參數β的值,以量化參數QP的1次函數(線性)來設定的方法。第2種β設定方法,係以量化參數QP的指數函數(曲線)來設定的方法。
指數函數的情況下,可比1次函數的變化更大。
[第1種β設定方法:1次函數之例子]
在HEVC方式中,參數β係如下式(3)中的0≦qp≦51所示,以量化參數QP的1次函數方式來表示。
因此,作為第1種β設定方法,針對擴充部分,也是如式(3)中的52≦qp≦pqmax所示,將參數β以量化參數QP之1次函數的方式而加以設定。
此處,k與b係為可調整。斜率k>0,b係藉由使得既存部分與擴充部分之交界呈連續而求出。
此外,針對擴充部分,若將HEVC方式中的直線直接延長的情況,則亦即如下式(4)所示,變成斜率k=2、b=-38。
圖9的A係為,以k=2之1次函數之方式進行擴充時的參數β與量化參數QP之關係的圖形。圖9的B係為,以k=2之1次函數之方式進行擴充時的參數β與量化參數QP之值的表。此外,於圖9的B所示的表中,粗線框內係為本技術所做的擴充部分。此情況下,參數β係對0至77的量化參數QP,可取0至116之值。
此外,1次函數的斜率係為可變更,例如,針對擴充部分,將斜率比HEVC方式之直線更為大幅延長的情況下,亦即,令斜率k=4、b=-140的情況下的1次函數,係如下式(5)所示。
此處,令斜率k=4的原因是,若斜率k=2,則 qp*2=qp<<1(往左平移1位元)。另一方面,若斜率k=4,則qp*2=qp<<2(往左平移2位元),因此若考慮以軟體計算,則在實作時較為適合。又,斜率k=4的情況下,為了使既存部分與擴充部份的之交界呈連續函數,而令b=-140。
圖10的A係將斜率比HEVC方式之直線更為大幅延長,亦即,以斜率k=4之1次函數之方式進行擴充時的參數β與量化參數QP之關係的圖形。圖10的B係為,以k=4之1次函數之方式進行擴充時的參數β與量化參數QP之值的表。此外,於圖10的B所示的表中,粗線框內係為本技術所做的擴充部分。此情況下,參數β係對0至77的量化參數QP,可取0至168之值。
然後,針對擴充部分,將斜率比HEVC方式之直線更為大幅延長的情況下,亦即,令斜率k=8、b=-344的情況下的1次函數,係如下式(6)所示。
此處,令斜率k=8的原因是,若斜率k=8,則qp*8=qp<<3(往左平移3位元),若考慮以軟體計算,則 在實作時較為適合。又,斜率k=8的情況下,為了使既存部分與擴充部份的之交界呈連續函數,而令b=-344。
此外,於上記說明中,作為較理想的例子是說明了斜率k=2,4,8的例子,但只要k>0即可,並不限於斜率k=2,4,8。
圖11的A係將斜率比HEVC方式之直線更為大幅延長,亦即,以斜率k=8之1次函數之方式進行擴充時的參數β與量化參數QP之關係的圖形。圖11的B係為,以k=4之1次函數之方式進行擴充時的參數β與量化參數QP之值的表。此外,於圖11的B所示的表中,粗線框內係為本技術所做的擴充部分。此情況下,參數β係對0至75的量化參數QP,可取0至255之值。此外,例如,量化參數QP為76或77等,β會大於255的情況下,則令β=255。
[第2種β設定方法:指數函數之例子]
接著,作為第2種β設定方法,針對擴充部分,係如下式(7)中的52≦qp≦pqmax所示,將參數β以量化參數QP之指數函數的方式而加以設定。
此處,式(7)的指數函數,係基於上述式(1)的AVC方式之去區塊濾波器中的參數α之值,而被設定。
例如,如下式(8)所示,k=0.8,x=6,a=-13,b=0的情況下,在AVC方式的去區塊濾波器中的參數α當中,以沿用HEVC中所沒有的值的方式,而求出係數(k,x,a,b)。具體而言,當QP為38時,AVC的參數α係為63,因此與QP為51時的HEVC的參數β的值64相近。因此,以使得QP為52以後的參數β、QP為39以後的AVC之參數α能夠連接起來的方式,使既存部分與擴充部分之交界呈連續地,求出係數(k,x,a,b)。
圖12的A係為,以k=0.8,x=6,a=-13,b=0之指數函數之方式來進行擴充時的參數β與量化參數QP之關係的圖形。圖12的B係為,以k=0.8,x=6,a=-13,b=0之指數函數之方式來進行擴充時的參數β與量化參數QP之值的表。此外,於圖12的B所示的表中,粗線框內係為本技術所做的擴充部分。此情況下,參數β係對0至63的量化參數QP,可取0至255之值。此外,例如,量化參數QP為64至77等,β會大於255的情況下,則令β=255。
如以上,由於是將參數β進行擴充,因此可提升去區塊濾波器的強度。
[Tc的設定方法]
參數Tc,係可維持HEVC方式樣子不變,但參數Tc也可以用像是下式(9)所示的近似式的方式,將HEVC方式的函數直接擴充。
此外,實際上,與AVC方式的β同樣地,參數Tc係以上述式(9)為基本,藉由微調而被最佳化。
圖13的A係為,使用HEVC方式的函數來進行擴充時的參數Tc與量化參數QP之關係的圖形。圖13的B係為,使用HEVC方式的函數來進行擴充時的參數Tc與量化參數QP之值的表。此外,於圖13的B所示的表中,粗線框內係為本技術所做的擴充部分。此情況下,參數Tc係對0至77的量化參數QP,可取1至25之值。
如以上,藉由將參數Tc進行擴充,因此可更加提升去區塊濾波器的強度。
[去區塊濾波器的構成例]
接著,說明圖1之影像編碼裝置中的去區塊濾波器31a及圖3之影像解碼裝置中的去區塊濾波器31b的細節。此外,圖1之影像編碼裝置中的去區塊濾波器31a及圖3之影像解碼裝置中的去區塊濾波器31b,係構成及動作基本上是相同的,因此以下,統一成去區塊濾波器31來說明。
但是,只有以下這點,是在去區塊濾波器31a與31b中不同。亦即,去區塊濾波器31a的情況下,是否進行去區塊濾波的ON/OFF資訊與參數β及Tc的各偏置,是透過未圖示的操作部而被輸入。相對於此,去區塊濾波器31b的情況下,是否進行去區塊濾波的ON/OFF資訊與參數β及Tc的各偏置,是接受影像編碼裝置11所被編碼而成者,被可逆解碼部62所解碼而輸入。
圖14係去區塊濾波器之構成例的區塊圖。
於圖14的例子中,去區塊濾波器31係含有組態設定部101及濾波執行部102而被構成。
組態設定部101係將例如,從未圖示之操作部(或可逆解碼部62)所輸入之ON/OFF資訊、β偏置之值、及Tc偏置之值,予以輸入,進行去區塊濾波器31中的環境設定。作為環境設定,係進行去區塊濾波器的偏置、去區塊濾波器的ON/OFF、TU及PU之交界的導出、BS(Boundary Filtering Strength)值的導出等。組態設定部101,係將已被設定之資訊,供給至濾波執行部102。
對濾波執行部102係供給著,來自演算部30(或演算部65)的去區塊濾波前像素值。濾波執行部102,係基於已被組態設定部101所設定之資訊,算出參數之生成上所被使用的量化參數QP,生成參數β及Tc,決定濾波處理之需要與否或濾波器強度。然後,濾波執行部102,係基於已被決定之濾波處理之需要與否或濾波器強度,進行濾波處理。濾波執行部102,係將去區塊濾波後之像素值,供給至後段的適應偏置濾波器41(或適應偏置濾波器81)。
此外,濾波執行部102係對亮度交界及色差交界,分別進行上述之處理。
[亮度交界的濾波執行部的構成例]
圖15係進行亮度交界之濾波處理的濾波執行部之構成例的區塊圖。
於圖15的例子中,濾波執行部102,係含有QP算出部111、β生成部112、Tc生成部113、濾波處理決定部114、及濾波處理部115所構成。
來自前段的去區塊濾波前像素值,係被輸入至QP取得部111a及濾波處理部115。
QP算出部111,係含有QP取得部111a及平均QP計算部111b所構成,將來自前段的去區塊濾波前像素值予以輸入,算出參數β及Tc之生成上所被使用的量化參數QP。QP算出部111,係將所算出的量化參數QP,供給至β生成部112及Tc生成部113。
QP取得部111a,係藉由已被輸入之去區塊濾波前像素值,取得共用處理對象之交界(相鄰於交界)的2個領域的量化參數p_QP及q_QP。例如,當交界是垂直方向的情況下,交界左側相鄰之領域p的量化參數p_QP會被取得,交界右側相鄰之領域q的量化參數q_QP會被取得。又,當交界是水平方向的情況下,交界上側相鄰之領域p的量化參數p_QP會被取得,交界下側相鄰之領域q的量化參數q_QP會被取得。
此外,例如,於影像編碼裝置11中,來自量化部25的量化參數QP係與運動向量資訊或預測模式資訊等,一起被記憶在未圖示之記憶體中。又,在影像解碼裝置51中,係已被可逆解碼部62所解碼之量化參數QP,係與運動向量資訊或預測模式資訊等,一起被記憶在未圖示之記憶體中。QP取得部111a,係從如此記憶的 記憶體,取得量化參數QP。
QP取得部111a,係將已取得之量化參數p_QP及q_QP,供給至平均QP計算部111b。
平均QP計算部111b係求出從QP取得部111a所送來的量化參數p_QP及q_QP之平均,將該平均,當作參數β及Tc之生成上所被使用的量化參數QP,供給至β生成部112及Tc生成部113。
β生成部112,係隨應於來自平均QP計算部111b的量化參數QP,而生成參數β,將已生成之參數β,供給至濾波處理決定部114。
Tc生成部113,係隨應於來自平均QP計算部111b的量化參數QP,而生成參數Tc,將已生成之參數Tc,供給至濾波處理決定部114。
濾波處理決定部114,係使用來自β生成部112的參數β及來自Tc生成部113的參數Tc,來決定濾波器。亦即,濾波處理決定部114,係使用來自β生成部112的參數β等,來決定濾波之需要與否。又,濾波處理決定部114,係使用來自β生成部112的參數β及來自Tc生成部113的參數Tc,來決定濾波器之強度。濾波處理決定部114,係將已決定之濾波器的強度,供給至濾波處理部115。此時,參數β及Tc也被供給至濾波處理部115,例如,參數Tc係於濾波處理部115中,被使用於限幅處理。
濾波處理部115,係當已被濾波處理決定部 114決定要進行濾波的情況下,對於已被輸入之去區塊濾波前像素值,以濾波處理決定部114所決定之濾波器的強度,進行濾波處理。濾波處理部115,係將去區塊濾波後之像素值,輸出至後段。
此外,濾波處理部115係當已被濾波處理決定部114決定不進行濾波的情況下,則將已被輸入之去區塊濾波前像素值,直接(不進行濾波)當成去區塊濾波後像素值而輸出至後段。
[β生成部之構成例]
圖16係β生成部之構成例的區塊圖。
於圖16的例子中,β生成部112係含有βLUT_input計算部121、限幅處理部122、既存β生成部123、及擴充β生成部124所構成。
來自平均QP計算部111b的量化參數QP,係被供給至βLUT_input計算部121。已被組態設定部101所設定的資訊當中,β偏置之值會被供給至βLUT_input計算部121。又,已被組態設定部101所設定之資訊當中,β生成之際所被使用之量化參數的最大值βqpmax,會被供給至限幅處理部122。
βLUT_input計算部121與限幅處理部122,係為對既存β生成部123及擴充β生成部124進行輸入的值,求出βLUT_input。
亦即,βLUT_input計算部121,係將來自平 均QP計算部111b的量化參數QP與β偏置之值進行加算以算出βtmp,將所算出之βtmp,供給至限幅處理部122。
限幅處理部122,係在已被組態設定部101所設定之值的範圍[0,βqpmax]中,將來自βLUT_input計算部121的βtmp予以限幅。限幅處理部122,係將限幅處理後的βtmp,當成βLUT_input qp而供給至既存β生成部123及擴充β生成部124。
既存β生成部123,係具有HEVC方式所規定之LUT(Look Up Table)131。既存β生成部123,係當來自限幅處理部122之βLUT_input qp的值是51以下時,則使用LUT131來求出β,將所求出的β,供給至濾波處理決定部114。
擴充β生成部124,係當來自限幅處理部122之βLUT_input qp的值是大於51時,則求出已被擴充之β,將所求出的β,供給至濾波處理決定部114。
例如,擴充β生成部124係如圖17所示般地,含有β(qp)計算部141所構成。β(qp)計算部141,係一旦被輸入[51,βqpmax]的qp,則使用預先被設定好函數參數的虛線所示之函數式(1次函數或指數函數),動態地生成β。
作為第1種β設定方法,擴充β生成部124,係在上述的式(3)當中,使用52≦qp≦pqmax時的1次函數來動態地生成β。亦即,此情況下,β的值是以QP的1 次函數的方式,而被求出。又,k與b係被設定來作為函數參數。此時,k與b係以語法而被送往解碼側即可。
作為第2種β設定方法,擴充β生成部124,係在上述的式(7)當中,使用52≦qp≦pqmax時的指數函數來動態地生成β。亦即,此情況下,β的值是以QP的指數函數的方式而被求出。又,k,b,x,a係被設定來作為函數參數。此時,k,b,x,a係以語法而被送往解碼側即可。
又,例如,擴充β生成部124係如圖18所示般地,含有擴充LUT(Look Up Table)153所構成。此外,在圖18的例子中,擴充LUT153係以包含有既存LUT131部分的方式來圖示,但只有斜線部分是擴充部分。此擴充LUT153,係於其他電腦151等中所具備的β(qp)計算部152上,將[0,βqpmax]的任意qp予以輸入,使用函數參數已被設定好之函數式(1次函數或指數函數)而預先求出β然後加以保存而成者。
擴充β生成部124,係一旦被輸入了[51,βqpmax]的qp,則會使用擴充LUT153來求出β。
如以上所述,在構成擴充β生成部124之際,已被擴充之β係可選擇是由定義式(函數式)來給定,還是由LUT來給定。
[Tc生成部之構成例]
圖19係Tc生成部之構成例的區塊圖。
於圖19的例子中,Tc生成部113係含有 Tc_LUT_input計算部161、限幅處理部162、既存Tc生成部163、及擴充Tc生成部164所構成。
來自平均QP計算部111b的量化參數QP,係被供給至Tc_LUT_input計算部161。已被組態設定部101所設定的資訊當中,Tc偏置之值會被供給至Tc_LUT_input計算部161。又,已被組態設定部101所設定之資訊當中,Tc生成之際所被使用之量化參數的最大值Tc_qpmax,會被供給至限幅處理部162。
Tc_LUT_input計算部161與限幅處理部162,係為對既存Tc生成部163及擴充Tc生成部164進行輸入的值,求出Tc_LUT_input。
亦即,Tc_LUT_input計算部161,係將來自平均QP計算部111b的量化參數QP與Tc偏置之值進行加算以算出Tctmp,將所算出之Tctmp,供給至限幅處理部162。
限幅處理部162,係在已被組態設定部101所設定之值的範圍[0,Tc_qpmax]中,將來自Tc_LUT_input計算部161的Tctmp予以限幅。限幅處理部162,係將限幅處理後的Tctmp,當成Tc_LUT_input qp而供給至既存Tc生成部163及擴充Tc生成部164。
既存Tc生成部163,係具有HEVC方式所規定之LUT(Look Up Table)171。既存Tc生成部163,係當來自限幅處理部162之Tc_LUT_input qp的值是53以下時,則使用LUT171來求出Tc,將所求出的Tc,供給至 濾波處理決定部114。
擴充Tc生成部164,係當來自限幅處理部122之Tc_LUT_input qp的值是大於53時,則求出已被擴充之Tc,將所求出的Tc,供給至濾波處理決定部114。
例如,擴充Tc生成部164係如圖20所示般地,含有Tc(qp)計算部181所構成。Tc(qp)計算部181,係一旦被輸入[53,Tc_qpmax]的qp,則使用既存之QP-Tc函數所擴充而成的上述式(9)來動態地生成Tc。
又,例如,擴充Tc生成部164係如圖21所示般地,含有擴充LUT(Look Up Table)193所構成。此外,在圖21的例子中,擴充LUT193係以包含有既存LUT171部分的方式來圖示,但只有斜線部分是擴充部分。此擴充LUT193,係於其他電腦191等中所具備的Tc(qp)計算部192上,將[53,Tc_qpmax]的任意qp予以輸入,使用已擴充之函數來求出Tc然後加以保存而成者。
擴充Tc生成部164,係一旦被輸入了[53,Tc_qpmax]的qp,則會使用擴充LUT193來求出Tc。
如以上所述,在構成擴充Tc生成部164之際,已被擴充之Tc係可選擇是由定義式(函數式)來給定,還是由LUT來給定。
[色差交界的濾波執行部的構成例]
圖22係進行色差交界之濾波處理的濾波執行部之構成例的區塊圖。
圖22的濾波執行部102,係只有去除了β生成部112及濾波處理決定部114這點,是和圖15的濾波執行部102不同。圖22的濾波執行部102,係含有QP算出部111、Tc生成部113、及濾波處理部115這點,是與圖15的濾波執行部102共通,關於共通的部分係會重複,因此省略其說明。
亦即,色差交界的情況下,不會進行濾波處理決定,濾波處理部115,係使用來自Tc生成部113的參數Tc來進行濾波處理。例如,參數Tc係被使用於限幅處理。
[去區塊濾波器的動作]
接著,參照圖23的流程圖,說明去區塊濾波處理。此外,此去區塊濾波處理,係為圖2的步驟S22及圖4的步驟S58之處理。
例如,透過未圖示之操作部(或可逆解碼部62),輸入了ON/OFF資訊、β偏置之值、及Tc偏置之值。
組態設定部101係於步驟S101中,設定濾波器的偏置(β偏置及Tc偏置)。組態設定部101係將已被設定之偏置的資訊,分別供給至濾波執行部102的β生成部112及Tc生成部113。
於步驟S102中,組態設定部101係基於ON/OFF資訊,來判定去區塊濾波器是否不可利用。於步 驟S102中,若判定為去區塊濾波器是不可利用,則去區塊濾波處理係被結束。
於步驟S102中,若判定為去區塊濾波器並非不可利用,則處理係前進至步驟S103。
於步驟S103中,組態設定部101係導出TU與PU之交界。於步驟S104中,組態設定部101係基於步驟S103中所導出的TU與PU之交界等之資訊或預測模式資訊等,而進行BS(Boundary Filtering Strength)值的導出。組態設定部101,係將BS值之資訊,供給至濾波執行部102的QP算出部111。
於步驟S105中,濾波執行部102係進行亮度(LUMA)交界的濾波處理。此處理的說明,係參照圖24而後述,但藉由步驟S105之處理,而對亮度交界實施濾波。
於步驟S106中,濾波執行部102係進行色差(CHROMA)交界的濾波處理。此處理的說明,係參照圖29而後述,但藉由步驟S106之處理,而對色差交界實施濾波。
於步驟S107中,濾波執行部102係判定全部的交界是否都已處理。於步驟S107中,當判斷為全部交界尚未處理完時,則處理係返回步驟S105,其以降之處理會被重複進行。
於步驟S107中,若判定為全部交界都已處理時,則處理係前進至步驟S108。
於步驟S108中,組態設定部101係判定全部的CU是否都已處理。於步驟S108中,當判斷為全部CU尚未處理完時,則處理係返回步驟S103,其以降之處理會被重複進行。
於步驟S108中,若判定為全部CU都已處理時,則結束去區塊濾波處理。
[亮度交界的濾波處理的例子]
接著,參照圖24的流程圖,說明圖23的步驟S105中的亮度交界之濾波處理。
QP算出部111,係一旦從組態設定部101收到Bs值,則於步驟S121中,判定Bs值是否大於0。於步驟S121中,若判定為Bs值並未大於0,則亮度交界的濾波處理係結束。亦即,對此時的亮度交界,不會施行濾波處理。
於步驟S121中,若判定為Bs值大於0,則處理係前進至步驟S122。於步驟S122中,QP算出部111,係將來自前段的去區塊濾波前像素值予以輸入,計算共用交界之2個區塊(領域)的平均QP。
亦即,QP取得部111a,係藉由已被輸入之去區塊濾波前像素值,取得共用處理對象之交界(相鄰於交界)的2個領域的量化參數p_QP及q_QP。QP取得部111a,係將已取得之量化參數p_QP及q_QP,供給至平均QP計算部111b。
平均QP計算部111b係求出從QP取得部111a所送來的量化參數p_QP及q_QP之平均,將該平均,當作參數β及Tc之生成上所被使用的量化參數QP,供給至β生成部112及Tc生成部113。
於步驟S123中,β生成部112係生成β。此β生成處理,係參照圖25而後述,但藉由步驟S123之處理,β會被生成,並被供給至濾波處理決定部114。
於步驟S124中,Tc生成部113係生成Tc。此Tc生成處理,係參照圖26而後述,但藉由步驟S124之處理,Tc會被生成,並被供給至濾波處理決定部114。
於步驟S125中,濾波處理決定部114係決定濾波器。亦即,濾波處理決定部114,係使用來自β生成部112的參數β等,來決定濾波之需要與否。又,濾波處理決定部114,係使用來自β生成部112的參數β及來自Tc生成部113的參數Tc,來決定濾波器之強度。濾波處理決定部114,係將已決定之濾波器的強度,供給至濾波處理部115。
於步驟S126中,濾波處理部115,係對於已被輸入之去區塊濾波前像素值,以濾波處理決定部114所決定之濾波器的強度,進行濾波處理。濾波處理部115,係將去區塊濾波後之像素值,輸出至後段。
此外,於步驟S125中,若決定不進行濾波時,則步驟S126的處理係被略過。此時,濾波處理部115,係將已被輸入之去區塊濾波前像素值,直接(不進行 濾波)當成去區塊濾波後像素值,而輸出至後段。
[β生成處理之例子]
接著,參照圖25的流程圖,說明圖24的步驟S123中的β生成處理。
來自平均QP計算部111b的量化參數QP,係被供給至βLUT_input計算部121。已被組態設定部101所設定的資訊當中,β偏置之值會被供給至βLUT_input計算部121。
於步驟S141中,βLUT_input計算部121,係將來自平均QP計算部111b的量化參數QP與β偏置之值進行加算以算出βtmp,將所算出之βtmp,供給至限幅處理部122。
於步驟S142中,限幅處理部122,係在已被組態設定部101所設定之值的範圍[0,βqpmax]中,將來自βLUT_input計算部121的βtmp予以限幅。此處理的細節將參照圖26而於後述,但限幅處理部122係將限幅處理後的βtmp,當成βLUT_input qp而供給至既存β生成部123及擴充β生成部124。
於步驟S143中,既存β生成部123及擴充β生成部124,係判定來自限幅處理部122的qp是否大於51。於步驟S143中,若判定來自限幅處理部122的qp是51以下,則處理係前進至步驟S144。
於步驟S144中,既存β生成部123,係使用 既存的LUT131來求出β,將所求出之β,供給至濾波處理決定部114。
另一方面,於步驟S143中,若判定來自限幅處理部122的qp是大於51,則處理係前進至步驟S145。
於步驟S145中,擴充β生成部124,係求出已被擴充之β,將所求出之β,供給至濾波處理決定部114。
例如,擴充β生成部124(β(qp)計算部141),係如參照圖17所上述,使用預先被設定好函數參數的虛線所示之函數式(1次函數或指數函數),動態地生成β。
例如,擴充β生成部124,係使用如參照圖18所上述,將[0,βqpmax]的任意qp予以輸入,使用函數參數已被設定好之函數式(1次函數或指數函數)而預先求出β然後加以保存的擴充LUT153,來求出β。
[限幅處理之例子]
接著,參照圖26的流程圖,說明圖25的步驟S142中的限幅處理。
限幅處理部122,係於步驟S161中,令βLUT_input qp=βLUT_input計算部121送來的βtmp。
限幅處理部122,係於步驟S162中,判定來自βLUT_input計算部121的βtmp,是否大於βqpmax。於步驟S162中,若判定為βtmp大於βqpmax,則處理係前進至步驟S163。
限幅處理部122,係於步驟S163中,令βLUT_input qp=βqpmax,將βLUT_input qp,供給至既存β生成部123及擴充β生成部124。
於步驟S162中,若判定βtmp為βqpmax以下,則步驟S163的處理係被略過,限幅處理係結束。亦即,此情況下,βLUT_input qp(βtmp)會被供給至既存β生成部123及擴充β生成部124。
[Tc生成處理之例子]
接著,參照圖27的流程圖,說明圖24的步驟S124中的Tc生成處理。
來自平均QP計算部111b的量化參數QP,係被供給至Tc_LUT_input計算部161。已被組態設定部101所設定的資訊當中,Tc偏置之值會被供給至Tc_LUT_input計算部161。
於步驟S181中,Tc_LUT_input計算部161,係將來自平均QP計算部111b的量化參數QP與Tc偏置之值進行加算以算出Tctmp,將所算出之Tctmp,供給至限幅處理部162。
於步驟S182中,限幅處理部162,係在已被組態設定部101所設定之值的範圍[0,Tc_qpmax]中,將來自Tc_LUT_input計算部161的Tctmp予以限幅。此處理的細節將參照圖28而於後述,但限幅處理部162,係將限幅處理後的Tc tmp,當作Tc_LUT_input qp而供給至既 存Tc生成部163及擴充Tc生成部164。
於步驟S183中,既存Tc生成部163及擴充Tc生成部164,係判定來自限幅處理部162的qp是否大於53。於步驟S183中,若判定來自限幅處理部162的qp是53以下,則處理係前進至步驟S184。
於步驟S184中,既存Tc生成部163,係使用既存的LUT171來求出Tc,將所求出之Tc,供給至濾波處理決定部114。
另一方面,於步驟S183中,若判定來自限幅處理部162的qp是大於51,則處理係前進至步驟S185。
於步驟S185中,擴充Tc生成部164,係求出已被擴充之Tc,將所求出之Tc,供給至濾波處理決定部114。
例如,擴充Tc生成部164(Tc(qp)計算部181),係如參照圖20所上述,是將既存之QP-Tc之函數予以擴充而成,使用上述的式(9)而動態地生成Tc。
例如,擴充Tc生成部164,係使用如參照圖21所上述,將[53,Tc_qpmax]的任意qp予以輸入,使用已擴充之函數來求出Tc而加以保存成的擴充LUT193,來求出Tc。
[限幅處理之例子]
接著,參照圖28的流程圖,說明圖27的步驟S182中的限幅處理。
限幅處理部162,係於步驟S201中,令Tc_LUT_input qp=Tc_LUT_input計算部161送來的Tctmp。
限幅處理部162,係於步驟S202中,判定來自Tc_LUT_input計算部161的Tctmp,是否大於Tc_qpmax。於步驟S202中,若判定為Tctmp大於Tc_qpmax,則處理係前進至步驟S203。
限幅處理部162,係於步驟S203中,令Tc_LUT_input qp=Tc_qpmax,將Tc_LUT_input qp,供給至既存Tc生成部163及擴充Tc生成部164。
於步驟S202中,若判定Tctmp為Tc_qpmax以下,則步驟S203的處理係被略過,限幅處理係結束。亦即,此情況下,Tc_LUT_input qp(Tctmp)會被供給至既存Tc生成部163及擴充Tc生成部164。
[色差交界的濾波處理的例子]
接著,參照圖29的流程圖,說明圖23的步驟S106中的色差交界之濾波處理。
QP算出部111,係一旦從組態設定部101收到Bs值,則於步驟S221中,判定Bs值是否大於1。於步驟S221中,若判定為Bs值並未大於1,則色差交界的濾波處理係結束。亦即,對此時的色差交界,不會施行濾波處理。
於步驟S221中,若判定為Bs值大於1,則處 理係前進至步驟S222。於步驟S222中,QP算出部111,係將來自前段的去區塊濾波前像素值予以輸入,計算共用交界之2個區塊(領域)的平均QP。
亦即,QP取得部111a,係藉由已被輸入之去區塊濾波前像素值,取得共用處理對象之交界(相鄰於交界)的2個領域的量化參數p_QP及q_QP。QP取得部111a,係將已取得之量化參數p_QP及q_QP,供給至平均QP計算部111b。
平均QP計算部111b係求出從QP取得部111a所送來的量化參數p_QP及q_QP之平均,將該平均,當作參數Tc之生成上所被使用的量化參數QP,供給至Tc生成部113。
於步驟S223中,Tc生成部113係生成Tc。此Tc生成處理,係與參照圖26而上述之處理基本上相同的處理因此省略其說明,但藉由步驟S223之處理,Tc會被生成,被供給至濾波處理部115。
於步驟S224中,濾波處理部115,係對於已被輸入之去區塊濾波前像素值,使用已被Tc生成部113所生成之參數Tc等,來進行濾波處理。濾波處理部115,係將去區塊濾波後之像素值,輸出至後段。
此外,於上記說明中,雖然說明了為了增強濾波器的強度,而藉由增加參數β及參數Tc來進行擴充的例子(以下亦稱作第1擴充方法),但、參數β及參數Tc的擴充之例子,係不限於上記第1擴充方法。接著說明, 不增加參數的數目,就可改變函數之斜率的第2擴充方法。
<4.第2實施形態(第2擴充方法)>
[參數β之擴充例]
首先,說明第2擴充方法所做的參數β之擴充。於HEVC方式中,如下式(10)所示,參數β係隨著QP的區間,而以3個式子來計算。
在第2擴充方法中,係將這3個式子的斜率(k0,k1,k2),以語法而送往解碼側。在解碼側上,係每一切片地,使用來自編碼側之語法所示的斜率,來更新下式(11)所示的表格。
此外,式(11)係為,當k0=0,k1=1,k2=2的情況下,會變成上述式(10)的表格。此k0=0,k1=1,k2=2係為預設,這些值當中想要變更的值,係用語法而被送往解碼側。
圖30係於式(11)中,當k0=0,k1=1,k2=2時的量化參數QP與參數β之關係,和已被更新成k2=4時的量化參數QP與參數β(新β)之關係的圖示。
在圖30的A所示之圖形中,更新前是以虛線表示,k2=4之更新後是以實線來表示。在圖30的B所示的表中,更新後的16≦qp≦51所對應之更新後的新β之值,是以粗線圍繞,其中,被更新成k2=4的29≦qp≦51所對應之新β之值,是被打上斜線。
圖30的情況下,參數β(新β)係對0至51的量化參數QP,可取0至110之值。
此外,在上述例子中,qp=0時的β係設成0,但不限於0,亦可為其他值。又,在上述例子中,雖然說明了β是隨著QP的區間而以3個式子來計算的例子,但β的式子的分割數係不限於3個。
甚至,在上述例子中,雖然使qp的各區間之交界呈連續,但亦可為不連續。又,在上述例子中,β的式子係以1次函數來表現,但不限定於此,亦可為例如以指數函數來表現。
係數(k0,k1,k2)往解碼側運送的方法,係可考 慮例如Exponental Golomb或是Fix Length Coding,但無論哪種編碼均可。
[參數Tc之擴充例]
接著,說明第2擴充方法所做的參數Tc之擴充。第2擴充方法,係即使在參數Tc的情況下,基本上也是和上述的參數β同樣的思考方式來為之。
但是,參數Tc的情況下,與參數β的情況不同的地方在於,HEVC方式中,參數Tc是沒辦法用1個式子來表現這點。此外,若將HEVC方式中的參數Tc取近似,則以下式(12)來表示。
亦即,如圖31所示,實際的量化參數QP與參數Tc之關係,和將該關係取近似後的式(12)中,多少會有偏差(調整量(△t))。
於圖31的A中,量化參數QP與參數Tc之關係取近似而成之式(12)是被當成調整前而以虛線來表示,量化參數QP與參數Tc之關係、與該式(12)之偏差的調整後,是以實線來表示。
於圖31的B中,係圖示了量化參數QP與參數Tc之關係、和將該關係以式(12)表示時的調整量(△t)。
因此,參數Tc的情況下,如下式(13)所示,針對近似過的式(12),分別進行k3,k4倍,其後從(12)式調整偏差的部分(調整量△t)。
然後,在第2擴充方法中,係將這2個式子的斜率(k3,k4),以語法而送往解碼側。在解碼側上,係每一切片地,使用來自編碼側之語法所示的斜率,來更新上述的式(13)所示的表格。此外,係數(k3,k4)往解碼側運送的方法,也是可考慮例如Exponental Golomb或是Fix Length Coding,但無論哪種編碼均可。
調整量係為±k4,如圖31的B所示,是隨著qp之值而改變正負。於圖31的B中,QP是27至29、31的情況下,調整量的值係為正。QP是34、36至42的情況下,調整量的值係為負。又,調整量係亦可不隨著k而變,而是例如圖31的B所示般地固定成1。
該式(13)係為,在k3=0,k4=1的情況下,對上述的式(12)所示之近似式的表格,加入調整量(△t)而成 的式子。此k3=0,k4=1係為預設之值,這些值當中想要變更的值,係用語法而被送往解碼側。
此外,在式(13)中,雖然含有調整量,但亦可設計成,既存的參數Tc是以上述的式(12)來表現,使用沒有調整量的式(14)。
又,上述的式(11)中的k0至k2所致之乘算及上述的式(13)或式(14)中的k3及k4所致之乘算,係設計成可用位元平移來實現,較為理想。
此外,若依據上述第2擴充方法,則量化參數QP的意義並沒有改變。量化參數QP的範圍,係與HEVC方式中的範圍一樣。又,可隨著串流中的雜訊之呈現方式,來提升設定的自由度。再者,可不增加使用記憶體就能加以實現。
<5.第3實施形態(第3擴充方法)>
[參數β之擴充例]
再來,說明第3擴充方法所做的參數β之擴充。HEVC方式中的參數β的偏置(β_offset)的意義,係為量化 參數QP+β_offset。因此,參數β係以下式(15)來表示。
[數15]β=β[QP+β_offset]…(15)
亦即,於HEVC方式中,係對量化參數QP,加上β_offset,然後取用該β。相對於此,作為第3擴充方法,係如下式(16)所示,將此β_offset直接加至參數β。
[數16] β=β[QP]+β_offset*α0…(16)
此處,α0係為固定值。例如,α0=0,1,2,3,4...α0的值係沒有限定。可藉由此α0來調整β。此外,α0亦可不是固定值,例如,在編碼側上被設定,以語法而被送往解碼側。
例如參照圖32所說明,QP=37、β_offset=6、α0=2的情況下,在HEVC方式中,係根據上述的式(15),而採用β=β(37+6)=β(43)之值(=48)。
另一方面,第3擴充方法的情況下,根據上述的式(16),使用對β=β(37)+6*2=β(37)之值(=36)加上12 之值(48)。
如以上所述,亦可利用β_offset,而將β之值的範圍直接擴充。這是如以下所說明,針對參數Tc也同樣如此。
[參數Tc之擴充例]
接著,說明第3擴充方法所做的參數Tc之擴充。HEVC方式中的參數Tc的偏置(Tc_offset)的意義,係為量化參數QP+Tc_offset。因此,參數Tc係以下式(17)來表示。
[數17]tc=tc[QP+tc_offset]…(17)
亦即,於HEVC方式中,係對量化參數QP,加上Tc_offset,然後取用該Tc。相對於此,作為第3擴充方法,係如下式(18)所示,將此Tc_offset直接加至參數Tc。
[數18]tc=tc[QP]+tc_offset*α1…(18)
此處,α1係為固定值。例如,α1=0,1,2,3,4...α1的值係沒有限定。可藉由此α1來調整Tc。此外,α1不限於 固定值,亦可在編碼側上被設定,以語法而被送往解碼側。
例如參照圖33所說明,QP=37、Tc_offset=6、α1=1的情況下,在HEVC方式中,係根據上述的式(17),而採用Tc=Tc(37+6)=Tc(43)之值(=8)。
另一方面,第3擴充方法的情況下,根據上述的式(18),使用對Tc=Tc(37)+6*1=Tc(37)之值(=4)加上6之值(10)。
如以上所述,亦可利用Tc_offset,而將Tc之值的範圍直接擴充。
此外,上述的式(15)中的α0所致之乘算及上述的式(18)中的α1所致之乘算,係設計成可用位元平移來實現,較為理想。
又,若依據上述第3擴充方法,則量化參數QP的意義並沒有改變。量化參數QP的範圍,係與HEVC方式中的範圍一樣。又,可不增加使用記憶體就能加以實現。
此外,上述的第2擴充方法及第3擴充方法,也是與第1擴充方法同樣地,例如,是被圖16的擴充β生成部124及圖19的擴充Tc生成部164所執行。
又,上述的第2擴充方法中的係數(k0至k5),或第3擴充方法中的係數α0及α1,係亦可例如當作切片標頭等之標頭而送往解碼側。又,係數(k0至k5)或係數α0及α1,係亦可當作適應參數集(APS)等之NAL單 元而送往解碼側。
如以上,以使得濾波器的強度增強的方式,而將關於濾波器之判定上所被使用的參數、亦即決定濾波器強度的參數,予以擴充。因此,濾波器的強度會變強,可抑制區塊雜訊,可使解碼影像最佳化。
此外,作為使去區塊濾波器的強度變強的濾波器參數,係為β與Tc。然後,在現況的參數之範圍中,由於會殘留雜訊,因此為了更加提升強度,而進行了β、Tc的擴充。同樣的思考方式,也可適用於適應偏置濾波器。亦即,於適應偏置濾波器中也是,將現況的規格之參數的範圍予以擴充,亦可更為提高強度。
此處說明,在上述的第1擴充方法中,於去區塊濾波器之參數的往LUT的輸入亦即量化參數QP(0至51)以後的值中,將參數之範圍予以擴充的例子。此情況下,會導致用來保持參數所需的表格會大量地增加,或是用來計算新參數所需之計算成本會增加。
相對於此,說明儘可能以簡單的方法就可提升去區塊強度的例子。
<6.第4實施形態(第4擴充方法)>
[參數β之擴充]
首先,參照圖34,說明在量化參數QP(0至51)內,擴充參數之範圍的例子。圖34的A係本技術中的量化參數QP與參數β之關係的圖形。圖34的B係本技術中的 量化參數QP與參數β之關係的表。此外,於圖34的A所示的圖形中,虛線係表示先前技術。於圖34的B所示的表中,粗線框內係為本技術所做的擴充部分。
如圖34的粗線框內所示,量化參數QP(0至51)內中的High的部分、亦即,將量化參數QP(45至51)所對應之參數β(β(45)至β(51)),設成比表示其之1次函數之斜率還大的斜率,藉此而進行擴充。亦即,此β之擴充方法,係以下式(19)來表示。
此外,此處雖然設k3=4,但不限定於4。亦即,k3之值,係考慮移位演算而是4較為理想,但亦可為3、5、6、...等。
第4實施例的去區塊濾波器31,係除了圖15的β生成部112之構成以外,其餘基本上和參照圖14而上述過的去區塊濾波器31相同。因此,接著針對構成不同的圖15之β生成部112的構成例,加以說明。
[β生成部之構成例]
圖35係β生成部之構成例的區塊圖。
於圖35的例子中,β生成部112係含有圖16的βLUT_input計算部121、及β生成處理部251所構成。
來自平均QP計算部111b的量化參數QP,係被供給至βLUT_input計算部121。已被組態設定部101所設定的資訊當中,β偏置之值(β_offdset_div2)會被供給至βLUT_input計算部121。
βLUT_input計算部121,係求出對β生成處理部251所輸入的值βLUT_input qp亦即βtmp。亦即,βLUT_input計算部121,係將來自平均QP計算部111b的量化參數QP與β偏置之值進行加算以算出βtmp,將所算出之βtmp,供給至β生成處理部251。
β生成處理部251,係具有將式(19)離線計算而求出的表格亦即β LUT(Look Up Table)。β生成處理部251,係將βLUT_input計算部121所算出的βtmp,當作βLUT_input qp而予以輸入,使用β LUT(式(19))來求出β,將所求出的β,供給至濾波處理決定部114。
此外,關於第4實施例的去區塊濾波器31之處理,係除了圖24之步驟S123的β之生成處理以外,其餘基本上係和參照圖23而上述過的去區塊濾波處理相同之處理。
因此,接著,針對不同處理亦即β之生成處 理(圖24的步驟S123),參照圖36的流程圖而加以說明。
於步驟S251中,βLUT_input計算部121,係算出對β生成處理部251所輸入的值βLUT_input qp亦即βtmp=QP+β_offdset_div2*2,將所算出的βtmp,供給至β生成處理部251。
此外,此處,實際上,β的偏置值(β_offdset_div2)係被乘以1/2然後傳輸,步驟S251中的βLUT_input qp之算出時係會先予以2倍再來使用。
於步驟S252中,β生成處理部251,係將βLUT_input計算部121所算出的βtmp,當作βLUT_input qp而予以輸入,使用β LUT(式(19))來求出β,將所求出的β,供給至濾波處理決定部114。
如以上,藉由增大量化參數QP(0至51)內中的High的部分的β之1次函數的斜率、來提升濾波器強度。此情況下,對於現況來說,幾乎不會影響到性能或實作,可簡單地提升給予偏置時的去區塊之強度。
此外,於上記說明中,參數β的偏置與參數Tc的偏置,係分別從編碼側被傳輸至解碼側,但接著下來說明,將參數β與Tc之偏置予以共通化的例子。
<7.第5實施形態(第1偏置送訊方法)>
[去區塊濾波器的構成例]
圖37係將參數β與Tc之偏置予以共通化時的去區塊濾波器之構成例的區塊圖。
於圖37的例子中,去區塊濾波器31係含有組態設定部301及濾波執行部302而被構成。
對組態設定部301,係與圖14的去區塊濾波器31不同,是被輸入了對參數β與Tc為共通的去區塊偏置的值(dblk_offset_div2)。
亦即,組態設定部301係例如,將從未圖示之操作部(或可逆解碼部62)所輸入之DisableDeblockingFilter旗標資訊(亦即,ON/OFF資訊)及去區塊偏置之值,予以輸入。組態設定部301係基於所被輸入之資訊,進行去區塊濾波器31中的環境設定。亦即,在組態設定部301中,係作為環境設定之1,是設定去區塊偏置之值,來作為去區塊濾波器的β及Tc的偏置。組態設定部301,係將已被設定之資訊,供給至濾波執行部302。
對濾波執行部302係供給著,來自演算部30(或演算部65)的去區塊濾波前像素值。濾波執行部302,係基於去區塊偏置之值等、已被組態設定部301所設定之資訊,而算出參數之生成上所被使用的量化參數QP,生成參數β及Tc,決定濾波處理之需要與否或濾波器強度。然後,濾波執行部302,係基於已被決定之濾波處理之需要與否或濾波器強度,進行濾波處理。濾波執行部302,係將去區塊濾波後之像素值,供給至後段的適應偏置濾波器41(或適應偏置濾波器81)。
此外,濾波執行部302係對亮度交界及色差 交界,分別進行上述之處理。
[亮度交界的濾波執行部的構成例]
圖38係進行亮度交界之濾波處理的濾波執行部之構成例的區塊圖。
於圖38的例子中,濾波執行部302,係含有:QP算出部111、濾波處理決定部114、濾波處理部115、β生成部311、及Tc生成部312所構成。
此外,濾波執行部302,係具備有QP算出部111、濾波處理決定部114、及濾波處理部115這點,是、與圖15的濾波執行部102共通。濾波執行部302,係β生成部112被置換成β生成部311這點,和Tc生成部113被置換成Tc生成部312這點,是與圖15的濾波執行部102不同。
亦即,β生成部311,係和β生成部112同樣地,隨應於來自平均QP計算部111b的量化參數QP,而生成參數β。此時,於β生成部311中,作為偏置之值,是使用了從組態設定部301所送來的去區塊偏置之值(dblk_offset_div2)。β生成部311,係將已生成之參數β,供給至濾波處理決定部114。
Tc生成部312,係和Tc生成部113同樣地,隨應於來自平均QP計算部111b的量化參數QP,而生成參數Tc。此時,於Tc生成部312中,作為偏置之值,是使用了從組態設定部301所送來的去區塊偏置之值 (dblk_offset_div2)。Tc生成部312,係將已生成之參數Tc,供給至濾波處理決定部114。
[β生成部之構成例]
圖39係β生成部之構成例的區塊圖。
於圖39的例子中,β生成部311係含有βLUT_input計算部321及β生成處理部322所構成。
來自平均QP計算部111b的量化參數QP,係被供給至βLUT_input計算部321。已被組態設定部301所設定的資訊當中,去區塊偏置之值(dblk_offset_div2)會被供給至βLUT_input計算部321。
βLUT_input計算部321,係將來自平均QP計算部111b的量化參數QP與去區塊偏置之值進行加算以算出βtmp,將所算出之βtmp,供給至β生成處理部322。
β生成處理部322係具有,例如HEVC方式所規定之βLUT(Look Up Table)。β生成處理部322,係將βLUT_input計算部321所送來的βtmp,當作βLUT_input qp而予以輸入,使用βLUT來求出β,將所求出的β,供給至濾波處理決定部114。
[Tc生成部之構成例]
圖40係Tc生成部之構成例的區塊圖。
於圖40的例子中,Tc生成部312係含有 TcLUT_input計算部331及Tc生成處理部332所構成。
來自平均QP計算部111b的量化參數QP,係被供給至TcLUT_input計算部331。已被組態設定部301所設定的資訊當中,去區塊偏置之值(dblk_offset_div2),會被供給至TcLUT_input計算部331。
TcLUT_input計算部331,係將來自平均QP計算部111b的量化參數QP與去區塊偏置之值進行加算以算出Tctmp,將所算出之Tctmp,供給至Tc生成處理部332。
Tc生成處理部332係具有,例如HEVC方式所規定之TcLUT(Look Up Table)。Tc生成處理部332,係將TcLUT_input計算部331所送來的Tctmp,當作TcLUT_input qp而予以輸入,使用TcLUT來求出Tc,將所求出的Tc,供給至濾波處理決定部114。
此外,關於進行色差交界之濾波處理的濾波執行部的構成例,係在參照圖22而上述過的濾波執行部102中,Tc生成部113被置換成圖38的Tc生成部312而已,因此省略其說明。
[去區塊濾波器的動作]
接著,參照圖41的流程圖,說明去區塊濾波處理。此外,圖41之步驟S302至S308之處理,基本上是和圖23的步驟S102至108之處理相同。只不過,步驟S305及S306中的各交界之濾波處理當中,圖24之步驟S123 中的β生成處理及S124中的Tc生成處理有所不同,因此其細節將參照圖43及圖44而分別於後述。
例如,透過未圖示之操作部(或可逆解碼部62),輸入DisableDeblockingFilter旗標資訊(亦即ON/OFF資訊)、去區塊偏置之值。
組態設定部301係於步驟S301中,設定濾波器的組態。組態設定處理的細節,將參照圖42而於後述。藉由步驟S301,組態就會被設定。此時,DisableDeblockingFilter旗標資訊會被設定,去區塊偏置的值(dblk_offset_div2)會被設定。
此處所被設定的去區塊偏置之值,係被使用於說明步驟S305之處理的圖24之步驟S123的β生成處理與步驟S124的Tc生成處理、及圖29之步驟S223的Tc生成處理。
於步驟S302中,組態設定部301係基於DisableDeblockingFilter旗標資訊,來判定去區塊濾波器是否不可利用。於步驟S302中,若判定為去區塊濾波器是不可利用,則去區塊濾波處理係被結束。
於步驟S302中,若判定為去區塊濾波器並非不可利用,則處理係前進至步驟S303。
於步驟S303中,組態設定部301係導出TU與PU之交界。於步驟S304中,組態設定部301係基於步驟S303中所導出的TU與PU之交界等之資訊或預測模式資訊等,而進行BS值的導出。組態設定部301,係將 BS值之資訊,供給至濾波執行部302的QP算出部111。
於步驟S305中,濾波執行部302係進行亮度(LUMA)交界的濾波處理。此處理的說明,係參照圖24而上述過了因此省略,但藉由步驟S105之處理,而對亮度交界實施濾波。
於步驟S306中,濾波執行部302係進行色差(CHROMA)交界的濾波處理。此處理的說明,係參照圖29而上述過了因此省略,但藉由步驟S106之處理,而對色差交界實施濾波。
於步驟S307中,濾波執行部302係判定全部的交界是否都已處理。於步驟S307中,當判斷為全部交界尚未處理完時,則處理係返回步驟S305,其以降之處理會被重複進行。
於步驟S307中,若判定為全部交界都已處理時,則處理係前進至步驟S108。
於步驟S308中,組態設定部301係判定全部的CU是否都已處理。於步驟S308中,當判斷為全部CU尚未處理完時,則處理係返回步驟S303,其以降之處理會被重複進行。
於步驟S308中,若判定為全部CU都已處理時,則結束去區塊濾波處理。
[濾波器的組態處理]
接著,參照圖42的流程圖,說明圖41的步驟S301 的濾波器之組態設定處理。
透過未圖示之操作部(或可逆解碼部62),輸入去區塊控制旗標之資訊、DisableDeblockingFilter旗標資訊(亦即ON/OFF資訊)、及去區塊偏置之值。
組態設定部301,係於步驟S321中,判定去區塊控制旗標是否為1。於步驟S321中,若判定去區塊控制旗標為1,則處理係前進至步驟S322。
去區塊控制旗標為1時,可將DisableDeblockingFilter旗標與去區塊偏置予以傳輸。因此,於步驟S322中,組態設定部301係讀取DisableDeblockingFilter旗標而進行設定。
於步驟S323中,組態設定部301係讀取去區塊偏置之值(dblk_offset_div2)而進行設定。
另一方面,於步驟S321中,若判定去區塊控制旗標為0,則組態設定處理就被結束。亦即,於步驟S321中,若判定去區塊控制旗標為0,則DisableDeblockingFilter旗標與去區塊偏置就不被傳輸,因此不被設定,會使用預設的值。
[β生成處理]
接著,參照圖43的流程圖,說明圖24的步驟S123的β生成處理。
對βLUT_input計算部321,係從組態設定部301,輸入著去區塊偏置之值(dblk_offset_div2)。於步驟 S331中,βLUT_input計算部321,係算出對β生成處理部322所輸入的值βLUT_input qp亦即βtmp=QP+dblk_offset_div2*2,將所算出的βtmp,供給至β生成處理部322。
此外,和上述的β偏置值同樣地,實際上,去區塊偏置值(dblk_offset_div2)係被乘以1/2而傳輸,步驟S331中的βLUT_input qp之算出時係會先予以2倍再來使用。
於步驟S332中,β生成處理部322,係將βLUT_input計算部321所算出的βtmp,當作βLUT_input qp而予以輸入,使用β LUT來求出β,將所求出的β,供給至濾波處理決定部114。
[Tc生成處理]
接著,參照圖44的流程圖,說明圖24的步驟S124的Tc生成處理。
對TcLUT_input計算部331,係從組態設定部301,輸入著去區塊偏置之值(dblk_offset_div2)。於步驟S341中,TcLUT_input計算部331,係算出對Tc生成處理部332所輸入的值TcLUT_input qp亦即Tctmp=QP+dblk_offset_div2 *2,將所算出的Tctmp,供給至Tc生成處理部332。
此外,和上述的β偏置值同樣地,實際上,去區塊偏置值(dblk_offset_div2)係被乘以1/2而傳輸,步 驟S341中的TcLUT_input qp之算出時係會先予以2倍再來使用。
於步驟S342中,Tc生成處理部332,係將Tc LUT_input計算部331所算出的Tc tmp,當作Tc LUT_input qp而予以輸入,使用Tc LUT來求出Tc,將所求出的Tc,供給至濾波處理決定部114。
[去區塊偏置之值(dblk_offset_div2)的傳輸]
接著,參照圖45,說明去區塊偏置之值(dblk_offset_div2)的傳輸。
於影像編碼裝置11中,透過未圖示之操作部,去區塊偏置之值(dblk_offset_div2)係被輸入至去區塊濾波器31a及可逆編碼部26。去區塊偏置之值(dblk_offset_div2),係在去區塊濾波器31a中被使用於濾波處理,於可逆編碼部26中藉由SVLC(Sin VLC)進行寫入而被編碼。已被編碼的去區塊偏置之值(dblk_offset_div2),係作為去區塊濾波器的參數,而被傳輸至影像解碼裝置51。
從影像編碼裝置11所送來的去區塊偏置之值(dblk_offset_div2),係於影像解碼裝置51中,在可逆解碼部62,藉由SVLC(Sin VLC)進行讀出而被解碼,在去區塊濾波器31b中被使用於濾波處理。
[去區塊偏置之值的語法例]
圖46係去區塊偏置之值之語法的例子的圖示。
於圖46的例子中,去區塊偏置之值(dblk_offset_div2),係被描述在disaeble_deblocking_filter_flag的if文中,若disaeble_deblocking_filter_flag並非0,則會使用dblk_offset_div2的值。
此外,此語法係被描述在切片標頭及PPS(圖像參數集)中。
如以上,藉由使用參數β與Tc共通之偏置值,可減少1個語法,又,去區塊濾波器強度之控制會變為簡單。
接著,說明將參數β與Tc之偏置予以編碼之際,將參數β之偏置、及參數β之偏置與參數Tc之偏置的差分予以編碼而送出的例子。
<8.第6實施形態(第2偏置送訊方法)>
[去區塊濾波器的構成例]
圖47係影像編碼裝置中的去區塊濾波器之構成例的區塊圖。
於圖47的例子中,去區塊濾波器31a係含有組態設定部401及濾波執行部302而被構成。
對組態設定部401係輸入著,參數β的偏置值(β_offset_div2)與參數tc的偏置值(tc_offset_div2)。
組態設定部401係例如,將從未圖示之操作部所輸入之DisableDeblockingFilter旗標資訊(亦即 ON/OFF資訊)、參數β的偏置值、及參數Tc的偏置值,予以輸入。組態設定部401係基於所被輸入之資訊,進行去區塊濾波器31a中的環境設定。亦即,在組態設定部401中,係去區塊濾波器的β之偏置值及tc之偏置值,係被設定。組態設定部401,係將已被設定之資訊,供給至濾波執行部302。
此外,此時,組態設定部401係生成參數β的偏置值(β_offset_div2)與參數tc的偏置值(tc_offset_div2)的差分資訊(diff_β_tc_div2)。組態設定部401,係將已生成之差分資訊、和參數β的偏置值,供給至可逆編碼部26。
濾波執行部302,係基本上與圖37的濾波執行部302相同,基於去區塊偏置之值等、已被組態設定部401所設定之資訊,而算出參數之生成上所被使用的量化參數QP,生成參數β及Tc,決定濾波處理之需要與否或濾波器強度。
此時,在圖37的濾波執行部302中,係會使用去區塊偏置之值(dblk_offset_div2)。相對於此,在圖47的濾波執行部302中,係參數β的偏置值(β_offset_div2)與參數tc的偏置值(tc_offset_div2)會分別被使用,這點有所不同。因此,圖47之例子的濾波執行部302之構成例及構成濾波執行部302的各部之構成例,係被省略。
此外,關於圖47的去區塊濾波器31a的去區塊濾波處理,係除了參照圖41而上述之處理、和步驟 S301的濾波器之組態設定處理以外,其餘基本上是相同的。因此,針對不同處理的、圖41之步驟S301的濾波器之組態設定處理,參照圖48來說明。
[濾波器的組態處理]
接著,參照圖48的流程圖,說明圖41的步驟S301的濾波器之組態設定處理。
透過未圖示之操作部,輸入去區塊控制旗標之資訊、DisableDeblockingFilter旗標資訊(亦即ON/OFF資訊)、參數β的偏置值、及參數tc的偏置值。
組態設定部401,係於步驟S411中,判定去區塊控制旗標是否為1。於步驟S411中,若判定去區塊控制旗標為1,則處理係前進至步驟S412。
去區塊控制旗標為1時,可將DisableDeblockingFilter旗標與偏置予以傳輸。因此,於步驟S412中,組態設定部401係讀取DisableDeblockingFilter旗標而進行設定。
於步驟S413中,組態設定部401係讀取參數β的偏置值(β_offset_div2)而進行設定。
於步驟S414中,組態設定部401係讀取參數tc的偏置值(tc_offset_div2)而進行設定。
於步驟S415中,組態設定部401係生成參數β的偏置值與參數Tc的偏置值的差分diff_β_tc_div2。組態設定部401,係將已生成之差分資訊diff_β_tc_div2、和 參數β的偏置值,一起供給至可逆編碼部26。
另一方面,於步驟S411中,若判定去區塊控制旗標為0,則組態設定處理就被結束。亦即,於步驟S411中,若判定去區塊控制旗標為0,則DisableDeblockingFilter旗標與偏置就不被傳輸,因此不被設定,會使用預設的值。
[去區塊濾波器的構成例]
圖49係影像解碼裝置中的去區塊濾波器之構成例的區塊圖。
於圖49的例子中,去區塊濾波器31b係含有組態設定部451及濾波執行部302而被構成。
對組態設定部451係輸入著,參數β的偏置值(β_offset_div2)、參數β的偏置值與參數Tc的偏置值之差分資訊(diff_β_tc_div2)。
組態設定部451係例如,將從可逆解碼部62所輸入之DisableDeblockingFilter旗標資訊(亦即ON/OFF資訊)、參數β的偏置值、及差分資訊,予以輸入。組態設定部451係基於所被輸入之資訊,進行去區塊濾波器31b中的環境設定。亦即,在組態設定部451中,係去區塊濾波器的β之偏置值及tc之偏置值,係被設定。此外,此時,Tc的偏置值,係由差分資訊與β之偏置值進行加算而被求出然後設定。組態設定部451,係將已被設定之資訊,供給至濾波執行部302。
濾波執行部302,係基本上與圖37的濾波執行部302相同,基於去區塊偏置之值等、已被組態設定部301所設定之資訊,而算出參數之生成上所被使用的量化參數QP,生成參數β及Tc,決定濾波處理之需要與否或濾波器強度。
此時,在圖37的濾波執行部302中,係會使用去區塊偏置之值(dblk_offset_div2)。相對於此,在圖49的濾波執行部302中,係參數β的偏置值(β_offset_div2)與參數Tc的偏置值(tc_offset_div2)會分別被使用,這點有所不同。因此,圖49之例子的濾波執行部302之構成例及構成濾波執行部302的各部之構成例,係被省略。
此外,關於圖49的去區塊濾波器31b的去區塊濾波處理,係除了參照圖41而上述之處理、和步驟S301的濾波器之組態設定處理以外,其餘基本上是相同的。因此,針對不同處理的、圖41之步驟S301的濾波器之組態設定處理,參照圖50來說明。
[濾波器的組態處理]
接著,參照圖50的流程圖,說明圖41的步驟S301的濾波器之組態設定處理。
透過可逆解碼部62,輸入去區塊控制旗標之資訊、DisableDeblockingFilter旗標資訊(亦即ON/OFF資訊)、參數β的偏置值(β_offset_div2)、及差分資訊(diff_β_tc_div2)。
組態設定部451,係於步驟S421中,判定去區塊控制旗標是否為1。於步驟S421中,若判定去區塊控制旗標為1,則處理係前進至步驟S422。
去區塊控制旗標為1時,可將DisableDeblockingFilter旗標與偏置予以傳輸。因此,於步驟S422中,組態設定部451係讀取DisableDeblockingFilter旗標而進行設定。
於步驟S423中,組態設定部451係讀取參數β的偏置值(β_offset_div2)而進行設定。
於步驟S424中,組態設定部451係藉由對差分資訊diff_β_tc_div2,加算參數β的偏置值(β_offset_div2),以求出參數Tc的偏置值(tc_offset_div2)而進行設定。
另一方面,於步驟S421中,若判定去區塊控制旗標為0,則組態設定處理就被結束。亦即,於步驟S421中,若判定去區塊控制旗標為0,則DisableDeblockingFilter旗標與偏置就不被傳輸,因此不被設定,會使用預設的值。
[偏置值與差分資訊之傳輸]
接著,參照圖51,說明偏置值(β_offset_div2)與差分資訊(diff_β_tc_div2)的傳輸。
於影像編碼裝置11中,透過未圖示之操作部,β之偏置值(β_offset_div2)與Tc之偏置值 (tc_offset_div2),係被輸入至去區塊濾波器31a。於去區塊濾波器31a中,β之偏置值(β_offset_div2)與tc之偏置值(tc_offset_div2)會被使用,來進行濾波處理。
然後,於去區塊濾波器31a中,差分資訊(diff_β_tc_div2)會被生成,β之偏置值(β_offset_div2)與差分資訊(diff_β_tc_div2)係被供給至可逆編碼部26。然後,β之偏置值(β_offset_div2)與差分資訊(diff_β_tc_div2),係於可逆編碼部26中藉由SVLC(Sin VLC)進行寫入而被編碼,作為去區塊濾波器的參數,而被傳輸至影像解碼裝置51。
從影像編碼裝置11所送來的β之偏置值(β_offset_div2)與差分資訊(diff_β_tc_div2),係於影像解碼裝置51中,在可逆解碼部62上,藉由SVLC(Sin VLC)進行讀出而被解碼,這些係於去區塊濾波器31b中被使用,求出Tc之偏置值(tc_offset_div2)。然後,於去區塊濾波器31b中,β之偏置值(β_offset_div2)與已被求出之Tc之偏置值(tc_offset_div2),係被使用於濾波處理。
此外,於上記說明中,雖然說明於組態設定部401中會生成2個參數之偏置值的差分資訊,供給至可逆編碼部26的例子,但此差分資訊係亦可於可逆編碼部26中生成。
[去區塊偏置之值的語法例]
圖52係去區塊偏置之值之語法的例子的圖示。
於圖52的例子中,β偏置之值(beta_offset_div2)與差分資訊(diff_beta_tc_div2),係被描述在disaeble_deblocking_filter_flag的if文中,因此若disaeble_deblocking_filter_flag並非0,則β偏置之值(beta_offset_div2)與差分資訊(diff_beta_tc_div2)會被使用。
此外,此語法係被描述在切片標頭及PPS(圖像參數集)中。
又,於上記說明中,雖然差分資訊是連同β之偏置一起發送,但亦可發送Tc之偏置。此情況下,在解碼側,會根據差分資訊與tc之偏置,求出β的偏置。
如以上,並非發送2個參數的偏置,而是將任意一方之參數的偏置值、及該一方與另一方參數之偏置的差分資訊,予以發送。
參數β的偏置之值與參數Tc的偏置之值,係具有相關,這些值經常會連動,此情況下,差分資訊係為較小的值,因此可減少編碼之際的位元數。
於以上所述中,作為編碼方式是以HEVC方式為基礎來採用。可是,本揭露係不限於此,亦可適用於,作為迴圈內濾波器是至少含有去區塊濾波器的其他編碼方式/解碼方式。
此外,本揭露係可適用於,例如,將像是HEVC方式等這類藉由離散餘弦轉換等之正交轉換與運動補償所壓縮而成的影像資訊(位元串流),透過衛星播送、 有線電視、網際網路、或行動電話機等之網路媒介而收訊時所使用的影像編碼裝置及影像解碼裝置。又,本揭露係可適用於,在光、磁碟、及快閃記憶體這類記憶媒體上進行處理之際所使用的影像編碼裝置及影像解碼裝置。
<9.第7實施形態(多視點影像編碼.多視點影像解碼裝置)>
[對多視點影像編碼,多視點影像解碼之適用]
上述一連串處理,係可適用於多視點影像編碼.多視點影像解碼。圖53係圖示多視點影像編碼方式之一例。
如圖53所示,多視點影像,係含有複數視點之影像,該複數視點當中的所定1個視點之影像,係被指定成基礎視點的影像。基礎視點之影像以外的各視點之影像,係被當成非基礎視點之影像。
在進行如圖53所示的多視點影像編碼時,在各視點(同一視點)中,可以設定去區塊濾波器參數(旗標、參數之偏置值、及差分資訊等)。又,在各視點(不同視點)中,亦可將其他視點上所被設定的去區塊濾波器參數,加以共用。
此時,在基礎視點中所被設定的去區塊濾波器參數,是被至少1個非基礎視點所使用。或者,例如,在非基礎視點(view_id=i)中所被設定的去區塊濾波器參數,是在基礎視點及非基礎視點(view_id=j)之至少任意一方中被使用。
藉此,於去區塊濾波處理中,就可適切地施加濾波。亦即,可抑制區塊雜訊。
[多視點影像編碼裝置]
圖54係上述進行多視點影像編碼的多視點影像編碼裝置的圖示。如圖54所示,多視點影像編碼裝置600係具有:編碼部601、編碼部602、及多工化部603。
編碼部601,係將基礎視點影像予以編碼,生成基礎視點影像編碼串流。編碼部602,係將非基礎視點影像予以編碼,生成非基礎視點影像編碼串流。多工化部603,係將編碼部601中所生成之基礎視點影像編碼串流,和編碼部602中所生成之非基礎視點影像編碼串流,進行多工化,生成多視點影像編碼串流。
對該多視點影像編碼裝置600的編碼部601及編碼部602,可適用影像編碼裝置11(圖1)。此時,多視點影像編碼裝置600,係將編碼部601所設定之去區塊濾波器參數、和編碼部602所設定之去區塊濾波器參數,加以設定並傳輸。
此外,亦可將如上述而由編碼部601所設定的去區塊濾波器參數,設定成讓編碼部601及編碼部602共用而被傳輸。反之,亦可將編碼部602所整體設定的去區塊濾波器參數,設定成讓編碼部601及編碼部602共用而被傳輸。
[多視點影像解碼裝置]
圖55係上述進行多視點影像解碼的多視點影像解碼裝置的圖示。如圖55所示,多視點影像解碼裝置610係具有:逆多工化部611、解碼部612、及解碼部613。
逆多工化部611,係將基礎視點影像編碼串流與非基礎視點影像編碼串流所多工化而成的多視點影像編碼串流,進行逆多工化,抽出基礎視點影像編碼串流、和非基礎視點影像編碼串流。解碼部612,係將已被逆多工化部611所抽出的基礎視點影像編碼串流予以解碼,獲得基礎視點影像。解碼部613,係將已被逆多工化部611所抽出的非基礎視點影像編碼串流予以解碼,獲得非基礎視點影像。
對該多視點影像解碼裝置610的解碼部612及解碼部613,可適用影像解碼裝置51(圖3)。此時,多視點影像解碼裝置610,係使用編碼部601所設定、解碼部612所解碼之去區塊濾波器參數、和編碼部602所設定、解碼部613所解碼之去區塊濾波器參數,來進行處理。
此外,有時候會將如上述而由編碼部601(或編碼部602)所設定的去區塊濾波器參數,設定成讓編碼部601及編碼部602共用而被傳輸。此情況下,在多視點影像解碼裝置610中,係使用由編碼部601(或編碼部602)所設定、由解碼部612(或解碼部613)所解碼之去區塊濾波器參數,來進行處理。
<10.第8實施形態(階層影像編碼.階層影像解碼裝置)>
[階層影像編碼.階層影像解碼之適用]
上述一連串處理,係可適用於階層影像編碼.階層影像解碼。圖56係圖示多視點影像編碼方式之一例。
如圖56所示,階層影像,係含有複數階層(解析度)之影像,該複數解析度之中的所定1個階層的影像,係被指定成基礎圖層之影像。基礎圖層影像以外的各階層之影像,係被當成非基礎圖層之影像。
在進行如圖56所示的階層影像編碼(空間可調性)的情況下,於各圖層(同一圖層)中,可以設定去區塊濾波器參數。又,在各圖層(不同圖層)中,亦可將其他圖層上所被設定的去區塊濾波器參數,加以共用。
此時,在基礎圖層中所被設定的去區塊濾波器參數,是被至少1個非基礎圖層所使用。或者,例如,在非基礎圖層(layer_id=i)中所被設定的去區塊濾波器參數,是在基礎圖層及非基礎圖層(layer_id=j)之至少任意一方中被使用。
藉此,於去區塊處理中,就可適切地施加濾波。亦即,可抑制區塊雜訊。
[階層影像編碼裝置]
圖57係上述進行階層影像編碼的階層影像編碼裝置 的圖示。如圖57所示,階層影像編碼裝置620係具有:編碼部621、編碼部622、及多工化部623。
編碼部621,係將基礎圖層影像予以編碼,生成基礎圖層影像編碼串流。編碼部622,係將非基礎圖層影像予以編碼,生成非基礎圖層影像編碼串流。多工化部623,係將編碼部621中所生成之基礎圖層影像編碼串流,和編碼部622中所生成之非基礎圖層影像編碼串流,進行多工化,生成階層影像編碼串流。
對該階層影像編碼裝置620的編碼部621及編碼部622,可適用影像編碼裝置11(圖1)。此時,階層影像編碼裝置620,係將編碼部621所設定之去區塊濾波器參數、和編碼部602所設定之去區塊濾波器參數,加以設定並傳輸。
此外,亦可將如上述而由編碼部621所設定的去區塊濾波器參數,設定成讓編碼部621及編碼部622共用而被傳輸。反之,亦可將編碼部622所設定的去區塊濾波器參數,設定成讓編碼部621及編碼部622共用而被傳輸。
[階層影像解碼裝置]
圖58係上述進行階層影像解碼的階層影像解碼裝置的圖示。如圖58所示,階層影像解碼裝置630係具有:逆多工化部631、解碼部632、及解碼部633。
逆多工化部631,係將基礎圖層影像編碼串流 與非基礎圖層影像編碼串流所多工化而成的階層影像編碼串流,進行逆多工化,抽出基礎圖層影像編碼串流、和非基礎圖層影像編碼串流。解碼部632,係將已被逆多工化部631所抽出的基礎圖層影像編碼串流予以解碼,獲得基礎圖層影像。解碼部633,係將已被逆多工化部631所抽出的非基礎圖層影像編碼串流予以解碼,獲得非基礎圖層影像。
對該階層影像解碼裝置630的解碼部632及解碼部633,可適用影像解碼裝置51(圖3)。此時,階層影像解碼裝置630,係使用編碼部621所設定、解碼部632所解碼之去區塊濾波器參數、和編碼部622所設定、解碼部633所解碼之去區塊濾波器參數,來進行處理。
此外,有時候會將如上述而由編碼部621(或編碼部622)所設定的去區塊濾波器參數,設定成讓編碼部621及編碼部622共用而被傳輸。此情況下,在階層影像解碼裝置630中,係使用由編碼部621(或編碼部622)所設定、由解碼部632(或解碼部633)所解碼之去區塊濾波器參數,來進行處理。
<11.第9實施形態>
[電腦的構成例]
上述一連串處理,係可藉由硬體來執行,也可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在 專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖59係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於電腦800中,CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803,係藉由匯流排804而被彼此連接。
在匯流排804上係還連接有輸出入介面805。輸出入介面805上係連接有:輸入部806、輸出部807、記憶部808、通訊部809、及驅動機810。
輸入部806,係由鍵盤、滑鼠、麥克風等所成。輸出部807係由顯示器、揚聲器等所成。記憶部808,係由硬碟或非揮發性記憶體等所成。通訊部809係由網路介面等所成。驅動機810係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中,藉由CPU801而例如將記憶部808中所記憶之程式透過輸出入介面805及匯流排804,而載入至RAM803裡並加以執行,就可進行上述一連串處理。
電腦800(CPU801)所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體821中而提供。又,程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒介而提供。
在電腦中,程式係藉由將可移除式媒體821 裝著至驅動機810,就可透過輸出入介面805,安裝至記憶部808。又,程式係可透過有線或無線之傳輸媒體,以通訊部809接收之,安裝至記憶部808。除此以外,程式係可事前安裝在ROM802或記憶部808中。
此外,電腦所執行的程式,係可為依照本說明書所說明之順序而在時間序列上進行處理的程式,也可平行地、或呼叫進行時等必要之時序上進行處理的程式。
此外,在本說明書中,雖然記述記錄媒體中所記錄之程式的步驟,是按照記載的順序而在時間序列上順序進行之處理,但當然並不一定要是時間序列上的處理,亦包含平行或個別執行之處理。
又,於本說明書中,所謂的系統,係指由複數設備(裝置)所構成之裝置全體。
又,於以上說明中,亦可將以1個裝置(或處理部)做說明的構成加以分割,成為複數裝置(或處理部)而構成之。反之,亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又,對各裝置(或各處理部)之構成,當然亦可附加上述以外之構成。再者,若系統全體的構成或動作是實質上相同,則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。亦即,本技術係不限定於上述的實施形態,在不脫離本技術主旨的範圍內可做各種變更。
上述實施形態所述之影像編碼裝置及影像解 碼裝置,係可應用於衛星播送、有線TV等之有線播送、網際網路上的配送、及藉由蜂巢基地台通訊而對終端支配送等的送訊機或是收訊機,在光碟、磁碟及快閃記憶體等之媒體中記錄影像的記錄裝置、或從這些記憶媒體中再生出影像的再生裝置等各式各樣的電子機器。以下說明4個應用例。
<12.應用例>
[第1應用例:電視受像機]
圖60係圖示了適用上述實施形態的電視裝置的概略構成之一例。電視裝置900係具備:天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909、控制部910、使用者介面911、及匯流排912。
選台器902,係從透過天線901所接收之播送訊號中,抽出所望頻道之訊號,並將所抽出之訊號予以解調。然後,選台器902係將解調所得到之編碼位元串流,輸出至解多工器903。亦即,選台器902係將影像所被編碼而成的編碼串流予以接收,具有電視裝置900中的傳輸手段之功能。
解多工器903係從編碼位元串流中分離出視聽對象之節目的映像串流及聲音串流,將所分離之各串流,輸出至解碼器904。又,解多工器903,係從編碼位元串流中抽出EPG(Electronic Program Guide)等輔助性資 料,將所抽出的資料,供給至控制部910。此外,解多工器903係當編碼位元串流是有被擾頻時,則亦可進行去擾頻。
解碼器904,係將從解多工器903所輸入的映像串流及聲音串流,予以解碼。然後,解碼器904係將解碼處理所生成之映像資料,輸出至映像訊號處理部905。又,解碼器904係將解碼處理所生成之聲音資料,輸出至聲音訊號處理部907。
映像訊號處理部905,係將從解碼器904所輸入之映像資料予以再生,在顯示部906上顯示出映像。又,映像訊號處理部905,係亦可將透過網路而供給之應用程式畫面,顯示在顯示部906。又,映像訊號處理部905,係亦可針對映像資料,隨應於設定,而進行例如雜訊去除(抑制)等之追加的處理。甚至,映像訊號處理部905係亦可生成例如選單、按鈕或游標等之GUI(Graphical User Interface)的影像,將所生成之影像重疊至輸出影像。
顯示部906,係受從映像訊號處理部905所供給之驅動訊號所驅動,在顯示裝置(例如液晶顯示器、電漿顯示器或OELD(Organic ElectroLuminescence Display)(有機EL顯示器)等)之映像面上,顯示出映像或影像。
聲音訊號處理部907,係針對從解碼器904所輸入的聲音資料,進行D/A轉換及增幅等之再生處理,使 聲音從揚聲器908輸出。又,聲音訊號處理部907,係亦可針對聲音資料,進行雜訊去除(抑制)等之追加的處理。
外部介面909,係為用來連接電視裝置900與外部機器或網路所需的介面。例如,透過外部介面909所接收之映像串流或聲音串流,係亦可被解碼器904所解碼。亦即,外部介面909係亦為將影像所被編碼而成的編碼串流予以接收,具有電視裝置900中的傳輸手段之功能。
控制部910係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著,被CPU所執行之程式、程式資料、EPG資料、及透過網路所取得之資料等。被記憶體所記憶的程式,係例如在電視裝置900啟動時被CPU讀取、執行。CPU係藉由執行程式,而隨應於從例如使用者介面911所輸入的操作訊號,來控制電視裝置900的動作。
使用者介面911,係和控制部910連接。使用者介面911係具有例如,用來讓使用者操作電視裝置900所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面911,係偵測透過這些構成要素而由使用者所做之操作,生成操作訊號,將所生成之操作訊號,輸出至控制部910。
匯流排912,係將選台器902、解多工器903、解碼器904、映像訊號處理部905、聲音訊號處理部907、外部介面909及控制部910,彼此連接。
在如此構成的電視裝置900中,解碼器904係具有上述實施形態所述之影像解碼裝置的機能。藉此,在電視裝置900的影像之解碼之際,可抑制區塊雜訊。
[第2應用例:行動電話機]
圖61係圖示了適用上述實施形態的行動電話機的概略構成之一例。行動電話機920係具備:天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921係被連接至通訊部922。揚聲器924及麥克風925係被連接至聲音編解碼器923。操作部932,係被連接至控制部931。匯流排933係將通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931,彼此連接。
行動電話機920,係在包含語音通話模式、資料通訊模式、攝影模式及電視電話模式的各種動作模式下,進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像之攝影、及資料之記錄等動作。
於語音通話模式中,由麥克風925所生成的類比聲音訊號,係被供給至聲音編解碼器923。聲音編解碼器923,係將類比聲音訊號轉換成聲音資料,將已被轉 換之聲音資料,進行A/D轉換並壓縮。然後,聲音編解碼器923係將壓縮後的聲音資料,輸出至通訊部922。通訊部922,係將聲音資料進行編碼及調變,生成送訊訊號。然後,通訊部922係將已生成之送訊訊號,透過天線921而發送至基地台(未圖示)。又,通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換,取得收訊訊號。然後,通訊部922,係將收訊訊號進行解調及解碼而生成聲音資料,將已生成之聲音資料,輸出至聲音編解碼器923。聲音編解碼器923,係將聲音資料進行解壓縮及D/A轉換,生成類比聲音訊號。然後,聲音編解碼器923係將已生成之聲音訊號,供給至揚聲器924而輸出聲音。
又,在資料通訊模式下,例如,控制部931係隨應於使用者透過操作部932所做的操作,來生成構成電子郵件的文字資料。又,控制部931係將文字顯示在顯示部930。又,控制部931,係隨應於透過操作部932而從使用者下達的送訊指示而生成電子郵件資料,將已生成之電子郵件資料,輸出至通訊部922。通訊部922,係將電子郵件資料進行編碼及調變,生成送訊訊號。然後,通訊部922係將已生成之送訊訊號,透過天線921而發送至基地台(未圖示)。又,通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換,取得收訊訊號。然後,通訊部922係將收訊訊號進行解調及解碼以復原出電子郵件資料,將已復原之電子郵件資料,輸出至控制部931。控制部931,係令顯示部930顯示出電子郵件的內 容,同時,令電子郵件資料被記憶至記錄再生部929的記憶媒體。
記錄再生部929,係具有可任意讀寫的記憶媒體。例如,記憶媒體係可為RAM或快閃記憶體等之內建型的記憶媒體,亦可為硬碟、磁碟、光磁碟、光碟、USB(Universal Serial Bus)記憶體、或記憶卡等之外部裝著型的記憶媒體。
又,於攝影模式中,例如,攝影機部926係拍攝被攝體而生成影像資料,將已生成之影像資料,輸出至影像處理部927。影像處理部927,係將從攝影機部926所輸入之影像資料予以編碼,使編碼串流被記憶至記憶再生部929的記憶媒體中。
又,於電視電話模式中,例如,多工分離部928係將已被影像處理部927所編碼之映像串流、和從聲音編解碼器923所輸入之聲音串流,進行多工化,將已多工化之串流,輸出至通訊部922。通訊部922,係將串流進行編碼及調變,生成送訊訊號。然後,通訊部922係將已生成之送訊訊號,透過天線921而發送至基地台(未圖示)。又,通訊部922係將透過天線921所接收之無線訊號進行增幅及頻率轉換,取得收訊訊號。這些送訊訊號及收訊訊號中係可含有編碼位元串流。然後,通訊部922係將收訊訊號進行解調及解碼以復原出串流,將已復原之串流,輸出至多工分離部928。多工分離部928係從所被輸入之串流中,分離出映像串流及聲音串流,將映像串流輸 出至影像處理部927、將聲音串流輸出至聲音編解碼器923。影像處理部927,係將映像串流予以解碼,生成映像資料。映像資料係被供給至顯示部930,藉由顯示部930而顯示出一連串之影像。聲音編解碼器923,係將聲音串流進行解壓縮及D/A轉換,生成類比聲音訊號。然後,聲音編解碼器923係將已生成之聲音訊號,供給至揚聲器924而輸出聲音。
在如此構成的行動電話機920中,影像處理部927係具有上述實施形態所述之影像編碼裝置及影像解碼裝置的機能。藉此,在行動電話機920的影像之解碼之際,可抑制區塊雜訊。
[第3應用例:記錄再生裝置]
圖62係圖示了適用上述實施形態的記錄再生裝置的概略構成之一例。記錄再生裝置940係例如,將所接收之播送節目的聲音資料及映像資料進行編碼,而記錄至記錄媒體。又,記錄再生裝置940係亦可,例如,將從其他裝置所取得之聲音資料及映像資料進行編碼,而記錄至記錄媒體。又,記錄再生裝置940係例如,隨應於使用者之指示,將記錄媒體中所記錄之資料,在監視器及揚聲器上進行再生。此時,記錄再生裝置940,係將聲音資料及映像資料予以解碼。
記錄再生裝置940係具備:選台器941、外部介面942、編碼器943、HDD(Hard Disk Drive)944、碟片 驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)948、控制部949、及使用者介面950。
選台器941,係從透過天線(未圖示)所接收之播送訊號中,抽出所望頻道之訊號,並將所抽出之訊號予以解調。然後,選台器941係將解調所得到之編碼位元串流,輸出至選擇器946。亦即,選台器941係具有記錄再生裝置940中的傳輸手段之功能。
外部介面942,係為用來連接記錄再生裝置940與外部機器或網路所需的介面。外部介面942係可為例如IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如,透過外部介面942所接收之映像資料及聲音資料,係被輸入至編碼器943。亦即,外部介面942係具有記錄再生裝置940中的傳輸手段之功能。
編碼器943,係當從外部介面942所輸入之映像資料及聲音資料是未被編碼的情況下,則將映像資料及聲音資料予以編碼。然後,編碼器943係將編碼位元串流,輸出至選擇器946。
HDD944,係將映像及聲音等之內容資料所被壓縮而成的編碼位元串流、各種程式及其他資料,記錄在內部的硬碟裡。又,HDD944係在映像及聲音之再生時,將這些資料從硬碟中讀出。
碟片驅動機945,係對所裝著之記錄媒體,進行資料記錄及讀出。被裝著在碟片驅動機945的記錄媒體,係可為例如DVD碟片(DVD-Video、DVD-RAM、 DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)碟片等。
選擇器946,係在映像及聲音之記錄時,係選擇從選台器941或編碼器943所輸入的編碼位元串流,將已選擇之編碼位元串流,輸出至HDD944或碟片驅動機945。又,選擇器946,係在映像及聲音之再生時,將從HDD944或碟片驅動機945所輸入之編碼位元串流,輸出至解碼器947。
解碼器947,係將編碼位元串流予以解碼,生成映像資料及聲音資料。然後,解碼器947係將已生成之映像資料,輸出至OSD948。又,解碼器904係將已生成之聲音資料,輸出至外部的揚聲器。
OSD948,係將從解碼器947所輸入之映像資料予以再生,顯示出映像。又,OSD948係亦可對所顯示之映像,重疊上例如選單、按鈕或游標等之GUI的影像。
控制部949係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式,係例如在記錄再生裝置940啟動時被CPU讀取、執行。CPU係藉由執行程式,而隨應於從例如使用者介面950所輸入的操作訊號,來控制記錄再生裝置940的動作。
使用者介面950,係和控制部949連接。使用者介面950係具有例如,用來讓使用者操作記錄再生裝置 940所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面950,係偵測透過這些構成要素而由使用者所做之操作,生成操作訊號,將所生成之操作訊號,輸出至控制部949。
在如此構成的記錄再生裝置940中,編碼器943係具有上述實施形態所述之影像編碼裝置的機能。又,解碼器947係具有上述實施形態所述之影像解碼裝置的機能。藉此,在記錄再生裝置940的影像之解碼之際,可抑制區塊雜訊。
[第4應用例:攝像裝置]
圖63係圖示了適用上述實施形態的攝像裝置的概略構成之一例。攝像裝置960係拍攝被攝體而生成影像,將影像資料進行編碼,而記錄至記錄媒體。
攝像裝置960係具備:光學區塊961、攝像部962、訊號處理部963、影像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動機968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961係被連接至攝像部962。攝像部962係被連接至訊號處理部963。顯示部965係被連接至影像處理部964。使用者介面971係被連接至控制部970。匯流排972係將影像處理部964、外部介面966、記憶體967、媒體驅動機968、OSD969、及控制部970,彼此連接。
光學區塊961,係具有對焦透鏡及光圈機構等。光學區塊961,係使被攝體的光學像,成像在攝像部962的攝像面。攝像部962,係具有CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等之影像感測器,將成像在攝像面的光學像,藉由光電轉換而轉換成電氣訊號的影像訊號。然後,攝像部962係將影像訊號,輸出至訊號處理部963。
訊號處理部963,係對從攝像部962所輸入的影像訊號進行KNEE補正、γ補正、色彩補正等各種相機訊號處理。訊號處理部963,係將攝影機訊號處理後的影像資料,輸出至影像處理部964。
影像處理部964,係將從訊號處理部963所輸入的影像資料予以編碼,生成編碼資料。然後,影像處理部964,係將已生成之編碼資料,輸出至外部介面966或媒體驅動機968。又,影像處理部964,係將從外部介面966或媒體驅動機968所輸入之編碼資料予以解碼,生成影像資料。然後,影像處理部964係將已生成之影像資料,輸出至顯示部965。又,影像處理部964,係亦可將從訊號處理部963所輸入的影像資料,輸出至顯示部965而顯示出影像。又,影像處理部964,係亦可將從OSD969所取得之顯示用資料,重疊至對顯示部965輸出的影像上。
OSD969係生成例如選單、按鈕或游標等之GUI的影像,將所生成之影像,輸出至影像處理部964。
外部介面966,係被構成為例如USB輸出入端子。外部介面966,係例如在影像的列印時,將攝像裝置960與印表機做連接。又,外部介面966上係因應需要而連接有驅動機。驅動機上係裝著有例如磁碟或光碟等之可移除式媒體,從可移除式媒體所讀出的程式,係可被安裝至攝像裝置960。甚至,外部介面966係還可被構成為連接LAN或網際網路等之網路的網路介面。亦即,外部介面966係具有攝像裝置960中的傳輸手段之功能。
被裝著至媒體驅動機968的記錄媒體,係可為例如磁碟、光磁碟、光碟、或半導體記憶體等之可任意讀寫之可移除式媒體。又,亦可被構成為,記錄媒體是對媒體驅動機968固定裝著,例如,內建型硬碟機或SSD(Solid State Drive)這類非可移除式的記憶部。
控制部970係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式,係例如在攝像裝置960啟動時被CPU讀取、執行。CPU係藉由執行程式,而隨應於從例如使用者介面971所輸入的操作訊號,來控制攝像裝置960的動作。
使用者介面971,係和控制部970連接。使用者介面971係具有例如,用來讓使用者操作攝像裝置960所需的按鈕及開關等。使用者介面971,係偵測透過這些構成要素而由使用者所做之操作,生成操作訊號,將所生成之操作訊號,輸出至控制部970。
在如此構成的攝像裝置960中,影像處理部964係具有上述實施形態所述之影像編碼裝置及影像解碼裝置的機能。藉此,在攝像裝置960的影像之解碼之際,可抑制區塊雜訊。
<13.可調式編碼的應用例>
[第1系統]
接著說明,參照圖56至圖58而上述之可調式編碼(階層編碼化)而成的可調式編碼資料的具體利用例。可調式編碼,係例如圖64所示的例子,被利用於傳輸資料之選擇。
於圖64所示的資料傳輸系統1000中,配訊伺服器1002,係將可調式編碼資料記憶部1001中所記憶的可調式編碼資料,予以讀出,透過網路1003,配送給個人電腦1004、AV機器1005、平板裝置1006、及行動電話機1007等之終端裝置。
此時,配訊伺服器1002,係隨著終端裝置的能力或通訊環境等,來選擇適切品質的編碼資料,進行傳輸。就算配訊伺服器1002多餘地傳輸高品質的資料,在終端裝置上也不一定會獲得高畫質的影像,反而會成為造成延遲或是溢位的主因。又,也恐怕會導致佔用多餘的通訊頻寬,增大終端裝置的負荷等等。反之,即是配訊伺服器1002多餘地傳輸低品質的資料,在終端裝置則恐怕無法獲得充分畫質之影像。因此,配訊伺服器1002,係將 可調式編碼資料記憶部1001中所記憶之可調式編碼資料,適宜地針對終端裝置的能力或通訊環境等,讀出適切品質之編碼資料而傳輸之。
例如,假設可調式編碼資料記憶部1001係將已被可調性編碼的可調式編碼資料(BL+EL)1011,加以記憶。該可調式編碼資料(BL+EL)1011,係為含有基礎圖層與增強圖層雙方的編碼資料,藉由將該資料進行解碼,就可獲得基礎圖層之影像及增強圖層之影像雙方。
配訊伺服器1002,係隨應於傳輸資料之終端裝置的能力或通訊環境等,來選擇適切的圖層,將該圖層之資料予以讀出。例如,配訊伺服器1002,係對處理能力高的個人電腦1004或平板裝置1006,係將高品質之可調式編碼資料(BL+EL)1011,從可調式編碼資料記憶部1001中予以讀出,直接傳輸。相對於此,例如,配訊伺服器1002,係對處理能力低的AV機器1005或行動電話機1007,係從可調式編碼資料(BL+EL)1011中抽出基礎圖層之資料,雖然是與可調式編碼資料(BL+EL)1011相同內容的資料,但是以比可調式編碼資料(BL+EL)1011低品質的可調式編碼資料(BL)1012,進行傳輸。
藉由如此使用可調式編碼資料,就可容易地調整資料量,因此可抑制延遲或是溢位的發生,或是抑制終端裝置或通訊媒體的無謂之負荷增大。又,可調式編碼資料(BL+EL)1011,係由於降低了圖層間的冗長性,因此相較於將各圖層的編碼資料當作個別之資料時,可更加降 低其資料量。因此,可更有效率地使用可調式編碼資料記憶部1001的記憶領域。
此外,像是個人電腦1004乃至行動電話機1007這樣,可在終端裝置上適用各種各樣的裝置,因此終端裝置的硬體性能,係隨裝置而不同。又,終端裝置所執行的應用程式也是相當多樣,因此該軟體的能力也相當多樣。甚至,作為通訊媒體的網路1003也是,例如網際網路或LAN(Local Area Network)等、有線或是無線、或是包含兩者的任何通訊線路網都會適用,其資料傳輸能力也是各式各樣。甚至,還可能隨著其他的通訊而變化。
於是,配訊伺服器1002係亦可在資料傳輸開始之前,先和資料傳輸目標之終端裝置進行通訊,獲得終端裝置的硬體性能、終端裝置所執行的應用程式(軟體)之性能等這些終端裝置的能力相關資訊,以及網路1003的可用頻寬等之通訊環境相關資訊。然後,配訊伺服器1002係亦可基於該所得到的資訊,來選擇適切的圖層。
此外,圖層的抽出,係亦可於終端裝置中進行。例如,個人電腦1004,係將所被傳輸來的可調式編碼資料(BL+EL)1011,予以解碼,可以顯示基礎圖層的影像,也可顯示增強圖層的影像。又,例如,個人電腦1004,係從所被傳輸來的可調式編碼資料(BL+EL)1011中,將基礎圖層的可調式編碼資料(BL)1012予以抽出、記憶,或傳輸至其他裝置等等,或可進行解碼而顯示基礎圖層的影像等等。
當然,可調式編碼資料記憶部1001、配訊伺服器1002、網路1003、及終端裝置的數目均為任意。又,以上雖然說明了,配訊伺服器1002將資料傳輸給終端裝置的例子,但利用例並非限定於此。資料傳輸系統1000係為,將已被可調式編碼之編碼資料予以傳輸至終端裝置之際,只要會隨著終端裝置的能力或通訊環境等,來選擇適切圖層而進行傳輸的系統即可,可以適用任意之系統。
然後,如以上的圖64之資料傳輸系統1000中也是,藉由和參照圖56乃至圖58而上述過之對階層編碼.階層解碼之適用同樣地來適用本技術,就獲得和參照圖56乃至圖58而上述過之效果同樣的效果。
[第2系統]
又,可調式編碼,係例如圖65所示的例子,被利用於透過複數通訊媒體的傳輸。
於圖65所示的資料傳輸系統1100中,播送台1101係藉由地表波播送1111,而將基礎圖層的可調式編碼資料(BL)1121予以傳輸。又,播送台1101係透過由有線或無線或其雙方之通訊網所成的任意網路1112,而將增強圖層的可調式編碼資料(EL)1122,予以傳輸(例如封包化而傳輸)。
終端裝置1102係具有播送台1101所播送之地表波播送1111的收訊機能,會收取透過該地表波播送 1111而被傳輸之基礎圖層的可調式編碼資料(BL)1121。又,終端裝置1102係還具有透過網路1112進行通訊的通訊機能,會收取透過該網路1112而被傳輸之增強圖層的可調式編碼資料(EL)1122。
終端裝置1102係隨應於例如使用者指示等,將透過地表波播送1111所取得之基礎圖層的可調式編碼資料(BL)1121,進行解碼而獲得基礎圖層的影像,或是加以記憶,或是傳輸至其他裝置等等。
又,終端裝置1102係隨應於例如使用者指示等,將透過地表波播送1111所取得之基礎圖層的可調式編碼資料(BL)1121、和透過網路1112所取得之增強圖層的可調式編碼資料(EL)1122,進行合成,獲得可調式編碼資料(BL+EL),或是將其進行解碼而獲得增強圖層的影像,或是加以記憶,或是傳輸至其他裝置等等。
如以上,可調式編碼資料,係可例如每圖層地透過不同通訊媒體而被傳輸。因此,可分散負荷,抑制延遲或是溢位的發生。
又,亦可因應狀況,將傳輸時所使用的通訊媒體,按照每一圖層來做選擇。例如,亦可為,將資料量比較多的基礎圖層的可調式編碼資料(BL)1121透過頻寬較廣的通訊媒體來傳輸,將資料量比較少的增強圖層的可調式編碼資料(EL)1122透過頻寬較窄的通訊媒體來傳輸。又,亦可為,例如,將增強圖層的可調式編碼資料(EL)1122予以傳輸的通訊媒體,係為網路1112、還是地 表波播送1111,是可隨著網路1112的可用頻寬來做切換。當然,針對任意圖層的資料也是同樣如此。
藉由如此控制,就可更為抑制資料傳輸時的負荷增大。
當然,圖層數係為任意,利用於傳輸之通訊媒體的數目也為任意。又,資料配送目標的終端裝置1102的數目也為任意。甚至,以上雖然是以從播送台1101之播送為例來說明,但利用例並非限定於此。資料傳輸系統1100係為,將已被可調式編碼之編碼資料,以圖層為單位而分割成複數,透過複數線路來加以傳輸的系統即可,可以適用任意之系統。
然後,如以上的圖65之資料傳輸系統1100中也是,藉由和參照圖56乃至圖58而上述過之對階層編碼.階層解碼之適用同樣地來適用本技術,就獲得和參照圖56乃至圖58而上述過之效果同樣的效果。
[第3系統]
又,可調式編碼,係例如圖66所示的例子,被利用於編碼資料的記憶。
於圖66所示的攝像系統1200中,攝像裝置1201係將拍攝被攝體1211所得之影像資料,進行可調式編碼,成為可調式編碼資料(BL+EL)1221,供給至可調式編碼資料記憶裝置1202。
可調式編碼資料記憶裝置1202,係將從攝像 裝置1201所供給之可調式編碼資料(BL+EL)1221,以符合狀況的品質而加以記憶。例如,在通常時,可調式編碼資料記憶裝置1202係從可調式編碼資料(BL+EL)1221抽出基礎圖層的資料,成為低品質且資料量少的基礎圖層的可調式編碼資料(BL)1222而加以記憶。相對於此,例如,在注目時,可調式編碼資料記憶裝置1202係直接將高品質且資料量多的可調式編碼資料(BL+EL)1221,加以記憶。
藉由如此設計,可調式編碼資料記憶裝置1202係可僅在必要時,將影像以高畫質來加以保存,因此可抑制畫質劣化所致之影像價值的降低,同時,可抑制資料量的增大,可提升記憶領域的利用效率。
例如,假設攝像裝置1201係為監視攝影機。當攝像影像中沒有映出監視對象(例如入侵者)時(通常的情形),由於攝像影像的內容不重要的可能性較高,因此以資料量的削減為優先,該影像資料(可調式編碼資料)係以低品質而被記憶。相對於此,當攝像影像中有監視對象被映出成為被攝體1211時(注目時的情形),由於該攝像影像的內容係為重要的可能性較高,因此以畫質優先,該影像資料(可調式編碼資料)係以高品質而被記憶。
此外,亦可為,在通常時還是注目時,例如,是由可調式編碼資料記憶裝置1202藉由解析影像來進行判斷。又,亦可由攝像裝置1201來做判定,將其判定結果傳輸至可調式編碼資料記憶裝置1202。
此外,通常時還是注目時的判定基準係為任意,作為判定基準之影像的內容係為任意。當然,亦可將影像內容以外的條件,當成判定基準。例如,亦可隨著收錄聲音的大小或波形等來切換,亦可每隔所定時間就切換,亦可隨著使用者指示等來自外部之指示而切換。
又,以上雖然說明了通常時和注目時的2個狀態的切換例子,但狀態的數目係為任意,例如,亦可為通常時、稍微注目時、注目時、非常注目時這樣,切換3種以上之狀態。只不過,可切換狀態的上限數,係依存於可調式編碼資料的圖層數。
又,亦可由攝像裝置1201,隨著狀態來決定可調式編碼的圖層數。亦可為例如,在通常時的情況下,攝像裝置1201係生成低品質且資料量少的基礎圖層之可調式編碼資料(BL)1222,供給至可調式編碼資料記憶裝置1202。又,亦可為例如,在注目時的情況下,攝像裝置1201係生成高品質且資料量多的基礎圖層之可調式編碼資料(BL+EL)1221,供給至可調式編碼資料記憶裝置1202。
以上雖然以監視攝影機為例子來說明,但本攝像系統1200的用途係為任意,並不限定於監視攝影機。
然後,如以上的圖66之攝像系統1200中也是,藉由和參照圖56乃至圖58而上述過之對階層編碼.階層解碼之適用同樣地來適用本技術,就獲得和參照圖 56乃至圖58而上述過之效果同樣的效果。
此外,在本說明書中係說明了,去區塊濾波器之參數或適應偏置濾波器之參數等的各種資訊,係被多工化至編碼串流,從編碼列被傳輸至解碼側的例子。然而,這些資訊的傳輸手法係不限定於所述例子。例如,這些資訊係亦可不被多工化至編碼位元串流,而是以與編碼位元串流建立關連之個別資料的方式而被傳輸或記錄。此處,「建立關連」之用語係意味著,位元串流中所含之影像(切片或區塊等,亦可為影像之一部分)和該當影像所對應之資訊進行解碼時使其能夠彼此連結的意思。亦即,資訊係可有別於影像(或位元串流)而在另外的傳輸路上進行傳輸。又,資訊係亦可有別於影像(或位元串流)而被記錄在另外的記錄媒體(或是同一記錄媒體的其他記錄區域)。甚至,資訊和影像(或位元串流),係亦可以例如複數畫格、1畫格、或畫格內之一部分等之任意單位,而彼此關連。
以上雖然一面參照添附圖面一面詳細說明了本揭露的理想實施形態,但本揭露並非限定於所述例子。只要是本揭露所屬技術領域中具有通常知識者,自然可於申請專利範圍中所記載之技術思想的範疇內,想到各種變更例或修正例,而這些當然也都屬於本揭露的技術範圍。
此外,本技術係亦可採取如下之構成。
(1)一種影像處理裝置,係含有:濾波部,係使用依照在選擇去區塊濾波器的強度之際 或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;和編碼部,係使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
(2)如前記(1)所記載之影像處理裝置,其中,前記濾波部,係使用前記範圍中所含之大於14的值的濾波器參數,來適用前記去區塊濾波器。
(3)如前記(2)所記載之影像處理裝置,其中,前記濾波器參數係為,隨應於量化參數而被設定的值。
(4)如前記(3)所記載之影像處理裝置,其中,前記量化參數係為,對相鄰於前記區塊交界的相鄰區塊所被設定的量化參數之平均。
(5)如前記(4)所記載之影像處理裝置,其中,前記濾波部,係使用依照對前記量化參數之平均與前記濾波器參數之對應關係而已被擴充成使得前記濾波器參數之值會含有大於14的值的範圍而被設定的前記濾波器參數,對位於前記本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器。
(6)如前記(5)所記載之影像處理裝置,其中,前記去區塊濾波器係含有:具有第1強度的弱濾波器 和具有比前記第1強度還強的第2強度的強濾波器;前記濾波器參數係為,在選擇前記弱濾波器與前記強濾波器之其中任一方之際或對前記強濾波器被適用後的像素進行限幅處理之際,所被使用的參數。
(7)如前記(6)所記載之影像處理裝置,其中,前記區塊交界係為,進行正交轉換的單位也就是變形單元之交界或進行預測處理的單位也就是預測單元之交界。
(8)如前記(7)所記載之影像處理裝置,其中,前記編碼部係含有:正交轉換部,係將前記影像進行正交轉換,以生成轉換係數資料;和量化部,係將前記正交轉換部所生成的前記轉換係數資料進行量化,以生成量化資料;和算術編碼部,係將前記量化部所生成的前記量化資料,進行算術編碼。
(9)如前記(8)所記載之影像處理裝置,其中,前記編碼部,係以將最大編碼單元遞迴地進行分割所得的編碼單元來作為處理單位,而將前記影像進行編碼處理。
(10)如前記(9)所記載之影像處理裝置,其中,前記編碼單元,係將前記最大編碼單元依照4分樹構造而被遞迴地分割。
(11)如前記(10)所記載之影像處理裝置,其中, 前記最大編碼單元係為,前記4分樹構造中的最上位層之編碼單元。
(12)如前記(11)所記載之影像處理裝置,其中,前記最大編碼單元係為,序列單位下固定尺寸的區塊;前記編碼單元係為可變尺寸的區塊。
(13)一種影像處理方法,係由影像處理裝置的濾波部使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;由編碼部使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
(14)如前記(13)所記載之影像處理方法,其中,由前記濾波部使用前記範圍中所含之大於14的值的濾波器參數,來適用前記去區塊濾波器。
(15)如前記(14)所記載之影像處理方法,其中,前記濾波器參數係為,隨應於量化參數而被設定的值。
(16)如前記(15)所記載之影像處理方法,其中,前記量化參數係為,對相鄰於前記區塊交界的相鄰區塊所被設定的量化參數之平均。
(17)如前記(16)所記載之影像處理方法,其中,由前記濾波部使用依照對前記量化參數之平均與前記濾波器參數之對應關係而已被擴充成使得前記濾波器參數之值會含有大於14的值的範圍而被設定的前記濾波器參數,對位於前記本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器。
(18)如前記(17)所記載之影像處理方法,其中,前記去區塊濾波器係含有:具有第1強度的弱濾波器和具有比前記第1強度還強的第2強度的強濾波器;前記濾波器參數係為,在選擇前記弱濾波器與前記強濾波器之其中任一方之際或對前記強濾波器被適用後的像素進行限幅處理之際,所被使用的參數。
(19)如前記(18)所記載之影像處理方法,其中,前記區塊交界係為,進行正交轉換的單位也就是變形單元之交界或進行預測處理的單位也就是預測單元之交界。
(20)如前記(19)所記載之影像處理方法,其中,於前記編碼部中,由正交轉換部將前記影像進行正交轉換,以生成轉換係數資料;由量化部將前記正交轉換部所前記生成的轉換係數資料進行量化以生成量化資料;由算術編碼部將前記量化部所前記生成的量化資料,進行算術編碼。
(21)如前記(20)所記載之影像處理方法,其中,由前記編碼部以將最大編碼單元遞迴地進行分割所得的編碼單元來作為處理單位,而將前記影像進行編碼處理。
(22)如前記(21)所記載之影像處理方法,其中,前記編碼單元,係將前記最大編碼單元依照4分樹構造而被遞迴地分割。
(23)如前記(22)所記載之影像處理方法,其中,前記最大編碼單元係為,前記4分樹構造中的最上位層之編碼單元。
(24)如前記(23)所記載之影像處理方法,其中,前記最大編碼單元係為,序列單位下固定尺寸的區塊;前記編碼單元係為可變尺寸的區塊。
(25)一種程式,係使電腦發揮機能成為:濾波部,係使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;和編碼部,係使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
(26)一種記錄媒體,其特徵為,記錄著如前記(25)所 記載之程式。
112‧‧‧β生成部
121‧‧‧βLUT_input計算部
122‧‧‧限幅處理部
123‧‧‧既存β生成部
124‧‧‧擴充β生成部
131‧‧‧LUT

Claims (26)

  1. 一種影像處理裝置,係含有:濾波部,係使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;和編碼部,係使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
  2. 如請求項1所記載之影像處理裝置,其中,前記濾波部,係使用前記範圍中所含之大於14的值的濾波器參數,來適用前記去區塊濾波器。
  3. 如請求項2所記載之影像處理裝置,其中,前記濾波器參數係為,隨應於量化參數而被設定的值。
  4. 如請求項3所記載之影像處理裝置,其中,前記量化參數係為,對相鄰於前記區塊交界的相鄰區塊所被設定的量化參數之平均。
  5. 如請求項4所記載之影像處理裝置,其中,前記濾波部,係使用依照對前記量化參數之平均與前記濾波器參數之對應關係而已被擴充成使得前記濾波器參數之值會含有大於14的值的範圍而被設定的前記濾波器參數,對位於前記本地解碼影像的區塊交界之附近的像 素,適用前記去區塊濾波器。
  6. 如請求項5所記載之影像處理裝置,其中,前記去區塊濾波器係含有:具有第1強度的弱濾波器和具有比前記第1強度還強的第2強度的強濾波器;前記濾波器參數係為,在選擇前記弱濾波器與前記強濾波器之其中任一方之際或對前記強濾波器被適用後的像素進行限幅處理之際,所被使用的參數。
  7. 如請求項6所記載之影像處理裝置,其中,前記區塊交界係為,進行正交轉換的單位也就是變形單元之交界或進行預測處理的單位也就是預測單元之交界。
  8. 如請求項7所記載之影像處理裝置,其中,前記編碼部係含有:正交轉換部,係將前記影像進行正交轉換,以生成轉換係數資料;和量化部,係將前記正交轉換部所生成的前記轉換係數資料進行量化,以生成量化資料;和算術編碼部,係將前記量化部所生成的前記量化資料,進行算術編碼。
  9. 如請求項8所記載之影像處理裝置,其中,前記編碼部,係以將最大編碼單元遞迴地進行分割所得的編碼單元來作為處理單位,而將前記影像進行編碼處理。
  10. 如請求項9所記載之影像處理裝置,其中, 前記編碼單元,係將前記最大編碼單元依照4分樹構造而被遞迴地分割。
  11. 如請求項10所記載之影像處理裝置,其中,前記最大編碼單元係為,前記4分樹構造中的最上位層之編碼單元。
  12. 如請求項11所記載之影像處理裝置,其中,前記最大編碼單元係為,序列單位下固定尺寸的區塊;前記編碼單元係為可變尺寸的區塊。
  13. 一種影像處理方法,係由影像處理裝置的濾波部使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;由編碼部使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
  14. 如請求項13所記載之影像處理方法,其中,由前記濾波部使用前記範圍中所含之大於14的值的濾波器參數,來適用前記去區塊濾波器。
  15. 如請求項14所記載之影像處理方法,其中,前記濾波器參數係為,隨應於量化參數而被設定的值。
  16. 如請求項15所記載之影像處理方法,其中,前記量化參數係為,對相鄰於前記區塊交界的相鄰區塊所被設定的量化參數之平均。
  17. 如請求項16所記載之影像處理方法,其中,由前記濾波部使用依照對前記量化參數之平均與前記濾波器參數之對應關係而已被擴充成使得前記濾波器參數之值會含有大於14的值的範圍而被設定的前記濾波器參數,對位於前記本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器。
  18. 如請求項17所記載之影像處理方法,其中,前記去區塊濾波器係含有:具有第1強度的弱濾波器和具有比前記第1強度還強的第2強度的強濾波器;前記濾波器參數係為,在選擇前記弱濾波器與前記強濾波器之其中任一方之際或對前記強濾波器被適用後的像素進行限幅處理之際,所被使用的參數。
  19. 如請求項18所記載之影像處理方法,其中,前記區塊交界係為,進行正交轉換的單位也就是變形單元之交界或進行預測處理的單位也就是預測單元之交界。
  20. 如請求項19所記載之影像處理方法,其中,於前記編碼部中,由正交轉換部將前記影像進行正交轉換,以生成轉換係數資料;由量化部將前記正交轉換部所前記生成的轉換係數資 料進行量化以生成量化資料;由算術編碼部將前記量化部所前記生成的量化資料,進行算術編碼。
  21. 如請求項20所記載之影像處理方法,其中,由前記編碼部以將最大編碼單元遞迴地進行分割所得的編碼單元來作為處理單位,而將前記影像進行編碼處理。
  22. 如請求項21所記載之影像處理方法,其中,前記編碼單元,係將前記最大編碼單元依照4分樹構造而被遞迴地分割。
  23. 如請求項22所記載之影像處理方法,其中,前記最大編碼單元係為,前記4分樹構造中的最上位層之編碼單元。
  24. 如請求項23所記載之影像處理方法,其中,前記最大編碼單元係為,序列單位下固定尺寸的區塊;前記編碼單元係為可變尺寸的區塊。
  25. 一種程式,係使電腦發揮機能成為:濾波部,係使用依照在選擇去區塊濾波器的強度之際或對前記去區塊濾波器被適用後的像素進行限幅處理之際所被使用的濾波器參數之值是含有大於14的值的範圍而被設定的前記濾波器參數,對位於已被本地解碼之本地解碼影像的區塊交界之附近的像素,適用前記去區塊濾波器;和 編碼部,係使用已被前記濾波部適用了去區塊濾波器的本地解碼影像,而將影像進行編碼處理。
  26. 一種記錄媒體,其特徵為,記錄著如請求項25所記載之程式。
TW105126097A 2012-04-06 2013-03-06 Image processing apparatus and method, program, and recording medium TWI581623B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012087307 2012-04-06
JP2012140463 2012-06-22

Publications (2)

Publication Number Publication Date
TW201642663A true TW201642663A (zh) 2016-12-01
TWI581623B TWI581623B (zh) 2017-05-01

Family

ID=49300435

Family Applications (4)

Application Number Title Priority Date Filing Date
TW105126097A TWI581623B (zh) 2012-04-06 2013-03-06 Image processing apparatus and method, program, and recording medium
TW102107861A TWI569625B (zh) 2012-04-06 2013-03-06 Image processing apparatus and method, program, and recording medium
TW106101560A TWI667913B (zh) 2012-04-06 2013-03-06 Image processing device, image processing method, computer program, and recording medium
TW106101559A TWI632808B (zh) 2012-04-06 2013-03-06 Image processing device and method

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW102107861A TWI569625B (zh) 2012-04-06 2013-03-06 Image processing apparatus and method, program, and recording medium
TW106101560A TWI667913B (zh) 2012-04-06 2013-03-06 Image processing device, image processing method, computer program, and recording medium
TW106101559A TWI632808B (zh) 2012-04-06 2013-03-06 Image processing device and method

Country Status (8)

Country Link
US (3) US20150304657A1 (zh)
JP (6) JP6064999B2 (zh)
CN (11) CN107360438B (zh)
BR (2) BR122018013415B1 (zh)
MX (3) MX352719B (zh)
RU (1) RU2633140C2 (zh)
TW (4) TWI581623B (zh)
WO (1) WO2013150945A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
JP6382329B2 (ja) * 2014-02-18 2018-08-29 エルジー エレクトロニクス インコーポレイティド パノラマサービスのための放送信号送受信方法及び装置
EP3122049A4 (en) * 2014-03-19 2017-11-08 Nec Corporation Image encoding apparatus, image encoding method, and image encoding program
KR20180006411A (ko) * 2015-06-07 2018-01-17 엘지전자 주식회사 디블록킹 필터링을 수행하는 방법 및 장치
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
KR20230054495A (ko) * 2016-12-28 2023-04-24 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
US11095896B2 (en) * 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
US10873778B2 (en) * 2018-03-08 2020-12-22 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
US11463763B2 (en) 2018-03-08 2022-10-04 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
WO2020084929A1 (ja) * 2018-10-23 2020-04-30 日本電気株式会社 映像符号化又は復号装置、映像符号化又は復号方法、プログラム、及び記録媒体
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter
JP7357481B2 (ja) * 2019-07-30 2023-10-06 日本放送協会 デブロッキングフィルタ制御装置及びプログラム
US20230245286A1 (en) * 2022-01-28 2023-08-03 V-Silicon Semiconductor (Hefei) Co., Ltd. 2d recursive de-banding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US20080019909A1 (en) * 2003-09-17 2008-01-24 Francis Ka-Ming Chan Modulation of Programmed Necrosis
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子(上海)有限公司 一种支持多视频标准的去块效应滤波装置
CN101267560A (zh) * 2008-03-19 2008-09-17 浙江大学 去块滤波方法及装置
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
RU2405200C2 (ru) * 2008-07-17 2010-11-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ и устройство быстрого фильтрования шума цифровых изображений
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
CN102860005B (zh) * 2010-02-05 2016-07-06 瑞典爱立信有限公司 去块滤波控制
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
AU2011241283B2 (en) * 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN110430428B (zh) * 2010-06-17 2022-02-11 夏普株式会社 解码装置、编码装置、解码方法以及编码方法
AU2011308202B2 (en) * 2010-09-28 2015-04-09 Samsung Electronics Co., Ltd. Adaptive filtering method and apparatus
EP3748964A1 (en) * 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
PH12018501811A1 (en) * 2010-12-07 2019-02-18 Sony Corp Image processing device and image processing method
CN102055981B (zh) * 2010-12-31 2013-07-03 北京大学深圳研究生院 用于视频编码器的去块滤波器及其实现方法
US9244290B2 (en) * 2011-01-06 2016-01-26 Applied Materials Israel Ltd. Method and system for coherence reduction
JP5884313B2 (ja) * 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
CN106131555B (zh) * 2011-03-10 2019-04-12 寰发股份有限公司 去区块滤波器方法及装置
CN109246429A (zh) 2011-11-04 2019-01-18 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
US9414064B2 (en) * 2011-11-25 2016-08-09 Sun Patent Trust Image processing method and image processing apparatus
US9451258B2 (en) * 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium

Also Published As

Publication number Publication date
CN110611823A (zh) 2019-12-24
CN107360437A (zh) 2017-11-17
TW201345266A (zh) 2013-11-01
CN110740336B (zh) 2021-10-08
CN108600770A (zh) 2018-09-28
CN110493606B (zh) 2021-10-08
CN107360437B (zh) 2019-11-19
RU2633140C2 (ru) 2017-10-11
JP6399366B2 (ja) 2018-10-03
US20150304657A1 (en) 2015-10-22
BR122018013415B1 (pt) 2021-05-04
JP6471911B2 (ja) 2019-02-20
CN110611822B (zh) 2021-10-01
TWI632808B (zh) 2018-08-11
TWI667913B (zh) 2019-08-01
CN107360438B (zh) 2020-04-17
CN104221389A (zh) 2014-12-17
JPWO2013150945A1 (ja) 2015-12-17
MX339915B (es) 2016-06-17
US10887590B2 (en) 2021-01-05
CN107360436B (zh) 2020-04-17
CN108600770B (zh) 2019-11-19
JP6399367B2 (ja) 2018-10-03
CN110611822A (zh) 2019-12-24
WO2013150945A1 (ja) 2013-10-10
CN107360438A (zh) 2017-11-17
JP6521013B2 (ja) 2019-05-29
MX352719B (es) 2017-12-06
JP2017073820A (ja) 2017-04-13
US20190327468A1 (en) 2019-10-24
US20170289544A1 (en) 2017-10-05
TWI581623B (zh) 2017-05-01
MX2014011602A (es) 2014-11-21
TWI569625B (zh) 2017-02-01
JP2017073821A (ja) 2017-04-13
US10419756B2 (en) 2019-09-17
BR112014024265B1 (pt) 2018-09-25
CN110493606A (zh) 2019-11-22
TW201720168A (zh) 2017-06-01
CN110611823B (zh) 2021-10-08
CN110740336A (zh) 2020-01-31
JP2018026837A (ja) 2018-02-15
JP2016184963A (ja) 2016-10-20
CN110493605B (zh) 2021-10-08
JP6064999B2 (ja) 2017-01-25
CN107360436A (zh) 2017-11-17
TW201720169A (zh) 2017-06-01
RU2014139416A (ru) 2016-04-20
CN107360439A (zh) 2017-11-17
CN110493605A (zh) 2019-11-22
CN107360439B (zh) 2019-11-19
JP2019054558A (ja) 2019-04-04
CN104221389B (zh) 2017-09-19

Similar Documents

Publication Publication Date Title
TWI581623B (zh) Image processing apparatus and method, program, and recording medium
TWI519138B (zh) An image processing apparatus, an image processing method, a program, and a recording medium
TWI535222B (zh) Image processing apparatus and method
WO2014156708A1 (ja) 画像復号装置および方法
RU2737038C2 (ru) Устройство и способ обработки изображений