TWI824940B - 影像處理裝置、及影像處理方法 - Google Patents

影像處理裝置、及影像處理方法 Download PDF

Info

Publication number
TWI824940B
TWI824940B TW112106039A TW112106039A TWI824940B TW I824940 B TWI824940 B TW I824940B TW 112106039 A TW112106039 A TW 112106039A TW 112106039 A TW112106039 A TW 112106039A TW I824940 B TWI824940 B TW I824940B
Authority
TW
Taiwan
Prior art keywords
filter
color difference
aforementioned
condition
deblocking filter
Prior art date
Application number
TW112106039A
Other languages
English (en)
Other versions
TW202325024A (zh
Inventor
池田優
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202325024A publication Critical patent/TW202325024A/zh
Application granted granted Critical
Publication of TWI824940B publication Critical patent/TWI824940B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

[課題] 提供影像處理裝置、及影像處理方法。 [解決手段]一種影像處理裝置，係具備電路，其係被構成為：以已被本地解碼之解碼影像之區塊交界為對象，基於使用U色差成分之轉換係數和V色差成分之轉換係數而被算出的交界強度，來分別判定對前記解碼影像之U及V之各色差成分的去區塊濾波器適用要否；基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器；使用已被前記濾波部適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼。

Description

影像處理裝置、及影像處理方法
本揭露係有關於影像處理裝置、及影像處理方法。
在映像編碼方式的標準規格之1的H.265/HEVC中，為了抑制編碼之際所產生的區塊失真所造成的的畫質劣化，會對解碼影像之區塊交界適用去區塊濾波器。在H.265/HEVC中，可對亮度成分做適用的去區塊濾波器係有弱濾波器與強濾波器之2種類，而另一方面，可對色差成分做適用的去區塊濾波器係只有弱濾波器之1種類。
又，目前，以比H.265/HEVC更為提升編碼效率為目的，藉由ITU-T與ISO/IEC之共同的標準化團體也就是JVET(Joint Video Experts Team)，屬於次世代的映像編碼方式也就是FVC(Future Video Coding)的標準化作業正在進行(例如參照非專利文獻1)。
在FVC的標準化作業中，係於下記非專利文獻2中，將可對色差成分做適用的去區塊濾波器，與可對亮度成分做適用的去區塊濾波器同樣地變更成2種類，即使對色差成分也可適用強濾波器的手法，係被提出。 [先前技術文獻] [非專利文獻]
[非專利文獻1] J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model (JEM7)”, JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017 [非專利文獻2] Seung-Hwan Kim, Jie Zhao, Misra Kiran and Andrew Segall, “Improvement of chroma deblocking filter”, JVET-D0108, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21 October 2016
[發明所欲解決之課題]
如上記的去區塊濾波器之適用要否，係使用區塊交界之交界強度而被判定，區塊交界之交界強度的算出，係不使用色差成分之資訊，而是基於亮度成分之資訊而被進行。可是，對解碼影像之色差成分的去區塊濾波器之適用要否，若使用基於亮度成分之資訊而被特定的交界強度來做判定，則無法適切地適用去區塊濾波器，恐怕會導致區塊失真殘留。
於是，在本揭露中係提出，可對解碼影像之色差成分，較適切地適用去區塊濾波器的機制。 [用以解決課題之手段]
若依據本揭露，則可提供一種影像處理裝置，其係具備：解碼部，係將編碼串流進行解碼而生成解碼影像；和判定部，係以前記解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否；和濾波部，係基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器。
又，若依據本揭露，則可提供一種影像處理方法，其係含有：將編碼串流進行解碼而生成解碼影像的步驟；和以前記解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否的步驟；和基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器的步驟。
又，若依據本揭露，則可提供一種影像處理裝置，係具備：判定部，係以已被本地解碼之解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否；和濾波部，係基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器；和編碼部，係使用已被前記濾波部適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼。
又，若依據本揭露，則可提供一種影像處理方法，其係含有：以已被本地解碼之解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否的步驟；和基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器的步驟；和使用已被適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼的步驟。 [發明效果]
如以上說明，若依據本揭露，則可對解碼影像之色差成分，較適切地適用去區塊濾波器。
此外，上記效果並不一定是限定性的，亦可連同上記效果、或取代上記效果，而達成本說明書所揭露之效果、或根據本說明書所能掌握的其他效果。
以下，一邊參照添附圖式，一邊詳細說明本揭露的理想實施形態。此外，於本說明書及圖面中，關於實質上具有同一機能構成的構成要素，係標示同一符號而省略重複說明。
又，本說明書中所揭露的範圍，係不限定於實施例的內容，於申請當時所公知的以下之參考文獻REF1～REF3的內容，也是藉由參照而被納入在本說明書中。亦即，以下的參考文獻REF1～REF3中所記載之內容也是作為在判斷支持要件之際的根據。例如，參考文獻REF2中所記載之Quad-Tree Block Structure、參考文獻REF3中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure，即使在發明的詳細說明中未被直接定義的情況下，仍是屬於本揭露之範圍內，而滿足專利申請範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使在發明的詳細說明中未被直接定義的情況下，仍是屬於本揭露之範圍內，而滿足專利申請範圍的支持要件。
又，以下若無特別記載的情況下，是以YUV420格式之訊號為例進行說明，將亮度成分表示成Y成分，將色差成分表示成U成分、V成分。但是，以下所說明的技術，係即使對於YUV444格式或YUV422格式等其他格式之訊號，也能同樣地適用。又，亮度成分與色差成分之表現，係隨著身為對象的訊號而不同，例如即使對於亮度成分與色差成分是以YCbCr而被表現的訊號，仍可同樣地適用以下所說明的技術。
又，本說明書中所使用的以下之用語，係被定義如下。 所謂色差關連參數，係意味著關連於色差的所有參數。例如，色差關連參數係可包含有：各TU(Transform Unit)中所含之色差成分之轉換係數、或表示各TU中的色差成分之有義係數(非零之轉換係數)之有無的旗標等，色差成分之轉換係數之相關資訊。但是，色差關連參數係不限定於所述例子，也可以是關連於色差的各式各樣的參數。 所謂去區塊濾波器適用要否，係意味著是否必須要適用去區塊濾波器。例如所謂判定去區塊濾波器適用要否，係意味著判定是否必須要適用去區塊濾波器。又，所謂去區塊濾波器適用要否之判定結果，係為判定是否必須要適用去區塊濾波器之後的結果，該當判定結果係可為例如：表示必須適用、或者不適用也無妨，之任一者的資訊。 所謂大型區塊判定，係意味著身為判定對象之區塊是否為大的區塊之判定。本說明書中，身為判定對象之區塊，係如後述，可以是夾著區塊交界的區塊。又，大型區塊判定，係可藉由將區塊之大小(區塊尺寸)與所定之閾值做比較而進行之。此外，關於大型區塊判定被進行的案例、或大型區塊判定之細節，將於後述。
此外，說明是按照以下順序進行。 1.概要 1-1.既存的去區塊濾波器 1-2.本揭露所涉及之技術的概要 2.裝置的概要 2-1.影像編碼裝置 2-2.影像解碼裝置 3.去區塊濾波器 3-1.構成例 3-2.處理的流程 3-3.變形例 4.硬體構成例 5.總結
＜1.概要＞ [1-1.既存的手法]
HEVC等之既存的影像編碼方式中的去區塊濾波器所涉及之處理，係包含：適用要否判定處理、濾波器強度之判定處理、及濾波處理(濾波器適用處理)。以下，針對既存的去區塊濾波器所涉及之處理，以HEVC的去區塊濾波器為例做說明。此外，以下主要說明針對解碼影像(也包含在編碼時已被本地解碼之影像)之色差成分的去區塊濾波器，關於針對解碼影像之亮度成分的去區塊濾波器的說明係適宜省略。
作為去區塊濾波器所涉及之處理，首先會進行適用要否判定處理。適用要否判定處理，係為判定對解碼影像之區塊交界(Block Boundary)是否必須要適用去區塊濾波器的處理。此外，於HEVC中，區塊交界，係基於參考文獻REF2中所記載之Quad-Tree Block Structure之區塊結構，而被特定。具體而言，最小之區塊單位也就是8×8像素區塊(樣本網格)之邊緣之中，滿足了係為TU (Transform Unit)交界或是PU(Prediction Unit)交界之其中至少一方的此一條件的邊緣，係被特定成為HEVC中的區塊交界。
適用要否判定處理，係基於區塊交界之交界強度(Boundary Strength：以下有時候稱之為bS)而被進行。於HEVC中，bS係針對已被特定之區塊交界的每4像素線，而被算出。若區塊交界為垂直交界，則上記像素線係相當於與垂直交界正交的行。又，若區塊交界為水平交界，則上記像素線係相當於與水平交界正交的列。
圖1係用來說明HEVC中的bS之算出所需的表。如圖1所示，於HEVC中，bS係基於：畫面內預測之相關條件的條件A、Y成分之有義係數之相關條件的條件B1、及運動向量(MV)與參照圖像之相關條件的條件B2之真偽(滿足或不滿足)，而被算出。參照圖1，若條件A為真則bS係被設定成2。又，若條件A為偽，條件B1、條件B2之其中至少一方為真，則bS係被設定成1。然後，若條件A、條件B1、及條件B2均為偽則bS係被設定成0。此外，圖1所示的條件A、條件B1、條件B2，係為如下的條件。
-條件A：將bS算出對象之像素線之中位於最上方之像素線之像素予以包含且夾著區塊交界的CU(Coding Unit)之中，至少任一方之編碼模式係為畫面內預測模式 -條件B1：區塊交界係為TU交界，將bS算出對象之像素線之中位於最上方之像素線之像素予以包含且夾著區塊交界的2個TU之中，至少任一方中存在有Y成分之有義係數 -條件B2：將bS算出對象之像素線之中位於最上方之像素線之像素予以包含且夾著區塊交界的2個CU之間，MV之差的絕對值為1像素以上，或者，運動補償之參照圖像為不同、或MV之數量為不同
甚至，於HEVC中，是以如上記所被設定的bS為1以上的區塊交界為對象，對解碼影像之亮度成分(Y成分)可適用去區塊濾波器。因此，於HEVC中，隨著條件B1、條件B2是否有被滿足，對解碼影像之亮度成分的去區塊濾波器之適用要否之判定結果可能會不同。
此外，於HEVC中，作為對解碼影像之亮度成分的去區塊濾波器，準備了濾波器強度較大的強濾波器、和濾波器強度較小的弱濾波器。bS為1以上的情況下，對解碼影像之亮度成分的去區塊濾波器之相關處理，係在基於更進一步之條件的更進一步之適用要否判定處理被進行之後，接著進行濾波器強度之判定處理、濾波處理。有關這些處理的細節係被記載於上記參考文獻REF2中，這裡省略其說明。
另一方面，針對HEVC中的解碼影像之色差成分(U成分、V成分)的去區塊濾波器，係只以bS為2的區塊交界為對象而被適用。因此，如圖1所示，條件B1、條件B2是否有被滿足，於HEVC中，對於對解碼影像之色差成分的去區塊濾波器之適用要否判定，不會造成影響。
又，於HEVC中，可對解碼影像之色差成分做適用的去區塊濾波器，係只有弱濾波器。因此，關於解碼影像之色差成分，不需要濾波器強度之判定處理，在bS為2的情況下，係對解碼影像之色差成分適用弱濾波器。
順便一提，如上記參考文獻REF3所記載，FVC中的QTBT Block Structure所致之區塊分割中，是比HEVC中的Quad-Tree Block Structure所致之區塊分割，可能會選擇更大尺寸之區塊。平坦領域(領域內的像素值之變化較小之領域)中的區塊之尺寸為較大的情況下，容易發生區塊失真。因此，在可能會選擇較大尺寸之區塊的FVC中，若與HEVC同樣地把可對解碼影像之色差成分做適用的去區塊濾波器只設成弱濾波器的情況下，則在色差成分中，恐怕會有顯著的區塊失真殘留。有鑑於如此狀況，期望能改善對解碼影像之色差成分的去區塊濾波器。
例如，在非專利文獻2中，將可對色差成分做適用的去區塊濾波器，與可對亮度成分做適用的去區塊濾波器同樣地變更成2種類，即使對色差成分也可適用強濾波器的手法，係被提出。又，在非專利文獻2中係記載，不只在bS為2的情況下，就連在bS為1的情況下，也可對解碼影像之色差成分適用去區塊濾波器。
圖2係用來說明非專利文獻2中的bS之算出所需的表。如圖2所示，於非專利文獻2中，與圖2所示的HEVC之例子同樣地，基於上述的條件A、條件B1、條件B2而算出bS。但是，如上述，在非專利文獻2中，不只在bS為2的情況下，就連在bS為1的情況下，也可對解碼影像之色差成分適用去區塊濾波器。因此，如圖2所示，於非專利文獻2中，隨著條件B1、條件B2是否有被滿足，對解碼影像之色差成分(U成分、V成分)的去區塊濾波器之適用要否之判定結果可能會不同。
以下針對非專利文獻2中關於可對解碼影像之色差成分做適用的去區塊濾波器的，適用要否判定處理、濾波器強度之判定處理、及濾波處理，一面參照圖3一面加以說明。圖3係夾著垂直之區塊交界BB而相鄰的，2個區塊Bp及區塊Bq內的色差成分(U成分、V成分)的像素之一例的說明圖。此外，此處雖然是以垂直交界為例做說明，但想當然爾，這裡所說明的事項也可同樣地適用於水平交界。又，圖3中雖然圖示了，於色差成分中區塊Bp及區塊Bq是4×4的例子，但此處所說明的事項，係也可同樣地適用於其他尺寸的區塊。
於圖3的例子中，區塊Bp內的色差成分之像素，係以p i,j此一記號來表示。i係為列的索引，j係為行的索引。列的索引i，係從靠近區塊交界BB的列起依序(圖中從左往右)被編號為0、1、2、3。行的索引j，係從上往下被編號為0、1、2、3。另一方面，區塊Bq內的色差成分之像素，係以q k,j此一記號來表示。k係為列的索引，j係為行的索引。列的索引k，係從靠近區塊交界BB的列起依序(圖中從右往左)被編號為0、1、2、3。
如參照圖2所說明般地算出bS後，如以下般地使用3個條件，來進行適用要否判定處理、及濾波器強度之判定處理。所述的處理，係在YUV420格式的情況下，是對色差成分中的每2像素線而進行，例如在圖3所示的例子中係為，關於像素線L11與像素線L12的判定、與關於像素線L21與像素線L22的判定，係被分別進行。此外，每一像素線之判定，係使用判定對象之像素線之像素而被進行。以下，以像素線L11與像素線L12為例，說明適用要否判定處理、濾波器強度之判定處理、及濾波處理。
首先，在適用要否判定處理中，會依序判定以下的條件C91、及條件C92是否為真。
-條件C91： -條件C92：
此外，上記的條件C91中block_width、及block_height，係如圖3所示，分別是身為判定對象之區塊交界所涉及之區塊(例如CU)的水平方向之尺寸與垂直方向之尺寸。
又，上記條件C92中的變數beta，係為邊緣判定閾值，變數beta之初期值，係隨著量化參數而被給定。又，變數beta之值，係可用切片標頭內的參數而由使用者做指定。又，上記條件C92中的變數d，係藉由以下的式(1)～(7)而被算出。
此外，上記條件C92，係除了所被參照的像素線為不同以外，其餘是和HEVC中對亮度成分做適用的去區塊濾波器之適用要否判定處理中所被使用的條件(以下稱為亮度成分之條件)相同。亮度成分之條件中第1條像素線之像素與第4條像素線之像素會被參照，而每4條像素線地進行判定。另一方面，在YUV420格式中，色差成分(U成分、V成分)的像素密度係為亮度成分的像素密度的一半，因此在上記條件C92中，第1條像素線也就是像素線L11之像素與第2條像素線也就是像素線L12之像素會被參照而每2條像素線地進行判定。
上記條件C91、條件C92之其中至少一方為偽的情況下，則對解碼影像之色差成分不適用去區塊濾波器。另一方面，上記條件C91、條件C92之雙方均為真的情況下，處理係往濾波器強度之判定處理前進。
在濾波器強度之判定處理中，在強濾波器與弱濾波器之中，為了判定要適用哪個濾波器，而會判定以下之條件C93是否為真。
-條件C93：
此外，上記的條件C93中的block_width、及block_height，係與條件C91中的block_width、及block_height同樣地，分別是身為判定對象之區塊交界所涉及之區塊的水平方向之尺寸與垂直方向之尺寸。
上記條件C93為真的情況下，則於身為對象之區塊交界中對解碼影像之色差成分會適用強濾波器，上記條件C93為偽的情況下，則於身為對象之區塊交界中對解碼影像之色差成分會適用弱濾波器。
於非專利文獻2中對色差成分做適用的強濾波器，係與於HEVC中對亮度成分做適用的強濾波器相同，可被表示成如以下的式(8)～(13)。
此外，於上記的式(8)～(13)中，p i、及q k係為去區塊濾波器適用前的色差成分之像素值。又，p i'、及q k'係為去區塊濾波器適用後的色差成分之像素值。此處，i及k係分別為上述的區塊Bp、區塊Bq內的列的索引，在式(8)～(13)中，行的索引係被省略。又，t C係為隨著量化參數而被給定的參數。又，Clip3(a,b,c)係表示，將值c以a≦c≦b之範圍予以限幅的限幅處理。
非專利文獻2中對色差成分做適用的弱濾波器，係與HEVC中對色差成分做適用的弱濾波器相同，因此這裡省略說明。
以上說明了，於非專利文獻2中可對解碼影像之色差成分做適用的去區塊濾波器之相關處理。若依據上述的手法，則不只對亮度成分，就連對色差成分，也可隨著條件而適用強濾波器。
可是，如參照圖2所說明，於非專利文獻2中bS之算出時所使用的條件B1係與HEVC之情況同樣地會依存於亮度成分(Y成分)之有義係數之有無，就算包含其他的條件，色差成分(U成分、V成分)之資訊係未被使用。可是，亮度成分的空間模態與各色差成分的空間模態，係並不一定會一致。因此，對色差成分的去區塊濾波器之適用要否之判定，若是依照以亮度成分之資訊為基礎的條件來進行，則無論區塊失真是否有發生，都無法適切地適用去區塊濾波器，恐怕會導致區塊失真殘留。
又，bS為1的情況下，於非專利文獻2中為了使適用要否判定處理中所使用的條件C91為真，身為判定對象之區塊交界所涉及之區塊的水平方向之尺寸與垂直方向之尺寸之雙方都必須大於16。可是，如參考文獻REF3中所記載，FVC中的區塊(例如CU)的形狀，係不只有正方形，也可能為非正方形的長方形。而且，區塊失真係為，比起與區塊交界相同方向的尺寸，反而傾向是更容易依存於與區塊交界正交之方向的尺寸而發生。因此，隨著區塊的形狀，就非專利文獻2的適用要否判定處理而言，可能無法適切地適用去區塊濾波器，恐怕導致區塊失真殘留。
又，非專利文獻2中的強濾波器，係與於HEVC中所被適用的強濾波器相同。另一方面，如上述，在FVC中，相較於HEVC中的區塊分割，有可能會選擇更大尺寸的區塊，因此即使適用非專利文獻2中的強濾波器，恐怕仍無法充分地減輕區塊失真。
[1-2.本揭露之一實施形態的概要] 於是，以上記事情為一著眼點，而創作出本揭露之一實施形態。本揭露之一實施形態所述之影像處理裝置，係基於使用關連於解碼影像之色差的色差關連參數而被算出的交界強度(bS)，來進行判定對解碼影像之色差成分的去區塊濾波器適用之要否的適用要否判定處理。以下說明本揭露之一實施形態的概要。
圖4係用來說明本實施形態中的bS之算出所需的表。如圖4所示，基於畫面內預測之相關條件的條件A、Y成分之有義係數之相關條件的條件B1-Y、U成分之有義係數之相關條件的條件B1-U、V成分之有義係數之相關條件的條件B1-V、及MV與參照圖像之相關條件的條件B2，而被算出。
參照圖4，若條件A為真則bS係被設定成16。又，若條件A為偽，條件B2為真，則bS係被設定成1。然後，若條件A與條件B2為偽，且條件B1-Y、條件B1-U、及條件B1-V之其中任1者均為真，則bS係被設定成2～14之間的值。然後，若條件A、條件B1-Y、條件B1-U、條件B1-V、及條件B2均為偽，則bS係被設定成0。此外，圖4所示的條件A、條件B1-Y、條件B2，係分別與參照圖1所說明的條件A、條件B1、條件B2相同。又，關於本實施形態所述之bS之算出方法，將在後面更詳細說明。
又，圖4所示的條件B1-U、及條件B1-V，係取代掉條件B1-Y中的Y成分之有義係數之有無，分別改為相當於在判定U成分之有義係數之有無、及V成分之有義係數之有無時所使用的條件，可被表現如下。此外，以下的條件B1-U、及條件B1-V之真偽，係可基於表示各TU中的色差成分之有義係數之有無的旗標(色差關連參數之一例)，而做判定。
-條件B1-U：區塊交界係為TU交界，將bS算出對象之像素線之中位於最上方之像素線之像素予以包含且夾著區塊交界的2個TU之中，至少任一方中存在有U成分之有義係數 -條件B1-V：區塊交界係為TU交界，將bS算出對象之像素線之中位於最上方之像素線之像素予以包含且夾著區塊交界的2個TU之中，至少任一方中存在有V成分之有義係數
在本實施形態中，是基於使用如上記的關連於色差的條件B1-U、條件B1-V而被算出的bS，來進行對解碼影像之色差成分的去區塊濾波器適用要否之判定。藉由所述構成，就可對色差成分較適切地適用去區塊濾波器。
又，在本實施形態中，如後述，還會基於與區塊交界正交之方向的尺寸，來進行對解碼影像之色差成分的去區塊濾波器適用要否之判定。藉由所述構成，就算區塊的形狀是非正方形的長方形的情況下，仍可較適切地適用去區塊濾波器。
又，在本實施形態中，如後述，比非專利文獻2中的強濾波器強度還大(堅固特性較強)的強濾波器，係可對解碼影像之色差成分做適用。又，為了較適切地適用所述之強濾波器，在本實施形態中，是以和非專利文獻2中的濾波器強度之判定處理不同的方法，來進行濾波器強度之判定。藉由所述構成，可較減輕區塊失真。
以上說明了本揭露之一實施形態的概要。以下，針對用來實現上述效果所需的，本實施形態的構成、及動作，依序詳細說明。
＜2.裝置的概略構成＞ 首先，使用圖5及圖6，說明作為可適用本說明書中所揭露之技術之一例的裝置的概略構成。本說明書中所揭露之技術係可適用於例如影像編碼裝置及影像解碼裝置。
[2-1.影像編碼裝置] 圖5係本揭露之一實施形態所述之影像處理裝置之一態樣的影像編碼裝置10的構成之一例的區塊圖。
參照圖5，影像編碼裝置10係具備：排序緩衝區11、控制部12、減算部13、正交轉換部14、量化部15、可逆編碼部16、積存緩衝區17、逆量化部21、逆正交轉換部22、加算部23、迴圈內濾波器24、畫格記憶體30、開關31、模式設定部32、畫面內預測部40及畫面間預測部50。
排序緩衝區11，係將構成應編碼之映像的一連串之影像，隨應於編碼處理所涉及之GOP(Group of Pictures)結構而予以排序。排序緩衝區11，係將排序後之影像，輸出至控制部12、減算部13、畫面內預測部40、及畫面間預測部50。
控制部12，係基於外部、或預先指定之處理單位之區塊尺寸，而將影像分割成處理單位之區塊。藉由控制部12所致之區塊分割，Quad-Tree Block Structure、或QTBT(Quad Tree Plus Binary Tree) Block Structure之CU係亦可被當作處理單位而被形成。又，控制部12，係將編碼處理所涉及之參數，例如基於RDO(Rate-Distortion Optimization)而加以決定。已被決定之參數，係被供給至各部。
減算部13，係算出從排序緩衝區11所輸入之影像與預測影像的差分亦即預測誤差，將所算出的預測誤差，輸出至正交轉換部14。
正交轉換部14，係針對各領域內所被設定的1個以上之轉換區塊(TU)之每一者，執行正交轉換處理。這裡的正交轉換係可為例如離散餘弦轉換或離散正弦轉換等。更具體而言，正交轉換部14，係將從減算部13所輸入之預測誤差，每一轉換區塊地，從空間領域之影像訊號轉換成頻率領域之轉換係數。然後，正交轉換部14，係將轉換係數輸出至量化部15。
又，正交轉換部14，係亦可基於正交轉換所得到的轉換係數，而將表示各TU中的有義係數之有無的旗標，按照每一成分(按照Y成分、U成分、V成分)而加以生成，輸出至可逆編碼部16及迴圈內濾波器24。此外，被正交轉換部14所生成的，表示各TU中的U成分之有義係數之有無的旗標、及表示各TU中的V成分之有義係數之有無的旗標，係被包含在色差關連參數中。
對量化部15係供給著，從正交轉換部14所輸入的轉換係數，及從後面說明之速率控制部18所送來的速率控制訊號。量化部15係將轉換係數予以量化，將量化後之轉換係數(以下亦稱為量化資料)輸出至可逆編碼部16及逆量化部21。又，量化部15係基於來自速率控制部18的速率控制訊號來切換量化尺度，就可改變被輸入至可逆編碼部16的量化資料的位元速率。
可逆編碼部16，係藉由將從量化部15所輸入之量化資料予以編碼，而生成編碼串流。又，可逆編碼部16，係將被解碼器所參照的各式各樣的參數予以編碼，並將編碼參數插入至編碼串流。被可逆編碼部16所編碼的參數，係可包含有上述的已被控制部12所決定之參數。
甚至，被可逆編碼部16所編碼的參數，係可包含有色差關連參數。被可逆編碼部16所編碼的色差關連參數，係含有例如如上述般地從正交轉換部14所輸入之表示各TU中的U成分之有義係數之有無的旗標、及表示各TU中的V成分之有義係數之有無的旗標。可逆編碼部16係將已生成之編碼串流，輸出至積存緩衝區17。
積存緩衝區17，係將從可逆編碼部16所輸入之編碼串流，使用半導體記憶體等之記憶媒體而予以暫時積存。然後，積存緩衝區17，係將已積存之編碼串流，以符合傳輸路之頻寬的速率，輸出至未圖示的傳輸部(例如通訊介面或與周邊機器之連接介面等)。
速率控制部18，係監視著積存緩衝區17的剩餘容量。然後，速率控制部18係隨應於積存緩衝區17的剩餘容量而生成速率控制訊號，將所生成之速率控制訊號，輸出至量化部15。例如，速率控制部18係當積存緩衝區17之剩餘容量較少時，則生成用來降低量化資料之位元速率用的速率控制訊號。又，例如，速率控制部18係當積存緩衝區17之剩餘容量夠大時，則生成用來提高量化資料之位元速率用的速率控制訊號。
逆量化部21、逆正交轉換部22及加算部23，係構成本地解碼器。本地解碼器係具有，從已被編碼之資料將解碼影像進行本地解碼的功能。
逆量化部21，係以與已被量化部15所使用之相同的量化參數而將量化資料進行逆量化，將轉換係數予以復原。然後，逆量化部21係將已復原的轉換係數，輸出至逆正交轉換部22。
逆正交轉換部22，係針對從逆量化部21所輸入之轉換係數，執行逆正交轉換處理，而將預測誤差予以復原。然後，逆正交轉換部22係將已復原之預測誤差，輸出至加算部23。
加算部23，係藉由將從逆正交轉換部22所輸入之已被復原之預測誤差與從畫面內預測部40或畫面間預測部50所輸入之預測影像，進行加算，以生成解碼影像(重建影像)。然後，加算部23，係將已生成之解碼影像，輸出至迴圈內濾波器24及畫格記憶體30。
迴圈內濾波器24，係以解碼影像的畫質提升為目的而適用一連串之迴圈內濾波器。例如，亦可如參考文獻REF3之「2.5. In-loop filtering」中所記載，有4個迴圈內濾波器，是按照雙邊濾波器、去區塊濾波器、適應偏置濾波器、及適應迴圈濾波器之順序，而被適用。圖5所示的迴圈內濾波器24，係含有例如雙邊濾波器25、去區塊濾波器26a、適應偏置濾波器27、及適應迴圈濾波器28，上記4個迴圈內濾波器係可被依序適用。然而，迴圈內濾波器24係不限定於所述構成，在4個迴圈內濾波器之中，要適用哪個濾波器，又，要以何種順序來做適用，都可適宜地選擇。此外，關於去區塊濾波器26a，係在後面詳細說明。
迴圈內濾波器24，係將已被適用迴圈內濾波器的解碼影像，輸出至畫格記憶體30。
畫格記憶體30，係將從加算部23所輸入之過濾前的解碼影像、及從迴圈內濾波器24所輸入之已被適用迴圈內濾波器的解碼影像，使用記憶媒體而加以記憶。
開關31，係將為了畫面內預測而被使用之過濾前的解碼影像，從畫格記憶體30予以讀出，將已讀出之解碼影像當作參照影像而供給至畫面內預測部40。又，開關31，係將為了畫面間預測而被使用之過濾後的解碼影像，從畫格記憶體30予以讀出，將已讀出之解碼影像當作參照影像而供給至畫面間預測部50。
模式設定部32，係基於從畫面內預測部40及畫面間預測部50所輸入之成本之比較，而每一區塊地設定預測編碼模式。模式設定部32，係針對已設定畫面內預測模式的區塊，將被畫面內預測部40所生成的預測影像，輸出至減算部13及加算部23，並且將畫面內預測之相關資訊，輸出至可逆編碼部16。又，模式設定部32，係針對已設定畫面間預測模式的區塊，將被畫面間預測部50所生成的預測影像，輸出至減算部13及加算部23，並且將畫面間預測之相關資訊，輸出至可逆編碼部16。
畫面內預測部40，係基於原影像及解碼影像，而執行畫面內預測處理。例如，畫面內預測部40，係針對探索範圍中所含之預測模式候補之每一者，根據預測誤差及所發生的編碼量而評估成本。接著，畫面內預測部40，係將成本為最小的預測模式，選擇成為最佳的預測模式。又，畫面內預測部40，係依照已選擇之最佳的預測模式而生成預測影像。然後，畫面內預測部40，係將含有表示最佳預測模式的預測模式資訊的畫面內預測之相關資訊、對應之成本、及預測影像，輸出至模式設定部32。
畫面間預測部50，係基於原影像及解碼影像，而執行畫面間預測處理(運動補償)。例如，畫面間預測部50，係針對某探索範圍中所含之預測模式候補之每一者，根據預測誤差及所發生的編碼量而評估成本。接著，畫面間預測部50，係將成本為最小的預測模式，亦即壓縮率會是最高的預測模式，選擇成為最佳的預測模式。又，畫面間預測部50，係依照已選擇之最佳的預測模式而生成預測影像。然後，畫面間預測部50，係將畫面間預測之相關資訊、對應之成本、及預測影像，輸出至模式設定部32。
[2-2.影像解碼裝置] 接下來，說明如以上所被編碼的資料之解碼。圖6係本實施形態所述之影像處理裝置之一態樣的影像解碼裝置60的構成之一例的區塊圖。參照圖6，具備：積存緩衝區61、可逆解碼部62、逆量化部63、逆正交轉換部64、加算部65、迴圈內濾波器66、排序緩衝區72、D/A(Digital to Analogue)轉換部73、畫格記憶體80、選擇器81a及81b、畫面內預測部90以及畫面間預測部100。
積存緩衝區61，係將透過未圖示的傳輸部(例如通訊介面或與週邊機器之連接介面等)而從影像編碼裝置10所接收之編碼串流，使用記憶媒體而予以暫時積存。
可逆解碼部62，係將從積存緩衝區61所輸入之編碼串流，依照編碼之際所使用過的編碼方式來進行解碼，生成量化資料。可逆解碼部62，係將已生成之量化資料，輸出至逆量化部63。
又，可逆解碼部62，係從編碼串流，剖析各種參數。被可逆解碼部62所剖析的參數係可包含例如：畫面內預測之相關資訊、及畫面間預測之相關資訊。可逆解碼部62，係將畫面內預測之相關資訊，輸出至畫面內預測部90。又，可逆解碼部62，係將畫面間預測之相關資訊，輸出至畫面間預測部100。
又，被可逆解碼部62所剖析的參數，係可包含有色差關連參數。可逆解碼部62，係將色差關連參數，輸出至迴圈內濾波器66。此外，被可逆解碼部62所剖析的色差關連參數係包含有例如：上述的表示各TU中的U成分之有義係數之有無的旗標、及表示各TU中的V成分之有義係數之有無的旗標。
逆量化部63，係將從可逆解碼部62所輸入之量化資料，以與編碼之際所使用之相同的量化步驟進行逆量化，將轉換係數予以復原。逆量化部63，係將已復原之轉換係數，輸出至逆正交轉換部64。
逆正交轉換部64係依照編碼之際所使用的正交轉換方式，針對從逆量化部63所被輸入之轉換係數，進行逆正交轉換，藉此以生成預測誤差。逆正交轉換部64，係將已生成之預測誤差，輸出至加算部65。
加算部65，係藉由將從逆正交轉換部64所輸入之預測誤差、與從選擇器71b所輸入之預測影像，進行加算，以生成解碼影像。然後，加算部65，係將已生成之解碼影像，輸出至迴圈內濾波器66及畫格記憶體80。
迴圈內濾波器66，係以解碼影像的畫質提升為目的而適用一連串之迴圈內濾波器。例如，亦可如參考文獻REF3之「2.5. In-loop filtering」中所記載，有4個迴圈內濾波器，是按照雙邊濾波器、去區塊濾波器、適應偏置濾波器、及適應迴圈濾波器之順序，而被適用。圖6所示的迴圈內濾波器66，係含有例如雙邊濾波器67、去區塊濾波器26b、適應偏置濾波器69、及適應迴圈濾波器70，上記4個迴圈內濾波器係可被依序適用。然而，迴圈內濾波器66係不限定於所述構成，在4個迴圈內濾波器之中，要適用哪個濾波器，又，要以何種順序來做適用，都可適宜地選擇。此外，關於去區塊濾波器26b，係在後面詳細說明。
迴圈內濾波器66，係將已被迴圈內濾波器的解碼影像，輸出至排序緩衝區72及畫格記憶體80。
排序緩衝區72，係從迴圈內濾波器66所輸入之影像予以排序，藉此以生成時間序列的一連串之影像。然後，排序緩衝區72係將已生成之影像，輸出至D/A轉換部73。
D/A轉換部73，係將從排序緩衝區72所輸入之數位形式的影像，轉換成類比形式的影像訊號。然後，D/A轉換部73係例如藉由對與影像解碼裝置60連接之顯示器(未圖示)輸出類比影像訊號，以顯示映像。
畫格記憶體80，係將從加算部65所輸入之過濾前的解碼影像、及從迴圈內濾波器66所輸入之已被適用迴圈內濾波器的解碼影像，使用記憶媒體而加以記憶。
選擇器81a，係隨應於由可逆解碼部62所取得的預測模式資訊，而對影像內的每一區塊，將來自畫格記憶體80的影像之輸出目標，在畫面內預測部90與畫面間預測部100之間做切換。例如，選擇器81a係當畫面內預測模式已被指定時，則將從畫格記憶體80所供給之過濾前的解碼影像，當作參照影像而輸出至畫面內預測部90。又，選擇器81a，係在畫面間預測模式是已被指定的情況下，係將濾波後的解碼影像當作參照影像而輸出至畫面間預測部100。
選擇器81b，係隨應於由可逆解碼部62所取得的預測模式資訊，而將應供給至加算部65的預測影像之輸出來源，在畫面內預測部90與畫面間預測部100之間做切換。例如，選擇器81b係在畫面內預測模式已被指定的情況下，則將從畫面內預測部90所輸出之預測影像，供給至加算部65。又，選擇器81b，係在畫面間預測模式是已被指定的情況下，則將從畫面間預測部100所輸出之預測影像，供給至加算部65。
畫面內預測部90，係基於從可逆解碼部62所輸入之畫面內預測之相關資訊和來自畫格記憶體80的參照影像而進行畫面內預測處理，生成預測影像。然後，畫面內預測部90係將已生成之預測影像，輸出至選擇器81b。
畫面間預測部100，係基於從可逆解碼部62所輸入之畫面間預測之相關資訊和來自畫格記憶體80的參照影像而進行畫面間預測處理，生成預測影像。然後，畫面間預測部100係將已生成之預測影像，輸出至選擇器81b。
＜3.去區塊濾波器＞ [3-1.去區塊濾波器之構成例] 在本節中係說明，圖5所示的影像編碼裝置10的去區塊濾波器26a及圖6所示的影像解碼裝置60的去區塊濾波器26b的構成之一例。此外，去區塊濾波器26a及去區塊濾波器26b之構成，係可為共通。因此，在以下的說明中，在不需要特別區別兩者的情況下，係將去區塊濾波器26a及去區塊濾波器26b總稱為去區塊濾波器26。
本實施形態所述的去區塊濾波器26，係如上述，基於使用關連於色差的色差關連參數所被算出的bS，來判定對解碼影像之色差成分的去區塊濾波器適用要否。又，本實施形態所述的去區塊濾波器26，係如上述，還會基於與區塊交界正交之方向的尺寸，來判定對解碼影像之色差成分的去區塊濾波器適用要否。又，本實施形態所述的去區塊濾波器26，係如上述，可將比非專利文獻2中的強濾波器強度還大(堅固特性較強)的強濾波器，對解碼影像之色差成分做適用。又，為了較適切地適用所述之強濾波器，在本實施形態中，是以和非專利文獻2中的濾波器強度之判定處理不同的方法，來判定濾波器強度。此外，以下主要是說明，對解碼影像之色差成分做適用的去區塊濾波器所相關之去區塊濾波器26之機能，對亮度成分做適用的去區塊濾波器所相關之去區塊濾波器26之機能係適宜省略。
圖7係本實施形態所述之去區塊濾波器26的詳細構成之一例的區塊圖。參照圖7，去區塊濾波器26係具有：交界強度算出部261、判定部263、濾波部269。
(1)交界強度算出部 交界強度算出部261，係以解碼影像之區塊交界為對象，使用關連於色差的色差關連參數而算出bS(交界強度)。以YUV420格式之訊號為對象的情況下，交界強度算出部261，係以解碼影像之亮度成分中的4像素線單位，亦即解碼影像之色差成分中的2像素線單位，算出bS。
於本實施形態中交界強度算出部261在bS之算出時所使用的色差關連參數，係含有：表示各TU中的U成分之有義係數之有無的旗標、及表示各TU中的V成分之有義係數之有無的旗標。如圖7所示，對交界強度算出部261，係有表示各TU中的各成分(Y成分、U成分、V成分)之有義係數之有無的旗標，從正交轉換部14、或是可逆解碼部62而被輸入。
交界強度算出部261，係基於參照圖4所說明的條件A、條件B1-Y、條件B1-U、條件B1-V、及條件B2，而算出bS。亦即，交界強度算出部261，係基於屬於bS之算出對象也就是夾著區塊交界的TU中，是否有色差成分之有義係數存在，而算出bS。再者，本實施形態所述之交界強度算出部261，係可藉由獨立地判定在bS之算出對象也就是夾著區塊交界的TU中，是否有Y成分、U成分、V成分之各成分之有義係數存在，而算出bS。藉由所述構成，相較於如參照圖2所說明般地基於是否有Y成分之有義係數存在而算出bS，可算出適合於U成分、V成分的bS，可較適切地適用去區塊濾波器。
參照圖8，更詳細說明交界強度算出部261所致之bS之算出。圖8係被交界強度算出部261所算出的bS之一例的表。被交界強度算出部261所算出的bS，係可藉由複數位元而被表現。在圖8所示的例子中，bS係用5位元而被表現。又，亦可使得，在該當複數位元中，對應於Y成分、U成分、V成分之各成分的位元係至少各含1個的方式，而算出bS。藉由所述構成，在後述的判定部263基於bS來判定去區塊濾波器適用要否之際，藉由參照對應於身為判定對象之每一成分的bS之位元，就可容易進行判定。
又，交界強度算出部261，係亦可使得bS中所含之各位元會是對應於各條件之真偽的方式，而算出bS。在圖8所示的例子中係為，各條件為真的情況下，對應於該當條件的位元會是1，各條件為偽的情況下，對應於該當條件的位元會是0的方式，而算出bS。又，在圖8所示的例子中，bS是以5位元而被表現，bS的第5位元係對應於畫面內預測之相關條件A，bS的第4位元係對應於Y成分之有義係數之相關條件B1-Y，bS的第3位元係對應於U成分之有義係數之相關條件B1-U，bS的第2位元係對應於V成分之有義係數之相關條件B1-V，bS的第1位元係對應於MV與參照圖像之相關條件B2。但是，bS的各位元與各條件之對應，係不限定於圖8所示的例子。例如，Y成分、U成分、V成分之各成分所分別對應的bS之第4位元、第3位元、第2位元之順序係亦可被替換。
(2)判定部 判定部263，係如圖7所示，含有：判定對解碼影像之色差成分的去區塊濾波器適用要否的適用要否判定部265、和判定對該當解碼影像之色差成分做適用的去區塊濾波器之濾波器強度的濾波器強度判定部267。以下，關於適用要否判定部265、及濾波器強度判定部267之機能，依序進行說明。
此外，在以下的說明中，主要說明對解碼影像之色差成分的去區塊濾波器適用要否、及濾波器強度之判定，對亮度成分的判定係適宜省略說明。又，本實施形態所述之適用要否判定部265、及濾波器強度判定部267，係針對U成分與V成分之各者是獨立地判定去區塊濾波器適用要否、及濾波器強度。
適用要否判定部265，係以解碼影像之區塊交界為對象，基於藉由交界強度算出部261而如上述般地所被算出之bS(交界強度)，來判定對該當解碼影像之色差成分的去區塊濾波器適用要否。
又，適用要否判定部265，係亦可還基於夾著該當區塊交界的區塊之區塊尺寸來判定對該當解碼影像之色差成分的去區塊濾波器適用要否。此外，以下有時候係將基於所涉及之區塊尺寸的判定，稱呼為大型區塊判定。又，適用要否判定部265，係不需要對全部的區塊交界總是進行大型區塊判定，亦可隨著bS而決定是否進行大型區塊判定。此外，關於大型區塊判定被進行的案例、或大型區塊判定之細節，將於後述。
本實施形態所述之適用要否判定部265，係藉由以下的條件C1之判定、與條件C2之判定，而判定去區塊濾波器適用要否。
-條件C1：(bS==16||(條件C11&&條件C12)) -條件C2：d＜beta
上記的條件C1中的條件C11，係為用來判定是否進行大型區塊判定所需之條件，條件C12係為大型區塊判定所涉及之條件。bS為16的情況下，亦即畫面內預測之相關條件A被滿足的情況下，則不需要進行大型區塊判定而可判定為條件C1係為真。因此，用來判定是否進行大型區塊判定所需之條件C11，係在bS是具有關連於畫面間預測之值的情況下，可成為真。此外，如此，在bS為16的情況下藉由略過大型區塊判定而將條件C1判定為真，就可抑制大型區塊判定所涉及之處理量。
又，條件C1的條件C11為偽的情況下，也是不進行條件C12之判定(大型區塊判定)，而被判定為條件C1為偽。藉由所述構成，可抑制大型區塊判定所涉及之處理量。
條件C11，係在各成分之有義係數之相關條件、或是上述的條件B2為真的情況下，可為真。亦即，條件C11，係亦可隨著身為判定對象之成分而不同。例如，判定對象為U成分時的條件C11係可為像是以下的條件C11-U般的條件，判定對象為V成分時的條件C11係可為像是以下的條件C11-V般的條件。
-條件C11-U： -條件C11-V：
又，適用要否判定部265，係基於夾著區塊交界的區塊的與前記區塊交界正交之方向的尺寸，而進行大型區塊判定。藉由所述構成，區塊之形狀為非正方形之長方形的情況下，則可基於容易對區塊失真之發生造成影響的，與區塊交界正交之方向的尺寸，來判定去區塊濾波器之適用要否。
又，適用要否判定部265，係亦可將於夾著區塊交界的區塊的與區塊交界正交之方向的尺寸是否大於所定之閾值，而進行大型區塊判定。該大型區塊判定中所使用的閾值係沒有限定，但亦可為例如16。與區塊交界正交之方向的尺寸較小，尤其是在16以下的情況下，因為區塊雜訊較不醒目，所以藉由所述構成，就可避免多餘的去區塊濾波器之適用。例如，大型區塊判定所涉及之條件C12，係可為如下的條件。
-條件C12：(EDGE_VER&&block_width＞16) ||(EDGE_HOR&&block_height＞16)
此外，於上記的條件C12中，EDGE_VER係意味著身為判定對象之區塊交界是垂直交界，EDGE_HOR係意味著身為判定對象之區塊交界是水平交界。
又，上記的條件C2，係和上述的條件C92相同，因此這裡省略說明。此外，上記的條件C2之判定，係在條件C1為真的情況下被進行，在條件C1為偽的情況下，則不進行條件C2之判定，判定為不適用去區塊濾波器。條件C2之判定，係需要如上述的式(1)～(7)般地算出變數d的處理，處理量會比條件C1之判定還大，因此藉由在條件C1之後進行條件C2之判定，就可抑制處理量。
又，濾波器強度判定部267，係如上述般地藉由條件C1、條件C2而判定了去區塊濾波器適用要否之後，再來判定對解碼影像之色差成分做適用的去區塊濾波器之濾波器強度。在本實施形態中可被適用的去區塊濾波器，係如後述，可為具有較弱之強度的弱濾波器、和具有較強之強度的強濾波器之2種類。然後，後述的濾波部269，係隨應於已被濾波器強度判定部267所判定出來的濾波器強度，而將弱濾波器與強濾波器之任一者做適用。
濾波器強度判定部267，係在判定為要適用去區塊濾波器的情況下，判定濾波器強度。藉由令濾波器強度之判定是在去區塊濾波器適用要否之判定後面才進行，可抑制濾波器強度之判定所涉及之處理。
又，濾波器強度判定部267，係基於位於前記區塊交界之附近的像素之色差成分之波形，來判定濾波器強度。以下，針對基於波形之判定，加以說明。濾波器強度判定部267，係藉由以下之基於波形的條件C3，來判定濾波器強度。
-條件C3：(條件C31&&條件C32&&條件C33) -條件C31： -條件C32： -條件C33：
濾波器強度判定部267，係在位於區塊交界之附近的像素之中，針對被包含在2條像素線中的像素，進行上記的條件C3之判定。上記C3中所使用的條件C31、條件C32、條件C33，係針對每一像素線而被判定。此外，關於條件C31、條件C32、條件C33中的p i、q k、p i'、q k'、beta、及t C，係已經在上記中做了說明因此這裡省略說明。
條件C31、條件C32、及條件C33，係為使用各像素線中所含之像素來進行判定的條件。更具體而言，條件C31係為，各像素線中所含之像素之色差成分之區塊內的平坦度之相關條件。又，條件C32係為，各像素線中所含之像素之色差成分之區塊內的連續性之判定之相關條件。又，條件C33係為，各像素線中所含之像素之色差成分之區塊間之差異(差分)之相關條件，更具體而言，係為使用相鄰於區塊交界的像素值，來判定區塊間之差異所需之條件。
條件C31為真的情況下，則於各區塊內，色差成分之波形的平坦度為高。又，條件C32為真的情況下，則於各區塊內，色差成分之波形的連續性為高。又，條件C32為真的情況下，則色差成分之波形係於區塊交界上有較大的差異。
如上記，條件C3，係在上記的條件C31、條件C32、條件C33全部為真的情況下，才被判定為真。又，濾波器強度判定部267將上記的條件C3，針對每一像素線而做判定。但是，如上述般地，濾波器強度係以2像素線單位而被判定。亦即，在連續的2條像素線之雙方中若上記的條件C3為真的情況下則對該當2條像素線適用強濾波器，若為偽的情況下則對該當2條像素線適用弱濾波器的方式，來判定濾波器強度。
(3)濾波部 濾波部269，係基於適用要否判定部265所致的去區塊濾波器適用要否之判定結果，而對位於區塊交界之附近的像素之色差成分適用去區塊濾波器。又，如上述，濾波部269，係隨應於已被濾波器強度判定部267所判定出來的濾波器強度，而將弱濾波器、或強濾波器，當作去區塊濾波器而加以適用。
藉由本實施形態所述之濾波部269，對色差成分做適用的弱濾波器，係可以和例如上述的非專利文獻2或HEVC中對解碼影像之色差成分做適用的弱濾波器相同。另一方面，於本實施形態中對色差成分做適用的強濾波器，係可以和於非專利文獻2中對色差成分做適用的強濾波器(於HEVC中對亮度成分做適用的強濾波器)不同。以下，在本實施形態中，針對對色差成分做適用的強濾波器之例子做說明。
於本實施形態中對色差成分做適用的強濾波器的係數，係在強濾波器的適用對象範圍之中心位置上為2，在其他位置上為1。又，濾波部269係亦可為，將從區塊交界起往兩側的3像素為止視為強濾波器之適用對象範圍，將適用對象範圍之中心位置之兩側的3像素當作參照像素，對適用對象範圍中所含之像素之色差成分，適用強濾波器。例如，以p 0為適用對象範圍之中心位置的強濾波器，係被表示如以下的式(14)。
此外，於上記的式(14)中w係為可被適宜設定的權重，亦可被設定成例如1、或2。又，Clip3(a,b,c)係如上述般地表示，將值c以a≦c≦b之範圍予以限幅的限幅處理。
藉由適用如此的強濾波器，就可適用比上述的於非專利文獻2中對色差成分做適用的強濾波器還強的去區塊濾波器。
順便一提，強濾波器的適用對象範圍之中心位置是從區塊交界起算第2像素、或第3像素的情況下，在參照像素會含有從區塊交界起遠離5個像素以上的像素。可是，從區塊交界起遠離5個像素以上的像素，係不被使用於濾波器強度之判定，會有不適合作為參照像素來使用的情況。因此，濾波部269，係亦可取代從區塊交界起遠離5個像素以上之像素，改為將從區塊交界起算第4個像素之像素值，藉由進行填空而當作參照像素之像素值來使用。
例如，以p 1為適用對象範圍之中心位置的強濾波器，係被表示如以下的式(15)。
同樣地，以p 2為適用對象範圍之中心位置的強濾波器，係被表示如以下的式(16)。
又，同樣地，以q 0～q 3為適用對象範圍之中心位置的強濾波器，係分別被表示如以下的式(17)～(19)。
[3-2.處理的流程] 以上說明了，本實施形態所述的去區塊濾波器26之構成例。接下來，說明本實施形態所述的去區塊濾波器26所致之處理之流程。圖9係本實施形態所述之去區塊濾波器26所致之處理之流程之一例的流程圖。此外，以下，在去區塊濾波器26所致之處理之中，針對本實施形態之特徵之相關處理進行說明，關於其他處理的說明係適宜省略。
首先，藉由交界強度算出部261，算出bS(交界強度)(S10)。此處，參照圖10，更詳細說明bS的算出方法。圖10係用來說明被交界強度算出部261所執行的交界強度算出處理(S10)之流程的流程圖。
首先，交界強度算出部261係將bS初期化成0(S102)。接下來，交界強度算出部261係判定畫面內預測之相關條件亦即條件A之真偽(S104)。條件A為真的情況下(S104中YES)，bS係被設定成16(S106)。
另一方面，條件A為偽的情況下(S104中NO)，交界強度算出部261係判定運動向量(MV)與參照圖像之相關條件亦即條件B2之真偽(S108)。條件B2為真(S108中YES)的情況下，bS係被設定成1(S110)。
另一方面，條件B2為偽的情況下(S108中NO)，交界強度算出部261係判定Y成分之有義係數之有無之相關條件亦即條件B1-Y之真偽(S112)。條件B1-Y為真(S112中YES)的情況下，bS被加算8(S114)後，處理係往步驟S116前進。另一方面，條件B1-Y為偽(S112中NO)的情況下，處理係直接往步驟S116前進。
於步驟S116中，交界強度算出部261係判定U成分之有義係數之有無之相關條件亦即條件B1-U之真偽。條件B1-U為真(S116中YES)的情況下，bS被加算4(S118)後，處理係往步驟S120前進。另一方面，條件B1-U為偽(S116中NO)的情況下，處理係直接往步驟S120前進。
於步驟S120中，交界強度算出部261係判定V成分之有義係數之有無之相關條件亦即條件B1-V之真偽。條件B1-V為真(S120中YES)的情況下，bS被加算2(S122)後，交界強度算出處理(S10)係結束。條件B1-V為偽(S120中NO)的情況下，交界強度算出處理(S10)係直接結束。
回到圖9繼續去區塊濾波器26所致之處理之流程之說明。於步驟S20中，判定部263的適用要否判定部265係判定上述的條件C1之真偽。條件C1為偽的情況下(S20中NO)，處理係結束。
另一方面，條件C1為真的情況下(S20中YES)，適用要否判定部265係判定上述的條件C2之真偽(S30)。條件C2為偽的情況下(S30中NO)，處理係結束。
另一方面，條件C2為真的情況下(S30中YES)，判定部263的濾波器強度判定部267，係藉由判定上述的條件C3之真偽，而判定濾波器強度(S40)。條件C3為真的情況下(S40中YES)，濾波部269係對位於區塊交界之附近的像素之色差成分，適用強濾波器(S50)。另一方面，條件C3為偽的情況下(S40中NO)，濾波部269係對位於區塊交界之附近的像素之色差成分，適用弱濾波器(S60)。
以上說明了本實施形態所述的去區塊濾波器26所致之處理之流程。此外，參照圖9、圖10所說明的上述之處理，係例如在YUV420格式的情況下，可以用解碼影像之亮度成分的4像素線單位，亦即解碼影像之色差成分的2像素線單位，而被進行。
[3-3.變形例] 圖11係被交界強度算出部261所算出的bS之變形例的表。和圖8的例子同樣地，bS在此處也是用5位元而被表現。又，bS的複數位元中，對應於Y成分、U成分、V成分之各成分的位元係至少各含1個。bS的第5位元(最上位位元)係對應於畫面內預測之相關條件A，bS的第4位元係對應於Y成分之有義係數之相關條件B1-Y，bS的第3位元係對應於U成分之有義係數之相關條件B1-U，bS的第2位元係對應於V成分之有義係數之相關條件B1-V，bS的第1位元(最下位位元)係對應於MV與參照圖像之相關條件B2。
不同於圖8的例子，在本變形例中，尤其是在條件B1-Y為偽(因此bS未滿8)的情況下，bS之第1位元係被設定成1。結果而言，在圖8的例子中係為bS是取0、1、2、4、6、8、10、12、14或16這10種值的其中任一者，相對於此，在本變形例中，bS是取0、1、2、3、4、5、6、7、8、10、12、14或16這13種值的其中任一者。
圖12A及圖12B係用來說明對應於圖11之變形例的交界強度算出處理之流程之一例的流程圖。在處理開始之前，假設bS係已經被初期化成0。參照圖12A，首先，交界強度算出部261係判定畫面內預測之相關條件亦即條件A之真偽(S150)。條件A為真的情況下，則bS係被設定成16(S152)，交界強度算出處理係結束。
條件A為偽的情況下，交界強度算出部261係判定Y成分之有義係數之有無之相關條件亦即條件B1-Y之真偽(S154)。條件B1-Y為真的情況下則bS係被加算8(S156)，條件B1-Y為偽的情況下則8之加算係被略過(S158)。接著，U成分之有義係數之有無之相關條件亦即條件B1-U之真偽會被判定(S160)，條件B1-U為真的情況下則bS係被加算4(S162)，條件B1-U為偽的情況下則4之加算係被略過(S164)。接著，V成分之有義係數之有無之相關條件亦即條件B1-V之真偽會被判定(S166)，條件B1-V為真的情況下則bS係被加算2(S168)，條件B1-V為偽的情況下則2之加算係被略過(S170)。
參照圖12B，其後的處理，係依存於Y成分之有義係數之有無之相關條件亦即條件B1-Y為真或偽而分歧(S172)。條件B1-Y為真的情況下，則bS的第4位元等於1，因此bS係被設定成8以上的值(14、12、10或8)(S174)，不執行後述的MV檢查就結束交界強度算出處理。
另一方面，條件B1-Y為偽的情況下，交界強度算出部261係執行MV檢查(S176)。此處的MV檢查係意味著，運動向量與參照圖像之相關條件亦即條件B2之真偽的判定。條件B2為真的情況下則bS係被加算1(S178)，條件B2為偽的情況下則1之加算係被略過(S180)。
＜4.硬體構成例＞ 上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖13係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖13所示的電腦800中，CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803，係透過匯流排804而被彼此連接。
匯流排804，係還連接著輸出入介面810。輸出入介面810上係連接有：輸入部811、輸出部812、記憶部813、通訊部814、及驅動機815。
輸入部811，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部812係由例如顯示器、揚聲器、輸出端子等所成。記憶部813，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部814係由例如網路介面所成。驅動機815係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中，藉由CPU801而例如將記憶部813中所記憶之程式，透過輸出入介面810及匯流排804，而載入至RAM803裡並加以執行，就可進行上述一連串處理。RAM803中，還適宜地記憶著CPU801在執行各種處理時所必需的資料等。
電腦(CPU801)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體821中而適用。此情況下，程式係藉由將可移除式媒體821裝著至驅動機815，就可透過輸出入介面810，安裝至記憶部813。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部814而接收之，並安裝至記憶部813。
除此以外，該程式係可事前安裝在ROM802或記憶部813中。
＜5.總結＞ 如以上說明，若依據本揭露的實施形態，則可對解碼影像之色差成分，較適切地適用去區塊濾波器。
以上雖然一面參照添附圖式一面詳細說明了本揭露的理想實施形態，但本揭露之技術範圍並非限定於所述例子。只要是本揭露之技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本揭露的技術範圍。
(色差關連參數) 例如，在上記實施形態中雖然說明了，作為色差關連參數是使用表示各TU中的色差成分之有義係數之有無的旗標的例子，但本技術係不限定於所述例子。例如亦可為，色差成分之轉換係數本身是被包含在色差關連參數中。所述情況下，交界強度算出部261，係亦可從色差成分之轉換係數，藉由判定各TU中的色差成分之有義係數之有無，而算出bS。又，關連於上記實施形態，不只條件B1-Y、B1-U或B1-V是否有被滿足，隨著條件B2是否有被滿足而bS之值會有所不同的例子，示於圖4。然而，亦可像是圖14所示的替代性例子般地，例如為了抑制處理成本的增大，針對色差成分U及V之雙方而省略是否滿足條件B2的判定。
(大型區塊判定之閾值) 在上記實施形態中，雖然說明了在大型區塊判定中所被使用的閾值是16的例子，但本技術係不限定於所述例子，亦可被設定成8或32。又，在YUV444格式的情況下，YUV420格式中所被使用的閾值以上之閾值係亦可於大型區塊判定中被使用。
(強濾波器) 在上記實施形態中，雖然說明了以式(15)～(19)表現的強濾波器是對色差成分做適用的例子，但於本技術中所被適用的強濾波器係不限定於所述例子。對色差成分做適用的強濾波器，係只要是比弱濾波器的濾波器強度還強的濾波器即可。例如於非專利文獻2中對色差成分做適用的強濾波器(於HEVC中對亮度成分做適用的強濾波器)，係亦可於本技術中對色差成分做適用。
(本技術的適用對象) 本技術係可適用於任意的影像編碼、解碼方式。亦即，只要不與上述的本技術產生矛盾，則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等，關於影像編碼、解碼之各種處理的規格係為任意，並非限定於上述的例子。又，只要不與上述的本技術產生矛盾，亦可省略這些處理之中的一部分。
(區塊) 又，於本說明書中，作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊)，係在沒有特別言及的情況下，是表示圖像內的任意之部分領域，其大小、形狀、及特性等並無限定。例如，「區塊」中係可包含有：上述的參考文獻REF1～REF3中所記載之TB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB (Coding Tree Block)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等，任意之部分領域(處理單位)。
(處理單位) 於以上所說明的各種資訊所被設定的資料單位、或各種處理之對象的資料單位，係分別為任意，並非限定於上述的例子。例如，這些資訊或處理係亦可分別對每一TU(Transform Unit)、TB(Transform Block)、PU (Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU (Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定，亦可以這些資料單位之資料為對象。當然，該資料單位，係可按照每一資訊或處理而被設定，並不一定要所有的資訊或處理之資料單位都是統一的。此外，這些資訊的儲存場所係為任意，亦可被儲存在上述的資料單位之標頭或參數集等。又，亦可被儲存在複數地點。
又，在上記實施形態中，雖然是以2像素線單位來進行對色差成分的去區塊濾波器處理，但本技術係不限定於所述例子。例如，在YUV444格式的情況下，亦可以4像素線單位來進行對色差成分的去區塊濾波器處理。所述情況下，適用要否判定部265，係亦可在上述的條件C3之判定中，參照第1條像素線與第3像素線，來進行判定。
(控制資訊) 以上所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊，予以傳輸。例如，亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、分量、或層等的控制資訊，予以傳輸。
(區塊尺寸資訊) 在指定要適用本技術的區塊之尺寸時，不只可直接地址定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
(其他) 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
本技術係亦可成為構成裝置或系統的任意構成，例如，作為系統LSI(Large Scale Integration)等的處理器、使用複數處理器等的模組、使用複數模組等的單元、對單元再附加其他機能而成的套組等(亦即裝置之部分構成)而實施之。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
又，例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。又，例如，本技術係亦可將1個機能，透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。
又，例如，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
此外，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，本說明書中所記載之效果僅為說明或例示，並非限定。亦即，本揭露所述之技術，係亦可連同上記效果、或取代上記效果，而達成根據本說明書之記載而由當業者所自明的其他效果。
此外，如以下的構成也是屬於本揭露的技術範圍。 (1) 一種影像處理裝置，係具備： 解碼部，係將編碼串流進行解碼而生成解碼影像；和 判定部，係以前記解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否；和 濾波部，係基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器。 (2) 如前記(1)所記載之影像處理裝置，其中， 前記色差關連參數係含有色差成分之轉換係數之相關資訊； 前記交界強度，係基於前記交界強度之算出對象也就是夾著前記區塊交界的區塊中是否有前記色差成分之有義係數存在，而被算出。 (3) 如前記(2)所記載之影像處理裝置，其中，前記交界強度，係藉由獨立地判定在前記交界強度之算出對象也就是夾著前記區塊交界的區塊中是否有各成分之有義係數存在，而被算出。 (4) 如前記(1)～(3)之任一項所記載之影像處理裝置，其中， 前記交界強度，係藉由複數位元而被表現； 前記複數位元中，對應於各成分之位元係至少各含1個。 (5) 如前記(1)～(4)之任一項所記載之影像處理裝置，其中，前記判定部，係藉由基於前記交界強度的判定、與使用了夾著前記區塊交界之區塊的區塊尺寸的大型區塊判定，來判定前記去區塊濾波器適用要否。 (6) 如前記(5)所記載之影像處理裝置，其中，前記判定部，係在前記交界強度是具有關連於畫面間預測之值的情況下，進行前記大型區塊判定。 (7) 如前記(5)或(6)所記載之影像處理裝置，其中，前記判定部，係基於夾著前記區塊交界之區塊的與前記區塊交界正交之方向的尺寸，而進行前記大型區塊判定。 (8) 如前記(7)所記載之影像處理裝置，其中，前記判定部，係基於夾著前記區塊交界之區塊的與前記區塊交界正交之方向的尺寸是否大於16，而進行前記大型區塊判定。 (9) 如前記(1)～(8)之任一項所記載之影像處理裝置，其中，前記濾波部，係將弱濾波器、或強濾波器作為前記去區塊濾波器，而對位於前記區塊交界之附近的像素之色差成分做適用。 (10) 如前記(9)所記載之影像處理裝置，其中，前記強濾波器之係數，在前記強濾波器的適用對象範圍之中心位置上係為2，在其他位置上係為1。 (11) 如前記(9)或(10)所記載之影像處理裝置，其中，前記濾波部，係將從前記區塊交界起往兩側的3像素為止視為前記強濾波器之適用對象範圍，將前記適用對象範圍之中心位置之兩側的3像素當作參照像素，對前記適用對象範圍中所含之像素之色差成分，適用前記強濾波器。 (12) 如前記(11)所記載之影像處理裝置，其中，前記濾波部，係取代從前記區塊交界起遠離5個像素以上之像素，改為將從前記區塊交界起算第4個像素之像素值，藉由進行填空而當作前記參照像素之像素值來使用。 (13) 如前記(10)～(12)之任一項所記載之影像處理裝置，其中，前記濾波部，係進行以基於量化參數而被特定之參數tC為基礎的限幅處理，以適用前記強濾波器。 (14) 如前記(9)～(13)之任一項所記載之影像處理裝置，其中， 前記判定部，係還判定：對位於前記區塊交界之附近的像素之色差成分所被適用的前記去區塊濾波器之濾波器強度； 前記濾波部，係隨應於已被前記判定部所判定出來的前記濾波器強度，而將前記弱濾波器、或前記強濾波器，對位於前記區塊交界之附近的像素之色差成分做適用。 (15) 如前記(14)所記載之影像處理裝置，其中，前記判定部，係在前記去區塊濾波器適用要否之判定後，判定前記濾波器強度。 (16) 如前記(15)所記載之影像處理裝置，其中，前記判定部，係基於位於前記區塊交界之附近的像素之色差成分之波形，來判定前記濾波器強度。 (17) 如前記(16)所記載之影像處理裝置，其中， 前記判定部，係在位於前記區塊交界之附近的像素之中，基於2條像素線中所含之像素之色差成分的平坦度之相關條件、連續性之相關條件、及差異之相關條件，來判定前記濾波器強度； 前記濾波部，係在前記平坦度之相關條件、前記連續性之相關條件、前記差異之相關條件之中，若判定為全部的條件都被滿足則適用前記強濾波器，若判定為至少1個條件未被滿足則適用前記弱濾波器。 (18) 一種影像處理方法，係含有： 將編碼串流進行解碼而生成解碼影像的步驟；和 以前記解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否的步驟；和 基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器的步驟。 (19) 一種影像處理裝置，係具備： 判定部，係以已被本地解碼之解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否；和 濾波部，係基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器；和 編碼部，係使用已被前記濾波部適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼。 (20) 一種影像處理方法，係含有： 以已被本地解碼之解碼影像之區塊交界為對象，基於使用關連於色差的色差關連參數而被算出的交界強度，來判定對前記解碼影像之色差成分的去區塊濾波器適用要否的步驟；和 基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器的步驟；和 使用已被適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼的步驟。
10:影像編碼裝置 11:排序緩衝區 12:控制部 13:減算部 14:正交轉換部 15:量化部 16:可逆編碼部 17:積存緩衝區 18:速率控制部 21:逆量化部 22:逆正交轉換部 23:加算部 24:迴圈內濾波器 25:雙邊濾波器 26:去區塊濾波器 27:適應偏置濾波器 28:適應迴圈濾波器 30:畫格記憶體 31:開關 32:模式設定部 40:畫面內預測部 50:畫面間預測部 60:影像解碼裝置 61:積存緩衝區 62:可逆解碼部 63:量化部 64:逆正交轉換部 65:加算部 66:迴圈內濾波器 67:雙邊濾波器 69:適應偏置濾波器 70:適應迴圈濾波器 72:排序緩衝區 73:D/A(Digital to Analogue)轉換部 80:畫格記憶體 81:選擇器 90:畫面內預測部 100:畫面間預測部 261:交界強度算出部 263:判定部 265:適用要否判定部 267:濾波器強度判定部 269:濾波部 800:電腦 801:CPU 802:ROM 803:RAM 804:匯流排 810:輸出入介面 811:輸入部 812:輸出部 813:記憶部 814:通訊部 815:驅動機 821:可移除式媒體
[圖1] 用來說明HEVC中的bS之算出所需的表。 [圖2] 用來說明非專利文獻2中的bS之算出所需的表。 [圖3] 夾著垂直之區塊交界BB而相鄰的，2個區塊Bp及區塊Bq內的色差成分(U成分、V成分)的像素之一例的說明圖。 [圖4] 用來說明本揭露之一實施形態中的bS之算出所需的表。 [圖5] 該實施形態所述之影像處理裝置之一態樣的影像編碼裝置10的構成之一例的區塊圖。 [圖6] 該實施形態所述之影像處理裝置之一態樣的影像解碼裝置60的構成之一例的區塊圖。 [圖7] 該實施形態所述之去區塊濾波器26的詳細構成之一例的區塊圖。 [圖8] 被交界強度算出部261所算出的bS之一例的表。 [圖9] 該實施形態所述之去區塊濾波器26所致之處理之流程之一例的流程圖。 [圖10] 用來說明被交界強度算出部261所執行的交界強度算出處理之流程的流程圖。 [圖11] 被交界強度算出部261所算出的bS之變形例的表。 [圖12A] 用來說明對應於圖11之變形例的交界強度算出處理之流程之一例的流程圖的前半部。 [圖12B] 用來說明對應於圖11之變形例的交界強度算出處理之流程之一例的流程圖的後半部。 [圖13] 硬體構成例的說明圖。 [圖14] bS之算出之一變形例的表。

Claims (13)

  1. 一種影像處理裝置，係具備電路，其係被構成為： 以已被本地解碼之解碼影像之區塊交界為對象，基於使用U色差成分之轉換係數和V色差成分之轉換係數而被算出的交界強度，來分別判定對前記解碼影像之U及V之各色差成分的去區塊濾波器適用要否； 基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器； 使用已被前記濾波部適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼。
  2. 如請求項1所記載之影像處理裝置，其中，前記電路係被構成為， 進行大型區塊判定，其係用來判定對象區塊是否為所定尺寸以上； 根據已被算出之前記交界強度、與前記大型區塊判定之結果，來判定前記去區塊濾波器適用要否。
  3. 如請求項2所記載之影像處理裝置，其中，前記所定尺寸係為8。
  4. 如請求項3所記載之影像處理裝置，其中，前記電路係被構成為，在與前記區塊交界正交之方向上，進行前記大型區塊判定。
  5. 如請求項4所記載之影像處理裝置，其中， 前記去區塊濾波器係包含強濾波器； 前記強濾波器之係數，在前記強濾波器的適用對象範圍之中心位置上係為2，在其他位置上係為1。
  6. 如請求項4所記載之影像處理裝置，其中， 前記電路係被構成為，基於色差成分的平坦度之相關條件、連續性之相關條件、及差異之相關條件，來選擇前記去區塊濾波器的濾波器強度。
  7. 如請求項2所記載之影像處理裝置，其中， 前記去區塊濾波器係包含強濾波器； 前記強濾波器之係數，在前記強濾波器的適用對象範圍之中心位置上係為2，在其他位置上係為1。
  8. 如請求項7所記載之影像處理裝置，其中，前記電路係被構成為，進行以基於量化參數而被特定之參數tC為基礎的限幅處理，以適用前記強濾波器。
  9. 如請求項2所記載之影像處理裝置，其中， 前記電路係被構成為，基於色差成分的平坦度之相關條件、連續性之相關條件、及差異之相關條件，來選擇前記去區塊濾波器的濾波器強度。
  10. 如請求項1所記載之影像處理裝置，其中， 前記電路係被構成為，將含有對應於各色差成分之至少1個位元的複數個位元，當作前記交界強度而予以算出。
  11. 如請求項10所記載之影像處理裝置，其中，前記電路係被構成為， 進行大型區塊判定，其係用來判定對象區塊是否為所定尺寸以上； 根據已被算出之前記交界強度、與前記大型區塊判定之結果，來判定前記去區塊濾波器適用要否。
  12. 如請求項11所記載之影像處理裝置，其中，前記電路係被構成為，在前記交界強度是具有關連於畫面間預測之值的情況下，進行前記大型區塊判定。
  13. 一種影像處理方法，係含有： 以已被本地解碼之解碼影像之區塊交界為對象，基於使用U色差成分之轉換係數和V色差成分之轉換係數而被算出的交界強度，來分別判定對前記解碼影像之U及V之各色差成分的去區塊濾波器適用要否的步驟；和 基於前記去區塊濾波器適用要否之判定結果，而對位於前記區塊交界之附近的像素之色差成分適用去區塊濾波器的步驟；和 使用已被適用了前記去區塊濾波器的前記解碼影像，而將影像予以編碼的步驟。
TW112106039A 2018-03-29 2019-03-19 影像處理裝置、及影像處理方法 TWI824940B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018065130 2018-03-29
JP2018-065130 2018-03-29
JP2018106367 2018-06-01
JP2018-106367 2018-06-01

Publications (2)

Publication Number Publication Date
TW202325024A TW202325024A (zh) 2023-06-16
TWI824940B true TWI824940B (zh) 2023-12-01

Family

ID=68061169

Family Applications (3)

Application Number Title Priority Date Filing Date
TW108109265A TWI800624B (zh) 2018-03-29 2019-03-19 影像處理裝置、影像處理方法、及電腦可讀取之媒體
TW112106039A TWI824940B (zh) 2018-03-29 2019-03-19 影像處理裝置、及影像處理方法
TW112138310A TW202406345A (zh) 2018-03-29 2019-03-19 影像處理裝置、及影像處理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108109265A TWI800624B (zh) 2018-03-29 2019-03-19 影像處理裝置、影像處理方法、及電腦可讀取之媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112138310A TW202406345A (zh) 2018-03-29 2019-03-19 影像處理裝置、及影像處理方法

Country Status (15)

Country Link
US (1) US20210021819A1 (zh)
EP (1) EP3780602A4 (zh)
JP (4) JP7294322B2 (zh)
KR (3) KR102632984B1 (zh)
CN (3) CN111903124B (zh)
AU (1) AU2018416684B2 (zh)
BR (1) BR112020019125A2 (zh)
CA (1) CA3094818A1 (zh)
MX (2) MX2020009875A (zh)
PH (1) PH12020551525A1 (zh)
RU (1) RU2020131227A (zh)
SG (1) SG11202009084QA (zh)
TW (3) TWI800624B (zh)
WO (1) WO2019187412A1 (zh)
ZA (1) ZA202005830B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021014861A2 (pt) * 2019-02-27 2021-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Método e aparelho para desbloquear pelo menos um contorno vertical ou horizontal de uma unidade de codificação, e, portadora
AU2020270246A1 (en) * 2019-05-04 2021-12-02 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using an adaptive loop filter
US20220417506A1 (en) * 2019-06-23 2022-12-29 Lg Electronics Inc. Deblocking filtering method and apparatus in video/image coding system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140112396A1 (en) * 2011-06-28 2014-04-24 Sony Corporation Image processing device and image processing method
US20160261884A1 (en) * 2014-03-04 2016-09-08 Microsoft Technology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
JP5490404B2 (ja) * 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
WO2012077607A1 (ja) * 2010-12-07 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
WO2013042923A1 (ko) * 2011-09-20 2013-03-28 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
EP2737705A4 (en) * 2011-10-24 2016-03-02 Mediatek Inc METHOD AND APPARATUS FOR NON-INTER-TILE BUCKLE FILTERING
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
CN109547787A (zh) * 2011-11-04 2019-03-29 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
WO2013077714A1 (ko) * 2011-11-27 2013-05-30 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
CN108900839B (zh) * 2011-12-28 2022-05-31 夏普株式会社 图像解码装置及方法、图像编码装置及方法
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
JP6620354B2 (ja) * 2015-09-30 2019-12-18 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
KR102524319B1 (ko) * 2016-12-28 2023-04-24 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
US10750171B2 (en) * 2018-06-25 2020-08-18 Google Llc Deblocking filtering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140112396A1 (en) * 2011-06-28 2014-04-24 Sony Corporation Image processing device and image processing method
US20160261884A1 (en) * 2014-03-04 2016-09-08 Microsoft Technology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 MediaTek Inc. "CE10 Subtest 1: Chroma Deblocking Filter" Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting 1-10 February, 2012 http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H0310-v2.zip; *
網路文獻 SHARP "Improvement of chroma deblocking filter" Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting 15–21 October 2016 https://jvet-experts.org/doc_end_user/documents/4_Chengdu/wg11/JVET-D0108-v1.zip *

Also Published As

Publication number Publication date
RU2020131227A (ru) 2022-03-22
CA3094818A1 (en) 2019-10-03
EP3780602A1 (en) 2021-02-17
TW202406345A (zh) 2024-02-01
BR112020019125A2 (pt) 2021-01-12
US20230239471A1 (en) 2023-07-27
JP7533694B2 (ja) 2024-08-14
AU2018416684B2 (en) 2022-12-01
AU2018416684A1 (en) 2020-10-22
JP2024144522A (ja) 2024-10-11
TW201946467A (zh) 2019-12-01
KR20240019383A (ko) 2024-02-14
JP2024144523A (ja) 2024-10-11
ZA202005830B (en) 2021-09-29
KR20240094036A (ko) 2024-06-24
KR102632984B1 (ko) 2024-02-05
US20210021819A1 (en) 2021-01-21
CN116634149A (zh) 2023-08-22
WO2019187412A1 (ja) 2019-10-03
JP7294322B2 (ja) 2023-06-20
MX2024001585A (es) 2024-02-14
KR102714827B1 (ko) 2024-10-11
JPWO2019187412A1 (ja) 2021-03-25
PH12020551525A1 (en) 2021-05-17
MX2020009875A (es) 2020-10-12
CN111903124B (zh) 2023-08-01
KR20200136395A (ko) 2020-12-07
JP2023101812A (ja) 2023-07-21
TWI800624B (zh) 2023-05-01
TW202325024A (zh) 2023-06-16
CN116634148A (zh) 2023-08-22
CN111903124A (zh) 2020-11-06
KR102673135B1 (ko) 2024-06-10
RU2020131227A3 (zh) 2022-04-20
SG11202009084QA (en) 2020-10-29
EP3780602A4 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
KR102709345B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2022078048A (ja) 画像復号方法及び画像符号化方法
US10034019B2 (en) Image encoding device, image encoding method, image decoding device, and image decoding method
US11991378B2 (en) Method and device for video coding using various transform techniques
TWI824940B (zh) 影像處理裝置、及影像處理方法
KR20200039591A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2024023420A (ja) 画像処理装置及び画像処理方法
KR20190057910A (ko) 적응적 루프 필터를 사용하는 비디오 코딩 방법 및 장치
WO2019123768A1 (ja) 画像処理装置及び画像処理方法
US12137219B2 (en) Image processing apparatus and image processing method
KR102410326B1 (ko) 영상 부호화/복호화 방법 및 장치