TW202029751A - 編碼裝置、編碼方法、解碼裝置、及解碼方法 - Google Patents

編碼裝置、編碼方法、解碼裝置、及解碼方法 Download PDF

Info

Publication number
TW202029751A
TW202029751A TW108133165A TW108133165A TW202029751A TW 202029751 A TW202029751 A TW 202029751A TW 108133165 A TW108133165 A TW 108133165A TW 108133165 A TW108133165 A TW 108133165A TW 202029751 A TW202029751 A TW 202029751A
Authority
TW
Taiwan
Prior art keywords
level
sub
levels
merged
merge
Prior art date
Application number
TW108133165A
Other languages
English (en)
Inventor
池田優
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202029751A publication Critical patent/TW202029751A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術係有關於，能夠削減處理量的編碼裝置、編碼方法、解碼裝置、及解碼方法。 編碼裝置及編碼裝置，係藉由複數個特徵量之每一者的子級別分類，而對解碼影像(局部解碼影像)的注目像素，進行級別分類；將藉由該級別分類而被獲得之注目像素之初期級別，依照按照複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別。然後，編碼裝置及編碼裝置，係進行濾波器處理，其係將進行注目像素之合併級別之結點係數與解碼影像之像素之積和演算的預測式對解碼影像做適用，以生成濾波器影像。本技術係可適用於例如，進行影像之編碼及解碼的情況。

Description

編碼裝置、編碼方法、解碼裝置、及解碼方法
本技術係有關於編碼裝置、編碼方法、解碼裝置、及解碼方法，特別是有關於例如，能夠削減處理量的編碼裝置、編碼方法、解碼裝置、及解碼方法。
作為HEVC(High Efficiency Video Coding)的後繼規格，VVC(Versatile Video Coding)(舊稱FVC(Future Video Coding))正朝標準化作業開始邁進，作為影像的編碼及解碼中所使用的ILF(In Loop Filter)，除了去區塊濾波器、適應偏置濾波器以外，還有雙邊濾波器(Bilateral Filter)、ALF(Adaptive Loop Filter)正被研討(例如參照非專利文獻1)。
又，作為改善既存之ALF的濾波器，GALF (Geometry Adaptive Loop Filter)係已被提出(例如參照非專利文獻2)。 [先前技術文獻] [非專利文獻]
[非專利文獻1]Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19 [非專利文獻2]Marta Karczewicz, Li Zhang, Wei-Jung Chien, Xiang Li, "Geometry transformation-based adaptive in-loop filter", IEEE Picture Coding Symposium (PCS), 2016.
[發明所欲解決之課題]
GALF中，為了在複數個級別間，將濾波器處理中所使用的結點係數做共享，以削減結點係數的資料量，而會進行將級別予以合併的級別合併處理。
在級別合併處理中，是原本的級別數以下的自然數之各值，作為級別之合併後的合併級別數，針對各合併級別數，求出將級別予以合併的最佳的合併模態。然後，從關於各合併級別數的最佳的合併模態之中，可使成本變成最小的合併模態，係被決定成，在進行濾波器處理時所採用的採用合併模態。
如以上所述，在級別合併處理中，是原本的級別數以下的自然數之各值，作為級別之合併後的合併級別數，針對各合併級別數，求出最佳的合併模態，因此處理量會變多。此外，關於藉由級別合併處理而被決定的採用合併模態，必須要從編碼裝置傳輸至解碼裝置。
本技術係有鑑於此種狀況而研發，目的在於能夠削減處理量。 [用以解決課題之手段]
本技術的解碼裝置，係為一種解碼裝置，其係具備：解碼部，係將編碼位元串流中所含之編碼資料予以解碼，生成解碼影像；和級別分類部，係藉由複數個特徵量之每一者的子級別分類，而對已被前記解碼部所生成之前記解碼影像的注目像素，進行級別分類；和合併轉換部，係將藉由前記級別分類部所進行之級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別；和濾波器部，係進行濾波器處理，其係將進行已被前記合併轉換部所轉換之前記注目像素之合併級別的結點係數與前記解碼影像之像素之積和演算的預測式對前記解碼影像做適用，以生成濾波器影像。
本技術的解碼方法，係為一種解碼方法，其係含有：編碼位元串流中所含之編碼資料予以解碼，生成解碼影像之步驟；和藉由複數個特徵量之每一者的子級別分類，而對前記解碼影像之注目像素進行級別分類之步驟；和將藉由前記級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別之步驟；和進行濾波器處理，其係將進行前記注目像素之合併級別之結點係數與前記解碼影像之像素之積和演算的預測式對前記解碼影像做適用，以生成濾波器影像之步驟。
於本技術的解碼裝置及解碼方法中，編碼位元串流中所含之編碼資料會被解碼，而生成解碼影像。然後，對前記解碼影像之注目像素的級別分類，是藉由複數個特徵量之每一者的子級別分類而被進行；藉由前記級別分類而被獲得之前記注目像素之初期級別，是依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而被轉換成將初期級別予以合併而成的合併級別。然後，將進行前記注目像素之合併級別之結點係數與前記解碼影像之像素之積和演算的預測式對前記解碼影像做適用的濾波器處理會被進行，濾波器影像會被生成。
本技術的編碼裝置，係為一種編碼裝置，其係具備：級別分類部，係藉由複數個特徵量之每一者的子級別分類，而對已被局部解碼之局部解碼影像的注目像素，進行級別分類；和合併轉換部，係將藉由前記級別分類部所進行之級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別；和濾波器部，係進行濾波器處理，其係將進行已被前記合併轉換部所轉換之前記注目像素之合併級別的結點係數與前記局部解碼影像之像素之積和演算的預測式對前記局部解碼影像做適用，以生成濾波器影像；和編碼部，係使用已被前記濾波器部所生成之前記濾波器影像，而將原影像予以編碼。
本技術的編碼方法，係為一種編碼方法，其係含有：藉由複數個特徵量之每一者的子級別分類，而對已被局部解碼之局部解碼影像的注目像素，進行級別分類之步驟；和將藉由前記級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別之步驟；和進行濾波器處理，其係將進行前記注目像素之合併級別之結點係數與前記局部解碼影像之像素之積和演算的預測式對前記局部解碼影像做適用，以生成濾波器影像之步驟；和使用前記濾波器影像，而將原影像予以編碼之步驟。
於本技術的編碼裝置及編碼方法中，對已被局部解碼之局部解碼影像的注目像素的級別分類，是藉由複數個特徵量之每一者的子級別分類而被進行；藉由前記級別分類而被獲得之前記注目像素之初期級別，是依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而被轉換成將初期級別予以合併而成的合併級別。再者，將進行前記注目像素之合併級別之結點係數與前記局部解碼影像之像素之積和演算的預測式對前記局部解碼影像做適用的濾波器處理會被進行，濾波器影像會被生成。然後，使用前記濾波器影像，原影像會被編碼。
此外，編碼裝置或解碼裝置，係可為獨立的裝置，亦可為構成1個裝置的內部區塊。
又，編碼裝置或解碼裝置，係可藉由令電腦執行程式而實現。程式係可透過傳輸媒體而傳輸，或可記錄在記錄媒體中來提供之。
＜支持技術內容、技術用語的文獻等＞
本案所揭露之範圍，係不只有本說明書及圖式中所記載的內容，還包含了於申請當時已為公知的以下的文獻中所記載的內容。
文獻1：AVC規格書("Advanced video coding for generic audiovisual services", ITU-T H.264(04/2017)) 文獻2：HEVC規格書("High efficiency video coding", ITU-T H.265(12/2016)) 文獻3：FVC演算法解說書(Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19)
亦即，上述的文獻中所記載之內容亦為判斷支持要件之際的根據。例如，文獻1中所記載之Quad-Tree Block Structure、文獻3中所記載之QTBT(Quad Tree Plus Binary Tree)或Block Structure即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並滿足申請專利範圍的支持要件。
又，於本說明書中，作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊)，係在沒有特別言及的情況下，是表示圖像內的任意之部分領域，其大小、形狀、及特性等並無限定。例如，「區塊」中係包含有：上述的文獻1乃至3中所記載之TB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等，任意之部分領域(處理單位)。
又，在指定此種區塊的尺寸時，不只可直接地指定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
＜定義＞
在本案中，以下的用語，是定義如下。
所謂編碼資料，係藉由將影像進行編碼而被獲得的資料，例如，藉由將影像(之殘差)進行正交轉換及量化而被獲得的資料。
所謂編碼位元串流，係為含有編碼資料的位元串流，因應需要，可含有關於編碼的編碼資訊。編碼資訊中係至少包含有：將編碼資料進行解碼時所必須的資訊，亦即例如：在編碼中有被進行過量化時的量化參數(QP)、或在編碼中有被進行過預測編碼(運動補償)時的運動向量等。
所謂預測式，係為根據第1資料來預測第2資料的多項式。若第1資料及第2資料係為例如影像(資料)的情況下，則預測式就是根據第1影像來預測第2影像的多項式。所述之多項式也就是預測式的各項，係由1個結點係數與1個以上之預測結點的積所構成，因此，預測式係為，進行結點係數與預測結點之積和演算的式子。令第1影像的像素之中的使用於預測(預測式之演算)的作為第i個預測結點的像素(之像素值)為xi ，令第i個結點係數為wi ，令第2影像的像素(之像素值的預測值)為y’，而分別加以表示，並且，作為預測式，若假設採用只由1次項所成之多項式，則預測式係可用式y’=Σwi xi 來表示。於式y’=Σwi xi 中，Σ係表示針對i的加總。構成預測式的結點係數wi ，係藉由使得由預測式所得的值y’的，與真值y之誤差y’-y在統計上會呈現最小的學習，而被求出。作為求出結點係數的學習(以下亦稱為結點係數學習)之方法，係有最小平方法。在結點係數學習中，係使用相當於預測式所被適用之第1影像的，身為學習之學生的作為學生資料(往預測式的輸入xi )的學生影像、與相當於作為對第1影像適用了預測式的結果想要得到的第2影像的，身為學習之教師的作為教師資料(藉由預測式之演算而被求出的預測值的真值y)的教師影像，藉由進行將構成正規方程式的各項之係數的累加(係數的加總)，而求出正規方程式，藉由解開該正規方程式，而求出會使預測值y’的平方誤差之總和(統計性誤差)呈現最小的結點係數。
所謂預測處理係為，對第1影像，適用預測式，以預測第2影像的處理。在預測處理中，係使用第1影像的像素(之像素值)，進行作為預測式之演算的積和演算，以求出第2影像的預測值。使用第1影像進行積和演算這件事情，係可說成是對第1影像施加濾波器的濾波器處理，使用第1影像，來進行預測式的積和演算(作為預測式之演算的積和演算)的預測處理，係可說成是濾波器處理的一種。
所謂濾波器影像，係意味著濾波器處理之結果所得的影像。藉由作為預測處理的濾波器處理，從第1影像所得到的第2影像(之預測值)，係為濾波器影像。
所謂結點係數，係為構成預測式亦即多項式之各項的係數，在數位濾波器的結點中，相當於對濾波之對象的訊號所乘算的濾波器係數。
所謂預測結點，係為預測式之演算中所被使用的像素(之像素值)等之資訊，在預測式中，會與結點係數做乘算。預測結點，係除了包含像素(之像素值)本身以外，也還可包含從像素所求出的值，例如某個區塊內的像素(之像素值)之總和或平均值等。
此處，作為預測式之演算中所使用之預測結點的像素等的選擇，係相當於對數位濾波器的結點，拉上(配置)用來供給身為輸入之訊號的連接線，因此作為預測式之演算中所使用之預測結點的像素的選擇，也稱為「將預測結點予以拉線」。
所謂級別分類，係意味著將像素分類成複數級別之中的任一級別(進行級別化)。級別分類係可使用例如：注目像素之週邊領域的像素(之像素值)、或與注目像素有關係的編碼資訊，而進行之。作為與注目像素有關係的編碼資訊係例如有：注目像素之量化中所被使用的量化參數、或已被施加至注目像素的去區塊濾波器所相關之DF(Deblocking Filter)資訊等。所謂DF資訊係為例如，於去區塊濾波器中，強濾波器或弱濾波器之中的哪一者有被適用，或皆未被適用的這類資訊。
所謂級別分類預測處理，係為針對每一級別而被進行的作為預測處理的濾波器處理。關於級別分類預測處理的基本原理係被記載於例如日本專利第4449489號等。
所謂高次項，係構成作為預測式之多項式的項之中的，具有2個以上之預測結點(作為其之像素)之積的項。
所謂D次項，係構成作為預測式之多項式的項之中的，具有D個預測結點之積的項。例如，1次項係為具有1個預測結點的項，2次項係為具有2個預測結點之積的項。構成D次項的預測結點之積中，求取其積的預測結點，係亦可為同一預測結點(像素)。
所謂D次係數，係意味著構成D次項的結點係數。
所謂D次結點，係意味著構成D次項的預測結點(作為其之像素)。有時候，某1個像素係為D次結點，且為異於D次結點的D’次結點。又，D次結點的結點結構、與異於D次結點的D’次結點的結點結構，不需要相同。
所謂DC(Direct Current)預測式，係為含有DC項的預測式。
所謂DC項，係為構成作為預測式之多項式的項之中的，表示作為預測結點之影像的DC成分的值與結點係數之積的項。
所謂DC結點，係意味著DC項的預測結點，亦即表示DC成分的值。
所謂DC係數，係意味著DC項的結點係數。
所謂1次預測式，係為只由1次項所成的預測式。
所謂高次預測式，係為含有高次項的預測式，亦即，係為由1次項與2次以上之高次項所成之預測式、或只由2次以上之高次項所成之預測式。
令第1影像的像素之中的使用於預測的第i個預測結點(像素值等)為xi ，令第i個結點係數為wi ，令藉由預測式而求出的第2影像的像素(之像素值的預測值)為y，而分別加以表示，則1次預測式係可用式y=Σwi xi 來表示。
又，只由1次項及2次項所成之高次預測式係例如，可用式y=Σwi xi +Σ(Σwj,k xk )xj 來表示。
甚至，例如，在1次預測式中含有DC項的DC預測式係例如，可用式Σwi xi +wDCB DCB來表示。此處，wDCB 係代表DC係數，DCB係代表DC結點。
1次預測式、高次預測式、及DC預測式的結點係數，係皆可藉由進行如上述的最小平方法所致之結點係數學習而求出。
在本實施形態中，為了簡化說明，作為預測式，是採用1次預測式。
所謂結點結構，係意味著(例如以注目像素之位置為基準的)作為預測結點之像素的配置。結點結構，係也可說成是預測結點的拉線方式。在採用1次預測式的情況下，若考慮在構成預測結點的像素之位置上，配置會與該像素做乘算的結點係數的狀態，則結點結構係也可說成是結點係數的配置。於是，所謂結點結構係意味著，構成注目像素之預測結點的像素之配置，以及也意味著，在構成預測結點的像素之位置上，配置了會與該像素做乘算的結點係數的狀態下的結點係數之配置。
所謂(影像的)活性，係意味著影像的空間性的像素值的變化程度。
所謂解碼影像，係為將原影像進行編碼所得的編碼資料，藉由將其予以解碼而被獲得的影像。解碼影像中，除了包含有，在解碼裝置中將編碼資料進行解碼所得之影像以外，在編碼裝置中若原影像是被預測編碼的情況下，則亦包含該預測編碼之局部解碼所得的影像。亦即，於編碼裝置中，在原影像有被預測編碼的情況下，則於局部解碼時，預測影像與(已被解碼之)殘差會被加算，而該加算的加算結果，係為解碼影像。編碼裝置的局部解碼中有使用到ILF的情況下，預測影像與殘差之加算結果也就是解碼影像，會成為ILF的濾波器處理之對象，但ILF的濾波器處理後的解碼影像，係亦為濾波器影像。
所謂(像素的)傾斜方向，係為像素值的傾斜之方向，尤其是意味著例如，像素值之傾斜為最大之方向。此外，像素值之傾斜為最大之方向，係為像素值之等高線的正交方向，是與像素值之等高線之切線方向正交，因此與像素值之等高線之切線方向是呈一對一之關係。因此，像素值之傾斜為最大之方向、與像素值之等高線之切線方向，係為等價的資訊，在提到傾斜方向時，係像素值之傾斜為最大之方向、及像素值之等高線之切線方向這兩者都有被包含。在本實施形態中，作為傾斜方向，是採用像素值之傾斜為最大之方向。
所謂規定方向，係意味著事前已被決定之離散的方向。作為方向的表現方法係可採用例如：藉由連續的角度來表現連續之方向的方法、或以水平方向及垂直方向此2種類的離散的方向來加以表現的方法、將周圍360度區分成等角度的8方向，以該8方向之離散的方向來加以表現的方法等。所謂規定方向，係如所述般地，是意味著以事前已被決定之離散的方向而被表現的方向。例如，非專利文獻2中所記載之GALF中所被使用的direction、或GALF之方向級別所表示的方向(後述的V方向或是H方向之任一者，或者，D0方向或是D1方向之任一者的2種之方向)等，係為規定方向之一例。
在提到傾斜方向時，係既包含藉由連續的角度而被連續性地表現的方向，也包含規定方向。亦即，傾斜方向係可以用連續的方向來表現，也可以用規定方向來表現。
所謂傾斜特徵量，係為表示傾斜方向的影像之特徵量。例如，各方向之活性、或對影像施加索貝爾濾波器等所得的傾斜向量(梯度)，係為傾斜特徵量之一例。
所謂傾斜方向之信賴度係意味著，藉由某些方法所求出的像素之傾斜方向之信賴性(蓋然性)。
所謂初期級別，係於結點係數學習中結點係數所被求出的級別，係為被合併前的級別。
所謂合併級別，係為將1個(1級別)以上之初期級別予以合併後的級別。
所謂合併級別數，係為將初期級別予以合併而獲得的合併級別之數量。
所謂合併模態，係為表示初期級別、與將該初期級別予以合併而獲得的合併級別之對應關係，是以例如，按照表示初期級別的級別號碼之順序，將該級別號碼之初期級別所被合併的合併級別之級別號碼予以配置的表現形式等，而被表現。
以下，在說明本技術的實施形態之前，說明包含GALF之級別分類的GALF之處理之概要。
＜GALF之級別分類之概要＞
圖1係進行GALF之級別分類的級別分類部10之處理之概要的說明圖。
亦即，圖1係圖示了JVET(Joint Video. Exploration Team)-B0060之級別分類之概要。
級別分類部10，係於解碼影像(包含在編碼裝置中藉由局部解碼所得之解碼影像)中，將作為級別分類之對象的像素，依序選擇成為注目像素，將以注目像素為起點的複數方向之每一者的活性，當作注目像素的傾斜特徵量而予以求出。
在級別分類部10中，作為以注目像素為起點的複數方向係採用例如：以注目像素為起點的作為垂直方向的上方向、作為水平方向的左方向、左上方向、及右上方向之4方向。
此處，如圖1所示，上方向、左方向、左上方向、及右上方向，以下分別亦稱之為V方向、H方向、D0方向、及D1方向。又，對於V方向、H方向、D0方向、及D1方向，以注目像素(之位置)為對稱之中心而呈點對稱之方向(相反方向)，分別稱之為V’方向、H’方向、D0’方向、及D1’方向。
影像的活性，係經常是呈點對稱，因此在GALF之級別分類中，點對稱之2方向之活性，係可藉由該2方向之中的1方向之活性而兼用(代用)之。亦即，V方向及V’方向之活性，係可藉由V方向之活性而被兼用，H方向及H’方向之活性，係可藉由H方向之活性而被兼用。D0方向及D0’方向之活性，係可藉由D0方向之活性而被兼用，D1方向及D1’方向之活性，係可藉由D1方向之活性而被兼用。
V方向、H方向、D0方向、及D1方向，係因為是於GALF之級別分類中被求出活性的方向，因此可說是活性算出方向。身為活性算出方向的V方向、H方向、D0方向、及D1方向，因為是事前已被決定之離散的方向所以係為規定方向(之一種)。
級別分類部10，係將注目像素之D方向(表示V方向、H方向、D0方向、或D1方向)之活性A(D)，藉由對包含注目像素的解碼影像，施加例如拉普拉斯濾波器，而予以求出。此情況下，注目像素的V方向、H方向、D0方向、及D1方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)，係例如可依照下式而求出。
Figure 02_image001
此處，L[y][x]係表示解碼影像的第y行第x列之位置的像素之像素值(亮度值)，在現在的情況下，解碼影像的第y行第x列之位置的像素係為注目像素。又，abs(v)係表示v的絕對值，v＜＜b係表示要將v，往左平移b位元(變成2b 倍)。
級別分類部10，係將注目像素之週邊領域內的複數像素之每一者的活性同樣地予以求出。然後，級別分類部10，係將注目像素之週邊領域內的複數像素之每一者的活性，按照V方向、H方向、D0方向、及D1方向之每一者而予以加算，針對V方向、H方向、D0方向、及D1方向之每一者，求出活性的加算值(以下亦稱為活性加總(activity summation))。
在本實施形態中，例如，如圖1所示，以注目像素為中心的橫×縱為3×3像素之領域，係為將作為傾斜特徵量的活性A(D)予以綜合性使用的對象之週邊領域，將其週邊領域的3×3像素之每一者的式(1)之活性A(V)予以加算，求出注目像素的V方向之活性加總sumA(V)。注目像素的H方向、D0方向、及D1方向之活性加總sumA(H)、sumA(D0)、及sumA(D1)也是同樣地被求出。此處，週邊領域，係不限定於3×3像素之領域。作為將傾斜特徵量予以綜合性使用的對象之週邊領域，(此處係為活性A(D)之加算之對象的週邊領域)，係除了3×3像素之領域以外，還可採用包含注目像素的6×6像素之領域，或其他的包含注目像素的任意之領域。
級別分類部10，係使用注目像素的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)，而將表示注目像素之傾斜方向的作為規定方向之GALF的direction予以求出(設定)。
此處，所謂作為規定方向的GALF之direction，係如圖1所示，係為以2進位數而被指派了000乃至111，以10進位數而被指派了0乃至7的8方向。在GALF中，作為規定方向的direction係有：H方向與將H方向及D0方向予以2等分的方向HD0之間的方向、方向HD0與D0方向之間的方向、D0方向與將D方向及V方向予以2等分的方向D0V之間的方向、方向D0V與V方向之間的方向、V方向與將V方向及D1方向予以2等分的方向VD1之間的方向、方向VD1與D1方向之間的方向、D1方向與將D1方向及H’方向予以2等分的方向D1H’之間的方向、以及方向D1H’與H’方向之間的方向，合計8方向，是被事前決定。
對H方向與方向HD0之間的方向係指派了2進位數的110，對方向HD0與D0方向之間的方向係指派了2進位數的001，對D0方向與方向D0V之間的方向係指派了2進位數的000，對方向D0V與V方向之間的方向係指派了2進位數的010，對V方向與方向VD1之間的方向係指派了2進位數的011，對方向VD1與D1方向之間的方向係指派了2進位數的100，對D1方向與方向D1H’之間的方向係指派了2進位數的101，對方向D1H’與H’方向之間的方向係指派了2進位數的111。此外，在GALF中，上述的8方向之每一者，與該8方向之每一者呈點對稱之方向，係視為同一方向。
級別分類部10，係從作為注目像素之規定方向的direction，將表示注目像素之傾斜方向的方向級別予以求出(設定)。GALF的方向級別係表示V方向或是H方向之哪一者，或者，D0方向或是D1方向之哪一者的2種類之方向。
此處，求出方向級別這件事情，係構成了級別分類部10所進行的GALF之級別分類之一部分，因此，可稱之為子級別分類。求出方向級別的子級別分類，以下亦稱為方向子級別分類。
級別分類部10，係隨應於注目像素之方向級別，以及V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)，而將注目像素予以級別分類。
圖2係作為注目像素之規定方向(傾斜方向)的GALF之direction之求出方法的說明圖。
圖2係圖示了，於GALF之級別分類中，使用V方向、H方向、D0方向、及D1方向之活性加總sumA (V)、sumA(H)、sumA(D0)、及sumA(D1)而被求出(被設定)的MainDir及SecDir之例子。再者，圖2係圖示了GALF之級別分類中所被使用的MainDir及SecDir與direction之關係、及表示direction與transpose及class之關係的方向級別分類表。
級別分類部10，係求出了V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA (D0)、及sumA(D1)後，將活性加總sumA(H)與sumA(V)進行比較，將較大者視為第1勝者活性HVhigh，同時將另一方視為第1敗者活性HVlow。
又，級別分類部10，係將活性加總sumA (D0)與sumA(D1)進行比較，將較大者視為第2勝者活性Dhigh，同時將另一方視為第2敗者活性Dlow。
然後，級別分類部10，係將第1勝者活性HVhigh與第2敗者活性Dlow之乘算值HVhigh×Dlow，與第2勝者活性Dhigh與第1敗者活性HVlow之乘算值Dhigh× HVlow進行比較。
乘算值HVhigh×Dlow大於乘算值Dhigh× HVlow的情況下，級別分類部10，係將得到第1勝者活性HVhigh的方向(H方向或V方向)，決定成Main Dir (MainDirection)，同時，將得到第2勝者活性Dhigh的方向(D0方向或D1方向)，決定成SecDir(Second Direction)。
另一方面，HVhigh×Dlow不大於Dhigh× HVlow的情況下，級別分類部10，係將得到第2勝者活性Dhigh的方向，決定成MainDir，同時，將得到第1勝者活性HVhigh的方向，決定成SecDir。
在圖2中，注目像素的MainDir及SecDir，係分別為D0方向及V方向。
級別分類部10，係於方向級別分類表中，將注目像素之MainDir及SecDir所被指派的direction，決定成作為注目像素之規定方向的direction。然後，級別分類部10，係於方向級別分類表中，將注目像素之direction所被指派的transpose及class，決定成注目像素之transpose及class。
此處，在GALF中，濾波器係數係被轉置，而被使用於濾波器處理，但transpose係表示濾波器係數的轉置之方式。class，係表示方向級別。GALF之方向級別，係為以10進位數的0及2而被表示的2種類之級別。方向級別，係可藉由求取注目像素之direction、與2進位數之010的邏輯積，而予以求出。方向級別0，係表示傾斜方向為D0方向或D1方向，方向級別2，係表示傾斜方向為V方向或H方向。
圖3係GALF之級別分類中所被求出之級別的說明圖。
級別分類部10所進行的GALF之級別分類中，注目像素，係被分類成(最終)級別0乃至24之25級別之中的任一者。
亦即，級別分類部10，係因應需要而使用注目像素之方向級別，以及V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，而求出表示注目像素之像素值之傾斜之強度的傾斜強度比，隨應於該傾斜強度比，而將表示注目像素之傾斜強度比的級別予以求出(設定)。
此處，求出表示傾斜強度比的級別這件事情，係構成了級別分類部10所進行的GALF之級別分類之一部分，因此，可稱之為子級別分類。求出表示傾斜強度比之級別的子級別分類，以下亦稱為傾斜強度比子級別分類。藉由子級別分類而被獲得之級別，以下亦稱為子級別。
級別分類部10，係將D0方向及D1方向之活性加總sumA(D0)及sumA(D1)的比rd1,d2 ，以及V方向及H方向之活性加總sumA(V)及sumA(H)的比rh,v ，分別依照式(2)及式(3)，當作傾斜強度比而予以求出。
Figure 02_image003
Figure 02_image005
此處，max{A, B}係表示A及B之中的較大者，min{A, B}係表示A及B之中的較小者。
傾斜強度比rd1,d2 為未滿第1閾值t1 的情況下、及傾斜強度比rh,v 為未滿第1閾值t1 的情況下，注目像素係被傾斜強度比子級別分類成，傾斜強度比為極小的無(None)級別。
於傾斜強度比子級別分類中，注目像素被分類成無級別的情況下，級別分類部10，係將注目像素之方向級別(子級別)視為無效(不做考慮)，而隨應於作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，而將注目像素予以級別分類成最終的初期級別(以下亦稱為最終級別)。
亦即，級別分類部10，係隨應於活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)，而求出表示活性加總之大小的級別。
此處，將表示活性加總之大小的級別予以求出這件事情，係與傾斜強度比子級別分類等同樣地，係為子級別分類，以下亦稱為活性子級別分類。
在活性子級別分類中，使用活性加總sumA (V)、sumA(H)、sumA(D0)、及sumA(D1)之中的，活性加總sumA(V)及sumA(H)，求出指向藉由活性子級別分類而求出的子級別也就是活性子級別的索引class_idx。
索引class_idx係例如，依照式class_idx = Clip(0, 15, ((sumA(V)+sumA(H)) × 24) ＞＞13)而被求出。此處，Clip(0, 15, X)係表示，以使得X會成為落在0乃至15之範圍內之值的方式，將X予以限幅。
在活性子級別分類中，係隨應於索引class_idx，而求出活性子級別。
亦即，索引class_idx為0的情況下，活性子級別係被設成0(Small級別)，索引class_idx為1的情況下，活性子級別係被設成1。又，索引class_idx為2乃至6的情況下，活性子級別係被設成2，索引class_idx為7乃至14的情況下，活性子級別係被設成3。然後，索引class_idx為15的情況下，活性子級別係被設成4(Large級別)。
活性子級別為0乃至4的情況下，於傾斜強度比子級別分類中被分類成無級別的注目像素，係分別被級別分類成最終級別0乃至4。
傾斜強度比rd1,d2 並非未滿第1閾值t1 的情況，或傾斜強度比rh,v 並非未滿第1閾值t1 的情況下，則將注目像素之方向級別視為有效(要考慮)，來進行傾斜強度比子級別分類。
亦即，注目像素之方向級別(子級別)是D0方向或D1方向所對應之方向級別0的情況下，式(2)的傾斜強度比rd1,d2 所相應之傾斜強度比子級別分類(亦稱為使用了傾斜強度比rd1,d2 的傾斜強度比子級別分類、或傾斜強度比rd1,d2 之傾斜強度比子級別分類)，會被進行。
傾斜強度比rd1,d2 為第1閾值t1 以上而未滿第2閾值t2 的情況下，注目像素係被傾斜強度比子級別分類成，傾斜強度比為較小的弱(Weak)級別。
於傾斜強度比子級別分類中，注目像素被分類成弱級別的情況下，級別分類部10，係隨應於作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，而將注目像素予以級別分類成最終級別。
亦即，藉由活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)所相應之活性子級別分類而被獲得的活性子級別為0乃至4的情況下，於傾斜強度比子級別分類中被分類成弱級別的注目像素，係分別被級別分類成最終級別5乃至9。
傾斜強度比rd1,d2 為第2閾值t2 以上的情況下，注目像素係被傾斜強度比子級別分類成，傾斜強度比為較大的強(Strong)級別。
於傾斜強度比子級別分類中，注目像素被分類成強級別的情況下，級別分類部10，係隨應於作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，而將注目像素予以級別分類成最終級別。
亦即，藉由活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)所相應之活性子級別分類而被獲得的活性子級別為0乃至4的情況下，於傾斜強度比子級別分類中被分類成強級別的注目像素，係分別被級別分類成最終級別10乃至14。
另一方面，注目像素之方向級別為V方向或H方向所對應之方向級別2的情況下，式(3)的傾斜強度比rh,v 所相應之傾斜強度比子級別分類，會被進行。
傾斜強度比rh,v 為第1閾值t1 以上而未滿第2閾值t2 的情況下，注目像素係被傾斜強度比子級別分類成，傾斜強度比為較小的弱(Weak)級別。
於傾斜強度比子級別分類中，注目像素被分類成弱級別的情況下，級別分類部10，係隨應於作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，而將注目像素予以級別分類成最終級別15乃至19之任一者。
亦即，藉由活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)所相應之活性子級別分類而被獲得的活性子級別為0乃至4的情況下，於傾斜強度比子級別分類中被分類成弱級別的注目像素，係分別被級別分類成最終級別15乃至19。
傾斜強度比rh,v 為第2閾值t2 以上的情況下，注目像素係被傾斜強度比子級別分類成，傾斜強度比為較大的強(Strong)級別。
於傾斜強度比子級別分類中，注目像素被分類成強級別的情況下，級別分類部10，係隨應於作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，而將注目像素予以級別分類成最終級別20乃至24之任一者。
亦即，藉由活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)所相應之活性子級別分類而被獲得的活性子級別為0乃至4的情況下，於傾斜強度比子級別分類中被分類成強級別的注目像素，係分別被級別分類成最終級別20乃至24。
此處，於本說明書，所謂級別c係意味著，用來將級別予以特定的級別號碼是c的級別。
＜GALF之處理＞
圖4係將影像予以編碼的編碼裝置作為ILF之1者而具有的GALF之處理的說明用流程圖。
於步驟S11中，GALF，係將編碼裝置中藉由局部解碼所得到的(例如1圖像的)解碼影像之像素，依序選擇成為注目像素，處理係往步驟S12前進。
在步驟S12中，GALF，係如圖1乃至圖3所說明，進行注目像素之級別分類，將最終級別0乃至24當作24個初期級別0乃至24，將注目像素分類成任一初期級別，處理係往步驟S13前進。
在步驟S13中，GALF係使用解碼影像、與對該解碼影像的原影像(已被解碼成解碼影像的編碼資料中所被編碼的影像)，按照每一初期級別，建立用來求出結點係數的正規方程式，處理係往步驟S14前進。
此處，令解碼影像的像素之中的使用於預測的第i個預測結點(像素值等)為xi ，令第i個結點係數為wi ，令藉由預測式而求出的原影像的像素(之像素值的預測值)為y，而分別加以表示。在GALF中，係依照1次預測式y=Σwi xi ，而進行將原影像之像素y做預測的作為預測處理的濾波器處理。此情況下，用來求出結點係數wi 的正規方程式，亦即，將使依照1次預測式y=Σwi xi 而被求出的原影像之像素之像素值之預測值y之預測誤差之平方誤差之總和會呈最小的結點係數wi 予以求出的正規方程式，係以式XW=Y來表示。
現在，假設各初期級別之結點係數的個數係為相同的N個，則在式XW=Y中，Y係表示，以原影像之像素之像素值y，與解碼影像之像素之像素值(預測結點)xi 之積之和為要素的N行1列之矩陣(列向量)。又，X係表示，以預測結點xi 與xj 之積之和為要素的N行N列之矩陣，W係表示以結點係數wi 為要素的N行1列之矩陣(列向量)。以下，正規方程式XW=Y中的X，亦稱為X矩陣，Y亦稱為Y向量。
在步驟S14中，GALF，係將每一初期級別的正規方程式，例如藉由丘列斯基分解等而予以解開，求出每一初期級別的結點係數，處理係往步驟S15前進。
此處，如步驟S11乃至S14般地，求出每一初期級別的結點係數的處理，係為結點係數學習。
在步驟S15中，GALF，係為了削減結點係數(的資料量)，而進行將初期級別予以合併的級別合併處理，處理係往步驟S16前進。
在級別合併處理中，係於步驟S21中，進行合併模態決定處理，於步驟S22中，進行採用合併級別數決定處理。
在合併模態決定處理中，係將初期級別數以下之自然數的各值，當作合併級別數，每一合併級別數地決定最佳的合併模態。在採用合併級別數決定處理中，係從藉由合併模態決定處理而被決定了最佳之合併模態的合併級別數之中，決定出，在使用了結點係數的濾波器處理進行時，從初期級別往合併級別之轉換時所採用的採用合併級別數。
關於合併模態決定處理、及採用合併級別數決定處理的細節，將於後述。
在步驟S16中，GALF係進行GALF濾波器處理，處理係往步驟S17前進。
亦即，GALF，係將解碼影像之像素，依序選擇成為注目像素，進行注目像素之級別分類。然後，GALF，係將藉由注目像素之級別分類而被獲得的注目像素之初期級別，依照採用合併級別數所對應之合併模態，而轉換成合併級別。然後，GALF係進行將使用了注目像素之合併級別之結點係數的預測式對解碼影像做適用的濾波器處理，亦即，計算使用了注目像素之合併級別之結點係數wi 的1次預測式y=Σwi xi ，求出濾波器影像之像素值(原影像之像素之像素值之預測值)。
此處，在GALF濾波器處理中，雖然每一合併級別的結點係數係為必須，但每一合併級別的結點係數，係以步驟S21的合併模態決定處理而被求出。
在步驟S17中，GALF係將依照採用合併級別數所對應之合併模態而將初期級別進行轉換所得之每一合併級別的結點係數、採用合併級別數、採用合併級別數所對應之合併模態予以編碼，處理係往步驟S18前進。
在步驟S18中，GALF係進行判定是否對解碼影像進行濾波器處理的RD(Rate Distortion)判定，處理係結束。
圖5係圖4的步驟S21的合併模態決定處理的說明用流程圖。
於步驟S31中，GALF，係對合併級別數(表示其之變數)C，設定作為初期值的初期級別數(初期級別之級別數)Cini，處理係往步驟S32前進。
此處，在合併級別數C是初期級別數Cini的情況下，雖然是處於初期級別之任一者都未被合併的狀態，但為了方便起見，視為0個初期級別已被合併之狀態。
又，於GALF中，初期級別數Cini係為25。
在步驟S32中，GALF係對合併級別(表示其之變數)c，設定0，處理係往步驟S33前進。此處，合併級別數C係為初期級別數Cini的情況下，合併級別c，係為初期級別c。
在步驟S33中，GALF，係將構成合併級別c之(求出結點係數時所建立的)正規方程式的X矩陣及Y向量加以取得，處理係往步驟S34前進。
此處，合併級別數C係為初期級別數Cini的情況下，合併級別c，係為初期級別c，因此合併級別c之正規方程式，係為步驟S13(圖4)中所得到的初期級別c之正規方程式。合併級別數C係為未滿初期級別數Cini之值的情況下，合併級別c之正規方程式，係為初期級別c之正規方程式、後述的步驟S36中所被構成(所被建立)的合併級別c之正規方程式、或初期級別c’之正規方程式、或是步驟S36中所被構成的合併級別c’之正規方程式，且為後述的步驟S44中級別號碼已被排序成c的正規方程式。
在步驟S34中，GALF係對合併級別(表示其之變數)m，設定c+1，處理係往步驟S35前進。
在步驟S35中，GALF，係和步驟S33同樣地，將構成合併級別m之正規方程式的X矩陣及Y向量加以取得，處理係往步驟S36前進。
在步驟S36中，GALF係將構成合併級別c之正規方程式的X矩陣，與構成合併級別m之正規方程式的X矩陣的要素，兩者進行加算。然後，GALF係將構成合併級別c之正規方程式的Y向量，與構成合併級別m之正規方程式的Y向量的要素，兩者進行加算。然後，GALF係將由加算後之X矩陣及Y向量所構成的，將合併級別c與m予以合併而成的新的合併級別c之正規方程式予以建立，處理係從步驟S36往步驟S37前進。
在步驟S37中，GALF，係藉由將由加算後之X矩陣及Y向量所構成的新的合併級別c之正規方程式予以解開，而求出(算出)新的合併級別c之結點係數，處理係往步驟S38前進。
在步驟S38中，GALF係使用新的合併級別c之結點係數，與C級別(C個合併級別1、2、...、C)之中的合併級別c及m以外之結點係數，而對解碼影像進行濾波器處理。然後，GALF係求出藉由濾波器處理而被獲得的濾波器影像相對於原影像的誤差，處理係往步驟S39前進。
亦即，在步驟S38中，C個合併級別1、2、...、C之中，使用將合併級別c及m合併成新的合併級別c而得到的C-1個合併級別之結點係數來進行了濾波器處理的情況下的濾波器影像之誤差，會被求出。
在步驟S39中，GALF係判定合併級別(之級別號碼)m是否等於C-1。
於步驟S39中，若判定為合併級別m不等於C-1，亦即，合併級別m為未滿C-1的情況下，則處理係往步驟S40前進。在步驟S40中，GALF係將合併級別m增值1，處理係回到步驟S35，以下重複同樣的處理。
另一方面，於步驟S39中，若判定為合併級別m等於C-1，亦即，將合併級別c，與合併級別c+1、c+2、...、C分別予以合併，針對各者的合併而求出了濾波器影像之誤差的情況下，處理係往步驟S41前進。
在步驟S41中，GALF係判定合併級別(之級別號碼)c是否等於C-2。
於步驟S41中，若判定為合併級別c不等於C-2，亦即，合併級別c為未滿C-2的情況下，則處理係往步驟S42前進。在步驟S42中，GALF係將合併級別c增值1，處理係回到步驟S33，以下重複同樣的處理。
另一方面，於步驟S41中，若判定為合併級別c等於C-2，亦即，針對C個合併級別1、2、...、C，進行把任意2個合併級別予以合併的C(C-1)/2件的合併，針對C(C-1)/2件的合併之每一者，求出了濾波器影像之誤差的情況下，處理係往步驟S43前進。
在步驟S43中，把C個合併級別1、2、...、C之中的任意2個合併級別予以合併的C(C-1)/2件的合併之中，濾波器影像之誤差為最小的合併，係被視為將合併級別數從C合併成C-1的最佳之合併，GALF係確定把最佳之合併對象的合併級別c及m，合併成新的合併級別c，處理係往步驟S44前進。亦即，GALF，係將合併級別m的級別號碼m，設定至新的合併級別c的級別號碼c。
在步驟S44中，GALF係將級別號碼c+1乃至C-1之中的m除外的級別號碼，按照由小而大的順序，轉換成級別號碼c+1乃至C-2，處理係往步驟S45前進。
此外，於步驟S43中，級別號碼m係被設定至級別號碼c，因此在步驟S44之處理被進行時，在級別號碼c+1乃至C-1之中，級別號碼m係為不存在。
又，將級別號碼c+1乃至C-1之中的m除外的級別號碼，按照由小而大的順序，轉換成級別號碼c+1乃至C-2的這件事情，亦稱為系列排序。
在步驟S45中，GALF係將合併級別數C減值1，處理係往步驟S46前進。
在步驟S46中，表示Cini個初期級別、與將合併級別c及m合併成新的合併級別c之後的C個合併級別之對應關係的合併模態，是被視為合併級別數C的最佳合併模態，GALF係將該合併級別數C的最佳合併模態，當作合併級別數C所對應之合併模態而予以記憶，處理係往步驟S47前進。
在步驟S47中，GALF係判定合併級別數C是否等於1。
於步驟S47中，若判定為合併級別數C不等於1，則處理係回到步驟S32，以下重複同樣的處理。
又，於步驟S47中，若判定合併級別數C等於1，則合併模態決定處理係結束。
圖6係合併模態的表現形式之例子的說明圖。
在本實施形態中，是用如下的表現形式，來表現合併模態。
合併模態，係為表示初期級別、與將該初期級別進行合併之合併級別的對應關係，是以例如，按照初期級別表中所被配置的級別號碼之順序，將該級別號碼之級別所被合併的合併級別的級別號碼予以配置，而被表現。
所謂初期級別表，係為將初期級別之級別號碼予以配置而成的表。
圖6的A係圖示了，藉由GALF之級別分類所得的初期級別之初期級別表。
在圖6的A的初期級別表中，藉由GALF之級別分類所得的25個初期級別的級別號碼0乃至24，是以由小而大之順序而被排列。
圖6的B係圖示了合併模態之例子。
如上述，在合併模態中，按照初期級別表中所被配置的級別號碼之順序，該級別號碼之級別所被合併的合併級別之級別號碼係被配置。
因此，圖6的B的合併模態係表示，將初期級別表的第1乃至25個級別號碼所被配置的初期級別0乃至24，分別合併成合併級別0、1、2、2、3、1、0、1、1、0、0、0、4、1、4、0、0、2、2、4、4、1、4、4、4。
此外，在圖6中，雖然是將初期級別表及合併模態，以5×5之表格形式來加以表現，但初期級別表及合併模態之表現形式，係不限定於表格形式，亦可單純把級別號碼，以逗點或空白區隔而排列的這類表現形式。
又，在本實施形態中，係於圖式中，將級別號碼已被配置在在初期級別表中的初期級別之數量(初期級別數)、及依照合併模態進行合併所得的合併級別之數量(合併級別數)，適宜地表示在作為初期級別表及合併模態的表的上部。圖6的A的初期級別表的左上之數字25，係表示初期級別數，圖6的B的合併模態的左上之數字5，係表示合併級別數。
圖7係每一合併級別數之合併模態之例子的圖示。
亦即，圖7係將藉由GALF之級別分類所得的初期級別之數量(初期級別數)25以下的自然數的各值，當作合併級別數，而表示各合併級別數的最佳合併模態之例子。
將藉由GALF之級別分類所得的初期級別進行合併的各合併級別數之最佳合併模態，係等於初期級別數而存在有25個。
於圖7中，對合併級別數C之合併模態所標示的圓圈，係表示在依照合併級別數C+1所對應之合併模態而得的合併級別之中，藉由將合併級別數從C+1合併成C的合併，而被合併至其他合併級別的合併級別。
例如，在合併級別數24所對應之合併模態中，係對被配置在第16個的級別號碼6標示圓圈。這是表示，將合併級別數從25合併成24的合併時，合併級別數25所對應之合併模態的被配置在第16個的級別號碼15的合併級別，是被合併至合併級別數24所對應之合併模態的被配置在第16個的級別號碼6的合併級別(亦為合併級別數24所對應之合併模態的被配置在第7個的級別號碼6的合併級別)。
此外，將藉由GALF之級別分類所得的初期級別進行合併的25個合併級別數所對應之合併模態之中的，相等於初期級別數的合併級別數25所對應之合併模態中，雖然任一初期級別都未被合併，但為了說明的方便起見，相等於初期級別數的合併級別數25所對應之合併模態，係被視為0個初期級別會被合併的合併模態。合併級別數25所對應之合併模態，係等同於初期級別表。
在合併模態決定處理(圖5)中，係在步驟S43中，將合併級別c及m，合併成新的合併級別c後，在步驟S44中，進行級別號碼之系列排序。因此，於圖7的各合併級別數所對應之合併模態中，級別號碼之最大值，係為相應於合併級別數C的值，亦即係為合併級別數C-1。
在合併模態決定處理中，一面將合併級別數C逐次減1，一面針對藉由上一次的步驟S43中所被確定之合併而被獲得的合併級別數C之合併級別，進行將任意2個合併級別予以合併的C(C-1)/2件的合併。然後，C(C-1)/2件的合併之中的，濾波器影像之誤差呈最小的合併，係被確定成為往合併級別數C-1的最佳之合併，該合併的合併模態，係被當作合併級別數C-1所對應之合併模態而被求出。
此外，關於合併級別數C，在GALF之級別分類中為最大的25的情況、與最小的1的情況下，合併模態係分別為1件，因此合併級別數C為25的情況、及為1的情況之每一者的1件的合併模態，係分別為合併級別數25所對應之合併模態、及合併級別數1所對應之合併模態。
另一方面，在合併級別數C為2乃至24之任一者的情況下，將合併級別數C之合併級別之中的任意2個合併級別進行合併時的數量，係有C(C-1)/2件存在。因此，在合併模態決定處理中，會進行該C(C-1)/2件的合併，使用藉由各合併而被獲得的結點係數來進行濾波器處理，並求出濾波器影像之誤差。然後，濾波器影像之誤差會呈最小的合併的合併模態，係被決定成合併級別數C-1所對應之合併級別。
因此，將合併級別數C從25合併成24的合併時，必須進行25(25-1)/2=300件的合併，將合併級別數C從24合併成23的合併時，必須進行24(24-1)/2=276件的合併。以下同樣地，將合併級別數C從4合併成3的合併時，必須進行4(4-1)/2=6件的合併，將合併級別數C從3合併成2的合併時，必須進行3(3-1)/2=3件的合併。
在將合併級別數C為1乃至25所分別對應之合併模態予以決定時，總計必須進行2600次的合併，因此，合併模態決定處理的處理量會變多。
圖8係圖4的步驟S22的採用合併級別數決定處理的說明用流程圖。
於步驟S61中，GALF係對合併級別數(表示其之變數)C，設定初期級別數Cini=25，處理係往步驟S62前進。
於步驟S62中，GALF係將合併模態決定處理(圖5)中所求出的合併級別數C所對應之合併模態加以取得(載入)，處理係往步驟S63前進。
在步驟S63中，GALF係將依照合併級別數C所對應之合併模態，而把25個初期級別，合併成C級別之合併級別(C個合併級別)時的C級別(份)的結點係數加以取得(載入)，處理係往步驟S64前進。
此處，依照合併級別數C所對應之合併模態，而將25個初期級別，合併成C級別之合併級別時的C級別(合併級別)之結點係數，係已經在合併模態決定處理的步驟S37中被求出。
在步驟S64中，GALF係使用C級別之結點係數來進行GALF濾波器處理，處理係往步驟S65前進。
亦即，GALF係將解碼影像之像素，依序選擇成為注目像素，進行注目像素之級別分類(對注目像素之級別分類)。然後，GALF，係將藉由注目像素之級別分類而被獲得的注目像素之初期級別，依照合併級別數C所對應之合併模態，而轉換成合併級別。然後，GALF係將步驟S63中所取得的C級別之結點係數之中的，注目像素之合併級別之結點係數，加以使用，來進行濾波器處理，求出濾波器影像。
在步驟S65中，GALF係將使用注目像素之合併級別之結點係數進行濾波器處理所得之濾波器影像的，相對於原影像的誤差dist予以求出，處理係往步驟S66前進。
在步驟S66中，GALF係將解碼裝置上的GALF濾波器處理時所必須之參數，亦即：合併級別數C、合併級別數C所對應之合併模態、及依照該合併模態而將初期級別予以合併所得之C級別之結點係數的編碼量coeffBit予以求出，處理係往步驟S67前進。
在步驟S67中，GALF係使用誤差dist與編碼量coeffBit，求出將初期級別合併至C級別(合併級別數C)的往C級別之合併的成本dist+lambda×coeffBit，處理係往步驟S68前進。lambda，係為隨應於QP而被設定的值。
在步驟S68中，GALF係判定合併級別數C是否等於1。
於步驟S68中，若判定為合併級別數C不等於1，則處理係前進至步驟S69。在步驟S69中，GALF係將合併級別數C減值1，處理係回到步驟S62，以下重複同樣的處理。
又，於步驟S68中，若判定為合併級別數C等於1，則處理係往步驟S70前進。在步驟S70中，往1級別乃至Cini級別的合併之中的，成本為最小之合併，係被設成在GALF濾波器處理時所要採用的採用合併，GALF係將進行採用合併時的合併模態之合併級別數，決定成採用合併級別數，採用合併級別數決定處理係結束。
如以上所述，在採用合併級別數決定處理中，藉由合併模態決定處理(圖5)所得到的合併級別數1乃至25所分別對應之合併模態之中的，成本為最小的合併模態之合併級別數，係被決定成採用合併級別數。
在GALF中，在採用合併級別數為1及25以外之值的情況下，表示25級別之初期級別、與採用合併級別數之合併級別之對應關係的合併模態，必須要從編碼裝置傳輸至解碼裝置。
圖9係從編碼裝置被傳輸至解碼裝置的合併模態之例子的圖示。
在圖9中，合併模態係以，25個初期級別會被合併之合併級別的級別號碼是被設定的陣列變數mergeInfo[25]，而被表示。
於圖9的陣列變數mergeInfo[25]中，從開頭(左)起第i個的數字j係表示，將級別號碼i之初期級別，轉換(合併)成級別號碼j之合併級別。
如以上所述，在GALF中，在將合併級別數C為1乃至25所分別對應之合併模態予以決定的合併模態決定處理中，必須要進行2600次的合併，因此處理量會變多。甚至，在GALF中，必須要將合併模態，從編碼裝置傳輸至解碼裝置。
於是，在本技術中，是按照每一合併級別數，預先設定好該合併級別數所對應之合併模態，依照該已被預先設定之合併模態，而將初期級別轉換成合併級別。
＜被預先設定的合併模態之例子＞
圖10及圖11係為被預先設定的合併模態之第1例的圖示。
亦即，圖10及圖11係為，將藉由GALF之級別分類所得的25個初期級別進行合併，合併級別數25、20、15、10、5、3、2、1所對應之合併模態之例子的圖示。
在本技術中，如上述，是按照每一合併級別數，預先設定好該合併級別數所對應之合併模態，依照該已被預先設定之合併模態，而將初期級別轉換成合併級別。
因此，不須進行在GALF中所被進行的合併模態決定處理，可削減處理量。再者，合併模態，係隨著每一合併級別數而被預先設定，因此只要特定出合併級別數，合併模態也會被唯一特定。因此，藉由把已被預先設定之合併模態，在編碼裝置及解碼裝置中做共享，就不需要把合併模態從編碼裝置傳輸至解碼裝置，而不需要傳輸合併模態的部分，就可換來編碼效率的改善。
此外，預先設定好合併模態的合併級別數，係不需要為連續的自然數，亦可為跳來跳去之值的自然數。
每一合併級別數之合併模態，係可以用任意的方法來做設定，但若以任意的方法來設定合併模態，則有時候會導致濾波器處理的性能劣化，降低濾波器影像之畫質。此處，進行將注目像素分類成初期級別的所定之級別分類，將藉由該所定之級別分類而被獲得之初期級別，依照合併模態而進行轉換，求出合併級別的這件事情，係可視為將注目像素分類成合併級別的級別分類。此情況下，將初期級別轉換成合併級別的合併模態，係可視為決定往合併級別的級別分類之分類規則(級別分類法)。因此，將合併模態予以設定這件事情，係可藉由決定往合併級別的級別分類之分類規則，而進行之。
濾波器處理的性能劣化係可藉由，按照每一合併級別數，在求出初期級別之級別分類時所被使用的像素之特徵量等之資訊之中，適切地決定對往合併級別之級別分類會造成影響的資訊、或對該資訊的合併級別(之子級別)之指派方式(例如對哪個特徵量的哪個範圍，指派哪個合併級別)等之往合併級別的級別分類之分類規則，而設定合併模態，就可加以抑制。
於是，在本技術中，是把抑制濾波器處理的性能劣化這件事情，當作設定合併模態的設定方針，以不會違反該設定方針的設定規則，來設定各合併級別數所對應之合併模態。
作為設定合併模態的設定規則係可採用，將每一合併級別數之合併模態，以使得級別數會從藉由所定之級別分類而被獲得之初期級別起逐漸減少的方式而加以設定的減量設定。
作為設定規則係可採用，將每一合併級別數之合併模態，以使得將藉由所定之級別分類而被獲得之初期級別進行合併的合併模態、與將藉由其他級別分類而被獲得之初期級別進行合併的合併模態會是混合存在的方式來做設定的混合設定。
甚至，作為設定規則係可採用，將預先準備的合併模態之設定用的影像，作為原影像而予以編碼時，濾波器處理中所必須之參數(每一合併級別的結點係數或採用合併級別數)的編碼量，與濾波器影像對原影像之誤差的其中一方或雙方是被統計性最佳化的方式，來設定每一合併級別數之合併模態的統計性設定。
在合併模態的統計性設定中，係可把合併模態之設定用的影像當作原影像而使用，例如，將在GALF中所被進行之合併模態決定處理，預先以離線方式進行之，將藉由該離線進行之合併模態決定處理而被獲得的各合併級別數所對應之合併模態，設定成每一合併級別數之合併模態。
圖10及圖11係圖示了合併模態的減量設定之例子。
在減量設定時，每一合併級別數之合併模態，係以使得級別數會從藉由所定之級別分類而被獲得之初期級別起逐漸減少的方式，而被設定。
在圖10及圖11中，作為所定之級別分類，是採用了例如GALF之級別分類。
在減量設定時，係可以使得所定之級別分類中所被使用的資訊之中的任一資訊是有優先性影響的合併級別會被獲得的方式，來設定每一合併級別之合併模態。
所定之級別分類是GALF之級別分類的情況下，作為GALF之級別分類中所被使用之資訊，係如圖1乃至圖3所說明，係有：傾斜強度比、方向級別、及活性加總(活性子級別)。
在減量設定時，例如，可以使得傾斜強度比或活性加總是有優先性影響的合併級別會被獲得的方式，來設定每一合併級別數之合併模態。圖10及圖11的合併模態係為，此種會獲得傾斜強度比是有優先性影響之合併級別的合併模態。
於圖10中，合併級別數25所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無(None)級別、弱(Weak)級別、及強(Strong)級別這3子級別之任一者，隨應於活性加總，而進行活性子級別分類成5子級別之任一者，在藉由相應於傾斜強度比之傾斜強度比子級別分類而被獲得的傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而進行方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，藉由共分類成25級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。亦即，合併級別數25所對應之合併模態，係為與藉由GALF之級別分類所得的初期級別相同之合併級別會被獲得的合併模態。
此處，H/V級別係意味著，圖1乃至圖3中所說明的方向級別2(表示傾斜方向是V方向或H方向的子級別)。D0/D1級別係意味著，圖1乃至圖3中所說明的方向級別0(表示傾斜方向是D0方向或D1方向的子級別)。
於圖10中，合併級別數20所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於活性加總，而進行活性子級別分類成4子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而進行方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，藉由共分類成20級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
於圖10中，合併級別數15所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於活性加總，而進行活性子級別分類成3子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而進行方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，藉由共分類成15級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
於圖10中，合併級別數10所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於活性加總，而進行活性子級別分類成2子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而進行方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，藉由共分類成10級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
於圖11中，合併級別數5所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而進行方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，藉由共分類成5級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
於圖11中，合併級別數3所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，藉此，藉由共分類成3級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
於圖11中，合併級別數2所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、及弱/強級別這2子級別之任一者，藉此，藉由共分類成2級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。。
此處，弱/強級別，係在隨應於傾斜強度比而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者之情況的，弱級別與強級別所合成(合併)的級別。
於圖11中，合併級別數1所對應之合併模態係為，藉由將注目像素進行級別分類成1級別而得的級別是作為合併級別而被獲得的合併模態。此處，將注目像素進行級別分類成1級別這件事情，係可想成是不進行級別分類，亦即沒有級別。在本實施形態中，將注目像素進行級別分類成1級別之情況的該1級別，亦稱為單級別。合併級別數1所對應之合併模態係為，單級別是作為合併級別而被獲得的合併模態。
說明傾斜強度比是有優先性影響的合併級別會被獲得的圖10及圖11的合併模態之設定之方法。
圖12係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成25級別之合併級別的合併級別數25所對應之合併模態之設定之方法的說明圖。
亦即，圖12係圖示了，依照圖10的合併級別數25所對應之合併模態而(將初期級別進行轉換所)被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖12的分類規則，則和圖1乃至圖3所說明的GALF之級別分類同樣地，注目像素係隨應於傾斜強度比，而被傾斜強度比子級別分類成無(None)級別、弱(Weak)級別、及強(Strong)級別這3子級別之任一者，隨應於作為空間特徵量的活性加總，而被活性子級別分類成5子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而被方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，被級別分類成合併級別0乃至24之任一者。
於圖12的分類規則中，在往5子級別之任一者的活性子級別分類中，注目像素係隨應於從活性加總而如圖3所說明般地所被求出之索引class_idx，在索引class_idx為0的情況下，則被分類成活性子級別0(Small級別)，在索引class_idx為1的情況下，則被分類成活性子級別1，在索引class_idx為2乃至6的情況下，則被分類成活性子級別2，在索引class_idx為7乃至14的情況下，則被分類成活性子級別3，在索引class_idx為15的情況下，則被分類成活性子級別4(Large級別)。
然後，若依據圖12的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係為，在活性子級別為0時，係被分類成合併級別0；在活性子級別為1時，係被分類成合併級別1；在活性子級別為2時，係被分類成合併級別2；在活性子級別為3時，係被分類成合併級別3；在活性子級別為4時，係被分類成合併級別4。
傾斜強度比子級別是弱級別，且方向級別是D0/D1級別的情況下，注目像素係在活性子級別為0時，係被分類成合併級別5；在活性子級別為1時，係被分類成合併級別6；在活性子級別為2時，係被分類成合併級別7；在活性子級別為3時，係被分類成合併級別8；在活性子級別為4時，係被分類成合併級別9。
傾斜強度比子級別是強級別，且方向級別是D0/D1級別的情況下，注目像素係在活性子級別為0時，係被分類成合併級別10；在活性子級別為1時，係被分類成合併級別11；在活性子級別為2時，係被分類成合併級別12；在活性子級別為3時，係被分類成合併級別13；在活性子級別為4時，係被分類成合併級別14。
傾斜強度比子級別是弱級別，且方向級別是H/V級別的情況下，注目像素係在活性子級別為0時，係被分類成合併級別15；在活性子級別為1時，係被分類成合併級別16；在活性子級別為2時，係被分類成合併級別17；在活性子級別為3時，係被分類成合併級別18；在活性子級別為4時，係被分類成合併級別19。
傾斜強度比子級別是強級別，且方向級別是H/V級別的情況下，注目像素係在活性子級別為0時，係被分類成合併級別20；在活性子級別為1時，係被分類成合併級別21；在活性子級別為2時，係被分類成合併級別22；在活性子級別為3時，係被分類成合併級別23；在活性子級別為4時，係被分類成合併級別24。
藉由依照圖12之分類規則的級別分類而被獲得的合併級別0乃至24，係與藉由GALF之級別分類而被獲得的初期級別0乃至24分別一致。因此，作為合併級別數25所對應之合併模態係可設定，將初期級別0乃至24，分別轉換(合併)至合併級別0乃至24的合併模態。
圖13係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成20級別之合併級別的合併級別數20所對應之合併模態之設定之方法的說明圖。
亦即，圖13係圖示了，依照圖10的合併級別數20所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖13的分類規則，則注目像素係隨應於傾斜強度比，而被傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於作為空間特徵量的活性加總，而被活性子級別分類成4子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而被方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此而被級別分類成合併級別0乃至19之任一者。圖13的分類規則係為，將圖12的分類規則中的活性子級別0與1進行合併，使活性子級別的數量從5減少成4的規則。
於圖13的分類規則中，在往4子級別之任一者的活性子級別分類中，注目像素係隨應於從活性加總而如圖3所說明般地所被求出之索引class_idx，在索引class_idx為0或1的情況下，則被分類成作為活性子級別的小(small)級別；在索引class_idx為2乃至6的情況下，則被分類成作為活性子級別的中1(Middle1)級別；在索引class_idx為7乃至14的情況下，則被分類成作為活性子級別的中2(Middle2)級別；在索引class_idx為15的情況下，則被分類成作為活性子級別的大(Large)級別。
於圖13的分類規則中，活性子級別的數量，係從初期級別的活性子級別之數量5減少1而變成4。然後，小級別係與初期級別中的活性子級別0及1一致，中1級別、中2級別、大級別係分別與初期級別中的活性子級別2、3、4一致。
在圖13的分類規則中，子級別對活性加總之指派，相較於GALF之級別分類的情況，是減少了1子級別，因此該減少的部分，活性加總就不會對往合併級別之級別分類造成影響。其結果為，若依據圖13的分類規則，就可獲得傾斜強度比或方向級別是比活性加總更具有優先性影響的合併級別。
若依據圖13的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別0；在活性子級別為中1級別時，係被分類成合併級別1；在活性子級別為中2級別時，係被分類成合併級別2；在活性子級別為大級別時，係被分類成合併級別3。
傾斜強度比子級別是弱級別，且方向級別是D0/D1級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別4；在活性子級別為中1級別時，係被分類成合併級別5；在活性子級別為中2級別時，係被分類成合併級別6；在活性子級別為大級別時，係被分類成合併級別7。
傾斜強度比子級別是強級別，且方向級別是D0/D1級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別8；在活性子級別為中1級別時，係被分類成合併級別9；在活性子級別為中2級別時，係被分類成合併級別10；在活性子級別為大級別時，係被分類成合併級別11。
傾斜強度比子級別是弱級別，且方向級別是H/V級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別12；在活性子級別為中1級別時，係被分類成合併級別13；在活性子級別為中2級別時，係被分類成合併級別14；在活性子級別為大級別時，係被分類成合併級別15。
傾斜強度比子級別是強級別，且方向級別是H/V級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別16；在活性子級別為中1級別時，係被分類成合併級別17；在活性子級別為中2級別時，係被分類成合併級別18；在活性子級別為大級別時，係被分類成合併級別19。
於圖13的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0及1一致；合併級別1乃至3，係與藉由GALF之級別分類而被獲得的初期級別2乃至4分別一致；合併級別4，係與藉由GALF之級別分類而被獲得的初期級別5及6一致；合併級別5乃至7，係與藉由GALF之級別分類而被獲得的初期級別7乃至9分別一致；合併級別8，係與藉由GALF之級別分類而被獲得的初期級別10及11一致；合併級別9乃至11，係與藉由GALF之級別分類而被獲得的初期級別12乃至14分別一致；合併級別12，係與藉由GALF之級別分類而被獲得的初期級別15及16一致；合併級別13乃至15，係與藉由GALF之級別分類而被獲得的初期級別17乃至19分別一致；合併級別16，係與藉由GALF之級別分類而被獲得的初期級別20及21一致；合併級別17乃至19，係與藉由GALF之級別分類而被獲得的初期級別22乃至24分別一致。
因此，作為合併級別數20所對應之合併模態係可設定：將初期級別0及1轉換成合併級別0，將初期級別2乃至4分別轉換成合併級別1乃至3，將初期級別5及6轉換成合併級別4，將初期級別7乃至9分別轉換成合併級別5乃至7，將初期級別10及11轉換成合併級別8，將初期級別12乃至14分別轉換成合併級別9乃至11，將初期級別15及16轉換成合併級別12，將初期級別17乃至19分別轉換成合併級別13乃至15，將初期級別20及21轉換成合併級別16，將初期級別22乃至24分別轉換成合併級別17乃至19的合併模態。
圖14係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成15級別之合併級別的合併級別數15所對應之合併模態之設定之方法的說明圖。
亦即，圖14係圖示了，依照圖10的合併級別數15所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖14的分類規則，則注目像素係隨應於傾斜強度比，而被傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於作為空間特徵量的活性加總，而被活性子級別分類成3子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而被方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此而被級別分類成合併級別0乃至14之任一者。圖14的分類規則係為，將圖13的分類規則中的作為活性子級別的小級別與中1級別進行合併，使活性子級別的數量從4減少成3的規則。
於圖14的分類規則中，在往3子級別之任一者的活性子級別分類中，注目像素係為，隨應於從活性加總而如圖3所說明般地所被求出之索引class_idx，在索引class_idx為0乃至6的情況下，則被分類成作為活性子級別的小(small)級別；在索引class_idx為7乃至14的情況下，則被分類成作為活性子級別的中(Middle)級別；在索引class_idx為15的情況下，則被分類成作為活性子級別的大(Large)級別。
於圖14的分類規則中，活性子級別的數量，係從初期級別的活性子級別之數量5減少2而變成3。然後，小級別係與初期級別中的活性子級別0乃至2一致，中級別、大級別係分別與初期級別中的活性子級別3、4一致。
在圖14的分類規則中，子級別對活性加總之指派，相較於GALF之級別分類的情況，是減少了2子級別，因此該減少的部分，活性加總就不會對往合併級別之級別分類造成影響。其結果為，若依據圖14的分類規則，就可獲得傾斜強度比或方向級別是比活性加總更具有優先性影響的合併級別。
若依據圖14的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別0；在活性子級別為中級別時，係被分類成合併級別1；在活性子級別為大級別時，係被分類成合併級別2。
傾斜強度比子級別是弱級別，且方向級別是D0/D1級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別3；在活性子級別為中級別時，係被分類成合併級別4；在活性子級別為大級別時，係被分類成合併級別5。
傾斜強度比子級別是強級別，且方向級別是D0/D1級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別6；在活性子級別為中級別時，係被分類成合併級別7；在活性子級別為大級別時，係被分類成合併級別8。
傾斜強度比子級別是弱級別，且方向級別是H/V級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別9；在活性子級別為中級別時，係被分類成合併級別10；在活性子級別為大級別時，係被分類成合併級別11。
傾斜強度比子級別是強級別，且方向級別是H/V級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別12；在活性子級別為中級別時，係被分類成合併級別13；在活性子級別為大級別時，係被分類成合併級別14。
於圖14的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0乃至2一致；合併級別1及2，係與藉由GALF之級別分類而被獲得的初期級別3及4分別一致；合併級別3，係與藉由GALF之級別分類而被獲得的初期級別5乃至7一致；合併級別4及5，係與藉由GALF之級別分類而被獲得的初期級別8及9分別一致；合併級別6，係與藉由GALF之級別分類而被獲得的初期級別10乃至12一致；合併級別7及8，係與藉由GALF之級別分類而被獲得的初期級別13及14分別一致；合併級別9，係與藉由GALF之級別分類而被獲得的初期級別15乃至17一致；合併級別10及11，係與藉由GALF之級別分類而被獲得的初期級別18及19分別一致；合併級別12，係與藉由GALF之級別分類而被獲得的初期級別20乃至22一致；合併級別13及14，係與藉由GALF之級別分類而被獲得的初期級別23及24分別一致。
因此，作為合併級別數15所對應之合併模態係可設定：將初期級別0乃至3轉換成合併級別0，將初期級別3及4分別轉換成合併級別1及2，將初期級別5乃至7轉換成合併級別3，將初期級別8及9分別轉換成合併級別4及5，將初期級別10乃至12轉換成合併級別6，將初期級別13及14分別轉換成合併級別7及8，將初期級別15乃至17轉換成合併級別9，將初期級別18及19分別轉換成合併級別10及11，將初期級別20乃至22轉換成合併級別12，將初期級別23及24分別轉換成合併級別13及14的合併模態。
圖15係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成10級別之合併級別的合併級別數10所對應之合併模態之設定之方法的說明圖。
亦即，圖15係圖示了，依照圖10的合併級別數10所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖15的分類規則，則注目像素係為，隨應於傾斜強度比，而被傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於作為空間特徵量的活性加總，而被活性子級別分類成2子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而被方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，被級別分類成合併級別0乃至14之任一者。圖15的分類規則係為，將圖14的分類規則中的作為活性子級別的中級別與大級別進行合併，使活性子級別的數量從3減少成2的規則。
於圖15的分類規則中，在往2子級別之任一者的活性子級別分類中，注目像素係為，隨應於從活性加總而如圖3所說明般地所被求出之索引class_idx，在索引class_idx為0乃至6的情況下，則被分類成作為活性子級別的小(small)級別；在索引class_idx為7乃至15的情況下，則被分類成作為活性子級別的大(Large)級別。
於圖15的分類規則中，活性子級別的數量，係從初期級別(圖3)的活性子級別之數5減少3而變成2。然後，小級別係與初期級別(圖3)中的活性子級別0乃至2一致，大級別係與初期級別中的活性子級別3及4一致。
在圖15的分類規則中，子級別對活性加總之指派，相較於GALF之級別分類的情況，是減少了3子級別，因此該減少的部分，活性加總就不會對往合併級別之級別分類造成影響。其結果為，若依據圖15的分類規則，就可獲得傾斜強度比或方向級別是比活性加總更具有優先性影響的合併級別。
若依據圖15的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別0；在活性子級別為大級別時，係被分類成合併級別1。
傾斜強度比子級別是弱級別，且方向級別是D0/D1級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別2；在活性子級別為大級別時，係被分類成合併級別3。
傾斜強度比子級別是強級別，且方向級別是D0/D1級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別4；在活性子級別為大級別時，係被分類成合併級別5。
傾斜強度比子級別是弱級別，且方向級別是H/V級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別6；在活性子級別為大級別時，係被分類成合併級別7。
傾斜強度比子級別是強級別，且方向級別是H/V級別的情況下，注目像素係為，在活性子級別為小級別時，係被分類成合併級別8；在活性子級別為大級別時，係被分類成合併級別9。
於圖15的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0乃至2一致；合併級別1，係與藉由GALF之級別分類而被獲得的初期級別3及4一致；合併級別2，係與藉由GALF之級別分類而被獲得的初期級別5乃至7一致；合併級別3，係與藉由GALF之級別分類而被獲得的初期級別8及9一致；合併級別4，係與藉由GALF之級別分類而被獲得的初期級別10乃至12一致；合併級別5，係與藉由GALF之級別分類而被獲得的初期級別13及14一致；合併級別6，係與藉由GALF之級別分類而被獲得的初期級別15乃至17一致；合併級別7，係與藉由GALF之級別分類而被獲得的初期級別18及19一致；合併級別8，係與藉由GALF之級別分類而被獲得的初期級別20乃至22一致；合併級別9，係與藉由GALF之級別分類而被獲得的初期級別23及24一致。
因此，作為合併級別數10所對應之合併模態係可設定：將初期級別0乃至3轉換成合併級別0，將初期級別3及4轉換成合併級別1，將初期級別5乃至7轉換成合併級別2，將初期級別8及9分別轉換成合併級別3，將初期級別10乃至12轉換成合併級別4，將初期級別13及14轉換成合併級別5，將初期級別15乃至17轉換成合併級別6，將初期級別18及19轉換成合併級別7，將初期級別20乃至22轉換成合併級別8，將初期級別23及24轉換成合併級別9的合併模態。
圖16係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成5級別之合併級別的合併級別數5所對應之合併模態之設定之方法的說明圖。
亦即，圖16係圖示了，依照圖11的合併級別數10所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖16的分類規則，則注目像素係為，隨應於傾斜強度比，而被傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，在傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而被方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，被級別分類成合併級別0乃至4之任一者。圖16的分類規則係為，將圖15的分類規則中的作為活性子級別的小級別與大級別進行合併，使活性子級別的數量從2減少成1的規則。
因此，於圖16的分類規則中，作為空間特徵量的活性加總，係不會對往合併級別之級別分類造成影響。亦即，在圖16的分類規則中，傾斜強度比、方向級別、及活性加總之中的，只有傾斜強度比與方向級別，會對往合併級別之級別分類造成影響。
若依據圖16的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係被分類成合併級別0。
傾斜強度比子級別為弱級別，且方向級別為D0/D1級別的情況下，注目像素係被分類成合併級別1。
傾斜強度比子級別為強級別，且方向級別為D0/D1級別的情況下，注目像素係被分類成合併級別2。
傾斜強度比子級別為弱級別，且方向級別為H/V級別的情況下，注目像素係被分類成合併級別3。
傾斜強度比子級別為強級別，且方向級別為H/V級別的情況下，注目像素係被分類成合併級別4。
於圖16的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0乃至4一致；合併級別1，係與藉由GALF之級別分類而被獲得的初期級別5乃至9一致；合併級別2，係與藉由GALF之級別分類而被獲得的初期級別10乃至14一致；合併級別3，係與藉由GALF之級別分類而被獲得的初期級別15乃至19一致；合併級別4，係與藉由GALF之級別分類而被獲得的初期級別20乃至24一致。
因此，作為合併級別數5所對應之合併模態係可設定：將初期級別0乃至4轉換成合併級別0，將初期級別5乃至9轉換成合併級別1，將初期級別10乃至14轉換成合併級別2，將初期級別15乃至19分別轉換成合併級別3，將初期級別20乃至24轉換成合併級別4的合併模態。
圖17係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成3級別之合併級別的合併級別數3所對應之合併模態之設定之方法的說明圖。
亦即，圖17係圖示了，依照圖11的合併級別數3所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖17的分類規則，則注目像素係為，隨應於傾斜強度比，而被傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，藉此，被級別分類成合併級別0乃至2之任一者。圖17的分類規則係為，將圖16的分類規則中的作為方向級別的D0/D1級別與H/V級別予以合併，使方向級別之數量從2減少成1的規則。
因此，於圖17的分類規則中，作為方向級別及空間特徵量的活性加總，係不會對往合併級別之級別分類造成影響。亦即，在圖17的分類規則中，傾斜強度比、方向級別、及活性加總之中的，只有傾斜強度比，會對往合併級別之級別分類造成影響。
若依據圖17的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係被分類成合併級別0。
在傾斜強度比子級別是弱級別的情況下，注目像素係被分類成合併級別1；在傾斜強度比子級別是強級別的情況下，注目像素係被分類成合併級別2。
於圖17的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0乃至4一致；合併級別1，係與藉由GALF之級別分類而被獲得的初期級別5乃至9及15乃至19一致；合併級別2，係與藉由GALF之級別分類而被獲得的初期級別10乃至14及20乃至24一致。
因此，作為合併級別數3所對應之合併模態係可設定：將初期級別0乃至4轉換成合併級別0，將初期級別5乃至9及15乃至19轉換成合併級別1，將初期級別10乃至14及20乃至24轉換成合併級別2的合併模態。
圖18係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成2級別之合併級別的合併級別數2所對應之合併模態之設定之方法的說明圖。
亦即，圖18係圖示了，依照圖11的合併級別數2所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖18的分類規則，則注目像素係為，隨應於傾斜強度比，而被傾斜強度比子級別分類成無級別及弱級別/強級別這2子級別之任一者，藉此，被級別分類成合併級別0及1之任一者。圖18的分類規則係為，將圖17的分類規則中的作為傾斜強度比子級別的弱級別與強級別予以合併，使傾斜強度比子級別之數量從3減少成2的規則。
於圖18的分類規則中，藉由傾斜強度比子級別分類而被獲得的傾斜強度比子級別之數量，係從初期級別中的傾斜強度比子級別之數量3減少至2。圖18的分類規則中的無級別，係與初期級別中的無級別一致，弱/強級別，係與初期級別中的弱級別及強級別一致。
因此，於圖18的分類規則中，係與圖17的分類規則同樣地，作為方向級別及空間特徵量的活性加總，係不會對往合併級別之級別分類造成影響。亦即，在圖18的分類規則中，傾斜強度比、方向級別、及活性加總之中的，只有傾斜強度比，會對往合併級別之級別分類造成影響。
若依據圖18的分類規則，則在傾斜強度比子級別是無級別的情況下，注目像素係被分類成合併級別0；在傾斜強度比子級別是弱/強級別的情況下，注目像素係被分類成合併級別1。此情況下，注目像素係被分類成紋理之像素、與像素以外之像素。
於圖18的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0乃至4一致；合併級別1，係與藉由GALF之級別分類而被獲得的初期級別5乃至24一致。
因此，作為合併級別數2所對應之合併模態係可設定：將初期級別0乃至4轉換成合併級別0，將初期級別5乃至24轉換成合併級別1的合併模態。
圖19係將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成1級別之合併級別的合併級別數1所對應之合併模態之設定之方法的說明圖。
亦即，圖19係圖示了，依照圖11的合併級別數1所對應之合併模態而被獲得的合併級別，往其進行級別分類的分類規則。
若依據圖19的分類規則，則注目像素係總是被級別分類成，作為單級別的合併級別0。圖19的分類規則，係將圖18的分類規則中的作為傾斜強度比子級別的無級別與弱/強級別予以合併，使傾斜強度比子級別之數量從2減少成1的規則。
於圖19的分類規則中，合併級別0，係與藉由GALF之級別分類而被獲得的初期級別0乃至24一致。
因此，作為合併級別數1所對應之合併模態，係可設定將初期級別0乃至24轉換成合併級別0的合併模態。
圖10乃至圖19所示的合併級別數25、20、15、10、5、3、2、1所對應之合併模態之設定中，由於是盡量不將GALF之級別分類中的傾斜強度比子級別進行合併，因此若依據所述之合併模態，則可獲得傾斜強度比是有優先性影響的合併級別。
在合併模態之設定中，如以上所述，除了可設定傾斜強度比是有優先性影響的合併級別會被獲得的合併模態以外，還可設定傾斜強度比以外之特徵量，例如活性加總是有優先性影響的合併級別會被獲得的合併模態。
圖20及圖21係為被預先設定的合併模態之第2例的圖示。
亦即，圖20及圖21係為，將藉由GALF之級別分類所得的25個初期級別進行合併，合併級別數25、15、10、5、4、3、2、1所對應之合併模態之例子的圖示。
圖20及圖21的合併模態，係與圖10及圖11的合併模態同樣地，藉由減量設定而被設定。但是，圖10及圖11的合併模態，係為傾斜強度比是有優先性影響的合併級別會被獲得的合併模態，但圖20及圖21的合併模態，係為活性加總是有優先性影響的合併級別會被獲得的合併模態。
於圖20中，合併級別數25所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無(None)級別、弱(Weak)級別、及強(Strong)級別這3子級別之任一者，隨應於活性加總，而進行活性子級別分類成5子級別(活性子級別0乃至4)之任一者，在藉由相應於傾斜強度比之傾斜強度比子級別分類而被獲得的傾斜強度比子級別是無級別以外的情況下，隨應於方向級別，而進行方向子級別分類成H/V級別及D0/D1級別這2子級別之任一者，藉此，藉由共分類成25級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。亦即，合併級別數25所對應之合併模態，係為與藉由GALF之級別分類所得的初期級別相同之合併級別會被獲得的合併模態。
於圖20中，合併級別數15所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、弱級別、及強級別這3子級別之任一者，隨應於活性加總，而進行活性子級別分類成5子級別之任一者，藉此，藉由共分類成15級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
依照合併級別數15所對應之合併模態所得的合併級別，在進行往其的級別分類的分類規則中，由於方向級別未被使用，因此方向級別係對往合併級別之級別分類不造成影響。此外，這點，關於以下說明的圖20及圖21的合併級別數10、5、4、3、2、1之合併模態，也是同樣如此。
於圖20中，合併級別數10所對應之合併模態係為，將注目像素，隨應於傾斜強度比，而進行傾斜強度比子級別分類成無級別、及弱/強級別這2子級別之任一者，隨應於活性加總，而進行活性子級別分類成5子級別之任一者，藉此，藉由共分類成10級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
依照合併級別數10所對應之合併模態而被獲得的合併級別，在往其進行級別分類的分類規則中，子級別對傾斜強度比之指派，相較於GALF之級別分類的情況，是減少了1子級別，因此該減少的部分，傾斜強度比就不會對往合併級別之級別分類造成影響。其結果為，若依據合併級別數10所對應之合併模態則可獲得，活性加總是比傾斜強度比更具有優先性影響的合併級別。此外，這點，關於以下說明的圖20及圖21的合併級別數5、4、3、2之合併模態，也是同樣如此。
於圖20中，合併級別數5所對應之合併模態係為，將注目像素，隨應於活性加總，而進行活性子級別分類成5子級別之任一者，藉此，藉由共分類成5級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
於圖21中，合併級別數4所對應之合併模態係為，將注目像素，隨應於活性加總，而進行活性子級別分類成4子級別之任一者，藉此，藉由共分類成4級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
此外，作為此處的活性子級別分類而被獲得的4子級別，係可採用圖13中所說明的小級別、中1級別、中2級別、大級別。
於圖21中，合併級別數3所對應之合併模態係為，將注目像素，隨應於活性加總，而進行活性子級別分類成3子級別之任一者，藉此，藉由共分類成3級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
此外，作為此處的活性子級別分類而被獲得的3子級別，係可採用圖14中所說明的小級別、中級別、大級別。
於圖21中，合併級別數2所對應之合併模態係為，將注目像素，隨應於活性加總，而進行活性子級別分類成2子級別之任一者，藉此，藉由共分類成2級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。
此外，作為此處的活性子級別分類而被獲得的2子級別，係可採用圖15中所說明的小級別、大級別。
於圖21中，合併級別數1所對應之合併模態係總是為，作為單級別之合併級別0會被獲得的合併模態。
於以上說明中，作為會獲得初期級別的級別分類(以下亦稱為初期級別分類)，是採用GALF之級別分類，但作為初期級別分類，係可採用GALF之級別分類以外之級別分類。
圖22係作為注目像素之特徵量是使用了排名(Ranking)的級別分類，亦即JVET-J0014之級別分類的說明圖。
在使用了排名的級別分類中，注目像素之排名r8 (i, j)，係依照式r8 (i, j)＝ΣΣ(s’(i, j) ＜ s’(k, l) ? 1 : 0)，而被求出。
此處，式r8 (i, j)＝ΣΣ(s’(i, j) ＜ s’(k, l) ? 1 : 0)中，(i, j)係表示注目像素之位置(例如從左起第i個，從上起第j個之位置)。s’(i, j)係表示位置(i, j)之像素之像素值(例如亮度)。右邊第1個加總(Σ)係表示，將k改變成從i-1至i+1之整數而做加總，第2個加總係表示，將l改變成從j-1至j+1之整數而做加總。(X ? 1 : 0)係表示，X為真的情況下則取1，X為偽的情況下則取0。
若依據式r8 (i, j)＝ΣΣ(s’(i, j) ＜ s’(k, l) ? 1 : 0)，則比注目像素還大的像素值之像素，越是存在於注目像素之周圍，注目像素之排名r8 (i, j)就越大。r8 (i, j)，係取0乃至8之範圍的整數值。
使用了排名的級別分類中，注目像素之類別會被求出。例如，式s’(i, j)＜=T1 被滿足的情況下，注目像素之類別係被設成(類別)0。式T1 ＜s’(i, j)＜=T2 被滿足的情況下，注目像素之類別係被設成1，式T2 ＜s’(i, j)被滿足的情況下，注目像素之類別係被設成2。
此外，注目像素之類別，係除此以外，亦可如以下般地予以求出。
亦即，式|v(i, j)| ＜= T3 被滿足的情況下，可將注目像素之類別設成(類別)0，式T3 ＜ |v(i, j)| ＜= T4 被滿足的情況下，可將注目像素之類別設成1，式 |v(i, j)| ＞ T4 被滿足的情況下，可將注目像素之類別設成2。
此處，T1 、T2 、T3 、T4 ，係為被預先設定的閾值。T1 及T2 ，係具有式T1 ＜ T2 之關係，T3 及T4 ，係具有式T3 ＜ T4 之關係。又，v(i, j)，係以式v(i, j) = 4 × s’(i, j) - (s’(i-1, j) + s’(i+1, j) +s’(i, j+1) + s’(i, j-1))而被表示。
在使用了排名的級別分類中，係使用注目像素之排名r8 (i, j)及類別，求出注目像素之級別D1 R (i, j)。注目像素之類別為0的情況下，級別號碼D1 R (i, j) = r8 (i, j)之級別，係被當成注目像素之級別而被求出。注目像素之類別為1的情況下，級別號碼D1 R (i, j) = r8 (i, j) + 9之級別，係被當成注目像素之級別而被求出。注目像素之類別為2的情況下，級別號碼D1 R (i, j) = r8 (i, j) + 18之級別，係被當成注目像素之級別而被求出。
如以上般地，在使用了排名的級別分類中，注目像素，係被級別分類成級別0乃至26之27級別之中的任一者。
將藉由使用了排名的級別分類而被獲得的級別當作初期級別的初期級別表之例子，示於圖22。圖22的初期級別表，係為將橫軸設成r8 (i, j)，並且將縱軸設成類別的表。
圖23係作為注目像素之特徵量是使用了像素值的級別分類，亦即JVET-J0018之級別分類的說明圖。
在使用了像素值的級別分類中，像素值的動態範圍係被分割成例如相同大小的頻帶。隨著注目像素的像素值是屬於哪個頻帶，注目像素係被級別分類。
在圖23中，像素值的動態範圍係為256=28 位階，藉由8位階之大小的頻帶，而被分割成32個頻帶。然後，從0起的級別號碼，係從像素值較小的頻帶起被指派。在使用了像素值的級別分類中，注目像素係被分類成，對該注目像素的像素值所隸屬之頻帶而被指派的級別號碼之級別。
此情況下，注目像素係被級別分類成級別0乃至31之32級別之中的任一者。
圖24係作為注目像素之特徵量是使用了傾斜方向之信賴度的級別分類的說明圖。
在使用了信賴度的級別分類中係例如，與GALF同樣地，作為注目像素之規定方向的direction會被求出(被設定)。
亦即，在使用了信賴度的級別分類中，藉由對解碼影像適用拉普拉斯濾波器，作為週邊領域的，例如以注目像素為中心的橫×縱為3×3像素之每一者的V方向、H方向、D0方向、及D1方向之4方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)，會被求出。
再者，使用了信賴度的級別分類，係針對注目像素，將作為週邊領域的3×3像素之活性A(D)按照4方向之每一者而進行加算，藉此，4方向之每一者的活性加總sumA(H)、sumA(D0)、及sumA(D1)，會被求出。
然後，在使用了信賴度的級別分類中，係對於針對注目像素的4方向之每一者的活性加總sumA(H)、sumA(D0)、及sumA(D1)，如圖2中所說明，MainDir及SecDir係被求出(被設定)，於方向級別分類表中，該MainDir及SecDir所被指派的direction，是作為注目像素之規定方向而被求出(被設定)。
又，使用了信賴度的級別分類，係針對注目像素，生成傾斜方向(規定方向)之度數分布。
亦即，在使用了信賴度的級別分類中，藉由對解碼影像適用拉普拉斯濾波器，作為含有注目像素之度數分布生成領域的，例如以注目像素為中心的橫×縱為3×3像素之每一者的V方向、H方向、D0方向、及D1方向之4方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)，會被求出。
此處，所謂度數分布生成領域，係為在規定方向之度數分布之生成時所被使用的像素之領域。此處，為了簡化說明，假設度數分布生成領域係為，與週邊領域一致的領域。度數分布生成領域是與週邊領域一致的情況下，作為度數分布生成領域內的3×3像素之每一者的4方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)，係可直接使用在求出作為注目像素之規定方向的direction時已被求出的週邊領域內的3×3像素之每一者的4方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)。
在使用了信賴度的級別分類中，例如，將圖1中所說明的GALF之8方向之direction，作為表示度數分布之階級的規定方向，針對注目像素，將對於度數分布生成領域內的3×3像素之4方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)所被求出(設定)的GALF之direction所表示的規定方向視為對象，將該規定方向之度數予以計數，藉此，規定方向之度數分布係被生成。
亦即，在使用了信賴度的級別分類中，係取代4方向之每一者的活性加總sumA(H)、sumA(D0)、及sumA(D1)，改為使用4方向之每一者的活性A(V)、A(H)、A(D0)、及A(D1)，針對度數分布生成領域內的3×3像素之每一者，如圖2中所說明，MainDir及SecDir係被求出。然後，在使用了信賴度的級別分類中，係針對度數分布生成領域內的3×3像素之每一者，如圖2中所說明，MainDir及SecDir所被指派的direction，係被當作像素之規定方向而被求出。
然後，在使用了信賴度的級別分類中，係如以上所述般地，將針對度數分布生成領域內的3×3像素之每一者而被求出(設定)的規定方向之度數予以計數，藉此，關於注目像素的規定方向之度數分布係被生成。
其後，在使用了信賴度的級別分類中，係在關於注目像素的規定方向之度數分布中，作為注目像素之規定方向的direction(之階級)之度數所對應之值，係被當作注目像素之規定方向之信賴度而被求出(被設定)。
在圖24中，注目像素之規定方向，係為作為GALF之8方向之direction的規定方向之中的，規定方向000(以10進位數而指派了0(以2進位數而指派了000)的規定方向)，在關於注目像素的規定方向之度數分布中，規定方向000之度數所對應之值，係被當作注目像素之規定方向之信賴度而被求出(設定)。
在使用了信賴度的級別分類中，係使用例如注目像素之規定方向之信賴度，例如利用GALF之級別分類，注目像素係被分類成，與GALF之級別分類同樣之最終級別0乃至24之25級別之中的任一者。
此外，此處，雖然是將作為注目像素之傾斜方向的規定方向之信賴度，使用度數分布生成領域之像素之傾斜方向之度數分布而加以求出，但作為注目像素之傾斜方向之信賴度，係除此以外，還可採用例如：表示注目像素之傾斜方向的向量、與表示注目像素之週邊之複數像素之傾斜方向的向量之每一者的內積的絕對值或平方的總和所對應的值、其他的表示注目像素之傾斜方向之似然度的值等。
圖25係以使用了信賴度的級別分類而被求出的最終級別的說明圖。
在使用了信賴度的級別分類中，與GALF之級別分類同樣地，進行方向子級別分類。但是，在使用了信賴度的級別分類中，係除了作為注目像素之規定方向的direction以外，還會隨應於該規定方向之信賴度，來進行方向子級別分類。
因此，在圖25中，關於方向級別，係除了方向級別0(D0/D1級別)及2(H/V級別)以外，還準備了表示信賴度為低的無(None)級別。
注目像素之規定方向之信賴度為未滿閾值p的情況下，在使用了信賴度的級別分類中，注目像素係被方向子級別分類成無級別之方向級別。然後，在使用了信賴度的級別分類中，係隨應於作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA(D1)，而與GALF之級別分類同樣地，注目像素係被級別分類成最終級別0乃至4之任一者。
注目像素之規定方向之信賴度為閾值p以上的情況下，在使用了信賴度的級別分類中，係與GALF之級別分類同樣地，隨應於作為注目像素之規定方向的direction，注目像素係被方向子級別分類成方向級別0或2。
於方向子級別分類中，注目像素已被分類成方向級別0或2的情況下，在使用了信賴度的級別分類中，與GALF之級別分類同樣地，式(2)或式(3)之傾斜強度比會被求出。然後，隨應於該傾斜強度比，將表示注目像素之傾斜強度比的級別予以求出的傾斜強度比子級別分類，會被進行。
其後，係與圖3中所說明的與GALF之級別分類同樣地，隨應於方向級別0或2、傾斜強度比子級別分類之結果所得之無級別、弱級別、或強級別，以及作為注目像素之空間特徵量的V方向、H方向、D0方向、及D1方向之活性加總sumA(V)、sumA(H)、sumA(D0)、及sumA (D1)，注目像素係被級別分類成最終級別0乃至24之任一者。
此外，規定方向之信賴度之閾值p，係可隨應於度數分布生成領域之像素數而設定。例如，作為規定方向之信賴度是採用規定方向之度數分布的度數本身的情況下，在度數分布生成領域為6×6像素之領域時，閾值p係可設定成例如度數分布生成領域的像素數(例如36像素)的1/4或1/8。
圖25的級別分類係可說成是，在圖3的GALF之級別分類中，導入了傾斜方向(規定方向)之信賴度而成的級別分類。若依據圖25的級別分類，則隨著傾斜方向之信賴度而將像素做分類，而在傾斜方向之信賴度較低的情況下，亦即，表示傾斜方向的direction的信賴性為較低的情況下，可以防止藉由隨應於此種direction的方向子級別分類，導致像素被分類成方向級別0或2，像素被分類成未對應於傾斜方向的方向級別。其結果為，可將像素分類成適切的級別(最終級別)，可使用該級別之結點係數，進行適切的作為預測處理之濾波器處理。因此，可改善濾波器處理之性能。
圖26及圖27係為被預先設定的合併模態之第3例的圖示。
亦即，圖26及圖27，係將圖22中所說明的使用了排名的級別分類所得的27個初期級別予以合併的合併級別數27、24、21、18、12、9、6所對應之合併模態之例子的圖示。
圖26及圖27的合併模態，係與圖10及圖11以及圖20及圖21的合併模態同樣地，藉由減量設定而被設定。
此處，在使用了排名的級別分類中，係將注目像素，隨應於排名，而進行子級別分類成表示排名r8 (i, j)為0乃至9的9子級別之中的任一者，並隨應於類別，而進行子級別分類成表示類別為0乃至2的3子級別之中的任一者，藉此而分類成共27級別，可採用如此的分類規則。
於圖26及圖27中，合併級別數27所對應之合併模態係為，將注目像素，隨應於排名，而進行子級別分類成9子級別，隨應於類別，而進行子級別分類成3子級別，藉此，藉由共分類成27級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。亦即，合併級別數27所對應之合併模態，係為與藉由使用了排名的級別分類所得的初期級別相同之合併級別會被獲得的合併模態。
於圖26及圖27中，合併級別數24、21、18、12、9、6所對應之合併模態係為，將注目像素，隨應於排名，而進行子級別分類成8、7、6、4、3、2子級別，隨應於類別，而進行子級別分類成3子級別之中的任一者，藉此，藉由共分類成24、21、18、12、9、6級別的分類規則所得的級別，係作為合併級別而被獲得，係分別為此種合併模態。
此外，作為將藉由使用了排名的級別分類而被獲得的27個初期級別予以合併的合併模態之合併級別數，係除了27、24、21、18、12、9、6以外，還可採用例如15、或3、1。
作為合併級別數15所對應之合併模態，係將注目像素，隨應於排名，而進行子級別分類成5子級別，隨應於類別，而進行子級別分類成3子級別之中的任一者，藉此，藉由共分類成15級別的分類規則所得的級別，係作為合併級別而被獲得，可採用此種合併模態。
作為合併級別數3所對應之合併模態，係將注目像素，隨應於類別，而進行子級別分類成3子級別之中的任一者，藉此，藉由共分類成3級別的分類規則所得的級別，係作為合併級別而被獲得，可採用此種合併模態。
合併級別數1所對應之合併模態係總是為，作為單級別之合併級別0會被獲得的合併模態。
若依據合併級別數24、21、18、15、12、9、6、3所對應之合併模態，則可獲得類別是比排名更具有優先性影響的合併級別。
圖28係被預先設定的合併模態之第4例的圖示。
亦即，圖28係將圖23中所說明的使用了像素值的級別分類所得的32個初期級別予以合併的合併級別數32、16、8、4所對應之合併模態之例子的圖示。
圖28的合併模態，係與圖10及圖11以及圖20及圖21的合併模態同樣地，藉由減量設定而被設定。
此處，在圖23的使用了像素值的級別分類中，係將作為像素值的動態範圍的256位階切割成32頻帶，將注目像素，隨應於注目像素之像素值，而分類成該像素值所隸屬之頻帶所被指派的級別，藉此而分類成共32級別，可採用如此的分類規則。
於圖28中，合併級別數32所對應之合併模態係為，將作為像素值的動態範圍的256位階切割成32頻帶，將注目像素，隨應於注目像素之像素值，而分類成該像素值所隸屬之頻帶所被指派的級別，藉此而藉由共分類成32級別的分類規則所得的級別，係作為合併級別而被獲得，係為此種合併模態。亦即，合併級別數32所對應之合併模態，係為與藉由使用了像素值的級別分類所得的初期級別相同之合併級別會被獲得的合併模態。
於圖28中，合併級別數16、8、4所對應之合併模態係為，將作為像素值的動態範圍的256位階切割成16、8、4頻帶，將注目像素，隨應於注目像素之像素值，而分類成該像素值所隸屬之頻帶所被指派的級別，藉此而藉由共分類成16、8、4級別的分類規則所得的級別，係作為合併級別而被獲得，係分別為此種合併模態。
此外，將作為像素值之動態範圍的256位階，分割成32、16、8、4頻帶的情況下，頻帶之大小，係分別為8、16、32、64位階。
又，作為將藉由使用了像素值的級別分類而被獲得的32個初期級別予以合併的合併模態之合併級別數，係除了32、16、8、4以外，還可採用例如2或1。
作為合併級別數2所對應之合併模態，係將作為像素值的動態範圍的256位階切割成2頻帶，將注目像素，隨應於注目像素之像素值，而分類成該像素值所隸屬之頻帶所被指派的級別，藉此而藉由共分類成2級別的分類規則所得的級別，係作為合併級別而被獲得，可採用此種合併模態。
合併級別數1所對應之合併模態係總是為，作為單級別之合併級別0會被獲得的合併模態。
如以上，作為各合併級別數所對應之合併模態，係可採用：將藉由GALF之級別分類、或使用了排名的級別分類、使用了像素值的級別分類、使用了傾斜方向之信賴度的級別分類等各式各樣的級別分類法的級別分類所得的初期級別予以合併的合併模態。
甚至，各合併級別數所對應之合併模態，係可藉由混合存在設定而做設定，亦即，以使得將藉由所定之級別分類而被獲得之初期級別進行合併的合併模態、與將藉由其他級別分類而被獲得之初期級別進行合併的合併模態會是混合存在的方式來做設定。
例如，各合併級別數所對應之合併模態，係可以使得將藉由GALF之級別分類而被獲得之初期級別進行合併的合併模態、與將藉由使用了排名的級別分類而被獲得之初期級別進行合併的合併模態會是混合存在的方式來做設定。
作為將藉由GALF之級別分類而被獲得的初期級別進行合併的合併模態係可採用例如，圖10及圖11所示的合併級別數25、20、15、10、5、3、2、1所對應之合併模態。
作為將藉由使用了排名的級別分類而被獲得的初期級別進行合併的合併模態係可採用，圖26及圖27中所說明的合併級別數27、24、21、18、15、12、9、6、3、1所對應之合併模態。
但是，作為將藉由GALF之級別分類而被獲得的初期級別進行合併的合併模態的合併級別數25、20、15、10、5、3、2、1所對應之合併模態(以下亦稱為GALF合併模態)，與作為將藉由使用了排名的級別分類而被獲得的初期級別進行合併的合併模態的合併級別數27、24、21、18、15、12、9、6、3、1所對應之合併模態(以下亦稱為排名合併模態)是混合存在的情況下，則在GALF合併模態與排名合併模態間，合併級別數15、3、1係為重複。
在GALF合併模態與排名合併模態間，合併級別數有重複的情況下，可預先設定GALF合併模態與排名合併模態之中的哪一個合併模態為優先。例如，GALF合併模態為優先的情況下，作為合併級別數25、20、15、10、5、3、2、1所對應之合併模態，係採用GALF合併模態，作為合併級別數27、24、21、18、12、9、6所對應之合併模態，係採用排名合併模態。
又，各合併級別數所對應之合併模態，係除了GALF之級別分類及使用了排名的級別分類以外，亦可以使得將藉由任意之2種類以上之級別分類法之級別分類而分別被獲得的初期級別進行合併的合併模態會是混合存在的方式，來做設定。
例如，各合併級別數所對應之合併模態，係可以使得將藉由GALF之級別分類而被獲得之初期級別進行合併的合併模態、與將藉由使用了像素值的級別分類而被獲得之初期級別進行合併的合併模態會是混合存在的方式來做設定。
作為將藉由GALF之級別分類而被獲得的初期級別進行合併的合併模態係可採用例如，圖10及圖11所示的合併級別數25、20、15、10、5、3、2、1所對應之合併模態。
作為將藉由使用了像素值的級別分類而被獲得的初期級別進行合併的合併模態係可採用，圖28中所說明的合併級別數32、16、8、4、2、1所對應之合併模態。
但是，作為將藉由GALF之級別分類而被獲得的初期級別進行合併的合併模態的合併級別數25、20、15、10、5、3、2、1所對應之GALF合併模態，與作為將藉由使用了像素值的級別分類而被獲得的初期級別進行合併的合併模態的合併級別數32、16、8、4、2、1所對應之合併模態(以下亦稱為像素值合併模態)是混合存在的情況下，則在GALF合併模態與像素值合併模態間，合併級別數2、1係為重複。
現在，假設要讓GALF合併模態與像素值合併模態之中的，例如GALF合併模態為優先，則作為合併級別數25、20、15、10、5、3、2、1所對應之合併模態，係採用GALF合併模態，作為合併級別數32、16、8、4所對應之合併模態，係採用排名合併模態。
此處，如以上所述，以使得將藉由所定之級別分類而被獲得之初期級別進行合併的合併模態，與將藉由其他級別分類而被獲得之初期級別進行合併的合併模態會混合存在的方式，來進行合併模態的混合設定這件事情，係可以說成是，將將藉由所定之級別分類而被獲得之初期級別進行合併的合併模態之合併級別數以外之合併級別數，以將藉由其他級別分類而被獲得之初期級別進行合併的合併模態之合併級別數進行補插的方式，來設定合併模態。
例如，GALF合併模態、與像素值合併模態為混合存在的情況下，作為GALF合併模態之合併級別數而為不存在的合併級別數32、16、8、4，係可藉由像素值合併模態之合併級別數32、16、8、4而被補插，可進行此事。
此外，在將每一合併級別數之合併模態以混合設定的方式來做設定的情況下，隨著(採用)合併級別數，初期級別分類(之級別分類法)會有所不同。
＜GALF之級別分類＞
再度說明GALF之級別分類。
圖29係GALF之級別分類的說明圖。
GALF之級別分類，係由圖1乃至圖3中的說明可知，可使用注目像素的作為複數個特徵量的傾斜強度比、direction(規定方向)、活性加總(空間特徵量)，而被進行。
再者，GALF之級別分類，係可藉由傾斜強度比之(使用了傾斜強度比的)傾斜強度比子級別分類、direction之(使用了direction的)方向子級別分類、及活性加總之(使用了活性加總的)活性子級別分類，而被進行。此處，藉由方向子級別分類而被獲得的子級別，亦稱為方向子級別(等同於圖2中所說明的方向級別)。
在傾斜強度比子級別分類中，藉由傾斜強度比的閾值處理，注目像素係如圖29所示般地，被分類成無級別、弱級別、及強級別之3子級別(傾斜強度比子級別)之中的任一者。在方向子級別分類中，隨應於direction，注目像素係如圖29所示般地，被分類成D0/D1級別及H/V級別之2子級別(方向子級別)之中的任一者。在活性子級別分類中，藉由從活性加總所被求出之0乃至15之範圍之索引class_idx，注目像素係被分類成活性子級別0乃至4之5子級別之中的任一者。
GALF之級別分類，係可藉由如以上的作為複數個特徵量的傾斜強度比、direction、及活性加總之每一者的子級別分類(傾斜強度比子級別分類、方向子級別分類、及活性子級別分類)，而被進行。
此處，例如，圖24及圖25中所說明的使用了信賴度的級別分類，係可藉由傾斜強度比、direction、活性加總、及信賴度之每一者的子級別分類，而被進行。因此，使用了信賴度的級別分類，也是和GALF之級別分類同樣地，可藉由複數個特徵量之每一者的子級別分類而被進行。
可將藉由複數個特徵量之每一者的子級別分類而被進行的級別分類，當作用來求出初期級別的級別分類(初期級別分類)而採用，將合併模態藉由減量設定來做設定的情況下，可設定用來進行往藉由將特徵量之子級別予以合併而合併了初期級別而成之合併級別之轉換的合併模態。亦即，合併模態，係可藉由將特徵量之子級別予以合併，來做設定。
例如，將GALF之級別分類，當作初期級別分類而採用的情況下，藉由傾斜強度比之傾斜強度比子級別、direction之方向子級別、及活性加總之活性子級別之合併，就可設定合併模態。
此處，子級別之合併，亦稱為子級別合併。
＜子級別合併＞
圖30係傾斜強度比子級別之子級別合併的說明圖。
傾斜強度比子級別，係將原本的無級別、弱級別、及強級別的3子級別之中的弱級別與強級別，進行子級別合併成高級別，全體而言，可變成無級別與高級別的2子級別。然後，傾斜強度比子級別，係將無級別與高級別，進行子級別合併成N/A(Not Available)級別，全體而言，可變成只有N/A級別的1子級別。將傾斜強度比子級別，合併成只有N/A級別的1子級別這件事情，係與不進行傾斜強度比子級別分類等價。
此外，作為傾斜強度比子級別的N/A級別，係如上述，除了可以是將無級別及高級別之2子級別予以合併而成的子級別以外，還可以是將原本的無級別、弱級別、及強級別之3子級別予以合併而成的子級別。
圖31係方向子級別之子級別合併的說明圖。
方向子級別，係將原本的D0/D1級別及H/V級別的2子級別，進行子級別合併成N/A級別，全體而言，可變成只有N/A級別的1子級別。將方向子級別，合併成只有N/A級別的1子級別這件事情，係與不進行方向子級別分類等價。
圖32係活性子級別之子級別合併的說明圖。
活性子級別，係在原本的，(值為)0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4的5子級別之中，例如，將活性子級別0與1，進行子級別合併成0及1之索引class_idx所對應之活性子級別0，全體而言，可合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別。
再者，活性子級別，係在0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3之中，例如，將活性子級別0與1，進行子級別合併成0乃至6之索引class_idx所對應之活性子級別0，全體而言，可合併成0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2的3子級別。
又，活性子級別，係在0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2之中，例如，將0乃至6之索引class_idx所對應之活性子級別0、與7乃至14之索引class_idx所對應之活性子級別1，進行子級別合併成0乃至14之索引class_idx所對應之活性子級別0，全體而言，可合併成0乃至14之索引class_idx所對應之活性子級別0、及15之索引class_idx所對應之活性子級別1的2子級別。
再者，活性子級別，係將0乃至14之索引class_idx所對應之活性子級別0、與15之索引class_idx所對應之活性子級別1，進行子級別合併成0乃至15之索引class_idx所對應之N/A級別(活性子級別0)，全體而言，可合併成只有0乃至15之索引class_idx所對應之N/A級別的1子級別。將活性子級別，合併成只有N/A級別的1子級別這件事情，係與不進行活性子級別分類等價。
此外，關於被合併成3子級別的活性子級別，0乃至6之索引class_idx所對應之活性子級別0係為，除了如上述般地，是將0及1之索引class_idx所對應之活性子級別0、與2乃至6之索引class_idx所對應之活性子級別1予以合併而成的子級別以外，亦可為，是將原本的活性子級別0乃至2予以合併而成的子級別。這在關於合併成2子級別的活性子級別、及被合併成1子級別的活性子級別，也是同樣如此。
又，此處雖然設計成，從索引class_idx的指派之數字較少，表示較小活性的活性子級別0起，往表示較大活性的活性子級別4，而將活性子級別進行合併(子級別合併)，但活性子級別之子級別合併的順序，係不限定於此。例如，活性子級別之子級別合併係可藉由：將活性子級別0與1予以合併，然後，將活性子級別2予以合併，其後，將活性子級別3與4予以合併，最後，合併成N/A級別的順序等，來進行之。
將藉由GALF之級別分類而被獲得的初期級別轉換成合併級別的合併模態的減量設定中，係可藉由如以上的子級別合併，而將初期級別予以合併，而設定(生成)合併模態。
圖33係活性子級別之子級別合併所致之初期級別之合併之例子的圖示。
若依據活性子級別之子級別合併，則例如，如圖33中以虛線所示，於初期級別表中，各行的橫方向之複數個初期級別係被合併。
在圖33中，係藉由0之索引class_idx所對應之活性子級別0，與1之索引class_idx所對應之活性子級別1的子級別合併，各行的第1列之初期級別與第2列之初期級別係被合併。
圖34係傾斜強度比子級別之子級別合併所致之初期級別之合併之例子的圖示。
若依據傾斜強度比子級別之子級別合併，則例如，如圖34中以虛線所示，於初期級別表中，各列的第2行及第3行之初期級別會被合併，同時，第4行及第5行之初期級別會被合併。
在圖34中，藉由弱級別與強級別之子級別合併，各列的第2行及第3行之初期級別會被合併，同時，第4行及第5行之初期級別會被合併。
圖35係方向子級別之子級別合併所致之初期級別之合併之例子的圖示。
若依據方向子級別之子級別合併，則例如，如圖35中以虛線所示，於初期級別表中，各列的第2行及第4行之初期級別會被合併，同時，第3行及第5行之初期級別會被合併。
在圖35中，藉由D0/D1級別與H/V級別之子級別合併，各列的第2行及第4行之初期級別會被合併，同時，第3行及第5行之初期級別會被合併。
＜子級別合併後的子級別數與合併級別數＞
圖36係傾斜強度比子級別、方向子級別、及活性子級別之子級別合併後的子級別數，與合併級別數之關係的圖示。
亦即，圖36係圖示了，如圖30乃至圖32所說明，將傾斜強度比子級別變成1乃至3子級別之任一種，將方向子級別變成1及2子級別任一種，將活性子級別變成1乃至5子級別之任一種，分別進行了子級別合併之情況的子級別合併後的子級別數，與合併級別數之關係。
此處，例如，子級別合併後的傾斜強度比子級別之子級別數為3這件事情，係等同於傾斜強度比子級別之子級別合併未被進行。但是，在本技術中，不進行子級別合併這件事情係可視為，將各子級別，對該子級別進行合併的子級別合併。關於初期級別之合併也是同樣如此。
在GALF之級別分類中，如圖1乃至圖3中所說明，傾斜強度比子級別是無級別的情況下，方向子級別係變成無效，不考慮方向子級別(與方向子級別無關地)，進行級別分類。
因此，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之子級別數，若分別假設為Na, Nb, Nc，則合併級別數，係可藉由式Nc×(Nb×(Na-1)＋1)而被表示。
如圖30乃至圖32所說明，將傾斜強度比子級別變成1乃至3子級別之任一種，將方向子級別變成1及2子級別任一種，將活性子級別變成1乃至5子級別之任一種，分別進行子級別合併時所能夠獲得的合併模態，在計算上，子級別合併後的子級別數係變成如圖36所示的30模態。
但是，傾斜強度比子級別是被子級別合併成1子級別的情況下，往合併級別的級別分類，係與傾斜強度比(子級別)無關地被進行。然後，明明無從得知傾斜強度比是大還是小，卻還要期待direction對往合併級別之級別分類有所貢獻的結果，在傾斜強度比是較小的情況下，會變成考慮平坦影像之像素的作為像素值之傾斜方向的direction，來進行級別分類。關於平坦的影像，係像素值幾乎沒有傾斜；偵測此種平坦的影像，若考慮像素值的傾斜方向來進行往合併級別之級別分類，則會由於注目像素未被分類成適切的級別，亦即，例如，具有相同特徵的像素，會因為些許的雜訊，有時候不會被分類成相同級別(合併級別)，而是被分類成不同的級別。
於是，在傾斜強度比子級別是被合併成1子級別的情況下，被分類成D0/D1級別或H/V級別的方向子級別分類，更進一步來說，藉由如此的方向子級別分類而被進行的級別分類所致之合併模態，亦即，傾斜強度比子級別的子級別數為1，且方向子級別的子級別數為2(以上)的子級別數所對應之合併模態，係視為無效，設成不要利用(N/A)。
於圖36中，合併級別數為N/A的欄，係表示該合併級別數所對應之合併模態為無效。無效的合併模態，係存在有5模態。
因此，藉由圖30乃至圖32所說明的傾斜強度比子級別、方向子級別、及活性子級別之子級別合併而被獲得的合併模態，亦即，將傾斜強度比子級別變成1乃至3子級別之任一種、將方向子級別變成1及2子級別之任一種、將活性子級別變成1乃至5子級別之任一種，而分別進行子級別合併時所能獲得的有效之合併模態係為，從計算上的30模態，變成扣除了5模態之無效的合併模態而為25模態。
由以上可知，若依據子級別合併，則可設定(有效的)25模態之合併模態。
作為子級別合併中所能獲得的25模態之合併模態，係有子級別數為1、2、3、4、5、6、8、9、10、12、15、20、25之合併模態，且存在有合併級別數為相同的合併模態。
現在假設，將傾斜強度比子級別、方向子級別、及活性子級別之子級別數，分別進行子級別合併而變成Na、Nb、Nc時所獲得的合併模態，以合併模態(Na, Nb, Nc)來表示之。
在圖36中，例如合併模態(3, 1, 5)及(2, 2, 5)等，會是合併級別數為相同(都是15)的合併模態。
在本技術中，由於是按照每一合併級別數來設定合併模態，因此針對合併級別數為相同的複數個合併模態，係使用各式各樣的影像來求出成本，將成本為最小的合併模態，選擇成為該合併級別數所對應之合併模態，是進行如此的合併模態選擇。
圖37係藉由進行子級別合併及合併模態選擇而被獲得的合併模態之例子的圖示。
若依據子級別合併及合併模態選擇，則可設定如圖37所示的13模態之合併模態，亦即子級別數1、2、3、4、5、6、8、9、10、12、15、20、25所分別對應之合併模態。
話說回來，在事前設定合併模態的情況下，從提升濾波器處理的性能，亦即提升濾波器影像之畫質及編碼效率的觀點來看，設定某種程度之模態數的合併模態，較為理想。
作為初期級別分類是採用GALF之級別分類的情況下，則由於初期級別分類的級別數係為25，因此在按照每一子級別數，而將合併模態以減量設定的方式做設定的情況下，最多可以設定合併級別數為1乃至25的25模態之合併模態。
然而，藉由子級別合併及合併模態選擇而可設定的合併模態，係如圖37所示，係為子級別數1、2、3、4、5、6、8、9、10、12、15、20、25所分別對應之13模態之合併模態，尤其是，在25與20之間、或20與15之間、15與12之間的合併模態數所對應之合併模態，係為欠缺。
如以上所述，在子級別合併及合併模態選擇為欠缺的合併模態數之合併模態，係藉由進行子級別之部分合併，就可進行補插。若依據子級別之部分合併，則可設定：在藉由子級別合併及合併模態選擇而被設定的合併模態之合併級別數25與20之間、或20與15之間、15與12之間等進行補插的合併級別數所對應之合併模態。
圖38係子級別之部分合併的說明圖。
所謂部分合併係意味著，初期級別分類中所被使用的1個特徵量之子級別是特定之子級別的情況下將其他的1個特徵量之子級別予以合併的意思。
圖38係圖示了，藉由活性子級別為0之索引class_idx所對應之活性子級別0的情況下將傾斜強度比子級別予以合併的部分合併而被獲得的合併模態。
在傾斜強度比子級別之子級別合併中，如圖34中所說明，於初期級別表中，各列的第2行及第3行之初期級別會被合併，同時，第4行及第5行之初期級別會被合併。
另一方面，若依據活性子級別為0之索引class_idx所對應之活性子級別0的情況下將傾斜強度比子級別予以合併的部分合併，則如圖38所示，於初期級別表中，僅第1列的第2行及第3行之初期級別5及10會被合併，同時，第4行及第5行之初期級別15及20會被合併。
其結果為，可獲得合併級別數23所對應之合併模態。
圖39係子級別之部分合併的說明圖。
亦即，圖39係圖示了，藉由活性子級別為0之索引class_idx所對應之活性子級別0的情況下將傾斜強度比子級別予以合併的部分合併，與活性子級別為1之索引class_idx所對應之活性子級別1的情況下將傾斜強度比子級別予以合併的部分合併而被獲得的合併模態。
若依據活性子級別為0之索引class_idx所對應之活性子級別0的情況下將傾斜強度比子級別予以合併的部分合併，則如圖38所說明，於初期級別表中，僅第1列的第2行及第3行之初期級別5及10會被合併，同時，第4行及第5行之初期級別15及20會被合併。
又，若依據活性子級別為1之索引class_idx所對應之活性子級別1的情況下將傾斜強度比子級別予以合併的部分合併，則如圖39所示，於初期級別表中，僅第2列的第2行及第3行之初期級別6及11會被合併，同時，第4行及第5行之初期級別16及21會被合併。
其結果為，可獲得合併級別數21所對應之合併模態。
圖40係藉由子級別之部分合併而被獲得的合併模態之例子的圖示。
例如，藉由圖38中所說明的部分合併，可獲得合併級別數23所對應之合併模態。
又例如，藉由圖39中所說明的部分合併，可獲得合併級別數21所對應之合併模態。
除了圖39中所說明的部分合併以外，還藉由進行活性子級別為2乃至6之索引class_idx所對應之活性子級別2的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數19所對應之合併模態。
甚至還加上，藉由進行活性子級別為7乃至14之索引class_idx所對應之活性子級別3的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數17所對應之合併模態。
又，藉由子級別合併，而將活性子級別，合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別後，藉由進行活性子級別為0及1之索引class_idx所對應之活性子級別0的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數18所對應之合併模態。
再加上，藉由進行活性子級別為2乃至6之索引class_idx所對應之活性子級別1的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數16所對應之合併模態。
甚至還加上，藉由進行活性子級別為7乃至14之索引class_idx所對應之活性子級別2的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數14所對應之合併模態。
此外，在本實施形態中係設計成，於活性子級別之子級別合併中，如圖32所示，在0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4之中，藉由從表示活性較小的活性子級別0，往表示活性較大的活性子級別4，依序將活性子級別進行合併，而獲得合併模態。
由於令部分合併具有此種與子級別合併之相關性，因此在部分合併中係設計成，針對活性子級別是從表示活性較小的活性子級別0的情況往表示活性較大的活性子級別3的情況下，藉由依序將傾斜強度比子級別進行合併，而獲得合併級別數23、21、19、17所分別對應之合併模態。
但是，合併級別數23、21、19、17所分別對應之合併模態，係除此以外，針對活性子級別是從表示活性較大的活性子級別4的情況往表示活性較小的活性子級別1的情況下，藉由依序將傾斜強度比子級別進行部分合併，即可獲得。針對合併級別數18、16、14所分別對應之合併模態，也是同樣如此。
又，關於部分合併，係進行活性子級別以外之子級別是特定之子級別的情況下將其他的1個特徵量之子級別予以合併的部分合併，可獲得在藉由子級別合併及合併模態選擇而被設定的合併模態的合併級別數之間進行補插的其他合併級別數所對應之合併模態。
圖41係藉由子級別合併(及合併模態選擇)而被獲得的合併模態，與藉由部分合併而被獲得的合併模態之關係之例子的圖示。
若依據將傾斜強度比子級別、方向子級別、及活性子級別之子級別數分別變成3、2、5的子級別合併，亦即，將傾斜強度比子級別、方向子級別、及活性子級別之子級別數維持與GALF之級別分類原本的態樣而不變的子級別合併，則可獲得合併級別數25所對應之合併模態。
又，例如，若依據將傾斜強度比子級別、方向子級別、及活性子級別之中的，活性子級別之子級別數從原本的5變成4的子級別合併，則可獲得合併級別數20所對應之合併模態。
再者，例如，若依據將傾斜強度比子級別、方向子級別、及活性子級別之中的，傾斜強度比子級別之子級別數從原本的3變成2的子級別合併，則可獲得合併級別數15所對應之合併模態。
又，例如，若依據將傾斜強度比子級別、方向子級別、及活性子級別之中的，活性子級別之子級別數從原本的5變成4，同時，將傾斜強度比子級別之子級別數從原本的3變成2的子級別合併，則可獲得合併級別數12所對應之合併模態。
另一方面，例如，若依據圖38中所說明的部分合併，則可獲得合併級別數23所對應之合併模態。
又例如，若依據圖39中所說明的部分合併，則可獲得合併級別數21所對應之合併模態。
除了圖39中所說明的部分合併以外，還藉由進行活性子級別為2乃至6之索引class_idx所對應之活性子級別2的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數19所對應之合併模態。
甚至還加上，藉由進行活性子級別為7乃至14之索引class_idx所對應之活性子級別3的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數17所對應之合併模態。
甚至還加上，藉由進行活性子級別為15之索引class_idx所對應之活性子級別4的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數15所對應之合併模態。該合併級別數15所對應之合併模態，係與藉由將傾斜強度比子級別之子級別數從原本的3變成2的子級別合併而被獲得的合併級別數15所對應之合併模態一致。
圖42係為，藉由子級別合併而被獲得的合併模態，與藉由部分合併而被獲得的合併模態之關係之其他例的圖示。
於圖42中，合併級別數25、20、15、12所對應之合併模態，係可藉由圖41中所說明的子級別合併而獲得。
然後，獲得合併級別數20所對應之合併模態的子級別合併，亦即，將活性子級別，合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別的子級別合併被進行後，藉由進行活性子級別為0及1之索引class_idx所對應之活性子級別0的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數18所對應之合併模態。
再加上，藉由進行活性子級別為2乃至6之索引class_idx所對應之活性子級別1的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數16所對應之合併模態。
甚至還加上，藉由進行活性子級別為7乃至14之索引class_idx所對應之活性子級別2的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數14所對應之合併模態。
甚至還加上，藉由進行活性子級別為15之索引class_idx所對應之活性子級別3的情況下將傾斜強度比子級別予以合併的部分合併，可獲得合併級別數12所對應之合併模態。該合併級別數12所對應之合併模態，係與藉由將活性子級別之子級別數從原本的5變成4，同時，將傾斜強度比子級別之子級別數從原本的3變成2的子級別合併而被獲得的合併級別數12所對應之合併模態一致。
以下，針對藉由子級別合併(及合併模態選擇)而被設定的每一合併級別數之合併模態，亦即1、2、3、4、5、6、8、9、10、12、15、20、25所分別對應之13模態之合併模態，再度說明。
＜藉由子級別合併而被設定的每一合併級別數之合併模態＞
圖43係藉由子級別合併而被獲得的合併級別數25所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數25所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4的5子級別，就可獲得。
亦即，合併級別數25之合併模態，係藉由將3子級別之傾斜強度比子級別、2子級別之方向子級別、5子級別之活性子級別維持原狀，就可獲得。
圖44係藉由子級別合併而被獲得的合併級別數20所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數20所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別，就可獲得。
圖45係藉由子級別合併而被獲得的合併級別數15所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數15所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4的5子級別，就可獲得。
圖46係藉由子級別合併而被獲得的合併級別數12所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數12所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別，就可獲得。
圖47係藉由子級別合併而被獲得的合併級別數10所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數10所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4的5子級別，就可獲得。
圖48係藉由子級別合併而被獲得的合併級別數9所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數9所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2的3子級別，就可獲得。
圖49係藉由子級別合併而被獲得的合併級別數8所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數8所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別，就可獲得。
圖50係藉由子級別合併而被獲得的合併級別數6所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數6所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2的3子級別，就可獲得。
圖51係藉由子級別合併而被獲得的合併級別數5所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數5所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成N/A級別的1子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4的5子級別，就可獲得。
圖52係藉由子級別合併而被獲得的合併級別數4所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數4所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成N/A級別的1子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別，就可獲得。
圖53係藉由子級別合併而被獲得的合併級別數3所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數3所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成N/A級別的1子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2的3子級別，就可獲得。
圖54係藉由子級別合併而被獲得的合併級別數2所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數2所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成N/A級別的1子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0乃至14之索引class_idx所對應之活性子級別0、及15之索引class_idx所對應之活性子級別1的2子級別，就可獲得。
圖55係藉由子級別合併而被獲得的合併級別數1所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。
合併級別數1所對應之合併模態係為，藉由將傾斜強度比子級別，進行子級別合併成N/A級別的1子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成N/A級別(0乃至15之索引class_idx所對應之活性子級別)的1子級別，就可獲得。
＜適用了本技術的級別分類預測濾波器之構成例＞
圖56係適用了本技術的級別分類預測濾波器之構成例的區塊圖。
在級別分類預測濾波器110中，級別分類預測處理會被進行。在級別分類預測處理中，所定之級別分類會被進行，藉由該所定之級別分類而被獲得之初期級別，係被轉換成合併級別。然後，將使用了合併級別之結點係數的預測式做適用的作為預測處理的濾波器處理，會被進行。
於圖56中，級別分類預測濾波器110係具有：級別分類部111、合併轉換部112、結點係數取得部113、及預測部114。
對級別分類部111及預測部114係供給，作為濾波器處理之對象的對象影像(例如解碼影像)。
級別分類部111，係將對象影像的像素，依序選擇成為注目像素。級別分類部111，係藉由對注目像素，進行作為藉由複數個特徵量之每一者的子級別分類而被進行的初期級別分類的，例如GALF之級別分類等，而求出注目像素之初期級別，並供給至合併轉換部112。
合併轉換部112，係將來自級別分類部111的注目像素之初期級別，依照隨著每一合併級別數而被預先設定的合併模態，轉換成藉由將子級別分類之子級別進行合併(子級別合併)而合併了初期級別而成的合併級別。亦即，合併轉換部112係記憶著例如，藉由傾斜強度比子級別、方向子級別、及活性子級別之子級別合併，與必要的部分合併，而對每一合併級別數所被預先設定的合併模態。然後，合併轉換部112，係依照隨著每一合併級別數而被預先設定的合併模態之中的，採用合併級別數所對應之合併模態，而將注目像素之初期級別，轉換成合併級別。合併轉換部112，係將注目像素之合併級別，供給至結點係數取得部113。
結點係數取得部113，係將每一合併級別的結點係數加以記憶，隨應於來自合併轉換部112的注目像素之合併級別，而將注目像素之作為預測處理的濾波器處理中所使用的結點係數，加以取得。
亦即，結點係數取得部113，係從每一合併級別的結點係數(採用合併級別數分之結點係數)之中，選擇出來自合併轉換部112的注目像素之合併級別之結點係數，並供給至預測部114。
預測部114，係對對象影像，進行將使用了來自結點係數取得部113之注目像素之合併級別之結點係數的預測式予以適用的作為預測處理的濾波器處理，將藉由該濾波器處理而被生成的濾波器影像予以輸出。
亦即，預測部114，係將對象影像之像素之中的，例如，注目像素之附近的複數像素，選擇作為注目像素之預測結點。然後，預測部114，係藉由對對象影像，進行將由注目像素的級別的結點係數所構成之預測式做適用的預測處理，亦即，藉由演算由作為注目像素之預測結點的像素(之像素值)xn 、與注目像素的合併級別的結點係數wn 所構成的預測式y’=Σwn xn ，而求出對注目像素的所定之影像(相當於教師影像的影像)(例如對解碼影像的原影像)的像素(之像素值)之預測值y’。然後，預測部114，係生成把該預測值y’當作像素值的影像，作為濾波器影像而予以輸出。
於級別分類預測濾波器110中，採用合併級別數、及令結點係數取得部113所記憶的每一合併級別的結點係數，係可從外部供給至級別分類預測濾波器110。
又，可在級別分類預測濾波器110中，內建進行結點係數學習的學習部121。若把進行結點係數學習之機能稱為學習機能，則具有學習部121的級別分類預測濾波器110，係可稱之為附帶學習機能之級別分類預測濾波器110。
在學習部121中，係可使用教師影像及學生影像，求出每一合併級別的結點係數，令其被記憶在結點係數取得部113中。甚至，在學習部121中，可將採用合併級別數加以決定，並供給至合併轉換部112。
級別分類預測濾波器110是被適用於編碼裝置的情況下，作為教師影像係可採用編碼對象之原影像，同時，作為學生影像係可採用，將原影像予以編碼然後進行局部解碼所得的解碼影像。
學習部121，係使用身為學生影像的解碼影像，進行與級別分類部111同樣的級別分類，按照藉由該級別分類所得的每一初期級別，會使藉由結點係數與預測結點所構成之預測式所求出的教師影像之預測值之預測誤差呈統計性最小的結點係數，是藉由最小平方法而被求出，係進行如此的結點係數學習。
又，學習部121係將合併轉換部112所記憶的，作為與事前所被設定之每一合併級別數之合併模態相同之合併模態的複數個合併級別數所分別對應之合併模態，加以記憶。學習部121，係使用已被預先設定之複數個合併級別數所對應之合併模態之每一者，進行與採用合併級別數決定處理(圖8)相同的處理，藉此，已被預先設定了合併模態的複數個合併級別數之中的，將會使成本(例如圖8的步驟S67中所被求出的成本dist+lambda× coeffBit)呈最小的合併級別數，決定成採用合併級別數。
然後，學習部121，係在採用合併級別數決定處理(圖8)中為了求出將採用合併級別數予以決定之成本所需之濾波器處理也就是步驟S64之處理進行前的步驟S63中，進行與合併模態決定處理(圖5)之步驟S36及S37相同的處理，而求出每一合併級別的結點係數。
學習部121，係將採用合併級別數，供給至合併轉換部112，將採用合併級別數之每一合併級別的結點係數，供給至結點係數取得部113。
合併轉換部112，係在已被預先設定之複數個合併級別數所分別對應之合併模態之中，依照被供給至該處的採用合併級別數所對應之合併模態，而將來自級別分類部111的注目像素之初期級別，轉換成合併級別。
已被合併轉換部112或學習部121所記憶之複數個合併級別數所分別對應之合併模態，係為按照每一合併級別數而被設定的合併模態，因此藉由合併級別數，就可唯一特定出合併模態。
級別分類預測濾波器110，係以合併級別數、與作為該合併級別數所對應之合併模態而被預先設定的合併模態是已經被建立對應這件事情為前提。
現在，將合併級別數、與作為該合併級別數所對應之合併模態而被預先設定的合併模態建立對應的資訊，稱之為合併資訊。
適用了本技術的編碼裝置及解碼裝置，係將合併資訊予以共享。然後，編碼裝置，係從複數個合併級別數，決定出採用合併級別數，並傳輸至解碼裝置。解碼裝置，係根據來自編碼裝置的採用合併級別數，而特定出合併模態。然後，解碼裝置，係進行初期級別分類，將藉由該初期級別分類而被獲得的初期級別，依照根據採用合併級別數而被特定之合併模態(採用合併級別數所對應之合併模態)，轉換成合併級別。
圖57係圖56的級別分類預測濾波器110所進行之級別分類預測處理之例子的說明用流程圖。
於步驟S111中，級別分類部111，係將作為對象影像的解碼影像之，應選擇成為注目像素的像素，依序選擇成為注目像素，處理係往步驟S112前進。
在步驟S112中，級別分類部111，係進行注目像素之初期級別分類，求出注目像素之初期級別。級別分類部111，係將注目像素之初期級別，供給至合併轉換部112，處理係從步驟S112往步驟S113前進。
在步驟S113中，合併轉換部112，係依照採用合併級別數所對應之合併模態，而將來自級別分類部111的注目像素之初期級別，轉換成合併級別。合併轉換部112，係將注目像素之合併級別，供給至結點係數取得部113，處理係從步驟S113往步驟S114前進。
在步驟S114中，結點係數取得部113，係從每一合併級別的結點係數之中，取得來自合併轉換部112的注目像素之合併級別之結點係數，處理係往步驟S115前進。
在步驟S115中，預測部114，係對解碼影像，進行將由來自結點係數取得部113之注目像素的合併級別的結點係數所構成之預測式做適用的作為預測處理的濾波器處理。
亦即，預測部114，係從解碼影像，選擇出注目像素的身為預測結點之像素，藉由將使用該預測結點及注目像素的合併級別的結點係數而被構成的1次預測式進行演算，以求出相對於注目像素的原影像之像素(之像素值)之預測值。然後，預測部114，係生成把該預測值當作像素值的影像，作為濾波器影像而予以輸出，結束級別分類預測處理。
＜適用了本技術的影像處理系統之一實施形態＞
圖58係適用了本技術的影像處理系統之一實施形態之概要的區塊圖。
於圖58中，影像處理系統係具有編碼裝置160及解碼裝置170。
編碼裝置160係具有編碼部161、局部解碼部162、及濾波器部163。
對編碼部161係供給編碼對象之影像也就是原影像(資料)，同時，從濾波器部163供給濾波器影像。
編碼部161，係使用來自濾波器部163的濾波器影像，將原影像，例如，以Quad-Tree Block Structure、或QTBT(Quad Tree Plus Binary Tree) Block Structure之CU等之所定之區塊單位進行(預測)編碼，將該編碼所得的編碼資料，供給至局部解碼部162。
亦即，編碼部161，係將來自濾波器部163的濾波器影像進行運動補償所得的原影像之預測影像，從原影像予以減算，將其結果所得的殘差，予以編碼。
對編碼部161係從濾波器部163供給濾波器資訊。
編碼部161，係生成含有編碼資料、和來自濾波器部163之濾波器資訊的編碼位元串流，並予以傳輸(發送)。
對局部解碼部162，係除了從編碼部161供給編碼資料以外，還從濾波器部163供給濾波器影像。
局部解碼部162，係將來自編碼部161的編碼資料之局部解碼，使用來自濾波器部163的濾波器影像而進行之，將其結果所得的(局部)解碼影像，供給至濾波器部163。
亦即，局部解碼部162，係將來自編碼部161的編碼資料解碼成殘差，對該殘差，加算來自濾波器部163的濾波器影像進行運動補償所得之原影像之預測影像，以生成將原影像予以解碼而成的解碼影像(局部解碼影像)。
濾波器部163係例如，與附帶學習機能之級別分類預測濾波器110(圖56)同樣地被構成，含有級別分類部164及合併轉換部165。
濾波器部163，係將來自局部解碼部162的解碼影像、及對該解碼影像的原影像，當作學生影像及教師影像而加以使用以進行結點係數學習，求出每一級別之結點係數。
又，濾波器部163，係使用按照複數個合併級別數而分別已被預先設定之合併模態，進行與採用合併級別數決定處理(圖8)相同的處理，藉此，將已被預先設定了合併模態之複數個合併級別數之中的，成本呈最小的合併級別數，決定成採用合併級別數。
再者，濾波器部163，係在將採用合併級別數予以決定時，利用藉由結點係數學習而被求出的正規方程式(的X矩陣及Y向量)，進行與合併模態決定處理(圖5)之步驟S36及S37相同的處理，藉此而求出採用合併級別數之每一合併級別的結點係數。
然後，濾波器部163，係於級別分類部164中，使用來自局部解碼部162的解碼影像，進行作為藉由複數個特徵量之子級別分類而被進行之初期級別分類的，例如GALF之級別分類等，求出注目像素之初期級別。然後，濾波器部163，係於合併轉換部165中，依照採用合併級別數所對應之合併模態，而將注目像素之初期級別，轉換成藉由將子級別分類之子級別予以合併而合併了初期級別而成的合併級別。然後，濾波器部163係進行，將進行合併轉換部165之轉換所得之注目像素之合併級別的結點係數與解碼影像之像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理。
濾波器部163，係將濾波器處理所得之濾波器影像，供給至編碼部161及局部解碼部162。然後，濾波器部163，係將採用合併級別數、及該採用合併級別數之每一合併級別的結點係數，當作濾波器資訊，而供給至編碼部161。
此外，此處，於編碼裝置160中，是將預先被設定了合併模態的複數個合併級別數之中的，成本呈最小的合併級別數，決定成為採用合併級別數，但採用合併級別數，係可將預先被設定了合併模態的複數個合併級別數之中的，特定之合併模態的合併級別數，事前就決定成為採用合併級別數。此情況下，由於不需要為了決定採用合併級別數而求出成本，因此可削減編碼裝置160的處理量。
如以上所述，事前決定好採用合併級別數這件事情，係對於例如編碼裝置160的性能不高的情況下，特別有效。
解碼裝置170係具有剖析部171、解碼部172、及濾波器部173。
剖析部171，係將編碼裝置160所傳輸的編碼位元串流予以接收並進行剖析，將該剖析所得之濾波器資訊，供給至濾波器部173。然後，剖析部171，係將編碼位元串流中所含之編碼資料，供給至解碼部172。
對解碼部172，係除了從剖析部171供給編碼資料以外，還從濾波器部173供給濾波器影像。
解碼部172，係將來自剖析部171的編碼資料之解碼，使用來自濾波器部173的濾波器影像，例如，與編碼部161同樣地，以CU等之所定之區塊單位而進行之，將其結果所得的解碼影像，供給至濾波器部173。
亦即，解碼部172，係和局部解碼部162同樣地，將來自剖析部171的編碼資料解碼成殘差，對該殘差，加算來自濾波器部173的濾波器影像進行運動補償所得之原影像之預測影像，以生成將原影像予以解碼而成的解碼影像。
濾波器部173係例如，與非附帶學習機能之級別分類預測濾波器110(圖56)同樣地被構成，含有級別分類部174及合併轉換部175。
濾波器部173，係對來自解碼部172的解碼影像，進行和濾波器部163相同的濾波器處理，生成濾波器影像，供給至解碼部172。
亦即，濾波器部173，係於級別分類部174中，使用來自解碼部172的解碼影像，進行與級別分類部164相同之初期級別分類，求出注目像素之初期級別。然後，濾波器部173，係於合併轉換部175中，依照來自剖析部171的濾波器資訊中所含之採用合併級別數所對應之合併模態，而將注目像素之初期級別，轉換成藉由將子級別分類之子級別予以合併(子級別合併)而合併了初期級別而成的合併級別。然後，濾波器部173係進行，將進行合併轉換部175之轉換所得之注目像素之合併級別的結點係數與解碼影像之像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理。濾波器處理中所被使用的注目像素之合併級別的結點係數，係從來自剖析部171的濾波器資訊中所含之每一合併級別的結點係數，而被取得。
濾波器部173，係將濾波器處理所得之濾波器影像，供給至解碼部172，同時，當作原影像做解碼所成之最終的解碼影像而予以輸出。
圖59係圖58的編碼裝置160之編碼處理之概要的說明用流程圖。
依照圖59之流程圖的處理，係以例如畫格(圖像)單位而被進行。
於步驟S161中，編碼部161(圖58)，係使用來自濾波器部163的濾波器影像，將原影像進行(預測)編碼，將該編碼所得的編碼資料，供給至局部解碼部162，處理係往步驟S162前進。
在步驟S162中，局部解碼部162，係將來自編碼部161的編碼資料之局部解碼，使用來自濾波器部163的濾波器影像而進行之，將其結果所得的(局部)解碼影像，供給至濾波器部163，處理係往步驟S163前進。
在步驟S163中，濾波器部163，係將來自局部解碼部162的解碼影像、及對該解碼影像的原影像，當作學生影像及教師影像來使用而進行結點係數學習，求出每一初期級別之結點係數，處理係往步驟S164前進。
在步驟S164中，濾波器部163係針對預先被設定了合併模態的複數個合併級別數之每一者，依照合併級別數所對應之合併模態進行初期級別之合併，利用藉由求出每一初期級別之結點係數的結點係數學習所得之正規方程式(的X矩陣及Y向量)，將依照合併級別數所對應之合併模態而合併了初期級別而成的合併級別之每一者的結點係數，如圖5的步驟S36及S37所說明般地予以求出。然後，濾波器部163，係使用每一合併級別的結點係數，將成本呈最小的合併級別數，決定成採用合併級別數，處理係從步驟S164往步驟S165前進。
在步驟S165中，濾波器部163的級別分類部164，係進行來自局部解碼部162的解碼影像之注目像素之初期級別分類，處理係往步驟S166前進。
在步驟S166中，濾波器部163的合併轉換部165，係將藉由級別分類部164的級別分類而被獲得的注目像素之初期級別，依照採用合併級別數所對應之合併模態，而轉換成合併級別，處理係往步驟S167前進。
在步驟S167中，濾波器部163係進行，將進行步驟S164中所被求出的每一合併級別之結點係數之中的，注目像素之合併級別的結點係數與解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像。濾波器影像，係從濾波器部163，被供給至編碼部161及局部解碼部162。從濾波器部163被供給至編碼部161及局部解碼部162的濾波器影像，係在以下個畫格為對象而被進行的步驟S161及S162之處理中，會被使用。
又，濾波器部163，係將採用合併級別數、及每一合併級別的結點係數，當作濾波器資訊，而供給至編碼部161。
其後，處理係從步驟S167往步驟S168前進，編碼部161係生成含有步驟S161所得之編碼資料、和在濾波器部163中所獲得之作為濾波器資訊的採用合併級別數、及每一合併級別的結點係數的編碼位元串流，並予以傳輸。
圖60係圖58的解碼裝置170的解碼處理之概要的說明用流程圖。
依照圖60之流程圖的處理，係例如，與圖59的編碼處理同樣地，是以畫格單位而被進行。
於步驟S181中，剖析部171(圖58)，係將從編碼裝置160所被傳輸過來的編碼位元串流予以接收，將編碼位元串流中所含之作為濾波器資訊的採用合併級別數、及每一合併級別的結點係數加以剖析，供給至濾波器部173。然後，剖析部171，係將編碼位元串流中所含之編碼資料，供給至解碼部172，處理係從步驟S181往步驟S182前進。
在步驟S182中，解碼部172，係將來自剖析部171的編碼資料之解碼，使用來自濾波器部173的濾波器影像而進行之，將其結果所得的解碼影像，供給至濾波器部173，處理係往步驟S183前進。
在步驟S183中，濾波器部173的級別分類部174，係對來自解碼部172的解碼影像之注目像素，進行初期級別分類，處理係往步驟S184前進。
在步驟S184中，濾波器部173的合併轉換部175，係將藉由級別分類部174的級別分類而被獲得的注目像素之初期級別，依照來自剖析部171的採用合併級別數所對應之合併模態，而轉換成合併級別，處理係往步驟S185前進。
在步驟S185中，濾波器部173，係使用來自剖析部171的每一合併級別的結點係數，對來自解碼部172的解碼影像，進行作為級別分類預測處理的濾波器處理，生成濾波器影像。
亦即，濾波器部173係進行，將進行來自剖析部171的每一合併級別之結點係數之中的，注目像素之合併級別的結點係數與解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像。
濾波器影像，係從濾波器部173被供給至解碼部172，同時，當作原影像做解碼所成之最終的解碼影像而被輸出。
從濾波器部173被供給至解碼部172的濾波器影像，係在以解碼影像的下個畫格為對象而被進行的步驟S182之處理中，會被使用。
此外，此處，作為將把初期級別轉換成合併級別的合併模態(採用合併模態)予以訊令的方法，雖然採用了把採用合併級別數含入至編碼位元串流中而予以傳輸的方法，但作為將採用合併模態予以訊令的方法，係與GALF的情況同樣地可以採用，把採用合併級別數一起，或是取代採用合併級別數，而將採用合併模態，含入至編碼位元串流中而予以傳輸的方法。但是，將採用合併級別數予以傳輸的情況，是比起將採用合併模態予以傳輸的情況，更能減少處理負擔。另一方面，將採用合併模態予以傳輸的情況下，可採用與GALF之級別分類相同之語法。
＜編碼裝置160之構成例＞
圖61係圖58的編碼裝置160的詳細構成例的區塊圖。
此外，關於以下說明的區塊圖，係為了避免圖的繁雜，而將供給各區塊之處理中所必須之資訊(資料)的線之記載，予以適宜省略。
於圖61中，編碼裝置160係具有：A/D轉換部201、排序緩衝區202、演算部203、正交轉換部204、量化部205、可逆編碼部206、及積存緩衝區207。然後，編碼裝置160係還具有：逆量化部208、逆正交轉換部209、演算部210、ILF211、畫格記憶體212、選擇部213、畫面內預測部214、運動預測補償部215、預測影像選擇部216、及速率控制部217。
A/D轉換部201，係將類比訊號之原影像，A/D轉換成數位訊號之原影像，供給至排序緩衝區202而令其被記憶。
排序緩衝區202，係將原影像之畫格，隨應於GOP(Group Of Picture)，從顯示順序排序成編碼(解碼)順序，供給至演算部203、畫面內預測部214、運動預測補償部215、及ILF211。
演算部203，係從來自排序緩衝區202的原影像，減去透過預測影像選擇部216而從畫面內預測部214或運動預測補償部215所被供給之預測影像，將該減算所得之殘差(預測殘差)，供給至正交轉換部204。
例如，若是進行畫面間編碼的影像，則演算部203係由從排序緩衝區202所讀出之原影像，減去從運動預測補償部215所供給之預測影像。
正交轉換部204，係對從演算部203所供給之殘差，實施離散餘弦轉換或卡忽南-拉維轉換等之正交轉換。此外，此正交轉換之方法係為任意。正交轉換部204，係將正交轉換所得的正交轉換係數，供給至量化部205。
量化部205，係將從正交轉換部204所供給之正交轉換係數，進行量化。量化部205，係基於從速率控制部217所供給之編碼量的目標值(編碼量目標值)，來設定量化參數QP，進行正交轉換係數之量化。此外，此量化之方法係為任意。量化部205，係將已被量化之正交轉換係數亦即編碼資料，供給至可逆編碼部206。
可逆編碼部206，係將來自量化部205的作為編碼資料的已被量化之正交轉換係數，以所定之可逆編碼方式進行編碼。正交轉換係數，係在速率控制部217的控制之下被量化，因此藉由可逆編碼部206的可逆編碼而被獲得的編碼位元串流的編碼量，會是速率控制部217所設定的編碼量目標值(或近似於編碼量目標值)。
又，可逆編碼部206，係將編碼裝置160中的關於預測編碼的編碼資訊之中的，在解碼裝置170中的解碼時所必須之編碼資訊，從各區塊加以取得。
此處，作為編碼資訊係有例如：畫面內預測或畫面間預測之預測模式、運動向量等之運動資訊、編碼量目標值、量化參數QP、圖像類型(I、P、B)、CU(Coding Unit)或CTU(Coding Tree Unit)之資訊等。
例如，預測模式，係可從畫面內預測部214或運動預測補償部215加以取得。又例如，運動資訊，係可從運動預測補償部215加以取得。
可逆編碼部206，係除了取得編碼資訊以外，還從ILF211，取得該ILF211中的濾波器處理所相關之作為濾波器資訊的每一級別之結點係數。
可逆編碼部206，係將編碼資訊及濾波器資訊，例如，以CAVLC(Context-Adaptive Variable Length Coding)或CABAC(Context-Adaptive Binary Arithmetic Coding)等之可變長度編碼或算術編碼等其他可逆編碼方式進行編碼，生成含有編碼後之編碼資訊及濾波器資訊、及來自量化部205之編碼資料的編碼位元串流，供給至積存緩衝區207。
積存緩衝區207，係將從可逆編碼部206所被供給之編碼位元串流，予以暫時積存。積存緩衝區207中所被積存的編碼位元串流，係在所定之時序上被讀出而傳輸。
於量化部205中已被量化之正交轉換係數也就是編碼資料，係除了被供給至可逆編碼部206，也還被供給至逆量化部208。逆量化部208，係將已被量化之正交轉換係數，以量化部205所致之量化所對應之方法進行逆量化，將該逆量化所得之正交轉換係數，供給至逆正交轉換部209。
逆正交轉換部209，係將從逆量化部208所被供給之正交轉換係數，以正交轉換部204所致之正交轉換處理所對應之方法進行逆正交轉換，將該逆正交轉換之結果所得的殘差，供給至演算部210。
演算部210，係對從逆正交轉換部209所被供給之殘差，加算透過預測影像選擇部216而從畫面內預測部214或運動預測補償部215所被供給之預測影像，藉此，獲得原影像做解碼而成的解碼影像(之一部分)而予以輸出。
演算部210所輸出的解碼影像，係被供給至ILF211。
ILF211係例如，與附帶學習機能之級別分類預測濾波器110(圖56)同樣地被構成，藉由進行作為級別分類預測處理的濾波器處理，而成為去區塊濾波器、適應偏置濾波器、雙邊濾波器、ALF之中的1或2個以上之濾波器而發揮機能。令ILF211，成為去區塊濾波器、適應偏置濾波器、雙邊濾波器、及ALF之中的2個以上之濾波器而發揮機能的情況下，該2個以上之濾波器之配置順序係為任意。
對ILF211，係除了從演算部210被供給解碼影像以外，還從排序緩衝區202，被供給針對解碼影像的原影像。
ILF211係記憶著，將複數個合併級別數、與按照每一合併級別數而被事前設定之合併模態建立對應的合併資訊。
ILF211係例如，將來自演算部210的解碼影像、及來自排序緩衝區202的原影像，分別當作學生影像及教師影像來使用，以進行結點係數學習，求出每一初期級別之結點係數。在結點係數學習中，使用身為學生影像的解碼影像，進行初期級別分類，按照該初期級別分類所得的每一初期級別，會使藉由結點係數與預測結點所構成之預測式所求出的作為教師影像的原影像之預測值之預測誤差呈統計性最小的結點係數，是藉由最小平方法而被求出。
ILF211，係使用合併資訊中所含之複數個合併級別數各自所對應之合併模態，進行與採用合併級別數決定處理(圖8)相同的處理，藉此，合併資訊中所含之複數個合併級別數之中的，將會使成本(例如圖8的步驟S67中所被求出的成本dist+lambda×coeffBit)呈最小的合併級別數，決定成採用合併級別數。
此外，於ILF211中，在採用合併級別數決定處理(圖8)中為了求出將採用合併級別數予以決定之成本所需之濾波器處理也就是步驟S64之處理進行前的步驟S63中，與合併模態決定處理(圖5)的步驟S36及S37同樣地，利用藉由結點係數學習而將每一初期級別之結點係數予以求出時所被建立的正規方程式(的X矩陣及Y向量)，針對合併資訊中所含之複數合併級別數之每一者，求出每一合併級別的結點係數。
ILF211，係將採用合併級別數、與採用合併級別數之每一合併級別的結點係數，當作濾波器資訊，而供給至可逆編碼部206。
又，ILF211係將例如來自演算部210的解碼影像的像素，依序選擇成注目像素。ILF211係對注目像素，進行初期級別分類，求出注目像素之初期級別。
然後，ILF211，係將注目像素之初期級別，依照採用合併級別數所對應之合併模態，而轉換成合併級別。ILF211，係將依照採用合併級別數所對應之合併模態進行轉換所得之每一合併級別的結點係數之中的，注目像素之合併級別的結點係數，加以取得(讀出)。然後，ILF211，係從解碼影像，將注目像素之附近的像素選擇作為預測結點，將進行注目像素之合併級別之結點係數與作為預測結點之解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像。此外，在ILF211中的級別分類中，係可將例如解碼影像的2×2像素之左上之像素之級別分類所得的級別，作為該2×2像素之每一者的級別而採用。
已被ILF211所生成之濾波器影像，係被供給至畫格記憶體212。
畫格記憶體212，係將從ILF211所被供給之濾波器影像予以暫時記憶。畫格記憶體212中所被記憶之濾波器影像，係在必要的時序上，當作預測影像之生成時所被用的參照影像，而被供給至選擇部213。
選擇部213係選擇從畫格記憶體212所供給之參照影像的供給目標。例如，於畫面內預測部214中被進行了畫面內預測的情況下，選擇部213，係將從畫格記憶體212所被供給之參照影像，供給至畫面內預測部214。又，例如，於運動預測補償部215中被進行了畫面間預測的情況下，選擇部213，係將從畫格記憶體212所被供給之參照影像，供給至運動預測補償部215。
畫面內預測部214，係使用從排序緩衝區202所被供給之原影像、與透過選擇部213而從畫格記憶體212所被供給之參照影像，例如，以PU(Prediction Unit)為處理單位，而進行畫面內預測(畫面內預測)。畫面內預測部214，係基於所定之成本函數(例如RD成本等)，而選擇最佳的畫面內預測模式，將以該最佳的畫面內預測模式所被生成的預測影像，供給至預測影像選擇部216。又，如上述，畫面內預測部214，係將表示基於成本函數而被選擇之畫面內預測模式的預測模式，適宜地供給至可逆編碼部206等。
運動預測補償部215，係使用從排序緩衝區202所被供給之原影像、與透過選擇部213而從畫格記憶體212所被供給之參照影像，例如，以PU為處理單位，而進行運動預測(畫面間預測)。再者，運動預測補償部215，係隨應於藉由運動預測而被偵測的運動向量來進行運動補償，生成預測影像。運動預測補償部215，係以事前所被準備的複數個畫面間預測模式，來進行畫面間預測，生成預測影像。
運動預測補償部215，係基於針對複數個畫面間預測模式而被分別獲得之預測影像之所定之成本函數，來選擇最佳的畫面間預測模式。然後，運動預測補償部215，係將以最佳的畫面間預測模式所被生成之預測影像，供給至預測影像選擇部216。
又，運動預測補償部215，係將表示基於成本函數而被選擇之畫面間預測模式的預測模式、或將以該畫面間預測模式而被編碼之編碼資料進行解碼之際所必須之運動向量等之運動資訊等，供給至可逆編碼部206。
預測影像選擇部216，係選擇對演算部203及演算部210進行供給的預測影像的供給來源(畫面內預測部214或運動預測補償部215)，將從該已選擇之供給來源所被供給之預測影像，供給至演算部203及演算部210。
速率控制部217，係基於積存緩衝區207中所積存之編碼位元串流的編碼量，以不會發生溢位或下溢之方式，控制量化部205的量化動作之速率。亦即，速率控制部217，係以使得積存緩衝區207不會發生溢位及下溢的方式，來設定編碼位元串流的目標編碼量，並供給至量化部205。
此外，於圖61中，演算部203乃至可逆編碼部206是相當於圖58的編碼部161，逆量化部208乃至演算部210是相當於圖58的局部解碼部162，ILF211是相當於圖58的濾波器部163。
＜編碼處理＞
圖62係圖61的編碼裝置160之編碼處理之例子的說明用流程圖。
此外，圖62等所示的編碼處理的各步驟之順序，係為便於說明的順序，實際的編碼處理的各步驟，係適宜地、平行地、按照必要的順序而被進行。這在後述的處理中也同樣如此。
於編碼裝置160中，ILF211係將從演算部210所被供給之解碼影像予以暫時記憶，並且將從排序緩衝區202所被供給之，來自演算部210的解碼影像所對應之原影像予以暫時記憶。
然後，編碼裝置160(的未圖示的控制部)，係於步驟S201中，判定現在的時序，是否為要更新濾波器資訊的更新時序。
此處，濾波器資訊的更新時序係例如像是：每1個以上之畫格(圖像)、或每1個以上之序列、每1個以上之切片、CTU等之所定之區塊之每1個以上之掃描線等，可事前決定。
又，作為濾波器資訊之更新時序，係除了像是每1個以上之畫格(圖像)之時序這種週期性(固定性)的時序以外，還可採用，濾波器影像之S/N變成閾值以下的時序(濾波器影像對原影像的誤差達到閾值以上的時序)、或殘差(之絕對值和等)達到閾值以上的時序等，就是所謂的動態性時序。
此處，例如，假設ILF211係使用解碼影像及原影像之1畫格，來進行結點係數學習，且每1畫格的時序係為濾波器資訊之更新時序。
於步驟S201中，若判定為現在的時序並非濾波器資訊之更新時序的情況，則處理係略過往步驟S202乃至S205，而往步驟S206前進。
又，於步驟S201中，若判定為現在的時序是濾波器資訊之更新時序的情況，則處理係往步驟S202前進，ILF211係進行將每一初期級別之結點係數予以求出的結點係數學習。
亦即，ILF211係使用例如，從前次的更新時序，至本次的更新時序為止之間所記憶的解碼影像及原影像(此處係為，被供給至ILF211的最新之1畫格的解碼影像及原影像)，來進行結點係數學習，求出每一初期級別之結點係數。
ILF211，係於步驟S203中，針對合併資訊中所含之複數合併級別數之每一者，藉由將初期級別依照合併級別數所對應之合併模態而進行合併而轉換成合併級別，與圖5的步驟S36及S37同樣地，利用在結點係數學習中所建立的正規方程式，而求出每一合併級別的結點係數。
然後，ILF211，係針對複數個合併級別數之每一者，使用每一合併級別的結點係數來進行濾波器處理，藉此而求出成本(例如圖8的步驟S67中所被求出的成本dist+lambda×coeffBit)。然後，ILF211，係將複數個合併級別數之中的成本呈最小的合併級別數，決定成採用合併級別數，處理係從步驟S203往步驟S204前進。
在步驟S204中，ILF211，係將採用合併級別數、與採用合併級別數之每一合併級別的結點係數，當作濾波器資訊，而供給至可逆編碼部206。可逆編碼部206，係將來自ILF211的濾波器資訊，設定成傳輸對象，處理係從步驟S204往步驟S205前進。已被設定成傳輸對象的濾波器資訊，係於後述的步驟S206中所被進行之預測編碼處理中被含入至編碼位元串流中而被傳輸。
在步驟S205中，ILF211，係藉由最新的步驟S203中所被決定的採用合併級別數及採用合併級別數之每一合併級別的結點係數，而將級別分類預測處理中所使用的採用合併數及結點係數予以更新，處理係往步驟S206前進。
在步驟S206中，原影像之預測編碼處理會被進行，編碼處理係結束。
圖63係圖62的步驟S206的預測編碼處理之例子的說明用流程圖。
在預測編碼處理中，係於步驟S211中，A/D轉換部201係將原影像進行A/D轉換，供給至排序緩衝區202，處理係往步驟S212前進。
於步驟S212中，排序緩衝區202，係將來自A/D轉換部201的原影像予以記憶，排序成編碼順序而輸出，處理係往步驟S213前進。
在步驟S213中，畫面內預測部214係進行畫面內預測模式的畫面內預測處理，處理係往步驟S214前進。於步驟S214中，運動預測補償部215係進行，以畫面間預測模式來進行運動預測或運動補償的畫面間運動預測處理，處理係往步驟S215前進。
畫面內預測部214的畫面內預測處理、及運動預測補償部215的畫面間運動預測處理中，各種預測模式的成本函數會被演算，並且生成預測影像。
於步驟S215中，預測影像選擇部216，係基於畫面內預測部214及運動預測補償部215中所得之各成本函數，來決定最佳的預測模式。然後，預測影像選擇部216，係將已被畫面內預測部214所生成之預測影像、和已被運動預測補償部215所生成之預測影像之中的最佳的預測模式之預測影像加以選擇並輸出，處理係從步驟S215往步驟S216前進。
在步驟S216中，演算部203，係演算出排序緩衝區202所輸出的原影像也就是編碼對象之對象影像、與預測影像選擇部216所輸出的預測影像的殘差，供給至正交轉換部204，處理係往步驟S217前進。
在步驟S217中，正交轉換部204，係將來自演算部203的殘差進行正交轉換，將其結果所得的正交轉換係數，供給至量化部205，處理係往步驟S218前進。
在步驟S218中，量化部205，係將來自正交轉換部204的正交轉換係數進行量化，將該量化所得之量化係數，供給至可逆編碼部206及逆量化部208，處理係往步驟S219前進。
在步驟S219中，逆量化部208，係將來自量化部205的量化係數進行逆量化，將其結果所得的正交轉換係數，供給至逆正交轉換部209，處理係往步驟S220前進。在步驟S220中，逆正交轉換部209，係將來自逆量化部208的正交轉換係數進行逆正交轉換，將其結果所得的殘差，供給至演算部210，處理係往步驟S221前進。
在步驟S221中，演算部210，係將來自逆正交轉換部209的殘差、與預測影像選擇部216所輸出的預測影像進行加算，生成演算部203中作為殘差演算對象的原影像所對應之解碼影像。演算部210，係將解碼影像供給至ILF211，處理係從步驟S221往步驟S222前進。
在步驟S222中，ILF211係對來自演算部210的解碼影像，實施作為級別分類預測處理的濾波器處理，將該濾波器處理所得之濾波器影像，供給至畫格記憶體212，處理係從步驟S222往步驟S223前進。
在步驟S222的級別分類預測處理中，係進行與級別分類預測濾波器110(圖56)相同的處理。
亦即，ILF211，係對來自演算部210的解碼影像之注目像素，進行初期級別分類，求出注目像素之初期級別。然後，ILF211，係將注目像素之初期級別，依照圖62的步驟S205中所被更新之採用合併級別數所對應之合併模態，而轉換成合併級別。ILF211，係從圖62的步驟S205中所被更新之每一合併級別的結點係數，取得注目像素之合併級別之結點係數。其後，ILF211係對解碼影像，進行將使用注目像素之合併級別之結點係數而被構成的預測式予以適用的作為預測處理的濾波器處理，生成濾波器影像。濾波器影像，係從ILF211被供給至畫格記憶體212。
在步驟S223中，畫格記憶體212，係將從ILF211所被供給之濾波器影像予以記憶，處理係往步驟S224前進。畫格記憶體212中所被記憶之濾波器影像，係在步驟S213或S114中，作為用來生成預測影像之基礎的參照影像而被使用。
在步驟S224中，可逆編碼部206，係將來自量化部205的量化係數也就是編碼資料予以編碼，生成含有該編碼資料的編碼位元串流。然後，可逆編碼部206，係將量化部205中被使用於量化的量化參數QP、或畫面內預測部214中進行畫面內預測處理所得的預測模式、在運動預測補償部215中藉由畫面間運動預測處理所得之預測模式或運動資訊等之編碼資訊，因應需要而予以編碼，並含入至編碼位元串流中。
又，可逆編碼部206，係將圖62的步驟S203中被設定成傳輸對象的濾波器資訊，因應需要而予以編碼，並含入至編碼位元串流中。然後，可逆編碼部206，係將編碼位元串流，供給至積存緩衝區207，處理係從步驟S224往步驟S225前進。
於步驟S225中，積存緩衝區207，係將來自可逆編碼部206的編碼位元串流予以積存，處理係往步驟S226前進。積存緩衝區207中所被積存的編碼位元串流，係被適宜讀出而傳輸。
在步驟S226中，速率控制部217，係基於積存緩衝區207中所積存之編碼位元串流的編碼量(發生編碼量)，以不會發生溢位或下溢之方式，控制量化部205的量化動作之速率，編碼處理係結束。
＜解碼裝置170之構成例＞
圖64係圖58的解碼裝置170的詳細構成例的區塊圖。
於圖64中，解碼裝置170係具有：積存緩衝區301、可逆解碼部302、逆量化部303、逆正交轉換部304、演算部305、ILF306、排序緩衝區307、及D/A轉換部308。又，解碼裝置170係具有：畫格記憶體310、選擇部311、畫面內預測部312、運動預測補償部313、及選擇部314。
積存緩衝區301，係將從編碼裝置160所被傳輸過來的編碼位元串流予以暫時積存，在所定之時序上，將該編碼位元串流，供給至可逆解碼部302。
可逆解碼部302，係將來自積存緩衝區301的編碼位元串流予以接收，以圖61的可逆編碼部206之編碼方式所對應之方式，進行解碼。
然後，可逆解碼部302，係將編碼位元串流之解碼結果中所含之作為編碼資料的量化係數，供給至逆量化部303。
又，可逆解碼部302，係具有進行剖析的機能。可逆解碼部302，係將編碼位元串流之解碼結果中所含之必要的編碼資訊或濾波器資訊加以剖析，並將編碼資訊，供給至畫面內預測部312或運動預測補償部313或其他必要的區塊。然後，可逆解碼部302，係還將濾波器資訊，供給至ILF306。
逆量化部303，係將來自可逆解碼部302的作為編碼資料的量化係數，以圖61的量化部205之量化方式所對應之方式進行逆量化，將該逆量化所得之正交轉換係數，供給至逆正交轉換部304。
逆正交轉換部304，係將從逆量化部303所被供給之正交轉換係數，以圖61的正交轉換部204之正交轉換方式所對應之方式進行逆正交轉換，將其結果所得的殘差，供給至演算部305。
對演算部305，係除了從逆正交轉換部304被供給殘差以外，還透過選擇部314，從畫面內預測部312或運動預測補償部313被供給預測影像。
演算部305，係將來自逆正交轉換部304的殘差、與來自選擇部314的預測影像進行加算，生成解碼影像，並供給至ILF306。
IFL306，係記憶著與ILF211(圖61)相同的合併資訊。
ILF306係例如，與非附帶學習機能之級別分類預測濾波器110(圖56)同樣地被構成，藉由進行作為級別分類預測處理的濾波器處理，而和圖61的ILF211同樣地，成為去區塊濾波器、適應偏置濾波器、雙邊濾波器、ALF之中的1或2個以上之濾波器而發揮機能。
ILF306係將來自演算部305的解碼影像的像素，依序選擇成為注目像素。ILF306，係對注目像素進行初期級別分類，求出注目像素之初期級別。然後，ILF211，係將注目像素之初期級別，依照合併資訊中所含之合併模態之中的，從可逆解碼部302所被供給之濾波器資訊中所含之採用合併級別數所對應之合併模態，而轉換成合併級別。ILF306係將從可逆解碼部302所被供給之濾波器資訊中所含之每一合併級別的結點係數之中的，注目像素之合併級別之結點係數，加以取得。然後，ILF306，係從解碼影像，將注目像素之附近的像素選擇作為預測結點，將進行注目像素之級別之結點係數與作為預測結點之解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像並輸出。此外，在ILF306中的級別分類中，係與ILF211同樣地，可將例如2×2像素之左上之像素之級別分類所得的級別，作為該2×2像素之每一者的級別而採用。
ILF306所輸出的濾波器影像，係為和圖61的ILF211所輸出的濾波器影像相同的影像，係被供給至排序緩衝區307及畫格記憶體310。
排序緩衝區307，係將從ILF306所被供給之濾波器影像予以暫時記憶，將濾波器影像之畫格(圖像)之排序，從編碼(解碼)順序排序成顯示順序，供給至D/A轉換部308。
D/A轉換部308，係將從排序緩衝區307所被供給之濾波器影像進行D/A轉換，輸出至未圖示的顯示器而顯示之。
畫格記憶體310，係將從ILF306所被供給之濾波器影像予以暫時記憶。然後，畫格記憶體310，係於所定之時序上、或基於畫面內預測部312或運動預測補償部313等之外部之要求，而將濾波器影像，當作預測影像之生成時所使用的參照影像，而供給至選擇部311。
選擇部311係選擇從畫格記憶體310所供給之參照影像的供給目標。選擇部311係當將已被畫面內編碼之影像進行解碼時，將從畫格記憶體310所供給之參照影像，供給至畫面內預測部312。又，選擇部311係當將已被畫面間編碼之影像進行解碼時，將從畫格記憶體310所供給之參照影像，供給至運動預測補償部313。
畫面內預測部312，係依照從可逆解碼部302所被供給之編碼資訊中所含之預測模式，以圖61的畫面內預測部214中所被使用過的畫面內預測模式，使用從畫格記憶體310透過選擇部311而被供給的參照影像，來進行畫面內預測。然後，畫面內預測部312，係將畫面內預測所得的預測影像，供給至選擇部314。
運動預測補償部313，係依照從可逆解碼部302所被供給之編碼資訊中所含之預測模式，以圖61的運動預測補償部215中所被使用過的畫面間預測模式，使用從畫格記憶體310透過選擇部311而被供給的參照影像，來進行畫面間預測。畫面間預測，係將從可逆解碼部302所被供給之編碼資訊中所含之運動資訊等，因應需要而加以使用，而被進行。
運動預測補償部313，係將畫面間預測所得的預測影像，供給至選擇部314。
選擇部314，係將從畫面內預測部312所被供給之預測影像、或從運動預測補償部313所被供給之預測影像加以選擇，供給至演算部305。
此外，於圖64中，可逆解碼部302是相當於圖58的剖析部171，逆量化部303乃至演算部305是相當於圖58的解碼部172，ILF306是相當於圖58的濾波器部173。
＜解碼處理＞
圖65係圖64的解碼裝置170的解碼處理之例子的說明用流程圖。
在解碼處理中，係於步驟S301中，積存緩衝區301，係將從編碼裝置160所被傳輸過來的編碼位元串流與暫時積存，適宜地供給至可逆解碼部302，處理係往步驟S302前進。
在步驟S302中，可逆解碼部302，係將從積存緩衝區301所被供給之編碼位元串流予以收取並進行解碼，將編碼位元串流之解碼結果中所含之作為編碼資料的量化係數，供給至逆量化部303。
又，可逆解碼部302，係在編碼位元串流之解碼結果中，含有濾波器資訊或編碼資訊的情況下，則將該濾波器資訊或編碼資訊予以剖析。然後，可逆解碼部302，係將必要的編碼資訊，供給至畫面內預測部312或運動預測補償部313或其他必要的區塊。又，可逆解碼部302，係將濾波器資訊，供給至ILF306。
其後，處理係從步驟S302往步驟S303前進，ILF306係判定，是否有從可逆解碼部302被供給著含有採用合併級別數及採用合併級別數之每一合併級別的結點係數的濾波器資訊。
於步驟S303中，若判定為濾波器資訊是未被供給的情況下，則處理係略過步驟S304，而往步驟S305前進。
又，於步驟S303中，若判定為濾波器資訊是有被供給的情況下，則處理係往步驟S304前進，ILF306係將來自可逆解碼部302的濾波器資訊中所含之採用合併級別數及採用合併級別數之每一合併級別的結點係數，加以取得。然後，ILF306，係藉由從來自可逆解碼部302的濾波器資訊所取得的採用合併級別數及採用合併級別數之每一合併級別的結點係數，而將級別分類預測處理中所使用的採用合併級別數及結點係數，予以更新。
然後，處理係從步驟S304往步驟S305前進，預測解碼處理會被進行，解碼處理係結束。
圖66係圖65的步驟S305的預測解碼處理之例子的說明用流程圖。
於步驟S311中，逆量化部303，係將來自可逆解碼部302的量化係數進行逆量化，將其結果所得的正交轉換係數，供給至逆正交轉換部304，處理係往步驟S312前進。
在步驟S312中，逆正交轉換部304，係將來自逆量化部303的正交轉換係數進行逆正交轉換，將其結果所得的殘差，供給至演算部305，處理係往步驟S313前進。
在步驟S313中，畫面內預測部312或運動預測補償部313，係使用從畫格記憶體310透過選擇部311而被供給的參照影像、及從可逆解碼部302所被供給之編碼資訊，進行將預測影像予以生成的畫面內預測處理或畫面間運動預測處理。然後，畫面內預測部312或運動預測補償部313，係將畫面內預測處理或畫面間運動預測處理所得的預測影像，供給至選擇部314，處理係從步驟S313往步驟S314前進。
在步驟S314中，選擇部314，係將從畫面內預測部312或運動預測補償部313所被供給之預測影像加以選擇，供給至演算部305，處理係往步驟S315前進。
在步驟S315中，演算部305，係將來自逆正交轉換部304的殘差、與來自選擇部314的預測影像進行加算，以生成解碼影像。然後，演算部305，係將解碼影像，供給至ILF306，處理係從步驟S315往步驟S316前進。
在步驟S316中，ILF306係對來自演算部305的解碼影像，實施作為級別分類預測處理的濾波器處理，將該濾波器處理所得之濾波器影像，供給至排序緩衝區307及畫格記憶體310，處理係從步驟S316往步驟S317前進。
在步驟S316的級別分類預測處理中，係進行與級別分類預測濾波器110(圖56)相同的處理。
亦即，ILF306，係對來自演算部305的解碼影像之注目像素，進行與ILF211相同的初期級別分類，求出注目像素之初期級別。然後，ILF306，係將注目像素之初期級別，依照合併資訊中所含之合併模態之中的，圖65的步驟S304中所被更新的採用合併級別數所對應之合併模態，而轉換成合併級別。ILF306，係將圖65的步驟S304中所被更新之每一合併級別的結點係數之中的，注目像素之合併級別之結點係數，加以取得。其後，ILF306係對解碼影像，進行將由注目像素之合併級別之結點係數所構成的預測式予以適用的作為預測處理的濾波器處理，生成濾波器影像。濾波器影像，係從ILF306被供給至排序緩衝區307及畫格記憶體310。
在步驟S317中，排序緩衝區307，係將從ILF306所被供給之濾波器影像予以暫時記憶。然後，排序緩衝區307，係將所記憶之濾波器影像，排序成顯示順序，供給至D/A轉換部308，處理係從步驟S317往步驟S318前進。
在步驟S318中，D/A轉換部308，係將來自排序緩衝區307的濾波器影像進行D/A轉換，處理係往步驟S319前進。D/A轉換後的濾波器影像，係被輸出至未圖示的顯示器而顯示之。
在步驟S319中，畫格記憶體310，係將從ILF306所被供給之濾波器影像予以記憶，解碼處理係結束。畫格記憶體310中所被記憶之濾波器影像，係在步驟S313的畫面內預測處理或畫面間運動預測處理中，作為用來生成預測影像之基礎的參照影像而被使用。
＜被預先設定的合併模態之其他例＞
在按照每一合併級別數地來設定合併模態的情況下，即使對於所定之(值的)合併級別數，是有複數個合併模態存在的情況下，藉由合併模態選擇，複數個合併模態之中的1個合併模態，就會被選擇(設定)作為所定之合併級別數所對應之合併模態。此處，對於所定之合併級別數，是有複數個合併模態存在的情況下，將該合併模態稱作候補模態，並且在複數個候補模態之中，將已被選擇作為該所定之合併級別數所對應之合併模態的合併模態，稱作選擇模態。
隨著原影像不同，有些時候，與其被分類成依照選擇模態所得之級別(合併級別)的級別分類，不如被分類成依照選擇模態以外之候補模態所得之級別的級別分類，反而會獲得與原影像的誤差較小的濾波器影像。因此，若對所定之合併級別數設定複數個選擇模態，則可減少濾波器影像之誤差，進而可以提升編碼效率或解碼影像之畫質。然而，對所定之合併級別數設定複數個選擇模態的情況下，為了將採用模態進行訊令，必須要例如，與GALF同樣地，將採用合併模態含入至編碼位元串流中而予以傳輸。而且，將(採用)合併模態予以傳輸的情況下，相較於將(採用)合併級別數予以傳輸的情況，處理負擔係較大，編碼效率會劣化。
於是，在本技術中，在對所定之合併級別數，設定複數個合併模態的情況下，係採用以比將合併模態予以傳輸時還小的處理負擔，將級別之合併中所使用的合併模態(採用合併模態)予以特定的方法。
作為初期級別之合併，是採用子級別合併，並依照一定規則來進行子級別合併的情況下，亦即例如，如圖30乃至圖32中所說明般地，進行傾斜強度比子級別、方向子級別、及活性子級別之子級別合併的情況下，則根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數Na, Nb, Nc之組合(Na, Nb, Nc)，合併模態(Na, Nb, Nc)係被唯一決定。因此，藉由子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數Na, Nb, Nc之組合(Na, Nb, Nc)，就可特定出合併模態(Na, Nb, Nc)。如此，藉由子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數Na, Nb, Nc之組合(Na, Nb, Nc)，而特定出合併模態(Na, Nb, Nc)的方法，亦稱為子級別數所致之特定法。
若依據子級別數所致之特定法，就可將合併級別數為相同的複數個合併模態之每一者加以特定。因此，相較於每一合併級別數地設定合併模態的情況，可從較多的合併模態之中，決定採用合併模態。其結果為，可藉由會對原影像進行較合適之級別分類的合併模態，而將初期級別予以合併，可提升編碼效率及解碼影像之畫質。
又，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之子級別數Na, Nb, Nc，係分別為1乃至3子級別、1或2子級別、及1乃至5子級別，因此相較於25個數字之序列的GALF之合併模態(圖9)，資料量較小。因此，若依據藉由子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數Na, Nb, Nc之組合(Na, Nb, Nc)，而特定出採用合併模態(Na, Nb, Nc)的子級別數所致之特定法，則相較於GALF之情況，可減少處理負擔，提升編碼效率。
以下說明，針對子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數Na, Nb, Nc的圖36中所示的30個組合(Na, Nb, Nc)而決定的，組合(Na, Nb, Nc)所對應之合併模態(Na, Nb, Nc)。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 2, 5之組合(3, 2, 5)所對應之合併模態(3, 2, 5)，與該合併模態(3, 2, 5)所被獲得之子級別合併，係如同圖43所示。
圖67係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 1, 5之組合(3, 1, 5)所對應之合併模態(3, 1, 5)，與該合併模態(3, 1, 5)所被獲得之子級別合併的圖示。
合併模態(3, 1, 5)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0之索引class_idx所對應之活性子級別0、1之索引class_idx所對應之活性子級別1、2乃至6之索引class_idx所對應之活性子級別2、7乃至14之索引class_idx所對應之活性子級別3、及15之索引class_idx所對應之活性子級別4的5子級別，就可獲得。
合併模態(3, 1, 5)之合併級別數，係如圖36中所說明，可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 1, 5，求出為5×(1×(3-1)＋1)＝15。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 2, 5之組合(2, 2, 5)所對應之合併模態(2, 2, 5)，與該合併模態(2, 2, 5)所被獲得之子級別合併，係如同圖45所示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 1, 5之組合(2, 1, 5)所對應之合併模態(2, 1, 5)，與該合併模態(2, 1, 5)所被獲得之子級別合併，係如同圖47所示。
圖68係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 5之組合(1, 2, 5)所對應之合併模態(1, 2, 5)，與該合併模態(1, 2, 5)所被獲得之子級別合併的圖示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 5的情況係相當於，傾斜強度比子級別係被合併成1子級別(N/A級別)，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況。傾斜強度比子級別被合併成1子級別，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況下，如圖36中所說明，方向子級別分類係為無效，藉由此種方向子級別分類而被進行的級別分類的合併模態，也為無效。在本技術中，無效的合併模態係不使用。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 1, 5之組合(1, 1, 5)所對應之合併模態(1, 1, 5)，與該合併模態(1, 1, 5)所被獲得之子級別合併，係如同圖51所示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 2, 4之組合(3, 2, 4)所對應之合併模態(3, 2, 4)，與該合併模態(3, 2, 4)所被獲得之子級別合併，係如同圖44所示。
圖69係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 1, 4之組合(3, 1, 4)所對應之合併模態(3, 1, 4)，與該合併模態(3, 1, 4)所被獲得之子級別合併的圖示。
合併模態(3, 1, 4)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別，就可獲得。
合併模態(3, 1, 4)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 1, 4，求出為4×(1×(3-1)＋1)＝12。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 2, 4之組合(2, 2, 4)所對應之合併模態(2, 2, 4)，與該合併模態(2, 2, 4)所被獲得之子級別合併，係如同圖46所示。
圖70係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 1, 4之組合(2, 1, 4)所對應之合併模態(2, 1, 4)，與該合併模態(2, 1, 4)所被獲得之子級別合併的圖示。
合併模態(2, 1, 4)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0及1之索引class_idx所對應之活性子級別0、2乃至6之索引class_idx所對應之活性子級別1、7乃至14之索引class_idx所對應之活性子級別2、及15之索引class_idx所對應之活性子級別3的4子級別，就可獲得。
合併模態(2, 1, 4)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數2, 1, 4，求出為4×(1×(2-1)＋1)＝8。
圖71係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 4之組合(1, 2, 4)所對應之合併模態(1, 2, 4)，與該合併模態(1, 2, 4)所被獲得之子級別合併的圖示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 4的情況係相當於，傾斜強度比子級別係被合併成1子級別(N/A級別)，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況。傾斜強度比子級別被合併成1子級別，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況下，如圖36中所說明，方向子級別分類係為無效，藉由此種方向子級別分類而被進行的級別分類的合併模態，也為無效。在本技術中，無效的合併模態係不使用。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 1, 4之組合(1, 1, 4)所對應之合併模態(1, 1, 4)，與該合併模態(1, 1, 4)所被獲得之子級別合併，係如同圖52所示。
圖72係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 2, 3之組合(3, 2, 3)所對應之合併模態(3, 2, 3)，與該合併模態(3, 2, 3)所被獲得之子級別合併的圖示。
合併模態(3, 2, 3)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2的3子級別，就可獲得。
合併模態(3, 2, 3)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 2, 3，求出為3×(2×(3-1)＋1)＝15。
圖73係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 1, 3之組合(3, 1, 3)所對應之合併模態(3, 1, 3)，與該合併模態(3, 1, 3)所被獲得之子級別合併的圖示。
合併模態(3, 1, 3)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0乃至6之索引class_idx所對應之活性子級別0、7乃至14之索引class_idx所對應之活性子級別1、及15之索引class_idx所對應之活性子級別2的3子級別，就可獲得。
合併模態(3, 1, 3)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 1, 3，求出為3×(1×(3-1)＋1)＝9。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 2, 3之組合(2, 2, 3)所對應之合併模態(2, 2, 3)，與該合併模態(2, 2, 3)所被獲得之子級別合併，係如同圖48所示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 1, 3之組合(2, 1, 3)所對應之合併模態(2, 1, 3)，與該合併模態(2, 1, 3)所被獲得之子級別合併，係如同圖50所示。
圖74係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 3之組合(1, 2, 3)所對應之合併模態(1, 2, 3)，與該合併模態(1, 2, 3)所被獲得之子級別合併的圖示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 3的情況係相當於，傾斜強度比子級別係被合併成1子級別(N/A級別)，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況。傾斜強度比子級別被合併成1子級別，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況下，如圖36中所說明，方向子級別分類係為無效，藉由此種方向子級別分類而被進行的級別分類的合併模態，也為無效。在本技術中，無效的合併模態係不使用。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 1, 3之組合(1, 1, 3)所對應之合併模態(1, 1, 3)，與該合併模態(1, 1, 3)所被獲得之子級別合併，係如同圖53所示。
圖75係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 2, 2之組合(3, 2, 2)所對應之合併模態(3, 2, 2)，與該合併模態(3, 2, 2)所被獲得之子級別合併的圖示。
合併模態(3, 2, 2)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成0乃至14之索引class_idx所對應之活性子級別0、及15之索引class_idx所對應之活性子級別1的2子級別，就可獲得。
合併模態(3, 2, 2)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 2, 2，求出為2×(2×(3-1)＋1)＝10。
圖76係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 1, 2之組合(3, 1, 2)所對應之合併模態(3, 1, 2)，與該合併模態(3, 1, 2)所被獲得之子級別合併的圖示。
合併模態(3, 1, 2)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0乃至14之索引class_idx所對應之活性子級別0、及15之索引class_idx所對應之活性子級別1的2子級別，就可獲得。
合併模態(3, 1, 2)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 1, 2，求出為2×(1×(3-1)＋1)＝6。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 2, 2之組合(2, 2, 2)所對應之合併模態(2, 2, 2)，與該合併模態(2, 2, 2)所被獲得之子級別合併，係如同圖49所示。
圖77係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 1, 2之組合(2, 1, 2)所對應之合併模態(2, 1, 2)，與該合併模態(2, 1, 2)所被獲得之子級別合併的圖示。
合併模態(2, 1, 2)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成0乃至14之索引class_idx所對應之活性子級別0、及15之索引class_idx所對應之活性子級別1的2子級別，就可獲得。
合併模態(2, 1, 2)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數2, 1, 2，求出為2×(1×(2-1)＋1)＝4。
圖78係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 2之組合(1, 2, 2)所對應之合併模態(1, 2, 2)，與該合併模態(1, 2, 2)所被獲得之子級別合併的圖示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 2的情況係相當於，傾斜強度比子級別係被合併成1子級別(N/A級別)，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況。傾斜強度比子級別被合併成1子級別，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況下，如圖36中所說明，方向子級別分類係為無效，藉由此種方向子級別分類而被進行的級別分類的合併模態，也為無效。在本技術中，無效的合併模態係不使用。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 1, 2之組合(1, 1, 2)所對應之合併模態(1, 1, 2)，與該合併模態(1, 1, 2)所被獲得之子級別合併，係如同圖54所示。
圖79係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 2, 1之組合(3, 2, 1)所對應之合併模態(3, 2, 1)，與該合併模態(3, 2, 1)所被獲得之子級別合併的圖示。
合併模態(3, 2, 1)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成N/A級別的1子級別，就可獲得。
合併模態(3, 2, 1)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 2, 1，求出為1×(2×(3-1)＋1)＝5。
圖80係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為3, 1, 1之組合(3, 1, 1)所對應之合併模態(3, 1, 1)，與該合併模態(3, 1, 1)所被獲得之子級別合併的圖示。
合併模態(3, 1, 1)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、弱級別、及強級別的3子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成N/A級別的1子級別，就可獲得。
合併模態(3, 1, 1)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數3, 1, 1，求出為1×(1×(3-1)＋1)＝3。
圖81係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 2, 1之組合(2, 2, 1)所對應之合併模態(2, 2, 1)，與該合併模態(2, 2, 1)所被獲得之子級別合併的圖示。
合併模態(2, 2, 1)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成D0/D1級別及H/V級別的2子級別，將活性子級別，進行子級別合併成N/A級別的1子級別，就可獲得。
合併模態(2, 2, 1)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數2, 2, 1，求出為1×(2×(2-1)＋1)＝3。
圖82係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為2, 1, 1之組合(2, 1, 1)所對應之合併模態(2, 1, 1)，與該合併模態(2, 1, 1)所被獲得之子級別合併的圖示。
合併模態(2, 1, 1)係藉由，將傾斜強度比子級別，進行子級別合併成無級別、及高級別的2子級別，將方向子級別，進行子級別合併成N/A級別的1子級別，將活性子級別，進行子級別合併成N/A級別的1子級別，就可獲得。
合併模態(2, 1, 1)之合併級別數，係可根據子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數2, 1, 1，求出為1×(1×(2-1)＋1)＝2。
圖83係為，子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 1之組合(1, 2, 1)所對應之合併模態(1, 2, 1)，與該合併模態(1, 2, 1)所被獲得之子級別合併的圖示。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 2, 1的情況係相當於，傾斜強度比子級別係被合併成1子級別(N/A級別)，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況。傾斜強度比子級別被合併成1子級別，並被分類成D0/D1級別或H/V級別的方向子級別分類被進行的情況下，如圖36中所說明，方向子級別分類係為無效，藉由此種方向子級別分類而被進行的級別分類的合併模態，也為無效。在本技術中，無效的合併模態係不使用。
子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之每一者的子級別數為1, 1, 1之組合(1, 1, 1)所對應之合併模態(1, 1, 1)，與該合併模態(1, 1, 1)所被獲得之子級別合併，係如同圖55所示。
＜將子級別數之組合予以傳輸的語法＞
圖84係將子級別數之組合予以傳輸的語法之例子的圖示。
將採用合併模態(Na, Nb, Nc)，藉由子級別數所致之特定法而予以特定的情況下，則必須要把用來特定採用合併模態(Na, Nb, Nc)的子級別數之組合(以下亦稱為採用組合)(Na, Nb, Nc)，從編碼裝置傳輸至解碼裝置。
於圖84中，alf_dirRatio_minus1, alf_dir_minus1, alf_act_var_minus1係表示，採用合併模態會被獲得的子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之子級別數Na, Nb, Nc。
亦即，在alf_dirRatio_minus1中係設置，採用合併模態會被獲得的子級別合併後的傾斜強度比子級別之子級別數Na-1。在alf_dir_minus1中係設置，採用合併模態會被獲得的子級別合併後的方向子級別之子級別數Nb-1。在alf_act_var_minus1中係設置，採用合併模態會被獲得的子級別合併後的活性子級別之子級別數Nc-1。
傾斜強度比子級別之子級別數係為1乃至3之任一者，方向子級別之子級別數係為1或2，活性子級別之子級別數係為1乃至5之任一者。因此，作為表示傾斜強度比子級別、方向子級別、及活性子級別之子級別數的alf_dirRatio_minus1, alf_dir_minus1, alf_act_var_minus1，係分別採用2位元、1位元、3位元(以上)之變數。
若依據圖84之語法，則表示方向子級別之子級別數Nb的alf_dir_minus1，係只有在表示傾斜強度比子級別之子級別數Na的alf_dirRatio_minus1是大於0的情況下，才會被傳輸。
亦即，如圖36等中所說明，在傾斜強度比子級別是被合併成N/A級別的1子級別的情況下，被分類成D0/D1級別或H/V級別的方向子級別分類，更進一步來說，藉由如此的方向子級別分類而被進行的級別分類所致之合併模態，亦即，傾斜強度比子級別的子級別數Na為1，且方向子級別的子級別數Nb為2的子級別數之組合所對應之合併模態，係為無效，而不被使用。
因此，會成為採用組合的子級別數之組合係不包含，傾斜強度比子級別之子級別數(傾斜強度比之子級別分類之子級別之子級別數)為1，且方向子級別之子級別數(direction之子級別分類之子級別之子級別數)為2以上之組合。
其結果為，於採用組合(Na, Nb, Nc)中，傾斜強度比子級別之子級別數Na為1的情況下，方向子級別之子級別數Nb，係不會是2，必然會是1。
如以上所述，傾斜強度比子級別之子級別數Na為1的情況下，則方向子級別之子級別數Nb係確定為1，因此不需要將方向子級別之子級別數Nb予以傳輸。然後，在必須要將方向子級別之子級別數Nb予以傳輸的情況下，就是傾斜強度比子級別之子級別數Na為2以上的情況。
於是，在圖84之語法中係定義成，只有在傾斜強度比子級別之子級別數Na為2以上的情況(alf_dirRatio_minus1大於0的情況)下，才會將方向子級別之子級別數Nb(表示其的alf_dir_minus1)予以傳輸。
因此，藉由圖84之語法而被傳輸的採用組合，係在傾斜強度比子級別之子級別數Na為2以上的情況下，包含有方向子級別之子級別數Nb。
若依據圖84之語法，則在傾斜強度比子級別之子級別數Na為1的情況下，不必傳輸方向子級別之子級別數Nb，因此相較於必須傳輸方向子級別之子級別數Nb的情況，可提升(改善)編碼效率。
＜適用了本技術的級別分類預測濾波器之構成例＞
圖85係適用了本技術的級別分類預測濾波器之構成例的區塊圖。
亦即，圖85係圖示了，將採用合併模態，以子級別數所致之特定法加以特定的級別分類預測濾波器410之構成例。
此外，圖中，關於與圖56的級別分類預測濾波器110相對應的部分，係標示相同符號，以下適宜省略其說明。
於圖85中，級別分類預測濾波器410係具有：級別分類部111、結點係數取得部113、預測部114、及合併轉換部412。
因此，級別分類預測濾波器410，係在具有級別分類部111、結點係數取得部113、及預測部114的這點上，是與級別分類預測濾波器110為共通。但是，級別分類預測濾波器410，係在取代了合併轉換部112而改為具有合併轉換部412的這點上，是與級別分類預測濾波器110相異。
合併轉換部412，係將來自級別分類部111的注目像素之初期級別，依照針對子級別合併後的傾斜強度比子級別、方向子級別、及活性子級別之子級別數(傾斜強度比、direction、及活性加總之每一者的子級別分類之子級別之子級別數)之每種組合而決定的合併模態(以下亦簡稱為按照子級別數之每種組合而決定之合併模態)，而轉換成合併級別。亦即，合併轉換部412係例如，依照圖36中所說明的按照子級別數之每種組合而決定之(有效的)25模態之合併模態之中的，採用組合所對應之合併模態，而將注目像素之初期級別，轉換成合併級別。合併轉換部412，係將注目像素之合併級別，供給至結點係數取得部113。
在結點係數取得部113中，係從每一合併級別的結點係數之中，來自合併轉換部412的注目像素之合併級別之結點係數會被選擇，並被供給至預測部114。然後，在預測部114中，係對對象影像，將使用了來自結點係數取得部113之注目像素之合併級別之結點係數的預測式予以適用的作為預測處理的濾波器處理會被進行，藉由該濾波器處理而被生成的濾波器影像會被輸出。
於級別分類預測濾波器410中，採用組合、及每一合併級別的結點係數，係可從外部供給至級別分類預測濾波器410。
又，可在級別分類預測濾波器410中，內建進行結點係數學習的學習部421。具有學習部421的級別分類預測濾波器410，係可稱之為附帶學習機能之級別分類預測濾波器410。
在學習部421中，係可使用教師影像及學生影像，求出每一合併級別的結點係數，令其被記憶在結點係數取得部113中。甚至，在學習部421中，可將採用組合加以決定，並供給至合併轉換部412。
級別分類預測濾波器410是被適用於編碼裝置的情況下，作為教師影像係可採用編碼對象之原影像，同時，作為學生影像係可採用，將原影像予以編碼然後進行局部解碼所得的解碼影像。
學習部421，係使用身為學生影像的解碼影像，進行與級別分類部111同樣的級別分類，按照藉由該級別分類所得的每一初期級別，會使藉由結點係數與預測結點所構成之預測式所求出的教師影像之預測值之預測誤差呈統計性最小的結點係數，是藉由最小平方法而被求出，係進行如此的結點係數學習。
又，學習部421，係使用作為按照子級別數之每種組合而決定之合併模態的子級別數之複數個組合所分別對應之合併模態之每一者，進行與採用合併模態數決定處理(圖8)相同之處理，藉此，將子級別數之複數個組合所對應之合併模態之中的，成本(例如圖8的步驟S67中所被求出之成本dist+lambda×coeffBit)呈最小的合併模態予以特定的子級別數之組合，係被決定成為採用組合。
然後，學習部421，係在採用合併模態數決定處理(圖8)中用來求出決定採用組合之成本所需之濾波器處理也就是步驟S64之處理進行前的步驟S63中，進行與合併模態決定處理(圖5)的步驟S36及S37相同之處理，求出依照採用組合所對應之合併模態而被獲得的每一合併級別的結點係數。
學習部421，係將採用組合，供給至合併轉換部412，將依照採用組合所對應之合併模態而被獲得的每一合併級別的結點係數，供給至結點係數取得部113。
適用了本技術的編碼裝置及解碼裝置，係將初期級別之合併，藉由圖30乃至圖32之子級別合併來進行之，而予以共用。然後，編碼裝置，係從將藉由子級別合併而被獲得的合併模態予以特定之子級別數的複數個組合中，決定出採用組合，並傳輸至解碼裝置。解碼裝置，係根據來自編碼裝置之採用組合，而特定出合併模態。然後，解碼裝置，係進行初期級別分類，將藉由該初期級別分類而被獲得的初期級別，依照根據採用組合而被特定之合併模態(採用組合所對應之合併模態)，轉換成合併級別。
圖86係圖85的級別分類預測濾波器410所進行之級別分類預測處理之例子的說明用流程圖。
於步驟S411中，級別分類部111，係將作為對象影像的解碼影像之，應選擇成為注目像素的像素，依序選擇成為注目像素，處理係往步驟S412前進。
在步驟S412中，級別分類部111，係進行注目像素之初期級別分類，求出注目像素之初期級別。級別分類部111，係將注目像素之初期級別，供給至合併轉換部412，處理係從步驟S412往步驟S413前進。
在步驟S413中，合併轉換部412，係依照採用組合所對應之合併模態，而將來自級別分類部111的注目像素之初期級別，轉換成合併級別。合併轉換部412，係將注目像素之合併級別，供給至結點係數取得部113，處理係從步驟S413往步驟S414前進。
在步驟S414中，結點係數取得部113，係從每一合併級別的結點係數之中，取得來自合併轉換部412的注目像素之合併級別之結點係數，處理係往步驟S415前進。
在步驟S415中，預測部114，係對解碼影像，進行將由來自結點係數取得部113之注目像素的合併級別的結點係數所構成之預測式做適用的作為預測處理的濾波器處理。
亦即，預測部114，係從解碼影像，選擇出注目像素的身為預測結點之像素，藉由將使用該預測結點及注目像素的合併級別的結點係數而被構成的1次預測式進行演算，以求出相對於注目像素的原影像之像素(之像素值)之預測值。然後，預測部114，係生成把該預測值當作像素值的影像，作為濾波器影像而予以輸出，結束級別分類預測處理。
＜適用了本技術的影像處理系統之一實施形態＞
圖87係適用了本技術的影像處理系統之一實施形態之概要的區塊圖。
此外，圖中，和圖58對應的部分，係標示同一符號，以下並適宜地省略其說明。
於圖87中，影像處理系統係具有編碼裝置460及解碼裝置470。
編碼裝置460係具有編碼部161、局部解碼部162、及濾波器部463。
因此，編碼裝置460，係在具有編碼部161及局部解碼部162的這點上，是與圖58之編碼裝置160為共通，在取代了濾波器部163而改為具有濾波器部463的這點上，是與編碼裝置160相異。
濾波器部463係例如，與附帶學習機能之級別分類預測濾波器410(圖85)同樣地被構成，含有級別分類部164及合併轉換部465。因此，濾波器部463，係在具有級別分類部164的這點上，是與圖58的濾波器部163為共通，在取代了合併轉換部165而改為具有合併轉換部465的這點上，是與濾波器部163相異。
濾波器部463，係將來自局部解碼部162的解碼影像、及對該解碼影像的原影像，當作學生影像及教師影像而加以使用以進行結點係數學習，求出每一級別之結點係數。
又，濾波器部463，係使用按照藉由子級別合併而被獲得的子級別數之每種組合而決定之(複數個)合併模態，進行與採用合併模態數決定處理(圖8)相同之處理，藉此，將藉由子級別合併而被獲得的子級別數之組合之中的，將成本呈最小的合併模態予以特定的子級別數之組合，決定成採用組合。
再者，濾波器部463，係在將採用組合予以決定時，利用藉由結點係數學習而被求出的正規方程式(的X矩陣及Y向量)，進行與合併模態決定處理(圖5)之步驟S36及S37相同的處理，藉此而求出藉由採用組合所對應之合併模態而被獲得的每一合併級別的結點係數。
然後，濾波器部463，係於級別分類部164中，使用來自局部解碼部162的解碼影像，進行作為藉由複數個特徵量之子級別分類而被進行之初期級別分類的，例如GALF之級別分類等，求出注目像素之初期級別。然後，濾波器部463，係於合併轉換部465中，依照採用組合所對應之合併模態，而將注目像素之初期級別，轉換成合併級別。然後，濾波器部463係進行，將進行合併轉換部465之轉換所得之注目像素之合併級別的結點係數與解碼影像之像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理。
濾波器部463，係將濾波器處理所得之濾波器影像，供給至編碼部161及局部解碼部162。然後，濾波器部463，係將採用組合、及藉由依照該採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數，當作濾波器資訊，供給至編碼部161。
此外，此處，於編碼裝置460中，雖然是將藉由子級別合併而被獲得的合併模態(圖36的子級別數之30種類之組合所對應之合併模態之中的25模態之有效的合併模態)之中的，將成本呈最小的合併模態予以特定的子級別數之組合，決定成採用組合，但採用組合，係亦可將事前藉由子級別合併而被獲得的合併模態之中的，將特定之合併模態予以特定的子級別數之組合，事前決定成採用組合。此情況下，由於不需要為了決定採用組合而求出成本，因此可削減編碼裝置460的處理量。
如以上所述，事前決定好採用組合這件事情，係對於例如編碼裝置460的性能不高的情況下，特別有效。
解碼裝置470係具有剖析部171、解碼部172、及濾波器部473。因此，解碼裝置470，係在具有剖析部171及解碼部172的這點上，是與圖58的解碼裝置170為共通，在取代了濾波器部173而改為具有濾波器部473的這點上，是與解碼裝置170相異。
濾波器部473係例如，與非附帶學習機能之級別分類預測濾波器410(圖85)同樣地被構成，含有級別分類部174及合併轉換部475。因此，濾波器部473，係在具有級別分類部174的這點上，是與圖58的濾波器部173為共通，在取代了合併轉換部175而改為具有合併轉換部475的這點上，是與濾波器部173相異。
濾波器部473，係對來自解碼部172的解碼影像，進行和濾波器部463相同的濾波器處理，生成濾波器影像，供給至解碼部172。
亦即，濾波器部473，係於級別分類部174中，使用來自解碼部172的解碼影像，進行與級別分類部164相同之初期級別分類，求出注目像素之初期級別。然後，濾波器部473，係於合併轉換部475中，依照來自剖析部171的濾波器資訊中所含之採用組合所對應之合併模態，而將注目像素之初期級別，轉換成藉由將子級別分類之子級別予以合併而合併了初期級別而成的合併級別。然後，濾波器部473係進行，將進行合併轉換部475之轉換所得之注目像素之合併級別的結點係數與解碼影像之像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理。濾波器處理中所被使用的注目像素之合併級別的結點係數，係從來自剖析部171的濾波器資訊中所含之每一合併級別的結點係數，而被取得。
濾波器部473，係將濾波器處理所得之濾波器影像，供給至解碼部172，同時，當作原影像做解碼所成之最終的解碼影像而予以輸出。
圖88係圖87的編碼裝置460之編碼處理之概要的說明用流程圖。
依照圖88之流程圖的處理，係以例如畫格(圖像)單位而被進行。
於步驟S461乃至S463中，會進行和圖59的步驟S161乃至S163分別相同的處理。然後，於步驟S463中，每一初期級別的結點係數被求出後，處理係往步驟S464前進。
在步驟S464中，濾波器部463，係針對將藉由子級別合併而被獲得的合併模態予以特定的子級別數之複數個組合(例如將圖36中所說明的25模態之有效的合併模態之每一者予以特定的子級別數之組合)之每一者，依照子級別數之組合所對應之合併模態進行初期級別之合併，利用在求出每一初期級別的結點係數的結點係數學習中所得的正規方程式(的X矩陣及Y向量)，將依照組合所對應之合併模態而合併了初期級別而成的每一合併級別的結點係數，如圖5的步驟S36及S37中所說明般地予以求出。然後，濾波器部463，係使用每一合併級別的結點係數，將成本呈最小之合併模態予以特定的子級別數之組合，決定成採用組合，處理係從步驟S464往步驟S465前進。
在步驟S465中，濾波器部463的級別分類部164，係進行來自局部解碼部162的解碼影像之注目像素之初期級別分類，處理係往步驟S466前進。
在步驟S466中，濾波器部463的合併轉換部465，係將藉由級別分類部164的級別分類而被獲得的注目像素之初期級別，依照採用組合所對應之合併模態，而轉換成合併級別，處理係往步驟S467前進。
在步驟S467中，濾波器部463係進行，將進行步驟S464中所被求出的每一合併級別之結點係數之中的，注目像素之合併級別的結點係數與解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像。濾波器影像，係從濾波器部463，被供給至編碼部161及局部解碼部162。從濾波器部463被供給至編碼部161及局部解碼部162的濾波器影像，係在以下個畫格為對象而被進行的步驟S461及S462之處理中，會被使用。
又，濾波器部463，係將採用組合、及每一合併級別的結點係數，當作濾波器資訊，而供給至編碼部161。
其後，處理係從步驟S467往步驟S468前進，編碼部161係生成含有步驟S461所得之編碼資料、和在濾波器部463中所獲得之作為濾波器資訊的採用組合、及每一合併級別的結點係數的編碼位元串流，並予以傳輸。
圖89係圖87的解碼裝置470的解碼處理之概要的說明用流程圖。
依照圖89之流程圖的處理，係例如，與圖88的編碼處理同樣地，是以畫格單位而被進行。
於步驟S481中，剖析部171(圖87)，係將從編碼裝置460所被傳輸過來的編碼位元串流予以接收，將編碼位元串流中所含之作為濾波器資訊的採用組合、及每一合併級別的結點係數加以剖析，供給至濾波器部473。然後，剖析部171，係將編碼位元串流中所含之編碼資料，供給至解碼部172，處理係從步驟S481往步驟S482前進。
在步驟S482中，解碼部172，係將來自剖析部171的編碼資料之解碼，使用來自濾波器部473的濾波器影像而進行之，將其結果所得的解碼影像，供給至濾波器部473，處理係往步驟S483前進。
在步驟S483中，濾波器部473的級別分類部174，係對來自解碼部172的解碼影像之注目像素，進行初期級別分類，處理係往步驟S484前進。
在步驟S484中，濾波器部473的合併轉換部475，係將藉由級別分類部174的級別分類而被獲得的注目像素之初期級別，依照來自剖析部171的採用組合所對應之合併模態，而轉換成合併級別，處理係往步驟S485前進。
在步驟S485中，濾波器部473，係使用來自剖析部171的每一合併級別的結點係數，對來自解碼部172的解碼影像，進行作為級別分類預測處理的濾波器處理，生成濾波器影像。
濾波器影像，係從濾波器部473被供給至解碼部172，同時，當作原影像做解碼所成之最終的解碼影像而被輸出。
從濾波器部473被供給至解碼部172的濾波器影像，係在以解碼影像的下個畫格為對象而被進行的步驟S482之處理中，會被使用。
此外，此處，作為將把初期級別轉換成合併級別的合併模態(採用合併模態)予以訊令的方法，雖然採用了把採用組合含入至編碼位元串流中而予以傳輸的方法，但作為將採用合併模態予以訊令的方法，係與GALF的情況同樣地可以採用，把採用組合一起，或是取代採用組合，而將採用合併模態，含入至編碼位元串流中而予以傳輸的方法。但是，將採用組合予以傳輸的情況，是比起將採用合併模態予以傳輸的情況，更能減少處理負擔。另一方面，將採用合併模態予以傳輸的情況下，可採用與GALF之級別分類相同之語法。
＜編碼裝置460之構成例＞
圖90係圖87的編碼裝置460的詳細構成例的區塊圖。
此外，圖中，和圖61的編碼裝置160對應的部分，係標示同一符號，以下並適宜地省略其說明。
於圖90中，編碼裝置460係具有：A/D轉換部201、排序緩衝區202、演算部203、正交轉換部204、量化部205、可逆編碼部206、及積存緩衝區207。然後，編碼裝置460係還具有：逆量化部208、逆正交轉換部209、演算部210、畫格記憶體212、選擇部213、畫面內預測部214、運動預測補償部215、預測影像選擇部216、速率控制部217、及ILF511。
因此，編碼裝置460，係在具有A/D轉換部201乃至演算部210、及畫格記憶體212乃至速率控制部217的這點上，是與圖61的編碼裝置160為共通。但是，編碼裝置460，係在取代了ILF211而改為具有ILF511的這點上，是與編碼裝置160相異。
ILF511係例如，與附帶學習機能之級別分類預測濾波器410(圖85)同樣地被構成，藉由進行作為級別分類預測處理的濾波器處理，而成為去區塊濾波器、適應偏置濾波器、雙邊濾波器、ALF之中的1或2個以上之濾波器而發揮機能。令ILF511，成為去區塊濾波器、適應偏置濾波器、雙邊濾波器、及ALF之中的2個以上之濾波器而發揮機能的情況下，該2個以上之濾波器之配置順序係為任意。
對ILF511，係除了從演算部210被供給解碼影像以外，還從排序緩衝區202，被供給針對解碼影像的原影像。
ILF511係例如，將來自演算部210的解碼影像、及來自排序緩衝區202的原影像，分別當作學生影像及教師影像來使用，以進行結點係數學習，求出每一初期級別之結點係數。在結點係數學習中，使用身為學生影像的解碼影像，進行初期級別分類，按照該初期級別分類所得的每一初期級別，會使藉由結點係數與預測結點所構成之預測式所求出的作為教師影像的原影像之預測值之預測誤差呈統計性最小的結點係數，是藉由最小平方法而被求出。
ILF511，係使用藉由子級別合併而被獲得的複數個合併模態(例如將圖36中所說明的25模態之有效的合併模態之每一者予以特定的子級別數之組合)之每一者，藉由進行與採用合併模態數決定處理(圖8)相同之處理，而將藉由子級別合併而被獲得的複數個合併模態之中的，將成本(例如圖8的步驟S67中所被求出之成本dist+ lambda×coeffBit)呈最小的合併模態予以特定的子級別數之組合，決定成採用組合。
此外，於ILF511中，在採用合併模態數決定處理(圖8)中為了求出將採用組合予以決定之成本所需之濾波器處理也就是步驟S64之處理進行前的步驟S63中，與合併模態決定處理(圖5)的步驟S36及S37同樣地，利用藉由結點係數學習而將每一初期級別之結點係數予以求出時所被建立的正規方程式(的X矩陣及Y向量)，針對藉由子級別合併而被獲得的複數個合併模態之每一者，求出每一合併級別的結點係數。
ILF511，係將採用組合，與藉由依照採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數，當作濾波器資訊，供給至可逆編碼部206。
然後，ILF511係將例如來自演算部210的解碼影像的像素，依序選擇成注目像素。ILF511係對注目像素，進行初期級別分類，求出注目像素之初期級別。
然後，ILF511，係將注目像素之初期級別，依照採用組合所對應之合併模態，而轉換成合併級別。ILF511，係將依照採用組合所對應之合併模態進行轉換所得之每一合併級別的結點係數之中的，注目像素之合併級別的結點係數，加以取得(讀出)。然後，ILF511，係從解碼影像，將注目像素之附近的像素選擇作為預測結點，將進行注目像素之合併級別之結點係數與作為預測結點之解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像。此外，在ILF511中的級別分類中，係可將例如解碼影像的2×2像素之左上之像素之級別分類所得的級別，作為該2×2像素之每一者的級別而採用。
已被ILF511所生成之濾波器影像，係被供給至畫格記憶體212。
此外，於圖90中，演算部203乃至可逆編碼部206是相當於圖87的編碼部161，逆量化部208乃至演算部210是相當於圖87的局部解碼部162，ILF511是相當於圖87的濾波器部463。
＜編碼處理＞
圖91係圖90的編碼裝置460之編碼處理之例子的說明用流程圖。
於編碼裝置460中，ILF511係將從演算部210所被供給之解碼影像予以暫時記憶，並且將從排序緩衝區202所被供給之，來自演算部210的解碼影像所對應之原影像予以暫時記憶。
然後，於步驟S501及S502中，會進行和圖62的步驟S201及S202分別相同的處理。
其後，於步驟S503中，ILF511，係針對將藉由子級別合併而被獲得的複數個合併模態之每一者予以特定之子級別數之複數個組合之每一者，藉由將初期級別依照子級別數之組合所對應之合併模態而進行合併，而轉換成合併級別，與圖5的步驟S36及S37同樣地，利用在結點係數學習中所被建立的正規方程式，而求出每一合併級別的結點係數。
然後，ILF511，係針對子級別數之複數個組合之每一者，使用每一合併級別的結點係數來進行濾波器處理，以求出成本。然後，ILF511，係將子級別數之複數個組合之中的成本呈最小的子級別數之組合，決定成採用組合，處理係從步驟S503往步驟S504前進。
在步驟S504中，ILF511係將採用組合、與藉由依照採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數，當作濾波器資訊，供給至可逆編碼部206。可逆編碼部206，係將來自ILF511的濾波器資訊，設定成傳輸對象，處理係從步驟S504往步驟S505前進。已被設定成傳輸對象的濾波器資訊，係於後述的步驟S506中所被進行之預測編碼處理中被含入至編碼位元串流中而被傳輸。
於步驟S505中，ILF511，係以最新的步驟S503中所被決定之採用組合及藉由依照採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數，來更新級別分類預測處理中所使用的採用組合及結點係數，處理係往步驟S506前進。
在步驟S506中，原影像之預測編碼處理會被進行，編碼處理係結束。
圖92係圖91的步驟S506的預測編碼處理之例子的說明用流程圖。
在預測編碼處理中，係於步驟S511乃至S521中，進行與圖63的步驟S211乃至S221之每一者相同之處理。
然後，在步驟S522中，ILF511係對來自演算部210的解碼影像，實施作為級別分類預測處理的濾波器處理，將該濾波器處理所得之濾波器影像，供給至畫格記憶體212，處理係從步驟S522往步驟S523前進。
在步驟S522的級別分類預測處理中，係進行與級別分類預測濾波器410(圖85)相同的處理。
亦即，ILF511，係對來自演算部210的解碼影像之注目像素，進行初期級別分類，求出注目像素之初期級別。然後，ILF511，係將注目像素之初期級別，依照圖91的步驟S505中所被更新之採用組合所對應之合併模態，而轉換成合併級別。ILF511，係從圖91的步驟S505中所被更新之每一合併級別的結點係數，取得注目像素之合併級別之結點係數。其後，ILF511係對解碼影像，進行將使用注目像素之合併級別之結點係數而被構成的預測式予以適用的作為預測處理的濾波器處理，生成濾波器影像。濾波器影像，係從ILF511被供給至畫格記憶體212。
其後，於步驟S523乃至S526中，會進行和圖63的步驟S223乃至S226分別相同的處理。
＜解碼裝置470之構成例＞
圖93係圖87的解碼裝置470的詳細構成例的區塊圖。
此外，圖中，和圖64的解碼裝置170對應的部分，係標示同一符號，以下並適宜地省略其說明。
於圖93中，解碼裝置470係具有：積存緩衝區301、可逆解碼部302、逆量化部303、逆正交轉換部304、演算部305、排序緩衝區307、D/A轉換部308、及ILF606。又，解碼裝置470係具有：畫格記憶體310、選擇部311、畫面內預測部312、運動預測補償部313、及選擇部314。
因此，解碼裝置470，係在具有積存緩衝區301乃至演算部305、排序緩衝區307、D/A轉換部308、畫格記憶體310乃至選擇部314的這點上，是與圖64的解碼裝置170為共通。但是，解碼裝置470，係在取代了ILF306而改為具有ILF606的這點上，是與解碼裝置170相異。
ILF606係例如，與非附帶學習機能之級別分類預測濾波器410(圖85)同樣地被構成，藉由進行作為級別分類預測處理的濾波器處理，而和圖90的ILF511同樣地，成為去區塊濾波器、適應偏置濾波器、雙邊濾波器、ALF之中的1或2個以上之濾波器而發揮機能。
ILF606係將來自演算部305的解碼影像的像素，依序選擇成為注目像素。ILF606，係對注目像素進行初期級別分類，求出注目像素之初期級別。然後，ILF511，係將注目像素之初期級別，依照按照子級別數之每種組合而決定之合併模態之中的，從可逆解碼部302所被供給之濾波器資訊中所含之採用組合所對應之合併模態，而轉換成合併級別。ILF606係將從可逆解碼部302所被供給之濾波器資訊中所含之每一合併級別的結點係數之中的，注目像素之合併級別之結點係數，加以取得。然後，ILF606，係從解碼影像，將注目像素之附近的像素選擇作為預測結點，將進行注目像素之級別之結點係數與作為預測結點之解碼影像的像素之積和演算的預測式對解碼影像做適用的作為預測處理的濾波器處理，生成濾波器影像並輸出。此外，在ILF606中的級別分類中，係與ILF511同樣地，可將例如2×2像素之左上之像素之級別分類所得的級別，作為該2×2像素之每一者的級別而採用。
ILF606所輸出的濾波器影像，係為和圖90的ILF511所輸出的濾波器影像相同的影像，係被供給至排序緩衝區307及畫格記憶體310。
此外，於圖93中，可逆解碼部302是相當於圖87的剖析部171，逆量化部303乃至演算部305是相當於圖87的解碼部172，ILF606是相當於圖87的濾波器部473。
＜解碼處理＞
圖94係圖93的解碼裝置470的解碼處理之例子的說明用流程圖。
在解碼處理中，係於步驟S601中，積存緩衝區301，係將從編碼裝置460所被傳輸過來的編碼位元串流與暫時積存，適宜地供給至可逆解碼部302，處理係往步驟S602前進。
在步驟S602中，可逆解碼部302，係將從積存緩衝區301所被供給之編碼位元串流予以收取並進行解碼，將編碼位元串流之解碼結果中所含之作為編碼資料的量化係數，供給至逆量化部303。
又，可逆解碼部302，係在編碼位元串流之解碼結果中，含有濾波器資訊或編碼資訊的情況下，則將該濾波器資訊或編碼資訊予以剖析。然後，可逆解碼部302，係將必要的編碼資訊，供給至畫面內預測部312或運動預測補償部313或其他必要的區塊。又，可逆解碼部302，係將濾波器資訊，供給至ILF606。
其後，處理係從步驟S602往步驟S603前進，ILF606係判定，是否有從可逆解碼部302被供給著含有採用組合及藉由依照採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數的濾波器資訊。
於步驟S603中，若判定為濾波器資訊是未被供給的情況下，則處理係略過步驟S604，而往步驟S605前進。
又，於步驟S603中，若判定為濾波器資訊是有被供給的情況下，則處理係往步驟S604前進，ILF606係將來自可逆解碼部302的濾波器資訊中所含之採用組合及藉由依照採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數，加以取得。然後，ILF606，係以從來自可逆解碼部302的濾波器資訊所取得的採用組合及藉由依照採用組合所對應之合併模態的初期級別之轉換而被獲得的每一合併級別的結點係數，來更新級別分類預測處理中所使用的採用組合及結點係數。
然後，處理係從步驟S604往步驟S605前進，預測解碼處理會被進行，解碼處理係結束。
圖95係圖94的步驟S605的預測解碼處理之例子的說明用流程圖。
於步驟S611乃至S615中，會進行和圖66的步驟S311乃至S315分別相同的處理。
然後，在步驟S616中，ILF606係對來自演算部305的解碼影像，實施作為級別分類預測處理的濾波器處理，將該濾波器處理所得之濾波器影像，供給至排序緩衝區307及畫格記憶體310，處理係從步驟S616往步驟S617前進。
在步驟S616的級別分類預測處理中，係進行與級別分類預測濾波器410(圖85)相同的處理。
亦即，ILF606，係對來自演算部305的解碼影像之注目像素，進行與ILF511相同的初期級別分類，求出注目像素之初期級別。然後，ILF606，係將注目像素之初期級別，依照按照子級別數之每種組合而決定之合併模態之中的，圖94的步驟S604中所被更新的採用組合所對應之合併模態，而轉換成合併級別。ILF606，係將圖94的步驟S604中所被更新之每一合併級別的結點係數之中的，注目像素之合併級別之結點係數，加以取得。其後，ILF606係對解碼影像，進行將由注目像素之合併級別之結點係數所構成的預測式予以適用的作為預測處理的濾波器處理，生成濾波器影像。濾波器影像，係從ILF606被供給至排序緩衝區307及畫格記憶體310。
其後，於步驟S617乃至S619中，會進行和圖66的步驟S317乃至S319分別相同的處理。
以上雖然針對採用GALF之級別分類來作為初期級別分類的情況來說明本技術，但本技術係除了GALF之級別分類以外，在採用藉由複數個特徵量之子級別分類而進行的級別分類來作為初期級別分類的情況下，也可適用。
例如，圖24及圖25中所說明的使用了傾斜方向之信賴度的級別分類，係可以說是，藉由作為複數個特徵量的傾斜強度比、direction、活性加總、及傾斜方向之信賴度之子級別分類而被進行的級別分類。因此，本技術係可適用於，將圖24及圖25中所說明的使用了傾斜方向之信賴度的級別分類，當作初期級別分類而予以採用的情況。
此外，級別分類預測濾波器110(圖56)，係除了ILF211及ILF306以外，還可對例如，於編碼裝置160(圖61)或解碼裝置170(圖64)中，運動預測補償部215及運動預測補償部313之預測影像之生成時所被使用的內插濾波器等做適用。關於級別分類預測濾波器410(圖86)也是同樣如此。
＜適用了本技術之電腦的說明＞
其次，上述一連串處理，係可藉由的硬體來進行，也可藉由軟體來進行。在以軟體來進行一連串之處理時，構成該軟體的程式，係可安裝至通用的電腦等。
圖96係為執行上述一連串處理的程式所被安裝之電腦的一實施形態之構成例的區塊圖。
程式是可預先被記錄在內建於電腦中的做為記錄媒體之硬碟905或ROM903。
又或者，程式係亦可先儲存(記錄)在可移除式記錄媒體911中。此種可移除式記錄媒體911，係可以所謂套裝軟體的方式來提供。此處，作為可移除式記錄媒體911係例如有軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)碟、DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。
此外，程式除了可從如上述的可移除式記錄媒體911安裝至電腦，還可透過通訊網或播送網而下載至電腦中，安裝至內建的硬碟905。亦即，程式係可例如從下載網站，透過數位衛星播送用的人造衛星，以無線而傳輸至電腦、或透過LAN(Local Area Network)、網際網路這類網路，以有線方式而傳輸至電腦。
電腦係內藏有CPU(Central Processing Unit)902，對CPU902係透過匯流排901而連接有輸出入介面910。
CPU902係一旦透過輸出入介面910藉由使用者操作輸入部907等而進行了指令輸入，則會聽從之而執行ROM(Read Only Memory)903中所儲存的程式。或者，CPU902係將硬碟905中所儲存的程式，載入至RAM(Random Access Memory)904中而加以執行。
藉此，CPU902係會進行依照上述流程圖之處理，或是由上述區塊圖之構成所進行之處理。然後，CPU902係將其處理結果，因應需要，例如，透過輸出入介面910而從輸出部906加以輸出，或者從通訊部908進行送訊，或甚至記錄在硬碟905中等。
此外，輸入部907係由鍵盤、滑鼠、麥克風等所構成。又，輸出部906係由LCD(Liquid Crystal Display) 或揚聲器等所構成。
此處，於本說明書中，電腦依照程式而進行之處理，係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即，電腦依照程式所進行的處理，係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。
又，程式係可被1個電腦(處理器)所處理，也可被複數電腦分散處理。甚至，程式係亦可被傳輸至遠方的電腦而執行之。
再者，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
此外，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，本技術係亦可將1個機能透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。
又，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。
甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。
又，本說明書中所記載之效果僅為例示並非限定，亦可還有其他的效果。
＜本技術的適用對象＞ 本技術係可適用於任意的影像編碼、解碼方式。亦即，只要不與上述的本技術產生矛盾，則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等，關於影像編碼、解碼之各種處理的規格係為任意，並非限定於上述的例子。又，只要不與上述的本技術產生矛盾，亦可省略這些處理之中的一部分。
＜處理單位＞ 於以上所說明的各種資訊所被設定的資料單位、或各種處理之對象的資料單位，係分別為任意，並非限定於上述的例子。例如，這些資訊或處理係亦可分別對每一TU (Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU (Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定，亦可以這些資料單位之資料為對象。當然，該資料單位，係可按照每一資訊或處理而被設定，並不一定要所有的資訊或處理之資料單位都是統一的。此外，這些資訊的儲存場所係為任意，亦可被儲存在上述的資料單位之標頭或參數集等。又，亦可被儲存在複數地點。
＜控制資訊＞ 以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊，予以傳輸。例如，亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、分量、或層等的控制資訊，予以傳輸。
＜區塊尺寸資訊＞ 在指定要適用本技術的區塊之尺寸時，不只可直接地指定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
＜其他＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
10:級別分類部 110:級別分類預測濾波器 111:級別分類部 112:合併轉換部 113:結點係數取得部 114:預測部 121:學習部 160:編碼裝置 161:編碼部 162:局部解碼部 163:濾波器部 164:級別分類部 165:合併轉換部 170:解碼裝置 171:剖析部 172:解碼部 173:濾波器部 174:級別分類部 175:合併轉換部 201:A/D轉換部 202:排序緩衝區 203:演算部 204:正交轉換部 205:量化部 206:可逆編碼部 207:積存緩衝區 208:逆量化部 209:逆正交轉換部 210:演算部 211:ILF 212:畫格記憶體 213:選擇部 214:畫面內預測部 215:運動預測補償部 216:預測影像選擇部 217:速率控制部 301:積存緩衝區 302:可逆解碼部 303:逆量化部 304:逆正交轉換部 305:演算部 306:ILF 307:排序緩衝區 308:D/A轉換部 310:畫格記憶體 311:選擇部 312:畫面內預測部 313:運動預測補償部 314:選擇部 410:級別分類預測濾波器 412:合併轉換部 421:學習部 463:濾波器部 465:合併轉換部 473:濾波器部 475:合併轉換部 511、606:ILF 901:匯流排 902:CPU 903:ROM 904:RAM 905:硬碟 906:輸出部 907:輸入部 908:通訊部 909:驅動機 910:輸出入介面 911:可移除式記錄媒體
[圖1]進行GALF之級別分類的級別分類部10之處理之概要的說明圖。 [圖2]作為注目像素之規定方向(傾斜方向)的GALF之direction之求出方法的說明圖。 [圖3]GALF之級別分類中所被求出之級別的說明圖。 [圖4]將影像予以編碼的編碼裝置作為ILF之1者而具有的GALF之處理的說明用流程圖。 [圖5]步驟S21的合併模態決定處理的說明用流程圖。 [圖6]合併模態的表現形式之例子的說明圖。 [圖7]每一合併級別數之合併模態之例子的圖示。 [圖8]步驟S22的採用合併級別數決定處理的說明用流程圖。 [圖9]從編碼裝置被傳輸至解碼裝置的合併模態之例子的圖示。 [圖10]被預先設定的合併模態之第1例的圖示。 [圖11]被預先設定的合併模態之第1例的圖示。 [圖12]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成25級別之合併級別的合併級別數25所對應之合併模態之設定之方法的說明圖。 [圖13]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成20級別之合併級別的合併級別數20所對應之合併模態之設定之方法的說明圖。 [圖14]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成15級別之合併級別的合併級別數15所對應之合併模態之設定之方法的說明圖。 [圖15]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成10級別之合併級別的合併級別數10所對應之合併模態之設定之方法的說明圖。 [圖16]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成5級別之合併級別的合併級別數5所對應之合併模態之設定之方法的說明圖。 [圖17]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成3級別之合併級別的合併級別數3所對應之合併模態之設定之方法的說明圖。 [圖18]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成2級別之合併級別的合併級別數2所對應之合併模態之設定之方法的說明圖。 [圖19]將藉由GALF之級別分類而被獲得的25級別之初期級別予以合併成1級別之合併級別的合併級別數1所對應之合併模態之設定之方法的說明圖。 [圖20]被預先設定的合併模態之第2例的圖示。 [圖21]被預先設定的合併模態之第2例的圖示。 [圖22]作為注目像素之特徵量是使用了排名(Ranking)的級別分類的說明圖。 [圖23]作為注目像素之特徵量是使用了像素值的級別分類的說明圖。 [圖24]作為注目像素之特徵量是使用了傾斜方向之信賴度的級別分類的說明圖。 [圖25]以使用了信賴度的級別分類而被求出的最終級別的說明圖。 [圖26]被預先設定的合併模態之第3例的圖示。 [圖27]被預先設定的合併模態之第3例的圖示。 [圖28]被預先設定的合併模態之第4例的圖示。 [圖29]GALF之級別分類的說明圖。 [圖30]傾斜強度比子級別之子級別合併的說明圖。 [圖31]方向子級別之子級別合併的說明圖。 [圖32]活性子級別之子級別合併的說明圖。 [圖33]活性子級別之子級別合併所致之初期級別之合併之例子的圖示。 [圖34]傾斜強度比子級別之子級別合併所致之初期級別之合併之例子的圖示。 [圖35]方向子級別之子級別合併所致之初期級別之合併之例子的圖示。 [圖36]傾斜強度比子級別、方向子級別、及活性子級別之子級別合併後的子級別數，與合併級別數之關係的圖示。 [圖37]藉由進行子級別合併及合併模態選擇而被獲得的合併模態之例子的圖示。 [圖38]子級別之部分合併的說明圖。 [圖39]子級別之部分合併的說明圖。 [圖40]藉由子級別之部分合併而被獲得的合併模態之例子的圖示。 [圖41]藉由子級別合併及合併模態選擇而被獲得的合併模態，與藉由部分合併而被獲得的合併模態之關係之例子的圖示。 [圖42]藉由子級別合併及合併模態選擇而被獲得的合併模態，與藉由部分合併而被獲得的合併模態之關係之其他例的圖示。 [圖43]藉由子級別合併而被獲得的合併級別數25所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖44]藉由子級別合併而被獲得的合併級別數20所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖45]藉由子級別合併而被獲得的合併級別數15所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖46]藉由子級別合併而被獲得的合併級別數12所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖47]藉由子級別合併而被獲得的合併級別數10所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖48]藉由子級別合併而被獲得的合併級別數9所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖49]藉由子級別合併而被獲得的合併級別數8所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖50]藉由子級別合併而被獲得的合併級別數6所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖51]藉由子級別合併而被獲得的合併級別數5所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖52]藉由子級別合併而被獲得的合併級別數4所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖53]藉由子級別合併而被獲得的合併級別數3所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖54]藉由子級別合併而被獲得的合併級別數2所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖55]藉由子級別合併而被獲得的合併級別數1所對應之合併模態，與該合併模態所被獲得之子級別合併的圖示。 [圖56]適用了本技術的級別分類預測濾波器之構成例的區塊圖。 [圖57]級別分類預測濾波器110所進行的級別分類預測處理之例子的說明用流程圖。 [圖58]適用了本技術的影像處理系統之一實施形態之概要的區塊圖。 [圖59]編碼裝置160的編碼處理之概要的說明用流程圖。 [圖60]解碼裝置170的解碼處理之概要的說明用流程圖。 [圖61]編碼裝置160的詳細構成例的區塊圖。 [圖62]編碼裝置160的編碼處理之例子的說明用流程圖。 [圖63]預測編碼處理之例子的說明用流程圖。 [圖64]解碼裝置170的詳細構成例的區塊圖。 [圖65]解碼裝置170的解碼處理之例子的說明用流程圖。 [圖66]預測解碼處理之例子的說明用流程圖。 [圖67]合併模態(3, 1, 5)，與該合併模態(3, 1, 5)所被獲得之子級別合併的圖示。 [圖68]合併模態(1, 2, 5)，與該合併模態(1, 2, 5)所被獲得之子級別合併的圖示。 [圖69]合併模態(3, 1, 4)，與該合併模態(3, 1, 4)所被獲得之子級別合併的圖示。 [圖70]合併模態(2, 1, 4)，與該合併模態(2, 1, 4)所被獲得之子級別合併的圖示。 [圖71]合併模態(1, 2, 4)，與該合併模態(1, 2, 4)所被獲得之子級別合併的圖示。 [圖72]合併模態(3, 2, 3)，與該合併模態(3, 2, 3)所被獲得之子級別合併的圖示。 [圖73]合併模態(3, 1, 3)，與該合併模態(3, 1, 3)所被獲得之子級別合併的圖示。 [圖74]合併模態(1, 2, 3)，與該合併模態(1, 2, 3)所被獲得之子級別合併的圖示。 [圖75]合併模態(3, 2, 2)，與該合併模態(3, 2, 2)所被獲得之子級別合併的圖示。 [圖76]合併模態(3, 1, 2)，與該合併模態(3, 1, 2)所被獲得之子級別合併的圖示。 [圖77]合併模態(2, 1, 2)，與該合併模態(2, 1, 2)所被獲得之子級別合併的圖示。 [圖78]合併模態(1, 2, 2)，與該合併模態(1, 2, 2)所被獲得之子級別合併的圖示。 [圖79]合併模態(3, 2, 1)，與該合併模態(3, 2, 1)所被獲得之子級別合併的圖示。 [圖80]合併模態(3, 1, 1)，與該合併模態(3, 1, 1)所被獲得之子級別合併的圖示。 [圖81]合併模態(2, 2, 1)，與該合併模態(2, 2, 1)所被獲得之子級別合併的圖示。 [圖82]合併模態(2, 1, 1)，與該合併模態(2, 1, 1)所被獲得之子級別合併的圖示。 [圖83]合併模態(1, 2, 1)，與該合併模態(1, 2, 1)所被獲得之子級別合併的圖示。 [圖84]將子級別數之組合予以傳輸的語法之例子的圖示。 [圖85]適用了本技術的級別分類預測濾波器之構成例的區塊圖。 [圖86]級別分類預測濾波器410所進行的級別分類預測處理之例子的說明用流程圖。 [圖87]適用了本技術的影像處理系統之一實施形態之概要的區塊圖。 [圖88]編碼裝置460的編碼處理之概要的說明用流程圖。 [圖89]解碼裝置470的解碼處理之概要的說明用流程圖。 [圖90]編碼裝置460的詳細構成例的區塊圖。 [圖91]編碼裝置460的編碼處理之例子的說明用流程圖。 [圖92]預測編碼處理之例子的說明用流程圖。 [圖93]解碼裝置470的詳細構成例的區塊圖。 [圖94]解碼裝置470的解碼處理之例子的說明用流程圖。 [圖95]預測解碼處理之例子的說明用流程圖。 [圖96]電腦之一實施形態之構成例的區塊圖。
10:級別分類部

Claims (16)

  1. 一種解碼裝置，係具備： 解碼部，係將編碼位元串流中所含之編碼資料予以解碼，生成解碼影像；和 級別分類部，係藉由複數個特徵量之每一者的子級別分類，而對已被前記解碼部所生成之前記解碼影像的注目像素，進行級別分類；和 合併轉換部，係將藉由前記級別分類部所進行之級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別；和 濾波器部，係進行濾波器處理，其係將進行已被前記合併轉換部所轉換之前記注目像素之合併級別的結點係數與前記解碼影像之像素之積和演算的預測式對前記解碼影像做適用，以生成濾波器影像。
  2. 如請求項1所記載之解碼裝置，其中， 前記級別分類部，係使用：表示前記注目像素的像素值之傾斜之強度的傾斜強度比、表示前記注目像素的像素值之傾斜之方向的傾斜方向、將前記注目像素之週邊領域內的複數個像素之每一者的複數方向之活性按照每一方向做加算而被獲得之前記複數方向之活性加總，而對前記注目像素進行級別分類。
  3. 如請求項2所記載之解碼裝置，其中， 前記級別分類部，係使用前記傾斜方向之信賴度，而對前記注目像素進行級別分類。
  4. 如請求項2所記載之解碼裝置，其中， 前記子級別數之組合係不包含：前記傾斜強度比之子級別分類的子級別數為1，且前記傾斜方向之子級別分類的子級別數為2以上之組合。
  5. 如請求項1所記載之解碼裝置，其中， 還具備：剖析部，係從前記編碼位元串流，剖析出從前記初期級別往前記合併級別之轉換時所要採用的前記子級別數之組合也就是採用組合； 前記合併轉換部，係依照已被前記剖析部所剖析出來的前記採用組合所對應之前記合併模態，而將前記注目像素之初期級別，轉換成前記合併級別。
  6. 如請求項5所記載之解碼裝置，其中， 前記級別分類部，係使用：表示前記注目像素的像素值之傾斜之強度的傾斜強度比、表示前記注目像素的像素值之傾斜之方向的傾斜方向、將前記注目像素之週邊領域內的複數個像素之每一者的複數方向之活性按照每一方向做加算而被獲得之前記複數方向之活性加總，而對前記注目像素進行級別分類； 前記採用組合，係在前記傾斜強度比之子級別分類的子級別數為2以上的情況下，包含前記傾斜方向之子級別分類的子級別數。
  7. 如請求項1所記載之解碼裝置，其中， 前記解碼部，係以Quad-Tree Block Structure、或QTBT(Quad Tree Plus Binary Tree) Block Structure的CU (Coding Unit)為處理單位，而將前記編碼資料予以解碼。
  8. 一種解碼方法，係含有： 編碼位元串流中所含之編碼資料予以解碼，生成解碼影像之步驟；和 藉由複數個特徵量之每一者的子級別分類，而對前記解碼影像之注目像素進行級別分類之步驟；和 將藉由前記級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別之步驟；和 進行濾波器處理，其係將進行前記注目像素之合併級別之結點係數與前記解碼影像之像素之積和演算的預測式對前記解碼影像做適用，以生成濾波器影像之步驟。
  9. 一種編碼裝置，係具備： 級別分類部，係藉由複數個特徵量之每一者的子級別分類，而對已被局部解碼之局部解碼影像的注目像素，進行級別分類；和 合併轉換部，係將藉由前記級別分類部所進行之級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別；和 濾波器部，係進行濾波器處理，其係將進行已被前記合併轉換部所轉換之前記注目像素之合併級別的結點係數與前記局部解碼影像之像素之積和演算的預測式對前記局部解碼影像做適用，以生成濾波器影像；和 編碼部，係使用已被前記濾波器部所生成之前記濾波器影像，而將原影像予以編碼。
  10. 如請求項9所記載之編碼裝置，其中， 前記級別分類部，係使用：表示前記注目像素的像素值之傾斜之強度的傾斜強度比、表示前記注目像素的像素值之傾斜之方向的傾斜方向、將前記注目像素之週邊領域內的複數個像素之每一者的複數方向之活性按照每一方向做加算而被獲得之前記複數方向之活性加總，而對前記注目像素進行級別分類。
  11. 如請求項10所記載之編碼裝置，其中， 前記級別分類部，係使用前記傾斜方向之信賴度，而對前記注目像素進行級別分類。
  12. 如請求項10所記載之編碼裝置，其中， 前記子級別數之組合係不包含：前記傾斜強度比之子級別分類的子級別數為1，且前記傾斜方向之子級別分類的子級別數為2以上之組合。
  13. 如請求項9所記載之編碼裝置，其中， 前記濾波部，係將依照前記子級別數之組合所對應之合併模態而將前記初期級別予以合併的情況下成本為最小的前記子級別數之組合，決定作為從前記初期級別往前記合併級別之轉換時所採用的採用組合； 前記編碼部係生成，含有藉由將前記原影像予以編碼而被獲得之編碼資料、與前記採用組合的前記編碼位元串流。
  14. 如請求項13所記載之編碼裝置，其中， 前記級別分類部，係使用：表示前記注目像素的像素值之傾斜之強度的傾斜強度比、表示前記注目像素的像素值之傾斜之方向的傾斜方向、將前記注目像素之週邊領域內的複數個像素之每一者的複數方向之活性按照每一方向做加算而被獲得之前記複數方向之活性加總，而對前記注目像素進行級別分類； 前記採用組合，係在前記傾斜強度比之子級別分類的子級別數為2以上的情況下，包含前記傾斜方向之子級別分類的子級別數。
  15. 如請求項9所記載之編碼裝置，其中， 前記解碼部，係以Quad-Tree Block Structure、或QTBT(Quad Tree Plus Binary Tree) Block Structure的CU (Coding Unit)為處理單位，而將前記編碼資料予以解碼。
  16. 一種編碼方法，係含有： 藉由複數個特徵量之每一者的子級別分類，而對已被局部解碼之局部解碼影像的注目像素，進行級別分類之步驟；和 將藉由前記級別分類而被獲得之前記注目像素之初期級別，依照按照前記複數個特徵量之每一者的子級別分類的子級別的合併後的子級別數之每種組合而決定之合併模態，而轉換成將初期級別予以合併而成的合併級別之步驟；和 進行濾波器處理，其係將進行前記注目像素之合併級別之結點係數與前記局部解碼影像之像素之積和演算的預測式對前記局部解碼影像做適用，以生成濾波器影像之步驟；和 使用前記濾波器影像，而將原影像予以編碼之步驟。
TW108133165A 2018-09-25 2019-09-16 編碼裝置、編碼方法、解碼裝置、及解碼方法 TW202029751A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018178413A JP2022002353A (ja) 2018-09-25 2018-09-25 符号化装置、符号化方法、復号装置、及び、復号方法
JP2018-178413 2018-09-25

Publications (1)

Publication Number Publication Date
TW202029751A true TW202029751A (zh) 2020-08-01

Family

ID=69952604

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108133165A TW202029751A (zh) 2018-09-25 2019-09-16 編碼裝置、編碼方法、解碼裝置、及解碼方法

Country Status (3)

Country Link
JP (1) JP2022002353A (zh)
TW (1) TW202029751A (zh)
WO (1) WO2020066643A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5770647B2 (ja) * 2012-01-18 2015-08-26 日本電信電話株式会社 画像符号化方法，画像符号化装置，画像復号方法，画像復号装置およびそれらのプログラム
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US11563938B2 (en) * 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
US10382766B2 (en) * 2016-05-09 2019-08-13 Qualcomm Incorporated Signalling of filtering information

Also Published As

Publication number Publication date
WO2020066643A1 (ja) 2020-04-02
JP2022002353A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
US20220174315A1 (en) Video signal processing method and apparatus
JP7480775B2 (ja) 情報処理装置および方法
US20170302939A1 (en) Adaptive screen and video coding scheme
CN102497546B (zh) 一种屏幕图像压缩装置及压缩方法
JP2021518076A (ja) 映像符号化／復号化方法及び装置
JP2023133553A (ja) 画像処理装置及び画像処理方法
WO2010050152A1 (ja) 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体
KR20140022797A (ko) 화상 부호화장치, 화상 부호화방법, 화상복호장치, 화상복호방법 및 기억매체
WO2012035640A1 (ja) 動画像符号化方法及び動画像復号化方法
JP2024061790A (ja) 符号化方法、復号方法、符号化装置、及び復号装置
TW202029750A (zh) 編碼裝置、編碼方法、解碼裝置、及解碼方法
TW202005397A (zh) 編碼裝置、編碼方法、解碼裝置、及解碼方法
US20240089494A1 (en) Video encoding and decoding method and apparatus, storage medium, electronic device, and computer program product
US11991348B2 (en) Information processing device and method
WO2013014693A1 (ja) 動画像復号化方法及び画像符号化方法
TW202029751A (zh) 編碼裝置、編碼方法、解碼裝置、及解碼方法
TW202013973A (zh) 編碼裝置、編碼方法、解碼裝置、及解碼方法
WO2019131161A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
WO2019198519A1 (ja) データ処理装置及びデータ処理方法
KR20220027847A (ko) 정보 처리 장치 및 방법
TW201946471A (zh) 編碼裝置、編碼方法、解碼裝置、及解碼方法
JP2022002357A (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
WO2012090286A1 (ja) 動画像符号化方法及び動画像復号化方法
WO2020262370A1 (ja) 画像処理装置および画像処理方法
WO2024007366A1 (zh) 一种帧内预测融合方法、视频编解码方法、装置和系统