JP6977719B2 - 符号化装置及び符号化方法、並びに、復号装置及び復号方法 - Google Patents

符号化装置及び符号化方法、並びに、復号装置及び復号方法 Download PDF

Info

Publication number
JP6977719B2
JP6977719B2 JP2018515419A JP2018515419A JP6977719B2 JP 6977719 B2 JP6977719 B2 JP 6977719B2 JP 2018515419 A JP2018515419 A JP 2018515419A JP 2018515419 A JP2018515419 A JP 2018515419A JP 6977719 B2 JP6977719 B2 JP 6977719B2
Authority
JP
Japan
Prior art keywords
image
class
coefficient
unit
tap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018515419A
Other languages
English (en)
Other versions
JPWO2017191750A1 (ja
Inventor
幸司 西田
隆浩 永野
健一郎 細川
圭祐 千田
拓郎 川合
央二 中神
優 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017191750A1 publication Critical patent/JPWO2017191750A1/ja
Application granted granted Critical
Publication of JP6977719B2 publication Critical patent/JP6977719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

本技術は、符号化装置及び符号化方法、並びに、復号装置及び復号方法に関し、特に、例えば、画像の圧縮効率を向上させることができるようにする符号化装置及び符号化方法、並びに、復号装置及び復号方法に関する。
例えば、第１の画像を第２の画像に変換するクラス分類適応処理が、先に提案されている。クラス分類適応処理では、第１の画像の注目している注目画素に対応する第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素が、第１の画像から選択されるとともに、注目画素が、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類される。そして、クラス分類適応処理では、第１の画像に相当する生徒画像を用いた予測演算の結果と、第２の画像に相当する教師画像との統計的な誤差を最小にする学習により求められた複数のクラスそれぞれごとの、予測演算に用いられるタップ係数から、注目画素のクラスのタップ係数が取得され、その注目画素のクラスのタップ係数と、注目画素の予測タップとを用いた予測演算を行うことにより、対応画素の画素値が求められる。
なお、クラス分類適応処理については、２以上のクラスのタップ係数を統合する技術（例えば、特許文献１）や、パラメータとの所定の演算によりタップ係数が求められる種係数を求める技術（例えば、特許文献２）が提案されている。
特許第3890638号公報 特許第4670169号公報
ところで、例えば、画像の予測符号化においては、圧縮効率の向上が要請される。
本技術は、このような状況に鑑みてなされたものであり、画像の圧縮効率を向上させることができるようにするものである。
本技術の符号化装置は、予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、前記処理対象画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得するタップ係数取得部と、前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求める演算部とを有し、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成するフィルタ処理部と、前記削減フィルタ情報を伝送する伝送部と、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数を、前記削減フィルタ情報として生成して出力する削減部とを備え、前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される符号化装置である。
本技術の符号化方法は、予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択することと、前記処理対象画素を、複数のクラスのうちのいずれかのクラスにクラス分類することと、前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得することと、前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求めることとを含み、前記第１の画像にフィルタ処理を行うフィルタ処理部が前記第２の画像を生成することと、前記削減フィルタ情報を伝送することと、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数を、前記削減フィルタ情報として生成して出力することとを含み、前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される符号化方法である。
本技術の符号化装置及び符号化方法においては、予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素が、前記第１の画像から選択されるとともに、前記処理対象画素が、複数のクラスのうちのいずれかのクラスにクラス分類される。さらに、前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数が取得され、前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値が求められる。これにより、前記第１の画像にフィルタ処理部でフィルタ処理を行われ、前記第２の画像が生成される。また、前記削減フィルタ情報が伝送され、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数が、前記削減フィルタ情報として生成されて出力される。そして、前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される。
本技術の復号装置は、予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報を受け取る受け取り部と、前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得するタップ係数取得部と、前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求める演算部とを有し、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成するフィルタ処理部とを備え、前記削減フィルタ情報は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数であり、前記タップ係数取得部は、前記クラスごとのタップ係数を記憶し、記憶している前記クラスごとのタップ係数のうちの、前記選択係数のクラスのタップ係数を、前記選択係数に更新し、前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される復号装置である。
本技術の復号方法は、予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報を受け取ることと、前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択することと、前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類することと、前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得することと、前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求めることとを含み、前記第１の画像にフィルタ処理を行うフィルタ処理部が前記第２の画像を生成することとを含み、前記削減フィルタ情報は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数であり、前記処理対象画素のクラスのタップ係数を取得する際に、前記クラスごとのタップ係数を記憶し、記憶している前記クラスごとのタップ係数のうちの、前記選択係数のクラスのタップ係数を、前記選択係数に更新し、前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される復号方法である。
本技術の復号装置及び復号方法においては、予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報が受け取られる。また、前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素が、前記第１の画像から選択されるとともに、前記処理対象画素が、前記複数のクラスのうちのいずれかのクラスにクラス分類される。そして、前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数が取得され、前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値が求められる。これにより、前記第１の画像にフィルタ処理部でフィルタ処理が行われ、前記第２の画像が生成される。また、前記削減フィルタ情報は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数であり、前記処理対象画素のクラスのタップ係数を取得する際に、前記クラスごとのタップ係数が記憶され、記憶されている前記クラスごとのタップ係数のうちの、前記選択係数のクラスのタップ係数が、前記選択係数に更新さる。そして、前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される。
なお、符号化装置や復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、符号化装置や復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
コンピュータを符号化装置や復号装置として機能させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、画像の圧縮効率を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像処理システムの一実施の形態の構成例を示す図である。 クラス分類適応処理を行う画像変換装置の第１の構成例を示すブロック図である。 係数取得部２４に記憶されるタップ係数の学習を行う学習装置の構成例を示すブロック図である。 学習部３３の構成例を示すブロック図である。 クラス分類適応処理を行う画像変換装置の第２の構成例を示すブロック図である。 係数取得部２４に記憶される種係数の学習を行う学習装置の構成例を示すブロック図である。 学習部６３の構成例を示すブロック図である。 学習部６３の構成例を示すブロック図である。 符号化装置１１の第１の構成例を示すブロック図である。 クラス分類適応フィルタ１１１の構成例を示すブロック図である。 画像変換装置１３３がクラス分類適応処理に用いるタップ係数の更新タイミングの例を示す図である。 削減装置１３２の削減処理の例を説明する図である。 学習装置１３１の構成例を示すブロック図である。 削減装置１３２の構成例を示すブロック図である。 画像変換装置１３３の構成例を示すブロック図である。 係数取得部１５１の構成例を示すブロック図である。 符号化装置１１の符号化処理の例を説明するフローチャートである。 ステップＳ２１の予測符号化処理の例を説明するフローチャートである。 ステップＳ４２で行われるクラス分類適応処理の例を説明するフローチャートである。 復号装置１２の第１の構成例を示すブロック図である。 クラス分類適応フィルタ２０６の構成例を示すブロック図である。 画像変換装置２３１の構成例を示すブロック図である。 係数取得部２４４の構成例を示すブロック図である。 復号装置１２の復号処理の例を説明するフローチャートである。 ステップＳ７５の予測復号処理の例を説明するフローチャートである。 ステップＳ８６で行われるクラス分類適応処理の例を説明するフローチャートである。 符号化装置１１の第２の構成例を示すブロック図である。 クラス分類適応フィルタ３１１の構成例を示すブロック図である。 削減装置３２１の削減処理の例を説明する図である。 削減装置３２１の構成例を示すブロック図である。 画像変換装置３２２の構成例を示すブロック図である。 係数取得部３４１の構成例を示すブロック図である。 符号化装置１１の符号化処理の例を説明するフローチャートである。 ステップＳ１２３の予測符号化処理の例を説明するフローチャートである。 ステップＳ１４２で行われるクラス分類適応処理の例を説明するフローチャートである。 復号装置１２の第２の構成例を示すブロック図である。 クラス分類適応フィルタ４１１の構成例を示すブロック図である。 画像変換装置４３１の構成例を示すブロック図である。 係数取得部４４１の構成例を示すブロック図である。 復号装置１２の復号処理の例を説明するフローチャートである。 ステップＳ１７５の予測復号処理の例を説明するフローチャートである。 ステップＳ１８６で行われるクラス分類適応処理の例を説明するフローチャートである。 符号化装置１１の第３の構成例を示すブロック図である。 クラス分類適応フィルタ５１１の構成例を示すブロック図である。 学習装置５３１の構成例を示すブロック図である。 学習部５４３の構成例を示すブロック図である。 パラメータzとタップ係数との関係を説明する図である。 係数点の分布と、係数点の分布にフィットする関係曲線を規定する種係数の次数との関係の例を説明する図である。 係数点の分布と、係数点の分布にフィットする関係曲線を規定する種係数の次数との関係の他の例を説明する図である。 画像変換装置５３２の構成例を示すブロック図である。 係数取得部５６２の構成例を示すブロック図である。 符号化装置１１の符号化処理の例を説明するフローチャートである。 ステップＳ２２０の予測符号化処理の例を説明するフローチャートである。 ステップＳ２４２で行われるクラス分類適応処理の例を説明するフローチャートである。 復号装置１２の第３の構成例を示すブロック図である。 クラス分類適応フィルタ６１１の構成例を示すブロック図である。 画像変換装置６３１の構成例を示すブロック図である。 係数取得部６４１の構成例を示すブロック図である。 復号装置１２の復号処理の例を説明するフローチャートである。 ステップＳ２７５の予測復号処理の例を説明するフローチャートである。 ステップＳ２８６で行われるクラス分類適応処理の例を説明するフローチャートである。 タップ係数学習により得られるクラスごとのタップ係数を削減した削減フィルタ情報の他の例を説明する図である。 クラス評価値利用法によるタップ係数の削減の例を説明する図である。 符号化装置１１の第４の構成例を示すブロック図である。 クラス分類適応フィルタ９１１の構成例を示すブロック図である。 学習装置９３１の構成例を示すブロック図である。 タップ選択部９４２とクラス分類部９４３の構成例を示すブロック図である。 画素関連情報となる画像特徴量の例を示す図である。 クラス構成部９５４が、第１ないし第Ｈのサブクラスから初期クラスを構成する方法の例を示す図である。 注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせの第１の例を示す図である。 注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせの第２の例を示す図である。 注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせの第３の例を示す図である。 削除装置９３２の構成例を示すブロック図である。 画像変換部９８１の構成例を示すブロック図である。 画像変換部９９１の構成例を示すブロック図である。 係数取得部７２４の構成例を示すブロック図である。 クラス縮退部９７３の構成例を示すブロック図である。 種係数利用法による初期クラスごとのタップ係数の縮退の例を説明する図である。 学習部７４２ｖの構成例を示すブロック図である。 画像変換装置９３３の構成例を示すブロック図である。 係数取得部７７４の構成例を示すブロック図である。 符号化装置１１の符号化処理の例を説明するフローチャートである。 ステップＳ３２０の予測符号化処理の例を説明するフローチャートである。 ステップＳ３４２で行われるクラス分類適応処理の例を説明するフローチャートである。 復号装置１２の第４の構成例を示すブロック図である。 クラス分類適応フィルタ８１１の構成例を示すブロック図である。 画像変換装置８３１の構成例を示すブロック図である。 係数取得部８４４の構成例を示すブロック図である。 復号装置１２の復号処理の例を説明するフローチャートである。 ステップＳ３７５の予測復号処理の例を説明するフローチャートである。 ステップＳ３８６で行われるクラス分類適応処理の例を説明するフローチャートである。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
＜本技術を適用した画像処理システム＞
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示す図である。
図１において、画像処理システムは、符号化装置１１及び復号装置１２を有する。
符号化装置１１には、符号化対象の元画像が供給される。
符号化装置１１は、例えば、HEVC(High Efficiency Video Coding)や、AVC(Advanced Video Coding)、MPEG(Moving Picture Experts Group)等のような予測符号化により、元画像を符号化する。なお、符号化装置１１の予測符号化は、上述のHEVC等に限定されるものではない。
符号化装置１１の予測符号化では、元画像の予測画像が生成され、元画像と予測画像との残差が符号化される。
さらに、符号化装置１１の予測符号化では、予測符号化の残差と予測画像とを加算することにより得られる復号途中画像に、ILF(In Loop Filter)をかけるILF処理を行うことで、予測画像の予測に用いられる参照画像が生成される。
ここで、ILF処理としてのフィルタ処理（フィルタリング）が、復号途中画像に施されることにより得られる画像を、フィルタ後画像ともいう。
符号化装置１１は、予測符号化を行う他、復号途中画像と元画像とを用いて学習を行うことにより、例えば、フィルタ後画像が、なるべく元画像に近くなるようなILF処理としてのフィルタ処理を行うためのタップ係数等を求める。
さらに、符号化装置１１は、削減処理を行うことにより、タップ係数を削減した削減フィルタ情報を生成する。
符号化装置１１のILF処理は、削減処理により求められた削減フィルタ情報を用いて得られるタップ係数を用いて行われる。
ここで、タップ係数等を求める学習や、削減フィルタ情報を生成する削減処理は、例えば、元画像の１又は複数のシーケンスごとや、元画像の１又は複数のシーン（シーンチェンジから、次のシーンチェンジまでのフレーム）ごと、元画像の１又は複数のフレーム（ピクチャ）ごと、元画像の１又は複数のスライスごと、ピクチャの符号化の単位のブロック（CUやPU等）の１又は複数ラインごと、その他任意の単位で行うことができる。また、削減フィルタ情報を求める学習は、例えば、予測符号化で得られる残差が閾値以上になった場合等に行うことができる。
符号化装置１１は、元画像の予測符号化により得られる符号化データ、及び、削減処理により得られる削減フィルタ情報を、伝送媒体１３を介して伝送し、又は、記録媒体１４に伝送して記録させる。
なお、削減フィルタ情報の生成（必要に応じて、タップ係数の学習を含む）は、符号化装置１１とは別の装置で行うことができる。
また、削減フィルタ情報は、符号化データとは別に伝送することもできるし、符号化データに含めて伝送することもできる。
さらに、タップ係数等を求める学習は、元画像そのもの（及び元画像の予測符号化で得られる復号途中画像）を用いて行う他、画像特徴量が元画像と類似する、元画像とは別個の画像を用いて行うことができる。
復号装置１２は、符号化装置１１から伝送される符号化データ及び削減フィルタ情報を、伝送媒体１３や記録媒体１４を介して受け取り（受信し）（取得し）、符号化データを、符号化装置１１の予測符号化に対応する方式で復号する。
すなわち、復号装置１２は、符号化装置１１からの符号化データを処理することで、予測符号化の残差を求める。さらに、復号装置１２は、残差と予測画像とを加算することにより、符号化装置１１で得られるのと同様の復号途中画像を求める。そして、復号装置１２は、復号途中画像に、符号化装置１１からの削減フィルタ情報を用いて得られるタップ係数等を用いたILF処理としてのフィルタ処理を施し、フィルタ後画像を求める。
復号装置１２において、フィルタ後画像は、元画像の復号画像として出力されるとともに、必要に応じて、予測画像の予測に用いられる参照画像として一時記憶される。
符号化装置１１及び復号装置１２のILF処理としてのフィルタ処理は、クラス分類適応処理によって行われる。以下、クラス分類適応処理について説明する。
＜クラス分類適応処理＞
図２は、クラス分類適応処理を行う画像変換装置の第１の構成例を示すブロック図である。
ここで、クラス分類適応処理は、例えば、第１の画像を、第２の画像に変換する画像変換処理として捉えることができる。
第１の画像を第２の画像に変換する画像変換処理は、その第１と第２の画像の定義によって様々な信号処理となる。
すなわち、例えば、第１の画像を低空間解像度の画像とするとともに、第２の画像を高空間解像度の画像とすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
また、例えば、第１の画像を低S/N(Signal to Noise Ratio)の画像とするとともに、第２の画像を高S/Nの画像とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
さらに、例えば、第１の画像を所定の画素数（サイズ）の画像とするとともに、第２の画像を、第１の画像の画素数を多くまたは少なくした画像とすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
また、例えば、第１の画像を、HEVC等のブロック単位で符号化された画像を復号することによって得られる復号画像とするとともに、第２の画像を、符号化前の元画像とすれば、画像変換処理は、ブロック単位の符号化及び復号によって生じるブロック歪みを除去する歪み除去処理ということができる。
なお、クラス分類適応処理は、画像の他、例えば、音響を、処理の対象とすることができる。音響を対象とするクラス分類適応処理は、第１の音響（例えば、S/Nの低い音響等）を、第２の音響（例えば、S/Nの高い音響等）に変換する音響変換処理として捉えることができる。
クラス分類適応処理では、第１の画像のうちの注目している注目画素（処理対象の処理対象画素）の画素値を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像の、タップ係数と同一の数の画素の画素値とを用いた予測演算により、注目画素の画素値が求められる。
図２は、クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示している。
図２において、画像変換装置２０は、タップ選択部２１及び２２、クラス分類部２３、係数取得部２４、並びに、予測演算部２５を有する。
画像変換装置２０には、第１の画像が供給される。画像変換装置２０に供給される第１の画像は、タップ選択部２１及び２２に供給される。
タップ選択部２１は、第１の画像を構成する画素を、順次、注目画素に選択する。さらに、タップ選択部２１は、注目画素に対応する第２の画像の対応画素（の画素値）を予測するのに用いる第１の画像を構成する画素（の画素値）の幾つかを、予測タップとして選択する。
具体的には、タップ選択部２１は、注目画素の時空間の位置から空間的又は時間的に近い位置にある第１の画像の複数の画素を、予測タップとして選択する。
タップ選択部２２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像を構成する画素（の画素値）の幾つかを、クラスタップとして選択する。すなわち、タップ選択部２２は、タップ選択部２１が予測タップを選択するのと同様にして、クラスタップを選択する。
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
タップ選択部２１で得られた予測タップは、予測演算部２５に供給され、タップ選択部２２で得られたクラスタップは、クラス分類部２３に供給される。
クラス分類部２３は、一定の規則に従って、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数取得部２４に供給する。
すなわち、クラス分類部２３は、例えば、タップ選択部２２からのクラスタップを用いて、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数取得部２４に供給する。
例えば、クラス分類部２３は、クラスタップを用いて、注目画素の画像特徴量を求める。さらに、クラス分類部２３は、注目画素の画像特徴量に応じて、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数取得部２４に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコード（ADRC値）にしたがって、注目画素のクラスが決定される。ADRCコードは、注目画素を含む小領域の画像特徴量としての波形パターンを表す。
なお、LビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がLビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Lで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するLビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部２３には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、N個の画素の画素値で構成され、各画素の画素値に、Aビットが割り当てられているとすると、クラス分類部２３が出力するクラスコードの場合の数は、（２N）A通りとなり、画素の画素値のビット数Aに指数的に比例した膨大な数となる。
したがって、クラス分類部２３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
係数取得部２４は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部２３から供給されるクラスコードが表すクラスのタップ係数、すなわち、注目画素のクラスのタップ係数を取得する。さらに、係数取得部２４は、注目画素のクラスのタップ係数を、予測演算部２５に供給する。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する係数である。
予測演算部２５は、タップ選択部２１が出力する予測タップと、係数取得部２４が供給されるタップ係数とを用いて、注目画素に対応する第２の画像の画素（対応画素）の画素値の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２５は、対応画素の画素値（の予測値）、すなわち、第２の画像を構成する画素の画素値を求めて出力する。
図３は、係数取得部２４に記憶されるタップ係数の学習を行う学習装置の構成例を示すブロック図である。
ここで、例えば、高画質の画像（高画質画像）を第２の画像とするとともに、その高画質画像をLPF(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像（低画質画像）を第１の画像として、低画質画像から予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像の画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値yは、次の線形１次式によって求められることになる。
Figure 0006977719
 ・・・（１）
但し、式（１）において、xnは、対応画素としての高画質画素yに対する予測タップを構成する、n番目の低画質画像の画素（以下、適宜、低画質画素という）の画素値を表し、wnは、n番目の低画質画素（の画素値）と乗算されるn番目のタップ係数を表す。なお、式（１）では、予測タップが、N個の低画質画素x1，x2，・・・，xNで構成されることとする。
ここで、高画質画素の画素値yは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をykと表すとともに、式（１）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
Figure 0006977719
 ・・・（２）
いま、式（２）の予測値yk’は、式（１）にしたがって求められるため、式（２）のyk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0006977719
 ・・・（３）
但し、式（３）において、xn,kは、対応画素としての第kサンプルの高画質画素に対する予測タップを構成するn番目の低画質画素を表す。
式（３）（又は式（２））の予測誤差ekを０とするタップ係数wnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Ｅ（統計的な誤差）を最小にすることで求めることができる。
Figure 0006977719
 ・・・（４）
但し、式（４）において、Kは、対応画素としての高画質画素ykと、その高画質画素ykに対する予測タップを構成する低画質画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数wnで偏微分したものを０とするwnによって与えられる。
Figure 0006977719
 ・・・（５）
そこで、上述の式（３）をタップ係数wnで偏微分すると、次式が得られる。
Figure 0006977719
 ・・・（６）
式（５）と（６）から、次式が得られる。
Figure 0006977719
 ・・・（７）
式（７）のekに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0006977719
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）等を用いることにより、タップ係数wnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）wnを、クラスごとに求めることができる。
図３は、式（８）の正規方程式をたてて解くことによりタップ係数wnを求める学習を行う学習装置の構成例を示している。
図３において、学習装置３０は、教師データ生成部３１、生徒データ生成部３２、及び、学習部３３を有する。
教師データ生成部３１及び生徒データ生成部３２には、タップ係数wnの学習に用いられる学習画像が供給される。学習画像としては、例えば、解像度の高い高画質画像を用いることができる。
教師データ生成部３２は、学習画像から、タップ係数の学習の教師（真値）となる教師データ、すなわち、クラス分類適応処理により得たい教師データとして、式（１）による予測演算としての写像の写像先となる教師画像を生成し、学習部３３に供給する。ここでは、教師データ生成部３２は、例えば、学習画像としての高画質画像を、そのまま教師画像として、学習部３３に供給する。
生徒データ生成部３２は、学習画像から、タップ係数の学習の生徒となる生徒データ、すなわち、クラス分類適応処理においてタップ係数との予測演算の対象となる生徒データとして、式（１）による予測演算としての写像による変換対象となる生徒画像を生成し、学習部３３に供給する。ここでは、生徒データ生成部３２は、例えば、学習画像としての高画質画像をLPF(low Pass Filter)でフィルタリングすることにより、その解像度を低下させることで、低画質画像を生成し、この低画質画像を、生徒画像として、学習部３３に供給する。
学習部３３は、生徒データ生成部３２からの生徒データとしての生徒画像を構成する画素を、順次、注目画素とし、その注目画素について、図２のタップ選択部２１が選択するのと同一のタップ構造の画素を、生徒画像から予測タップとして選択する。さらに、学習部３３は、注目画素に対応する教師画像を構成する対応画素と、注目画素の予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
図４は、図３の学習部３３の構成例を示すブロック図である。
図４において、学習部３３は、タップ選択部４１及び４２、クラス分類部４３、足し込み部４４、並びに、係数算出部４５を有する。
生徒画像は、タップ選択部４１及び４２に供給され、教師画像は、足し込み部４４に供給される。
タップ選択部４１は、生徒画像を構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
さらに、タップ選択部４１は、注目画素について、生徒画像を構成する画素から、図２のタップ選択部２１が選択するのと同一の画素を予測タップに選択し、これにより、タップ選択部２１で得られるのと同一のタップ構造の予測タップを得て、足し込み部４４に供給する。
タップ選択部４２は、注目画素について、生徒画像を構成する画素から、図２のタップ選択部２２が選択するのと同一の画素をクラスタップに選択し、これにより、タップ選択部２２で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部４３に供給する。
クラス分類部４３は、タップ選択部４２からのクラスタップを用いて、図２のクラス分類部２３と同一のクラス分類を行い、その結果得られる注目画素のクラスに対応するクラスコードを、足し込み部４４に出力する。
足し込み部４４は、教師画像を構成する画素から、注目画素に対応する対応画素（の画素値）を取得し、対応画素と、タップ選択部４１から供給される注目画素についての予測タップを構成する生徒画像の画素（の画素値）とを対象とした足し込みを、クラス分類部４３から供給されるクラスコードごとに行う。
すなわち、足し込み部４４には、教師データとしての教師画像の対応画素yk、生徒データとしての注目画素の予測タップxn,k、及び、注目画素のクラスを表すクラスコードが供給される。
足し込み部４４は、注目画素のクラスごとに、予測タップ（生徒データ）xn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（xn,kxn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部４４は、やはり、注目画素のクラスごとに、予測タップ（生徒データ）xn,kと教師データykを用い、式（８）の右辺のベクトルにおける生徒データxn,k及び教師データykの乗算（xn,kyk）と、サメーション（Σ）に相当する演算を行う。
すなわち、足し込み部４４は、前回、教師データとしての、注目画素に対応する対応画素について求められた式（８）における左辺の行列のコンポーネント（Σxn,kxn',k）と、右辺のベクトルのコンポーネント（Σxn,kyk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σxn,kxn',k）又はベクトルのコンポーネント（Σxn,kyk）に対して、新たな注目画素に対応する対応画素となった教師データについて、その教師データyk+1及び生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1又はxn,k+1yk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部４４は、例えば、生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたて、その正規方程式を、係数算出部４５に供給する。
係数算出部４５は、足し込み部４４から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数wnを求めて出力する。
図２の画像変換装置２０における係数取得部２４には、以上のようにして求められたクラスごとのタップ係数wnを記憶させることができる。
図５は、クラス分類適応処理を行う画像変換装置の第２の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５において、画像変換装置２０は、タップ選択部２１及び２２、クラス分類部２３、係数取得部２４、並びに、予測演算部２５を有する。
したがって、図５の画像変換装置２０は、図２の場合と同様に構成される。
但し、図５では、係数取得部２４は、後述する種係数を記憶する。さらに、図５では、係数取得部２４には、外部からパラメータzが供給される。
係数取得部２４は、種係数から、パラメータzに対応する、クラスごとのタップ係数を生成し、そのクラスごとのタップ係数から、クラス分類部２３からのクラスのタップ係数を取得して、予測演算部２５に供給する。
ここで、図２では、係数取得部２４は、タップ係数そのものを記憶するが、図５では、係数取得部２４は、種係数を記憶する。種係数は、パラメータzを与える（決定する）ことによって、タップ係数を生成することができ、かかる観点から、種係数は、タップ係数と同等の情報であるとみなすことができる。
図６は、係数取得部２４に記憶される種係数の学習を行う学習装置の構成例を示すブロック図である。
ここで、例えば、図３で説明した場合と同様に、高画質の画像（高画質画像）を第２の画像とするとともに、その高画質画像の空間解像度を低下させた低画質の画像（低画質画像）を第１の画像として、低画質画像から予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像の画素である高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
いま、タップ係数wnが、種係数と、パラメータzとを用いた次式によって生成されることとする。
Figure 0006977719
 ・・・（９）
但し、式（９）において、βm,nは、n番目のタップ係数wnを求めるのに用いられるｍ番目の種係数を表す。なお、式（９）では、タップ係数wnが、Ｍ個の種係数β1,n，β2,n，・・・，βM,nを用いて求められる。
ここで、種係数βm,nとパラメータzから、タップ係数wnを求める式は、式（９）に限定されるものではない。
いま、式（９）におけるパラメータzによって決まる値zm-1を、新たな変数ｔmを導入して、次式で定義する。
Figure 0006977719
 ・・・（１０）
式（１０）を、式（９）に代入することにより、次式が得られる。
Figure 0006977719
 ・・・（１１）
式（１１）によれば、タップ係数wnは、種係数βm,nと変数ｔmとの線形１次式によって求められることになる。
ところで、いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式（１）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
Figure 0006977719
 ・・・（１２）
いま、式（１２）の予測値yk’は、式（１）にしたがって求められるため、式（１２）のyk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0006977719
 ・・・（１３）
但し、式（１３）において、xn,kは、対応画素としての第kサンプルの高画質画素に対する予測タップを構成するn番目の低画質画素を表す。
式（１３）のwnに、式（１１）を代入することにより、次式が得られる。
Figure 0006977719
 ・・・（１４）
式（１４）の予測誤差ekを０とする種係数βm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような種係数βm,nを求めることは、一般には困難である。
そこで、種係数βm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な種係数βm,nは、次式で表される自乗誤差の総和Ｅ（統計的な誤差）を最小にすることで求めることができる。
Figure 0006977719
 ・・・（１５）
但し、式（１５）において、Kは、対応画素としての高画質画素ykと、その高画質画素ykに対する予測タップを構成する低画質画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを種係数βm,nで偏微分したものを０とするβm,nによって与えられる。
Figure 0006977719
 ・・・（１６）
式（１３）を、式（１６）に代入することにより、次式が得られる。
Figure 0006977719
 ・・・（１７）
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
Figure 0006977719
 ・・・（１８）
Figure 0006977719
 ・・・（１９）
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
Figure 0006977719
 ・・・（２０）
式（２０）の正規方程式は、例えば、掃き出し法等を用いることにより、種係数βm,nについて解くことができる。
図５の画像変換装置２０においては、多数の高画質画素y1，y2，・・・，yKを教師データとするとともに、各高画質画素ykに対する予測タップを構成する低画質画素x1,k，x2,k，・・・，xN,kを生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの種係数βm,nが、係数取得部２４に記憶される。そして、係数取得部２４では、種係数βm,nと、外部から与えられるパラメータzから、式（９）にしたがって、クラスごとのタップ係数wnが生成され、予測演算部２５において、そのタップ係数wnと、注目画素についての予測タップを構成する低画質画素（第１の画像の画素）xnを用いて、式（１）が計算されることにより、高画質画素（第２の画像の対応画素）の画素値（に近い予測値）が求められる。
図６は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの種係数βm,nを求める学習を行う学習装置の構成例を示している。
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図６において、学習装置３０は、教師データ生成部３１、パラメータ生成部６１、生徒データ生成部６２、及び、学習部６３を有する。
したがって、図６の学習装置３０は、教師データ生成部３１を有する点で、図３の場合と共通する。
但し、図６の学習装置３０は、パラメータ生成部６１を新たに有する点で、図３の場合と相違する。さらに、図６の学習装置３０は、生徒データ生成部３２及び学習部３３に代えて、生徒データ生成部６２、及び、学習部６３がそれぞれ設けられている点で、図３の場合と相違する。
パラメータ生成部６１は、パラメータzが取り得る範囲の幾つかの値を生成し、生徒データ生成部６２と学習部６３に供給する。
例えば、パラメータzが取り得る値が0乃至Zの範囲の実数であるとすると、パラメータ生成部６１は、例えば、例えば、z=0,1,2,・・・,Zの値のパラメータzを生成し、生徒データ生成部６２と学習部６３に供給する。
生徒データ生成部６２には、教師データ生成部３１に供給されるのと同様の学習画像が供給される。
生徒データ生成部６２は、図３の生徒データ生成部３２と同様に、学習画像から生徒画像を生成し、生徒データとして、学習部６３に供給する。
ここで、生徒データ生成部６２には、学習画像の他、パラメータzが取り得る範囲の幾つかの値が、パラメータ生成部６１から供給される。
生徒データ生成部６２は、学習画像としての高画質画像を、例えば、そこに供給されるパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、パラメータzの幾つかの値それぞれに対して、生徒画像としての低画質画像を生成する。
すなわち、生徒データ生成部６２では、学習画像としての高画質画像について、Z+1種類の、空間解像度の異なる生徒画像としての低画質画像が生成される。
なお、ここでは、例えば、パラメータzの値が大きくなるほど、カットオフ周波数の高いLPFを用いて、高画質画像をフィルタリングし、生徒画像としての低画質画像を生成することとする。この場合、値の大きいパラメータzに対する生徒画像としての低画質画像ほど、空間解像度が高い。
また、生徒データ生成部６２では、パラメータzに応じて、学習画像としての高画質画像の水平方向及び垂直方向のうちの一方又は両方向の空間解像度を低下させた生徒画像としての低画質画像を生成することができる。
さらに、学習画像としての高画質画像の水平方向及び垂直方向のうちの両方向の空間解像度を低下させた生徒画像としての低画質画像を生成する場合には、学習画像としての高画質画像の水平方向及び垂直方向の空間解像度は、それぞれ別個のパラメータ、すなわち、２個のパラメータz及びz'に応じて、別個に低下させることができる。
この場合、図５の係数取得部２４では、外部から２個のパラメータz及びz'が与えられ、その２個のパラメータz及びz'と種係数とを用いて、タップ係数が生成される。
以上のように、種係数としては、１個のパラメータzの他、２個のパラメータz及びz'、さらには、３個以上のパラメータを用いて、タップ係数を生成することができる種係数を求めることができる。但し、本明細書では、説明を簡単にするため、１個のパラメータzを用いてタップ係数を生成する種係数を例に、説明を行う。
学習部６３は、教師データ生成部３１からの教師データとしての教師画像、パラメータ生成部６１からのパラメータz、及び、生徒データ生成部６２からの生徒データとしての生徒画像を用いて、クラスごとの種係数を求めて出力する。
図７は、図６の学習部６３の構成例を示すブロック図である。
なお、図中、図４の学習部３３と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図７において、学習部６３は、タップ選択部４１及び４２、クラス分類部４３、足し込み部７１、並びに、係数算出部７２を有する。
したがって、図７の学習部６３は、タップ選択部４１及び４２、並びに、クラス分類部４３を有する点で、図４の学習部３３と共通する。
但し、学習部６３は、足し込み部４４及び係数算出部４５に代えて、足し込み部７１、及び、係数算出部７２をそれぞれ有する点で、学習部３３と相違する。
図７では、タップ選択部４１と４２は、パラメータ生成部６１で生成されるパラメータzに対応して生成された生徒画像（ここでは、パラメータzに対応するカットオフ周波数のLPFを用いて生成された生徒データとしての低画質画像）から、予測タップとクラスタップをそれぞれ選択する。
足し込み部７１は、図６の教師データ生成部３１からの教師画像から、注目画素に対応する対応画素を取得し、その対応画素、タップ選択部４１から供給される注目画素について構成された予測タップを構成する生徒データ（生徒画像の画素）、及び、その生徒データを生成したときのパラメータzを対象とした足し込みを、クラス分類部４３から供給されるクラスごとに行う。
すなわち、足し込み部７１には、注目画素に対応する対応画素としての教師データyk、タップ選択部４１が出力する注目画素についての予測タップxi,k（xj,k）、及び、クラス分類部４３が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータzが、パラメータ生成部６１から供給される。
そして、足し込み部７１は、クラス分類部４３から供給されるクラスごとに、予測タップ（生徒データ）xi,k（xj,k）とパラメータzを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データ及びパラメータzの乗算（xi,kｔpxj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータzから計算される。式（１８）のｔqも同様である。
さらに、足し込み部７１は、やはり、クラス分類部４３から供給されるクラスごとに、予測タップ（生徒データ）xi,k、教師データyk、及び、パラメータzを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データxi,k、教師データyk、及び、パラメータzの乗算（xi,kｔpyk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータzから計算される。
すなわち、足し込み部７１は、前回、教師データとしての、注目画素に対応する対応画素について求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,q又はベクトルのコンポーネントＹi,pに対して、新たな注目画素に対応する対応画素となった教師データについて、その教師データyk、生徒データxi,k(xj,k)、及びパラメータzを用いて計算される、対応するコンポーネントxi,kｔpxj,kｔq又はxi,kｔpykを足し込む（式（１８）のコンポーネントＸi,p,j,q又は式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
そして、足し込み部７１は、０，１，・・・，Zのすべての値のパラメータzにつき、生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたて、その正規方程式を、係数算出部７２に供給する。
係数算出部７２は、足し込み部７１から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの種係数βm,nを求めて出力する。
ところで、図６の学習装置３０では、学習画像としての高画質画像を教師データとするとともに、その高画質画像の空間解像度を、パラメータzに対応して劣化させた低画質画像を生徒データとして、タップ係数wn及び生徒データxnから式（１）の線形１次式で予測される教師データの予測値yの自乗誤差の総和を直接的に最小にする種係数βm,nを求める学習を行うようにしたが、種係数βm,nの学習としては、教師データの予測値yの自乗誤差の総和を、いわば、間接的に最小にする種係数βm,nを求める学習を行うことができる。
すなわち、学習画像としての高画質画像を教師データとするとともに、その高画質画像を、パラメータzに対応したカットオフ周波数のLPFによってフィルタリングすることにより、その水平解像度及び垂直解像度を低下させた低画質画像を生徒データとして、まず最初に、タップ係数wn及び生徒データxnを用いて式（１）の線形１次予測式で予測される教師データの予測値yの自乗誤差の総和を最小にするタップ係数wnを、パラメータzの値（ここでは、z=0,1,・・・,Z）ごとに求める。そして、そのパラメータzの値ごとに求められたタップ係数wnを教師データとするとともに、パラメータzを生徒データとして、式（１１）によって種係数βm,n及び生徒データであるパラメータzに対応する変数ｔmから予測される教師データとしてのタップ係数wnの予測値の自乗誤差の総和を最小にする種係数βm,nを求める。
ここで、式（１）の線形１次予測式で予測される教師データの予測値yの自乗誤差の総和Ｅを最小（極小）にするタップ係数wnは、図３の学習装置３０における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータzの値（z=0,1,・・・,Z）ごとに求めることができる。
ところで、タップ係数は、式（１１）に示したように、種係数βm,nと、パラメータzに対応する変数ｔmとから求められる。そして、いま、この式（１１）によって求められるタップ係数を、wn’と表すこととすると、次の式（２１）で表される、最適なタップ係数wnと式（１１）により求められるタップ係数wn’との誤差enを０とする種係数βm,nが、最適なタップ係数wnを求めるのに最適な種係数となるが、すべてのタップ係数wnについて、そのような種係数βm,nを求めることは、一般には困難である。
Figure 0006977719
 ・・・（２１）
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
Figure 0006977719
 ・・・（２２）
そこで、種係数βm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な種係数βm,nは、次式で表される自乗誤差の総和Ｅ（統計的な誤差）を最小にすることで求めることができる。
Figure 0006977719
 ・・・（２３）
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを種係数βm,nで偏微分したものを０とするβm,nによって与えられる。
Figure 0006977719
 ・・・（２４）
式（２２）を、式（２４）に代入することにより、次式が得られる。
Figure 0006977719
 ・・・（２５）
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
Figure 0006977719
 ・・・（２６）
Figure 0006977719
 ・・・（２７）
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
Figure 0006977719
 ・・・（２８）
式（２８）の正規方程式も、例えば、掃き出し法等を用いることにより、種係数βm,nについて解くことができる。
図８は、図６の学習部６３の他の構成例を示すブロック図である。
すなわち、図８は、式（２８）の正規方程式をたてて解くことにより種係数βm,nを求める学習を行う学習部６３の構成例を示している。
なお、図中、図４又は図７の場合と対応するについては、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図８の学習部６３は、タップ選択部４１及び４２、クラス分類部４３、係数算出部４５、足し込み部８１及び８２、並びに、係数算出部８３を有する。
したがって、図８の学習部６３は、タップ選択部４１及び４２、クラス分類部４３、並びに、係数算出部４５を有する点で、図４の学習部３３と共通する。
但し、図８の学習部６３は、足し込み部４４に代えて、足し込み部８１を有する点、並びに、足し込み部８２及び係数算出部８３を新たに有する点で、図４の学習部３３と相違する。
足し込み部８１には、クラス分類部４３が出力する注目画素のクラスと、パラメータ生成部６１が出力するパラメータzが供給される。足し込み部８１は、教師データ生成部３１からの教師画像のうちの、注目画素に対応する対応画素としての教師データと、タップ選択部４１から供給される注目画素についての予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部４３から供給されるクラスごとに、かつ、パラメータ生成部６１が出力するパラメータzの値ごとに行う。
すなわち、足し込み部８１には、教師データyk、予測タップxn,k、注目画素のクラス、及び、予測タップxn,kを構成する生徒画像を生成したときのパラメータzが供給される。
足し込み部８１は、注目画素のクラスごとに、かつ、パラメータzの値ごとに、予測タップ（生徒データ）xn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（xn,kxn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部８１は、注目画素のクラスごとに、かつ、パラメータzの値ごとに、予測タップ（生徒データ）xn,kと教師データykを用い、式（８）の右辺のベクトルにおける生徒データxn,k及び教師データykの乗算（xn,kyk）と、サメーション（Σ）に相当する演算を行う。
すなわち、足し込み部８１は、前回、教師データとしての、注目画素に対応する対応画素について求められた式（８）における左辺の行列のコンポーネント（Σxn,kxn',k）と、右辺のベクトルのコンポーネント（Σxn,kyk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σxn,kxn',k）又はベクトルのコンポーネント（Σxn,kyk）に対して、新たな注目画素に対応する対応画素となった教師データについて、その教師データyk+1及び生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1又はxn,k+1yk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部８１は、生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータzの各値ごとに、式（８）に示した正規方程式をたて、その正規方程式を、係数算出部４５に供給する。
したがって、足し込み部８１は、図４の足し込み部４４と同様に、各クラスについて、式（８）の正規方程式をたてる。但し、足し込み部８１は、さらに、パラメータzの各値ごとにも、式（８）の正規方程式をたてる点で、図４の足し込み部４４と異なる。
係数算出部４５は、足し込み部８１から供給される各クラスについての、パラメータzの値ごとの正規方程式を解くことにより、各クラスについて、パラメータzの値ごとの最適なタップ係数wnを求め、足し込み部８２に供給する。
足し込み部８２は、パラメータ生成部６１（図６）から供給されるパラメータz（に対応する変数ｔm）と、係数算出部４５から供給される最適なタップ係数wnを対象とした足し込みを、クラスごとに行う。
すなわち、足し込み部８２は、パラメータ生成部６１から供給されるパラメータzから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータzに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
ここで、コンポーネントＸi,jは、パラメータzによってのみ決まり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
さらに、足し込み部８２は、パラメータ生成部６１から供給されるパラメータzから式（１０）によって求められる変数ｔiと、係数算出部４５から供給される最適なタップ係数wnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータzに対応する変数ｔi及び最適なタップ係数wnの乗算（ｔiwn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
足し込み部８２は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたて、その正規方程式を、係数算出部８３に供給する。
係数算出部８３は、足し込み部８２から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの種係数βm,nを求めて出力する。
図５の係数取得部２４には、以上のようにして求められたクラスごとの種係数βm,nを記憶させることができる。
なお、種係数の学習においても、タップ係数の学習における場合と同様に、第１の画像に対応する生徒データと、第２の画像に対応する教師データとする画像の選択の仕方によって、種係数としては、各種の画像変換処理を行う種係数を得ることができる。
すなわち、上述の場合には、学習画像を、そのまま第２の画像に対応する教師データとするとともに、その学習画像の空間解像度を劣化させた低画質画像を、第１の画像に対応する生徒データとして、種係数の学習を行うようにしたことから、種係数としては、第１の画像を、その空間解像度を向上させた第２の画像に変換する空間解像度創造処理としての画像変換処理を行う種係数を得ることができる。
この場合、図５の画像変換装置２０では、画像の水平解像度及び垂直解像度を、パラメータzに対応する解像度に向上させることができる。
また、例えば、高画質画像を教師データとするとともに、その教師データとしての高画質画像に対して、パラメータzに対応するレベルのノイズを重畳した画像を生徒データとして、種係数の学習を行うことにより、種係数としては、第１の画像を、そこに含まれるノイズを除去（低減）した第２の画像に変換するノイズ除去処理としての画像変換処理を行う種係数を得ることができる。この場合、図５の画像変換装置２０では、パラメータzに対応するS/Nの画像（パラメータzに対応する強度のノイズ除去を施した画像）を得ることができる。
なお、上述の場合には、タップ係数wnを、式（９）に示したように、β1,nz0＋β2,nz1＋・・・＋βM,nzM-1で定義し、この式（９）によって、水平及び垂直方向の空間解像度を、いずれも、パラメータzに対応して向上させるためのタップ係数wnを求めるようにしたが、タップ係数wnとしては、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
すなわち、タップ係数wnを、式（９）に代えて、例えば、３次式β1,nzx 0zy 0＋β2,nzx 1zy 0＋β3,nzx 2zy 0＋β4,nzx 3zy 0＋β5,nzx 0zy 1＋β6,nzx 0zy 2＋β7,nzx 0zy 3＋β8,nzx 1zy 1＋β9,nzx 2zy 1＋β10,nzx 1zy 2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、例えば、ｔ1＝zx 0zy 0，ｔ2＝zx 1zy 0，ｔ3＝zx 2zy 0，ｔ4＝zx 3zy 0，ｔ5＝zx 0zy 1，ｔ6＝zx 0zy 2，ｔ7＝zx 0zy 3，ｔ8＝zx 1zy 1，ｔ9＝zx 2zy 1，ｔ10＝zx 1zy 2で定義する。この場合も、タップ係数wnは、最終的には、式（１１）で表すことができ、したがって、図６の学習装置３０において、パラメータzxとzyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像を、生徒データとして用いて学習を行って、種係数βm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるタップ係数wnを求めることができる。
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータzxとzyに加えて、さらに、時間方向の解像度に対応するパラメータztを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータzx，zy，ztに対応して、それぞれ独立に向上させるタップ係数wnを求めることが可能となる。
さらに、図６の学習装置３０において、パラメータzxに対応して教師データの水平解像度及び垂直解像度を劣化させるとともに、パラメータzyに対応して教師データにノイズを付加した画像を、生徒データとして用いて学習を行って、種係数βm,nを求めることにより、パラメータzxに対応して水平解像度及び垂直解像度を向上させるとともに、パラメータzyに対応してノイズ除去を行うタップ係数wnを求めることができる。
＜符号化装置１１の第１の構成例＞
図９は、図１の符号化装置１１の第１の構成例を示すブロック図である。
図９において、符号化装置１１は、A/D変換部１０１、並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、及び、蓄積バッファ１０７を有する。さらに、符号化装置１１は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、クラス分類適応フィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測補償部１１５、予測画像選択部１１６、及び、レート制御部１１７を有する。
A/D変換部１０１は、アナログ信号の元画像を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ１０２に供給して記憶させる。
並べ替えバッファ１０２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部１０３、イントラ予測部１１４、動き予測補償部１１５、及び、クラス分類適応フィルタ１１１に供給する。
演算部１０３は、並べ替えバッファ１０２からの元画像から、予測画像選択部１１６を介してイントラ予測部１１４又は動き予測補償部１１５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部１０４に供給する。
例えば、インター符号化が行われる画像の場合、演算部１０３は、並べ替えバッファ１０２から読み出された元画像から、動き予測補償部１１５から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、直交交換により得られる変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータQPを設定し、変換係数の量子化を行う。なお、この量子化の方法は任意である。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、量子化部１０５において量子化された変換係数を所定の可逆符号化方式で符号化する。変換係数は、レート制御部１１７の制御の下で量子化されているので、可逆符号化部１０６の可逆符号化により得られる符号化データの符号量は、レート制御部１１７が設定した符号量目標値となる（又は符号量目標値に近似する）。
また、可逆符号化部１０６は、符号化装置１１での予測符号化に関する符号化情報のうちの、必要な符号化情報を、各ブロックから取得する。
ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ(I,P,B)、CU(Coding Unit)やCTU(Coding Tree Unit)の情報等がある。
例えば、予測モードは、イントラ予測部１１４や動き予測補償部１１５から取得することができる。また、例えば、動き情報は、動き予測補償部１１５から取得することができる。
可逆符号化部１０６は、符号化情報を取得する他、クラス分類適応フィルタ１１１から、そのクラス分類適応フィルタ１１１でのクラス分類適応処理に用いられるタップ係数を削減した削減フィルタ情報を取得する。
可逆符号化部１０６は、符号化情報及び削減フィルタ情報を、任意の可逆符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。
可逆符号化部１０６は、符号化データを、蓄積バッファ１０７を介して伝送する。したがって、可逆符号化部１０６は、符号化データ、ひいては、符号化データに含まれる符号化情報や削減フィルタ情報を伝送する伝送部として機能する。
可逆符号化部１０６の可逆符号化方式としては、例えば、可変長符号化又は算術符号化等を採用することができる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）等がある。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）等がある。
蓄積バッファ１０７は、可逆符号化部１０６から供給される符号化データを、一時的に蓄積する。蓄積バッファ１０７に蓄積された符号化データは、所定のタイミングで読み出されて伝送される。
量子化部１０５において量子化された変換係数は、可逆符号化部１０６に供給される他、逆量子化部１０８にも供給される。逆量子化部１０８は、量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１０８は、逆量子化により得られる変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、逆量子化部１０８から供給される変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された残差）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９から供給される逆直交変換結果、すなわち、復元された残差に、予測画像選択部１１６を介してイントラ予測部１１４又は動き予測補償部１１５から供給される予測画像を加算し、その加算結果を、復号途中の復号途中画像として出力する。
演算部１１０が出力する復号途中画像は、クラス分類適応フィルタ１１１又はフレームメモリ１１２に供給される。
クラス分類適応フィルタ１１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う。
クラス分類適応フィルタ１１１には、演算部１１０から復号途中画像が供給される他、並べ替えバッファ１０２から、復号途中画像に対応する元画像が供給されるとともに、符号化装置１１の各ブロックから必要な符号化情報が供給される。
クラス分類適応フィルタ１１１は、演算部１１０からの復号途中画像に相当する生徒画像と、並べ替えバッファ１０２からの元画像に相当する教師画像とを用いるとともに、必要に応じて、符号化情報を用いて、クラスごとのタップ係数を求める学習を行う。
すなわち、クラス分類適応フィルタ１１１は、例えば、演算部１１０からの復号途中画像そのものを生徒画像とするとともに、並べ替えバッファ１０２からの元画像そのものを教師画像として、必要に応じて、符号化情報を用いて、クラスごとのタップ係数を求める学習を行う。
さらに、クラス分類適応フィルタ１１１は、クラスごとのタップ係数を削減する削減処理を行い、その削減処理により、クラスごとのタップ係数を削減した削減フィルタ情報を生成する。削減フィルタ情報は、クラス分類適応フィルタ１１１から可逆符号化部１０６に供給される。
また、クラス分類適応フィルタ１１１は、削減フィルタ情報を用いて得られるタップ係数を用いて、演算部１１０からの復号途中画像を、フィルタ後画像に変換する。
すなわち、クラス分類適応フィルタ１１１は、演算部１１０からの復号途中画像を第１の画像として、クラスごとのタップ係数を用いたクラス分類適応処理（による画像変換）を、符号化情報を必要に応じて用いて行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）出力する。
クラス分類適応フィルタ１１１が出力するフィルタ後画像は、フレームメモリ１１２に供給される。
ここで、クラス分類適応フィルタ１１１では、上述のように、復号途中画像を生徒画像とするとともに、元画像を教師画像として、学習が行われ、その学習により得られるタップ係数を用いて、復号途中画像をフィルタ後画像に変換するクラス分類適応処理が行われる。したがって、クラス分類適応フィルタ１１１で得られるフィルタ後画像は、極めて元画像に近い画像になる。
フレームメモリ１１２は、演算部１１０から供給される復号途中画像、又は、クラス分類適応フィルタ１１１から供給されるフィルタ後画像を、局所復号された復号画像として一時記憶する。フレームメモリ１１２に記憶された復号画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部１１３に供給される。
例えば、フレームメモリ１１２に記憶される復号画像としての、演算部１１０から供給される復号途中画像、及び、クラス分類適応フィルタ１１１から供給されるフィルタ後画像のうちの、復号途中画像は、イントラ予測の参照画像として用いられる。また、フィルタ後画像は、インター予測の参照画像として用いられる。
選択部１１３は、フレームメモリ１１２から供給される参照画像の供給先を選択する。例えば、イントラ予測部１１４においてイントラ予測が行われる場合、選択部１１３は、フレームメモリ１１２から供給される参照画像を、イントラ予測部１１４に供給する。また、例えば、動き予測補償部１１５においてインター予測が行われる場合、選択部１１３は、フレームメモリ１１２から供給される参照画像を、動き予測補償部１１５に供給する。
イントラ予測部１１４は、並べ替えバッファ１０２から供給される元画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、基本的に、PU(Prediction Unit)を処理単位として、イントラ予測（画面内予測）を行う。イントラ予測部１１４は、所定のコスト関数に基づいて、最適なイントラ予測モードを選択し、その最適なイントラ予測モードで生成された予測画像を、予測画像選択部１１６に供給する。また、上述したように、イントラ予測部１１４は、コスト関数に基づいて選択されたイントラ予測モードを示す予測モードを、可逆符号化部１０６等に適宜供給する。
動き予測補償部１１５は、並べ替えバッファ１０２から供給される元画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測（インター予測）を行う。さらに、動き予測補償部１１５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部１１５は、あらかじめ用意された複数のインター予測モードで、インター予測を行い、予測画像を生成する。
動き予測補償部１１５は、複数のインター予測モードそれぞれについて得られた予測画像の所定のコスト関数に基づいて、最適なインター予測モードを選択する。さらに、動き予測補償部１１５は、最適なインター予測モードで生成された予測画像を、予測画像選択部１１６に供給する。
また、動き予測補償部１１５は、コスト関数に基づいて選択されたインター予測モードを示す予測モードや、そのインター予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部１０６に供給する。
予測画像選択部１１６は、演算部１０３及び１１０に供給する予測画像の供給元（イントラ予測部１１４又は動き予測補償部１１５）を選択し、その選択した方の供給元から供給される予測画像を、演算部１０３及び１１０に供給する。
レート制御部１１７は、蓄積バッファ１０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。すなわち、レート制御部１１７は、蓄積バッファ１０７のオーバーフロー及びアンダーフローが生じないように、符号化データの目標符号量を設定し、量子化部１０５に供給する。
＜クラス分類適応フィルタ１１１の構成例＞
図１０は、図９のクラス分類適応フィルタ１１１の構成例を示すブロック図である。
図１０において、クラス分類適応フィルタ１１１は、学習装置１３１、削減装置（削減部）１３２、及び、画像変換装置１３３を有する。
学習装置１３１には、並べ替えバッファ１０２（図９）から元画像が供給されるとともに、演算部１１０（図９）から復号途中画像が供給される。さらに、学習装置１３１には、符号化情報が供給される。
学習装置１３１は、復号途中画像を生徒データとするとともに、元画像を教師データとして、クラスごとのタップ係数を求める学習（以下、タップ係数学習ともいう）を行う。
さらに、学習装置１３１は、タップ係数学習により得られるクラスごとのタップ係数を、削減装置１３２に供給する。
なお、学習装置１３１は、タップ係数学習において、クラス分類を、必要に応じて、符号化情報を用いて行う。
削減装置１３２は、学習装置１３１からのクラスごとのタップ係数を削減した削減フィルタ情報を生成する削減処理を行い、その削減処理により得られる削減フィルタ情報を、画像変換装置１３３及び可逆符号化部１０６（図９）に供給する。
画像変換装置１３３には、演算部１１０（図９）から復号途中画像が供給されるとともに、削減装置１３２から削減フィルタ情報が供給される。さらに、画像変換装置１３３には、符号化情報が供給される。
画像変換装置１３３は、削減装置１３２の削減フィルタ情報を用いて、クラスごとのタップ係数を更新する。さらに、画像変換装置１３３は、復号途中画像を第１の画像として、クラスごとのタップ係数を用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、フレームメモリ１１２（図９）に供給する。
なお、画像変換装置１３３は、クラス分類適応処理において、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜画像変換装置１３３のタップ係数の更新タイミングの例＞
図１１は、画像変換装置１３３がクラス分類適応処理に用いるタップ係数の更新タイミングの例を示す図である。
画像変換装置１３３は、例えば、図１１に示すように、1フレーム以上のFフレームおきのフレームのタイミングを、クラス分類適応処理に用いるタップ係数を更新する更新タイミングとして、タップ係数を更新する。
更新タイミングでは、学習装置１３１が、タップ係数学習を行い、クラスごとのタップ係数を求める。ここで、最新のタップ係数学習により求められるタップ係数を、最新係数ともいう。
画像変換装置１３３では、更新タイミングにおいて、クラス分類適応処理に用いられている現在のタップ係数（以下、現在係数ともいう）が、最新係数に更新される。
符号化装置１１において、画像変換装置１３３が、現在係数を最新係数に更新する場合には、復号装置１２（図１）でも、符号化装置１１と同様に、現在係数を最新係数に更新する必要がある。
復号装置１２において、現在係数を最新係数に更新するには、例えば、符号化装置１１から復号装置１２に最新係数を伝送する必要がある。
しかしながら、更新タイミングごとに、すべてのクラスの最新係数を、符号化装置１１から復号装置１２に伝送するのでは、圧縮効率が低下する。
そこで、符号化装置１１では、削減装置１３２において、学習装置１３１からのクラスごとの最新係数を削減した削減フィルタ情報を生成する削減処理を行い、その削減処理により得られる削減フィルタ情報を、復号装置１２に伝送することで、圧縮効率を向上させる。
＜削減装置１３２の削減処理の例＞
図１２は、削減装置１３２の削減処理の例を説明する図である。
図１２では、第0フレーム、第Fフレーム、第2Fフレーム、第3Fフレーム、...のFフレームおきのフレームのタイミングが、更新タイミングになっている。
各更新タイミングでは、学習装置１３１が、タップ係数学習を行い、クラスごとの最新係数を求めている。
削減装置１３２は、削減処理において、タップ係数学習で得られるクラスごとの最新係数から、０クラス以上のクラスの最新係数を、選択係数として選択し、その選択係数を、削減フィルタ情報として出力する。
例えば、削減装置１３２は、各クラスについて、現在係数に代えて、最新係数を、クラス分類適応処理（の式（１）の予測演算）に用いる場合のメリットの程度を表すメリット判定値を求める。そして、削減装置１３２は、メリット判定値が閾値以上のクラスの最新係数を、選択係数に選択する。
図１２では、更新タイミングにおいて、タップ係数学習によって、C個のクラス0,1,...,C-1の最新係数が求められている。
第0フレームの更新タイミング、すなわち、例えば、符号化が開始されるタイミングでは、C個のクラス0ないしC-1のすべての最新係数が選択係数に選択されている。
そして、第Fフレームの更新タイミングでは、クラス0ないしC-1の最新係数のうちの、クラス3の最新係数が、メリット判定値が閾値以上のクラスの最新係数になっており、選択係数に選択されている。また、第2Fフレームの更新タイミングでは、クラス0ないしC-1の最新係数のうちの、クラス2の最新係数が、メリット判定値が閾値以上のクラスの最新係数になっており、選択係数に選択されている。
以上のように、削減装置１３２では、C個のクラス0ないしC-1の最新係数のうちの、メリット判定値が閾値以上のクラスの最新係数だけが、選択係数として選択され、削減フィルタ情報として出力される。
したがって、更新タイミングにおいて、符号化装置１１から復号装置１２には、C個のクラス0ないしC-1すべての最新係数ではなく、選択係数として選択されたクラスの最新係数が、削減フィルタ情報として伝送されるので、更新タイミングにおいて、常時、C個のクラス0ないしC-1すべての最新係数が伝送される場合に比較して、圧縮効率を向上させることができる。
なお、C個のクラス0ないしC-1の最新係数のうちの、大多数のクラスの最新係数のメリット判定値が閾値以上になる場合、すなわち、メリット判定値が閾値以上になる最新係数のクラス数が、クラスの総数Cに近い所定数以上である場合には、削減装置１３２では、メリット判定値が閾値以上のクラスの最新係数だけを、選択係数として選択するのではなく、C個のクラス0ないしC-1すべての最新係数を、選択係数として選択し、削減フィルタ情報として出力することができる。
また、メリット判定値としては、例えば、RD(Rate-Distortion)コストに対応する値を採用することができる。すなわち、メリット判定値を求めるタップ係数のクラスを、注目する注目クラスとすると、注目クラスの（最新係数の）メリット判定値としては、例えば、注目クラスについて、最新係数を用いた場合のRDコストそのものや、注目クラスについて、現在係数を用いた場合のRDコストとの比較で、最新係数を用いた場合のRDコストが優れている程度を表す値（RDコストどうしの差分等）を採用することができる。
さらに、メリット判定値としては、例えば、1クラスのN個のタップ係数w1,w2,...,wNそれぞれを座標軸とするタップ係数空間での、注目クラスの最新係数と現在係数との係数間距離に対応する値、すなわち、例えば、最新係数と現在係数との係数間距離を採用することができる。
また、メリット判定値としては、例えば、注目クラスについて、最新係数を用いて求められるフィルタ後画像のS/Nに対応する値を採用することができる。すなわち、メリット判定値としては、例えば、注目クラスについて、最新係数を用いて求められるフィルタ後画像のS/Nそのものや、注目クラスについて、現在係数を用いて求められるフィルタ後画像のS/Nとの比較で、最新係数を用いて求められるフィルタ後画像のS/Nが優れている程度を表す値（S/Nどうしの差分等）を採用することができる。
さらに、メリット判定値としては、例えば、注目クラスのタップ係数（現在係数）がクラス分類適応処理（の式（１）の予測演算）に用いられる使用頻度に対応する値を採用することができる。すなわち、メリット判定値としては、例えば、前回の更新タイミングから今回の更新タイミングまでの期間等の最近の一定期間に、注目クラスのタップ係数が、クラス分類適応処理に用いられた回数を採用することができる。
圧縮効率の向上、及び、復号画像のS/Nの向上の観点からは、メリット判定値として、RDコストに対応する値を採用することが望ましい。但し、メリット判定値として、RDコストを採用する場合には、メリット判定値の計算に、大きな計算コストを要する。メリット判定値として、例えば、上述の係数間距離や、フィルタ後画像のS/N、使用頻度に対応する値を採用することにより、メリット判定値の計算に要する計算コストを削減することができる。
＜学習装置１３１の構成例＞
図１３は、図１０の学習装置１３１の構成例を示すブロック図である。
なお、図中、図３及び図４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１３において、学習装置１３１は、学習部３３を有する。学習部３３は、タップ選択部４１及び４２、クラス分類部４３、足し込み部４４、並びに、係数算出部４５を有する。
したがって、図１３の学習装置１３１は、学習部３３を有する点で、図３の場合と共通する。さらに、学習装置１３１は、学習部３３が、タップ選択部４１ないし係数算出部４５を有する点で、図４の場合と共通する。
但し、図１３の学習装置１３１は、教師データ生成部３１及び生徒データ生成部３２を有しない点で、図３の場合と相違する。
さらに、図１３の学習装置１３１は、学習部３３において、クラス分類部４３に、符号化情報が供給される点で、図４の場合と相違する。
図１３の学習装置１３１では、クラス分類部２３が、クラスタップ（から得られる画像特徴量）や符号化情報を必要に応じて用いてクラス分類を行う。
また、図１３の学習装置１３１では、復号途中画像を生徒データとして用いるとともに、その復号途中画像に対応する元画像を教師データとして用いて、タップ係数学習が行われ、そのタップ係数学習により得られるクラスごとのタップ係数が、最新係数として、係数算出部４５から削減装置１３２に供給される。
学習装置１３１でのタップ係数学習は、元画像の符号化と並列して行うこともできるし、元画像の符号化とは関係なく、前もって行っておくこともできる。
タップ係数学習を、元画像の符号化とは関係なく、前もって行う場合には、複数のカテゴリの元画像を教師データとして用いて、カテゴリごとに、タップ係数学習を行うことができる。そして、更新タイミングでは、複数のカテゴリのタップ係数のうちの、例えば、所定のコスト関数を最小にするカテゴリのタップ係数を、最新係数として出力することができる。
なお、クラス分類部４３では、クラスタップとしての復号途中画像の画素の画素値から得られる注目画素の画像特徴量、及び、注目画素の符号化情報のうちの一方、又は、両方を用いて、クラス分類を行うことができる。
クラスタップとしては、例えば、注目画素を中心とする十字型の9画素や、注目画素を中心とする3×3画素の正方形状の9画素や、注目画素を中心とする、水平方向及び垂直方向を対角線とする菱形状の13画素等を採用することができる。
さらに、クラスタップは、例えば、注目画素のフレーム（ピクチャ）である注目フレームの画素と、注目画素に隣接するフレーム等の注目フレーム以外のフレームの画素とから構成することができる。
また、クラス分類に用いる画像特徴量としては、例えば、クラスタップを対象とした1ビットADRC処理により得られるADRCコード（ADRC値）を採用することができる。
いま、説明を簡単にするため、クラス分類部４３が、画像特徴量としてのADRCコードのみを用いて、注目画素のクラス分類を行うこととすると、クラス分類部４３は、注目画素を、例えば、ADRCコードに対応するクラスコードのクラスにクラス分類する。
例えば、クラスコードが10進数で表される場合、ADRCコードに対応するクラスコードとは、ADRCコードを2進数とみなして、その2進数のADRCコードを10進数に変換した値を意味する。
例えば、9画素で構成されるクラスタップを対象とした1ビットADRC処理によって得られるADRCコードが、000011100であれば、そのADRCコード000011100に対応するクラスコードは、28になる。
ここで、クラス分類に用いる画像特徴量としては、クラスタップから得られるADRCコードの他、例えば、クラスタップを構成する画素の画素値のダイナミックレンジや差分絶対値和等のADRCコード以外の画像特徴量を採用することができる。
クラス分類に用いる画像特徴量として、例えば、クラスタップを構成する画素の画素値のダイナミックレンジを採用する場合、例えば、ダイナミックレンジを、1以上の閾値で閾値処理することにより、注目画素を2以上のクラスのうちのいずれかのクラスにクラス分類することができる。
さらに、クラス分類は、ADRCコード等の１つの画像特徴量ではなく、例えば、ADRCコード及びダイナミックレンジ等の複数の画像特徴量を用いて行うことができる。
また、クラス分類は、注目画素の画像特徴量の他、注目画素の符号化情報を用いて行うことができる。
クラス分類に用いる注目画素の符号化情報としては、例えば、注目画素を含むCUやPU等のブロック内における注目画素の位置を表すブロック位相や、注目画素を含むピクチャのピクチャタイプ、注目画素を含むPUの量子化パラメータQP等を採用することができる。
クラス分類に用いる注目画素の符号化情報として、ブロック位相を採用する場合には、例えば、注目画素がブロックの境界の画素であるか否かによって、注目画素をクラス分類することができる。
また、クラス分類に用いる注目画素の符号化情報として、ピクチャタイプを採用する場合には、例えば、注目画素を含むピクチャが、Iピクチャ、Pピクチャ、及び、Bピクチャのうちのいずれであるかによって、注目画素をクラス分類することができる。
さらに、クラス分類に用いる注目画素の符号化情報として、量子化パラメータQPを採用する場合には、例えば、量子化の粗さ（細かさ）によって、注目画素をクラス分類することができる。
また、クラス分類は、画像特徴量又は符号化情報を用いて行う他、例えば、画像特徴量及び符号化情報の両方を用いて行うことができる。
＜削減装置１３２の構成例＞
図１４は、図１０の削減装置１３２の構成例を示すブロック図である。
図１４において、削減装置１３２は、選択部１４１を有する。
選択部１４１には、学習装置１３１から最新係数としてのクラスごとのタップ係数が供給される。
選択部１４１は、学習装置１３１からの最新係数の各クラスについて、現在係数に代えて、最新係数を、クラス分類適応処理（の式（１）の予測演算）に用いる場合のメリットの程度を表すメリット判定値を求める。
そして、選択部１４１は、メリット判定値が閾値以上のクラスの最新係数を、選択係数に選択し、削減フィルタ情報として、画像変換装置１３３（図１０）、及び、可逆符号化部１０６（図９）に供給する。
＜画像変換装置１３３の構成例＞
図１５は、図１０の画像変換装置１３３の構成例を示すブロック図である。
なお、図中、図２の画像変換装置２０と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
図１５において、画像変換装置１３３は、タップ選択部２１ないしクラス分類部２３、予測演算部２５、及び、係数取得部１５１を有する。
したがって、画像変換装置１３３は、タップ係数選択部２１ないしクラス分類部２３、及び、予測演算部２５を有する点で、図２の画像変換装置２０と同様に構成される。
但し、画像変換装置１３３は、係数取得部２４に代えて、係数取得部１５１を有する点で、画像変換装置２０と相違する。
画像変換装置１３３では、復号途中画像が、第１の画像として、タップ選択部２１及び２２に供給され、予測演算部２５では、フィルタ後画像が第２の画像として求められる。
また、画像変換装置１３３では、符号化情報が、クラス分類部２３に供給され、クラス分類部２３が、クラスタップや符号化情報を必要に応じて用いて、学習装置１３１（図１３）のクラス分類部４３と同様のクラス分類を行う。
係数取得部１５１には、削減装置１３２から、削減フィルタ情報としての選択係数が供給される。
係数取得部１５１は、削減装置１３２からの削減フィルタ情報としての選択係数を用いて、クラス分類適応処理に用いるクラスごとのタップ係数を得る。そして、係数取得部１５１は、削減フィルタ情報としての選択係数を用いて得られたクラスごとのタップ係数から、注目画素のクラスのタップ係数を取得し、予測演算部２５に供給する。
図１６は、図１５の係数取得部１５１の構成例を示すブロック図である。
図１６において、係数取得部１５１は、更新部１６１、記憶部１６２、及び、取得部１６３を有する。
更新部１６１には、削減装置１３２から、削減フィルタ情報としての選択係数が供給される。
更新部１６１は、削減装置１３２からの削減フィルタ情報としての選択係数によって、記憶部１６２に記憶された現在係数としてのクラスごとのタップ係数を更新する。
記憶部１６２は、クラスごとのタップ係数を記憶する。
ここで、記憶部１６２は、例えば、符号化装置１１の電源がオンにされたタイミングや、符号化装置１１において、元画像のシーケンスの符号化が開始されるタイミング等の所定のタイミングで、リセットされる（記憶内容が初期化される）。
記憶部１６２のリセットのタイミング（以下、初期化タイミングともいう）は、タップ係数の更新タイミングになっており、学習装置１３１が、タップ係数学習を行い、そのタップ係数学習により得られる最新係数としてのクラスごとのタップ係数が、削減装置１３２に供給される。
初期化タイミングでは、削減装置１３２は、学習装置１３１からの最新係数としてのすべてのクラスのタップ係数を、選択係数に選択し、削減フィルタ情報として、可逆符号化部１０６（図９）及び更新部１６１に出力する。
この場合、更新部１６１は、削減装置１３２からの削減フィルタ情報としてのすべてのクラスのタップ係数を、記憶部１６２に記憶させる。
画像変換装置１３３では、以上のように記憶部１６２に記憶されたクラスごとのタップ係数を現在係数として、クラス分類適応処理が行われる。
そして、その後、更新タイミングとなって、削減装置１３２から更新部１６１に、削減フィルタ情報が供給されると、更新部１６１は、削減装置１３２からの削減フィルタ情報としての選択係数によって、記憶部１６２に記憶された現在係数のうちの、選択係数のクラスの現在係数を、選択係数に更新する。
取得部１６３には、クラス分類部２３から、注目画素のクラス（のクラスコード）が供給される。取得部１６３は、記憶部１６２に記憶された現在係数から、注目画素のクラスの現在係数としてのタップ係数を取得し、予測演算部２５に供給する。
＜符号化処理＞
図１７は、図９の符号化装置１１の符号化処理の例を説明するフローチャートである。
なお、図１７等に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する符号化処理についても、同様である。
符号化装置１１において、クラス分類適応フィルタ１１１の学習装置１３１（図１０）は、そこに供給される復号途中画像を生徒データとして一時記憶するとともに、その復号途中画像に対応する元画像を教師データとして一時記憶している。
そして、学習装置１３１は、ステップＳ１１において、現在のタイミングが、タップ係数の更新タイミングであるかどうかを判定する。
ここで、タップ係数の更新タイミングは、例えば、１以上のフレーム（ピクチャ）ごとや、１以上のシーケンスごと、１以上のスライスごと、CTU等の所定のブロックの１以上のラインごと等のように、あらかじめ決めておくことができる。
また、タップ係数の更新タイミングとしては、１以上のフレーム（ピクチャ）ごとのタイミングのような周期的（固定的）なタイミングの他、フィルタ後画像のS/Nが閾値以下になったタイミング（フィルタ後画像の、元画像に対する誤差が閾値以上になったタイミング）や、残差（の絶対値和等）が閾値以上になったタイミング等の、いわば動的なタイミングを採用することができる。
ステップＳ１１において、現在のタイミングが、タップ係数の更新タイミングでないと判定された場合、処理は、ステップＳ１２ないしＳ２０をスキップして、ステップＳ２１に進む。
また、ステップＳ１１において、現在のタイミングが、タップ係数の更新タイミングであると判定された場合、処理は、ステップＳ１２に進み、学習装置１３１は、タップ係数学習を行う。
すなわち、学習装置１３１は、例えば、前回の更新タイミングから、今回の更新タイミングまでの間に記憶した復号途中画像及び元画像を、それぞれ、生徒データ及び教師データとして、タップ係数学習を行い、クラスごとの最新係数としてのタップ係数を求める。
そして、学習装置１３１は、タップ係数学習により得られたクラスごとの最新係数を、削減装置１３２に供給し、処理は、ステップＳ１２からステップＳ１３に進む。
ステップＳ１３では、削減装置１３２（図１４）の選択部１４１は、タップ係数学習によりタップ係数が求められる全クラスの中で、まだ、注目クラスに選択していない１つのクラスを注目クラスに選択して、処理は、ステップＳ１４に進む。
ステップＳ１４では、選択部１４１は、注目クラスの最新係数について、例えば、RDコスト等のメリット判定値を算出し、処理は、ステップＳ１５に進む。
ステップＳ１５では、選択部１４１は、注目クラスの最新係数についてのメリット判定値が、例えば、あらかじめ決められた閾値以上であるかどうかを判定する。
ステップＳ１５において、注目クラスの最新係数についてのメリット判定値が閾値以上であると判定された場合、処理は、ステップＳ１６に進み、選択部１４１は、注目クラスの最新係数を、選択係数に選択する。
そして、処理は、ステップＳ１６からステップＳ１７に進み、選択部１４１は、選択係数を、削減フィルタ情報として、可逆符号化部１０６（図９）、及び、画像変換装置１３３（図１０）に出力し、処理は、ステップＳ１８に進む。
一方、ステップＳ１５において、注目クラスの最新係数についてのメリット判定値が閾値以上でないと判定された場合、処理は、ステップＳ１６及びＳ１７をスキップして、ステップＳ１８に進む。
したがって、注目クラスの最新係数は、メリット判定値が閾値以上である場合にのみ、削減フィルタ情報として、可逆符号化部１０６（図９）、及び、画像変換装置１３３（図１０）に供給される。
ステップＳ１８では、削減装置１３２（図１４）の選択部１４１が、タップ係数学習によりタップ係数が求められる全クラスを、注目クラスとしたかどうかを判定する。
ステップＳ１８において、まだ、全クラスを、注目クラスとしていないと判定された場合、処理は、ステップＳ１３に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１８において、全クラスを、注目クラスとしたと判定された場合、処理は、ステップＳ１９に進み、可逆符号化部１０６（図９）は、削減装置１３２の選択部１４１からの削減フィルタ情報を、伝送対象に設定して、処理は、ステップＳ２０に進む。伝送対象に設定された削減フィルタ情報は、後述するステップＳ２１で行われる予測符号化処理において符号化データに含められて伝送される。
ステップＳ２０では、画像変換装置１３３において、係数取得部１５１（図１６）の更新部１６１が、削減装置１３２からの削減フィルタ情報としての選択係数を用い、記憶部１６２に記憶された現在係数のうちの、選択係数のクラスのタップ係数を、現在係数から選択係数に更新し、処理は、ステップＳ２１に進む。
ステップＳ２１では、元画像の予測符号化処理が行われ、符号化処理は終了する。
図１８は、図１７のステップＳ２１の予測符号化処理の例を説明するフローチャートである。
予測符号化処理では、ステップＳ３１において、A/D変換部１０１（図９）は、元画像をA/D変換し、並べ替えバッファ１０２に供給して、処理は、ステップＳ３２に進む。
ステップＳ３２において、並べ替えバッファ１０２は、A/D変換部１０１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ３３に進む。
ステップＳ３３では、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行い、処理は、ステップＳ３４に進む。ステップＳ３４において、動き予測補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行い、処理は、ステップＳ３５に進む。
イントラ予測部１１４のイントラ予測処理、及び、動き予測補償部１１５のインター動き予測処理では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
ステップＳ３５では、予測画像選択部１１６は、イントラ予測部１１４及び動き予測補償部１１５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測補償部１１５により生成された予測画像のうちの最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ３５からステップＳ３６に進む。
ステップＳ３６では、演算部１０３は、並べ替えバッファ１０２が出力する元画像である符号化対象の対象画像と、予測画像選択部１１６が出力する予測画像との残差を演算し、直交変換部１０４に供給して、処理は、ステップＳ３７に進む。
ステップＳ３７では、直交変換部１０４は、演算部１０３からの残差を直交変換し、その結果得られる変換係数を、量子化部１０５に供給して、処理は、ステップＳ３８に進む。
ステップＳ３８では、量子化部１０５は、直交変換部１０４からの変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部１０６及び逆量子化部１０８に供給して、処理は、ステップＳ３９に進む。
ステップＳ３９では、逆量子化部１０８は、量子化部１０５からの量子化係数を逆量子化し、その結果得られる変換係数を、逆直交変換部１０９に供給して、処理は、ステップＳ４０に進む。ステップＳ４０では、逆直交変換部１０９は、逆量子化部１０８からの変換係数を逆直交変換し、その結果得られる残差を、演算部１１０に供給して、処理は、ステップＳ４１に進む。
ステップＳ４１では、演算部１１０は、逆直交変換部１０９からの残差と、予測画像選択部１１６が出力する予測画像とを加算し、演算部１０３での残差の演算の対象となった元画像に対応する復号途中画像を生成する。演算部１１０は、復号途中画像を、クラス分類適応フィルタ１１１又はフレームメモリ１１２に供給し、処理は、ステップＳ４１からステップＳ４２に進む。
演算部１１０からクラス分類適応フィルタ１１１に、復号途中画像が供給される場合、ステップＳ４２において、クラス分類適応フィルタ１１１は、演算部１１０からの復号途中画像に、ILFの処理としてのクラス分類適応処理（クラス分類適応フィルタ処理）を施す。復号途中画像に、クラス分類適応処理が施されることにより、復号途中画像をILFでフィルタリングする場合よりも元画像に近いフィルタ後画像が求められる（生成される）。
クラス分類適応フィルタ１１１は、クラス分類適応処理により得られるフィルタ後画像を、フレームメモリ１１２に供給して、処理は、ステップＳ４２からステップＳ４３に進む。
ステップＳ４３では、フレームメモリ１１２は、演算部１１０から供給される復号途中画像、又は、クラス分類適応フィルタ１１１から供給されるフィルタ後画像を、復号画像として記憶し、処理は、ステップＳ４４に進む。フレームメモリ１１２に記憶された復号画像は、ステップＳ３４やＳ３５で、予測画像を生成する元となる参照画像として使用される。
ステップＳ４４では、可逆符号化部１０６は、量子化部１０５からの量子化係数を符号化する。さらに、可逆符号化部１０６は、量子化部１０５での量子化に用いられた量子化パラメータQPや、イントラ予測部１１４でのイントラ予測処理で得られた予測モード、動き予測補償部１１５でのインター動き予測処理で得られた予測モードや動き情報等の符号化情報を必要に応じて符号化し、符号化データに含める。
また、可逆符号化部１０６は、図１７のステップＳ１９で伝送対象に設定された削減フィルタ情報を符号化し、符号化データに含める。そして、可逆符号化部１０６は、符号化データを、蓄積バッファ１０７に供給し、処理は、ステップＳ４４からステップＳ４５に進む。
ステップＳ４５において、蓄積バッファ１０７は、可逆符号化部１０６からの符号化データを蓄積し、処理は、ステップＳ４６に進む。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出されて伝送される。
ステップＳ４６では、レート制御部１１７は、蓄積バッファ１０７に蓄積されている符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御し、符号化処理は終了する。
図１９は、図１８のステップＳ４２で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ１１１の画像変換装置１３３（図１５）では、ステップＳ５１において、タップ選択部２１が、演算部１１０から供給される復号途中画像（としてのブロック）の画素のうちの、まだ、注目画素とされていない画素の１つを、注目画素（処理対象画素）として選択し、処理は、ステップＳ５２に進む。
ステップＳ５２において、タップ選択部２１及び２２が、演算部１１０から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を、それぞれ選択する。そして、タップ選択部２１は、予測タップを、予測演算部２５に供給し、タップ選択部２２は、クラスタップを、クラス分類部２３に供給する。
その後、処理は、ステップＳ５２からステップＳ５３に進み、クラス分類部２３は、注目画素についてのクラスタップ、及び、注目画素についての符号化情報を用いて、注目画素のクラス分類を行う。
すなわち、クラス分類では、ステップＳ６１において、クラス分類部２３は、タップ選択部２２からのクラスタップを構成する画素から、例えば、ADRCコード（ADRC値）等の画像特徴量を抽出（算出）し、処理は、ステップＳ６２に進む。
ステップＳ６２では、クラス分類部２３は、注目画素についての必要な符号化情報を取得し、あらかじめ決められた規則に従って、符号化情報を、情報コードに変換して、処理は、ステップＳ６３に進む。
すなわち、例えば、符号化情報が、Iピクチャ、Pピクチャ、又は、Bピクチャを表すピクチャタイプである場合、Iピクチャ、Pピクチャ、及び、Bピクチャには、例えば、情報コード0,1,2がそれぞれ割り当てられており、その割り当てに従い、注目画素のピクチャタイプが、情報コードに変換される。
ステップＳ６３では、クラス分類部２３は、画像特徴量及び情報コードから、注目画素のクラスを表すクラスコードを生成し、係数取得部１５１に供給して、ステップＳ５３のクラス分類を終了する。
例えば、画像特徴量がADRCコードである場合には、クラス分類部２３は、画像特徴量としてのADRCコードの上位ビットに、情報コードを付加して得られる数値を、注目画素のクラスを表すクラスコードとして生成する。
ステップＳ５３のクラス分類が終了すると、処理は、ステップＳ５４に進み、係数取得部１５１が、記憶部１６２（図１６）に記憶されたクラスごとのタップ係数から、クラス分類部２３から供給されるクラスコードが表すクラスのタップ係数を取得し、予測演算部２５に供給して、処理は、ステップＳ５５に進む。
ここで、係数取得部１５１（図１６）の記憶部１６２に記憶されるクラスごとのタップ係数は、図１７のステップＳ２０において、削減装置１３２からの削減フィルタ情報としての選択係数を用いて更新されている。
ステップＳ５５では、予測演算部２５は、タップ選択部２１からの予測タップと、係数取得部１５１からのタップ係数とを用いて、式（１）予測演算を行う。これにより、予測演算部２５は、注目画素に対応する元画像の対応画素の画素値の予測値を、フィルタ後画像の画素値として求め、処理は、ステップＳ５６に進む。
ステップＳ５６では、タップ選択部２１が、演算部１１０からの復号途中画像（としてのブロック）の画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ５６において、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ５６において、まだ、注目画素とされていない画素がないと判定された場合、処理は、ステップＳ５７に進み、予測演算部２５は、演算部１１０からの復号途中画像（としてのブロック）に対して得られた画素値で構成されるフィルタ後画像を、フレームメモリ１１２（図９）に供給する。そして、クラス分類適応処理は終了され、処理はリターンする。
以上のように、図９の符号化装置１１では、すべてのクラスの最新係数ではなく、選択係数として選択されたクラスの最新係数が、削減フィルタ情報として伝送されるので、すべてのクラスの最新係数が伝送される場合に比較して、圧縮効率を向上させることができる。
ここで、クラス分類適応処理に用いるクラス数を大にすることにより、基本的には、復号画像のS/Nを向上させることができる。しかしながら、クラス数を大にした場合、そのようなクラス数のタップ係数を、符号化装置１１から復号装置１２に伝送するのでは、圧縮効率が低下する。
そこで、符号化装置１１では、クラスごとの最新係数としてのタップ係数のうちの、メリット判定値が優れている（本実施の形態では、閾値以上になっている）クラスのタップ係数を、選択係数として選択し、すべてのクラスのタップ係数ではなく、選択係数だけを伝送する。これにより、復号画像のS/Nを向上させるとともに、圧縮効率を向上させることができる。
ここで、メリット判定値が優れていない最新係数のクラス（以下、非更新クラスともいう）については、例えば、最新係数と現在係数とが同様の値になる。最新係数と現在係数とが同様の値になる場合としては、例えば、最新係数のタップ係数学習に用いられた元画像（及び復号途中画像）と、現在係数のタップ係数学習に用いられた元画像（及び復号途中画像）とが、同一性がある画像である場合がある。
つまり、非更新クラスについては、現在係数のタップ係数学習に用いられた、時間的に過去の元画像から、最新係数のタップ係数学習に用いられた、時間的に最近の元画像までの間の元画像の系列に、いわば時間方向の同一性があり、その時間方向の同一性に起因して、最新係数と現在係数とが同様の値になる。
そして、最新係数が、現在係数と同様の値であれば、クラス分類適応処理において、最新係数を用いた場合でも、現在係数を用いた場合でも、復号画像のS/Nに、ほとんど影響はない。
そこで、符号化装置１１では、復号画像のS/Nにほとんど影響がない非更新クラスの最新係数を伝送しないこととして、圧縮効率を向上させる。したがって、かかる圧縮率の向上は、元画像（あるいは、タップ係数）の時間方向の同一性を利用した圧縮率の向上であるということができる。
＜復号装置１２の第１の構成例＞
図２０は、図１の復号装置１２の第１の構成例を示すブロック図である。
図２０において、復号装置１２は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、クラス分類適応フィルタ２０６、並べ替えバッファ２０７、及び、D/A変換部２０８を有する。また、復号装置１２は、フレームメモリ２１０、選択部２１１、イントラ予測部２１２、動き予測補償部２１３、及び、選択部２１４を有する。
蓄積バッファ２０１は、符号化装置１１から伝送されてくる符号化データを一時蓄積し、所定のタイミングにおいて、その符号化データを、可逆復号部２０２に供給する。
可逆復号部２０２は、蓄積バッファ２０１からの符号化データを取得する。したがって、可逆復号部２０２は、符号化装置１１から伝送されてくる符号化データ、ひいては、符号化データに含まれる符号化情報や削減フィルタ情報を受け取る受け取り部として機能する。
可逆復号部２０２は、蓄積バッファ２０１から取得した符号化データを、図９の可逆符号化部１０６の符号化方式に対応する方式で復号する。
そして、可逆復号部２０２は、符号化データの復号により得られる量子化係数を、逆量子化部２０３に供給する。
また、可逆復号部２０２は、符号化データの復号により、符号化情報や削減フィルタ情報が得られた場合には、必要な符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。
さらに、可逆復号部２０２は、符号化情報及び削減フィルタ情報を、クラス分類適応フィルタ２０６に供給する。
逆量子化部２０３は、可逆復号部２０２からの量子化係数を、図９の量子化部１０５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる変換係数を、逆直交変換部２０４に供給する。
逆直交変換部２０４は、逆量子化部２０３から供給される変換係数を、図９の直交変換部１０４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部２０５に供給する。
演算部２０５には、逆直交変換部２０４から残差が供給される他、選択部２１４を介して、イントラ予測部２１２又は動き予測補償部２１３から予測画像が供給される。
演算部２０５は、逆直交変換部２０４からの残差と、選択部２１４からの予測画像とを加算し、復号途中画像を生成して、クラス分類適応フィルタ２０６、又は、並べ替えバッファ２０７及びフレームメモリ２１０に供給する。例えば、復号途中画像のうちの、イントラ予測に用いる参照画像となる復号途中画像は、並べ替えバッファ２０７及びフレームメモリ２１０に供給され、他の復号途中画像は、クラス分類適応フィルタ２０６に供給される。
クラス分類適応フィルタ２０６は、図９のクラス分類適応フィルタ１１１と同様に、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF（の）処理を行う。
すなわち、クラス分類適応フィルタ２０６は、演算部２０５からの復号途中画像を第１の画像として、可逆復号部２０２からの削減フィルタ情報を用いて得られるクラスごとのタップ係数を用いたクラス分類適応処理（による画像変換）を、可逆復号部２０２からの符号化情報を必要に応じて用いて行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）出力する。
クラス分類適応フィルタ２０６が出力するフィルタ後画像は、図９のクラス分類適応フィルタ１１１が出力するフィルタ後画像と同様の画像であり、並べ替えバッファ２０７及びフレームメモリ２１０に供給される。
並べ替えバッファ２０７は、演算部２０５から供給される復号途中画像や、クラス分類適応フィルタ２０６から供給されるフィルタ後画像を、復号画像として一時記憶し、復号画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部２０８に供給する。
D/A変換部２０８は、並べ替えバッファ２０７から供給される復号画像をD/A変換し、図示せぬディスプレイに出力して表示させる。
フレームメモリ２１０は、演算部２０５から供給される復号途中画像や、クラス分類適応フィルタ２０６から供給されるフィルタ後画像を、復号画像として一時記憶する。さらに、フレームメモリ２１０は、所定のタイミングにおいて、又は、イントラ予測部２１２や動き予測補償部２１３等の外部の要求に基づいて、復号画像を、予測画像の生成に用いる参照画像として、選択部２１１に供給する。
選択部２１１は、フレームメモリ２１０から供給される参照画像の供給先を選択する。選択部２１１は、イントラ符号化された画像を復号する場合、フレームメモリ２１０から供給される参照画像をイントラ予測部２１２に供給する。また、選択部２１１は、インター符号化された画像を復号する場合、フレームメモリ２１０から供給される参照画像を動き予測補償部２１３に供給する。
イントラ予測部２１２は、可逆復号部２０２から供給される符号化情報に含まれる予測モードに従い、図９のイントラ予測部１１４において用いられたイントラ予測モードで、フレームメモリ２１０から選択部２１１を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部２１２は、イントラ予測により得られる予測画像を、選択部２１４に供給する。
動き予測補償部２１３は、可逆復号部２０２から供給される符号化情報に含まれる予測モードに従い、図９の動き予測補償部１１５において用いられたインター予測モードで、フレームメモリ２１０から選択部２１１を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部２０２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
動き予測補償部２１３は、インター予測により得られる予測画像を、選択部２１４に供給する。
選択部２１４は、イントラ予測部２１２から供給される予測画像、又は、動き予測補償部２１３から供給される予測画像を選択し、演算部２０５に供給する。
＜クラス分類適応フィルタ２０６の構成例＞
図２１は、図２０のクラス分類適応フィルタ２０６の構成例を示すブロック図である。
図２１において、クラス分類適応フィルタ２０６は、画像変換装置２３１を有する。
画像変換装置２３１には、演算部２０５（図２０）から復号途中画像が供給されるとともに、可逆復号部２０２から削減フィルタ情報、及び、符号化情報が供給される。
画像変換装置２３１は、図１０の画像変換装置１３３と同様に、復号途中画像を第１の画像として、クラスごとのタップ係数を用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、並べ替えバッファ２０７及びフレームメモリ２１０（図２０）に供給する。
なお、画像変換装置２３１は、図１０の画像変換装置１３３と同様に、クラス分類適応処理において用いるタップ係数を、削減フィルタ情報を用いて得る（更新する）。
また、画像変換装置２３１は、クラス分類適応処理において、図１０の画像変換装置１３３と同様に、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜画像変換装置２３１の構成例＞
図２２は、図２１の画像変換装置２３１の構成例を示すブロック図である。
図２２において、画像変換装置２３１は、タップ選択部２４１及び２４２、クラス分類部２４３、係数取得部２４４、並びに、予測演算部２４５を有する。
タップ選択部２４１ないし予測演算部２４５は、画像変換装置１３３（図１５）を構成するタップ選択部２１ないしクラス分類部２３、係数取得部１５１、及び、予測演算部２５とそれぞれ同様に構成される。
タップ選択部２４１及び２４２には、演算部２０５（図２０）から復号途中画像が供給される。
タップ選択部２４１は、演算部２０５からの復号途中画像を第１の画像として、復号途中画像の画素を、順次、注目画素に選択する。
さらに、タップ選択部２４１は、注目画素について、復号途中画像から、図１５のタップ選択部２１で選択される予測タップと同一構造の予測タップを選択し、予測演算部２４５に供給する。
タップ選択部２４２は、注目画素について、演算部２０５からの復号途中画像を第１の画像として、復号途中画像の画素から、図１５のタップ選択部２２で選択されるクラスタップと同一構造のクラスタップを選択し、クラス分類部２４３に供給する。
クラス分類部２４３には、タップ選択部２４２からクラスタップが供給される他、可逆復号部２０２（図２０）から、符号化情報が供給される。
クラス分類部２４３は、タップ選択部２４２からのクラスタップ、及び、可逆復号部２０２からの符号化情報を用いて、図１５のクラス分類部２３と同一のクラス分類を行い、注目画素のクラス（を表すクラスコード）を、係数取得部２４４に供給する。
係数取得部２４４には、クラス分類部２４３から注目画素のクラスが供給される他、可逆復号部２０２から削減フィルタ情報が供給される。
係数取得部２４４は、可逆復号部２０２からの削減フィルタ情報としての選択係数を用いて、クラス分類適応処理に用いるクラスごとのタップ係数を得る。そして、係数取得部２４４は、削減フィルタ情報としての選択係数を用いて得られたクラスごとのタップ係数から、クラス分類部２４３からの注目画素のクラスのタップ係数を取得し、予測演算部２４５に供給する。
予測演算部２４５は、タップ選択部２４１からの予測タップと、係数取得部２４４からのタップ係数とを用いて、式（１）の予測演算を行い、復号途中画像の注目画素に対応する元画像の対応画素の画素値の予測値を、第２の画像としてのフィルタ後画像の画素の画素値として求めて出力する。
図２３は、図２２の係数取得部２４４の構成例を示すブロック図である。
図２３において、係数取得部２４４は、更新部２５１、記憶部２５２、及び、取得部２５３を有する。
更新部２５１には、可逆復号部２０２（図２０）から、削減フィルタ情報としての選択係数が供給される。
更新部２５１は、可逆復号部２０２からの削減フィルタ情報としての選択係数によって、記憶部２５２に記憶された現在係数としてのクラスごとのタップ係数を更新する。
記憶部２５２は、クラスごとのタップ係数を記憶する。
ここで、図１６で説明したように、符号化装置１１では、例えば、電源がオンにされたタイミングや、元画像のシーケンスの符号化が開始されるタイミング等の初期化タイミングにおいて、削減装置１３２（図１０）が、学習装置１３１からの最新係数としてのすべてのクラスのタップ係数を、選択係数に選択し、削減フィルタ情報として、可逆符号化部１０６に出力する。
したがって、初期化タイミングでは、符号化装置１１から復号装置１２に伝送されてくる削減フィルタ情報は、すべてのクラスのタップ係数（最新係数）になっており、更新部２５１は、その削減フィルタ情報としてのすべてのクラスのタップ係数を、記憶部２５２に記憶させる。
画像変換装置２３１（図２２）では、以上のように記憶部２５２に記憶されたクラスごとのタップ係数を現在係数として、クラス分類適応処理が行われる。
そして、その後、更新タイミングとなって、符号化装置１１から復号装置１２に、削減フィルタ情報が伝送されてくると、更新部２５１は、符号化装置１１からの削減フィルタ情報としての選択係数によって、記憶部２５２に記憶された現在係数としてのタップ係数のうちの、選択係数のクラスの現在係数を、選択係数に更新する。
取得部２５３には、クラス分類部２４３から、注目画素のクラス（のクラスコード）が供給される。取得部２５３は、記憶部２５２に記憶された現在係数から、注目画素のクラスの現在係数としてのタップ係数を取得し、予測演算部２４５に供給する。
＜復号処理＞
図２４は、図２０の復号装置１２の復号処理の例を説明するフローチャートである。
なお、図２４等に示す復号処理の各ステップの順番は、説明の便宜上の順番であり、実際の復号処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する復号処理についても、同様である。
復号処理では、ステップＳ７１において、蓄積バッファ２０１は、符号化装置１１から伝送されてくる符号化データを一時蓄積し、適宜、可逆復号部２０２に供給して、処理は、ステップＳ７２に進む。
ステップＳ７２では、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを受け取って復号し、その復号により得られる量子化係数を、逆量子化部２０３に供給する。
また、可逆復号部２０２は、符号化データの復号により、符号化情報や削減フィルタ情報が得られた場合、必要な符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。
さらに、可逆復号部２０２は、符号化情報及び削減フィルタ情報を、クラス分類適応フィルタ２０６に供給する。
その後、処理は、ステップＳ７２からステップＳ７３に進み、クラス分類適応フィルタ２０６は、可逆復号部２０２から削減フィルタ情報が供給されたかどうかを判定する。
ステップＳ７３において、削減フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ７４をスキップして、ステップＳ７５に進む。
また、ステップＳ７３において、削減フィルタ情報が供給されたと判定された場合、処理は、ステップＳ７４に進み、クラス分類適応フィルタ２０６の画像変換装置２３１（図２２）を構成する係数取得部２４４（図２３）の更新部２５１が、可逆復号部２０２からの削減フィルタ情報としての選択係数を取得し、その削減フィルタ情報としての選択係数により、記憶部２５２に記憶された現在係数としてのクラスごとのタップ係数を更新する。
そして、処理は、ステップＳ７４からステップＳ７５に進み、予測復号処理が行われ、復号処理は終了する。
図２５は、図２４のステップＳ７５の予測復号処理の例を説明するフローチャートである。
ステップＳ８１において、逆量子化部２０３は、可逆復号部２０２からの量子化係数を逆量子化し、その結果得られる変換係数を、逆直交変換部２０４に供給して、処理は、ステップＳ８２に進む。
ステップＳ８２では、逆直交変換部２０４は、逆量子化部２０３からの変換係数を逆直交変換し、その結果得られる残差を、演算部２０５に供給して、処理は、ステップＳ８３に進む。
ステップＳ８３では、イントラ予測部２１２又は動き予測補償部２１３が、フレームメモリ２１０から選択部２１１を介して供給される参照画像、及び、可逆復号部２０２から供給される符号化情報を用いて、予測画像を生成する予測処理を行う。そして、イントラ予測部２１２又は動き予測補償部２１３は、予測処理により得られる予測画像を、選択部２１４に供給し、処理は、ステップＳ８３からステップＳ８４に進む。
ステップＳ８４では、選択部２１４は、イントラ予測部２１２又は動き予測補償部２１３から供給される予測画像を選択し、演算部２０５に供給して、処理は、ステップＳ８５に進む。
ステップＳ８５では、演算部２０５は、逆直交変換部２０４からの残差と、選択部２１４からの予測画像を加算することにより、復号途中画像を生成する。そして、演算部２０５は、復号途中画像を、クラス分類適応フィルタ２０６、又は、並べ替えバッファ２０７及びフレームメモリ２１０に供給して、処理は、ステップＳ８５からステップＳ８６に進む。
演算部２０５からクラス分類適応フィルタ２０６に、復号途中画像が供給される場合、ステップＳ８６において、クラス分類適応フィルタ２０６は、演算部２０５からの復号途中画像に、ILFの処理としてのクラス分類適応処理（クラス分類適応フィルタ処理）を施す。復号途中画像に、クラス分類適応処理が施されることにより、符号化装置１１の場合と同様に、復号途中画像をILFでフィルタリングする場合よりも元画像に近いフィルタ後画像が求められる。
クラス分類適応フィルタ２０６は、クラス分類適応処理により得られるフィルタ後画像を、並べ替えバッファ２０７及びフレームメモリ２１０に供給して、処理は、ステップＳ８６からステップＳ８７に進む。
ステップＳ８７では、並べ替えバッファ２０７は、演算部２０５から供給される復号途中画像、又は、クラス分類適応フィルタ２０６から供給されるフィルタ後画像を、復号画像として一時記憶する。さらに、並べ替えバッファ２０７は、記憶した復号画像を、表示順に並べ替えて、D/A変換部２０８に供給し、処理は、ステップＳ８７からステップＳ８８に進む。
ステップＳ８８では、D/A変換部２０８は、並べ替えバッファ２０７からの復号画像をD/A変換し、処理は、ステップＳ８９に進む。D/A変換後の復号画像は、図示せぬディスプレイに出力されて表示される。
ステップＳ８９では、フレームメモリ２１０は、演算部２０５から供給される復号途中画像、又は、クラス分類適応フィルタ２０６から供給されるフィルタ後画像を、復号画像として記憶し、復号処理は終了する。フレームメモリ２１０に記憶された復号画像は、ステップＳ８３の予測処理で、予測画像を生成する元となる参照画像として使用される。
図２６は、図２４のステップＳ８６で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ２０６の画像変換装置２３１（図２２）では、ステップＳ９１において、タップ選択部２４１が、演算部２０５から供給される復号途中画像（としてのブロック）の画素のうちの、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ９２に進む。
ステップＳ９２において、タップ選択部２４１及び２４２が、演算部２０５から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を、それぞれ選択する。そして、タップ選択部２４１は、予測タップを予測演算部２４５に供給し、タップ選択部２４２は、クラスタップを、クラス分類部２４３に供給する。
その後、処理は、ステップＳ９２からステップＳ９３に進み、クラス分類部２４３は、タップ選択部２４２から供給される注目画素についてのクラスタップ、及び、可逆復号部２０２から供給される注目画素についての符号化情報を用いて、図１９で説明した場合と同様の、注目画素のクラス分類を行う。
クラス分類部２４３は、クラス分類により得られる注目画素のクラスを表すクラスコードを生成し、係数取得部２４４に供給して、処理は、ステップＳ９３からステップＳ９４に進む。
ステップＳ９４では、係数取得部２４４が、図２４のステップＳ７４で更新された記憶部２５２（図２３）に記憶されたタップ係数からクラス分類部２４３から供給されるクラスコードが表すクラスのタップ係数を取得し、予測演算部２４５に供給して、処理は、ステップＳ９５に進む。
ステップＳ９５では、予測演算部２４５は、タップ選択部２４１からの予測タップと、係数取得部２４４からのタップ係数とを用いて、式（１）予測演算を行う。これにより、予測演算部２４５は、注目画素に対応する元画像の対応画素の画素値の予測値を、フィルタ後画像の画素値として求め、処理は、ステップＳ９６に進む。
ステップＳ９６では、タップ選択部２４１が、演算部２０５からの復号途中画像（としてのブロック）の画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ９６において、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ９１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ９６において、まだ、注目画素とされていない画素がないと判定された場合、処理は、ステップＳ９７に進み、予測演算部２４５は、演算部２０５からの復号途中画像（としてのブロック）に対して得られた画素値で構成されるフィルタ後画像を、並べ替えバッファ２０７及びフレームメモリ２１０（図９）に供給する。そして、クラス分類適応処理は終了され、処理はリターンする。
以上のように、図９の符号化装置１１及び図２０の復号装置１２では、ILF処理を、クラス分類適応処理によって行うので、ILFの処理結果よりも元画像に近いフィルタ後画像を得ることができる。その結果、復号画像のS/Nを改善することができる。さらに、元画像に近いフィルタ後画像を得ることができることから、残差が小さくなるので、圧縮効率を改善することができる。また、符号化装置１１では、リミット判定値が閾値以上のクラスの最新係数を選択することで、クラスごとのタップ係数を削減した削減フィルタ情報を生成し、復号装置１２に対して、すべてのクラスの最新係数としてのタップ係数ではなく、削減フィルタ情報を伝送するので、圧縮効率を、より改善することができる。
なお、ILFとしては、例えば、ブロックノイズを低減するためのDF(Deblocking Filter)、リンギングを低減するためのSAO(Sample Adaptive Offset)、符号化誤差（復号画像の、元画像に対する誤差）を最小化するためのALF(Adaptive Loop Filter)がある。
DFは、量子化パラメータQPや、ブロックの境界の画素であるか否かによって、フィルタ強度を制御することで、ブロックノイズ（歪み）を低減する。
しかしながら、DFでは、ブロックに適用することができるフィルタ強度が、2種類と少ない。さらに、DFでは、フィルタ強度の制御の単位がスライスであり、画素ごとにフィルタ強度を制御することができない。
SAOでは、エッジ周辺のノイズを低減するか、又は、DC補正を行うかのフィルタモードが、CTUごとに切り替えられ、オフセット値を画素ごとに判定することで、リンギングの低減やDC補正が行われる。
しかしながら、SAOでは、フィルターモートの切り替えを、画素ごとに行うことが困難である。さらに、SAOでは、ノイズの低減と、DC補正とのうちのいずれかの処理しか行うことができず、両方の処理を同時に行うことができない。
ALFは、エッジの方向とアクティビティを用いて、15のクラスに分類するクラス分類を行い、クラスごとに、統計的に最適に作られたフィルタ係数によるフィルタ処理を行う。
しかしながら、ALFでは、フィルタ処理の単位が4×4画素単位であるために、画素ごとに、その画素の周辺の波形パターンやブロック位相に応じた細かいフィルタ強度の制御を行うことができない。さらに、ALFでは、クラス分類の対象となるクラス数が15クラスと少ないため、かかる点からも、細かいフィルタ強度の制御を行うことができない。
これに対して、クラス分類適応処理では、画素ごとに、ALFの15クラスよりも多いクラス数を対象としてクラス分類を行い、学習により得られる統計的に最適なタップ係数を用いて、復号途中画像をフィルタ後画像に画像変換するフィルタ処理を行うので、既存のILFよりも画質(S/N)を、大きく改善することができる。
特に、クラス分類適応処理では、画素ごとに、その画素の周辺の波形パターンを表現する画像特徴量としてのADRCコードや、ダイナミックレンジ等の画像特徴量と、量子化パラメータQPや、ピクチャタイプ、ブロック位相等の符号化情報とを用いてクラス分類を行うことで、フィルタ後画像として、元画像に極めて近い画像を得ることができる。その結果、予測符号化において、ILFを用いない場合は勿論、ILFを用いる場合と比較しても、画像のS/N及び圧縮効率を、大きく改善することができる。
また、クラス分類適応処理では、フィルタ処理としての式（１）の予測演算に用いるタップ係数について、ALFのような点対称の制約や、フィルタ係数を13個とする制約はなく、そのため、フィルタ後画像の、元画像に対する統計的な誤差を、ALFよりも小さくするタップ係数を、学習により求めることができる。
さらに、クラス分類適応処理では、例えば、タップ係数のデータ量と、復号画像のS/N及び圧縮効率とを考慮して、タップ係数の数、すなわち、予測タップを構成する画素の数や、予測タップの構造を設計することができる。
また、クラス分類適応処理では、注目画素のフレームだけではなく、そのフレームの前後のフレームの画素も含めて、予測タップを構成することができる。
以上のように、クラス分類適応処理では、画素ごとに、クラス分類、及び、フィルタ処理としての式（１）の予測演算が行われるので、画素ごとに、その画素に適したフィルタ処理の効果を生じさせることができる。
その結果、例えば、エッジやテクスチャを潰しすぎずに、NR(Noise Reduction)の効果を生じさせることや、リンギングを抑制することができる。すなわち、例えば、エッジ部分の画素については、そのエッジ部分を維持し（ディテールを残し）、平坦部分の画素については、ノイズを十分に除去することができる。
また、クラス分類適応処理では、例えば、クラス分類を、ブロック位相等の符号化情報を用いて行うことで、注目画素がブロックの境界の画素であるかどうかによって、NRの効果を調整することができる。その結果、例えば、ブロック歪みが生じている画素に、そのブロック歪みを除去するのに適切なフィルタ処理を施すとともに、ブロック歪み以外のノイズが生じている画素に、そのノイズを除去するのに適切なフィルタ処理を施すことができる。
さらに、クラス分類適応処理では、例えば、注目画素のフレームだけではなく、そのフレームの前後のフレームの画素も含めて、予測タップを構成することで、動きぼけ等の動きに起因する画質の劣化を改善することができる。
ここで、本技術では、クラス分類適応処理が、符号化装置１１及び復号装置１２内で扱われる復号途中画像を対象として行われるので、ブロック位相、さらには、ブロック位相を特定するのに必要なブロックに関する情報（例えば、ブロックのサイズや、ブロックの境界等）は、符号化処理や復号処理において得ることができる。
一方、例えば、特許第4770711号公報には、MPEGデコーダが出力する復号画像を、ブロック位相を用いたクラス分類適応処理により高画質化する技術が記載されている。特許第4770711号公報に記載の技術では、MPEGデコーダの外部で、MPEGデコーダが出力する復号画像を対象としたクラス分類適応処理が行われるため、ブロックに関する情報は、決め打ちするか、又は、何らかの方法で検出する必要がある。
なお、図９の符号化装置１１の第１の構成例では、クラス分類適応処理によって、ILF、すなわち、DF，SAO、及び、ALFのすべての処理を行うこととしたが、クラス分類適応処理では、ILFのすべてではなく、DF，SAO、及び、ALFのうちの１つ又は２つの処理を行うことができる。図２０の復号装置１２の第１の構成例、並びに、後述する符号化装置１１及び復号装置１２の他の構成例でも、同様である。
＜符号化装置１１の第２の構成例＞
図２７は、図１の符号化装置１１の第２の構成例を示すブロック図である。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２７において、符号化装置１１は、A/D変換部１０１ないし演算部１１０、フレームメモリ１１２ないしレート制御部１１７、及び、クラス分類適応フィルタ３１１を有する。
したがって、図２７の符号化装置１１は、A/D変換部１０１ないし演算部１１０、及び、フレームメモリ１１２ないしレート制御部１１７を有する点で、図９の場合と共通する。
但し、図２７の符号化装置１１は、クラス分類適応フィルタ１１１に代えて、クラス分類適応フィルタ３１１を有する点で、図９の場合と相違する。
クラス分類適応フィルタ３１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う点で、クラス分類適応フィルタ１１１と共通する。
但し、クラス分類適応フィルタ３１１では、タップ係数学習により求められた複数のクラスのタップ係数が削減処理により削減されることで、その複数のクラスの数以下のクラスに統合した統合クラスごとのタップ係数と、元の複数のクラスと統合クラスとの対応関係を表す対応関係情報としての対応関係LUT(Look Up Table)とが、削減フィルタ情報として生成される点で、クラス分類適応フィルタ３１１は、クラス分類適応フィルタ１１１と相違する。
さらに、クラス分類適応フィルタ３１１は、削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTを用いてクラス分類適応処理を行う点で、クラス分類適応フィルタ１１１と相違する。
＜クラス分類適応フィルタ３１１の構成例＞
図２８は、図２７のクラス分類適応フィルタ３１１の構成例を示すブロック図である。
なお、図中、図１０のクラス分類適応フィルタ１１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２８において、クラス分類適応フィルタ３１１は、学習装置１３１、削減装置（削減部）３２１、及び、画像変換装置３２２を有する。
したがって、クラス分類適応フィルタ３１１は、学習装置１３１を有する点で、図１０のクラス分類適応フィルタ１１１と共通する。
但し、クラス分類適応フィルタ３１１は、削減装置１３２及び画像変換装置１３３に代えて、削減装置３２１及び画像変換装置３２２をそれぞれ有する点で、クラス分類適応フィルタ１１１と相違する。
削減装置３２１には、学習装置１３１から、タップ係数学習で得られた複数のクラスのタップ係数が供給される。
ここで、学習装置１３１においてタップ係数が求められるクラスを、初期クラスともいう。また、初期クラスの数（全クラス数）は、C個（クラス）であることとする。
削減装置３２１は、学習装置１３１からのC個の初期クラスのタップ係数を削減した削減フィルタ情報を生成する削減処理を行い、その削減処理により得られる削減フィルタ情報を、画像変換装置３２２及び可逆符号化部１０６（図２７）に供給する。
すなわち、削減装置３２１は、削減処理において、C個の初期クラスごとのタップ係数を、C個以下の数であるU個のクラスに統合した統合クラスごとのタップ係数を生成する。
さらに、削減装置３２１は、初期クラスと統合クラスとの対応関係を表す対応関係情報としての対応関係LUTを生成する。
そして、削減装置３２１は、U個の統合クラスごとのタップ係数、及び、対応関係LUTを、削減フィルタ情報として、画像変換装置３２２及び可逆符号化部１０６（図２７）に供給する。
画像変換装置３２２には、演算部１１０（図２７）から復号途中画像が供給されるとともに、削減装置３２１から削減フィルタ情報が供給される。さらに、画像変換装置３２２には、符号化情報が供給される。
画像変換装置３２２は、復号途中画像を第１の画像として、削減装置３２１からの削減フィルタ情報としての統合クラスごとのタップ係数（削減フィルタ情報を用いて得られるタップ係数）及び対応関係LUTを用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、フレームメモリ１１２（図２７）に供給する。
なお、画像変換装置３２２は、クラス分類適応処理において、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜削減装置３２１の削減処理の例＞
図２９は、削減装置３２１の削減処理の例を説明する図である。
図２９では、クラス分類適応処理に用いるタップ係数の更新タイミングにおいて、学習装置１３１でのタップ係数学習により、C個の初期クラス0,1,...C-1のタップ係数が求められている。
削減装置３２１は、C個の初期クラス0ないしC-1のうちの２以上の初期クラスを、統合候補クラスとして統合した場合の統合クラスごとのタップ係数をクラス分類適応処理（の式（１）の予測演算）に用いる適切さを表すタップ係数評価値を算出する。
さらに、削減装置３２１は、タップ係数評価値に応じて、統合候補クラスを統合し、その統合後のクラスごとのタップ係数を対象として、同様の統合を繰り返す。そして、削減装置３２１は、その統合により最終的に得られる、C個以下のU個のクラス（統合クラス）0,1,...,U-1のタップ係数を、削減フィルタ情報として出力する。
また、削減装置３２１は、初期クラスと統合クラスと対応関係LUTを生成し、削減フィルタ情報として出力する。
図２９では、例えば、初期クラス0は、他のクラスとは統合されずに、そのまま、統合クラス0になっている。また、例えば、初期クラス1及び2は、統合クラス1に統合されている。そのため、図２９の対応関係LUTでは、初期クラス0と統合クラス0とが対応付けられるとともに、初期クラス1及び2と統合クラス1とが対応付けられている。
画像変換装置３２２（図２８）で行われるクラス分類適応処理では、クラス分類により得られる注目画素のクラスとしての初期クラスが、削減フィルタ情報としての対応関係LUTに従い、統合クラスに変換される。そして、削減フィルタ情報としての統合クラスごとのタップ係数から、注目画素の統合クラスのタップ係数が取得され、そのタップ係数を用いて、予測演算が行われる。
ここで、タップ係数評価値としては、例えば、RDコストに対応する値を採用することができる。例えば、タップ係数評価値として、RDコストを採用し、RDコストが向上するように、初期クラスから統合候補クラスを選択して統合を行うことができる。さらに、クラスの統合は、例えば、RDコストが向上しなくなるまで繰り返し行うこと（RDコストが向上する限り続行すること）ができる。
以上のように、タップ係数評価値として、RDコストを採用し、そのRDコストに応じて、統合候補クラスの選択と統合とを繰り返すことにより、統合を行うクラスの最適化、及び、統合により最終的に得られる統合クラスの個数Uの最適化を図り、ひいては、圧縮効率及び復号画像のS/Nを向上させることができる。
また、タップ係数評価値としては、例えば、異なるクラスのタップ係数どうしの係数間距離に対応する値を採用することができる。例えば、タップ係数評価値として、異なるクラスのタップ係数どうしの係数間距離を採用し、係数間距離が近いクラスがなくなるように、統合候補クラスの選択と統合とを繰り返すことができる。
さらに、タップ係数評価値としては、例えば、フィルタ後画像のS/Nに対応する値を採用することができる。例えば、タップ係数評価値として、フィルタ後画像のS/Nを採用し、フィルタ後画像のS/Nが向上するように、統合候補クラスの選択と統合とを繰り返すことができる。
また、タップ係数評価値としては、例えば、タップ係数がクラス分類適応処理に用いられる使用頻度に対応する値を採用することができる。例えば、タップ係数評価値として、タップ係数の使用頻度を採用し、使用頻度が低いタップ係数のクラス、すなわち、注目画素のクラス分類結果として得られるクラスが少ないクラスが統合されて、タップ係数の使用頻度が低い統合クラスがなくなるように、統合候補クラスの選択と統合とを繰り返すことができる。
さらに、タップ係数評価値としては、例えば、特定の１クラスであるモノクラスのタップ係数と、他のクラスのタップ係数との差分に対応する値を採用することができる。
ここで、初期クラスの中の、ある１クラスのタップ係数としては、例えば、他のクラスのタップ係数の平均的なタップ係数（例えば、クラス数を１クラスとしてタップ係数学習を行うことにより得られるタップ係数）を採用することができる。いま、この１クラスを、モノクラスということとする。
タップ係数評価値としては、例えば、モノクラスのタップ係数と、他のクラスのタップ係数との差分絶対値和等を採用することができる。この場合、モノクラスのタップ係数との差分絶対値和が小さいタップ係数のクラスがなくなるように、統合候補クラスの選択と統合とを繰り返すことができる。
圧縮効率の向上、及び、復号画像のS/Nの向上の観点からは、タップ係数評価値として、RDコストに対応する値を採用することが望ましい。但し、タップ係数評価値として、RDコストを採用する場合には、タップ係数評価値の計算に、大きな計算コストを要する。タップ係数評価値として、例えば、上述の係数間距離や、フィルタ後画像のS/N、使用頻度、モノクラスのタップ係数との差分に対応する値を採用することにより、タップ係数評価値の計算に要する計算コストを削減することができる。
＜削減装置３２１の構成例＞
図３０は、図２８の削減装置３２１の構成例を示すブロック図である。
図３０において、削減装置３２１は、クラス統合部３３１、記憶部３３２、対応関係検出部３３３、及び、記憶部３３４を有する。
クラス統合部３３１には、学習装置１３１から初期クラスごとのタップ係数が供給される。
クラス統合部３３１は、学習装置１３１から初期クラスごとのタップ係数を、記憶部３３２に記憶された係数リスト（クラスごとのタップ係数を登録するリスト）に登録する。
さらに、クラス統合部３３１は、記憶部３３２の係数リストにタップ係数が登録されたクラスから、例えば、２つのクラスを統合候補クラスとして選択する。
そして、クラス統合部３３１は、統合候補クラスの統合前と統合後について、タップ係数評価値としてのRDコスト等を算出し、統合後の方が、統合前よりも、タップ係数評価値が改善する場合には、統合候補クラスのタップ係数を統合し、その統合後のクラスのタップ係数によって、記憶部３３２の係数リストを更新する（例えば、統合候補クラスのタップ係数を、統合後のクラスのタップ係数に書き換えてまとめる）。
ここで、２つのクラスC1及びC2のタップ係数の統合では、例えば、クラスC1及びC2のうちのいずれか一方のクラスのタップ係数や、クラスC1及びC2のタップ係数の平均値等を、統合後のクラスのタップ係数に採用することができる。
また、例えば、クラスC1及びC2のタップ係数を求めるときに用いられた式（８）における左辺の行列のコンポーネント（Σxn,kxn',k）と、右辺のベクトルのコンポーネント（Σxn,kyk）を保持しておき、クラスC1のタップ係数を求めるときに用いられた行列のコンポーネント（Σxn,kxn',k）、又は、ベクトルのコンポーネント（Σxn,kyk）と、クラスC2のタップ係数を求めるときに用いられた行列のコンポーネント（Σxn,kxn',k）、又は、ベクトルのコンポーネント（Σxn,kyk）とを足し込むことで、統合後のクラスについての行列のコンポーネント（Σxn,kxn',k）、又は、ベクトルのコンポーネント（Σxn,kyk）をそれぞれ求め、その統合後のクラスについての行列のコンポーネント（Σxn,kxn',k）、及び、ベクトルのコンポーネント（Σxn,kyk）で規定される式（８）に示した正規方程式を解くことで、クラスC1及びC2を統合した統合後のクラスのタップ係数を求めることができる。
クラス統合部３３１は、統合候補クラスのタップ係数を統合し、その統合後のクラスのタップ係数によって、記憶部３３２の係数リストを更新すると、統合したクラス（統合候補クラス）と、統合後のクラスとを表す統合情報を、対応関係検出部３３３に供給する。
記憶部３３２は、クラスごとのタップ係数が登録される係数リストを記憶している。
記憶部３３２の係数リストは、クラス統合部３３１によるクラスの統合により更新される。そして、クラス統合部３３１によるクラスの統合が終了すると、係数リストに登録されているタップ係数、すなわち、統合クラスのタップ係数は、削減フィルタ情報として、削減装置３２１から出力される。
対応関係検出部３３３は、クラス統合部３３１から供給される統合情報から、統合前のクラスと統合後のクラスとを検出し、その統合前のクラスと統合後のクラスとを対応付けるように、記憶部３３４の対応関係LUTを更新する。
記憶部３３４は、初期クラスと統合クラスとの対応関係が登録された対応関係LUTを記憶する。
記憶部３３４に記憶された対応関係LUTには、初期値として、例えば、初期クラスcと統合クラスcとを対応付ける情報が登録される。
そして、例えば、初期クラスc1とc2とが統合され、その統合後のクラスがクラスu1である場合には、初期クラスのc1及びc2と、統合クラスu1とを対応付けるように、対応関係LUTが、対応関係検出部３３３によって更新される。
＜画像変換装置３２２の構成例＞
図３１は、図２８の画像変換装置３２２の構成例を示すブロック図である。
なお、図中、図１５の画像変換装置１３３と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
図３１において、画像変換装置３２２は、タップ選択部２１ないしクラス分類部２３、予測演算部２５、及び、係数取得部３４１を有する。
したがって、画像変換装置３２２は、タップ係数選択部２１ないしクラス分類部２３、及び、予測演算部２５を有する点で、図１５の画像変換装置１３３と同様に構成される。
但し、画像変換装置３２２は、係数取得部１５１に代えて、係数取得部３４１を有する点で、画像変換装置１３３と相違する。
係数取得部３４１には、削減装置３２１から、削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTが供給される。
係数取得部３４１は、削減装置３２１からの削減フィルタ情報としての統合クラスごとのタップ係数を、クラス分類適応処理に用いるクラスごとのタップ係数として、その統合クラスごとのタップ係数から、注目画素の統合クラスのタップ係数を取得し、予測演算部２５に供給する。
すなわち、係数取得部３４１は、クラス分類部２３からの注目画素のクラス（初期クラス）を、削減装置３２１からの削減フィルタ情報としての対応関係LUTに従って、統合クラスに変換する。さらに、係数取得部３４１は、削減フィルタ情報としての統合クラスごとのタップ係数から、注目画素の統合クラスのタップ係数を取得し、予測演算部２５に供給する。
図３２は、図３１の係数取得部３４１の構成例を示すブロック図である。
図３２において、係数取得部３４１は、記憶部３５１、統合クラス変換部３５２、及び、取得部３５３を有する。
記憶部３５１には、削減装置３２１（図３０）から、削減フィルタ情報としての統合クラスごとのタップ係数が供給される。
記憶部３５１は、削減装置３２１からの削減フィルタ情報としての統合クラスごとのタップ係数を記憶する。
統合クラス変換部３５２には、クラス分類部２３から、注目画素のクラス分類結果としての初期クラスが供給される。さらに、統合クラス変換部３５２には、削減装置３２１から、削減フィルタ情報としての対応関係LUTが供給される。
統合クラス変換部３５２は、対応関係LUTに従い、注目画素の初期クラスを、注目画素の統合クラスに変換し、取得部３５３に供給する。
取得部３５３は、記憶部３５１に記憶された統合クラスごとのタップ係数から、統合クラス変換部３５２からの注目画素の統合クラスのタップ係数を取得し、予測演算部２５に供給する。
＜符号化処理＞
図３３は、図２７の符号化装置１１の符号化処理の例を説明するフローチャートである。
ステップＳ１１１において、クラス分類適応フィルタ３１１の学習装置１３１（図２８）は、図１７のステップＳ１１と同様に、現在のタイミングが、タップ係数の更新タイミングであるかどうかを判定する。
ステップＳ１１１において、現在のタイミングが、タップ係数の更新タイミングでないと判定された場合、処理は、ステップＳ１１２ないしＳ１２２をスキップして、ステップＳ１２３に進む。
また、ステップＳ１１１において、現在のタイミングが、タップ係数の更新タイミングであると判定された場合、処理は、ステップＳ１１２に進み、学習装置１３１は、図１７のステップＳ１２と同様に、タップ係数学習を行う。
そして、学習装置１３１は、タップ係数学習により得られたクラス（初期クラス）ごとのタップ係数を、削減装置３２１に供給し、処理は、ステップＳ１１２からステップＳ１１３に進む。
ステップＳ１１３では、削減装置３２１（図３０）のクラス統合部３３１が、学習装置１３１からタップ係数が供給された初期クラスごとのタップ係数を、記憶部３３２の係数リストに登録する。さらに、クラス統合部３３１は、係数リストにタップ係数が登録されているクラスのうちの２個のクラスの組み合わせすべてについて、係数間距離を算出し、処理は、ステップＳ１１３からステップＳ１１４に進む。
ステップＳ１１４では、クラス統合部３３１は、記憶部３３２（図３０）の係数リストにタップ係数が記憶されているクラスのうちの２個のクラスどうしの組み合わせの中で、係数間距離が最も近い組み合わせの２個のクラスを、統合候補クラスに選択し、処理は、ステップＳ１１５に進む。
ステップＳ１１５では、クラス統合部３３１は、２個の統合候補クラスを、１個のクラスに統合した場合の、統合後のクラスのタップ係数を算出し、処理は、ステップＳ１１６に進む。
ステップＳ１１６では、クラス統合部３３１は、直前のステップＳ１１５で、２個の統合候補クラスを１個のクラスに統合した後の統合クラスごとのタップ係数について、例えば、RDコスト等のタップ係数評価値を算出し、処理は、ステップＳ１１７に進む。
ここで、学習装置１３１において、初期クラスごとのタップ係数が得られた後、最初に、ステップＳ１１６が行われる場合には、２個の統合候補クラスを１個のクラスに統合した後の統合クラスごとのタップ係数について、タップ係数評価値が算出されるとともに、統合前のクラスごとのタップ係数、すなわち、初期クラスごとのタップ係数についても、タップ係数評価値が算出される。
ステップＳ１１７では、クラス統合部３３１は、２個の統合候補クラスを１個のクラスに統合した後の統合クラスごとのタップ係数についてのタップ係数評価値が、統合前のタップ係数評価値から改善するかどうかを判定する。
ステップＳ１１７において、２個の統合候補クラスを１個のクラスに統合した後の統合クラスごとのタップ係数についてのタップ係数評価値が改善すると判定された場合、処理は、ステップＳ１１８に進む。
ステップＳ１１８では、クラス統合部３３１は、２個の統合候補クラスを１個のクラスに統合した後の統合クラスごとのタップ係数によって、記憶部３３２（図３０）の係数リストを更新する。
さらに、クラス統合部３３１は、統合した２個の統合候補クラスと、統合後のクラスとを表す統合情報を、対応関係検出部３３３（図３０）に供給する。対応関係検出部３３３は、クラス統合部３３１から供給される統合情報に応じて、統合した２個の統合候補クラスと、統合後のクラスとを対応付けるように、記憶部３３４の対応関係LUTを更新し、処理は、ステップＳ１１８からステップＳ１１９に進む。
ステップＳ１１９では、クラス統合部３３１は、直前に行った２個の統合候補クラスの統合によって得られた統合後のクラス（以下、最新統合クラスともいう）と、記憶部３３２の係数リストにタップ係数が登録されている他のクラスとの組み合わせすべてについて係数間距離を算出する。
ここで、記憶部３３２の係数リストにタップ係数が登録されているクラスのうちの、最新統合クラス以外の２個のクラスの組み合わせについての係数間距離は、過去に行われたステップＳ１１３又はＳ１１９で、既に算出されているので、その既に算出されている係数間距離を利用して、以降の処理を行うことができる。
ステップＳ１１９において、係数間距離が算出された後、処理は、ステップＳ１１４に戻り、以下、同様の処理が繰り返される。
そして、ステップＳ１１７において、２個の統合候補クラスを１個のクラスに統合した後の統合クラスごとのタップ係数についてのタップ係数評価値が改善しないと判定された場合、すなわち、クラスの統合を行っても、タップ係数評価値としてのRDコストが、それ以上改善しない場合、処理は、ステップＳ１２０に進む。
ステップＳ１２０では、削減装置３２１は、記憶部３３２の係数リストに登録されたクラス（統合クラス）ごとのタップ係数と、記憶部３３４の対応関係LUTを、削減フィルタ情報として、可逆符号化部１０６（図２７）、及び、画像変換装置３２２（図２８）に出力し、処理は、ステップＳ１２１に進む。
ステップＳ１２１では、可逆符号化部１０６（図２７）は、削減装置３２１からの削減フィルタ情報を、伝送対象に設定して、処理は、ステップＳ１２２に進む。伝送対象に設定された削減フィルタ情報は、後述するステップＳ１２３で行われる予測符号化処理において符号化データに含められて伝送される。
ステップＳ１２２では、画素変換装置３２２（図３１）において、係数取得部３４１（図３２）の記憶部３５１が、その記憶部３５１に記憶されているクラスごとのタップ係数を、削減装置３２１からの削減フィルタ情報としての統合クラスごとのタップ係数に更新し（削減フィルタ情報としての統合クラスごとのタップ係数を上書きする形で記憶し）、処理は、ステップＳ１２３に進む。
ステップＳ１２３では、元画像の予測符号化処理が行われ、符号化処理は終了する。
図３４は、図３３のステップＳ１２３の予測符号化処理の例を説明するフローチャートである。
予測符号化処理では、ステップＳ１３１ないしＳ１４６において、図１８のステップＳ３１ないしＳ４６とそれぞれ同様の処理が行われる。
なお、ステップＳ１４２において、クラス分類適応フィルタ３１１は、図１８のステップＳ４２と同様に、演算部１１０からの復号途中画像に、ILFの処理としてのクラス分類適応処理を施すが、そのクラス分類適応処理では、図３３のステップＳ１２０で、削減装置３２１が画像変換装置３２２に出力する削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTが用いられる。
さらに、ステップＳ１４４では、可逆符号化部１０６は、図１８のステップＳ４４と同様に、量子化係数、符号化情報、及び、削減フィルタ情報を符号化するが、その削減フィルタ情報には、統合クラスごとのタップ係数、及び、対応関係LUTが含まれる。
したがって、可逆符号化部１０６で得られる符号化データには、量子化係数、符号化情報、並びに、削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTが含まれる。そして、かかる符号化データは、ステップＳ１４５で、図１８のステップＳ４５で説明したように、蓄積バッファ１０７から、適宜読み出されて伝送される。
図３５は、図３４のステップＳ１４２で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ３１１の画像変換装置３２２（図３１）では、ステップＳ１５１において、タップ選択部２１が、図１９のステップＳ５１と同様に、演算部１１０から供給される復号途中画像から、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ１５２に進む。
ステップＳ１５２では、タップ選択部２１及び２２が、図１９のステップＳ５２と同様に、演算部１１０から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を選択し、予測演算部２５及びクラス分類部２３に、それぞれ供給する。
その後、処理は、ステップＳ１５２からステップＳ１５３に進み、クラス分類部２３は、図１９のステップＳ５３と同様に、注目画素についてのクラスタップ、及び、注目画素についての符号化情報を用いて、注目画素のクラス分類を行う。
そして、クラス分類部２３は、注目画素のクラス分類により得られる注目画素の初期クラスを、係数取得部３４１に供給し、処理は、ステップＳ１５３からステップＳ１５４に進む。
ステップＳ１５４では、係数取得部３４１（図３２）の統合クラス変換部３５２が、クラス分類部２３から供給される注目画素の初期クラスを、図３３のステップＳ１２０で削減装置３２１から供給される削減フィルタ情報としての対応関係LUTに従って、注目画素の統合クラスに変換する。そして、統合クラス変換部３５２は、注目画素の統合クラスを、取得部３５３（図３２）に供給して、処理は、ステップＳ１５４からステップＳ１５５に進む。
ステップＳ１５５では、取得部３５３が、記憶部３５１に図３３のステップＳ１２２で記憶された統合クラスごとのタップ係数から、統合クラス変換部３５２からの注目画素の統合クラスのタップ係数を取得し、予測演算部２５に供給して、処理は、ステップＳ１５６に進む。
ステップＳ１５６ないしＳ１５８では、図１９のステップＳ５５ないしＳ５７とそれぞれ同様の処理が行われる。
以上のように、図２７の符号化装置１１では、タップ係数学習により得られた初期クラスごとのタップ係数ではなく、その初期クラスの数以下のクラスに統合した統合クラスごとのタップ係数と、初期クラスと統合クラスとの対応関係を表す対応関係情報としての対応関係LUTとが、削減フィルタ情報として伝送される。
また、初期クラスごとのタップ係数の統合は、統合クラスごとのタップ係数を、クラス分類適応処理に用いる適切さを表すタップ係数評価値としてのRDコストに応じて行われる。
したがって、初期クラスが、より少ない数の統合クラスに統合されることにより、初期クラスごとのタップ係数が伝送される場合に比較して、圧縮効率及び復号画像のS/Nを向上させることが可能となる。
＜復号装置１２の第２の構成例＞
図３６は、図１の復号装置１２の第２の構成例を示すブロック図である。
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３６において、復号装置１２は、蓄積バッファ２０１ないし演算部２０５、並べ替えバッファ２０７、D/A変換部２０８、フレームメモリ２１０ないし選択部２１４、及び、クラス分類適応フィルタ４１１を有する。
したがって、図３６の復号装置１２は、蓄積バッファ２０１ないし演算部２０５、並べ替えバッファ２０７、D/A変換部２０８、及び、フレームメモリ２１０ないし選択部２１４を有する点で、図２０の場合と共通する。
但し、図３６の復号装置１２は、クラス分類適応フィルタ２０６に代えて、クラス分類適応フィルタ４１１を有する点で、図２０の場合と相違する。
図３６の復号装置１２は、図２７の符号化装置１１から伝送されてくる符号化データを復号する。
そのため、可逆復号部２０２からクラス分類適応フィルタ４１１に供給される削減フィルタ情報には、統合クラスごとのタップ係数と対応関係LUTが含まれる。
クラス分類適応フィルタ４１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う点で、図２０のクラス分類適応フィルタ２０６と共通する。
但し、クラス分類適応フィルタ４１１は、削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTを用いてクラス分類適応処理を行う点で、クラス分類適応フィルタ２０６と相違する。
＜クラス分類適応フィルタ４１１の構成例＞
図３７は、図３６のクラス分類適応フィルタ４１１の構成例を示すブロック図である。
図３７において、クラス分類適応フィルタ４１１は、画像変換装置４３１を有する。
画像変換装置４３１には、演算部２０５（図３６）から復号途中画像が供給されるとともに、可逆復号部２０２から削減フィルタ情報としての統合クラスごとのタップ係数及び対応関係LUT、並びに、符号化情報が供給される。
画像変換装置４３１は、図２８の画像変換装置３２２と同様に、復号途中画像を第１の画像として、削減フィルタ情報としての統合クラスごとのタップ係数（削減フィルタ情報を用いて得られるタップ係数）及び対応関係LUTを用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、並べ替えバッファ２０７及びフレームメモリ２１０（図３６）に供給する。
なお、画像変換装置４３１は、クラス分類適応処理において、図２８の画像変換装置３２２と同様に、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜画像変換装置４３１の構成例＞
図３８は、図３７の画像変換装置４３１の構成例を示すブロック図である。
なお、図中、図２２の画像変換装置２３１と共通する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３８において、画像変換装置４３１は、タップ選択部２４１ないしクラス分類部２４３、予測演算部２４５、及び、係数取得部４４１を有する。
したがって、図３８の画像変換装置４３１は、タップ選択部２４１ないしクラス分類部２４３、及び、予測演算部２４５を有する点で、図２２の画像変換装置２３１と共通する。
但し、図３８の画像変換装置４３１は、係数取得部２４４に代えて、係数取得部４４１を有する点で、図２２の画像変換装置２３１と相違する。
係数取得部４４１には、可逆復号部２０２（図３６）から、削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTが供給される。
係数取得部４４１は、可逆復号部２０２からの削減フィルタ情報としての統合クラスごとのタップ係数を、クラス分類適応処理に用いるクラスごとのタップ係数として、その統合クラスごとのタップ係数から、注目画素の統合クラスのタップ係数を取得し、予測演算部２４５に供給する。
すなわち、係数取得部４４１は、クラス分類部２４３からの注目画素のクラス（初期クラス）を、可逆復号部２０２からの削減フィルタ情報としての対応関係LUTに従って、統合クラスに変換する。さらに、係数取得部４４１は、削減フィルタ情報としての統合クラスごとのタップ係数から、注目画素の統合クラスのタップ係数を取得し、予測演算部２４５に供給する。
図３９は、図３８の係数取得部４４１の構成例を示すブロック図である。
図３９において、係数取得部４４１は、記憶部４５１、統合クラス変換部４５２、及び、取得部４５３を有する。記憶部４５１ないし取得部４５３は、図３２の記憶部３５１ないし取得部３５３と同様に構成される。
すなわち、記憶部４５１には、可逆復号部２０２（図３６）から、削減フィルタ情報としての統合クラスごとのタップ係数が供給される。
記憶部４５１は、可逆復号部２０２からの削減フィルタ情報としての統合クラスごとのタップ係数を記憶する。
統合クラス変換部４５２には、クラス分類部２４３から、注目画素のクラス分類結果としての初期クラスが供給される。さらに、統合クラス変換部４５２には、可逆復号部２０２から、削減フィルタ情報としての対応関係LUTが供給される。
統合クラス変換部４５２は、対応関係LUTに従い、注目画素の初期クラスを、注目画素の統合クラスに変換し、取得部４５３に供給する。
取得部４５３は、記憶部４５１に記憶された統合クラスごとのタップ係数から、統合クラス変換部４５２からの注目画素の統合クラスのタップ係数を取得し、予測演算部２４５に供給する。
＜復号処理＞
図４０は、図３６の復号装置１２の復号処理の例を説明するフローチャートである。
復号処理では、ステップＳ１７１において、蓄積バッファ２０１は、図２４のステップＳ７１と同様に、符号化装置１１から伝送されてくる符号化データを一時蓄積し、適宜、可逆復号部２０２に供給して、処理は、ステップＳ１７２に進む。
ステップＳ１７２では、可逆復号部２０２は、図２４のステップＳ７２と同様に、蓄積バッファ２０１から供給される符号化データを受け取って復号し、その復号により得られる量子化係数を、逆量子化部２０３に供給する。
また、可逆復号部２０２は、符号化データの復号により、符号化情報や削減フィルタ情報が得られた場合、必要な符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。
さらに、可逆復号部２０２は、符号化情報及び削減フィルタ情報を、クラス分類適応フィルタ４１１に供給する。
その後、処理は、ステップＳ１７２からステップＳ１７３に進み、クラス分類適応フィルタ４１１は、可逆復号部２０２から削減フィルタ情報が供給されたかどうかを判定する。
ステップＳ１７３において、削減フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ１７４をスキップして、ステップＳ１７５に進む。
また、ステップＳ１７３において、削減フィルタ情報が供給されたと判定された場合、処理は、ステップＳ１７４に進み、クラス分類適応フィルタ４１１の画像変換装置４３１（図３８）を構成する係数取得部４４１が、削減フィルタ情報としての統合クラスごとのタップ係数及び対応関係LUTを取得する。
さらに、係数取得部４４１（図３９）では、記憶部４５１が、記憶部４５１に記憶されているクラスごとのタップ係数を、削減フィルタ情報としての統合クラスごとのタップ係数に更新する（削減フィルタ情報としての統合クラスごとのタップ係数を上書きする形で記憶する）。
そして、処理は、ステップＳ１７４からステップＳ１７５に進み、予測復号処理が行われ、復号処理は終了する。
図４１は、図４０のステップＳ１７５の予測復号処理の例を説明するフローチャートである。
予測復号処理では、ステップＳ１８１ないしＳ１８９において、図２５のステップＳ８１ないしＳ８９とそれぞれ同様の処理が行われる。
なお、ステップＳ１８６において、クラス分類適応フィルタ４１１は、図２５のステップＳ８６と同様に、演算部２０５からの復号途中画像に、ILFの処理としてのクラス分類適応処理を施すが、そのクラス分類適応処理では、図４０のステップＳ１７４で、係数取得部４４１が取得した削減フィルタ情報としての統合クラスごとのタップ係数、及び、対応関係LUTが用いられる。
図４２は、図４１のステップＳ１８６で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ４１１の画像変換装置４３１（図３８）では、ステップＳ１９１において、タップ選択部２４１が、図２６のステップＳ９１と同様に、演算部２０５から供給される復号途中画像から、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ１９２に進む。
ステップＳ１９２では、タップ選択部２４１及び２４２が、図２６のステップＳ９２と同様に、演算部２０５から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を選択し、予測演算部２４５及びクラス分類部２４３に、それぞれ供給する。
その後、処理は、ステップＳ１９２からステップＳ１９３に進み、クラス分類部２４３は、図２６のステップＳ９３と同様に、注目画素についてのクラスタップ、及び、注目画素についての符号化情報を用いて、注目画素のクラス分類を行う。
そして、クラス分類部２４３は、注目画素のクラス分類により得られる注目画素の初期クラスを、係数取得部４４１に供給し、処理は、ステップＳ１９３からステップＳ１９４に進む。
ステップＳ１９４では、係数取得部４４１（図３９）の統合クラス変換部４５２が、クラス分類部２４３から供給される注目画素の初期クラスを、図４０のステップＳ１７４で係数取得部４４１が取得した削減フィルタ情報としての対応関係LUTに従って、注目画素の統合クラスに変換する。そして、統合クラス変換部４５２は、注目画素の統合クラスを、取得部４５３（図３９）に供給して、処理は、ステップＳ１９４からステップＳ１９５に進む。
ステップＳ１９５では、取得部４５３が、記憶部４５１に図４０のステップＳ１７４で記憶された統合クラスごとのタップ係数から、統合クラス変換部４５２からの注目画素の統合クラスのタップ係数を取得し、予測演算部２４５に供給して、処理は、ステップＳ１９６に進む。
ステップＳ１９６ないしＳ１９８では、図２６のステップＳ９５ないしＳ９７とそれぞれ同様の処理が行われる。
以上のように、図２７の符号化装置１１及び図３６の復号装置１２では、ILF処理を、クラス分類適応処理によって行うので、ILFの処理結果よりも元画像に近いフィルタ後画像を得ることができる。その結果、復号画像のS/Nを改善することができる。さらに、元画像に近いフィルタ後画像を得ることができることから、残差が小さくなるので、圧縮効率を改善することができる。また、符号化装置１１では、タップ係数評価値が改善されるように、初期クラスのタップ係数を統合することで、クラスごとのタップ係数を削減した削減フィルタ情報を生成し、復号装置１２に対して、初期クラスごとのタップ係数ではなく、削減フィルタ情報を伝送するので、圧縮効率を、より改善することができる。
＜符号化装置１１の第３の構成例＞
図４３は、図１の符号化装置１１の第３の構成例を示すブロック図である。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図４３において、符号化装置１１は、A/D変換部１０１ないし演算部１１０、フレームメモリ１１２ないしレート制御部１１７、及び、クラス分類適応フィルタ５１１を有する。
したがって、図４３の符号化装置１１は、A/D変換部１０１ないし演算部１１０、及び、フレームメモリ１１２ないしレート制御部１１７を有する点で、図９の場合と共通する。
但し、図４３の符号化装置１１は、クラス分類適応フィルタ１１１に代えて、クラス分類適応フィルタ５１１を有する点で、図９の場合と相違する。
クラス分類適応フィルタ５１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う点で、クラス分類適応フィルタ１１１と共通する。
但し、クラス分類適応フィルタ５１１では、クラスごとのタップ係数を削減した削減フィルタ情報を生成する削減処理において、クラスごとの種係数（式（９）のβm,n）が、削減フィルタ情報として生成される点で、クラス分類適応フィルタ５１１は、クラス分類適応フィルタ１１１と相違する。
さらに、クラス分類適応フィルタ５１１は、削減フィルタ情報としてのクラスごとの種係数を用いて得られるクラスごとのタップ係数を用いてクラス分類適応処理を行う点で、クラス分類適応フィルタ１１１と相違する。
すなわち、クラス分類適応フィルタ５１１は、削減フィルタ情報としてのクラスごとの種係数から、クラスごとのタップ係数が生成される点で、クラス分類適応フィルタ１１１と相違する。
また、クラス分類適応フィルタ５１１では、削減フィルタ情報の他、パラメータ情報が、可逆符号化部１０６に供給されて伝送される点で、クラス分類適応フィルタ５１１は、クラス分類適応フィルタ１１１と相違する。
すなわち、図５ないし図８で説明したように、種係数から、タップ係数を生成するにあたっては、例えば、パラメータzが必要であるが、クラス分類適応フィルタ５１１は、種係数からタップ係数を生成するときに用いるパラメータzに関するパラメータ情報を、可逆符号化部１０６に供給する。
これにより、パラメータ情報は、削減フィルタ情報と同様に、例えば、符号化データに含めて伝送される。
なお、図５ないし図８で説明したように、種係数からタップ係数を生成するときに用いるパラメータとしては、１個（種類）のパラメータzの他、２個のパラメータzx及びzyや３個のパラメータzx，zy，zt等の複数のパラメータを採用することができる。但し、以下では、説明を簡単にするため、種係数からタップ係数を生成するときに用いるパラメータとしては、１個のパラメータzを採用することとする。
＜クラス分類適応フィルタ５１１の構成例＞
図４４は、図４３のクラス分類適応フィルタ５１１の構成例を示すブロック図である。
図４４において、クラス分類適応フィルタ５１１は、学習装置５３１、及び、画像変換装置３２２を有する。
学習装置５３１には、並べ替えバッファ１０２（図４３）から元画像が供給されるとともに、演算部１１０（図４３）から復号途中画像が供給される。さらに、学習装置５３１には、符号化情報が供給される。
学習装置５３１は、復号途中画像を生徒データとするとともに、元画像を教師データとして、クラスごとの種係数を求める学習（以下、種係数学習ともいう）を行う。
さらに、学習装置５３１は、種係数学習により得られるクラスごとの種係数を、タップ係数学習により求められるクラスごとのタップ係数を削減した削減フィルタ情報として、画像変換装置５３２及び可逆符号化部１０６（図４３）に供給する。
ここで、種係数によれば、式（９）に従い、様々な値のパラメータzに対して、タップ係数を求めることができるので、種係数は、複数の値のパラメータzに対するタップ係数を削減した情報（削減フィルタ情報）であるということができる。
したがって、学習装置５３１は、種係数学習によりクラスごとの種係数を求める学習装置として機能するととともに、クラスごとのタップ係数を削減した削減フィルタ情報を生成する削減部としても機能する。
なお、学習装置５３１は、種係数学習において、クラス分類を、必要に応じて、符号化情報を用いて行う。
画像変換装置５３２には、演算部１１０（図４３）から復号途中画像が供給されるとともに、学習装置５３１から削減フィルタ情報が供給される。さらに、画像変換装置５３２には、符号化情報が供給される。
画像変換装置５３２は、学習装置５３１の削減フィルタ情報としてのクラスごとの種係数を用いて、クラスごとのタップ係数を求める。さらに、画像変換装置５３２は、復号途中画像を第１の画像として、クラスごとのタップ係数を用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、フレームメモリ１１２（図４３）に供給する。
また、画像変換装置５３２は、クラスごとのタップ係数を求める際に、削減フィルタ情報としてのクラスごとの種係数の他、パラメータzを用いるが、そのパラメータzに関するパラメータ情報を、可逆符号化部１０６（図４３）に供給する。
なお、画像変換装置５３２は、クラス分類適応処理において、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜学習装置５３１の構成例＞
図４５は、図４４の学習装置５３１の構成例を示すブロック図である。
図４５において、学習装置５３１は、パラメータ生成部５４１、次数設定部５４２、学習部５４３、及び、選択部５４４を有する。
パラメータ生成部５４１には、符号化情報が供給される。パラメータ生成部５４１は、そこに供給される符号化情報のうちの、例えば、注目画素の符号化情報（注目画素を含むブロックの符号化情報や、注目画素を含むフレーム（ピクチャ）の符号化情報等を含む）に応じた値のパラメータzを生成し、学習部５４３に供給する。
ここで、パラメータzの生成に用いる注目画素の符号化情報としては、例えば、注目画素を符号化するときの符号量目標値（ビットレート）や、量子化パラメータQP等の、符号化／復号時のILFを、クラス分類適応処理によって実現するのに適した符号化情報を採用することができる。
パラメータzの生成に用いる符号化情報として、符号量目標値や量子化パラメータQPを採用する場合には、符号量目標値や量子化パラメータQP、ひいては、元画像の絵柄（アクティビティ）に応じた値のパラメータzが生成される。
ここで、パラメータ生成部５４１では、符号量目標値や量子化パラメータQP等の複数の符号化情報のうちの１個の符号化情報に応じて、１個のパラメータzを生成する他、符号量目標値や量子化パラメータQP等の複数の符号化情報それぞれに応じて、複数個のパラメータを生成することができる。但し、図４３で説明したように、本実施の形態では、説明を簡単にするため、種係数からタップ係数を生成するときに用いるパラメータとしては、１個のパラメータzを採用することとする。
次数設定部５４２は、種係数学習により求める種係数の次数M、すなわち、式（９）に従ってタップ係数wnを求めるときに用いる種係数βm,nの数Mを設定し、学習部５４３に供給する。
学習部５４３には、パラメータ生成部５４１からパラメータzが供給されるとともに、次数設定部５４２から次数Mが供給される他、並べ替えバッファ１０２（図４３）から元画像が供給されるとともに、演算部１１０（図４３）から復号途中画像が供給される。さらに、学習部５４３には、符号化情報が供給される。
学習部５３１は、復号途中画像を生徒データとするとともに、元画像を教師データとして、パラメータ生成部５４１からのパラメータzを用いて、次数設定部５４２からの次数Mの種係数を求める種係数学習を行う。
学習部５３１は、種係数学習によって、例えば、各クラスについて、複数の次数Mの種係数を求め、選択部５４４に供給する。
なお、学習部５３１は、種係数学習において、クラス分類を、必要に応じて、符号化情報を用いて行う。
選択部５４４は、各クラスについて、学習部５３１からの複数の次数Mの種係数の中から、所定の次数の種係数を選択し、削減フィルタ情報として、画像変換装置５３２（図４４）及び可逆符号化部１０６（図４３）に供給する。
図４６は、図４５の学習部５４３の構成例を示すブロック図である。
なお、図中、図８の学習部６３と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
また、図４６では、学習部５４３は、図８の学習部６３を利用して構成されているが、学習部５４３は、その他、図７の学習部６３を利用して構成することができる。
図４６において、学習部５４３は、タップ選択部４１ないしクラス分類部４３、係数算出部４５、及び、足し込み部８１ないし係数算出部８３を有する。
したがって、学習部５４３は、図８の学習部６３と同様に構成される。
但し、学習部５４３では、クラス分類部４３が、クラスタップや符号化情報を必要に応じて用いてクラス分類を行う。
また、学習部５４３では、復号途中画像を生徒データとして用いるとともに、その復号途中画像に対応する元画像を教師データとして用いて、種係数学習が行われ、その種係数学習により得られるクラスごとの種係数が、係数算出部８３から、選択部５４４（図４５）に供給される。
さらに、学習部５４３では、足し込み部８２は、図８で説明した場合と同様に、パラメータ生成部５４１（図４５）から供給されるパラメータz（に対応する変数ｔm）と、係数算出部４５から供給される最適なタップ係数wnを対象とした足し込みを、クラスごとに行うが、その足し込みは、次数設定部５４２から供給される複数の次数Mについて行われる。すなわち、式（２６）の計算が、次数設定部５４２からの複数の次数Mについて行われる。
その結果、足し込み部８２では、クラスごとに、複数の次数Mについて、式（２８）の正規方程式が求められ、係数算出部８３に供給される。したがって、係数算出部８３では、クラスごとに、複数の次数Mについて、種係数が求められる。
なお、学習装置５３１（図４４）での種係数学習は、図１０の学習装置１３１のタップ係数学習と同様に、元画像の符号化と並列して行うこともできるし、元画像の符号化とは関係なく、前もって行っておくこともできる。
＜パラメータzとタップ係数との関係＞
図４７は、パラメータzとタップ係数との関係を説明する図である。
図４７では、横軸をパラメータzとするとともに、縦軸をタップ係数とする２次元平面に、パラメータzに対するタップ係数、すなわち、パラメータzが得られる元画像及び復号途中画像を用いたタップ係数学習により得られるタップ係数を表す係数点がプロットされている。
図４７では、複数の係数点、すなわち、複数の値それぞれのパラメータzに対するタップ係数の係数点がプロットされているが、これらの複数の係数点に対応するパラメータzとタップ係数との関係を表す曲線を、関係曲線ということとする。
関係曲線は、種係数を用いた式（９）で表され、したがって、種係数は、関係曲線を規定（定義）する。
例えば、パラメータzが、図４５で説明したように、元画像の絵柄（アクティビティ）に応じた値になっている場合、種係数によって規定される関係曲線が、係数点の分布にフィットするほど、パラメータzに応じた絵柄の画像について、種係数とパラメータzとから得られるタップ係数を用いたクラス分類適応処理によって、元画像に近い画像（S/Nの高い画像）が得られる。
図４８は、係数点の分布と、係数点の分布にフィットする関係曲線を規定する種係数の次数との関係の例を説明する図である。
係数点の分布が線形に近い簡単な分布である場合には、係数点の分布にフィットする関係曲線を規定する種係数は、少ない次数の種係数で済む。
一方、係数点の分布が複雑である場合には、係数点の分布にフィットする関係曲線を規定する種係数は、大きい（高い）次数の種係数になる。
図４９は、係数点の分布と、係数点の分布にフィットする関係曲線を規定する種係数の次数との関係の他の例を説明する図である。
図４８で説明したように、係数点の分布が複雑である場合には、係数点の分布にフィットする関係曲線を規定する種係数は、大きい次数の種係数になる。
しかしながら、元画像のある（時間方向の）区間Dでは、係数点の分布が複雑になる場合であっても、その区間Dの一部の区間D'では、パラメータz（を生成する元になる符号化情報）の振れ幅（変動）が小さいことがある。
この場合、区間Dの元画像を用いたタップ係数の係数点の分布にフィットする関係曲線を規定する種係数の次数は、大になるが、区間D'の元画像を用いたタップ係数の係数点の分布にフィットする関係曲線を規定する種係数の次数は、小さくすることができる。
そこで、学習装置（図４５）では、選択部５４４が、種係数から求められるタップ係数をクラス分類適応処理（の式（１）の予測演算）に用いる適切さを表す種係数評価値に応じて、学習部５３１での種係数学習により得られる複数の次数の種係数の中から、係数点の分布にフィットする関係曲線を規定する次数の種係数を選択し、削減フィルタ情報として、画像変換装置５３２（図４４）及び可逆符号化部１０６（図４３）に供給する。
ここで、種係数評価値としては、例えば、種係数学習に用いられる元画像を符号化するときのRDコストに対応する値を採用することができる。例えば、種係数評価値として、RDコストを採用し、種係数学習により得られる複数の次数の種係数のうちの、RDコストが最良の次数の種係数を、削減フィルタ情報として選択することにより、係数点の分布にフィットする関係曲線を規定する、少ない次数の種係数を、削減フィルタ情報として得ることができる。その結果、圧縮効率及び復号画像のS/Nを向上させることができる。
また、種係数評価値としては、例えば、種係数学習に用いられる元画像の絵柄（アクティビティ）に対応する値を採用することができる。例えば、種係数評価値として、元画像の所定の区間の絵柄の変動幅（例えば、アクティビティの変動量）を採用し、種係数学習により得られる複数の次数の種係数のうちの、絵柄の変動幅に比例するような次数の種係数を、削減フィルタ情報として選択することにより、様々な絵柄の元画像に対応する復号途中画像のクラス分類適応処理に適切なタップ係数の係数点の分布にフィットする関係曲線を規定する、少ない次数の種係数を、削減フィルタ情報として得ることができる。その結果、圧縮効率及び復号画像のS/Nを向上させることができる。
さらに、種係数評価値としては、例えば、種係数学習に用いられる元画像を符号化するときの符号量目標値（ビットレート）や量子化パラメータQP等の符号化情報に対応する値を採用することができる。例えば、種係数評価値として、元画像の所定の区間の符号量目標値や量子化パラメータQPの変動幅を採用し、種係数学習により得られる複数の次数の種係数のうちの、符号量目標値や量子化パラメータQPの変動幅に比例するような次数の種係数を、削減フィルタ情報として選択することにより、様々な符号量目標値や量子化パラメータQPの元画像に対応する復号途中画像のクラス分類適応処理に適切なタップ係数の係数点の分布にフィットする関係曲線を規定する、少ない次数の種係数を、削減フィルタ情報として得ることができる。その結果、圧縮効率及び復号画像のS/Nを向上させることができる。
また、種係数評価値としては、例えば、種係数学習に用いられる元画像に対して生成されるパラメータzに対応する値を採用することができる。例えば、種係数評価値として、種係数学習に用いられる元画像の区間のパラメータzの変動幅（振れ幅）を採用し、種係数学習により得られる複数の次数の種係数のうちの、パラメータzの変動幅に比例するような次数の種係数を、削減フィルタ情報として選択することにより、係数点の分布にフィットする関係曲線を規定する、少ない次数の種係数を、削減フィルタ情報として得ることができる。その結果、圧縮効率及び復号画像のS/Nを向上させることができる。
圧縮効率の向上、及び、復号画像のS/Nの向上の観点からは、種係数評価値として、RDコストに対応する値を採用することが望ましい。但し、種係数評価値として、RDコストを採用する場合には、種係数評価値の計算に、大きな計算コストを要する。種係数評価値として、例えば、上述の元画像の絵柄や、符号化情報、パラメータzに対応する値を採用することにより、種係数評価値の計算に要する計算コストを削減することができる。
ここで、元画像の絵柄、ひいては、例えば、元画像の符号化時の符号量目標値や量子化パラメータQPが時間的に変化した場合に、その変化後の元画像について、クラス分類適応処理により、元画像により近いフィルタ後画像を得るためには、変化後の元画像を用いたタップ係数学習を行い、そのタップ係数学習により得られるタップ係数を用いて、クラス分類適応処理を行うことが望ましい。
しかしながら、元画像の絵柄が時間的に変化した場合であっても、その変化がそれほど大きな変化でないときに、変化後の元画像を用いたタップ係数学習を行い、そのタップ係数学習により得られるタップ係数を、符号化装置１１から復号装置１２に伝送するのでは、圧縮効率が悪化する。
また、元画像の絵柄が、シーンチェンジ等で大きく変化した場合には、変化前の元画像を用いたタップ係数学習で得られたタップ係数を、クラス分類適応処理に使用し続けるのでは、復号画像（フィルタ後画像）のS/Nが悪化する。
これに対して、符号量目標値や量子化パラメータQPに応じて生成されたパラメータzを用いた種係数学習により得られる種係数によれば、元画像の符号化時の符号量目標値や量子化パラメータQPに応じて生成されるパラメータzを用いて、その符号量目標値や量子化パラメータQPに対応する元画像との誤差が少ない復号画像（フィルタ後画像）を得ることができるタップ係数を求めることができる。そして、そのようなタップ係数を用いてクラス分類適応処理を行うことで、復号画像のS/Nの悪化を防止することができる。
さらに、種係数によれば、大ざっぱには、その種係数を求める種係数学習で用いられたパラメータzが生成された符号量目標値や量子化パラメータQPの範囲の元画像について、高S/Nの復号画像（フィルタ後画像）を得ることができる。すなわち、元画像の符号化時の符号量目標値や量子化パラメータQPが時間的に多少変動した場合に、クラス分類適応処理に、現在の種係数を使用し続けても、高S/Nの復号画像を得ることができる。したがって、元画像の符号化時の符号量目標値や量子化パラメータQPが時間的に多少変動した程度では、種係数学習を新たに行い、新たな種係数を、符号化装置１１から復号装置１２に伝送する必要がないので、圧縮効率を向上させることができる。
以上のように、種係数によれば、元画像の絵柄、ひいては、元画像の符号化時の符号量目標値や量子化パラメータQPが時間的に多少変動しても、その種係数から得られるタップ係数を用いたクラス分類適応処理により、高S/Nの復号画像を得ることができるので、種係数は、元画像の絵柄、すなわち、例えば、元画像の符号化時の符号量目標値や量子化パラメータQP等の時間的な変化を吸収する、ということができる。
＜画像変換装置５３２の構成例＞
図５０は、図４４の画像変換装置５３２の構成例を示すブロック図である。
なお、図中、図１５の画像変換装置１３３と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
図５０において、画像変換装置５３２は、タップ選択部２１ないしクラス分類部２３、予測演算部２５、パラメータ生成部５６１、及び、係数取得部５６２を有する。
したがって、画像変換装置５３２は、タップ係数選択部２１ないしクラス分類部２３、及び、予測演算部２５を有する点で、図１５の画像変換装置１３３と同様に構成される。
但し、画像変換装置５３２は、パラメータ生成部５６１を新たに有する点で、画像変換装置１３３と相違する。さらに、画像変換装置５３２は、係数取得部１５１に代えて、係数取得部５６２を有する点で、画像変換装置１３３と相違する。
パラメータ生成部５６１には、符号化情報が供給される。パラメータ生成部５６１は、そこに供給される符号化情報のうちの、注目画素の符号量目標値や量子化パラメータQP等の符号化情報に応じて、図４５の学習装置５３１のパラメータ生成部５４１と同様のパラメータzを生成し、係数取得部５６２に供給する。
また、パラメータ生成部５６１は、例えば、パラメータzを、パラメータ情報として、可逆符号化部１０６（図４３）に供給する。
ここで、パラメータ生成部５６１が可逆符号化部１０６に供給するパラメータ情報としては、パラメータzそのものの他、例えば、そのパラメータzを生成するのに用いた符号量目標値や量子化パラメータQP等の符号化情報等を採用することができる。パラメータ生成部５６１において、パラメータzを、可逆符号化部１０６に供給される符号化情報を用いて生成する場合には、パラメータ情報は、可逆符号化部１０６に供給しなくてもよい（伝送しなくてもよい）。
係数取得部５６２には、パラメータ生成部５６１からパラメータzが供給される他、学習装置５３１から削減フィルタ情報としてのクラスごとの種係数が供給される。
係数取得部５６２は、学習装置５３１からの削減フィルタ情報としてのクラスごとの種係数と、パラメータ生成部５６１からのパラメータzとを用い、式（９）に従って、クラスごとのタップ係数を生成する。そして、係数取得部５６２は、クラスごとのタップ係数から、クラス分類部２３から供給される注目画素のクラスのタップ係数を取得し、予測演算部２５に供給する。
又は、係数取得部５６２は、学習装置５３１からの削減フィルタ情報としてのクラスごとの種係数のうちの、クラス分類部２３から供給される注目画素のクラスの種係数と、パラメータ生成部５６１からのパラメータzとを用いて、注目画素のクラスのタップ係数を生成することにより取得し、予測演算部２５に供給する。
図５１は、図５０の係数取得部５６２の構成例を示すブロック図である。
図５１において、係数取得部５６２は、記憶部５７１、タップ係数算出部５７２、記憶部５７３、及び、取得部５７４を有する。
記憶部５７１には、学習装置５３１（図４４）から、削減フィルタ情報としてのクラスごとの種係数が供給される。
記憶部５７１は、学習装置５３１からの削減フィルタ情報としてのクラスごとの種係数を記憶する。
タップ係数算出部５７２には、パラメータ生成部５６１から注目画素について生成されたパラメータzが供給される。タップ係数算出部５７２は、記憶部５７１に記憶されたクラスごとの種係数と、パラメータ生成部５６１からのパラメータzとを用い、式（９）に従って、クラスごとのタップ係数を算出し、記憶部５７３に供給する。
記憶部５７３は、タップ係数算出部５７２からのクラスごとのタップ係数を記憶する。
取得部５７４には、クラス分類部２３から、注目画素のクラスが供給される。
取得部５７４は、記憶部５７１に記憶されたクラスごとのタップ係数から、クラス分類部２３からの注目画素のクラスのタップ係数を取得し、予測演算部２５に供給する。
＜符号化処理＞
図５２は、図４３の符号化装置１１の符号化処理の例を説明するフローチャートである。
符号化装置１１において、クラス分類適応フィルタ５１１の学習装置５３１（図４４）は、そこに供給される復号途中画像を生徒データとして一時記憶するとともに、その復号途中画像に対応する元画像を教師データとして一時記憶している。
ステップＳ２１１において、クラス分類適応フィルタ５１１の学習装置５３１（図４４）は、現在のタイミングが、種係数の更新タイミングであるかどうかを判定する。
ここで、種係数の更新タイミングは、図１７で説明したタップ係数の更新タイミングと同様に、例えば、１以上のフレームごとや、１以上のシーケンスごと、１以上のスライスごと、CTU等の所定のブロックの１以上のラインごと等のように、あらかじめ決めておくことができる。
また、種係数の更新タイミングとしては、図１７で説明したタップ係数の更新タイミングと同様に、１以上のフレームごとのタイミングのような周期的（固定的）なタイミングの他、フィルタ後画像のS/Nが閾値以下になったタイミング等の動的なタイミングを採用することができる。
ステップＳ２１１において、現在のタイミングが、種係数の更新タイミングでないと判定された場合、処理は、ステップＳ２１２ないしＳ２１９をスキップして、ステップＳ２２０に進む。
また、ステップＳ２１１において、現在のタイミングが、種係数の更新タイミングであると判定された場合、処理は、ステップＳ２１２に進み、学習装置５３１は、タップ係数を求める。
すなわち、学習装置５３１（図４５）は、例えば、前回の更新タイミングから、今回の更新タイミングまでの間に記憶した復号途中画像及び元画像を、それぞれ、生徒データ及び教師データとして、タップ係数学習を行い、係数算出部４５（図４６）において、生徒データ及び教師データとなった復号途中画像及び元画像の符号化情報から生成される複数の値のパラメータzそれぞれについて、クラスごとのタップ係数が求められる。
そして、学習装置５３１の学習部５４３（図４６）では、係数算出部４５が、複数の値のパラメータzそれぞれについての、クラスごとのタップ係数を、足し込み部８２に供給して、処理は、ステップＳ２１２からステップＳ２１３に進む。
ステップＳ２１３では、学習部５４３は、ステップＳ２１２でタップ係数が求められた全クラスの中で、まだ、注目クラスに選択していない１つのクラスを注目クラスに選択して、処理は、ステップＳ２１４に進む。
ステップＳ２１４では、学習部５４３（図４６）の足し込み部８２及び係数算出部８３が、ステップＳ２１２で求められた、複数の値のパラメータzについての、クラスごとのタップ係数の中の、複数の値のパラメータzについての、注目クラスのタップ係数と、複数の値のパラメータzとを用いて、注目クラスの種係数を算出する。
注目クラスの種係数の算出では、学習装置５３１（図４５）において、次数設定部５４２から学習部５４３に対して、複数の次数Mが供給され、学習部５４３（図４６）の足し込み部８２及び係数算出部８３では、その複数の次数Mそれぞれについて、注目クラスの種係数が算出される。
学習装置５３１（図４５）では、学習部５４３が、複数の次数Mそれぞれについての注目クラスの種係数を、選択部５４４に供給して、処理は、ステップＳ２１４からステップＳ２１５に進む。
ステップＳ２１５では、選択部５４４が、学習部５４３からの複数の次数Mそれぞれについての注目クラスの種係数について、種係数から求められるタップ係数をクラス分類適応処理に用いる適切さを表す種係数評価値としての、例えば、RDコスト等を算出し、処理は、ステップＳ２１６に進む。
ステップＳ２１６では、選択部５４４は、複数の次数Mそれぞれについての注目クラスの種係数の中から、種係数評価値が最良の次数Mの注目クラスの種係数を、最適次数Mの種係数として選択し、処理は、ステップＳ２１７に進む。
ステップＳ２１７では、学習部５４３（図４５）が、ステップＳ２１２でタップ係数が求められた全クラスを、注目クラスとしたかどうかを判定する。
ステップＳ２１７において、まだ、全クラスを、注目クラスとしていないと判定された場合、処理は、ステップＳ２１３に戻り、以下、同様の処理が繰り返される。
また、ステップＳ２１７において、全クラスを、注目クラスとしたと判定された場合、処理は、ステップＳ２１８に進み、選択部５４４（図４５）は、ステップＳ２１６で各クラスについて選択した最適次数Mの種係数を、削減フィルタ情報として、可逆符号化部１０６（図４３）、及び、画像変換装置５３２（図４４）に出力する。
さらに、ステップＳ２１８では、可逆符号化部１０６（図４３）が、学習装置５３１（の選択部５４４）からの削減フィルタ情報を、伝送対象に設定して、処理は、ステップＳ２１９に進む。伝送対象に設定された削減フィルタ情報は、後述するステップＳ２２０で行われる予測符号化処理において符号化データに含められて伝送される。
ステップＳ２１９では、画像変換装置５３２（図５０）において、係数取得部５６２（図５１）の記憶部５７１が、その記憶内容を、学習装置５３１（の選択部５４４）からの削減フィルタ情報としてのクラスごとの最適次数Mの種係数に更新し（クラスごとの種係数を、上書きする形で記憶し）、処理は、ステップＳ２２０に進む。
ステップＳ２２０では、元画像の予測符号化処理が行われ、符号化処理は終了する。
図５３は、図５２のステップＳ２２０の予測符号化処理の例を説明するフローチャートである。
予測符号化処理では、ステップＳ２３１ないしＳ２４６において、図１８のステップＳ３１ないしＳ４６とそれぞれ同様の処理が行われる。
なお、ステップＳ２４２において、クラス分類適応フィルタ５１１は、図１８のステップＳ４２と同様に、演算部１１０からの復号途中画像に、ILFの処理としてのクラス分類適応処理を施すが、そのクラス分類適応処理では、図５２のステップＳ２１９で、係数取得部５６２（図５１）の記憶部５７１に記憶された削減フィルタ情報としてのクラスごとの種係数から得られるクラスごとのタップ係数が用いられる。
また、ステップＳ２４２でのクラス分類適応処理では、後述するように、注目画素の符号化情報から生成されたパラメータzのパラメータ情報が、クラス分類適応フィルタ５１１から可逆符号化部１０６に供給される。
さらに、ステップＳ２４４では、可逆符号化部１０６は、図１８のステップＳ４４と同様に、量子化係数、符号化情報、及び、削減フィルタ情報を符号化するが、その削減フィルタ情報には、クラスごとの種係数が含まれる。
また、ステップＳ２４４では、可逆符号化部１０６は、クラス分類適応フィルタ５１１から供給されるパラメータ情報を符号化する。
したがって、可逆符号化部１０６で得られる符号化データには、量子化係数、符号化情報、削減フィルタ情報としてのクラスごとの種係数、及び、パラメータ情報が含まれる。そして、かかる符号化データは、ステップＳ２４５で、図１８のステップＳ４５で説明したように、蓄積バッファ１０７から、適宜読み出されて伝送される。
図５４は、図５３のステップＳ２４２で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ５１１の画像変換装置５３２（図５０）では、ステップＳ２５１において、タップ選択部２１が、図１９のステップＳ５１と同様に、演算部１１０から供給される復号途中画像から、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ２５２に進む。
ステップＳ２５２では、パラメータ生成部５６１（図５０）が、注目画素の符号化情報からパラメータzを生成し、係数取得部５６２に供給する。さらに、パラメータ生成部５６１は、パラメータzに関するパラメータ情報として、例えば、パラメータzそのものを、可逆符号化部１０６に供給する。可逆符号化部１０６に供給されたパラメータ情報は、図５３で説明したように、ステップＳ２４４で符号化され、ステップＳ２４５で伝送される。
ステップＳ２５２の後、処理は、ステップＳ２５３に進み、係数取得部５６２（図５１）のタップ係数算出部５７２が、図５２のステップＳ２１９で記憶部５７１に記憶されたクラスごとの種係数と、直前のステップＳ２５２でパラメータ生成部５６１から供給されたパラメータzとを用いて、クラスごとのタップ係数を算出する。さらに、タップ係数算出部５７２は、クラスごとのタップ係数を、記憶部５７３に記憶させ、処理は、ステップＳ２５３からステップＳ２５４に進む。
ここで、ステップＳ２５２でのパラメータzの生成、及び、ステップＳ２５３でのタップ係数の算出は、例えば、フレームごとに行うことができる。
すなわち、ステップＳ２５２では、注目画素のフレームの符号化情報を用いて、そのフレームに共通のパラメータz、すなわち、フレーム単位のパラメータzを生成し、ステップＳ２５３では、フレーム単位のパラメータzを用いて、フレーム単位で、クラスごとのタップ係数を算出することができる。
ここで、パラメータzの生成、及び、そのパラメータzを用いたタップ係数の算出は、フレーム単位以外の、例えば、画素単位や、ブロック単位、複数フレーム単位等の任意の単位で行うことができる。
但し、パラメータzの生成及びタップ係数の算出を、細かすぎる単位で行うと、パラメータzのパラメータ情報を伝送する頻度が高くなって、圧縮効率が劣化する。一方、パラメータzの生成及びタップ係数の算出を、粗すぎる（大きすぎる）単位で行うと、タップ係数を用いたクラス分類適応処理により得られるフィルタ後画像（復号画像）のS/Nが劣化するおそれがある。
したがって、パラメータzの生成及びタップ係数の算出を行う単位は、圧縮効率とS/Nとを考慮して決定することが望ましい。
また、パラメータ情報の、可逆符号化部１０６の供給、すなわち、パラメータ情報の伝送は、パラメータzが生成されるたびに行う他、前回と異なるパラメータzが生成された場合にのみ行うこと（前回と同一のパラメータzが生成された場合には行わないこと）ができる。
パラメータ情報の伝送を、前回と異なるパラメータzが生成された場合にのみ行うことにより、パラメータzの生成を細かい単位で行った場合の圧縮効率の劣化を抑制することができる。
同様に、パラメータzを用いたタップ係数の算出も、前回と異なるパラメータzが生成された場合にのみ行うことができる。この場合、タップ係数の算出に要する演算コストを低減することができる。
ステップＳ２５４では、タップ選択部２１及び２２が、図１９のステップＳ５２と同様に、演算部１１０から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を選択し、予測演算部２５及びクラス分類部２３に、それぞれ供給する。
その後、処理は、ステップＳ２５４からステップＳ２５５に進み、クラス分類部２３は、図１９のステップＳ５３と同様に、注目画素についてのクラスタップ、及び、注目画素についての符号化情報を用いて、注目画素のクラス分類を行う。
そして、クラス分類部２３は、注目画素のクラス分類により得られる注目画素の初期クラスを、係数取得部５６２に供給し、処理は、ステップＳ２５５からステップＳ２５６に進む。
ステップＳ２５６では、係数取得部５６２（図５１）の取得部５７４が、直前に行われたステップＳ２５３で記憶部５７３に記憶されたクラスごとのタップ係数から、注目画素のクラスのタップ係数を取得し、予測演算部２５に供給して、処理は、ステップＳ２５７に進む。
ステップＳ２５７ないしＳ２５９では、図１９のステップＳ５５ないしＳ５７とそれぞれ同様の処理が行われる。
以上のように、図４３の符号化装置１１では、クラスごとのタップ係数そのものではなく、種係数学習により得られるクラスごとの種係数が、削減フィルタ情報として伝送される。
また、各クラスの種係数の次数は、RDコスト等の種係数評価値が最良になるように選択され、高S/Nの復号画像（フィルタ後画像）が得られる範囲で、より小さい値になる。
したがって、圧縮効率及び復号画像のS/Nを向上させることができる。
＜復号装置１２の第３の構成例＞
図５５は、図１の復号装置１２の第３の構成例を示すブロック図である。
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５５において、復号装置１２は、蓄積バッファ２０１ないし演算部２０５、並べ替えバッファ２０７、D/A変換部２０８、フレームメモリ２１０ないし選択部２１４、及び、クラス分類適応フィルタ６１１を有する。
したがって、図５５の復号装置１２は、蓄積バッファ２０１ないし演算部２０５、並べ替えバッファ２０７、D/A変換部２０８、及び、フレームメモリ２１０ないし選択部２１４を有する点で、図２０の場合と共通する。
但し、図５５の復号装置１２は、クラス分類適応フィルタ２０６に代えて、クラス分類適応フィルタ６１１を有する点で、図２０の場合と相違する。
図５５の復号装置１２は、図４３の符号化装置１１から伝送されてくる符号化データを復号する。
そのため、可逆復号部２０２からクラス分類適応フィルタ６１１に供給される削減フィルタ情報には、クラスごとの種係数が含まれる。
また、図４３の符号化装置１１から伝送されてくる符号化データには、パラメータ情報が含まれる。可逆復号部２０２での符号化データの復号により、パラメータ情報が得られた場合、そのパラメータ情報は、可逆復号部２０２から、クラス分類適応フィルタ６１１に供給される。
クラス分類適応フィルタ６１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う点で、図２０のクラス分類適応フィルタ２０６と共通する。
但し、クラス分類適応フィルタ６１１は、パラメータ情報から得られるパラメータzと、削減フィルタ情報としてのクラスごとの種係数とから、クラスごとのタップ係数を算出し、そのクラスごとのタップ係数を用いてクラス分類適応処理を行う点で、クラス分類適応フィルタ２０６と相違する。
＜クラス分類適応フィルタ６１１の構成例＞
図５６は、図５５のクラス分類適応フィルタ６１１の構成例を示すブロック図である。
図５６において、クラス分類適応フィルタ６１１は、画像変換装置６３１を有する。
画像変換装置６３１には、演算部２０５（図５５）から復号途中画像が供給されるとともに、可逆復号部２０２からパラメータ情報、削減フィルタ情報としてのクラスごとの種係数、及び、符号化情報が供給される。
画像変換装置６３１は、パラメータ情報から得られるパラメータzと、削減フィルタ情報としてのクラスごとの種係数とから、クラスごとのタップ係数を、図４４の画像変換装置５３２と同様に算出し、復号途中画像を第１の画像として、クラスごとのタップ係数を用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、並べ替えバッファ２０７及びフレームメモリ２１０（図５５）に供給する。
なお、画像変換装置６３１は、クラス分類適応処理において、図４４の画像変換装置５３２と同様に、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜画像変換装置６３１の構成例＞
図５７は、図５６の画像変換装置６３１の構成例を示すブロック図である。
なお、図中、図２２の画像変換装置２３１と共通する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５７において、画像変換装置６３１は、タップ選択部２４１ないしクラス分類部２４３、予測演算部２４５、及び、係数取得部６４１を有する。
したがって、図５７の画像変換装置６３１は、タップ選択部２４１ないしクラス分類部２４３、及び、予測演算部２４５を有する点で、図２２の画像変換装置２３１と共通する。
但し、図５７の画像変換装置６３１は、係数取得部２４４に代えて、係数取得部６４１を有する点で、図２２の画像変換装置２３１と相違する。
係数取得部６４１には、可逆復号部２０２（図５５）からパラメータ情報及び削減フィルタ情報としてのクラスごとの種係数が供給される。
係数取得部６４１は、図５０の係数取得部５６２と同様に、クラスごとのタップ係数を生成する。
すなわち、係数取得部６４１は、例えば、削減フィルタ情報としてのクラスごとの種係数と、パラメータ情報から得られるパラメータzとを用い、式（９）に従って、クラスごとのタップ係数を生成する。そして、係数取得部６４１は、クラスごとのタップ係数から、クラス分類部２４３から供給される注目画素のクラスのタップ係数を取得し、予測演算部２４５に供給する。
図５８は、図５７の係数取得部６４１の構成例を示すブロック図である。
図５８において、係数取得部６４１は、記憶部６７１、タップ係数算出部６７２、記憶部６７３、及び、取得部６７４を有する。
記憶部６７１には、可逆復号部２０２（図５５）から、削減フィルタ情報としてのクラスごとの種係数が供給される。
記憶部６７１は、可逆復号部２０２からの削減フィルタ情報としてのクラスごとの種係数を記憶する。
タップ係数算出部６７２には、可逆復号部２０２からパラメータ情報が供給される。タップ係数算出部６７２は、パラメータ情報から、符号化装置１１で用いられたパラメータz（図５０のパラメータ生成部５６１で生成されたパラメータz）を取得し、そのパラメータzと、記憶部６７１に記憶されたクラスごとの種係数とを用い、式（９）に従って、クラスごとのタップ係数を算出し、記憶部６７３に供給する。
記憶部６７３は、タップ係数算出部６７２からのクラスごとのタップ係数を記憶する。
取得部６７４には、クラス分類部２４３から、注目画素のクラスが供給される。
取得部６７４は、記憶部６７３に記憶されたクラスごとのタップ係数から、クラス分類部２４３からの注目画素のクラスのタップ係数を取得し、予測演算部２４５に供給する。
＜復号処理＞
図５９は、図５５の復号装置１２の復号処理の例を説明するフローチャートである。
復号処理では、ステップＳ２７１において、蓄積バッファ２０１は、図２４のステップＳ７１と同様に、符号化装置１１から伝送されてくる符号化データを一時蓄積し、適宜、可逆復号部２０２に供給して、処理は、ステップＳ２７２に進む。
ステップＳ２７２では、可逆復号部２０２は、図２４のステップＳ７２と同様に、蓄積バッファ２０１から供給される符号化データを受け取って復号し、その復号により得られる量子化係数を、逆量子化部２０３に供給する。
また、可逆復号部２０２は、符号化データの復号により、符号化情報や、削減フィルタ情報、パラメータ情報が得られた場合、必要な符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。
さらに、可逆復号部２０２は、符号化情報、削減フィルタ情報、及び、パラメータ情報を、クラス分類適応フィルタ６１１に供給する。
その後、処理は、ステップＳ２７２からステップＳ２７３に進み、クラス分類適応フィルタ６１１は、可逆復号部２０２から削減フィルタ情報が供給されたかどうかを判定する。
ステップＳ２７３において、削減フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ２７４をスキップして、ステップＳ２７５に進む。
また、ステップＳ２７３において、削減フィルタ情報が供給されたと判定された場合、処理は、ステップＳ２７４に進み、クラス分類適応フィルタ６１１の画像変換装置６３１（図５７）を構成する係数取得部６４１が、削減フィルタ情報としてのクラスごとの種係数を取得する。
さらに、係数取得部６４１（図５８）では、記憶部６７１が、記憶部６７１に記憶されているクラスごとの種係数を、削減フィルタ情報としてのクラスごとの種係数に更新する（削減フィルタ情報としてのクラスごとの種係数を上書きする形で記憶する）。
そして、処理は、ステップＳ２７４からステップＳ２７５に進み、予測復号処理が行われ、復号処理は終了する。
図６０は、図５９のステップＳ２７５の予測復号処理の例を説明するフローチャートである。
予測復号処理では、ステップＳ２８１ないしＳ２８９において、図２５のステップＳ８１ないしＳ８９とそれぞれ同様の処理が行われる。
なお、ステップＳ２８６において、クラス分類適応フィルタ６１１は、図２５のステップＳ８６と同様に、演算部２０５からの復号途中画像に、ILFの処理としてのクラス分類適応処理を施すが、そのクラス分類適応処理では、図５９のステップＳ２７４で、係数取得部６４１が取得した削減フィルタ情報としてのクラスごとの種係数から生成されるクラスごとのタップ係数が用いられる。
図６１は、図６０のステップＳ２８６で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ６１１の画像変換装置６３１（図５７）では、ステップＳ２９１において、タップ選択部２４１が、図２６のステップＳ９１と同様に、演算部２０５から供給される復号途中画像から、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ２９２に進む。
ステップＳ２９２では、画像変換装置６３１（図５７）の係数取得部６４１が、可逆復号部２０２（図５５）から、注目画素についてのパラメータ情報が供給されたかどうかを判定する。
ステップＳ２９２において、注目画素についてのパラメータ情報が供給されていないと判定された場合、処理は、ステップＳ２９３をスキップして、ステップＳ２９４に進む。
すなわち、注目画素についてのパラメータ情報が、前回、注目画素になった画素のパラメータ情報と同一であり、符号化装置１１から伝送されてきていない場合、処理は、ステップＳ２９２から、ステップＳ２９３をスキップして、ステップＳ２９４に進み、以下、可逆復号部２０２（図５５）からクラス分類適応フィルタ６１１に最後に供給されたパラメータ情報から得られたパラメータzを用いて算出されたタップ係数を用いて、フィルタ後画像を求める式（１）の予測演算が行われる。
一方、ステップＳ２９２において、可逆復号部２０２（図５５）から、注目画素についてのパラメータ情報が供給されたと判定された場合、処理は、ステップＳ２９３に進み、そのパラメータ情報から得られるパラメータzを用いて、新たなタップ係数が算出される。
すなわち、ステップＳ２９３では、係数取得部６４１（図５８）のタップ係数算出部６７２が、図５９のステップＳ２７４で記憶部６７１に記憶された削減フィルタ情報としてのクラスごとの種係数と、可逆復号部２０２（図５５）から供給された、注目画素についてのパラメータ情報から得られるパラメータzとを用いて、クラスごとのタップ係数を算出する。
さらに、タップ係数算出部６７２は、クラスごとのタップ係数を、記憶部６７３に供給して、上書きする形で記憶させ、処理は、ステップＳ２９３からステップＳ２９４に進む。
ステップＳ２９４では、タップ選択部２４１及び２４２が、図２６のステップＳ９２と同様に、演算部２０５から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を選択し、予測演算部２４５及びクラス分類部２４３に、それぞれ供給する。
その後、処理は、ステップＳ２９４からステップＳ２９５に進み、クラス分類部２４３は、図２６のステップＳ９３と同様に、注目画素についてのクラスタップ、及び、注目画素についての符号化情報を用いて、注目画素のクラス分類を行う。
そして、クラス分類部２４３は、注目画素のクラス分類により得られる注目画素のクラスを、係数取得部６４１に供給し、処理は、ステップＳ２９５からステップＳ２９６に進む。
ステップＳ２９６では、係数取得部６４１（図５８）の取得部６７４が、直前のステップＳ２９３で記憶部６７３に記憶されたクラスごとのタップ係数から、クラス分類部２４３からの注目画素のクラスのタップ係数を取得し、予測演算部２４５に供給して、処理は、ステップＳ２９７に進む。
ステップＳ２９７ないしＳ２９９では、図２６のステップＳ９５ないしＳ９７とそれぞれ同様の処理が行われる。
以上のように、図４３の符号化装置１１及び図５５の復号装置１２では、ILF処理を、クラス分類適応処理によって行うので、ILFの処理結果よりも元画像に近いフィルタ後画像を得ることができる。その結果、復号画像のS/Nを改善することができる。さらに、元画像に近いフィルタ後画像を得ることができることから、残差が小さくなるので、圧縮効率を改善することができる。また、符号化装置１１では、種係数評価値が最良になるように、各クラスの種係数の次数を選択して、クラスごとのタップ係数を削減した削減フィルタ情報としてのクラスごとの種係数を生成し、復号装置１２に対して、クラスごとのタップ係数ではなく、削減フィルタ情報を伝送するので、圧縮効率を、より改善することができる。
＜タップ係数を削減した削減フィルタ情報の他の例＞
図６２は、タップ係数学習により得られるクラスごとのタップ係数を削減した削減フィルタ情報の他の例を説明する図である。
タップ係数を削減した削減フィルタ情報としては、メリット判定値が閾値以上のクラスのタップ係数や、統合クラスごとのタップ係数及び対応関係LUT、クラスごとの種係数の他、タップ係数学習により得られるクラスごとのタップ係数を削減して得られる任意の情報を採用することができる。
ここで、タップ係数は、符号化データのオーバーヘッドとなるため、タップ係数のデータ量が多いと、圧縮効率が低下する。また、１クラスのタップ係数の数（式（１）のN）が大であると、式（１）の予測演算の演算コストが大になる。
タップ係数学習により得られるクラスごとのタップ係数を削減することにより、圧縮効率の低下や、予測演算の演算コストが大になることを抑制することができる。
タップ係数学習により得られるクラスごとのタップ係数の削減は、例えば、クラスの総数を少なくするクラスの縮退や、タップ係数自体の削減によって行うことができる。
例えば、図６２に示すように、注目画素を中心とする十字型の9画素で、クラスタップを構成し、1ビットADRC処理によるクラス分類を行う場合には、例えば、最上位ビットが1のADRCコードについて、各ビットの反転を行うことにより、クラス数を、512=29クラスから256=28クラスに縮退することができる。クラスの縮退後の256クラスでは、9画素のクラスタップ（の1ビットADRC処理）のADRCコードをそのままクラスコードとする場合に比較して、タップ係数のデータ量が1/2に削減される。
さらに、クラスタップを構成する十字型の9画素のうちの、上下方向、左右方向、又は、斜め方向に線対称の位置関係にある画素のADRC結果が同一のクラスどうしを、１つのクラスに統合するクラスの縮退を行うことにより、クラス数は、100クラスにすることができる。この場合、100クラスのタップ係数のデータ量は、256クラスのタップ係数のデータ量の約39％になる。
また、以上に加えて、クラスタップを構成する十字型の9画素のうちの、点対称の位置関係にある画素のADRC結果が同一のクラスどうしを、１つのクラスにまとめるクラスの縮退を行うことにより、クラス数は、55クラスにすることができる。この場合、55クラスのタップ係数のデータ量は、256クラスのタップ係数のデータ量の約21％になる。
タップ係数の削減は、以上のように、クラスの縮退によって行う他、タップ係数自体を削減することによって行うこともできる。
すなわち、例えば、予測タップ及びブロック（符号化ブロック）が同一の画素で構成される場合には、ブロック位相に基づいて、タップ係数自体を削減することができる。
例えば、予測タップ及びブロックが、4×4画素で構成される場合には、予測タップの左上の2×2画素と左右方向に線対称の位置関係にある右上の2×2画素、上下方向に線対称の位置関係にある左下の2×2画素、及び、点対称の位置関係にある右下の2×2画素のタップ係数として、左上の2×2画素それぞれのタップ係数を位置関係に応じて配置し直したタップ係数を採用することができる。この場合、予測タップを構成する4×4画素に対する16個のタップ係数を、左上の2×2画素に対する4個のタップ係数に削減することができる。
また、予測タップの上半分の4×2画素と上下方向に線対称の位置関係にある下半分の4×2画素のタップ係数として、上半分の4×2画素それぞれのタップ係数を位置関係に応じて配置し直したタップ係数を採用することができる。この場合、予測タップを構成する4×4画素に対する16個のタップ係数を、上半分の4×2画素に対する8個のタップ係数に削減することができる。
その他、予測タップの左右方向に線対称の位置関係にある画素どうしや、斜め方向に線対称の位置関係にある画素どうしのタップ係数として、同一のタップ係数を採用することによって、タップ係数を削減することができる。
なお、以上のようなブロック位相に基づくタップ係数の削減を闇雲に行うと、その削減後のタップ係数により得られるフィルタ後画像のS/Nが低下する（元画像に対する誤差が増加する）。
そこで、ブロック位相に基づくタップ係数の削減は、例えば、クラス分類に用いるADRCコードにより、予測タップを構成する画素の波形パターンを解析し、その波形パターンが空間的な対称性を有する場合には、その対称性がある位置関係にある、予測タップとしての画素どうしについては、同一のタップ係数を採用することができる。
すなわち、例えば、クラスタップが、2×2画素で構成され、そのクラスタップの画素のADRC結果を、ラスタスキャン順に並べたADRCコードが、1001である場合には、点対称の対称性があるとみなして、点対称の位置関係にある予測タップとしての画素どうしのタップ係数として、同一のタップ係数を採用することができる。
以上のように、タップ係数を削減するタップ係数削減方法としては、様々な方法を採用することができる。
すなわち、例えば、図６２で説明したように、クラスタップに対して得られる、最上位ビットが1のADRCコードの各ビットの反転を行うことで、クラス数を1/2に縮退することや、クラスタップにおいて線対称や点対称の位置関係にある画素のADRC結果が同一のクラスどうしを、１つのクラスに統合すること等の、クラスタップに対して得られるクラスコードを操作することにより、クラス（数）を少なくして、タップ係数を削減するクラスコード利用法を、タップ係数削減方法として採用することができる。
また、例えば、図６２で説明したように、予測タップを構成する画素に対して、その画素と線対称や点対称等の所定の位置関係にある画素に対するタップ係数（と同一のタップ係数）を採用することにより、各クラスのタップ係数を削減する位置関係利用法を、タップ係数削減方法として採用することができる。
さらに、例えば、図９ないし図２６の符号化装置１１及び復号装置１２の第１の構成例で説明したように、最新のタップ係数学習により求められる最新係数のうちの、メリット判定値が閾値以上のクラスの最新係数だけを、選択係数として選択することにより、タップ係数を削減する係数選択法を、タップ係数削減方法として採用することができる。
また、例えば、図２７ないし図４２の符号化装置１１及び復号装置１２の第２の構成例で説明したように、タップ係数評価値（RDコスト等）が改善するように、係数間距離が最も近い組み合わせの２個のクラス等の複数のクラスを統合することにより、タップ係数を削減する係数間距離利用法を、タップ係数削減方法として採用することができる。
さらに、例えば、図４３ないし図６１の符号化装置１１及び復号装置１２の第３の構成例で説明したように、複数の値のパラメータzに対するタップ係数にフィットする関係曲線を規定する種係数を求めることにより、タップ係数を削減する種係数利用法を、タップ係数削減方法として採用することができる。
なお、タップ係数削減方法は、以上のクラスコード利用法、位置関係利用法、係数選択法、係数間距離利用法、及び、種係数利用法に限定されるものではなく、タップ係数を少なくする任意の方法を採用することができる。
すなわち、タップ係数削減方法としては、その他、例えば、タップ係数を可逆の圧縮方式で圧縮する方法や、タップ係数の性能をクラスごとに評価するクラス評価値に基づき、クラス性能評価値が閾値以上のクラス以外のクラスを削除することにより、タップ係数を削減するクラス評価値利用法等がある。
ここで、ある注目クラスのタップ係数の性能を評価するクラス評価値としては、例えば、注目クラスのタップ係数を用いて予測演算を行って得られるフィルタ後画像を用いて符号化を行った場合のRDコストや、PSNR(Peak signal-to-noise ratio)、クラス分類適応処理を用いない一般のILFのフィルタ処理を行って得られる画像と元画像との第１のMSE(Mean Squared Error)と、注目クラスのタップ係数を用いて予測演算を行って得られるフィルタ後画像と元画像との第２のMSEとの差分（第１のMSE−第２のMSE）であるΔMSE等を採用することができる。
図６３は、クラス評価値利用法によるタップ係数の削減の例を説明する図である。
図６３は、タップ係数学習で得られた初期クラスごとのタップ係数のクラス評価値としてのΔMSEの昇順に初期クラスを並べたときの、各初期クラス（のタップ係数）のクラス評価値の例を示している。
図６３において、横軸は、クラス評価値の昇順に並べた初期クラスを表し、縦軸は、各初期クラスのクラス評価値を表す。
ここで、ある初期クラスのクラス評価値としてのΔMSEは、その初期クラスのタップ係数を用いた予測演算により得られるフィルタ後画像の画質が、クラス分類適応処理を用いないILFのフィルタ処理を行って得られる画像の画質との比較で、どの程度改善しているかの画質改善効果を表す。
クラス評価値利用法によるタップ係数の削減では、クラス評価値の昇順に並べた初期クラスのうちの１つの初期クラスが、境界クラスに設定される。そして、境界クラスよりも、クラス評価値の順位が下位の順位の初期クラスが、削除の対象のクラスとして削除される。
境界クラスとしては、例えば、クラス評価値が閾値以上の初期クラスの中で、クラス評価値が最小の初期クラス、又は、クラス評価値が閾値以下の初期クラスの中で、クラス評価値が最大の初期クラスや、クラス評価値の順位が、あらかじめ決められた順位の初期クラス等を採用することができる。
＜符号化装置１１の第４の構成例＞
図６４は、図１の符号化装置１１の第４の構成例を示すブロック図である。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図６４において、符号化装置１１は、A/D変換部１０１ないし演算部１１０、フレームメモリ１１２ないしレート制御部１１７、及び、クラス分類適応フィルタ９１１を有する。
したがって、図６４の符号化装置１１は、A/D変換部１０１ないし演算部１１０、及び、フレームメモリ１１２ないしレート制御部１１７を有する点で、図９の場合と共通する。
但し、図６４の符号化装置１１は、クラス分類適応フィルタ１１１に代えて、クラス分類適応フィルタ９１１を有する点で、図９の場合と相違する。
クラス分類適応フィルタ９１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う点で、クラス分類適応フィルタ１１１と共通する。
但し、クラス分類適応フィルタ９１１では、タップ係数学習により求められた複数の初期クラスのタップ係数が削減処理により削減されることで、その複数の初期クラスのタップ係数よりも少ないデータ量に縮退されたタップ係数が、削減フィルタ情報として生成される点で、クラス分類適応フィルタ９１１は、クラス分類適応フィルタ１１１と相違する。
また、クラス分類適応フィルタ９１１では、初期クラスのタップ係数を、少ないデータ量のタップ係数に変換する縮退が、複数の縮退方法の中から選択された縮退方法で行われるが、その縮退方法を表す縮退情報が、削減フィルタ情報として生成される点で、クラス分類適応フィルタ９１１は、クラス分類適応フィルタ１１１と相違する。
さらに、クラス分類適応フィルタ９１１は、削減フィルタ情報としての縮退後のタップ係数、及び、縮退情報を用いてクラス分類適応処理を行う点で、クラス分類適応フィルタ１１１と相違する。
＜クラス分類適応フィルタ９１１の構成例＞
図６５は、図６４のクラス分類適応フィルタ９１１の構成例を示すブロック図である。
図６５において、クラス分類適応フィルタ９１１は、学習装置９３１、削減装置（削減部）９３２、及び、画像変換装置９３３を有する。
学習装置９３１には、並べ替えバッファ１０２（図６４）から元画像が供給されるとともに、演算部１１０（図６４）から復号途中画像が供給される。さらに、学習装置９３１には、符号化情報が供給される。
学習装置９３１は、復号途中画像を生徒データとするとともに、元画像を教師データとして、初期クラスごとのタップ係数を求めるタップ係数学習を行う。
さらに、学習装置９３１は、タップ係数学習により得られる初期クラスごとのタップ係数を、削減装置９３２に供給する。
なお、学習装置９３１は、タップ係数学習において、クラス分類を、必要に応じて、符号化情報を用いて行う。
また、学習装置９３１は、タップ係数学習において、注目画素のクラス分類を、注目画素に関する複数種類の画素関連情報を用いて行う。
画素関連情報は、ADRCコード等の画像特徴量と、量子化パラメータQP等の符号化情報とに大別される。注目画素のクラス分類に用いる複数種類の画素関連情報としては、１種類以上の画像特徴量と１種類以上の符号化情報との組み合わせや、複数種類の画像特徴量と０種類以上の符号化情報との組み合わせ、０種類以上の画像特徴量と複数種類の符号化情報の組み合わせを採用することができる。
削減装置９３２には、上述のように、学習装置９３１から、タップ係数学習で得られた初期クラスのタップ係数が供給される。さらに、削減装置９３２には、学習装置９３１と同様に、教師データとなる元画像、生徒データとなる復号途中画像、及び、符号化情報が供給される。
削減装置９３２は、学習装置９３１からの初期クラスごとのタップ係数を、そのタップ係数よりも少ないデータ量のタップ係数に縮退する削減処理を行う。
なお、タップ係数の縮退には、各クラスのタップ係数自体を少なくする縮退と、クラスを少なくするクラスの縮退とに大別される。削減装置９３２では、各クラスのタップ係数自体を少なくする縮退と、クラスを少なくするクラスの縮退との一方、又は、両方を行うことができるが、以下では、削減装置９３２でのタップ係数の縮退としては、少なくとも、クラスの縮退が行われることを前提に説明を行う。
削減装置９３２は、初期クラスごとのタップ係数の縮退を行い、その縮退により、初期クラスごとのタップ係数を、初期クラスのクラス数よりも少ないクラス数の縮退クラスごとのタップ係数を求める。
削減装置９３２は、初期クラスごとのタップ係数から縮退クラスごとのタップ係数を得る縮退を、複数の縮退方法の中から選択された縮退方法で行う。
削減装置９３２では、縮退クラスごとのタップ係数を得るのに用いる縮退方法の選択が、教師データとしての元画像、生徒データとしての復号途中画像、及び、符号化情報を用いて行われる。
削減装置９３２は、削減処理において、縮退により得られた縮退クラスごとのタップ係数と、その縮退クラスごとのタップ係数を得るのに用いられた縮退方法を表す縮退情報とを、削減フィルタ情報として生成し、画像変換装置９３３及び可逆符号化部１０６（図６４）に供給する。
画像変換装置９３３には、演算部１１０（図６４）から復号途中画像が供給されるとともに、削減装置９３２から削減フィルタ情報が供給される。さらに、画像変換装置９３３には、符号化情報が供給される。
画像変換装置９３３は、復号途中画像を第１の画像として、削減装置９３２からの削減フィルタ情報に含まれる縮退クラスごとのタップ係数及び縮退情報を用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、フレームメモリ１１２（図６４）に供給する。
なお、画像変換装置９３３は、クラス分類適応処理において、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜学習装置９３１の構成例＞
図６６は、図６５の学習装置９３１の構成例を示すブロック図である。
図６６において、学習装置９３１は、学習部９４０及び記憶部９４６を有する。学習部９４０は、タップ選択部９４１及び９４２、クラス分類部９４３、足し込み部９４４、並びに、係数算出部９４５を有する。
学習部９４０は、タップ係数学習により初期クラスごとのタップ係数を求める点で、図１３の学習部３３と共通する。
但し、学習部９４０は、クラス分類が、実質的に、様々なクラス分類方法で行われ、その結果、数千や数万以上の初期クラスごとのタップ係数が求められる点で、そのような膨大な数よりも十分に少ない数のクラスごとのタップ係数が求められる図１３の学習部３３と相違する。
タップ選択部９４１は、図１３のタップ選択部４１と同様に、生徒データとしての復号途中画像を構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
さらに、タップ選択部９４１は、注目画素について、生徒データとしての復号途中画像を構成する画素から、予測タップとなる１以上の画素を選択し、その１以上の画素で構成される予測タップを、足し込み部４４に供給する。
タップ選択部９４２は、注目画素について、生徒データとしての復号途中画像を構成する画素から、クラスタップとなる１以上の画素を選択し、その１以上の画素で構成されるクラスタップを、クラス分類部９４３に供給する。
なお、タップ選択部９４２は、注目画素について、複数種類の画素関連情報としての画像特徴量を検出するために用いる複数のクラスタップを構成する。
クラス分類部９４３は、注目画素について、タップ選択部９４２からの複数のクラスタップから検出される画像特徴量や符号化情報、すなわち、複数種類の画素関連情報を用いて、クラス分類を行い、その結果得られる注目画素のクラスに対応するクラスコードを、足し込み部９４４に出力する。
以上のように、クラス分類部９４３では、複数種類の画素関連情報を用いてクラス分類が行われることで、注目画素が、例えば、数千や数万以上のクラスのうちのいずれかのクラスに（クラス）分類される。
クラス分類部９４３で得られるクラスが初期クラスであり、したがって、初期クラスのクラス数は、クラス分類部９４３が分類し得るクラスのクラス数に等しい。
足し込み部９４４は、図１３の足し込み部４４と同様に、教師データとしての元画像を構成する画素から、注目画素に対応する対応画素（の画素値）を取得し、対応画素と、タップ選択部９４１から供給される注目画素についての予測タップを構成する生徒データとしての復号途中画像の画素（の画素値）とを対象とした足し込みを、クラス分類部９４３から供給される初期クラス（のクラスコード）ごとに行う。
そして、足し込み部９４４は、足し込みを行うことにより、各初期クラスについて、式（８）に示した正規方程式をたて、その正規方程式を、係数算出部９４５に供給する。
係数算出部９４５は、図１３の係数算出部４５と同様に、足し込み部９４４から供給される各初期クラスについての正規方程式を解くことにより、クラス分類部９４３で分類し得るクラス数の初期クラスごとのタップ係数(wn)を求め、記憶部９４６に記憶する。
記憶部９４６は、係数算出部９４５からの初期クラスごとのタップ係数を記憶する。
図６７は、図６６のタップ選択部４２とクラス分類部９４３の構成例を示すブロック図である。
図６７において、タップ選択部９４２は、１以上の選択部９５１１，９５１２，・・・，９５１Ｈ−１を有する。また、クラス分類部９４３は、複数であるH個の情報検出部９５２１，９５２２，・・・，９５２Ｈ、複数であるH個のサブクラス分類部９５３１，９５３２，・・・，９５３Ｈ、及び、クラス構成部９５４を有する。
選択部９５１ｈには、生徒データとしての復号途中画像が供給される。選択部９５１は、第ｈの画像特徴量の検出に用いる第ｈのクラスタップとなる画素を、復号途中画像から選択して、その画素から第ｈのクラスタップを構成し、情報検出部９５２ｈに供給する。
ここで、ある選択部９５１ｈで構成する第ｈのクラスタップと、他の選択部９５１ｈ’で構成する第ｈ’のクラスタップとは、同一のタップ構造であっても良いし、異なるタップ構造であっても良い。
情報検出部９５２ｈは、選択部９５１ｈからの第ｈのクラスタップを構成する画素から、第ｈの画像特徴量を検出し、第ｈの画素関連情報として、サブクラス分類部９５３ｈに供給する。
情報検出部９５２ｈでは、例えば、第ｈのクラスタップの1ビットADRC処理により得られるADRCコードや、第ｈのクラスタップを構成する画素の画素値のDR(Dynamic Range)等の画像特徴量を検出することができる。
なお、情報検出部９５２１ないし９５２Ｈのうちの、情報検出部９５２Ｈには、注目画素の符号化情報が供給される。情報検出部９５２Ｈは、注目画素の符号化情報から、必要な情報を検出し、さらに、必要に応じて加工して、第Ｈの画素関連情報として、サブクラス分類部９５３Ｈに供給する。
サブクラス分類部９５３ｈは、情報検出部９５２ｈから供給される第ｈの画素関連情報を用いて、注目画素を、その注目画素の（最終的な）初期クラスのサブセットとしての第ｈのサブクラスにサブクラス分類し、その結果得られる注目画素の第ｈのサブクラスを、クラス構成部９５４に供給する。
サブクラス分類部９５３ｈでのサブクラス分類の方法としては、例えば、第ｈの画素関連情報を１、又は、複数の閾値と比較する閾値処理を行って、第ｈの画素関連情報と閾値との比較結果を表す値を、サブクラス（コード）として出力する方法や、第ｈの画素関連情報が、例えば、ADRCコードのようなビット列である場合には、そのビット列をそのまま、サブクラスとして出力する方法等がある。
なお、画素関連情報の閾値処理を行って、サブクラス分類を行う場合、画素関連情報が、同一種類の画素関連情報であっても、その画素関連情報の閾値処理に用いる閾値が異なるサブクラス分類どうしは、異なる（方法の）サブクラス分類である。
また、第ｈのクラスタップと第ｈ’のクラスタップとが、異なるタップ構造である場合、情報検出部９５２ｈと９５２ｈ’とで、第ｈのクラスタップと第ｈ’のクラスタップとから、同一種類の画素関連情報が検出されても、第ｈのクラスタップから検出された画素関連情報を用いたサブクラス分類と、第ｈ’のクラスタップから検出された画素関連情報を用いたサブクラス分類とは、異なる方法のサブクラス分類である。
クラス構成部９５４は、サブクラス分類部９５３１ないし９５３Ｈから供給される第１ないし第ＨのサブクラスであるＨ個のサブクラスの組み合わせから、注目画素の初期クラスを構成し、足し込み部９４４（図６６）に供給する。
クラス分類部９４３で行われるクラス分類は、選択部９５１ｈで構成されるクラスタップのタップ構造、情報検出部９５２ｈで検出される画像関連情報の種類、及び、サブクラス分類部９５３ｈで行われるサブクラス分類の方法（サブクラス分類方法）によって、様々な方法のクラス分類になる。
また、クラス分類部９４３で行われるクラス分類は、様々な方法（クラス分類方法）のクラス分類が含まれている、ということができる。
なお、図６７では、説明を簡単にするため、情報検出部９５２ｈの数と、サブクラス分類部９５３ｈの数とを、一致させているが、情報検出部９５２ｈの数と、サブクラス分類部９５３ｈの数とは、一致していなくてもよい。
また、ある情報検出部９５２ｈで検出された（第ｈの）画素関連情報は、サブクラス分類部９５３ｈに供給するとともに、又は、サブクラス分類部９５３ｈに供給するのではなく、他のサブクラス分類部９５３ｈ’に供給することができる。
さらに、サブクラス分類部９５３ｈ’は、情報検出部９５２ｈ’から供給される（第ｈ’の）画素関連情報を用いてサブクラス分類を行う他、情報検出部９５２ｈから供給される画素関連情報、又は、情報検出部９５２ｈ及び９５２ｈ’それぞれから供給される画素関連情報の両方を用いて、サブクラス分類を行うことができる。
また、クラス分類部９４３では、クラス構成部９５４において、サブクラス分類部９５３１ないし９５３Ｈから供給されるＨ個のサブクラスの組み合わせを用いて初期クラスを構成するクラス分類を行う他、Ｈ個のサブクラスのうちの、Ｈ個未満のＨ１，Ｈ２，・・・個のサブクラスの組み合わせを用いて初期クラスを構成するクラス分類を行うことができる。
Ｈ個以下の１又は複数のサブクラスの組み合わせのうちの、ある組み合わせを用いて初期クラスを構成するクラス分類と、他の組み合わせを用いて初期クラスを構成するクラス分類とは、異なる方法のクラス分類である、ということができる。
クラス分類部９４３では、１つの方法のクラス分類を行う他、複数の方法（複数種類のクラス分類方法）のクラス分類を行うことができる。
そして、クラス分類部９４３において、複数種類のクラス分類方法でクラス分類を行う場合には、その複数種類のクラス分類方法の中で、復号画像の画質及び符号化効率が最良になるクラス分類方法、すなわち、例えば、RDコスト等が最良のクラス分類方法を、最適クラス分類方法として選択することができる。さらに、クラス分類部９４３では、最適クラス分類方法で行ったクラス分類により得られる初期クラスを、注目画素のクラスとして出力することができる。また、符号化装置１１では、復号装置１２に対して、最適クラス分類方法を表す情報を、削減フィルタ情報に含めて伝送し、復号装置１２では、最適クラス分類方法でクラス分類を行うことができる。
＜画素関連情報となる画像特徴量の例＞
図６８は、画素関連情報となる画像特徴量の例を示す図である。
画素関連情報となる画像特徴量としては、例えば、ADRCコードや、DR、DiffMax、定常性、アクティビティ、二次微分和、最大方向差分、フィルタバンク出力等を採用することができる。
ADRCコードは、図２等で説明したようにして求めることができる。すなわち、例えば、1ビットADRCコードは、クラスタップを構成する画素の輝度等の画素値を、閾値によって２値に分割し、その２値の画素値を並べることにより求めることができる。
ADRCコードを用いた（サブ）クラス分類によれば、クラスタップ（を構成する画素群）の波形パターン(エッジやテクスチャ（方向を含む）等）を網羅的に分類し．クラス分類適応処理において、クラスタップの波形パターンごとに、画像の最適な復元効果を得ることができる。
DRは、クラスタップを構成する画素の輝度等の画素値の最大値と最小値との差分である。DRを用いたクラス分類は、クラス分類適応処理において、DRが小である場合には、平坦部のノイズ等の低減に寄与し、DRが大である場合には、エッジの復元に寄与する。
DiffMaxは、クラスタップにおいて、水平、垂直、斜め方向に隣接する画素の画素値の差分絶対値の最大値である。DiffMaxを用いたクラス分類は、クラス分類適応処理において、DiffMaxが小である場合には、グラデーションの偽輪郭の低減に寄与し、DiffMaxが大である場合には、急峻なエッジ(段差)の復元に寄与する。
なお、DR及びDiffMaxの組み合わせ、すなわち、例えば、DiffMax/DRや、DiffMaxとDRとの二軸表現(DiffMax, DR)は、DRだけ又はDiffMaxだけとは異なる画像特徴量として、クラスタップにおいて、DRの振幅を何画素かけて登り切るかの指標にすることができる。
定常性は、例えば、クラスタップにおいて、方向ごとの隣接する画素の画素値の差分絶対値和の最大となる方向と最小となる方向との差分絶対値和の差分を表す値によって表すことができる。定常性を用いたクラス分類は、クラス分類適応処理において、定常性が小である場合には、テクスチャ（やノイズのような細かい模様）の復元に寄与し、定常性が大である場合には、エッジ(構造線)の復元に寄与する。
アクティビティは、例えば、クラスタップにおいて、水平と垂直方向に隣接する画素の画素値の差分絶対値和で表すことができる。アクティビティを用いたクラス分類は、クラス分類適応処理において、アクティビティが小である場合には、ステップエッジ（単純なパターン）の復元に寄与し、アクティビティが大である場合には、テクスチャ（複雑なパターン）の復元に寄与する。
二次微分和は、例えば、クラスタップにおいて、水平と垂直方向に隣接する画素の画素値の二次微分の絶対値和である。二次微分和を用いたクラス分類は、二次微分和が小である場合には、ステップエッジの復元に寄与し、二次微分和が大である場合には、テクスチャの復元に寄与する。
最大方向差分は、クラスタップにおいて、水平、垂直、斜め方向に隣接する画素の画素値の差分絶対値和が最大となる方向を表す値である。最大方向差分を用いたクラス分類は、注目画素の周辺の振幅や、勾配、構造等の方向を分類し、これにより、クラス分類適応処理において、注目画素の周辺の振幅や、勾配、構造等の方向ごとに、画像の最適な復元効果を得ることができる。
フィルタバンク出力は、方向性を持つ複数のバンドパスフィルタに対して、クラスタップを構成する画素の画素値を入力して得られる値である。フィルタバンク出力を用いたクラス分類は、計算コストが大きいが、最大方向差分を用いたクラス分類に比較して、分類精度が高い。
情報検出部９５２ｈで検出する画像特徴量としては、以上のような、ADRCコードや、DR、DiffMax、定常性、アクティビティ、二次微分和、最大方向差分、フィルタバンク出力の他、任意の画像特徴量を採用することができる。
＜クラスの構成の例＞
図６９は、図６７のクラス構成部９５４が、サブクラス分類部９５３１ないし９５３Ｈから供給される第１ないし第Ｈのサブクラスから初期クラスを構成する方法の例を示す図である。
図６９のＡは、第１ないし第Ｈのサブクラスから初期クラスを構成する第１の方法を説明する図である。
クラス構成部９５４では、第１ないし第Ｈのサブクラスの積を求め、その積を、初期クラスとすることができる。すなわち、クラス構成部９５４では、第１ないし第Ｈのサブクラスを表すＨ個のビット列を並べた新たなビット列を構成し、その新たなビット列を、初期クラスを表すビット列として出力することができる。
図６９のＢは、第１ないし第Ｈのサブクラスから初期クラスを構成する第２の方法を説明する図である。
クラス構成部９５４では、第１ないし第Ｈのサブクラス（画素関連情報）を軸とするサブクラス空間（画素関連情報空間）に、例えば、学習装置９３１でのタップ係数学習に用いる教師データとしての元画像、及び、生徒データとしての復号途中画像とのセット（以下、学習サンプルともいう）のうちの生徒データとしての復号途中画像の各画素に対して得られる第１ないし第Ｈのサブクラス（画素関連情報）に対応する点をプロットする。
さらに、クラス構成部９５４は、サブクラス空間にプロットされた、学習サンプルに対して得られた第１ないし第Ｈのサブクラスに対応する点に対して、k-means法等を適用することによって、サブクラス空間を、複数のクラスタにクラスタリングする。
そして、クラス構成部９５４は、注目画素の第１ないし第Ｈのサブクラスに対応する点がクラスタリングされるクラスタに対応する値を、注目画素の初期クラスとして出力する。
＜クラス分類に用いる複数種類の画素関連情報の組み合わせの例＞
図７０は、注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせの第１の例を示す図である。
注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせとしては、例えば、ADRCコードとDRとの組み合わせを用いることができる。
ADRCコードを用いたサブクラス分類によれば、注目画素が、その注目画素の周辺の波形パターンによって分類される波形パターン分類が行われる。また、DRを用いたサブクラス分類によれば、注目画素が、その注目画素の周辺の振幅によって分類される振幅分類が行われる。
その結果、ADRCコードとDRとの組み合わせを用いたクラス分類、すなわち、例えば、ADRCコードを用いたサブクラス分類の結果と、DRを用いたサブクラス分類の結果とを用いたクラス分類によれば、注目画素は、その注目画素の周辺のエッジとテクスチャによって分類される。
図７１は、注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせの第２の例を示す図である。
注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせとしては、例えば、ADRCコード、DR、及び、DiffMax/DRの組み合わせを用いることができる。
DiffMax/DRを用いたサブクラス分類によれば、注目画素が、その注目画素の周辺の勾配によって分類される勾配分類が行われる。
ADRCコード、DR、及び、DiffMax/DRの組み合わせは、図７０のADRCコードとDRとの組み合わせに、DiffMax/DRが加わった組み合わせである。したがって、ADRCコード、DR、及び、DiffMax/DRの組み合わせを用いたクラス分類によれば、注目画素は、その注目画素の周辺のエッジ、グラデーション、及び、テクスチャによって分類される。
ここで、ADRCコードは、クラスタップを構成する各画素の輝度等の画素値と閾値との比較結果であり、注目画素の周辺の画素値の変化の方向の情報を含み、かかるADRCコードを用いた（サブ）クラス分類によれば、注目画素の周辺の波形パターンを網羅的に分類することができる。
但し、ADRCコードは、注目画素の周辺の波形パターンの振幅や勾配の情報を含まないため，ADRCコードを用いたクラス分類では、平坦部のノイズや，グラデーション部分の偽輪郭のような破綻を精度良く分類して低減することや、大きいエッジと小さいエッジとを区別してエッジの強度に合わせた復元を行うことが困難な場合がある。
そこで、ADRCコードに、DR、及び、DiffMax/DRを組み合わせ、そのADRCコード、DR、及び、DiffMax/DRの組み合わせを用いて、クラス分類を行うことで、注目画素の周辺の局所領域の画像に適した復元を行うことが可能になる。
すなわち、ADRCコードに、DR、及び、DiffMax/DRの組み合わせを用いたクラス分類によれば、ADRCコードによって、注目画素の周辺の波形パターンを網羅的に分類することができる。さらに、DR及びDiffMax/DRによって、平坦部のノイズや，グラデーション部分の偽輪郭のような破綻を精度良く分類して低減することや、大きいエッジと小さいエッジとを区別してエッジの強度に合わせた復元を行うことができる。
例えば、DR及びDiffMax/DRがいずれも小である場合には、平坦部やグラデーション部分での偽輪郭等を分類して低減することができる。また、例えば、DRが小で、DiffMax/DRが大である場合には、平坦部のブロックノイズ等のノイズを分類して低減することができる。さらに、例えば、DRが大で、DiffMax/DRが小である場合には、緩やかな勾配のエッジを分類して、そのようなエッジを強調しすぎないようにすることができる。また、例えば、DR及びDiffMax/DRがいずれも大である場合には、急峻なエッジを分類して、そのようなエッジを適切に強調して復元することができる。
図７２は、注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせの第３の例を示す図である。
注目画素のクラス分類に用いる複数種類の画素関連情報の組み合わせとしては、例えば、二次微分和とDRとのセット（組み合わせ）、DiffMaxとDRとのセット、及び、最大方向差分の組み合わせを用いることができる。
なお、二次微分和とDRとのセットについては、二次微分和に代えて、定常性又はアクティビティを用いることができる。また、最大方向差分については、最大方向差分に代えて、フィルタバンク出力を用いることができる。
二次微分和とDRとのセット、DiffMaxとDRとのセット、及び、最大方向差分の組み合わせを用いるクラス分類によれば、例えば、二次微分和とDRとのセットにより、エッジとテクスチャを分類することができる。また、例えば、DiffMaxとDRとのセット（例えば、DiffMax/DR）により、エッジ等の勾配を分類し、最大方向差分により、エッジの方向を分類することができる。
その結果、二次微分和とDRとのセット、DiffMaxとDRとのセット、及び、最大方向差分の組み合わせを用いるクラス分類によれば、エッジ、テクスチャ、及び、グラデーション（グラデーションの方向を含む）を分類することができる。
＜削除装置９３２の構成例＞
図７３は、図６５の削除装置９３２の構成例を示すブロック図である。
図７３において、削除装置９３２は、縮退候補クラス選択部９７１、縮退対象クラス選択部９７２、クラス縮退部９７３、評価値算出部９７４、及び、縮退方法選択部９７５を有する。
縮退候補クラス選択部９７１には、学習装置９３１（図６５）から、初期クラスごとのタップ係数が供給される。また、縮退候補クラス選択部９７１には、例えば、学習装置９３１に供給されるのと同様の学習サンプルとしての生徒データ（復号途中画像）、及び、教師データ（元画像）が供給される。
縮退候補クラス選択部９７１は、学習装置９３１からの初期クラスごとのタップ係数を用い、生徒データ（復号途中画像）を第１の画像として、その第１の画像を、教師データ（元画像）に相当する相当画像に変換する。さらに、縮退候補クラス選択部９７１は、相当画像と教師データとを用いて、各初期クラスのタップ係数の性能を表すクラス評価値を、初期クラスごとに求め、そのクラス評価値に応じて、初期クラスの中から、縮退の対象の候補となる縮退候補クラスを選択し、その縮退候補クラス（を表す情報）を、縮退対象クラス選択部９７２に供給する。
縮退候補クラス選択部９７１は、画像変換部９８１及び選択部９８２を有する。
画像変換部９８１は、初期クラスごとに、その初期クラスのタップ係数と生徒データとしての復号途中画像とを用いた予測演算を行うことで、生徒データとしての復号途中画像を、教師データとしての元画像に相当する相当画像に変換する画像変換を行う。そして、画像変換部９８１は、初期クラスごとに得られる相当画像を、選択部９８２に供給する。
選択部９８２は、画像変換部９８１からの初期クラスごとの相当画像と、教師データとしての元画像とを用いて、各初期クラスのクラス評価値を求める。クラス評価値としては、例えば、RDコストやS/N等を採用することができる。
選択部９８２は、各初期クラスのクラス評価値を用いて、例えば、図６３で説明したように、境界クラスを決定し、境界クラスよりも、クラス評価値の順位が下位の順位の初期クラスを、縮退候補クラスに選択して、縮退対象クラス選択部９７２に供給する。
縮退対象クラス選択部９７２は、縮退候補クラス選択部９７１からの縮退候補クラスの中から、まだ、縮退対象クラスに選択していない１つのクラス、又は、すべてのクラスを、縮退の対象となる縮退対象クラスに選択し、その縮退対象クラス（を表す情報）を、クラス縮退部９７３に供給する。
ここでは、説明を簡単にするため、縮退対象クラス選択部９７２は、縮退候補クラス選択部９７１からの縮退候補クラスのすべてを、縮退対象クラスに選択することとする。
クラス縮退部９７３には、縮退対象クラス選択部９７２から縮退対象クラスが供給される他、学習装置９３１（図６５）から、初期クラスごとのタップ係数が供給される。また、クラス縮退部９７３には、例えば、学習装置９３１に供給されるのと同様の学習サンプルとしての生徒データ（復号途中画像）、及び、教師データ（元画像）、並びに、符号化情報が供給される。
クラス縮退部９７３は、初期クラスから、縮退対象クラスをなくすように、クラスの縮退を行う。すなわち、例えば、縮退対象クラスが、縮退対象クラスでない他のクラスに統合される。この場合、縮退対象クラスにクラス分類される画素は、統合後の他のクラスを、縮退後のクラスとして、その縮退後のクラスにクラス分類される。クラス縮退部９７３において、クラスの縮退は、複数種類の縮退方法のそれぞれによって行われる。
さらに、クラス縮退部９７３は、学習サンプルとしての生徒データ、及び、教師データ、並びに、符号化情報を用い、複数種類の縮退方法それぞれについて、初期クラスを縮退した縮退クラスごとのタップ係数を求める（求め直す）。
そして、クラス縮退部９７３は、複数種類の縮退方法それぞれについての縮退クラスごとのタップ係数と、縮退方法を表す縮退情報とを、評価値算出部９７４、及び、縮退方法選択部９７５に供給する。
ここで、クラス縮退部９７３での縮退の方法としては、図６２及び図６３等で説明した、例えば、クラスコード利用法や、位置関係利用法、係数選択法、係数間距離利用法、種係数利用法、クラス評価値利用法等のタップ係数削減方法、その他の任意の方法を採用することができる。
評価値算出部９７４には、クラス縮退部９７３から、（複数種類の縮退方法それぞれについての）複数種類の縮退クラスごとのタップ係数が供給される他、例えば、学習装置９３１に供給されるのと同様の学習サンプルとしての生徒データ（復号途中画像）、及び、教師データ（元画像）、並びに、符号化情報が供給される。
評価値算出部９７４は、クラス縮退部９７３からの複数種類の縮退クラスごとのタップ係数それぞれについて、その縮退クラスごとのタップ係数を予測演算に用いる適切さを表す縮退評価値を求める。
縮退クラスごとのタップ係数（を得るのに用いられた縮退方法）の縮退評価値は、例えば、学習サンプルとしての生徒データ、及び、教師データ、並びに、符号化情報を用いて求められる。
すなわち、評価値算出部９７４は、画像変換部９９１及び縮退評価値算出部９９２を有する。
画像変換部９９１は、クラス縮退部９７３からの複数種類の縮退クラスごとのタップ係数それぞれについて、その縮退クラスごとのタップ係数を用いたクラス分類適応処理により、生徒データとしての復号途中画像を、教師データとしての元画像に相当する相当画像に変換する画像変換を行い、その画像変換によって得られる相当画像を、縮退評価値算出部９９２に供給する。
縮退評価値算出部９９２は、画像変換部９９１から供給される、複数種類の縮退クラスごとのタップ係数それぞれについて得られる相当画像と、教師データとしての元画像とを用いて、複数種類の縮退クラスごとのタップ係数それぞれについて、例えば、RDコストやS/N等を、縮退評価値として求める。
そして、縮退評価値算出部９９２は、複数種類の縮退クラスごとのタップ係数それぞれについての縮退評価値を、縮退方法選択部９７５に供給する。
縮退方法選択部９７５は、クラス縮退部９７３からの複数種類の縮退方法それぞれについての縮退クラスごとのタップ係数及び縮退情報の中から、評価値算出部７７４からの縮退評価値が最良の縮退方法についての縮退クラスごとのタップ係数、及び、縮退情報を、高性能な縮退方法（高性能縮退方法）で縮退された縮退クラスごとのタップ係数、及び、その高性能縮退方法を表す縮退情報として選択し、削減フィルタ情報として、画像変換装置９３３（図６５）、及び、可逆符号化部１０６（図６４）に供給する。
なお、ここでは、縮退対象クラス選択部９７２において、縮退候補クラスのすべてを、縮退対象クラスに選択し、クラス縮退部９７３において、縮退対象クラスとしての縮退候補クラスのすべてをなくす縮退を行うこととしたが、縮退対象クラス選択部９７２では、縮退候補クラスの中から、縮退対象クラスとするクラスを１つずつ選択することができる。
この場合、クラス縮退部９７３では、縮退対象クラス選択部９７２で選択された１つの縮退対象クラスをなくす縮退が行われ、その縮退後のクラスごとのタップ係数についての縮退評価値が、評価値算出部９７４で求められる。
縮退方法選択部９７５は、縮退後のクラスごとのタップ係数についての縮退評価値が、前回よりも改善した場合には、図７３において、点線の矢印で示すように、縮退対象クラス選択部９７２に、縮退候補クラスの中から、縮退対象クラスとする１つのクラスを新たに選択させて、以下、同様の処理を繰り返すことができる。
一方、縮退後のクラスごとのタップ係数についての縮退評価値が、前回よりも改善しなかった場合には、縮退方法選択部９７５は、前回の時点で得られた縮退後のクラスごとのタップ係数を、その縮退方法での最終的な縮退結果とすることができる。
この場合、縮退後のクラスのクラス数の最適化を図ることができる。
また、図７３では、削減フィルタ情報に、縮退情報を含めることとしたが、削減フィルタ情報には、縮退情報に代えて、初期クラスと縮退クラスとの対応関係を表すテーブルである対応関係LUTを含めることができる。
縮退情報によれば、その縮退情報が表す縮退方法によって、初期クラスを縮退することで、縮退クラスを求めることができる。したがって、対応関係LUTは、初期クラスと縮退クラスとの対応関係を、直接的に表す情報であるということができるのに対して、縮退方法は、初期クラスと縮退クラスとの対応関係を、間接的に表す情報であるということができる。
なお、削減装置９３２において、縮退評価値が最良の縮退方法と、その縮退方法によって縮退された縮退クラスごとのタップ係数を選択する処理は、１つのクラス分類方法でクラス分類が行われた初期クラスごとのタップ係数を対象に行う他、複数種類のクラス分類方法それぞれでクラス分類が行われた複数種類の初期クラスごとのタップ係数を対象に行うことができる。
縮退評価値が最良の縮退方法と、その縮退方法によって縮退された縮退クラスごとのタップ係数を選択する処理を、複数種類のクラス分類方法それぞれでクラス分類が行われた複数種類の初期クラスごとのタップ係数を対象に行う場合には、複数種類のクラス分類方法それぞれと複数種類の縮退方法それぞれとの組み合わせの中から、RDコスト等の縮退評価値が最良のクラス分類方法と縮退方法との組み合わせを選択することができる。
＜画像変換部９８１の構成例＞
図７４は、図７３の画像変換部９８１の構成例を示すブロック図である。
図７４において、画像変換部９８１は、タップ選択部７１１、係数取得部７１４、及び、予測演算部７１５を有する。
タップ選択部７１１には、生徒データとしての復号途中画像が供給される。
タップ選択部７１１は、生徒データとしての復号途中画像の画素を、順次、注目画素として、その注目画素について、例えば、図６６のタップ選択部９４１と同様の予測タップを構成し、予測演算部７１５に供給する。
係数取得部７１４には、学習装置９３１（図６５）からの初期クラスごとのタップ係数が供給される。
係数取得部７１４は、初期クラスとしての各クラスを、順次、注目クラスに選択し、学習装置９３１（図６５）からの初期クラスごとのタップ係数から、注目クラスのタップ係数を取得して、予測演算部７１５に供給する。
予測演算部７１５は、タップ選択部７１１からの予測タップと、係数取得部７１４からの注目クラスのタップ係数とを用いた予測演算を、例えば、図３１の予測演算部２５と同様に行い、各初期クラスについて、教師データとしての元画像に相当する相当画像を生成し、選択部９８２（図７３）に供給する。
＜画像変換部９９１の構成例＞
図７５は、図７３の画像変換部９９１の構成例を示すブロック図である。
図７５において、画像変換部９９１は、タップ選択部７２１及び７２２、クラス分類部７２３、係数取得部７２４、並びに、予測演算部７２５を有する。
タップ選択部７２１及び７２２には、生徒データとしての復号途中画像が供給される。
タップ選択部７２１は、生徒データとしての復号途中画像の画素を、順次、注目画素として、その注目画素について、例えば、図６６のタップ選択部９４１と同様の予測タップを構成し、予測演算部７２５に供給する。
タップ選択部７２２は、注目画素について、図６６のタップ選択部９４２と同様のクラスタップを構成し、クラス分類部７２３に供給する。
クラス分類部７２３は、図６６のクラス分類部９４３と同様に、注目画素について、複数種類の画素関連情報、すなわち、タップ選択部７２２からのクラスタップから検出される画像特徴量や符号化情報を用いて、クラス分類を行い、その結果得られる注目画素の初期クラスを、係数取得部７２４に供給する。
係数取得部７２４には、クラス分類部７２３から注目画素の初期クラスが供給される他、クラス縮退部９７３（図７３）から縮退情報と、その縮退情報が表す縮退方法で縮退された縮退クラスごとのタップ係数が供給される。
係数取得部７２４は、クラス縮退部９７３からの縮退情報に基づいて、クラス分類部７２３から注目画素の初期クラスを、縮退クラスに変換する。さらに、係数取得部７２４は、クラス縮退部９７３からの縮退クラスごとのタップ係数から、注目画素の縮退クラスのタップ係数を取得し、予測演算部７２５に供給する。
予測演算部７２５は、タップ選択部７２１からの予測タップと、係数取得部７２４からの注目画素の縮退クラスのタップ係数とを用いた予測演算を、例えば、図３１の予測演算部２５と同様に行い、最終的には、教師データとしての元画像に相当する相当画像を生成し、縮退評価値算出部９９２（図７３）に供給する。
＜係数取得部７２４の構成例＞
図７６は、図７５の係数取得部７２４の構成例を示すブロック図である。
図７６において、係数取得部７２４は、記憶部７３１、縮退クラス変換部７３２、及び、取得部７３３を有する。
記憶部７３１には、クラス縮退部９７３（図７３）から、縮退クラスごとのタップ係数が供給される。
記憶部７３１は、クラス縮退部９７３からの縮退クラスごとのタップ係数を記憶する。
縮退クラス変換部７３２には、クラス分類部７２３（図７５）から、注目画素のクラス分類結果としての初期クラスが供給される。さらに、縮退クラス変換部７３２には、クラス縮退部９７３（図７３）から、縮退情報が供給される。
縮退クラス変換部７３２は、縮退情報に従い、注目画素の初期クラスを、注目画素の縮退クラスに変換し、取得部７３３に供給する。
取得部７３３は、記憶部７３１に記憶された縮退クラスごとのタップ係数から、縮退クラス変換部７３２からの注目画素の縮退クラスのタップ係数を取得し、予測演算部７２５（図７５）に供給する。
＜クラス縮退部９７３の構成例＞
図７７は、図７３のクラス縮退部９７３の構成例を示すブロック図である。
図７７において、クラス縮退部９７３は、複数であるＶ個の縮退部７４１１，７４１２，．．．，７４１Ｖ、及び、Ｖ個の学習部７４２１，７４２２，．．．，７４２Ｖを有し、Ｖ種類の縮退方法で、学習装置９３１の初期クラスごとのタップ係数の縮退を行う。さらに、クラス縮退部９７３は、Ｖ種類の縮退方法それぞれについて、その縮退方法で縮退された縮退クラスごとのタップ係数学習を行うことで、複数種類の縮退方法それぞれについて、初期クラスを縮退した縮退クラスごとのタップ係数を求め直す。
縮退部７４１ｖには、学習装置９３１（図６５）から初期クラスごとのタップ係数が供給されるとともに、縮退対象クラス選択部９７２（図７３）から、縮退対象クラスが供給される。
縮退部７４１ｖは、学習装置９３１からタップ係数が供給される初期クラスから、縮退対象クラス選択部９７２からの縮退対象クラスをなくすように、第ｖの縮退方法によって、クラスの縮退を行う。そして、縮退部７４１ｖは、第ｖの縮退方法を表す縮退情報を、学習部７４２ｖに供給する。
学習部７４２ｖには、縮退部７４１ｖから縮退情報が供給される他、例えば、学習装置９３１に供給されるのと同様の学習サンプルとしての生徒データ（復号途中画像）、及び、教師データ（元画像）、並びに、符号化情報が供給される。
学習部７４２ｖは、学習サンプルとしての生徒データ、及び、教師データ、並びに、符号化情報を用い、タップ係数学習を行って、初期クラスを縮退した縮退クラスごとのタップ係数を求める（求め直す）。
すなわち、学習部７４２ｖは、タップ係数学習において、注目画素のクラス分類の結果である初期クラスを、縮退部７４１ｖからの縮退情報が表す第ｖの縮退方法に応じて、縮退クラスに変換し、その縮退クラスごとのタップ係数（以下、第ｖの縮退方法で縮退された縮退クラスごとのタップ係数ともいう）を求める。
そして、学習部７４２ｖは、第ｖの縮退方法で縮退された縮退クラスごとのタップ係数と、第ｖの縮退方法を表す縮退情報とを、評価値算出部９７４及び縮退方法選択部９７５（図７３）に供給する。
第ｖの縮退方法としては、例えば、図６２及び図６３等で説明した、例えば、クラスコード利用法や、位置関係利用法、係数選択法、係数間距離利用法、種係数利用法、クラス評価値利用法等のタップ係数削減方法、その他の任意の方法の１つを単独で採用することができる。
また、第ｖの縮退方法としては、例えば、係数間距離利用法と種係数利用法との組み合わせや、クラスコード利用法と係数間距離利用法との組み合わせ等の、複数の方法の組み合わせを採用することができる。
例えば、初期クラスへのクラス分類に、ADRCコードを用いている場合には、係数間距離利用法とクラスコード利用法との組み合わせた縮退方法を採用することができる。この場合、係数間距離利用法だけや、クラスコード利用法だけの場合よりも、縮退評価値が良くなり、かつ、データ量が少なくなるように、初期クラスごとのタップ係数の縮退を行うことが可能となる。
また、例えば、初期クラスへのクラス分類に、DRやDiffMax等の連続して変化する（意味のある）物理量を画像特徴量として用いている場合には、初期クラスごとのタップ係数の縮退方法として、DR及びDiffMaxの一方又は両方をパラメータとする種係数利用法を、少なくとも採用することができる。種係数利用法による縮退によれば、圧縮効率とトレードオフの関係にあるPSNRを改善することができる。
さらに、初期クラスごとのタップ係数の縮退には、例えば、係数間距離利用法と種係数利用法との組み合わせた縮退方法を採用することができる。係数間距離が近いある初期クラスcと他の初期クラスc'とであっても、初期クラスcに分類される画像特徴量と、初期クラスc'に分類される画像特徴量とが大きく異なることがある。この場合、初期クラスc及びc'を、係数間距離利用法で、１つのクラス（縮退クラス）に縮退するよりも、初期クラスcのタップ係数、及び、初期クラスc'のタップ係数を、画像特徴量をパラメータとする種係数利用法により縮退することで、画質改善効果を大にすることや、圧縮効率（符号化効率）を向上させることができることがある。
なお、クラス分類に、少なくともADRCコードを用いている場合には、初期クラスごとのタップ係数の縮退には、クラスコード利用法が、特に有用であることがある。
また、クラス分類に、少なくとも、ADRC，DR、又は、DiffMaxを用いている場合には、初期クラスごとのタップ係数の縮退には、クラス評価値利用法が、特に有用であることがある。
さらに、クラス分類に、DR又はDiffMaxを用いている場合には、初期クラスごとのタップ係数の縮退には、種係数利用法が、特に有用であることがある。
図７８は、種係数利用法による初期クラスごとのタップ係数の縮退の例を説明する図である。
図７８では、ADRCコードを用いたサブクラス分類により得られるADRCサブクラスと、DRを用いたサブクラス分類により得られるDRサブクラスとから、初期クラスが構成されている。
また、図７８では、ADRCサブクラス及びDRサブクラスは、いずれも、2ビットで表され、初期クラスは、2ビットのADRCサブクラスと、2ビットのDRサブクラスとを並べた4ビットで表される。
したがって、初期クラスのクラス数は、16(=24)クラスである。
以上のような16クラスの初期クラスごとのタップ係数tc#iを、DRをパラメータとする種係数利用法により縮退することにより、2ビットのADRCサブクラスを縮退クラスとする縮退クラスごとの種係数sc#jが得られる。
図７８では、例えば、ADRCサブクラスが00で、DRサブクラスが00, 01, 10, 11の4クラスの初期クラスのタップ係数tc#0, tc#1, tc#2, tc#3,が、ADRCサブクラスが00の縮退クラスの種係数sc#0に縮退されている。他の初期クラスのタップ係数についても、同様である。
縮退クラスごとの種係数sc#jからは、式（９）に従い、DRをパラメータzとして、様々な値のDRに対する、縮退クラスごとのタップ係数を生成することができる。
なお、初期クラスごとのタップ係数の縮退が、種係数利用法で行われる場合、縮退方法としての種係数利用法を表す縮退情報には、パラメータとして用いられた画像特徴量（の種類）を表す情報を含ませることができる。この場合、復号装置１２では、縮退情報に含まれる情報から、パラメータを認識し、そのパラメータを用いて、種係数からタップ係数を求めることができる。
図７９は、図７７の学習部７４２ｖの構成例を示すブロック図である。
図７９において、学習部７４２ｖは、タップ選択部７５１及び７５２、クラス分類部７５３、足し込み部７５４、係数算出部７５５、及び、縮退クラス変換部７５６を有する。
タップ選択部７５１及び７５２、並びに、クラス分類部７５３は、図６６の学習装置９３１のタップ選択部９４１及び９４２、並びに、クラス分類部７５２と同様の処理を行う。
これにより、足し込み部７５４には、タップ選択部７５１から、生徒データとしての復号途中結果画像から選択された注目画素の予測タップが供給され、縮退クラス変換部７５６には、クラス分類部７５３から、初期クラスが供給される。
縮退クラス変換部７５６には、クラス分類部７５３から初期クラスが供給される他、縮退部７４１ｖ（図７７）から第ｖの縮退方法を表す縮退情報が供給される。
縮退クラス変換部７５６は、縮退部７４１ｖからの縮退情報に従い、注目画素の初期クラスを、縮退情報が表す第vの縮退方法で縮退した縮退クラスに変換し、足し込み部７５４に供給する。
足し込み部７５４は、図６６の足し込み部９４４と同様に、教師データとしての元画像を構成する画素から、注目画素に対応する対応画素（の画素値）を取得し、対応画素と、タップ選択部９４１から供給される注目画素についての予測タップを構成する生徒データとしての復号途中画像の画素（の画素値）とを対象とした足し込みを行う。
但し、足し込み部７５４は、足し込みを、初期クラスごとではなく、縮退クラス変換部７５６から供給される縮退クラス（のクラスコード）ごとに行う。
そして、足し込み部７５４は、足し込みを行うことにより、各縮退クラスについて、式（８）に示した正規方程式をたて、その正規方程式を、係数算出部７５５に供給する。
係数算出部７５５は、図１３の係数算出部４５と同様に、足し込み部７５４から供給される各縮退クラスについての正規方程式を解くことにより、クラス分類部９５３で分類し得る数の初期クラスを第ｖの縮退方法で縮退した縮退クラスごとのタップ係数(wn)を求め（直し）、縮退部７４１ｖ（図７７）からの第ｖの縮退方法を表す縮退情報とともに、評価値算出部９７４及び縮退方法選択部９７５（図７３）に供給する。
＜画像変換装置９３３の構成例＞
図８０は、図６５の画像変換装置９３３の構成例を示すブロック図である。
図８０において、画像変換装置９３３は、タップ選択部７７１及び７７２、クラス分類部７７３、係数取得部７７４、及び、予測演算部７７５を有する。
タップ選択部７７１ないし予測演算部７７５は、図７５のタップ選択部７２１ないし予測演算部７２５とそれぞれ同様に構成される。
タップ選択部７７１及び７７２には、第１の画像としての復号途中画像が供給される。
タップ選択部７７１は、第１の画像としての復号途中画像の画素を、順次、注目画素として、その注目画素について、例えば、図６６のタップ選択部９４１と同様の予測タップを構成し、予測演算部７７５に供給する。
タップ選択部７７２は、注目画素について、図６６のタップ選択部９４２と同様のクラスタップを構成し、クラス分類部７７３に供給する。
クラス分類部７７３は、図６６のクラス分類部９４３と同様に、注目画素について、複数種類の画素関連情報、すなわち、タップ選択部７７２からのクラスタップから検出される画像特徴量や符号化情報を用いて、クラス分類を行い、その結果得られる注目画素の初期クラスを、係数取得部７７４に供給する。
係数取得部７７４には、クラス分類部７７３から注目画素の初期クラスが供給される他、削減装置９３２（図６５）（図７３）から、削減フィルタ情報が供給される。
ここで、削減装置９３２から係数取得部７７４に供給される削減フィルタ情報は、削減装置９４３の縮退方法選択部９７５（図７３）が出力する削減フィルタ情報であり、第１ないし第ｖの縮退方法の中で、縮退評価値が最良の高性能縮退方法を表す縮退情報と、その高性能縮退方法で初期クラスごとのタップ係数を縮退した縮退クラスごとのタップ係数を含む。
係数取得部７７４は、削減装置９３２からの削減フィルタ情報に含まれる縮退情報に基づき、その縮退情報が表す縮退方法で、クラス分類部７７３から注目画素の初期クラスを、縮退クラスに変換する。さらに、係数取得部７７４は、削減装置９３２からの削減フィルタ情報に含まれる縮退クラスごとのタップ係数から、注目画素の縮退クラスのタップ係数を取得し、予測演算部７７５に供給する。
予測演算部７７５は、タップ選択部７７１からの予測タップと、係数取得部７７４からの注目画素の縮退クラスのタップ係数とを用いた予測演算を、例えば、図３１の予測演算部２５と同様に行い、最終的には、元画像に相当する第２の画像としてのフィルタ後画像を生成し、フレームメモリ１１２（図６４）に供給する。
＜係数取得部７７４の構成例＞
図８１は、図８０の係数取得部７７４の構成例を示すブロック図である。
図８１において、係数取得部７７４は、記憶部７８１、縮退クラス変換部７８２、及び、取得部７８３を有する。
記憶部７８１ないし取得部７８３は、図７６の記憶部７３１ないし取得部７３３と同様に構成される。
記憶部７８１には、削減装置９３２（図６５）（図７３）から、削減フィルタ情報が供給される。
記憶部７８１は、削減装置９３２からの削減フィルタ情報に含まれる縮退クラスごとのタップ係数を記憶する。
縮退クラス変換部７８２には、クラス分類部７７３（図８０）から、注目画素のクラス分類結果としての初期クラスが供給される。さらに、縮退クラス変換部７８２には、削減装置９３２から削減フィルタ情報が供給される。
縮退クラス変換部７８２は、削減フィルタ情報に含まれる縮退情報に従い、注目画素の初期クラスを、注目画素の縮退クラスに変換し、取得部７８３に供給する。
取得部７８３は、記憶部７８１に記憶された縮退クラスごとのタップ係数から、縮退クラス変換部７８２からの注目画素の縮退クラスのタップ係数を取得し、予測演算部７７５（図８０）に供給する。
＜符号化処理＞
図８２は、図６４の符号化装置１１の符号化処理の例を説明するフローチャートである。
ステップＳ３１１において、クラス分類適応フィルタ９１１の学習装置９３１（図６５）は、図１７のステップＳ１１と同様に、現在のタイミングが、タップ係数の更新タイミングであるかどうかを判定する。
ステップＳ３１１において、現在のタイミングが、タップ係数の更新タイミングでないと判定された場合、処理は、ステップＳ３１２ないしＳ３１９をスキップして、ステップＳ３２０に進む。
また、ステップＳ３１１において、現在のタイミングが、タップ係数の更新タイミングであると判定された場合、処理は、ステップＳ３１２に進み、学習装置９３１は、複数の画素関連情報を用いたクラス分類を行い、初期クラスごとのタップ係数を求めるタップ係数学習を行う。
そして、学習装置９３１は、タップ係数学習により得られた初期クラスごとのタップ係数を、削減装置９３２に供給し、処理は、ステップＳ３１２からステップＳ３１３に進む。
ステップＳ３１３では、削減装置９３２の縮退候補クラス選択部９７１（図７３）が、学習装置９３１からタップ係数が供給された初期クラスの中から、縮退候補クラスを選択し、縮退対象クラス選択部９７２（図７３）に供給する。
縮退対象クラス選択部９７２は、縮退候補クラス選択部９７１からの縮退候補クラスの中から、縮退対象クラスを選択し、クラス縮退部９７３（図７３）に供給して、処理は、ステップＳ３１３からステップＳ３１４に進む。
ステップＳ３１４では、クラス縮退部９７３は、学習装置９３１からの初期クラスごとのタップ係数を、初期クラスから（縮退対象クラス選択部９７２からの）縮退対象クラスをなくした縮退クラスごとのタップ係数に縮退する。
クラス縮退部９７３は、初期クラスごとのタップ係数を対象とした縮退を、複数種類の縮退方法によって行い、これにより、複数種類の縮退クラスごとのタップ係数を求める。
そして、クラス縮退部９７３は、複数種類の縮退方法それぞれについて、縮退方法を表す縮退情報と、その縮退方法で縮退された縮退クラスごとのタップ係数とを、評価値算出部９７４、及び、縮退方法選択部９７５（図７３）に供給して、処理は、ステップＳ３１４からステップＳ３１５に進む。
ステップＳ３１５では、評価値算出部９７４は、クラス縮退部９７３からの複数種類の縮退クラスごとのタップ係数それぞれについて、縮退クラスごとのタップ係数を予測演算に用いる適切さを表す縮退評価値を求める。評価値算出部９７４は、複数種類の縮退クラスごとのタップ係数それぞれについての縮退評価値を、縮退方法選択部９７５（図７３）に供給し、処理は、ステップＳ３１５からステップＳ３１６に進む。
ステップＳ３１６では、縮退方法選択部９７５は、クラス縮退部９７３からの複数種類の縮退方法それぞれについての縮退クラスごとのタップ係数及び縮退情報の中から、高性能縮退方法で縮退された縮退クラスごとのタップ係数、及び、その高性能縮退方法を表す縮退情報、すなわち、評価値算出部７７４からの縮退評価値が最良の縮退方法についての縮退クラスごとのタップ係数（必要に応じて、種係数を含む）、及び、縮退情報を選択し、削減フィルタ情報として取得する。
ステップＳ３１７では、削減装置９３２の縮退方法選択部９７５は、削減フィルタ情報を、可逆符号化部１０６（図６４）、及び、画像変換装置９３３（図６５）に出力し、処理は、ステップＳ３１８に進む。
ステップＳ３１８では、可逆符号化部１０６（図６４）は、削減装置９３２からの削減フィルタ情報を、伝送対象に設定して、処理は、ステップＳ３１９に進む。伝送対象に設定された削減フィルタ情報は、後述するステップＳ３２０で行われる予測符号化処理において符号化データに含められて伝送される。
ステップＳ３１９では、画素変換装置９３３（図８０）において、係数取得部７７４（図８１）の記憶部７８１が、その記憶部７８１に記憶されている縮退クラスごとのタップ係数を、削減装置９３２からの削減フィルタ情報に含まれる縮退クラスごとのタップ係数に更新し（削減フィルタ情報に含まれる縮退クラスごとのタップ係数を上書きする形で記憶し）、処理は、ステップＳ３２０に進む。
ステップＳ３２０では、元画像の予測符号化処理が行われ、符号化処理は終了する。
図８３は、図８２のステップＳ３２０の予測符号化処理の例を説明するフローチャートである。
予測符号化処理では、ステップＳ３３１ないしＳ３４６において、図１８のステップＳ３１ないしＳ４６とそれぞれ同様の処理が行われる。
なお、ステップＳ３４２において、クラス分類適応フィルタ９１１は、図１８のステップＳ４２と同様に、演算部１１０からの復号途中画像に、ILFの処理としてのクラス分類適応処理を施すが、そのクラス分類適応処理では、図８２のステップＳ３１７で、削減装置９３２が画像変換装置９３３に出力する削減フィルタ情報に含まれる縮退クラスごとのタップ係数、及び、縮退情報が用いられる。
さらに、ステップＳ３４４では、可逆符号化部１０６は、図１８のステップＳ４４と同様に、量子化係数、符号化情報、及び、削減フィルタ情報を符号化するが、その削減フィルタ情報には、縮退クラスごとのタップ係数、及び、縮退情報が含まれる。
したがって、可逆符号化部１０６で得られる符号化データには、量子化係数、符号化情報、並びに、削減フィルタ情報としての縮退クラスごとのタップ係数、及び、縮退情報が含まれる。そして、かかる符号化データは、ステップＳ３４５で、図１８のステップＳ４５で説明したように、蓄積バッファ１０７から、適宜読み出されて伝送される。
図８４は、図８３のステップＳ３４２で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ９１１の画像変換装置９３３（図８０）では、ステップＳ３５１において、タップ選択部７７１が、図１９のステップＳ５１と同様に、演算部１１０から供給される復号途中画像から、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ３５２に進む。
ステップＳ３５２では、タップ選択部７７１及び７７２が、演算部１１０から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を選択し、予測演算部７７５及びクラス分類部７７３に、それぞれ供給する。
その後、処理は、ステップＳ３５２からステップＳ３５３に進み、クラス分類部７７３は、注目画素についてのクラスタップから検出される画素特徴量や、注目画素についての符号化情報等の、注目画素についての複数の画素関連情報を用いて、注目画素のクラス分類を行う。
そして、クラス分類部７７３は、注目画素のクラス分類により得られる注目画素の初期クラスを、係数取得部７７４に供給し、処理は、ステップＳ３５３からステップＳ３５４に進む。
ステップＳ３５４では、係数取得部７７４（図８１）の縮退クラス変換部７８２が、クラス分類部７７３から供給される注目画素の初期クラスを、図８２のステップＳ３１７で削減装置９３２から供給される削減フィルタ情報としての縮退情報が表す縮退方法に従って、注目画素の縮退クラスに変換する。そして、縮退クラス変換部７８２は、注目画素の縮退クラスを、取得部７８３（図８１）に供給して、処理は、ステップＳ３５４からステップＳ３５５に進む。
ステップＳ３５５では、取得部７８３が、記憶部７８１に図８２のステップＳ３１９で記憶された縮退クラスごとのタップ係数から、縮退クラス変換部７８２からの注目画素の縮退クラスのタップ係数を取得し、予測演算部７７５に供給して、処理は、ステップＳ３５６に進む。
ステップＳ３５６ないしＳ３５８では、図１９のステップＳ５５ないしＳ５７とそれぞれ同様の処理が行われる。
以上のように、図６４の符号化装置１１では、注目画素のクラス分類が、複数の画素関連情報を用いて行われることにより、多数のクラス数の初期クラスごとのタップ係数が求められる。さらに、初期クラスごとのタップ係数が、複数種類の縮退方法から選択された縮退方法、すなわち、例えば、縮退評価値が最良の縮退方法で縮退され、その結果得られる縮退クラスごとのタップ係数と、その縮退クラスごとのタップ係数を得るのに用いられた縮退方法を表す縮退情報とが、削減フィルタ情報として伝送される。
したがって、圧縮効率及び復号画像のS/Nを向上させることが可能となる。
＜復号装置１２の第４の構成例＞
図８５は、図１の復号装置１２の第４の構成例を示すブロック図である。
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図８５において、復号装置１２は、蓄積バッファ２０１ないし演算部２０５、並べ替えバッファ２０７、D/A変換部２０８、フレームメモリ２１０ないし選択部２１４、及び、クラス分類適応フィルタ８１１を有する。
したがって、図８５の復号装置１２は、蓄積バッファ２０１ないし演算部２０５、並べ替えバッファ２０７、D/A変換部２０８、及び、フレームメモリ２１０ないし選択部２１４を有する点で、図２０の場合と共通する。
但し、図８５の復号装置１２は、クラス分類適応フィルタ２０６に代えて、クラス分類適応フィルタ８１１を有する点で、図２０の場合と相違する。
図８５の復号装置１２は、図６４の符号化装置１１から伝送されてくる符号化データを復号する。
そのため、可逆復号部２０２からクラス分類適応フィルタ８１１に供給される削減フィルタ情報には、縮退クラスごとのタップ係数と縮退情報が含まれる。
クラス分類適応フィルタ８１１は、クラス分類適応処理を行うことにより、ILFとして機能するフィルタで、クラス分類適応処理によって、ILF処理を行う点で、図２０のクラス分類適応フィルタ２０６と共通する。
但し、クラス分類適応フィルタ８１１は、削減フィルタ情報としての縮退クラスごとのタップ係数、及び、縮退情報を用いてクラス分類適応処理を行う点で、クラス分類適応フィルタ２０６と相違する。
＜クラス分類適応フィルタ８１１の構成例＞
図８６は、図８５のクラス分類適応フィルタ８１１の構成例を示すブロック図である。
図８６において、クラス分類適応フィルタ８１１は、画像変換装置８３１を有する。
画像変換装置８３１には、演算部２０５（図８５）から復号途中画像が供給されるとともに、可逆復号部２０２から削減フィルタ情報としての縮退クラスごとのタップ係数及び縮退情報、並びに、符号化情報が供給される。
画像変換装置８３１は、図６５の画像変換装置９３３と同様に、復号途中画像を第１の画像として、削減フィルタ情報に含まれる縮退クラスごとのタップ係数（削減フィルタ情報を用いて得られるタップ係数）及び縮退情報を用いたクラス分類適応処理による画像変換を行うことで、第１の画像としての復号途中画像を、元画像に相当する第２の画像としてのフィルタ後画像に変換して（フィルタ後画像を生成して）、並べ替えバッファ２０７及びフレームメモリ２１０（図８５）に供給する。
なお、画像変換装置８３１は、クラス分類適応処理において、図６５の画像変換装置９３３と同様に、クラス分類を、必要に応じて、符号化情報を用いて行う。
＜画像変換装置８３１の構成例＞
図８７は、図８６の画像変換装置８３１の構成例を示すブロック図である。
図８７において、画像変換装置８３１は、タップ選択部８４１及び８４２、クラス分類部８４３、係数取得部８４４、並びに、予測演算部８４５を有する。
そして、タップ選択部８４１及び８４２には、演算部２０５（図８５）から第１の画像としての復号途中画像が供給される。また、クラス分類部８４３には、可逆復号部２０２（図８５）から、符号化情報が供給される。さらに、係数取得部８４４には、可逆復号部２０２から、削減フィルタ情報が供給される。
画像変換装置８３１では、タップ選択部８４１ないし予測演算部８４５において、画像変換装置９３３（図６５）（図８０）と同様の処理が行われ、これにより、演算部２０５（図８５）から第１の画像としての復号途中画像が、元画像に相当する第２の画像としてのフィルタ後画像に変換される。
すなわち、タップ選択部８４１は、演算部２０５からの第１の画像としての復号途中画像の画素を、順次、注目画素として、その注目画素について、例えば、図８０のタップ選択部７７１と同様の予測タップを構成し、予測演算部８４５に供給する。
タップ選択部８４２は、注目画素について、図８０のタップ選択部７７２と同様のクラスタップを構成し、クラス分類部８４３に供給する。
クラス分類部８４３は、図８０のクラス分類部７７３と同様に、注目画素について、複数種類の画素関連情報、すなわち、タップ選択部８４２からのクラスタップから検出される画像特徴量や符号化情報を用いて、クラス分類を行い、その結果得られる注目画素の初期クラスを、係数取得部８４４に供給する。
係数取得部８４４は、可逆復号部２０２からの削減フィルタ情報に含まれる縮退情報に基づき、その縮退情報が表す縮退方法で、クラス分類部８４３から注目画素の初期クラスを、縮退クラスに変換する。さらに、係数取得部８４４は、可逆復号部２０２からの削減フィルタ情報に含まれる縮退クラスごとのタップ係数から、注目画素の縮退クラスのタップ係数を取得し、予測演算部８４５に供給する。
予測演算部８４５は、タップ選択部８４１からの予測タップと、係数取得部８４４からの注目画素の縮退クラスのタップ係数とを用いた予測演算を、例えば、図３１の予測演算部２５と同様に行い、最終的には、元画像に相当する第２の画像としてのフィルタ後画像を生成し、画面並べ替えバッファ２０７、及び、フレームメモリ２１０（図８５）に供給する。
なお、図６７で説明したように、符号化装置１１のクラス分類適応フィルタ９１１では、複数種類のクラス分類方法の中から、RDコスト等が最良のクラス分類方法を、最適クラス分類方法として選択し、その最適クラス分類方法で、初期クラスへのクラス分類を行うことができる。さらに、符号化装置１１では、復号装置１２に対して、最適クラス分類方法を表す情報を、削減フィルタ情報に含めて伝送することができる。
復号装置１２では、削減フィルタ情報に、最適クラス分類方法を表す情報が含まれる場合には、その情報が表す最適クラス分類方法で、初期クラスへのクラス分類が行われる。
すなわち、削減フィルタ情報に、最適クラス分類方法を表す情報が含まれる場合には、画像変換装置８３１を構成するクラス分類部８４３は、削減フィルタ情報に含まれる情報が表す最適クラス分類方法で、初期クラスへのクラス分類を行う。
図８８は、図８７の係数取得部８４４の構成例を示すブロック図である。
図８８において、係数取得部８４４は、記憶部８５１、縮退クラス変換部８５２、及び、取得部８５３を有する。記憶部８５１ないし取得部８５３は、図８１の記憶部７８１ないし取得部７８３と同様に構成される。
記憶部８５１には、可逆復号部２０２（図８５）から、削減フィルタ情報に含まれる縮退クラスごとのタップ係数が供給される。
記憶部８５１は、可逆復号部２０２からの削減フィルタ情報に含まれる縮退クラスごとのタップ係数を記憶する。
縮退クラス変換部８５２には、クラス分類部８４３から、注目画素のクラス分類結果としての初期クラスが供給される。さらに、縮退クラス変換部８５２には、可逆復号部２０２から、削減フィルタ情報に含まれる縮退情報が供給される。
縮退クラス変換部８５２は、削減フィルタ情報に含まれる縮退情報に従い、注目画素の初期クラスを、注目画素の縮退クラスに変換し、取得部８５３に供給する。
取得部８５３は、記憶部８５１に記憶された縮退クラスごとのタップ係数から、縮退クラス変換部８５２からの注目画素の縮退クラスのタップ係数を取得し、予測演算部８４５に供給する。
＜復号処理＞
図８９は、図８５の復号装置１２の復号処理の例を説明するフローチャートである。
復号処理では、ステップＳ３７１において、蓄積バッファ２０１は、図２４のステップＳ７１と同様に、符号化装置１１から伝送されてくる符号化データを一時蓄積し、適宜、可逆復号部２０２に供給して、処理は、ステップＳ３７２に進む。
ステップＳ３７２では、可逆復号部２０２は、図２４のステップＳ７２と同様に、蓄積バッファ２０１から供給される符号化データを受け取って復号し、その復号により得られる量子化係数を、逆量子化部２０３に供給する。
また、可逆復号部２０２は、符号化データの復号により、符号化情報や削減フィルタ情報が得られた場合、必要な符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。
さらに、可逆復号部２０２は、符号化情報及び削減フィルタ情報を、クラス分類適応フィルタ８１１に供給する。
その後、処理は、ステップＳ３７２からステップＳ３７３に進み、クラス分類適応フィルタ８１１は、可逆復号部２０２から削減フィルタ情報が供給されたかどうかを判定する。
ステップＳ３７３において、削減フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ３７４をスキップして、ステップＳ３７５に進む。
また、ステップＳ３７３において、削減フィルタ情報が供給されたと判定された場合、処理は、ステップＳ３７４に進み、クラス分類適応フィルタ８１１の画像変換装置８３１（図８７）を構成する係数取得部８４４が、削減フィルタ情報に含まれる縮退クラスごとのタップ係数（必要に応じて種係数を含む）及び縮退情報を取得する。
さらに、係数取得部８４４（図８８）では、記憶部８５１が、記憶部８５１に記憶されている縮退クラスごとのタップ係数を、削減フィルタ情報に含まれる縮退クラスごとのタップ係数に更新する（削減フィルタ情報に含まれる縮退クラスごとのタップ係数を上書きする形で記憶する）。
そして、処理は、ステップＳ３７４からステップＳ３７５に進み、予測復号処理が行われ、復号処理は終了する。
図９０は、図８９のステップＳ３７５の予測復号処理の例を説明するフローチャートである。
予測復号処理では、ステップＳ３８１ないしＳ３８９において、図２５のステップＳ８１ないしＳ８９とそれぞれ同様の処理が行われる。
なお、ステップＳ３８６において、クラス分類適応フィルタ８１１は、図２５のステップＳ８６と同様に、演算部２０５からの復号途中画像に、ILFの処理としてのクラス分類適応処理を施すが、そのクラス分類適応処理では、図８９のステップＳ３７４で、係数取得部８４４が取得した削減フィルタ情報に含まれる縮退クラスごとのタップ係数、及び、縮退情報が用いられる。
図９１は、図９０のステップＳ３８６で行われるクラス分類適応処理の例を説明するフローチャートである。
クラス分類適応フィルタ８１１の画像変換装置８３１（図８７）では、ステップＳ３９１において、タップ選択部８４１が、演算部２０５から供給される復号途中画像から、まだ、注目画素とされていない画素の１つを、注目画素として選択し、処理は、ステップＳ３９２に進む。
ステップＳ３９２では、タップ選択部８４１及び８４２が、画像変換装置９３３（図８０）のタップ選択部７７１及び７７２と同様に、演算部２０５から供給される復号途中画像から、注目画素についての予測タップ及びクラスタップとする画素を選択し、クラス分類部８４３及び予測演算部８４５に、それぞれ供給する。
その後、処理は、ステップＳ３９２からステップＳ３９３に進み、クラス分類部８４３は、画像変換装置９３３（図８０）のクラス分類部７７３と同様に、注目画素についてのクラスタップ、及び、注目画素についての符号化情報、すなわち、注目画素の複数の画素関連情報を用いて、注目画素のクラス分類を行う。
そして、クラス分類部８４３は、注目画素のクラス分類により得られる注目画素の初期クラスを、係数取得部８４４に供給し、処理は、ステップＳ３９３からステップＳ３９４に進む。
ステップＳ３９４では、係数取得部８４４（図８８）の縮退クラス変換部８５２が、クラス分類部８４３から供給される注目画素の初期クラスを、図８９のステップＳ３７４で係数取得部８４４が取得した削減フィルタ情報に含まれる縮退情報に従って、注目画素の縮退クラスに変換する。そして、縮退クラス変換部８５２は、注目画素の縮退クラスを、取得部８５３（図８８）に供給して、処理は、ステップＳ３９４からステップＳ３９５に進む。
ステップＳ３９５では、取得部８５３が、記憶部８５１に図８９のステップＳ３７４で記憶された縮退クラスごとのタップ係数から、縮退クラス変換部８５２からの注目画素の縮退クラスのタップ係数を取得し、予測演算部８４５に供給して、処理は、ステップＳ３９６に進む。
ステップＳ３９６ないしＳ３９８では、図２６のステップＳ９５ないしＳ９７とそれぞれ同様の処理が行われる。
以上のように、図６４の符号化装置１１及び図８５の復号装置１２では、ILF処理を、クラス分類適応処理によって行うので、ILFの処理結果よりも元画像に近いフィルタ後画像を得ることができる。その結果、復号画像のS/Nを改善することができる。さらに、元画像に近いフィルタ後画像を得ることができることから、残差が小さくなるので、圧縮効率を改善することができる。
また、符号化装置１１では、様々な画素関連情報を用いて、多数の初期クラスへのクラス分類を行い、その後、初期クラスごとのタップ係数を複数種類の縮退方法のうちの縮退評価値が最良の縮退方法で縮退した縮退クラスごとのタップ係数と、その縮退方法を表す縮退情報とを含む削減フィルタ情報を、復号装置１２に伝送するので、圧縮効率を、より改善することができる。
なお、一般のALFでは、クラス分類方法や、クラス分類で得られるクラスの数が固定であるため、復号途中画像の画素が、その画素の特徴を適切に表していないクラスに分類されることが少なからず生じる。
一方、クラス分類適応フィルタ９１１及び８１１（図６４、図８５）では、復号途中画像の画素のクラス分類が、２種類や３種類以上の画素関連情報を用いて行われ、復号途中画像の画素が、例えば、1000以上や10000以上の多数のクラスに分類されるので、画素の特徴を適切に表していないクラスに分類されることを抑制することができる。その結果、復号途中画像から得られるフィルタ後画像の画質を改善することができる。
さらに、クラス分類適応フィルタ９１１及び８１１では、２種類や３種類以上の画素関連情報を用いて行われるクラス分類により得られる初期クラスのうちの、ΔMSE等の画質改善効果が小さい初期クラスを、縮退対象クラスとして、初期クラスが、縮退対象クラス（のタップ係数）をなくした縮退クラスに縮退されるので、オーバーヘッドとなるタップ係数のデータ量を少なくすることができる。その結果、フィルタ後画像の画質を改善の程度を（ほぼ）維持しながら、符号化効率（圧縮効率）を改善することができる。
＜多視点画像符号化・復号システムへの適用＞
上述した一連の処理は、多視点画像符号化・復号システムに適用することができる。
図９２は、多視点画像符号化方式の一例を示す図である。
図９２に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの情報を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの情報を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューの符号化・復号は、ベースビューの情報を利用するようにしても良いし、他のノンベースビューの情報を利用するようにしてもよい。
図９２の例のような多視点画像を符号化・復号する場合、多視点画像は、視点毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各視点の符号化データは、それぞれ（すなわち視点毎に）復号される。このような各視点の符号化・復号に対して、以上の実施の形態において説明した方法を適用してもよい。このようにすることにより、S/N及び圧縮効率を向上させることができる。つまり、多視点画像の場合も同様に、S/N及び圧縮効率を向上させることができる。
＜多視点画像符号化・復号システム＞
図９３は、上述した多視点画像符号化・復号を行う多視点画像符号化・復号システムの、多視点画像符号化装置を示す図である。
図９３に示されるように、多視点画像符号化装置１０００は、符号化部１００１、符号化部１００２、及び多重化部１００３を有する。
符号化部１００１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部１００２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部１００３は、符号化部１００１において生成されたベースビュー画像符号化ストリームと、符号化部１００２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
図９４は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。
図９４に示されるように、多視点画像復号装置１０１０は、逆多重化部１０１１、復号部１０１２、及び復号部１０１３を有する。
逆多重化部１０１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部１０１２は、逆多重化部１０１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部１０１３は、逆多重化部１０１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
例えば、このような多視点画像符号化・復号システムにおいて、多視点画像符号化装置１０００の符号化部１００１及び符号化部１００２として、以上の実施の形態において説明した符号化装置１１を適用してもよい。このようにすることにより、多視点画像の符号化においても、以上の実施の形態において説明した方法を適用することができる。すなわち、S/N及び圧縮効率を向上させることができる。また例えば、多視点画像復号装置１０１０の復号部１０１２及び復号部１０１３として、以上の実施の形態において説明した復号装置１２を適用してもよい。このようにすることにより、多視点画像の符号化データの復号においても、以上の実施の形態において説明した方法を適用することができる。すなわち、S/N及び圧縮効率を向上させることができる。
＜階層画像符号化・復号システムへの適用＞
また、上述した一連の処理は、階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。
図９５は、階層画像符号化方式の一例を示す図である。
階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号（スケーラブル復号）は、その階層画像符号化に対応する復号である。
図９５に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
図９５の例のような階層画像を符号化・復号する場合、階層画像は、レイヤ毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各レイヤの符号化データは、それぞれ（すなわちレイヤ毎に）復号される。このような各レイヤの符号化・復号に対して、以上の実施の形態において説明した方法を適用してもよい。このようにすることにより、S/N及び圧縮効率を向上させることができる。つまり、階層画像の場合も同様に、S/N及び圧縮効率を向上させることができる。
＜スケーラブルなパラメータ＞
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラビリティ（scalability）機能を有するパラメータは、任意である。例えば、空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に画像の解像度が異なる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。
さらに、このようなスケーラビリティ性を持たせるパラメータとして、例えば、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
＜階層画像符号化・復号システム＞
図９６は、上述した階層画像符号化・復号を行う階層画像符号化・復号システムの、階層画像符号化装置を示す図である。
図９６に示されるように、階層画像符号化装置１０２０は、符号化部１０２１、符号化部１０２２、及び多重化部１０２３を有する。
符号化部１０２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部１０２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部１０２３は、符号化部１０２１において生成されたベースレイヤ画像符号化ストリームと、符号化部１０２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
図９７は、上述した階層画像復号を行う階層画像復号装置を示す図である。
図９７に示されるように、階層画像復号装置１０３０は、逆多重化部１０３１、復号部１０３２、及び復号部１０３３を有する。
逆多重化部１０３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部１０３２は、逆多重化部１０３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部１０３３は、逆多重化部１０３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
例えば、このような階層画像符号化・復号システムにおいて、階層画像符号化装置１０２０の符号化部１０２１及び符号化部１０２２として、以上の実施の形態において説明した符号化装置１１を適用してもよい。このようにすることにより、階層画像の符号化においても、以上の実施の形態において説明した方法を適用することができる。すなわち、S/N及び圧縮効率を向上させることができる。また例えば、階層画像復号装置１０３０の復号部１０３２及び復号部１０３３として、以上の実施の形態において説明した復号装置１２を適用してもよい。このようにすることにより、階層画像の符号化データの復号においても、以上の実施の形態において説明した方法を適用することができる。すなわち、S/N及び圧縮効率を向上させることができる。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図９８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図９８に示されるコンピュータ１１００において、CPU（Central Processing Unit）１１０１、ROM（Read Only Memory）１１０２、RAM（Random Access Memory）１１０３は、バス１１０４を介して相互に接続されている。
バス１１０４にはまた、入出力インタフェース１１１０も接続されている。入出力インタフェース１１１０には、入力部１１１１、出力部１１１２、記憶部１１１３、通信部１１１４、及びドライブ１１１５が接続されている。
入力部１１１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等よりなる。出力部１１１２は、例えば、ディスプレイ、スピーカ、出力端子等よりなる。記憶部１１１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等よりなる。通信部１１１４は、例えば、ネットワークインタフェースよりなる。ドライブ１１１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU１１０１が、例えば、記憶部１１１３に記憶されているプログラムを、入出力インタフェース１１１０及びバス１１０４を介して、RAM１１０３にロードして実行することにより、上述した一連の処理が行われる。RAM１１０３にはまた、CPU１１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
コンピュータ（CPU１１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ１１１５に装着することにより、入出力インタフェース１１１０を介して、記憶部１１１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１１１４で受信し、記憶部１１１３にインストールすることができる。
その他、このプログラムは、ROM１１０２や記憶部１１１３に、あらかじめインストールしておくこともできる。
＜本技術の応用＞
上述した実施の形態に係る符号化装置１１や復号装置１２は、例えば、衛星放送、ケーブルＴＶ等の有線放送、インターネット上での配信、及びセルラー通信による端末への配信等における送信機や受信機、又は、光ディスク、磁気ディスク及びフラッシュメモリ等の媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置等の、様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜第１の応用例：テレビジョン受像機＞
図９９は、上述した実施の形態を適用したテレビジョン装置の概略的な構成の一例を示す図である。
テレビジョン装置１２００は、アンテナ１２０１、チューナ１２０２、デマルチプレクサ１２０３、デコーダ１２０４、映像信号処理部１２０５、表示部１２０６、音声信号処理部１２０７、スピーカ１２０８、外部インタフェース（I/F）部１２０９、制御部１２１０、ユーザインタフェース（I/F）部１２１１、及びバス１２１２を備える。
チューナ１２０２は、アンテナ１２０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１２０２は、復調により得られた符号化ビットストリームをデマルチプレクサ１２０３へ出力する。すなわち、チューナ１２０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１２００における伝送部としての役割を有する。
デマルチプレクサ１２０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ１２０４へ出力する。また、デマルチプレクサ１２０３は、符号化ビットストリームからEPG（Electronic Program Guide）等の補助的なデータを抽出し、抽出したデータを制御部１２１０に供給する。なお、デマルチプレクサ１２０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ１２０４は、デマルチプレクサ１２０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ１２０４は、復号処理により生成される映像データを映像信号処理部１２０５へ出力する。また、デコーダ１２０４は、復号処理により生成される音声データを音声信号処理部１２０７へ出力する。
映像信号処理部１２０５は、デコーダ１２０４から入力される映像データを再生し、表示部１２０６に映像を表示させる。また、映像信号処理部１２０５は、ネットワークを介して供給されるアプリケーション画面を表示部１２０６に表示させてもよい。また、映像信号処理部１２０５は、映像データについて、設定に応じて、例えばノイズ除去等の追加的な処理を行ってもよい。さらに、映像信号処理部１２０５は、例えばメニュー、ボタン又はカーソル等のGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部１２０６は、映像信号処理部１２０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）等）の映像面上に映像又は画像を表示する。
音声信号処理部１２０７は、デコーダ１２０４から入力される音声データについてD/A変換及び増幅等の再生処理を行い、スピーカ１２０８から音声を出力させる。また、音声信号処理部１２０７は、音声データについてノイズ除去等の追加的な処理を行ってもよい。
外部インタフェース部１２０９は、テレビジョン装置１２００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部１２０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ１２０４により復号されてもよい。すなわち、外部インタフェース部１２０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１２００における伝送部としての役割を有する。
制御部１２１０は、CPU等のプロセッサ、並びにRAM及びROM等のメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置１２００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部１２１１から入力される操作信号に応じて、テレビジョン装置１２００の動作を制御する。
ユーザインタフェース部１２１１は、制御部１２１０と接続される。ユーザインタフェース部１２１１は、例えば、ユーザがテレビジョン装置１２００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部等を有する。ユーザインタフェース部１２１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１２１０へ出力する。
バス１２１２は、チューナ１２０２、デマルチプレクサ１２０３、デコーダ１２０４、映像信号処理部１２０５、音声信号処理部１２０７、外部インタフェース部１２０９及び制御部１２１０を相互に接続する。
このように構成されたテレビジョン装置１２００において、デコーダ１２０４が、上述した復号装置１２の機能を有するようにしてもよい。つまり、デコーダ１２０４が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置１２００は、S/N及び圧縮効率を向上させることができる。
また、このように構成されたテレビジョン装置１２００において、映像信号処理部１２０５が、例えば、デコーダ１２０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部１２０９を介してテレビジョン装置１２００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部１２０５が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、映像信号処理部１２０５が、デコーダ１２０４から供給される画像データを、以上の実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置１２００は、S/N及び圧縮効率を向上させることができる。
＜第２の応用例：携帯電話機＞
図１００は、上述した実施の形態を適用した携帯電話機の概略的な構成の一例を示す図である。
携帯電話機１２２０は、アンテナ１２２１、通信部１２２２、音声コーデック１２２３、スピーカ１２２４、マイクロホン１２２５、カメラ部１２２６、画像処理部１２２７、多重分離部１２２８、記録再生部１２２９、表示部１２３０、制御部１２３１、操作部１２３２、及びバス１２３３を備える。
アンテナ１２２１は、通信部１２２２に接続される。スピーカ１２２４及びマイクロホン１２２５は、音声コーデック１２２３に接続される。操作部１２３２は、制御部１２３１に接続される。バス１２３３は、通信部１２２２、音声コーデック１２２３、カメラ部１２２６、画像処理部１２２７、多重分離部１２２８、記録再生部１２２９、表示部１２３０、及び制御部１２３１を相互に接続する。
携帯電話機１２２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録等の動作を行う。
音声通話モードにおいて、マイクロホン１２２５により生成されるアナログ音声信号は、音声コーデック１２２３に供給される。音声コーデック１２２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック１２２３は、圧縮後の音声データを通信部１２２２へ出力する。通信部１２２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部１２２２は、生成した送信信号を、アンテナ１２２１を介して基地局（図示せず）へ送信する。また、通信部１２２２は、アンテナ１２２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１２２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック１２２３へ出力する。音声コーデック１２２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１２２３は、生成した音声信号をスピーカ１２２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部１２３１は、操作部１２３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部１２３１は、文字を表示部１２３０に表示させる。また、制御部１２３１は、操作部１２３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部１２２２へ出力する。通信部１２２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部１２２２は、生成した送信信号を、アンテナ１２２１を介して基地局（図示せず）へ送信する。また、通信部１２２２は、アンテナ１２２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１２２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部１２３１へ出力する。制御部１２３１は、表示部１２３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部１２２９に供給し、その記憶媒体に書き込ませる。
記録再生部１２２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリ等の内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカード等の外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部１２２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部１２２７へ出力する。画像処理部１２２７は、カメラ部１２２６から入力される画像データを符号化し、符号化ストリームを記録再生部１２２９に供給し、その記憶媒体に書き込ませる。
さらに、画像表示モードにおいて、記録再生部１２２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部１２２７へ出力する。画像処理部１２２７は、記録再生部１２２９から入力される符号化ストリームを復号し、画像データを表示部１２３０に供給し、その画像を表示させる。
また、テレビ電話モードにおいて、例えば、多重分離部１２２８は、画像処理部１２２７により符号化された映像ストリームと、音声コーデック１２２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部１２２２へ出力する。通信部１２２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部１２２２は、生成した送信信号を、アンテナ１２２１を介して基地局（図示せず）へ送信する。また、通信部１２２２は、アンテナ１２２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部１２２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部１２２８へ出力する。多重分離部１２２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部１２２７、音声ストリームを音声コーデック１２２３へ出力する。画像処理部１２２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部１２３０に供給され、表示部１２３０により一連の画像が表示される。音声コーデック１２２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１２２３は、生成した音声信号をスピーカ１２２４に供給して音声を出力させる。
このように構成された携帯電話機１２２０において、例えば画像処理部１２２７が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、画像処理部１２２７が、画像データを、以上の実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機１２２０は、S/N及び圧縮効率を向上させることができる。
また、このように構成された携帯電話機１２２０において、例えば画像処理部１２２７が、上述した復号装置１２の機能を有するようにしてもよい。つまり、画像処理部１２２７が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機１２２０は、S/N及び圧縮効率を向上させることができる。
＜第３の応用例：記録再生装置＞
図１０１は、上述した実施の形態を適用した記録再生装置の概略的な構成の一例を示す図である。
記録再生装置１２４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置１２４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置１２４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置１２４０は、音声データ及び映像データを復号する。
記録再生装置１２４０は、チューナ１２４１、外部インタフェース（I/F）部１２４２、エンコーダ１２４３、HDD（Hard Disk Drive）部１２４４、ディスクドライブ１２４５、セレクタ１２４６、デコーダ１２４７、OSD（On-Screen Display）部１２４８、制御部１２４９、及びユーザインタフェース（I/F）部１２５０を備える。
チューナ１２４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１２４１は、復調により得られた符号化ビットストリームをセレクタ１２４６へ出力する。すなわち、チューナ１２４１は、記録再生装置１２４０における伝送部としての役割を有する。
外部インタフェース部１２４２は、記録再生装置１２４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部１２４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェース等であってよい。例えば、外部インタフェース部１２４２を介して受信される映像データ及び音声データは、エンコーダ１２４３へ入力される。すなわち、外部インタフェース部１２４２は、記録再生装置１２４０における伝送部としての役割を有する。
エンコーダ１２４３は、外部インタフェース部１２４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ１２４３は、符号化ビットストリームをセレクタ１２４６へ出力する。
HDD部１２４４は、映像及び音声等のコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD部１２４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ１２４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ１２４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）又はBlu-ray（登録商標）ディスク等であってよい。
セレクタ１２４６は、映像及び音声の記録時には、チューナ１２４１又はエンコーダ１２４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD１２４４又はディスクドライブ１２４５へ出力する。また、セレクタ１２４６は、映像及び音声の再生時には、HDD１２４４又はディスクドライブ１２４５から入力される符号化ビットストリームをデコーダ１２４７へ出力する。
デコーダ１２４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ１２４７は、生成した映像データをOSD部１２４８へ出力する。また、デコーダ１２４７は、生成した音声データを外部のスピーカへ出力する。
OSD部１２４８は、デコーダ１２４７から入力される映像データを再生し、映像を表示する。また、OSD部１２４８は、表示する映像に、例えばメニュー、ボタン又はカーソル等のGUIの画像を重畳してもよい。
制御部１２４９は、CPU等のプロセッサ、並びにRAM及びROM等のメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置１２４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部１２５０から入力される操作信号に応じて、記録再生装置１２４０の動作を制御する。
ユーザインタフェース部１２５０は、制御部１２４９と接続される。ユーザインタフェース部１２５０は、例えば、ユーザが記録再生装置１２４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部等を有する。ユーザインタフェース部１２５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１２４９へ出力する。
このように構成された記録再生装置１２４０において、例えばエンコーダ１２４３が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、エンコーダ１２４３が、画像データを、以上の実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置１２４０は、S/N及び圧縮効率を向上させることができる。
また、このように構成された記録再生装置１２４０において、例えばデコーダ１２４７が、上述した復号装置１２の機能を有するようにしてもよい。つまり、デコーダ１２４７が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置１２４０は、S/N及び圧縮効率を向上させることができる。
＜第４の応用例：撮像装置＞
図１０２は、上述した実施の形態を適用した撮像装置の概略的な構成の一例を示す図である。
撮像装置１２６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置１２６０は、光学ブロック１２６１、撮像部１２６２、信号処理部１２６３、画像処理部１２６４、表示部１２６５、外部インタフェース（I/F）部１２６６、メモリ部１２６７、メディアドライブ１２６８、OSD部１２６９、制御部１２７０、ユーザインタフェース（I/F）部１２７１、及びバス１２７２を備える。
光学ブロック１２６１は、撮像部１２６２に接続される。撮像部１２６２は、信号処理部１２６３に接続される。表示部１２６５は、画像処理部１２６４に接続される。ユーザインタフェース部１２７１は、制御部１２７０に接続される。バス１２７２は、画像処理部１２６４、外部インタフェース部１２６６、メモリ部１２６７、メディアドライブ１２６８、OSD部１２６９、及び制御部１２７０を相互に接続する。
光学ブロック１２６１は、フォーカスレンズ及び絞り機構等を有する。光学ブロック１２６１は、被写体の光学像を撮像部１２６２の撮像面に結像させる。撮像部１２６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）等のイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部１２６２は、画像信号を信号処理部１２６３へ出力する。
信号処理部１２６３は、撮像部１２６２から入力される画像信号に対してニー補正、ガンマ補正、色補正等の種々のカメラ信号処理を行う。信号処理部１２６３は、カメラ信号処理後の画像データを画像処理部１２６４へ出力する。
画像処理部１２６４は、信号処理部１２６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部１２６４は、生成した符号化データを外部インタフェース部１２６６又はメディアドライブ１２６８へ出力する。また、画像処理部１２６４は、外部インタフェース部１２６６又はメディアドライブ１２６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部１２６４は、生成した画像データを表示部１２６５へ出力する。また、画像処理部１２６４は、信号処理部１２６３から入力される画像データを表示部１２６５へ出力して画像を表示させてもよい。また、画像処理部１２６４は、OSD部１２６９から取得される表示用データを、表示部１２６５へ出力する画像に重畳してもよい。
OSD部１２６９は、例えばメニュー、ボタン又はカーソル等のGUIの画像を生成して、生成した画像を画像処理部１２６４へ出力する。
外部インタフェース部１２６６は、例えばUSB入出力端子として構成される。外部インタフェース部１２６６は、例えば、画像の印刷時に、撮像装置１２６０とプリンタとを接続する。また、外部インタフェース部１２６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスク等のリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置１２６０にインストールされ得る。さらに、外部インタフェース部１２６６は、LAN又はインターネット等のネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部１２６６は、撮像装置１２６０における伝送部としての役割を有する。
メディアドライブ１２６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリ等の、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ１２６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部１２７０は、CPU等のプロセッサ、並びにRAM及びROM等のメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置１２６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部１２７１から入力される操作信号に応じて、撮像装置１２６０の動作を制御する。
ユーザインタフェース部１２７１は、制御部１２７０と接続される。ユーザインタフェース部１２７１は、例えば、ユーザが撮像装置１２６０を操作するためのボタン及びスイッチ等を有する。ユーザインタフェース部１２７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１２７０へ出力する。
このように構成された撮像装置１２６０において、例えば画像処理部１２６４が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、画像処理部１２６４が、画像データを、以上の実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置１２６０は、S/N及び圧縮効率を向上させることができる。
また、このように構成された撮像装置１２６０において、例えば画像処理部１２６４が、上述した復号装置１２の機能を有するようにしてもよい。つまり、画像処理部１２６４が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置１２６０は、S/N及び圧縮効率を向上させることができる。
＜その他の応用例＞
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
また、以上においては、本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置又はシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
＜ビデオセット＞
本技術をセットとして実施する場合の例について、図１０３を参照して説明する。
図１０３は、本技術を適用したビデオセットの概略的な構成の一例を示す図である。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図１０３に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図１０３に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、及びフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、及びセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図１０３の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ１３３１、ビデオプロセッサ１３３２、ブロードバンドモデム１３３３、及びRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図１０３のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（又はその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図１０３において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図１０３に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、及び増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナ及びその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
＜ビデオプロセッサの構成例＞
図１０４は、本技術を適用したビデオプロセッサ１３３２（図１０３）の概略的な構成の一例を示す図である。
図１０４の例の場合、ビデオプロセッサ１３３２は、ビデオ信号及びオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータ及びオーディオデータを復号し、ビデオ信号及びオーディオ信号を再生出力する機能とを有する。
図１０４に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、及びメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａ及び１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａ及び１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、及びストリームバッファ１４１４を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図１０３）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、及びエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２又は第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換及び拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリーム又はファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した実施の形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した符号化装置１１の機能若しくは復号装置１２の機能又はその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、上述した実施の形態の符号化装置１１や復号装置１２と同様の効果を得ることができる。
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、符号化装置１１の機能若しくは復号装置１２の機能又はその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
＜ビデオプロセッサの他の構成例＞
図１０５は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示す図である。
図１０５の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図１０５に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及び内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、及びビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図１０５に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、及びシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１及びサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１及びサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、又はデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、又はコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、又はコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化又は符号化データの復号を行うようにしてもよい。
図１０５に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、及びMPEG-DASH１５５１を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した実施の形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した符号化装置１１の機能若しくは復号装置１２の機能又はその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、上述した符号化装置１１や復号装置１２と同様の効果を得ることができる。
なお、コーデックエンジン１５１６において、本技術（すなわち、符号化装置１１や復号装置１２の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置１２００（図９９）、携帯電話機１２２０（図１００）、記録再生装置１２４０（図１０１）、撮像装置１２６０（図１０２）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、上述した符号化装置１１や復号装置１２と同様の効果を得ることができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、及びフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、上述した符号化装置１１や復号装置１２と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、又は、ビデオユニット１３６１を、テレビジョン装置１２００（図９９）、携帯電話機１２２０（図１００）、記録再生装置１２４０（図１０１）、撮像装置１２６０（図１０２）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、上述した符号化装置１１や復号装置１２と同様の効果を得ることができる。
＜その他＞
なお、本明細書では、各種情報が、符号化データ（ビットストリーム）に多重化されて、符号化側から復号側へ伝送される例について説明したが、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、例えば、符号化データに含まれる画像（スライス若しくはブロック等、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。すなわち、この符号化データ（画像）に関連付けられた情報は、符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、この符号化データ（画像）に関連付けられた情報は、符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。さらに、画像とその画像に対応する情報とが、例えば、複数フレーム、１フレーム、又はフレーム内の一部分等の任意の単位で互いに関連付けられるようにしてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（又は処理部）として説明した構成を分割し、複数の装置（又は処理部）として構成するようにしてもよい。逆に、以上において複数の装置（又は処理部）として説明した構成をまとめて１つの装置（又は処理部）として構成されるようにしてもよい。また、各装置（又は各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（又は処理部）の構成の一部を他の装置（又は他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
前記処理対象画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得するタップ係数取得部と、
前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求める演算部と
を有し、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成するフィルタ処理部と、
前記削減フィルタ情報を伝送する伝送部と
を備える符号化装置。
＜２＞
前記削減フィルタ情報を生成する削減部をさらに備える
＜１＞に記載の符号化装置。
＜３＞
前記削減部は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数を、前記削減フィルタ情報として出力する
＜２＞に記載の符号化装置。
＜４＞
前記削減部は、現在の前記タップ係数である現在係数に代えて、前記最新係数を、前記予測演算に用いる場合のメリットの程度を表すメリット判定値に応じて前記複数のクラスの最新係数の中から選択されたクラスの前記選択係数を、前記削減フィルタ情報として出力する
＜３＞に記載の符号化装置。
＜５＞
前記メリット判定値は、
RD(Rate-Distortion)コスト、
前記最新係数と前記現在係数との係数間距離、
前記最新係数を用いて求められる前記第２の画像のS/N(Signal to Noise Ratio)、
又は、前記クラスのタップ係数が前記予測演算に用いられる使用頻度
に対応する値である
＜４＞に記載の符号化装置。
＜６＞
前記削減部は、前記複数のクラスの最新係数のうちの、所定数以上のクラスの最新係数が選択係数として選択される場合、前記複数のクラスすべての最新係数を、前記削減フィルタ情報として出力する
＜３＞ないし＜５＞のいずれかに記載の符号化装置。
＜７＞
前記削減部は、
前記複数のクラスを、前記複数のクラスの数以下のクラスに統合した統合クラスごとのタップ係数と、
前記複数のクラスと前記統合クラスとの対応関係を表す対応関係情報と
を、前記削減フィルタ情報として生成する
＜２＞に記載の符号化装置。
＜８＞
前記削減部は、前記複数のクラスのうちの２以上のクラスを統合候補クラスとして統合した場合の統合クラスごとのタップ係数を前記予測演算に用いる適切さを表すタップ係数評価値に応じて、前記統合候補クラスを統合する
＜７＞に記載の符号化装置。
＜９＞
前記タップ係数評価値は、
RD(Rate-Distortion)コスト、
異なるクラスの前記タップ係数どうしの係数間距離、
前記タップ係数を用いて求められる前記第２の画像のS/N(Signal to Noise Ratio)、
前記クラスのタップ係数が前記予測演算に用いられる使用頻度、
又は、特定の１クラスであるモノクラスの前記タップ係数と、他のクラスの前記タップ係数との差分
に対応する値である
＜８＞に記載の符号化装置。
＜１０＞
前記削減部は、パラメータとの所定の演算により前記タップ係数が求められる前記クラスごとの種係数を、前記削減フィルタ情報として生成する
＜２＞に記載の符号化装置。
＜１１＞
前記元画像の予測符号化に関する符号化情報に応じて、前記パラメータを生成するパラメータ生成部をさらに備え、
前記伝送部は、前記パラメータに関するパラメータ情報を伝送する
＜１０＞に記載の符号化装置。
＜１２＞
前記削減部は、前記種係数から求められる前記タップ係数を前記予測演算に用いる適切さを表す種係数評価値に応じて選択される次数の種係数を、前記削減フィルタ情報として生成する
＜１１＞に記載の符号化装置。
＜１３＞
前記種係数評価値は、
RD(Rate-Distortion)コスト、
前記元画像のアクティビティ、
又は、前記元画像の予測符号化時の符号量目標値、若しくは、量子化パラメータ
に対応する値である
＜１２＞に記載の符号化装置。
＜１４＞
前記処理対象画素に関する情報を、画素関連情報として、
前記クラス分類部は、複数種類の前記画素関連情報を用いて、前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類し、
前記削減部は、
前記複数のクラスを少なくするクラスの縮退を、複数種類の縮退方法の中から選択された縮退方法によって行うことにより得られる、前記複数のクラスの縮退後の縮退クラスごとのタップ係数と、
前記複数のクラスと前記縮退クラスとの対応関係を表す対応関係情報として、前記複数種類の縮退方法の中から選択された縮退方法を表す縮退情報と
を、前記削減フィルタ情報として生成する
＜２＞に記載の符号化装置。
＜１５＞
前記削減部は、前記複数種類の縮退方法それぞれによって得られる複数種類の前記縮退クラスごとのタップ係数それぞれを前記予測演算に用いる適切さを表す縮退評価値に応じて、前記縮退方法を選択する
＜１４＞に記載の符号化装置。
＜１６＞
前記縮退評価値は、RD(Rate-Distortion)コストに対応する値である
＜１５＞に記載の符号化装置。
＜１７＞
予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択することと、
前記処理対象画素を、複数のクラスのうちのいずれかのクラスにクラス分類することと、
前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得することと、
前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求めることと
を含み、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成することと、
前記削減フィルタ情報を伝送することと
を含む符号化方法。
＜１８＞
予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報を受け取る受け取り部と、
前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得するタップ係数取得部と、
前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求める演算部と
を有し、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成するフィルタ処理部と
を備える復号装置。
＜１９＞
前記削減フィルタ情報は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数であり、
前記タップ係数取得部は、
前記クラスごとのタップ係数を記憶し、
記憶している前記クラスごとのタップ係数のうちの、前記選択係数のクラスのタップ係数を、前記選択係数に更新する
＜１８＞に記載の復号装置。
＜２０＞
前記削減フィルタ情報は、
前記複数のクラスを、前記複数のクラスの数以下のクラスに統合した統合クラスごとのタップ係数と、
前記複数のクラスと前記統合クラスとの対応関係を表す対応関係情報と
であり、
前記タップ係数取得部は、
前記統合クラスごとのタップ係数を記憶し、
前記対応関係情報に従って、前記処理対象画素のクラスを、前記処理対象画素の統合クラスに変換し、
前記統合クラスごとのタップ係数から、前記処理対象画素の統合クラスのタップ係数を取得する
＜１８＞に記載の復号装置。
＜２１＞
前記削減フィルタ情報は、パラメータとの所定の演算により前記タップ係数が求められる、前記クラスごとの種係数であり、
前記タップ係数取得部は、前記パラメータと前記種係数との所定の演算により、前記タップ係数を求める
＜１８＞に記載の復号装置。
＜２２＞
前記受け取り部は、前記元画像の予測符号化を行う符号化側で、前記元画像の予測符号化に関する符号化情報に応じて生成される前記パラメータに関するパラメータ情報を受け取り、
前記タップ係数取得部は、前記パラメータ情報から得られるパラメータと、前記種係数との所定の演算により、前記タップ係数を求める
＜２１＞に記載の復号装置。
＜２３＞
前記削減フィルタ情報は、
前記複数のクラスを少なくするクラスの縮退を、複数種類の縮退方法の中から選択された縮退方法によって行うことにより得られる、前記複数のクラスの縮退後の縮退クラスごとのタップ係数と、
前記複数のクラスと前記縮退クラスとの対応関係を表す対応関係情報として、前記複数種類の縮退方法の中から選択された縮退方法を表す縮退情報と
であり、
前記タップ係数取得部は、
前記縮退クラスごとのタップ係数を記憶し、
前記縮退情報に従って、前記処理対象画素のクラスを、前記処理対象画素の縮退クラスに変換し、
前記縮退クラスごとのタップ係数から、前記処理対象画素の縮退クラスのタップ係数を取得する
＜１８＞に記載の復号装置。
＜２４＞
予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報を受け取ることと、
前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択することと、
前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類することと、
前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得することと、
前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求めることと
を含み、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成することと
を含む復号方法。
１１ 符号化装置， １２ 復号装置， ２１，２２ タップ選択部， ２３ クラス分類部， ２４ 係数取得部， ２５ 予測演算部， ３０ 学習装置， ３１ 教師データ生成部， ３２ 生徒データ生成部， ３３ 学習部， ４１，４２ タップ選択部， ４３ クラス分類部， ４４ 足し込み部， ４５ 係数算出部， ６１ パラメータ生成部， ６２ 生徒データ生成部， ６３ 学習部， ７１ 足し込み部， ７２ 係数算出部， ８１，８２ 足し込み部， ８３ 係数算出部， １０１ A/D変換部， １０２ 並べ替えバッファ， １０３ 演算部， １０４ 直交変換部， １０５ 量子化部， １０６ 可逆符号化部， １０７ 蓄積バッファ， １０８ 逆量子化部， １０９ 逆直交変換部， １１０ 演算部， １１１ クラス分類適応フィルタ， １１２ フレームメモリ， １１３ 選択部， １１４ イントラ予測部， １１５ 動き予測補償部， １１６ 予測画像選択部， １１７ レート制御部， １３１ 学習装置， １３２ 削減装置， １３３ 画像変換装置， １４１ 選択部， １５１ 係数取得部， １６１ 更新部， １６２ 記憶部， １６３ 取得部， ２０１ 蓄積バッファ， ２０２ 可逆復号部， ２０３ 逆量子化部， ２０４ 逆直交変換部， ２０５ 演算部， ２０６ クラス分類適応フィルタ， ２０７ 並べ替えバッファ， ２０８ D/A変換部， ２１０ フレームメモリ， ２１１ 選択部， ２１２ イントラ予測部， ２１３ 動き予測補償部， ２１４ 選択部， ２３１ 画像変換装置， ２４１，２４２ タップ選択部， ２４３ クラス分類部， ２４４ 係数取得部， ２４５ 予測演算部， ２５１ 更新部， ２５２ 記憶部， ２５３ 取得部， ３１１ クラス分類適応フィルタ， ３２１ 削減装置， ３２３ 画像変換装置， ３３１ クラス統合部， ３３２ 記憶部， ３３３ 対応関係検出部， ３３４ 記憶部， ３４１ 係数取得部， ３５１ 記憶部， ３５２ 統合クラス変換部， ３５３ 取得部， ４１１ クラス分類適応フィルタ， ４３１ 画像変換装置， ４４１ 係数取得部， ４５１ 記憶部， ４５２ 統合クラス変換部， ４５３ 取得部， ５１１ クラス分類適応フィルタ， ５３１ 学習装置， ５３２ 画像変換装置， ５４１ パラメータ生成部， ５４２ 次数設定部， ５４３ 学習部， ５４４ 選択部， ５６１ パラメータ生成部， ５６２ 係数取得部， ５７１ 記憶部， ５７２ タップ係数算出部， ５７３ 記憶部， ５７４ 取得部， ６１１ クラス分類適応フィルタ， ６３１ 画像変換装置， ６４１ 係数取得部， ６７１ 記憶部， ６７２ タップ係数算出部， ６７３ 記憶部， ６７４ 取得部， ７１１ タップ選択部， ７１４ 係数取得部， ７１５ 予測演算部， ７２１，７２２ タップ選択部， ７２３ クラス分類部， ７２４ 係数取得部， ７２５予測演算部， ７３１ 記憶部， ７３２ 縮退クラス変換部， ７３３ 取得部， ７４１ｖ 縮退部， ７４２ｖ 学習部， ７５１，７５２ タップ選択部， ７５３ クラス分類部， ７５４ 足し込み部， ７５５ 係数算出部， ７５６ 縮退クラス変換部， ７７１，７７２ タップ選択部， ７７３ クラス分類部， ７７４ 係数取得部， ７７５予測演算部， ７８１ 記憶部， ７８２ 縮退クラス変換部， ７８３ 取得部， ８１１ クラス分類適応フィルタ， ８３１ 画像変換装置， ８４１，８４２ タップ選択部， ８４３ クラス分類部， ８４４ 係数取得部， ８４５予測演算部， ８５１ 記憶部， ８５２ 縮退クラス変換部， ８５３ 取得部， ９１１ クラス分類適応フィルタ， ９３１ 学習装置， ９３２ 削減装置， ９３３ 画像変換装置， ９４０ 学習部， ９４１，９４２ タップ選択部， ９４３ クラス分類部， ９４４ 足し込み部， ９４５ 係数算出部， ９４６ 記憶部， ９５１ｈ 選択部， ９５２ｈ 情報検出部， ９５３ｈ サブクラス分類部， ９５４ クラス構成部， ９７１ 縮退候補クラス選択部， ９７２ 縮退対象クラス選択部， ９７３ クラス縮退部， ９７４ 評価値算出部， ９７５ 縮退方法選択部， ９８１ 画像変換部， ９８２ 選択部， ９９１ 画像変換部， ９９２ 縮退評価値算出部

Claims (21)

  1. 予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
    前記処理対象画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
    前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得するタップ係数取得部と、
    前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求める演算部と
    を有し、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成するフィルタ処理部と、
    前記削減フィルタ情報を伝送する伝送部と、
    最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数を、前記削減フィルタ情報として生成して出力する削減部と
    を備え、
    前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される
    符号化装置。
  2. 前記削減部は、現在の前記タップ係数である現在係数に代えて、前記最新係数を、前記予測演算に用いる場合のメリットの程度を表すメリット判定値に応じて前記複数のクラスの最新係数の中から選択されたクラスの前記選択係数を、前記削減フィルタ情報として出力する
    請求項１に記載の符号化装置。
  3. 前記メリット判定値は、
    RD(Rate-Distortion)コスト、
    前記最新係数と前記現在係数との係数間距離、
    前記最新係数を用いて求められる前記第２の画像のS/N(Signal to Noise Ratio)、
    又は、前記クラスのタップ係数が前記予測演算に用いられる使用頻度
    に対応する値である
    請求項２に記載の符号化装置。
  4. 前記削減部は、前記複数のクラスの最新係数のうちの、所定数以上のクラスの最新係数が選択係数として選択される場合、前記複数のクラスすべての最新係数を、前記削減フィルタ情報として出力する
    請求項１に記載の符号化装置。
  5. 前記削減部は、
    前記複数のクラスを、前記複数のクラスの数以下のクラスに統合した統合クラスごとのタップ係数と、
    前記複数のクラスと前記統合クラスとの対応関係を表す対応関係情報と
    を、前記削減フィルタ情報として生成する
    請求項１に記載の符号化装置。
  6. 前記削減部は、前記複数のクラスのうちの２以上のクラスを統合候補クラスとして統合した場合の統合クラスごとのタップ係数を前記予測演算に用いる適切さを表すタップ係数評価値に応じて、前記統合候補クラスを統合する
    請求項５に記載の符号化装置。
  7. 前記タップ係数評価値は、
    RD(Rate-Distortion)コスト、
    異なるクラスの前記タップ係数どうしの係数間距離、
    前記タップ係数を用いて求められる前記第２の画像のS/N(Signal to Noise Ratio)、
    前記クラスのタップ係数が前記予測演算に用いられる使用頻度、
    又は、特定の１クラスであるモノクラスの前記タップ係数と、他のクラスの前記タップ係数との差分
    に対応する値である
    請求項６に記載の符号化装置。
  8. 前記削減部は、パラメータとの所定の演算により前記タップ係数が求められる前記クラスごとの種係数を、前記削減フィルタ情報として生成する
    請求項１に記載の符号化装置。
  9. 前記元画像の予測符号化に関する符号化情報に応じて、前記パラメータを生成するパラメータ生成部をさらに備え、
    前記伝送部は、前記パラメータに関するパラメータ情報を伝送する
    請求項８に記載の符号化装置。
  10. 前記削減部は、前記種係数から求められる前記タップ係数を前記予測演算に用いる適切さを表す種係数評価値に応じて選択される次数の種係数を、前記削減フィルタ情報として生成する
    請求項８に記載の符号化装置。
  11. 前記種係数評価値は、
    RD(Rate-Distortion)コスト、
    前記元画像のアクティビティ、
    又は、前記元画像の予測符号化時の符号量目標値、若しくは、量子化パラメータ
    に対応する値である
    請求項１０に記載の符号化装置。
  12. 前記処理対象画素に関する情報を、画素関連情報として、
    前記クラス分類部は、複数種類の前記画素関連情報を用いて、前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類し、
    前記削減部は、
    前記複数のクラスを少なくするクラスの縮退を、複数種類の縮退方法の中から選択された縮退方法によって行うことにより得られる、前記複数のクラスの縮退後の縮退クラスごとのタップ係数と、
    前記複数のクラスと前記縮退クラスとの対応関係を表す対応関係情報として、前記複数種類の縮退方法の中から選択された縮退方法を表す縮退情報と
    を、前記削減フィルタ情報として生成する
    請求項１に記載の符号化装置。
  13. 前記削減部は、前記複数種類の縮退方法それぞれによって得られる複数種類の前記縮退クラスごとのタップ係数それぞれを前記予測演算に用いる適切さを表す縮退評価値に応じて、前記縮退方法を選択する
    請求項１２に記載の符号化装置。
  14. 前記縮退評価値は、RD(Rate-Distortion)コストに対応する値である
    請求項１３に記載の符号化装置。
  15. 予測符号化の残差と予測画像とを加算することにより得られる第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択することと、
    前記処理対象画素を、複数のクラスのうちのいずれかのクラスにクラス分類することと、
    前記第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる前記複数のクラスごとのタップ係数を削減した削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得することと、
    前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求めることと
    を含み、前記第１の画像にフィルタ処理を行うフィルタ処理部が前記第２の画像を生成することと、
    前記削減フィルタ情報を伝送することと、
    最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数を、前記削減フィルタ情報として生成して出力することと
    を含み、
    前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される
    符号化方法。
  16. 予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報を受け取る受け取り部と、
    前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択する予測タップ選択部と、
    前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類部と、
    前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得するタップ係数取得部と、
    前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求める演算部と
    を有し、前記第１の画像にフィルタ処理を行い、前記第２の画像を生成するフィルタ処理部と
    を備え、
    前記削減フィルタ情報は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数であり、
    前記タップ係数取得部は、前記クラスごとのタップ係数を記憶し、記憶している前記クラスごとのタップ係数のうちの、前記選択係数のクラスのタップ係数を、前記選択係数に更新し、
    前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される
    復号装置。
  17. 前記削減フィルタ情報は、
    前記複数のクラスを、前記複数のクラスの数以下のクラスに統合した統合クラスごとのタップ係数と、
    前記複数のクラスと前記統合クラスとの対応関係を表す対応関係情報と
    であり、
    前記タップ係数取得部は、
    前記統合クラスごとのタップ係数を記憶し、
    前記対応関係情報に従って、前記処理対象画素のクラスを、前記処理対象画素の統合クラスに変換し、
    前記統合クラスごとのタップ係数から、前記処理対象画素の統合クラスのタップ係数を取得する
    請求項１６に記載の復号装置。
  18. 前記削減フィルタ情報は、パラメータとの所定の演算により前記タップ係数が求められる、前記クラスごとの種係数であり、
    前記タップ係数取得部は、前記パラメータと前記種係数との所定の演算により、前記タップ係数を求める
    請求項１６に記載の復号装置。
  19. 前記受け取り部は、前記元画像の予測符号化を行う符号化側で、前記元画像の予測符号化に関する符号化情報に応じて生成される前記パラメータに関するパラメータ情報を受け取り、
    前記タップ係数取得部は、前記パラメータ情報から得られるパラメータと、前記種係数との所定の演算により、前記タップ係数を求める
    請求項１８に記載の復号装置。
  20. 前記削減フィルタ情報は、
    前記複数のクラスを少なくするクラスの縮退を、複数種類の縮退方法の中から選択された縮退方法によって行うことにより得られる、前記複数のクラスの縮退後の縮退クラスごとのタップ係数と、
    前記複数のクラスと前記縮退クラスとの対応関係を表す対応関係情報として、前記複数種類の縮退方法の中から選択された縮退方法を表す縮退情報と
    であり、
    前記タップ係数取得部は、
    前記縮退クラスごとのタップ係数を記憶し、
    前記縮退情報に従って、前記処理対象画素のクラスを、前記処理対象画素の縮退クラスに変換し、
    前記縮退クラスごとのタップ係数から、前記処理対象画素の縮退クラスのタップ係数を取得する
    請求項１６に記載の復号装置。
  21. 予測符号化の残差と予測画像とを加算することにより得られる第１の画像に相当する生徒画像と、前記第１の画像に対応する元画像に相当する教師画像とを用いた学習により求められる複数のクラスごとのタップ係数を削減した削減フィルタ情報を受け取ることと、
    前記第１の画像のうちの処理対象である処理対象画素に対応する、前記予測画像の予測に用いられる第２の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素を、前記第１の画像から選択することと、
    前記処理対象画素を、前記複数のクラスのうちのいずれかのクラスにクラス分類することと、
    前記削減フィルタ情報を用いて得られる前記タップ係数から、前記処理対象画素のクラスのタップ係数を取得することと、
    前記処理対象画素のクラスのタップ係数と、前記処理対象画素の前記予測タップとを用いた前記予測演算を行うことにより、前記対応画素の画素値を求めることと
    を含み、前記第１の画像にフィルタ処理を行うフィルタ処理部が前記第２の画像を生成することと
    を含み、
    前記削減フィルタ情報は、最新の学習により求められた前記複数のクラスのタップ係数である最新係数の中から選択されたクラスの最新係数である選択係数であり、
    前記処理対象画素のクラスのタップ係数を取得する際に、前記クラスごとのタップ係数を記憶し、記憶している前記クラスごとのタップ係数のうちの、前記選択係数のクラスのタップ係数を、前記選択係数に更新し、
    前記第２の画像は、前記フィルタ処理部からフレームメモリに供給されて一時記憶された後、必要なタイミングで前記予測画像を予測する予測部に供給される
    復号方法。
JP2018515419A 2016-05-02 2017-04-18 符号化装置及び符号化方法、並びに、復号装置及び復号方法 Active JP6977719B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016092651 2016-05-02
JP2016092651 2016-05-02
JP2017003466 2017-01-12
JP2017003466 2017-01-12
PCT/JP2017/015522 WO2017191750A1 (ja) 2016-05-02 2017-04-18 符号化装置及び符号化方法、並びに、復号装置及び復号方法

Publications (2)

Publication Number Publication Date
JPWO2017191750A1 JPWO2017191750A1 (ja) 2019-03-07
JP6977719B2 true JP6977719B2 (ja) 2021-12-08

Family

ID=60202938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515419A Active JP6977719B2 (ja) 2016-05-02 2017-04-18 符号化装置及び符号化方法、並びに、復号装置及び復号方法

Country Status (4)

Country Link
US (1) US10645384B2 (ja)
EP (1) EP3471414A4 (ja)
JP (1) JP6977719B2 (ja)
WO (1) WO2017191750A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6639523B2 (ja) * 2015-12-22 2020-02-05 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
JPWO2018173873A1 (ja) * 2017-03-24 2020-01-23 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
US11423578B2 (en) * 2017-09-27 2022-08-23 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US11451833B2 (en) 2017-12-01 2022-09-20 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
WO2019111720A1 (ja) * 2017-12-06 2019-06-13 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
JPWO2019131161A1 (ja) * 2017-12-27 2020-12-17 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
KR102174777B1 (ko) * 2018-01-23 2020-11-06 주식회사 날비컴퍼니 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
US20210266535A1 (en) * 2018-04-11 2021-08-26 Sony Corporation Data processing apparatus and data processing method
KR102622950B1 (ko) * 2018-11-12 2024-01-10 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
JP7332399B2 (ja) * 2019-09-06 2023-08-23 キヤノン株式会社 画像処理装置およびその制御方法
EP4000272A4 (en) * 2019-11-20 2022-11-09 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR USING AI METADATA ASSOCIATED WITH IMAGE QUALITY

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890638B2 (ja) 1996-09-12 2007-03-07 ソニー株式会社 画像情報変換装置および方法
JP4300603B2 (ja) * 1998-09-04 2009-07-22 ソニー株式会社 画像情報変換装置および方法
JP4670169B2 (ja) 2000-11-15 2011-04-13 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体
JP4140259B2 (ja) * 2002-03-29 2008-08-27 ソニー株式会社 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
JP4770711B2 (ja) 2006-11-15 2011-09-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN105872541B (zh) * 2009-06-19 2019-05-14 三菱电机株式会社 图像编码装置、图像编码方法及图像解码装置
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20120183078A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
KR20190003497A (ko) * 2016-05-02 2019-01-09 소니 주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2018173873A1 (ja) * 2017-03-24 2020-01-23 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法

Also Published As

Publication number Publication date
US20190104308A1 (en) 2019-04-04
WO2017191750A1 (ja) 2017-11-09
JPWO2017191750A1 (ja) 2019-03-07
EP3471414A4 (en) 2021-04-21
US10645384B2 (en) 2020-05-05
EP3471414A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP6977719B2 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
WO2017191749A1 (ja) 画像処理装置及び画像処理方法
JP6883219B2 (ja) 符号化装置及び符号化方法、並びに、システム
JP7047776B2 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
US20200288123A1 (en) Image processing apparatus and image processing method
WO2019039283A1 (ja) 画像処理装置及び画像処理方法
WO2018173873A1 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
WO2018168484A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
CN111133757B (zh) 编码设备、编码方法、解码设备和解码方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211025

R151 Written notification of patent or utility model registration

Ref document number: 6977719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151