WO2019182159A1

WO2019182159A1 - 画像フィルタ装置、画像復号装置、及び画像符号化装置

Info

Publication number: WO2019182159A1
Application number: PCT/JP2019/012589
Authority: WO
Inventors: 知宏猪飼; 伊藤　典男; 中條　健; 徳毛　靖昭; 渡辺　裕
Original assignee: シャープ株式会社
Priority date: 2018-03-23
Filing date: 2019-03-25
Publication date: 2019-09-26
Also published as: US11889070B2; US20210021820A1

Abstract

画質の向上したフィルタ後画像を出力する。フィルタ前画像に対してフィルタを施すフィルタ処理部（３０５１）と、フィルタ処理部のうち第１のフィルタ処理部によってフィルタを施されたＤＬ画像が入力されるＡＬＦ部（３０５２）と、を備え、ＡＬＦ部には、更に、フィルタ前画像が入力されるループフィルタ（３０５）。

Description

画像フィルタ装置、画像復号装置、及び画像符号化装置

　本発明の一態様は、画像フィルタ装置、画像復号装置、及び画像符号化装置に関する。

　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

　具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

　このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックである予測ユニット（PU）、変換ユニット（TU）からなる階層構造により管理され、CUごとに符号化／復号される。

　また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

　また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられ、特にAdaptive Loop Filter(ＡＬＦ)の技術が公開されている。

　また、符号化画像にニューラルネットワークを使用する技術として非特許文献２、非特許文献３が挙げられる。非特許文献２ではVariable-filter-size Residue-learning CNN (VRCNN)とよばれるフィルタを用いる。

"Algorithm Description of Joint Exploration Test Model 6", JVET-F1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 31 March - 7 April 2017 "A Convolutional Neural Network Approach for Post-Processingin HEVC Intra Coding", MMM 2017 Convolutional Neural Network Filter (CNNF) for intra frame JVET-I0022, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 20-26 January 2018

　しかしながら、ＡＬＦはフィルタ入力画像に応じて適応的な処理が可能であるが、線形処理に限定されるため画質の向上が十分ではない。一方、ニューラルネットワークを利用したフィルタは、多段構成の非線形処理により、入力画像によっては画質の向上が著しいが、事前に学習したデータに依存するため、入力画像によってはフィルタによって画質が悪くなってしまう。そのため、画質の向上という側面から、フィルタの改善が求められている。

　そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、画質の向上したフィルタ後画像を出力する技術を提供することにある。

　上記の課題を解決するために、本発明に係る画像フィルタ装置は、入力画像に作用する画像フィルタ装置において、前記入力画像に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部と、前記１又は複数のフィルタ処理部のうち第１のフィルタ処理部によってフィルタを施された画像が入力されるＡＬＦ部と、を備え、前記ＡＬＦ部には、更に、前記入力画像、及び、前記１又は複数のフィルタ処理部のうち、第１のフィルタ処理部とは異なる第２のフィルタ処理部によりフィルタを施された画像の少なくとも何れかが入力される。

　上記の課題を解決するために、本発明に係る画像フィルタ装置は、クラス情報を参照して、フィルタ係数を所定の単位毎に切り替えつつ入力画像に作用するフィルタ部と、前記クラス情報を生成するクラス選択部と、を備え、前記クラス選択部は、前記入力画像と、当該入力画像に関連する量子化パラメータとを入力とし、前記クラス情報を出力とするニューラルネットワークを含んでいる。

　上記の課題を解決するために、本発明に係る画像フィルタ装置は、入力画像に作用するフィルタ部と、前記フィルタ部が直接的又は間接的に用いるフィルタ係数を生成するフィルタ係数生成部と、を備え、前記フィルタ係数生成部は、前記フィルタ係数を出力するニューラルネットワークを含んでいる。

　本発明の一態様によれば、画質の向上したフィルタ後画像を出力することができる。

本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 PU分割モードのパターンを示す図である。（ａ）～（ｈ）は、それぞれ、PU分割モードが、2Nx2N、2NxN、2NxnU、2NxnD、Nx2N、nLx2N、nRx2N、および、NxNの場合のパーティション形状について示している。参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。第１の実施形態に係る画像符号化装置の構成を示すブロック図である。第１の実施形態に係る画像復号装置の構成を示す概略図である。第１の実施形態に係る画像復号装置のループフィルタの構成を示す概略図である。第１の実施形態に係る画像復号装置のループフィルタ及びループフィルタ設定部の構成を示す概略図である。第１の実施形態に係る画像フィルタ装置のフィルタ形状の例を示す図である。第１の実施形態に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例１に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例２に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例３に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例４に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例２に係る画像フィルタ装置のフィルタ演算部が複数画像を参照して施すフィルタを示す図である。第１の実施形態の変形例５に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例６に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第１の実施形態の変形例７に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第２の実施形態に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第２の実施形態の変形例８に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第２の実施形態の変形例９に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第３の実施形態に係る画像フィルタ装置のループフィルタ及びループフィルタ設定部の構成を示す概略図である。第３の実施形態の変形例１０に係る画像フィルタ装置のループフィルタ及びループフィルタ設定部の構成を示す概略図である。第３の実施形態に係る画像フィルタ装置のループフィルタの構成を示す概略図である。第３の実施形態の変形例１０に係る画像フィルタ装置のループフィルタの構成を示す概略図である。本実施形態に係る画像符号化装置を搭載した送信装置、および、画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した送信装置を示しており、（ｂ）は、画像復号装置を搭載した受信装置を示している。本実施形態に係る画像符号化装置を搭載した記録装置、および、画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した記録装置を示しており、（ｂ）は、画像復号装置を搭載した再生装置を示している。本実施形態に係る画像伝送システムの構成を示す概略図である。

　　（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。

　図２７は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

　画像伝送システム１は、符号化対象画像を符号化した符号を伝送し、伝送された符号を復号し画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。

　画像符号化装置１１には、単一レイヤもしくは複数レイヤの画像を示す画像Ｔが入力される。レイヤとは、ある時間を構成するピクチャが１つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測（インターレイヤ予測、インタービュー予測）を行う場合には、符号化効率が大きく向上する。また予測を行わない場合（サイマルキャスト）にも、符号化データをまとめることができる。

　ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク２１は、DVD（Digital Versatile Disc）、BD（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

　画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した１または複数の復号画像Tdを生成する。

　画像表示装置４１は、画像復号装置３１が生成した１または複数の復号画像Tdの全部または一部を表示する。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。

　＜演算子＞
　本明細書で用いる演算子を以下に記載する。

　>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子である。

　x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。

　Clip3(a, b, c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

　　＜符号化ストリームTeの構造＞
　本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。

　図１は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図１の（ａ）～（ｆ）は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニット（Coding Unit；CU）を示す図である。

　　（符号化ビデオシーケンス）
　符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスSEQは、図１の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤIDを示す。図１では、#0と#1すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。

　ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

　シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。

　ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

　　（符号化ピクチャ）
　符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図１の（ｂ）に示すように、スライスS0～S_NS-1を含んでいる（ＮＳはピクチャPICTに含まれるスライスの総数）。

　なお、以下、スライスS0～S_NS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

　　（符号化スライス）
　符号化スライスでは、処理対象のスライスSを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスSは、図１の（ｃ）に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。

　スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。

　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。

　なお、スライスヘッダSHには、上記符号化ビデオシーケンスに含まれる、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

　　（符号化スライスデータ）
　符号化スライスデータでは、処理対象のスライスデータSDATAを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図１の（ｄ）に示すように、符号化ツリーユニット（CTU:Coding Tree Unit）を含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

　　（符号化ツリーユニット）
　図１の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（CN:Coding Node）と称する。４分木の中間ノードは、符号化ノードであり、符号化ツリーユニット自身も最上位の符号化ノードとして規定される。CTUは、分割フラグ（cu_split_flag）を含み、cu_split_flagが１の場合には、４つの符号化ノードCNに分割される。cu_split_flagが０の場合には、符号化ノードCNは分割されず、１つの符号化ユニット（CU:Coding Unit）をノードとして持つ。符号化ユニットCUは符号化ノードの末端ノードであり、これ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。

　また、符号化ツリーユニットCTUのサイズが64x64画素の場合には、符号化ユニットのサイズは、64x64画素、32x32画素、16x16画素、および、8x8画素の何れかをとり得る。

　　（符号化ユニット）
　図１の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、予測ツリー、変換ツリー、CUヘッダCUHから構成される。CUヘッダでは予測モード、分割方法（PU分割モード）等が規定される。

　予測ツリーでは、符号化ユニットを１または複数に分割した各予測ユニット（PU）の予測情報（参照ピクチャインデックス、動きベクトル等）が規定される。別の表現でいえば、予測ユニットは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ユニットを含む。なお、以下では、予測ユニットをさらに分割した予測単位を「サブブロック」と呼ぶ。サブブロックは、複数の画素によって構成されている。予測ユニットとサブブロックのサイズが等しい場合には、予測ユニット中のサブブロックは１つである。予測ユニットがサブブロックのサイズよりも大きい場合には、予測ユニットは、サブブロックに分割される。たとえば予測ユニットが8x8、サブブロックが4x4の場合には、予測ユニットは水平に２分割、垂直に２分割からなる、４つのサブブロックに分割される。

　予測処理は、この予測ユニット（サブブロック）ごとに行ってもよい。

　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

　イントラ予測の場合、分割方法は、2Nx2N（符号化ユニットと同一サイズ）と、NxNとがある。

　また、インター予測の場合、分割方法は、符号化データのPU分割モード（part_mode）により符号化され、2Nx2N（符号化ユニットと同一サイズ）、2NxN、2NxnU、2NxnD、Nx2N、nLx2N、nRx2N、および、NxNなどがある。なお、2NxN、Nx2Nは1:1の対称分割を示し、2NxnU、2NxnDおよびnLx2N、nRx2Nは、1:3、3:1の非対称分割を示す。CUに含まれるPUを順にPU0、PU1、PU2、PU3と表現する。

　図２の（ａ）～（ｈ）に、それぞれのPU分割モードにおけるパーティションの形状（PU分割の境界の位置）を具体的に図示している。図２の（ａ）は、2Nx2Nのパーティションを示し、（ｂ）、（ｃ）、（ｄ）は、それぞれ、2NxN、2NxnU、および、2NxnDのパーティション（横長パーティション）を示す。（ｅ）、（ｆ）、（ｇ）は、それぞれ、Nx2N、nLx2N、nRx2Nである場合のパーティション（縦長パーティション）を示し、（ｈ）は、NxNのパーティションを示す。なお、横長パーティションと縦長パーティションを総称して長方形パーティション、2Nx2N、NxNを総称して正方形パーティションと呼ぶ。

　また、変換ツリーにおいては、符号化ユニットが１または複数の変換ユニットに分割され、各変換ユニットの位置とサイズとが規定される。別の表現でいえば、変換ユニットは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ユニットを含む。

　変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述したCUの分割と同様、再帰的な４分木分割によるものがある。

　変換処理は、この変換ユニットごとに行われる。

　　（予測パラメータ）
　予測ユニット（PU：Prediction Unit）の予測画像は、PUに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。

　符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。

　　（参照ピクチャリスト）
　参照ピクチャリストは、参照ピクチャメモリ３０６に記憶された参照ピクチャからなるリストである。図３は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。図３（ａ）において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図３（ｂ）に、参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の２つの参照ピクチャリストを持つ。対象ピクチャがB3の場合の参照ピクチャは、I0、P1、B2であり、参照ピクチャはこれらのピクチャを要素として持つ。個々の予測ユニットでは、参照ピクチャリストRefPicListX中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。図では、refIdxL0およびrefIdxL1により参照ピクチャP1とB2が参照される例を示す。

　　（マージ予測とAMVP予測）
　予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX（またはインター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍PUの予測パラメータから導出する用いるモードであり、AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。

　インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1リストの参照ピクチャリストで管理された参照ピクチャを用いることを示し、１枚の参照ピクチャを用いること（単予測）を示す。PRED_BIは２枚の参照ピクチャを用いること（双予測BiPred）を示し、L0リストとL1リストで管理された参照ピクチャを用いる。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストで管理された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。

　マージインデックスmerge_idxは、処理が完了したPUから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象PUの予測パラメータとして用いるかを示すインデックスである。

　　（動きベクトル）
　動きベクトルmvLXは、異なる２つのピクチャ上のブロック間のずれ量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。

　（インター予測識別子inter_pred_idcと予測リスト利用フラグpredFlagLX）
　インター予測識別子inter_pred_idcと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である。

　inter_pred_idc = （predFlagL1<<１） + predFlagL0
　predFlagL0 = inter_pred_idc & １
　predFlagL1 = inter_pred_idc >> １
　なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。

　（双予測biPredの判定）
　双予測BiPredであるかのフラグbiPredは、２つの予測リスト利用フラグがともに１であるかによって導出できる。たとえば以下の式で導出できる。

　biPred = (predFlagL0 == 1 && predFlagL1 == 1)
　フラグbiPredは、インター予測識別子が２つの予測リスト（参照ピクチャ）を使うことを示す値であるか否かによっても導出できる。たとえば以下の式で導出できる。

　biPred = (inter_pred_idc == PRED_BI) ? 1 : 0
上記式は、以下の式でも表現できる。

　biPred = (inter_pred_idc == PRED_BI)
　なお、PRED_BIはたとえば3の値を用いることができる。

　　（画像復号装置の構成）
　次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部（予測画像復号装置）３０２、ループフィルタ３０５（画像フィルタ装置）、参照ピクチャメモリ３０６、予測パラメータメモリ３０７、予測画像生成部（予測画像生成装置）３０８、逆量子化・逆変換部３１１、及び加算部３１２を含んで構成される。

　また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。

　エントロピー復号部３０１は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。

　エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、後述する画像符号化装置１１において実行されたフィルタ処理におけるフィルタ係数やフィルタのＯＮ／ＯＦＦなどを示すループフィルタ情報、量子化パラメータ（QP）、予測モードpredMode、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するかの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆変換部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）、KLT（Karyhnen Loeve Transform、カルーネンレーベ変換）等の周波数変換を行い量子化して得られる係数である。

　また、エントロピー復号部３０１は、分離した符号の一部を後述するループフィルタ３０５に出力する。分離した符号の一部とは、例えば、ループフィルタ情報、量子化パラメータ（QP）、予測パラメータ、デプス情報（分割情報）である。

　インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。

　インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

　イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、CUを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

　イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、DC予測（１）、方向予測（２～３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、DC予測（１）、方向予測（２～３４）、LMモード（３５）の何れかを用いるものである。イントラ予測パラメータ復号部３０４は、IntraPredModeCは輝度モードと同じモードであるか否かを示すフラグを復号し、フラグが輝度モードと同じモードであることを示せば、IntraPredModeCにIntraPredModeYを割り当て、フラグが輝度モードと異なるモードであることを示せば、IntraPredModeCとして、プレーナ予測（０）、DC予測（１）、方向予測（２～３４）、LMモード（３５）を復号しても良い。

　ループフィルタ３０５は、エントロピー復号部３０１からループフィルタ情報を取得する。ループフィルタ３０５は、加算部３１２が生成したCUの復号画像を入力画像（フィルタ前画像）とし、フィルタ前画像にループフィルタ情報が示す処理を施し、出力画像（フィルタ後画像）を出力する。ループフィルタ３０５は、後述する画像符号化装置１１が備えるループフィルタ１０７と同様の機能を有する。ループフィルタ３０５の詳細な構成については、後述する。

　参照ピクチャメモリ３０６は、加算部３１２が生成したCUの復号画像を、復号対象のピクチャ及びCU毎に予め定めた位置に記憶する。

　予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及び予測ユニット（もしくはサブブロック、固定サイズブロック、ピクセル）毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。

　予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてPUもしくはサブブロックの予測画像を生成する。

　ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてインター予測によりPUもしくはサブブロックの予測画像を生成する。

　インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0リスト、もしくはL1リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象PUを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックをもとに予測を行ってPUの予測画像を生成する。インター予測画像生成部３０９は、生成したPUの予測画像を加算部３１２に出力する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、PUもしくはサブブロックの予測画像を生成するために参照する領域である。

　予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたPUのうち、復号対象PUから予め定めた範囲にある隣接PUを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象PUがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接PUのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。

　イントラ予測画像生成部３１０は、読み出した隣接PUに基づいてイントラ予測モードIntraPredModeが示す予測モードで予測を行ってPUの予測画像を生成する。イントラ予測画像生成部３１０は、生成したPUの予測画像を加算部３１２に出力する。

　イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２～３４）の何れかによって輝度のPUの予測画像を生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２～３４）、LMモード（３５）の何れかによって色差のPUの予測画像を生成する。

　逆量子化・逆変換部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化して変換係数を求める。逆量子化・逆変換部３１１は、求めた変換係数について逆DCT、逆DST、逆KLT等の逆周波数変換を行い、残差信号を算出する。逆量子化・逆変換部３１１は、算出した残差信号を加算部３１２に出力する。

　加算部３１２は、インター予測画像生成部３０９またはイントラ予測画像生成部３１０から入力されたPUの予測画像と逆量子化・逆変換部３１１から入力された残差信号を画素毎に加算して、PUの復号画像を生成する。加算部３１２は、生成したPUの復号画像を参照ピクチャメモリ３０６に記憶し、生成したPUの復号画像をピクチャ毎に統合した復号画像Tdを外部に出力する。

　（ループフィルタ３０５の構成）
　ループフィルタ３０５の詳細な構成について説明する。図６は、本実施形態に係る画像復号装置３１のループフィルタ３０５の構成を示す概略図である。ループフィルタ３０５は、フィルタ処理部３０５１及びＡＬＦ部３０５２を含んで構成される。

　フィルタ処理部３０５１は、フィルタ前画像に作用されるフィルタとして機能する。フィルタ処理部３０５１は、輝度又は色差を画素値とする１又は複数の第１種の入力画像データが入力され、輝度又は色差を画素値とする１又は複数の第１種の出力画像データを出力するニューラルネットワークを備えている。フィルタ処理部３０５１は、ＤＮＮ（Deep Neural Network）フィルタとも称される。フィルタ処理部３０５１は、フィルタ前画像にフィルタを施した画像を、ＤＬ画像として出力する。

　ＤＮＮとして、以下の３つのタイプが挙げられるが、フィルタ処理部３０５１は何れのタイプにも限定されない。

　層に属するニューロンが、その層の全ての入力と接続する構成であるＦＣＮ（Fully Convolutional Network）
　層に属するニューロンが、その層の一部の入力とのみ接続する構成（換言すると、ニューロンは空間的位置を有し、空間的な位置に近い入力のみと接続する構成）であるＬＣＮ（Locally Connected Networks）
　層に属するニューロンが、その層の一部の入力とのみ接続した上で、ウェイトも共有する構成（ニューロンは空間的位置を有し、空間的な位置に近い入力のみと接続、異なる空間的位置のニューロンも同様の構成）であるＣＮＮ（Convolutional Neural Networks）。またＤＮＮフィルタとは、多段構成のニューラルネットワーク（ＮＮ処理）により構成されるフィルタと呼ぶこともできる。なお、ニューラルネットワークとは、積和演算と積和演算結果の非線形演算（activation）から構成される処理であり、conv、act、add/sub、concatenate/stackなどの要素を含んでよい。前述のＦＣＮ、ＣＮＮ、ＬＣＮとはＮＮ処理から構成されるネットワークを接続関係により分類したものである。

　ＤＮＮフィルタを入力画像に適用する場合、入力画像の色コンポーネント（Ｙ、Ｕ、Ｖ）の一つ（例えばＹ）に適用してもよい。また、Ｙ、Ｕ、Ｖに各々順に適用してもよい。また、Ｙ、Ｕ、Ｖをインターリーブした｛Ｙ、Ｕ、Ｖ｝画像を用いて複数コンポーネントに一度に適用してもよい。また、Ｙ画像にＤＮＮフィルタを適用し、Ｕ、Ｖをインターリーブした｛Ｕ、Ｖ｝画像にＤＮＮフィルタを適用してもよい。また、後述のように、入力画像に加え、量子化パラメータ（ＱＰ）などの符号化パラメータをＤＮＮフィルタに入力しても良い。この場合、各色コンポーネントと符号化パラメータをインターリーブした画像（例えば｛Ｙ、ＱＰ｝画像、｛Ｕ、ＱＰ｝画像、｛Ｖ、ＱＰ｝画像）にＤＮＮフィルタを適用してもよい。また、同様に｛Ｙ、Ｕ、Ｖ、ＱＰ｝画像や、｛Ｕ、Ｖ、ＱＰ｝画像にＤＮＮフィルタを適用してもよい。また色コンポーネントはＹ、Ｕ、Ｖによらず、Ｒ、Ｇ、Ｂでもよい。

　後述するように、ＤＮＮフィルタの入力画像データには、量子化パラメータなどの符号化パラメータが含まれていてもよい。

　ＡＬＦ部３０５２は、フィルタ前画像、及びフィルタ処理部３０５１から出力されるＤＬ画像に対して、適応ループフィルタ（ALF（Adaptive Loop Filter））を施す。ＡＬＦ部３０５２は、ブロック分類部３０５２１及びフィルタ演算部３０５２２を含んで構成される。ＡＬＦ部３０５２によるＡＬＦフィルタとは、入力されるフィルタ係数を用いて、対象画素周囲の複数の参照画素とフィルタ係数の積和演算（さらにオフセット加算を含んでも良い）を含むフィルタ処理を行うフィルタである。

　ブロック分類部３０５２１は、所定の単位毎（例えば、２×２ブロック毎）に２５のクラスに分類する。そして、ブロック分類部３０５２１は、分類したクラスを示すクラス情報を出力する。ブロック分類部３０５２１は、具体的に以下の数式及びＳｔｅｐに基づいてクラスＣを算出する。

　ここで、ｖは縦方向、ｈは横方向、ｄ１、ｄ２はそれぞれ斜め４５度の方向を示し、ブロック分類部３０５２１は数式（１）～（６）を用いて、それぞれの活性度を算出する。算出された活性度と方向から、ブロック分類部３０５２１は、Ｓｔｅｐ１～４を実行することによって方向性を示すＤ（０～４に量子化）を算出する。そしてブロック分類部３０５２１は、Ｓｔｅｐ５を実行し、活性度を示すＡ（０～４に量子化）及びクラスＣを算出する。Ｄ及びＡは、０～４の値を取るので、Ｃは０～２４の値となり、２５のクラスに分類される。なお、ＡＬＦ部３０５２は、ブロック分類部３０５２１を含まずに構成されてもよい。

　フィルタ演算部３０５２２は、ループフィルタ情報及びクラス情報を参照してフィルタ係数を算出し、算出されたフィルタ係数に応じたフィルタを１つ以上の入力画像（ＤＬ画像及びフィルタ前画像）に施し、フィルタ後画像を出力する。換言すると、フィルタ演算部３０５２２は、クラス情報を参照して、フィルタ係数を所定の単位毎に切り替えつつ入力画像に作用する。

　（フィルタの形状）
　図８は、本実施形態に係る画像フィルタ装置（フィルタ演算部）で用いるフィルタ形状の例を示す図である。フィルタ形状とは、あるフィルタ対象画素のフィルタ処理をする際に参照する画素を示す。

　図８では菱形のフィルタ形状を示しており、図８の（ａ）では５×５画素、図８の（ｂ）では７×７画素、図８の（ｃ）では９×９画素である。図８に示すように、各画素に対してフィルタ係数が割り当てられる。図８は一つの例であり、フィルタ形状として、矩形や十字型、丸型やその変形なども適用してもよい。

　　（画像符号化装置の構成）
　次に、本実施形態に係る画像符号化装置１１の構成について説明する。図４は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆変換部１０５、加算部１０６、ループフィルタ１０７（画像フィルタ装置）、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、及びループフィルタ設定部１１７を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。

　予測画像生成部１０１は画像Ｔの各ピクチャについて、そのピクチャを分割した領域である符号化ユニットCU毎に予測ユニットPUの予測画像Ｐを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から復号済のブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えばインター予測の場合、動きベクトルである。予測画像生成部１０１は、対象PUを起点として動きベクトルが示す参照画像上の位置にあるブロックを読み出す。またイントラ予測の場合、予測パラメータとは例えばイントラ予測モードである。イントラ予測モードで使用する隣接PUの画素値を参照ピクチャメモリ１０９から読み出し、PUの予測画像Pを生成する。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いてPUの予測画像Ｐを生成する。予測画像生成部１０１は、生成したPUの予測画像Ｐを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作である。

　予測画像生成部１０１は、予測パラメータ符号化部から入力されたパラメータを用いて、参照ピクチャメモリから読み出した参照ブロックの画素値をもとにPUの予測画像Pを生成する。予測画像生成部１０１で生成した予測画像は減算部１０２、加算部１０６に出力される。

　減算部１０２は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値を、画像Ｔの対応するPUの画素値から減算して、残差信号を生成する。減算部１０２は、生成した残差信号を変換・量子化部１０３に出力する。

　変換・量子化部１０３は、減算部１０２から入力された残差信号について周波数変換を行い、変換係数を算出する。変換・量子化部１０３は、算出した変換係数を量子化して量子化係数を求める。変換・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆変換部１０５に出力する。

　エントロピー符号化部１０４には、変換・量子化部１０３から量子化係数が入力され、予測パラメータ符号化部１１１から符号化パラメータが入力される。入力される符号化パラメータには、例えば、量子化パラメータ、デプス情報（分割情報）、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。また、エントロピー符号化部１０４には、ループフィルタ設定部１１７からループフィルタ情報が入力される。

　エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。

　逆量子化・逆変換部１０５は、変換・量子化部１０３から入力された量子化係数を逆量子化して変換係数を求める。逆量子化・逆変換部１０５は、求めた変換係数について逆周波数変換を行い、残差信号を算出する。逆量子化・逆変換部１０５は、算出した残差信号を加算部１０６に出力する。

　加算部１０６は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値と逆量子化・逆変換部１０５から入力された残差信号の信号値を画素毎に加算して、復号画像を生成する。加算部１０６は、生成した復号画像を参照ピクチャメモリ１０９に記憶する。

　ループフィルタ１０７は加算部１０６が生成した復号画像に対し、ＤＮＮフィルタ、適応ループフィルタ（ＡＬＦフィルタ）を施す。

　ループフィルタ設定部１１７は、復号画像及び画像符号化装置１１に入力された原画像を参照し、ループフィルタ１０７においてフィルタを施すか否かを制御し、ループフィルタ１０７においてフィルタを施す場合のフィルタ係数を設定する。

　なお、ループフィルタ１０７及びループフィルタ設定部１１７を画像フィルタ装置と総称する場合もある。ループフィルタ１０７及びループフィルタ設定部１１７の詳細については、参照する図面を替えて後述する。

　予測パラメータメモリ１０８は、符号化パラメータ決定部１１０が生成した予測パラメータを、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

　参照ピクチャメモリ１０９は、ループフィルタ１０７が生成した復号画像を、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

　符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いてPUの予測画像Ｐを生成する。

　符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。符号化パラメータ決定部１１０は決定した符号化パラメータを予測パラメータメモリ１０８に記憶する。

　予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから、符号化するための形式を導出し、エントロピー符号化部１０４に出力する。符号化するための形式の導出とは、例えば動きベクトルと予測ベクトルから差分ベクトルを導出することである。また予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから予測画像を生成するために必要なパラメータを導出し、予測画像生成部１０１に出力する。予測画像を生成するために必要なパラメータとは、例えばサブブロック単位の動きベクトルである。

　インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいて、差分ベクトルのようなインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、予測画像生成部１０１に出力する予測画像の生成に必要なパラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と一部同一の構成を含む。

　イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力されたイントラ予測モードIntraPredModeから、符号化するための形式（例えばMPM_idx、rem_intra_luma_pred_mode等）を導出する。

　（ループフィルタ１０７及びループフィルタ設定部１１７の構成）
　ループフィルタ１０７及びループフィルタ設定部１１７の詳細な構成について説明する。図７は、本実施形態に係る画像符号化装置１１のループフィルタ１０７及びループフィルタ設定部１１７の構成を示す概略図である。

　ループフィルタ１０７は、上述したループフィルタ３０５と同様の機能を有する。

　ループフィルタ設定部１１７は、フィルタ係数生成部１１７１、フィルタ係数符号化部１１７２、及びフィルタＯＮ／ＯＦＦ判定部１１７３を含んで構成される。

　フィルタ係数生成部１１７１は、復号画像、及び画像符号化装置１１に入力された原画像を参照し、ループフィルタ１０７のフィルタ演算部１０７２２において施されるフィルタのフィルタ係数を生成する。

　フィルタ係数符号化部１１７２は、フィルタ係数生成部１１７１から出力されるフィルタ係数を符号化し、ループフィルタ情報として出力する。

　フィルタＯＮ／ＯＦＦ判定部１１７３は、画像符号化装置１１に入力された原画像を参照し、ループフィルタ１０７においてフィルタを実行するか否かを制御する。また、フィルタＯＮ／ＯＦＦ判定部１１７３は、フィルタ演算部１０７２２が出力するフィルタされた復号画像も参照し、ループフィルタ１０７においてフィルタを実行するか否かを制御してもよい。

　（ループフィルタ情報）
　フィルタ係数符号化部１１７２は、最大２５セットの輝度フィルタ係数を示すループフィルタ情報を生成することができる。また、フィルタ係数符号化部１１７２は、あるクラスのフィルタ係数を異なるクラスのフィルタ係数とマージしたループフィルタ情報を生成する構成であってもよい。また、フィルタ係数符号化部１１７２は、参照ピクチャのために保存済みのフィルタ係数を使用してループフィルタ情報を生成してもよい。

　フィルタ係数符号化部１１７２は、ピクチャを復号した後、時間予測のために、当該ピクチャに施したフィルタに対応するフィルタセットをリストに追加してもよい。リストのサイズが最大許容値に達すると、フィルタ係数符号化部１１７２は、デコード順で最も古いフィルタセットを新しいフィルタセットが上書きする（ＦＩＦＯ）構成であってもよい。

　なお、フィルタ係数の時間予測は、ＰスライスおよびＢスライスの場合にのみ行われてもよい。また、Ｉスライスの場合は、１６個の固定フィルタのセットが各クラスに割り当てられてもよい。また、フィルタ係数符号化部１１７２は、輝度および色差においてフィルタ係数を分ける構成であってもよい。この場合、フィルタ係数符号化部１１７２は、輝度についてはＣＵ単位および／またはスライス単位でＯＮ／ＯＦＦし、色差についてはＣＴＵ単位および／またはスライス単位でのみＯＮ／ＯＦＦしてもよい。

　　（ループフィルタ１０７ａの構成）
　本実施形態におけるループフィルタ１０７ａの詳細な構成について説明する。図９は、本実施形態に係る画像フィルタ装置のループフィルタ１０７ａの構成を示す概略図である。前述したように、ループフィルタはブロック分類部３０５２１を含まずに構成されてもよいので、ここではブロック分類部３０５２１を含まないループフィルタ１０７ａについて説明する。図９に示すように、ループフィルタ１０７ａは、ブロック分類部３０５２１を含まないＡＬＦ部１０７２ａ及びフィルタ処理部１０７１を含んで構成される。

　図９に示すように、フィルタ処理部１０７１には復号画像が入力され、ＤＮＮフィルタが施されたＤＬ画像が出力される。また、フィルタ演算部１０７２２ａには、復号画像、及びフィルタ処理部１０７１から出力されるＤＬ画像が入力される。そして、フィルタ演算部１０７２２ａは、入力された復号画像及びＤＬ画像を参照し、フィルタ後画像を出力する。そのため、例えば、フィルタ処理部１０７１において強いフィルタが施された場合は、フィルタ演算部１０７２２ａにおいて弱いフィルタを施して補うことができる。一方、フィルタ処理部１０７１において弱いフィルタが施された場合は、フィルタ演算部１０７２２ａにおいて強いフィルタを施して補うことができる。

　このように、本実施形態におけるループフィルタ１０７ａでは、フィルタ後画像の画質を向上させることができる。すなわち、ループフィルタ１０７ａでは、多くの場合に高画質だがフィルタ入力画像（図９の復号画像）に対して柔軟性がないループフィルタ１０７ａと、柔軟性のあるフィルタ演算部１０７２２ａとを組み合わせることにより、柔軟性がありかつ高画質であるフィルタ処理を実現することができる。なお、単に、フィルタ処理部１０７１の処理後画像（ＤＬ画像）にフィルタ演算部１０７２２ａを動作させる直列的な構成も可能であるが、フィルタ処理部１０７１のフィルタ処理において情報を失うことがある。そのため、フィルタ処理部１０７１の処理前画像（入力された復号画像）もフィルタ演算部１０７２２ａに入力する本構成の方が高性能となる。また、ループフィルタ１０７ａでは、従来ＡＬＦ部１０７２ａが行っていたフィルタ処理をフィルタ処理部１０７１に実行させることができるので、ＡＬＦ部１０７２ａの構成を簡素化することができる。

　なお、フィルタ処理部１０７１に入力される復号画像には、デブロッキングフィルタやバイラテラルフィルタ、ＳＡＯなどを施した後の復号画像でもよいし、それらを施す前の復号画像でもよい。

　なお、図９に示すループフィルタ１０７ａは、画像符号化装置におけるループフィルタ１０７ａであるが、ループフィルタ設定部１１７は上述した図７に示すものと同じであるため図示を省略しており、特に記載がない場合、以下の実施形態および変形例においても同様である。

　また、特に記載がない場合、上述したように、符号化装置におけるループフィルタと、画像復号装置におけるループフィルタとは同様の機能を有するため、以下の実施形態および変形例においては画像復号装置におけるループフィルタについての説明は省略する。

　（変形例１）
　本変形例におけるループフィルタ１０７ｂの詳細な構成について説明する。図１０は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｂの構成を示す概略図である。本変形例では、ループフィルタ１０７ｂは、フィルタ処理部１０７１ｂ及びＡＬＦ部１０７２ｂを含んで構成される。

　フィルタ処理部１０７１ｂは、第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎのｎ個のフィルタ処理部（複数のフィルタ処理部）を含んで構成される。第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎはそれぞれ異なるＤＮＮフィルタを施す。例えば、第１フィルタ処理部１０７１１は自然の風景の画像に適したフィルタ、第２フィルタ処理部１０７１２はアニメーション画像に適したフィルタ、などを施す構成であってもよい。第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎには、それぞれに対して復号画像が入力される。また、第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎのそれぞれが、ＤＮＮフィルタを施したＤＬ画像１～ＤＬ画像ｎを出力する。

　ＡＬＦ部１０７２ｂは、ＤＬ画像１～ＤＬ画像ｎを参照してフィルタを施し、フィルタ後画像を出力する。

　このように、ループフィルタ１０７ｂでは、異なるＤＮＮフィルタが施されたＤＬ画像１～ＤＬ画像ｎを参照し、フィルタ後画像を出力する。そのため、ループフィルタ１０７ｂは、入力された復号画像に適したフィルタを施すことができるので、フィルタ後画像の画質を向上させることができる。この構成によれば、異なる学習データを用いて学習された複数のＤＮＮフィルタ（例えば、アニメーション画像で学習させたＤＮＮフィルタと自然画像で学習させたＤＮＮフィルタ）によってフィルタを施された画像をＡＬＦ部１０７２ｂに用いることにより、画像に適したフィルタを施すことができる。

　（変形例２）
　本変形例におけるループフィルタ１０７ｃの詳細な構成について説明する。図１１は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｃの構成を示す概略図である。本変形例では、ループフィルタ１０７ｃは、上述したフィルタ処理部１０７１ｂ及びＡＬＦ部１０７２ｃを含んで構成される。

　ＡＬＦ部１０７２ｃは、上述したＡＬＦ部１０７２ｂの構成に加えて、ループフィルタ１０７ｃの入力である復号画像をさらに参照し、フィルタ後画像を出力する。

　このように、ループフィルタ１０７ｃでは、異なるＤＮＮフィルタが施されたＤＬ画像１～ＤＬ画像ｎに加えて、復号画像を参照してフィルタ後画像を出力する。そのため、ループフィルタ１０７ｃは、復号画像に適したＤＮＮフィルタが施された画像に対して更にフィルタの強弱を補うので、フィルタ後画像の画質を向上させることができる。

　本構成は、基本の構成と変形例１の両者の構成を組み合わせたものであるから、様々な画像に対してより柔軟性がありかつ高画質であるフィルタ処理を実現できる。

　（複数画像が入力された場合のフィルタ演算）
　複数画像が入力された場合のフィルタ演算部１０７２２ｃの処理について、図１４を用いて説明する。図１４は、変形例２に係る画像フィルタ装置のフィルタ演算部１０７２２ｃが複数画像を参照して施すフィルタを示す図である。図１４に示すように、フィルタ演算部１０７２２ｃには、復号画像及びＤＬ画像１～ＤＬ画像ｎが入力される。ここで、復号画像の画素値をＲ、ＤＬ画像１の画素値をＲＤ_１、及びＤＬ画像ｎの画素値をＲＤ_ｎとし、図１４に示すように、復号画像用のフィルタ係数をＣ０～Ｃ６、ＤＬ画像１用のフィルタ係数をＣ_１０～Ｃ₁６、及びＤＬ画像ｎ用のフィルタ係数をＣ_ｎ０～Ｃ_ｎ６とした場合、出力されるフィルタ後画像の画素値Ｒ´は以下の式（７）によって算出される。

　すなわち、フィルタ演算部１０７２２ｃは、復号画像及びＤＬ画像１～ＤＬ画像ｎのある画素において、当該画素の画素値と、当該画素に対応する各画像用のフィルタ係数との積を算出する。そして、フィルタ演算部１０７２２ｃは、算出した積の和を、フィルタ後画像におけるある画素の画素値とする。また、フィルタ演算部１０７２２ｃは、式（７）のようにオフセットo(i,j)を用いて画素値Ｒ´を算出してもよいし、オフセットを用いずに画素値Ｒ´を算出してもよい。さらに、フィルタ係数が量子化（整数倍）された構成であれば、フィルタ演算部１０７２２ｃは、式（７）の後に、正規化する処理（例えば、整数値での除算や、右シフト演算）を行ってもよい。すなわち、フィルタ演算部１０７２２ｃは、整数演算のために、フィルタ係数として整数値を用い、積和演算後に右シフトにより元の精度に戻すことが適当である。なおシフト値がshiftの場合、フィルタ演算部１０７２２ｃは、シフト前にラウンド用の値1<<(shift-1)などを加算してもよい。

　なお、この例では、復号画像用、ＤＬ画像１用、・・・及びＤＬ画像ｎ用のフィルタ係数の数が全て同じ場合について記載しているが、フィルタ演算部１０７２２ｃは異なる数のフィルタ係数を用いても良い。また、復号画像用、ＤＬ画像１用、・・及びＤＬ画像ｎ用の対象画素からみた参照画素の位置も互いに異なるものでもよい。

　（変形例３）
　本変形例におけるループフィルタ１０７ｄの詳細な構成について説明する。図１２は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｄの構成を示す概略図である。本変形例では、ループフィルタ１０７ｄは、フィルタ処理部１０７１ｄ及びＡＬＦ部１０７２ｄを含んで構成される。

　フィルタ処理部１０７１ｄは、上述した第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎのｎ個のフィルタ処理部を含んで構成される。フィルタ処理部１０７１ｄでは、第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎによってＤＮＮフィルタを施されたＤＬ画像１～ＤＬ画像ｎを、後述するブロック分類部１０７２１ｄ及びフィルタ演算部１０７２２ｄに出力する。

　ＡＬＦ部１０７２ｄは、ブロック分類部１０７２１ｄ及びフィルタ演算部１０７２２ｄを含んで構成される。

　ブロック分類部１０７２１ｄは、上述したブロック分類部３０５２１と同様、２×２ブロック毎に２５のクラスに分類し、分類したクラスを示すクラス情報を出力する。

　フィルタ演算部１０７２２ｄは、復号画像、ＤＬ画像１～ＤＬ画像ｎ、及びクラス情報を参照し、フィルタ後画像を出力する。

　このように、ループフィルタ１０７ｄでは、異なるＤＮＮフィルタが施されたＤＬ画像１～ＤＬ画像ｎ、復号画像に加えて、クラス情報を参照してフィルタ後画像を出力する。そのため、ループフィルタ１０７ｄでは、クラスに応じたフィルタ後画像を出力することができるため、フィルタ後画像の画質をさらに向上させることができる。

　なお、ループフィルタ１０７ｄは、変形例１におけるループフィルタ１０７ｂと同様、復号画像を参照しない構成であってもよい。当該構成は、以下の変形例においても同様である。

　（変形例４）
　本変形例におけるループフィルタ１０７ｅの詳細な構成について説明する。図１３は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｅの構成を示す概略図である。本変形例では、ループフィルタ１０７ｅは、フィルタ処理部１０７１ｅ及び上述したＡＬＦ部１０７２ｃを含んで構成される。

　フィルタ処理部１０７１ｅは、第１フィルタ処理部１０７１１１～第ｎフィルタ処理部１０７１１ｎを含んで構成される。第１フィルタ処理部１０７１１１～第ｎフィルタ処理部１０７１１ｎにはそれぞれ、復号画像及び入力画像に関連する符号化パラメータ（ここでは量子化パラメータであるＱＰ）が入力される。ここで、量子化パラメータとは、画像の圧縮率と画質とを制御するパラメータのことであり、例えば、予測残差の量子化幅を導出するパラメータが挙げられる。そのため第１フィルタ処理部１０７１１１～第ｎフィルタ処理部１０７１１ｎはそれぞれ、符号化パラメータ（量子化パラメータ）にも応じてフィルタを施すことができる。

　このように、ループフィルタ１０７ｅには、入力画像に関連する符号化パラメータ（量子化パラメータ）に応じてフィルタを施されたＤＬ画像１～ＤＬ画像ｎが入力される。ループフィルタ１０７ｅは、ＤＬ画像１～ＤＬ画像ｎを参照してフィルタ後画像を出力するので、フィルタ後画像の画質をさらに向上させることができる。ここで、復号画像に加え量子化パラメータ（符号化パラメータ）も入力値として用いる構成は、他の構成（例えば、変形例１～変形例３、変形例５以下）にも用いることができる。なお、符号化パラメータは量子化パラメータに限定されず、予測モードや動きベクトルなどを符号化パラメータとして用いることもできる。

　（変形例５）
　本変形例におけるループフィルタ１０７ｆの詳細な構成について説明する。図１５は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｆの構成を示す概略図である。本変形例では、ループフィルタ１０７ｆは、フィルタ処理部１０７１ｆ及びＡＬＦ部１０７２ｆを含んで構成される。

　フィルタ処理部１０７１ｆが備えるニューラルネットワークは、図１５に示すように、それぞれにおいてフィルタ（ＮＮ処理）が施される複数の層（図１５ではＮＮ１（１０７３１）、ＮＮ２（１０７３２）、ＮＮ３（１０７３３）、及びＮＮ４（１０７３４）の４つの層）を含んでいる。各ＮＮ処理の層は、下記の構成の少なくともいずれかを含むことができる。

　（１）conv(x)：フィルタをかける処理（convolution）を実施する構成
　（２）act(conv(x))：convolutionの後にactivation（非線形関数、例えば、sigmoid, tanh, relu, elu、seluなど）を実施する構成
　（３）batch_norm(act(conv(x)))：convolutionとactivationの後にバッチノーマライゼーション（入力のレンジの正規化）を実施する構成
　（４）act(batch_norm(conv(x)))：convolutionとactivationの間にバッチノーマライゼーション（入力のレンジの正規化）を実施する構成
　（５）pooling：conv層間で情報の圧縮、ダウンサイジングを実施する構成
　（６）add/sub：要素単位で加算する構成（減算する構成を含む）
　（７）concatenate/stack：複数の入力を積み上げて新たな大きな入力を構成する構成
　（８）fcn：フルコネクトされたフィルタを実施する構成
　（９）lcn：一部コネクトされたフィルタを実施する構成
　各ＮＮ層は複数の処理から構成されていてもよい。すなわち、各ＮＮ層では複数のconv処理が施されてもよい。

　フィルタ処理部１０７１ｆは、複数の層の全てにおいてフィルタを施されたＤＬ画像ｄと、複数の層のうち１又は複数の層においてフィルタを施された１又は複数の画像（本変形例では、１０７３１、１０７３２、及び１０７３３においてフィルタを施されたＤＬ画像ｃ）を出力する。

　フィルタ処理部１０７１ｆのようなＤＮＮフィルタは、ＮＮ処理を多段で重ねることにより、前段の層の低次の画像処理から後段の層の高次の画像処理を行う。前段に近い層の出力画像は、入力画像に近い画像や、エッジ判定など低次レベルの画像処理の画像となる。中間層では、オブジェクト認識や領域分類などの中位レベルの画像処理が行われる。そして、最終段に近くなるほど、高レベルの画像処理や微調整が行われ、出力画像が最終画像（ここでは高画質画像）に近づく。なお、多段のフィルタ処理（ＮＮ処理）では、層を重ねる度に高次の情報が加わる一方で、低次の情報が失われることがある。その意味で、フィルタ処理部１０７１ｆでは、前段に近い層の出力画像の方が、入力画像に関する情報量が多いともいえる。

　ＡＬＦ部１０７２ｆには、フィルタ処理部１０７１ｆから出力されたＤＬ画像ｃ及びＤＬ画像ｄが入力される。ＡＬＦ部１０７２ｆは、入力されたＤＬ画像ｃ及びＤＬ画像ｄを参照し、フィルタ後画像を出力する。

　ＡＬＦ部１０７２ｆでは、多段構成の層の出力のうち複数の出力を用いることにより、入力画像に近い画像と、低次の画像処理による画像、高次の画像処理による画像、及び、最終画像を組み合わせることにより、柔軟性の高いフィルタ処理を実現することできる。

　このように、ループフィルタ１０７ｆでは、フィルタ処理部１０７１ｆが含むニューラルネットワークは、それぞれにおいてフィルタが施される複数の層を含み、ＡＬＦ部１０７２ｆには、複数の層の全てにおいてフィルタを施されたＤＬ画像ｄと、複数の層のうち複数の層においてフィルタを施された画像（１０７３１、１０７３２、及び１０７３３においてフィルタを施されたＤＬ画像ｃ）とが入力される。そのため、ループフィルタ１０７２ｆでは、ＤＬ画像ｄに加えて、１０７３４においてフィルタを施されていないＤＬ画像ｃ、すなわちＤＬ画像ｄに比べて情報量が多いＤＬ画像ｃを参照するため、フィルタ後画像の画質をさらに向上させることができる。

　なお、ループフィルタ１０７ｆは、変形例２におけるループフィルタ１０７ｃと同様、復号画像も参照する構成であってもよい。当該構成は、変形例においても同様である。

　（変形例６）
　本変形例におけるループフィルタ１０７ｇの詳細な構成について説明する。図１６は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｇの構成を示す概略図である。本変形例では、ループフィルタ１０７ｇは、フィルタ処理部１０７１ｇ及びＡＬＦ部１０７２ｇを含んで構成される。

　フィルタ処理部１０７１ｇは、複数の層の全てにおいてフィルタを施されたＤＬ画像ｄと、複数の層のうち１又は複数の層においてフィルタを施された１又は複数の画像（本変形例では、１０７３１においてフィルタを施されたＤＬ画像ａ）を出力する。

　ＡＬＦ部１０７２ｇには、フィルタ処理部１０７１ｇから出力されたＤＬ画像ａ及びＤＬ画像ｄが入力される。ＡＬＦ部１０７２gは、入力されたＤＬ画像ａ及びＤＬ画像ｄを参照し、フィルタ後画像を出力する。

　このように、変形例６におけるＡＬＦ部１０７２ｇは、変形例５におけるＤＬ画像ｃより入力画像に近い層の出力画像（ＤＬ画像ａ）を用いている。このようにＡＬＦ部は、多段構成のＤＮＮフィルタの前段に近い層の出力（ＤＬ画像ａ）を用いても、後段の層の出力（ＤＬ画像ｃ）を用いてもよい。図示しないが、ＡＬＦ部は、ＤＬ画像ａ、ＤＬ画像ｃの両方を用いても良い。また後述の変形例７に示すように、ＡＬＦ部は、ＤＬ画像ａ、ＤＬ画像ｂ、ＤＬ画像ｃ、ＤＬ画像ｄの全てを用いても良い。

　このように、ループフィルタ１０７ｇでは、ＡＬＦ部１０７２ｇには、ＤＬ画像ｄと、複数の層のうち１つの層（１０７３１）においてフィルタを施されたＤＬ画像ａとが入力される。そのため、ループフィルタ１０７２ｇでは、ＡＬＦ部１０７２ｇは、ＤＬ画像ｄに加えて、ＤＬ画像ｄより情報量が多いＤＬ画像ａを参照するため、フィルタ後画像の画質をさらに向上させることができる。

　（変形例７）
　本変形例におけるループフィルタ１０７ｈの詳細な構成について説明する。図１７は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｈの構成を示す概略図である。本変形例では、ループフィルタ１０７ｈは、フィルタ処理部１０７１ｈ及びＡＬＦ部１０７２ｈを含んで構成される。

　フィルタ処理部１０７１ｈは、複数の層の全てにおいてフィルタを施されたＤＬ画像ｄと、１０７３１においてフィルタを施されたＤＬ画像ａと、１０７３１及び１０７３２においてフィルタを施されたＤＬ画像ｂと、１０７３１、１０７３２、及び１０７３３においてフィルタを施されたＤＬ画像ｃとを出力する。

　ＡＬＦ部１０７２ｈには、フィルタ処理部１０７１ｈから出力されたＤＬ画像ａ～ＤＬ画像ｄが入力される。ＡＬＦ部１０７２ｈは、入力されたＤＬ画像ａ～ＤＬ画像ｄを参照し、フィルタ後画像を出力する。

　このように、ループフィルタ１０７ｈでは、ＡＬＦ部１０７２ｈには、ＤＬ画像ｄと、複数の層のうち１又は複数の層においてフィルタを施された複数のＤＬ画像ａ～ＤＬ画像ｃが入力される。そのため、ループフィルタ１０７２ｈでは、情報量がそれぞれ異なる複数の画像を参照するため、フィルタ後画像の画質をさらに向上させることができる。

　このように、本実施形態に係る画像フィルタ装置では、入力画像に作用する画像フィルタ装置において、入力画像（復号画像）に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部１０７１（フィルタ処理部１０７１ｂ～フィルタ処理部ｈ、第１フィルタ処理部１０７１１～第ｎフィルタ処理部１０７１ｎ）と、１又は複数のフィルタ処理部のうち第１のフィルタ処理部によってフィルタを施された画像（ＤＬ画像、ＤＬ画像ｄ）が入力されるＡＬＦ部１０７２（ＡＬＦ部１０７２ａ～ＡＬＦ部１０７２ｈ）と、を備え、ＡＬＦ部１０７２には、更に、入力画像、及び、１又は複数のフィルタ処理部のうち、第１のフィルタ処理部とは異なる第２のフィルタ処理部によりフィルタを施された画像（ＤＬ画像ｎ、ＤＬ画像ａ～ＤＬ画像ｃ）の少なくともいずれかが入力される。この構成により、本実施形態に係る画像フィルタ装置は、フィルタ後画像の画質を向上させることができる。

　　（第２の実施形態）
　本実施形態におけるループフィルタ１０７ｉの詳細な構成について説明する。図１８は、本実施形態に係る画像フィルタ装置のループフィルタ１０７ｉの構成を示す概略図である。本実施形態では、ループフィルタ１０７ｉは、カテゴリ選択部１０７４（クラス選択部）及びＡＬＦ部１０７２ｉ（フィルタ部）を含んで構成される。

　カテゴリ選択部１０７４には、復号画像（Ｙ／Ｕ／Ｖ）及び量子化パラメータＱＰが入力される。カテゴリ選択部１０７４はニューラルネットワークを含んでおり、当該ニューラルネットワークは、復号画像及び量子化パラメータＱＰを参照し、クラス情報を出力する。

　なお、本実施形態では、輝度をＹ、色差をＵ、Ｖと表記するがＬ、Ｃｂ、Ｃｒと表記しても良い。また、輝度や色差として、BT.709、 BT.2100などに規定される輝度や色差を用いてもよい。

　ＡＬＦ部１０７２ｉは、フィルタ演算部１０７２２ｉを含んで構成される。フィルタ演算部１０７２２ｉは、復号画像及びカテゴリ選択部１０７４から出力されるクラス情報を参照し、フィルタ後画像を出力する。

　このように、本実施形態におけるループフィルタ１０７ｉは、クラス情報を参照して、フィルタ係数を所定の単位毎に切り替えつつ復号画像に作用するフィルタ演算部１０７２２ｉと、クラス情報を生成するカテゴリ選択部１０７４とを備えている。そして、カテゴリ選択部１０７４は、復号画像と、当該復号画像に関連する量子化パラメータとを入力とし、クラス情報を出力とするニューラルネットワークを含んでいる。そのため、ループフィルタ１０７ｉは、ＡＬＦ部１０７２ｉの構成を簡素化することができる。

　（変形例８）
　本変形例におけるループフィルタ１０７ｊの詳細な構成について説明する。図１９は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｊの構成を示す概略図である。本変形例では、ループフィルタ１０７ｊは、上述したカテゴリ選択部１０７４及びフィルタ処理部１０７１ｂに加えて、ＡＬＦ部１０７２ｊを含んで構成される。

　ＡＬＦ部１０７２ｊは、フィルタ演算部１０７２２ｊを含んで構成される。フィルタ演算部１０７２２ｊは、フィルタ処理部１０７１ｂから出力されるＤＬ画像１～ＤＬ画像ｎと、カテゴリ選択部１０７４から出力されるクラス情報とを参照し、フィルタ後画像を出力する。

　このように、本変形例におけるループフィルタ１０７ｊは、復号画像に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部１０７１ｂを更に備え、フィルタ演算部１０７２２ｊには、フィルタ処理部１０７１ｂによってフィルタを施されたＤＬ画像１～ＤＬ画像ｎが更に入力される。そのため、ループフィルタ１０７ｊでは、構成が簡素化されたＡＬＦ部１０７２ｊにおいて、フィルタ後画像の画質を向上させることができる。

　（変形例９）
　本変形例におけるループフィルタ１０７ｋの詳細な構成について説明する。図２０は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｋの構成を示す概略図である。本変形例では、ループフィルタ１０７ｋは、カテゴリ選択部１０７４ｋ、フィルタ処理部１０７１ｋ、及びＡＬＦ部１０７２ｋを含んで構成される。

　ループフィルタ１０７ｋには、復号画像の輝度を示す情報である輝度（Ｙ）と色を示す情報である色差（Ｕ／Ｖ）とが異なるチャネルにおいて入力される。そのため、ループフィルタ１０７ｋに含まれる各部においても、復号画像の輝度（Ｙ）と色差（Ｕ／Ｖ）とが異なるチャネルにおいて入力される。

　カテゴリ選択部１０７４ｋは、復号画像の輝度（Ｙ）及び色差（Ｕ／Ｖ）と、量子化パラメータＱＰとを参照し、クラス情報を生成する。

　フィルタ処理部１０７１ｋは、図２０に示すように、第１フィルタ処理部１０７１３１～第ｎフィルタ処理部１０７１３ｎを含んで構成される。第１フィルタ処理部１０７１３１～第ｎフィルタ処理部１０７１３ｎは、輝度（Ｙ）及び色差（Ｕ／Ｖ）のそれぞれについてフィルタを施したＤＬ画像１～ＤＬ画像ｎを出力する。

　フィルタ演算部１０７２２ｋは、復号画像の輝度（Ｙ）及び色差（Ｕ／Ｖ）と、カテゴリ選択部１０７４ｋから出力されるクラス情報と、フィルタ処理部１０７１ｋから出力されるＤＬ画像１～ＤＬ画像ｎを参照し、フィルタ後画像を出力する。

　このように、ループフィルタ１０７ｋでは、復号画像の輝度（Ｙ）と色差（Ｕ／Ｖ）とが異なるチャネルにおいて入力される。従来では、輝度（Ｙ）と色差（Ｕ／Ｖ）との解像度が異なっていたため、輝度（Ｙ）と色差（Ｕ／Ｖ）とをインターリーブすると、色差（Ｕ／Ｖ）の解像度を輝度（Ｙ）に合わせて大きくする必要があり、演算量が多くなっていた。一方、ループフィルタ１０７ｋでは、輝度（Ｙ）と色差（Ｕ／Ｖ）とが別れており、また、色差の（Ｕ）と（Ｖ）とは同じ解像度であるため、インターリーブにおいて演算量が少なくなる。また、ループフィルタ１０７ｋは、輝度（Ｙ）の処理と色差（Ｕ／Ｖ）の処理とを並列に行うことができ、効率が良くなる。また、ループフィルタ１０７ｋでは、色差処理においてＵとＶの両方の情報を用いた処理が可能であるなど、情報量が増えるので精度も上がる。

　　（第３の実施形態）
　本実施形態に係る画像フィルタ装置の詳細な構成について説明する。図２１は、本実施形態に係る画像フィルタ装置のループフィルタ１０７ｍ及びループフィルタ設定部１１７ｍの構成を示す概略図である。

　ループフィルタ１０７ｍは、フィルタ処理部１０７１ｍおよび上述したＡＬＦ部１０７２を含んで構成される。

　フィルタ処理部１０７１ｍには、復号画像が入力され、ＤＮＮフィルタが施されたＤＬ画像をフィルタ演算部１０７２２及びループフィルタ設定部１１７ｍに出力する。

　ループフィルタ設定部１１７ｍは、上述したフィルタ係数符号化部１１７２及びフィルタＯＮ／ＯＦＦ判定部１１７３に加えて、フィルタ係数予測部１１７５を含んで構成される。

　フィルタ係数予測部１１７５は、後述する基準フィルタ係数、原画像（入力画像）又はＤＬ画像（入力画像に関連する画像）、及び原画像又はＤＬ画像の量子化パラメータＱＰを入力として、フィルタ演算部１０７２２において直接的に用いられるフィルタ係数を出力するニューラルネットワークを備えている。

　（基準フィルタ係数）
　基準フィルタ係数とは、フィルタ係数予測部１１７５がフィルタ係数を生成する際の基準となるものである。例えば、所定の数の画像を用いて生成されたフィルタ係数を基準フィルタ係数とする構成であってもよい。当該構成において算出された基準フィルタ係数は、入力された量子化パラメータＱＰ、及び原画像又はＤＬ画像の特性に必ずしも合うわけではない。そのため、フィルタ係数予測部１１７５のニューラルネットワークにおいてフィルタ係数を生成する必要がある。ニューラルネットワークでは、基準となる基準フィルタ係数を参照してフィルタ係数を生成するため、処理を簡素化することができる。

　また、他の例として、基準フィルタ係数が入力画像単位で予め生成されており、フィルタ係数予測部１１７５は、基準フィルタ係数、所定の単位（例えばブロック単位）の量子化パラメータＱＰ、及び当該入力画像を用いて、所定の単位の特性に合致したニューラルネットワークを用いてフィルタ係数を生成する構成であってもよい。当該構成では、ブロック単位の特性に合致したニューラルネットワークを用いてフィルタ係数が生成されるため、より適切なフィルタ係数を用いることができる。

　（ループフィルタ３０５ｍ）
　本実施形態における、画像復号装置に用いられるループフィルタ３０５ｍの詳細な構成について説明する。図２３は、本実施形態に係る画像フィルタ装置のループフィルタ３０５ｍの構成を示す概略図である。ループフィルタ３０５ｍは、上述したフィルタ処理部３０５１、ＡＬＦ部３０５２ｍ（フィルタ部）、フィルタ係数予測部３０５３を含んで構成される。

　ＡＬＦ部３０５２ｍは、フィルタ演算部３０５２２ｍを含んで構成される。フィルタ演算部３０５２２ｍは、フィルタ前画像、フィルタ処理部３０５１から出力されるＤＬ画像、及びフィルタ係数予測部３０５３から出力されるフィルタ係数を入力とし、フィルタ後画像を出力する。

　フィルタ係数予測部３０５３は、フィルタ前画像、フィルタ前画像の量子化パラメータＱＰ、及び基準フィルタ係数を入力とし、フィルタ係数を出力とするニューラルネットワークを備えている。

　このように、本実施形態に係る画像フィルタ装置では、入力画像に作用するループフィルタ１０７ｍ（ループフィルタ３０５ｍ）と、ループフィルタ１０７ｍが直接的に用いるフィルタ係数を生成するフィルタ係数予測部１１７５（フィルタ係数予測部３０５３）とを備え、フィルタ係数予測部１１７５は、フィルタ係数を出力するニューラルネットワークを含んでいる。そのため、画像フィルタ装置では、ニューラルネットワークがフィルタ係数を生成するため、構成を簡素化することができる。

　（変形例１０）
　本変形例におけるループフィルタ設定部１１７ｎの詳細な構成について説明する。図２２は、本変形例に係る画像フィルタ装置のループフィルタ１０７ｍ及びループフィルタ設定部１１７ｎの構成を示す概略図である。なお、ループフィルタ１０７ｍについては、既に説明しているため、ここでは説明を省略する。

　ループフィルタ設定部１１７ｎは、上述したフィルタ係数生成部１１７１、フィルタ係数符号化部１１７２、フィルタＯＮ／ＯＦＦ判定部１１７３、及びフィルタ係数予測部１１７５に加えて、減算部１１７６を含んで構成される。

　減算部１１７６は、フィルタ係数生成部１１７１によって生成されたフィルタ係数と、フィルタ係数予測部１１７５によって生成されたフィルタ係数の予測値とを減算したフィルタ係数残差を出力する。換言すると、本変形例では、フィルタ係数予測部１１７５が生成したフィルタ係数の予測値は、間接的に用いられるフィルタ係数である。

　（ループフィルタ３０５ｎ）
　本変形例における、画像復号装置に用いられるループフィルタ３０５ｎの詳細な構成について説明する。図２４は、本変形例に係る画像フィルタ装置のループフィルタ３０５ｎの構成を示す概略図である。ループフィルタ３０５ｎは、上述したフィルタ処理部３０５１、ＡＬＦ部３０５２ｍ、フィルタ係数予測部３０５３に加えて、加算部３０５４を含んで構成される。

　加算部３０５４は、フィルタ係数予測部３０５３が生成したフィルタ係数と、画像符号化装置側で生成されたフィルタ係数残差を加算し、フィルタ係数を出力する。

　このように、本変形例に係る画像フィルタ装置では、入力画像に作用するループフィルタ１０７ｎ（ループフィルタ３０５ｎ）と、ループフィルタ１０７ｎが間接的に用いるフィルタ係数の予測値を生成するフィルタ係数予測部１１７５（フィルタ係数予測部３０５３）とを備え、フィルタ係数予測部１１７５は、フィルタ係数を出力するニューラルネットワークを含んでいる。そのため、画像フィルタ装置では、生成したフィルタ係数を直接的にではなく、フィルタ係数残差を符号化するため、符号化効率を向上させることができる。

　また、本変形例に係る画像フィルタ装置では、直接的に用いるフィルタ係数と、間接的に用いるフィルタ係数の予測値とを使い分ける構成であってもよい。

　例えば、イントラ予測画像では、直接的に用いるフィルタ係数を生成し、インター予測画像では、フィルタ係数予測部１１７５は間接的に用いるフィルタ係数の予測値を生成し、フィルタ係数残差を符号化する構成であってもよい。また、直接的に用いるフィルタ係数は、フィルタ係数生成部１１７１において生成されたフィルタ係数であってもよい。換言すると、フィルタ係数生成部１１７１及びフィルタ係数予測部１１７５は、何れもフィルタ係数生成部としての機能を有している。

　なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、ループフィルタ３０５、予測画像生成部３０８、逆量子化・逆変換部３１１、加算部３１２、予測画像生成部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆変換部１０５、ループフィルタ１０７、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、ループフィルタ設定部１１７をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

　また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

　〔応用例〕
　上述した画像符号化装置１１及び画像復号装置３１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。

　まず、上述した画像符号化装置１１及び画像復号装置３１を、動画像の送信及び受信に利用できることを、図２５を参照して説明する。

　図２５の（ａ）は、画像符号化装置１１を搭載した送信装置PROD_Aの構成を示したブロック図である。図２５の（ａ）に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_A1として利用される。

　送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２５の（ａ）においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

　なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

　図２５の（ｂ）は、画像復号装置３１を搭載した受信装置PROD_Bの構成を示したブロック図である。図２５の（ｂ）に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した画像復号装置３１は、この復号部PROD_B3として利用される。

　受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図２５の（ｂ）においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

　なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

　また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

　次に、上述した画像符号化装置１１及び画像復号装置３１を、動画像の記録及び再生に利用できることを、図２６を参照して説明する。

　図２６の（ａ）は、上述した画像符号化装置１１を搭載した記録装置PROD_Cの構成を示したブロック図である。図２６の（ａ）に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_C1として利用される。

　なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

　また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図２６の（ａ）においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

　なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

　このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。

　図２６の（ｂ）は、上述した画像復号装置３１を搭載した再生装置PROD_Dの構成を示したブロックである。図２６の（ｂ）に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した画像復号装置３１は、この復号部PROD_D2として利用される。

　なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

　また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図２６の（ｂ）においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

　なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

　このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

　　（ハードウェア的実現およびソフトウェア的実現）
　また、上述した画像復号装置３１および画像符号化装置１１の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（RandomAccess Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　〔まとめ〕
　本発明の態様１に係る画像フィルタ装置（ループフィルタ１０７及びループフィルタ設定部１１７、ループフィルタ１０７ａ～ループフィルタ１０７ｈ、ループフィルタ３０５）は、入力画像（フィルタ前画像、復号画像）に作用する画像フィルタ装置において、前記入力画像に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部（１０７１、１０７１ｂ～１０７１ｈ、３０５１）と、前記１又は複数のフィルタ処理部のうち第１のフィルタ処理部によってフィルタを施された画像（ＤＬ画像）が入力されるＡＬＦ部（１０７２、１０７２ａ～１０７２ｈ、３０５２）と、を備え、前記ＡＬＦ部には、更に、前記入力画像、及び、前記１又は複数のフィルタ処理部のうち、第１のフィルタ処理部とは異なる第２のフィルタ処理部によりフィルタを施された画像の少なくとも何れかが入力される。

　上記の構成によれば、画像フィルタ装置は、画質の向上したフィルタ後画像を出力することができる。

　本発明の態様２に係る画像フィルタ装置において、上記態様１における前記１又は複数のフィルタ処理部には、前記入力画像に関連する量子化パラメータ（ＱＰ）が更に入力されてもよい。

　上記の構成によれば、画像フィルタ装置は、画質のさらに向上したフィルタ後画像を出力することができる。

　本発明の態様３に係る画像フィルタ装置において、上記態様１または２における前記ニューラルネットワークは、それぞれにおいてフィルタが施される複数の層（１０７３１、１０７３２、１０７３３、１０７３４）を含み、前記ＡＬＦ部には、前記複数の層の全てにおいてフィルタを施された画像（ＤＬ画像ｄ）と、前記複数の層のうち１又は複数の層においてフィルタを施された１又は複数の画像（ＤＬ画像ａ、ＤＬ画像ｂ、ＤＬ画像ｃ）とが入力されてもよい。

　本発明の態様４に係る画像フィルタ装置（ループフィルタ１０７ｉ～ループフィルタ１０７ｋ）は、クラス情報を参照して、フィルタ係数を所定の単位毎に切り替えつつ入力画像に作用するフィルタ部（ＡＬＦ部１０７２ｉ～ＡＬＦ部１０７２ｋ）と、前記クラス情報を生成するクラス選択部（カテゴリ選択部１０７４、カテゴリ選択部１０７４ｋ）と、を備え、前記クラス選択部は、前記入力画像と、当該入力画像に関連する量子化パラメータとを入力とし、前記クラス情報を出力とするニューラルネットワークを含んでいる。

　上記の構成によれば、画像フィルタ装置は、構成を簡素化することができる。

　本発明の態様５に係る画像フィルタ装置は、上記態様４において、前記入力画像に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部（１０７１ｂ）を更に備え、前記フィルタ部には、前記１又は複数のフィルタ処理部によってフィルタを施された画像が更に入力されてもよい。

　本発明の態様６に係る画像フィルタ装置は、上記態様４または５において、上記入力画像の輝度を示す情報（Ｙ）と色を示す情報（Ｕ／Ｖ）とが異なるチャネルにおいて入力されてもよい。

　上記の構成によれば、画像フィルタ装置は、演算量を少なくすることができる。

　本発明の態様７に係る画像フィルタ装置（ループフィルタ１０７ｍとループフィルタ設定部１１７ｍ又はループフィルタ設定部１１７ｎ、ループフィルタ３０５ｍ、ループフィルタ３０５ｎ）は、入力画像に作用するフィルタ部（ＡＬＦ部１０７２、フィルタ処理部３０５１）と、前記フィルタ部が直接的又は間接的に用いるフィルタ係数を生成するフィルタ係数生成部（１１７５、３０５３、フィルタ係数生成部１１７１）と、を備え、前記フィルタ係数生成部は、前記フィルタ係数を出力するニューラルネットワークを含んでいる。

　本発明の態様８に係る画像フィルタ装置において、上記態様７における前記ニューラルネットワークには、前記入力画像、又は、前記入力画像に関連する画像、フィルタ係数生成の基準となる基準フィルタ係数、及び、前記入力画像又は前記入力画像に関連する画像の量子化パラメータが入力されてもよい。

　本発明の態様９に係る画像フィルタ装置において、上記態様８における前記フィルタ係数生成部は、イントラ予測を用いる画像では、直接的に用いるフィルタ係数を生成し、インター予測を用いる画像では、間接的に用いるフィルタ係数を生成してもよい。

　本発明の態様１０に係る画像フィルタ装置において、上記態様８又は９における前記基準フィルタ係数は、所定の数の画像を用いて生成されたフィルタ係数であってもよい。

　上記の構成によれば、画像フィルタ装置は、処理を簡素化することができる。

　本発明の態様１１に係る画像フィルタ装置において、上記態様８又は９における前記基準フィルタ係数は、入力画像単位で予め生成されており、前記フィルタ係数生成部は、前記基準フィルタ係数、所定の単位の量子化パラメータ、及び当該入力画像とを用いて、当該所定の単位の特性に合致したニューラルネットワークを用いてフィルタ係数を生成してもよい。

　本発明の態様１２に係る画像復号装置は、復号画像に作用させるフィルタとして上記態様１～１１の何れかに記載の画像フィルタ装置を備える。

　上記の構成によれば、上記態様1～１１と同様の効果を奏する画像復号装置を実現できる。

　本発明の態様１３に係る画像符号化装置は、入力画像に作用させるフィルタとして請求項１～１１の何れか１項に記載の画像フィルタ装置を備える。

　上記の構成によれば、上記態様1～１１と同様の効果を奏する画像符号化装置を実現できる。

　本発明の実施形態は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。

　（関連出願の相互参照）
　本出願は、2018年3月23日に出願された日本国特許出願：特願2018-057181に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

　１０７　　ループフィルタ
　１０７１　フィルタ処理部
　１０７２　ＡＬＦ部
　１０７４　カテゴリ選択部
　１１７１　フィルタ係数生成部
　１１７５　フィルタ係数予測部
　１１７　　ループフィルタ設定部
　３０５　　ループフィルタ
　３０５１　フィルタ処理部
　３０５２　ＡＬＦ部
　３０５３　フィルタ係数予測部

Claims

　入力画像に作用する画像フィルタ装置において、
　前記入力画像に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部と、
　前記１又は複数のフィルタ処理部のうち第１のフィルタ処理部によってフィルタを施された画像が入力されるＡＬＦ部と、を備え、
　前記ＡＬＦ部には、更に、
　　前記入力画像、及び、前記１又は複数のフィルタ処理部のうち、第１のフィルタ処理部とは異なる第２のフィルタ処理部によりフィルタを施された画像の少なくとも何れかが入力される
ことを特徴とする画像フィルタ装置。
　前記１又は複数のフィルタ処理部には、前記入力画像に関連する量子化パラメータが更に入力される
ことを特徴とする請求項１に記載の画像フィルタ装置。
　前記ニューラルネットワークは、それぞれにおいてフィルタが施される複数の層を含み、
　前記ＡＬＦ部には、
　　前記複数の層の全てにおいてフィルタを施された画像と、前記複数の層のうち１又は複数の層においてフィルタを施された１又は複数の画像とが入力される
ことを特徴とする請求項１又は２に記載の画像フィルタ装置。
　クラス情報を参照して、フィルタ係数を所定の単位毎に切り替えつつ入力画像に作用するフィルタ部と、
　前記クラス情報を生成するクラス選択部と、を備え、
　前記クラス選択部は、
　　前記入力画像と、当該入力画像に関連する量子化パラメータとを入力とし、前記クラス情報を出力とするニューラルネットワークを含んでいる
ことを特徴とする画像フィルタ装置。
　前記入力画像に対してフィルタを施すニューラルネットワークを備える１又は複数のフィルタ処理部を更に備え、
　前記フィルタ部には、前記１又は複数のフィルタ処理部によってフィルタを施された画像が更に入力される
ことを特徴とする請求項４に記載の画像フィルタ装置。
　上記入力画像の輝度を示す情報と色を示す情報とが異なるチャネルにおいて入力されることを特徴とする請求項４または５に記載の画像フィルタ装置。
　入力画像に作用するフィルタ部と、
　前記フィルタ部が直接的又は間接的に用いるフィルタ係数を生成するフィルタ係数生成部と、を備え、
　前記フィルタ係数生成部は、前記フィルタ係数を出力するニューラルネットワークを含んでいる
ことを特徴とする画像フィルタ装置。
　前記ニューラルネットワークには、
　　前記入力画像、又は、前記入力画像に関連する画像、
　　フィルタ係数を生成する基準となる基準フィルタ係数、及び、
　　前記入力画像又は前記入力画像に関連する画像の量子化パラメータ
が入力される
ことを特徴とする請求項７に記載の画像フィルタ装置。
　前記フィルタ係数生成部は、
　　イントラ予測を用いる画像では、直接的に用いるフィルタ係数を生成し、
　　インター予測を用いる画像では、間接的に用いるフィルタ係数を生成する
ことを特徴とする請求項８に記載の画像フィルタ装置。
　前記基準フィルタ係数は、所定の数の画像を用いて生成されたフィルタ係数である
ことを特徴とする請求項８又は９に記載の画像フィルタ装置。
　前記基準フィルタ係数は、入力画像単位で予め生成されており、
　前記フィルタ係数生成部は、前記基準フィルタ係数、所定の単位の量子化パラメータ、及び当該入力画像とを用いて、当該所定の単位の特性に合致したニューラルネットワークを用いてフィルタ係数を生成する
ことを特徴とする請求項８又は９に記載の画像フィルタ装置。
　画像を復号する画像復号装置であって、復号画像に作用させるフィルタとして請求項１～１１の何れか１項に記載の画像フィルタ装置を備えた画像復号装置。
　画像を符号化する画像符号化装置であって、入力画像に作用させるフィルタとして請求項１～１１の何れか１項に記載の画像フィルタ装置を備えた画像符号化装置。