WO2012008506A1

WO2012008506A1 - 画像フィルタ装置、復号装置、動画像復号装置、符号化装置、動画像符号化装置、および、データ構造

Info

Publication number: WO2012008506A1
Application number: PCT/JP2011/066020
Authority: WO
Inventors: 知宏猪飼; 嘉浩北浦
Original assignee: シャープ株式会社
Priority date: 2010-07-15
Filing date: 2011-07-13
Publication date: 2012-01-19

Abstract

　ループフィルタ（１６）は、複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される入力画像を選択するフィルタ制御部（１６１）と、フィルタ制御部（１６１）によって選択された入力画像に対して、当該入力画像について定められたフィルタ係数群を用いたフィルタを作用させることによって出力画像を生成する適応フィルタ部（１６３）と、を備えている。

Description

画像フィルタ装置、復号装置、動画像復号装置、符号化装置、動画像符号化装置、および、データ構造

　本発明は、画像のフィルタリングを行う画像フィルタ装置に関する。また、そのような画像フィルタを備えている符号化装置、動画像符号化装置、復号装置、及び動画像復号装置に関する。また、そのような復号装置によって復号される符号化データのデータ構造に関する。

　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（復号装置）が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ（非特許文献１）、および、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式などが挙げられる。

　このような符号化方式において、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（マクロブロックまたはコーディングユニット（Coding Unit）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化される。

　また、このような符号化方式においては、通常、入力画像を符号化／復号化することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分画像（「残差画像」または「予測残差」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）と呼ばれる方法が知られている。

　イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。イントラ予測においては、例えば、予測単位（例えば、パーティション）毎に、予め定められた予測方向（予測モード）群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、予測対象領域上の予測画素値が生成される。

　一方で、インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位毎に生成される。

　また、復号画像若しくは復号画像に対してブロックノイズ低減処理を施して得られる画像を入力画像とし、該入力画像に対して、最適化されたフィルタ係数を用いたフィルタ処理を施すことによって、ノイズが低減された復号画像（ノイズ低減済復号画像）を生成する適応的ループフィルタ（Adaptive Loop Filter）（以下単に「適応フィルタ」とも呼ぶ）と呼ばれる技術も知られており、インター予測においては、当該適応フィルタが出力するノイズ低減済復号画像を参照画像として予測画像を生成することもできる。ここで、上記フィルタ係数群は、符号化装置にて、例えば、スライス毎に、ノイズ低減済復号画像と符号化対象画像との誤差を最小にするように最適化されたものであり、符号化データの一部として復号装置に伝送される。以下では、上記のような適応フィルタを一入力型の適応フィルタとも呼ぶことにする。

　非特許文献２には、入力画像を復号画像のみとするのではなく、復号画像、予測残差、及び、予測画像を入力画像とし、当該複数の入力画像の全てに作用することによってノイズ低減済復号画像を生成する多入力型の適応フィルタが開示されている。

　非特許文献２に開示された適応フィルタは、複数の入力画像の全てに作用するため、最適化の対象であるフィルタ係数の数が、復号画像のみを入力画像とする構成に比べて増大する。したがって、非特許文献２に開示された適応フィルタにより生成されたノイズ低減済復号画像は、復号画像のみを入力画像とする適応フィルタにより生成されたものに比べて、符号化対象画像との誤差がより小さくなるという傾向があるため、予測精度の向上および符号化効率の向上を図ることができる。

「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009（２００９年３月公開）「JCTVC-A114」,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,1st Meeting:Dresden,DE,04/2010（２０１０年４月公開）

　しかしながら、非特許文献２に開示された多入力型の適応フィルタは、複数の入力画像の全てに作用するため、フィルタ処理に要する時間が増大するという問題を有している。一方で、上述した一入力型の適応フィルタは、１つの入力画像に作用するため、フィルタ処理の処理量は、多入力型の適応フィルタに比べて小さいが、符号化効率は、多入力型の適応フィルタに比べて低くなるという問題点がある。

　本発明は、上記の問題に鑑みて発明者によって得られた知見に基づいてなされたものであり、その目的は、利用可能な入力画像が複数存在する場合に、高い符号化効率を維持しつつ、フィルタ処理に必要な処理量を低減することのできる画像フィルタ装置、並びに、そのような画像フィルタ装置を備える復号装置および符号化装置を実現することにある。

　発明者は、上記の問題に鑑み、符号化対象画像の特性如何によっては、複数の入力画像の全てに作用するのではなく、複数の入力画像の一部に作用することによって、高い符号化効率を維持しつつ、フィルタ処理の処理量を効果的に削減することができるとの知見を得た。

　上記の問題を解決するために、本発明に係る画像フィルタ装置は、一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置であって、入力画像として利用可能な複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される一または複数の入力画像を選択する選択手段と、上記選択手段によって選択された一または複数の入力画像に対して、当該一または複数の入力画像について定められたフィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するフィルタ手段と、を備えていることを特徴としている。

　上記のように構成された本発明に係る画像フィルタ装置は、入力画像として利用可能な複数の入力画像候補のうち、上記入力画像指定情報によって指定される入力画像を選択し、選択された入力画像に対してフィルタ処理を行う。ここで、上記入力画像指定情報は、上記複数の入力画像候補に関連付けられているため、入力画像候補のセット毎に、上記フィルタ手段の作用する入力画像の組み合わせを指定することができる。

　したがって、上記の構成によれば、常に複数の入力画像候補の全てにフィルタを作用させる構成に比べて、フィルタ処理の処理量を低減させることができるという効果を奏する。また、フィルタ処理に用いられるフィルタ係数群は、上記一または複数の入力画像について定められたものであるため、高い符号化効率を維持することができるという効果を奏する。

　なお、上記画像フィルタ装置を符号化装置および復号装置の一部として実現する場合には、入力画像候補の組み合わせ、および、フィルタ処理に用いられるフィルタ係数群として、符号化対象画像と上記画像フィルタ装置の生成する出力画像との相違を最小化するように定められたものを用いる構成とすることができる。このような入力画像指定情報を参照して上記画像フィルタ装置によって生成された出力画像を参照画像として用いることにより、符号化装置および復号装置は、予測精度の高い予測画像を生成することができるので、高い符号化効率を維持しつつ、フィルタ処理の処理量を削減することができる。

　本発明に係る復号装置は、符号化データを復号し、出力画像を生成する復号装置であって、上記画像フィルタ装置と、予測画像を生成する予測画像生成手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像に符号化データから復号された残差画像を加算することによって得られる復号画像、および、該復号画像にノイズ低減処理を施すことによって得られるノイズ低減済復号画像のうち、上記符号化データから復号された入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって出力画像を生成する、ことを特徴としている。

　上記のように構成された復号装置の備える画像フィルタ装置は、上記復号画像、および、上記ノイズ低減済復号画像のうち、上記符号化データから復号された入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって、出力画像を生成する。また、上記画像フィルタ装置は、上記入力画像について定められたフィルタ係数を用いてフィルタ処理を行うので、符号化対象画像との相違の小さい出力画像を生成することにより、高い符号化効率を維持することができるという効果を奏する。

　さらに、上記フィルタ装置が、上記復号画像および上記ノイズ低減済復号画像の双方を入力画像とし、該入力画像に作用する場合には、出力画像に対する上記復号画像の寄与する割合、および、出力画像に対する上記ノイズ低減済復号画像が寄与する割合が定められたフィルタ係数群を用いて出力画像が生成されるので、復号画像に対して強すぎるノイズ低減処理や弱すぎるノイズ低減処理が施されることによってノイズ低減済復号画像が生成されているような場合であっても、そのような影響を受けることなく、適切な出力画像を生成することができるという効果を奏する。

　また、上記の構成と同様の構成を有する符号化装置は、符号化対象画像との相違の小さい出力画像を参照して、予測画像を生成することができるので、符号化効率の高い符号化データを生成することができる。また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができるという効果を奏する。

　また、上記のように構成された復号装置によれば、常に上記復号画像および上記ノイズ低減済復号画像の双方にフィルタ処理を行う構成に比べて、フィルタ処理に必要な処理量を低減することができるという効果を奏する。

　なお、上記ノイズ低減済復号画像としては、上記復号画像に対して非線形デノイジング処理、および、ブロックノイズを低減するデブロッキング処理の何れか一方若しくは双方の処理を行ったものを用いることができる。

　本発明に係る符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記画像フィルタ装置と、予測画像を生成する予測画像生成手段と、入力画像として利用可能な複数の入力画像候補のうち上記画像フィルタ装置が作用する一または複数の入力画像候補を指定する入力画像指定情報を生成する入力画像指定情報生成手段と、符号化対象画像と上記予測画像生成手段によって生成された予測画像との残差画像と共に、上記入力画像指定情報生成手段によって生成された入力画像指定情報を、該残差画像に関連付けて符号化する符号化手段と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像に上記残差画像を加算することによって得られる復号画像、および、該復号画像にノイズ低減処理を施すことによって得られるノイズ低減済復号画像のうち、上記入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって出力画像を生成するものであり、上記予測画像生成手段は、上記復号画像または上記出力画像を参照して予測画像を生成するものである、ことを特徴としている。

　上記のように構成された符号化装置の備える画像フィルタ装置は、上記復号画像、および、上記ノイズ低減済復号画像のうち、上記入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって、出力画像を生成する。また、上記画像フィルタ装置は、上記入力画像について定められたフィルタ係数を用いてフィルタ処理を行うので、符号化対象画像との相違の小さい出力画像を生成することにより、高い符号化効率を維持することができるという効果を奏する。

　さらに、上記フィルタ装置が、上記復号画像および上記ノイズ低減済復号画像の双方を入力画像とし、該入力画像に作用する場合には、出力画像に対する上記復号画像の寄与する割合、および、出力画像に対する上記ノイズ低減済復号画像が寄与する割合が最適化されたフィルタ係数群を用いて出力画像が生成されるので、復号画像に対して強すぎるノイズ低減処理や弱すぎるノイズ低減処理が施されることによってノイズ低減済復号画像が生成されているような場合であっても、そのような影響を受けることなく、適切な出力画像を生成することができるという効果を奏する。

　また、上記の構成を有する符号化装置は、符号化対象画像との相違の小さい出力画像を参照して、予測画像を生成することができるので、符号化効率の高い符号化データを生成することができる。

　また、上記のように構成された符号化装置によれば、常に上記復号画像および上記ノイズ低減済復号画像の双方にフィルタ処理を行う構成に比べて、フィルタ処理に必要な処理量を低減することができるという効果を奏する。

　また、上記ノイズ低減済復号画像としては、上記復号画像に対して非線形デノイジング処理、および、ブロックノイズを低減するデブロッキング処理の何れか一方若しくは双方の処理を行ったものを用いることができる。

　本発明に係る符号化データのデータ構造は、一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置を備える復号装置が参照する符号化データのデータ構造であって、符号化対象画像と予測画像との残差画像を示す残差データと、上記画像フィルタ装置が作用する一または複数の入力画像を指定する入力画像指定情報と、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群であって、上記１または複数の入力画像の各々についてのフィルタ係数群と、を含み、上記画像フィルタ装置は、入力画像として利用可能な複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される一または複数の入力画像を選択し、選択された一または複数の入力画像に対して上記フィルタ係数群を用いたフィルタを作用させることによって出力画像を生成する、ことを特徴としている。

　上記のように構成された符号化データを復号する復号装置の備える画像フィルタ装置は、入力画像として利用可能な複数の入力画像候補のうち、上記入力画像指定情報によって指定される入力画像を選択し、選択された入力画像に対してフィルタ処理を行う。ここで、上記入力画像指定情報は、上記複数の入力画像候補に関連付けられているため、入力画像候補のセット毎に、上記フィルタ手段の作用する入力画像の組み合わせを指定することができる。

　なお、入力画像候補の組み合わせ、および、フィルタ処理に用いられるフィルタ係数群として、符号化対象画像と上記画像フィルタ装置の生成する出力画像との相違をより小さくするように定められたものを用いる構成とすることができる。このような入力画像指定情報を参照して上記画像フィルタ装置によって生成された出力画像を参照画像として用いることにより、復号装置は、予測精度の高い予測画像を生成することができるので、高い符号化効率を維持しつつ、フィルタ処理の処理量を削減することができる。

　また、本発明に係る復号装置は、符号化対象画像と予測画像との残差画像を符号化することによって得られた符号化データを復号し、出力画像を生成する復号装置であって、予測画像を生成する予測画像生成手段と、一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置と、を備え、上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像、上記符号化データを復号することによって得られる残差画像、該予測画像と該残差画像とを加算して得られる復号画像、および、該復号画像にノイズ低減処理を施すことによって得られるノイズ低減済復号画像から選択された一または複数の入力画像に対して、フィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するものであり、上記入力画像の組み合わせ、および、上記フィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、特徴としている。

　上記のように構成された復号装置の備える画像フィルタ装置は、上記予測画像、上記残差画像、上記復号画像、および、上記ノイズ低減済復号画像から選択された一または複数の入力画像に対して、フィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するものであり、上記入力画像の組み合わせ、および、上記フィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものであるため、高い符号化効率を維持しつつ、フィルタ処理に必要な処理量を低減することができる。

　また、発明者は、上記の問題に鑑み、複数種別の信号を入力が可能な適応フィルタで用いられるフィルタ係数に関する効率的な予測方法に関する知見を得た。

　上記の問題を解決するために、本発明に係る動画像復号装置は、複数種別の信号を入力可能な適応フィルタと、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする。

　上記のように構成された本発明に係る動画像復号装置は、入力画像として複数種別の信号が存在する場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。

　また、本発明に係る動画像符号化装置は、複数種別の信号を入力可能な適応フィルタと、予測対象以外のフィルタ係数を用いて前記予測対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像符号化装置であって、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴としている。

　上記のように構成された本発明に係る動画像符号化装置は、入力画像として複数種別の信号が存在する場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。

　また、本発明に係る符号化データのデータ構造は、少なくともオフセットを含む適応フィルタ情報を含む符号化データのデータ構造であって、前記符号化データ中に符号化されたオフセットが、前記オフセット以外のフィルタ係数から算出された重み係数和を用いて予測された差分値であることを特徴としている。

　上記のように構成された本発明に係る符号化データは、オフセットが精度よく予測された差分値として符号化されている。そのため、フィルタ係数の符号量を低減された符号化データとなる。

　また、本発明に係る符号化データのデータ構造は、復号画像にかかるフィルタ係数とＮＲＦ後画像にかかるフィルタ係数とを含むフィルタ係数セットを含む適応フィルタ情報を含む符号化データのデータ構造であって、少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴としている。

　上記のように構成された本発明に係る符号化データは、最も大きな値となることが多いＮＲＦ後画像の中心要素にかかるフィルタ係数が精度よく予測された差分値として符号化されている。そのため、フィルタ係数の符号量を低減された符号化データとなる。

　また、本発明に係る符号化データのデータ構造は、予測画像にかかるフィルタ係数と残差画像にかかるフィルタ係数とＮＲＦ後画像にかかるフィルタ係数とを含むフィルタ係数セットを含む適応フィルタ情報を含む符号化データのデータ構造であって、少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴としている。

　以上のように、本発明に係る画像フィルタ装置は、一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置であって、入力画像として利用可能な複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される一または複数の入力画像を選択する選択手段と、上記選択手段によって選択された一または複数の入力画像に対して、当該一または複数の入力画像について定められたフィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するフィルタ手段と、を備えている。

　上記のように構成された画像フィルタ装置によれば、高い符号化効率を維持しつつ、フィルタ処理に必要な処理量を低減することができる。

　また、本発明に係る動画像復号装置は、複数種別の信号を入力可能な適応フィルタと、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えている。

　また、本発明に係る動画像符号化装置は、複数種別の信号を入力可能な適応フィルタと、予測対象以外のフィルタ係数を用いて前記予測対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像符号化装置であって、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えている。

　以上のように、本発明に係る動画像符号化装置および動画像復号装置は、入力画像として複数種別の信号が存在可能な場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。そのため、符号化効率を高めることができる。

本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図である。第１の実施形態に係る動画像符号化装置によって生成され、第１の実施形態に係る動画像復号装置によって参照される符号化データのデータ構造を示すものであって、（ａ）は、符号化データのピクチャレイヤの構成を示す図であり、（ｂ）は、ピクチャレイヤに含まれるスライスレイヤの構成を示す図であり、（ｃ）は、スライスレイヤに含まれるＬＣＵレイヤの構成を示す図であり、（ｄ）は、ＬＣＵレイヤに含まれるＬＣＵヘッダの構成を示す図であり、（ｅ）は、ＬＣＵレイヤに含まれる予測パラメータのうち、インター予測パーティションに関する予測パラメータの構成を示す図であり、（ｆ）は、ＬＣＵレイヤに含まれる予測パラメータのうち、イントラ予測パーティションに関する予測パラメータの構成を示す図であり、（ｇ）は、スライスヘッダに含まれるフィルタパラメータの構成を示す図である。第１の実施形態に係る動画像符号化装置によって生成され、第１の実施形態に係る動画像復号装置によって参照される符号化データに含まれるフィルタパラメータの第１の構成例を示す図である。第１の実施形態に係る動画像復号装置の備えるループフィルタによる処理を説明するためのものであって、フィルタパラメータの第１の構成例に含まれるループフィルタモードの値と、ループフィルタの備える各部のオンオフ、入力画像の数および入力画像の種類との対応を示す表である。フィルタパラメータ中のフィルタ係数群に含まれる各フィルタ係数の符号化データ中の１次元構成、および、フィルタ参照領域への割り付けの態様を示すものであり、（ａ）は、フィルタ係数の個数が１個である場合の符号化データ中の１次元構成を示す図であり、（ｂ）は、フィルタ係数の個数が５個である場合の符号化データ中の１次元構成を示す図であり、（ｃ）は、フィルタ係数の個数が１３個である場合の符号化データ中の１次元構成を示す図であり、（ｄ）は、フィルタ係数の個数が１個である場合のフィルタ参照領域への割り付けの態様を示す図であり、（ｅ）は、フィルタ係数の個数が５個である場合のフィルタ参照領域への割り付けの態様を示す図であり、（ｆ）は、フィルタ係数の個数が１３個である場合のフィルタ参照領域への割り付けの態様を示す図である。第１の実施形態に係る動画像復号装置によって参照される符号化データに含まれるフィルタパラメータの第２の構成例を示す図である。第１の実施形態に係る動画像復号装置の備えるループフィルタによる処理を説明するためのものであって、フィルタパラメータの第２の構成例に含まれる各種のフラグと、ループフィルタの備える適応フィルタ部への入力画像数および入力画像の種類との対応を示す表である。本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。本発明の第２の実施形態に係る動画像復号装置の構成を示すブロック図である。第２の実施形態に係る動画像復号装置によって参照される符号化データに含まれるフィルタパラメータの第１の構成例を示す図である。第２の実施形態に係る動画像復号装置の備えるループフィルタによる処理を説明するためのものであって、フィルタパラメータの第１の構成例に含まれるループフィルタモードの値と、ループフィルタの備える各部のオンオフ、入力画像の数および入力画像の種類との対応を示す表である。第２の実施形態に係る動画像復号装置によって参照される符号化データに含まれるフィルタパラメータの第２の構成例を示す図である。第２の実施形態に係る動画像復号装置の備えるループフィルタによる処理を説明するためのものであって、フィルタパラメータの第２の構成例に含まれる各種のフラグと、ループフィルタの備える適応フィルタ部への入力画像数および入力画像の種類との対応を示す表である。本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。本発明の第３の実施形態に係る動画像復号装置の構成を示すブロック図である。第３の実施形態に係る動画像復号装置によって参照される符号化データに含まれるフィルタパラメータの第１の構成例を示す図である。第３の実施形態に係る動画像復号装置の備えるループフィルタによる処理を説明するためのものであって、フィルタパラメータの第１の構成例に含まれるループフィルタモードの値と、ループフィルタの備える各部のオンオフ、入力画像の数および入力画像の種類との対応を示す表である。第３の実施形態に係る動画像復号装置によって参照される符号化データに含まれるフィルタパラメータの第２の構成例を示す図である。第３の実施形態に係る動画像復号装置の備えるループフィルタによる処理を説明するためのものであって、フィルタパラメータの第２の構成例に含まれる各種のフラグと、ループフィルタの備える適応フィルタ部への入力画像数および入力画像の種類との対応を示す表である。本発明の第３の実施形態に係る動画像符号化装置の構成を示すブロック図である。本発明の実施形態に係る動画像符号化装置および動画像復号装置の備えるノイズ除去フィルタ部によるブロックノイズ低減処理を説明するためのものであって、ブロック境界近傍の各画素および各画素値を示す図である。本発明の実施形態に係る動画像符号化装置および動画像復号装置の備えるノイズ除去フィルタ部の第１の構成例を示すブロック図である。本発明の実施形態に係る動画像符号化装置および動画像復号装置の備えるノイズ除去フィルタ部を説明するためのものであって、（ａ）は、ノイズ除去フィルタ部の第２の構成例を示すブロック図であり、（ｂ）は、ノイズ除去フィルタ部の処理において参照する画素を示す図である。本発明の実施形態に係る動画像符号化装置および動画像復号装置の備えるノイズ除去フィルタ部を説明するためのものであって、（ａ）は、ノイズ除去フィルタ部の第３の構成例を示すブロック図であり、（ｂ）は、ノイズ除去フィルタ部の処理において参照する画素を示す図である。本発明の実施形態に係る動画像符号化装置および動画像復号装置の備えるノイズ除去フィルタ部を説明するためのものであって、（ａ）は、ノイズ除去フィルタ部の第４の構成例が参照する画素を示す図であり、（ｂ）は、ノイズ除去フィルタ部の第４の構成例による処理に用いられるパラメータβおよびｔ_cと量子化パラメータｑｐとの対応を示す表である。本発明の実施形態に係る動画像復号装置７のブロック図である。本発明の実施形態に係る動画像符号化装置８のブロック図である。本発明の実施形態に係るフィルタ係数予測復号部２０１のブロック図である。本発明の実施形態に係るフィルタセット内フィルタ係数予測部２０２のブロック図である。本発明の実施形態に係る寄与率算出部１５０５のブロック図である。本発明の実施形態に係る種別寄与率を示す図である。本発明の実施形態に係るフィルタ係数予測復号部２０１´のブロック図である。本発明の実施形態に係るフィルタセット間フィルタ係数予測部２０３のブロック図である。本発明の実施形態に係るループフィルタ部１２０のブロック図である。本発明の実施形態に係るＮＲＦ部３０１のブロック図である。本発明の実施形態に係る境界を説明するための図である。本発明の実施形態に係る適応フィルタ部３０２を説明するための図である。本発明の実施形態に係るフィルタ係数予測符号化部２１１のブロック図である。本発明の実施形態に係るフィルタ係数予測符号化部２１１´のブロック図である。本発明の実施形態に係る動画像復号装置７´のブロック図である。本発明の実施形態に係る動画像符号化装置８´のブロック図である。本発明の実施形態に係る重み係数の構成を示す図である。本発明の実施形態に係る動画像復号装置７および動画像符号化装置８が扱う符号化データの構造を示す図である。本発明の実施形態に係る動画像復号装置７´および動画像符号化装置８´が扱う符号化データの構造を示す図である。本発明の実施形態に係る動画像復号装置７および動画像符号化装置８が扱うフィルタセットの具体例を示す図である。本発明の実施形態に係る動画像復号装置７´および動画像符号化装置８´が扱うフィルタセットの具体例を示す図である。本発明の実施形態に係る適応フィルタ部３０２´を説明するための図である。

　〔実施形態１〕
　以下では、本発明の第１の実施形態について説明する。

　（符号化データ＃１の構成）
　本実施形態に係る動画像復号装置１の説明に先立ち、本実施形態に係る動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成について、図２を参照して説明する。符号化データ＃１は、シーケンスレイヤ、ＧＯＰ（Group Of Pictures）レイヤ、ピクチャレイヤ、スライスレイヤ、及び、最大符号化単位（LCU:Largest Coding Unit）レイヤからなる階層構造を有している。

　符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図２に示す。図２（ａ）～（ｇ）は、それぞれ、ピクチャレイヤＰ、スライスレイヤＳ、ＬＣＵレイヤＬＣＵ、ＬＣＵヘッダＬＣＵＨ、インター予測（画面間予測）パーティションの予測パラメータＰＰ、イントラ予測（画面内予測）パーティションの予測パラメータＰＰ、フィルタパラメータＦＰの構造を示す図である。

　（ピクチャレイヤ）
　ピクチャレイヤＰは、対象ピクチャを復号するために動画像復号装置１が参照するデータの集合である。ピクチャレイヤＰは、図２（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスレイヤＳ1～ＳNsを含んでいる（ＮsはピクチャレイヤＰに含まれるスライスレイヤの総数）。

　ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entoropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。

　（スライスレイヤ）
　ピクチャレイヤＰに含まれる各スライスレイヤＳは、対象スライスを復号するために動画像復号装置１が参照するデータの集合である。スライスレイヤＳは、図２（ｂ）に示すように、スライスヘッダＳＨ、及び、ＬＣＵレイヤＬＣＵ1～ＬＣＵNc（ＮcはスライスＳに含まれるＬＣＵの総数）を含んでいる。

　スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。また、動画像符号化装置２および動画像復号装置１がループフィルタを備える場合には、スライスヘッダＳＨには、当該ループフィルタによって用いられるフィルタパラメータＦＰが含まれる。

　なお、スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

　（ＬＣＵレイヤ）
　スライスレイヤＳに含まれる各ＬＣＵレイヤＬＣＵは、対象ＬＣＵを復号するために動画像復号装置１が参照するデータの集合である。各ＬＣＵは、複数の符号化単位（CU:Coding Unit）に４分木分割される。各ＣＵのサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、ＬＣＵのサイズおよび階層深度（hierarchial depth）によって定められる。

　例えば、ＬＣＵのサイズが１２８×１２８画素であって、最大階層深度が５である場合には、当該ＬＣＵに含まれるＣＵは、５種類のサイズ、すなわち、１２８×１２８画素、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

　（予測単位（ＰＵ）について）
　それ以上分割することができないＣＵ（ＣＵのリーフ）は予測単位（PU:Prediction Unit）として取り扱われる。各ＰＵについて、予測タイプ、および、パーティションへの分割（PU Splitting）が規定され、予測画像は、パーティション毎に生成される。また、予測タイプとしては、イントラ予測およびインター予測の何れか一方が選択可能であり、各ＰＵのパーティションへの分割は、当該ＰＵについて選択された予測タイプに応じて定められる。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

　イントラＰＵは、２Ｎ×２Ｎ画素、および、Ｎ×Ｎ画素の２種類のパーティションに分割することが可能である。一方で、インターＰＵは、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）により、合計８種類のパーティションに分割することが可能である。ここで、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。

　例えば、１２８×１２８画素のＣＵは、１２８×１２８画素、および、６４×６４画素のイントラ予測パーティションへ分割することが可能であると共に、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインター予測パーティションへ分割することも可能である。

　（変換単位（ＴＵ）について）
　また、それ以上分割することができないＣＵ（ＣＵのリーフ）は、１または複数の変換単位（TU:Transform Unit）へ分割することが可能である。ここで、変換単位とは、周波数変換（例えば後述するＤＣＴ変換）および量子化の単位である。ＣＵのリーフは、２分木分割により、ＴＵに分割される。ＴＵのとり得る最大のサイズ、および当該２分木分割の最大深度（maximum depth）を示す情報は、符号化データ＃１に含まれる。各ＴＵは、例えば、６４×６４画素から２×２画素までのサイズをとり得る。

　図２（ｃ）に示すように、ＬＣＵレイヤＬＣＵは、（１）スキップフラグＳＫＩＰ、（２）ＬＣＵヘッダＬＣＵＨ、（３）各パーティションに割り付けられた予測パラメータＰＰ1～ＰＰNP、及び、（４）各ＴＵに割り付けられた量子化予測誤差ＱＤ1～ＱＤNbを含んでいる。ここで、Ｎpは、対象ＬＣＵに含まれるパーティションの総数を表し、Ｎbは、対象ＬＣＵに含まれるＴＵの総数を表す。スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＬＣＵにスキップモードが適用されている場合、そのＬＣＵレイヤにおけるＬＣＵヘッダＬＣＵＨ、予測パラメータＰＰ1～ＰＰNP、及び、量子化予測誤差ＱＤ1～ＱＤNbは省略される。

　（ＬＣＵヘッダ）
　ＬＣＵヘッダＬＣＵＨには、対象ＬＣＵの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図２（ｄ）に示すように、対象ＬＣＵのＬＣＵタイプを指定するＬＣＵタイプ指定情報ＬＣＵＴ（mb_type）、符号化ブロックパターンを指定するＣＢＰ（coded_block_pattern）、量子化ステップの大きさを指定する量子化パラメータ差分Δqp（mb_qp_delta）が含まれる。ＬＣＵタイプ指定情報ＬＣＵＴは、予測単位指定情報ＰＴと変換単位指定情報ＴＴとを含む。

　予測単位指定情報ＰＴは、対象ＬＣＵのパーティションへの分割パターン（すなわち、対象ＬＣＵに含まれる各パーティションのサイズ、及び、対象ＬＣＵ内での位置）と、動画像符号化装置２が各パーティションにおける予測画像を生成する際に用いた予測方法（Ｌ０単方向予測、Ｌ１単方向予測、双方向予測、イントラ予測など）を指定する。

　一方、変換単位指定情報ＴＴは、対象ＬＣＵのＴＵへの分割パターン（すなわち、対象ＬＣＵに含まれる各ＴＵのサイズ、及び、対象ＬＣＵ内での位置）を指定する。なお、以下では、ＴＵをブロックとも称する。

　量子化パラメータ差分Δｑｐは、対象ＬＣＵにおける量子化パラメータｑｐと、そのＬＣＵの直前に符号化されたＬＣＵにおける量子化パラメータｑｐ’との差分ｑｐ－ｑｐ’である。

　（量子化予測残差および予測パラメータ）
　ＬＣＵレイヤＬＣＵに含まれる各量子化予測残差ＱＤnは、動画像符号化装置２が以下の処理１～３を対象ブロックに施すことによって生成した符号化データである。処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する。処理２：処理１にて得られたＤＣＴ係数を量子化する。処理３：処理２にて量子化されたＤＣＴ係数を可変長符号化する。上述した量子化パラメータｑｐは、動画像符号化装置２がＤＣＴ係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

　ＬＣＵレイヤＬＣＵに含まれる予測パラメータＰＰのうち、インター予測によって予測画像が生成されるインター予測パーティションに関する予測パラメータＰＰは、図２（ｅ）に示すように、参照画像インデックスＲＩと、推定動きベクトルインデックスＰＭＶＩと、動きベクトル残差ＭＶＤとを含んでいる。

　ＬＣＵレイヤＬＣＵに含まれる予測パラメータＰＰのうち、イントラ予測によって予測画像が生成されるイントラ予測パーティションに関する予測パラメータＰＰは、図２（ｆ）に示すように、予測インデックスＰＩを含んでいる。ここで、予測インデックスＰＩは、対象パーティションについてのイントラ予測方法（予測モード）を指定するためのインデックスである。なお、符号化データ＃１を生成する動画像符号化装置２は、対象パーティションの周辺のパーティションの予測インデックスに基づいて、当該対象パーティションについての予測インデックスの推定値を算出し、当該推定値と当該対象パーティションについての予測インデックスとが同じであるか否かを示すフラグを符号化データ＃１に含める構成としてもよい。このような構成とすることにより、当該推定値と当該対象パーティションについての予測インデックスとが同じである場合には、当該対象パーティションについての予測インデックスの符号化を省略することができる。

　（フィルタパラメータＦＰ）
　また、符号化データ＃１に含まれるスライスヘッダＳＨには、動画像復号装置１の備えるループフィルタが参照するフィルタパラメータＦＰが含まれる。フィルタパラメータＦＰの構成について概略的に説明すれば以下の通りである。なお、フィルタパラメータＦＰの構成については、動画像復号装置１の説明において詳述する。

　フィルタパラメータＦＰには、動画像復号装置１の備えるループフィルタをスライス毎に制御するために参照されるフィルタ制御情報（入力画像指定情報）、および、フィルタ係数群１～フィルタ係数群Ｎfが含まれる（Ｎfは、フィルタパラメータＦＰに含まれるフィルタ係数群の総数）。各フィルタ係数群は、フィルタ係数およびオフセットから構成される。ここで、各フィルタ係数およびオフセットは、そのまま符号化されていてもよいし、予測値との差分として符号化（予測符号化）されていてもよい。

　フィルタ制御情報は、動画像復号装置１の備えるループフィルタへの入力画像を指定するための情報である。また、フィルタパラメータＦＰに含まれるフィルタ係数群の総数は、動画像復号装置１の備えるループフィルタによる適応的フィルタ処理において参照される画像の種類に等しい。なお、動画像復号装置１の備えるループフィルタは、復号画像のノイズを除去するためのノイズ除去フィルタ部を備えており、フィルタ制御情報には、当該ノイズ除去フィルタのオンオフを指定する情報も含まれる。

　また、フィルタ制御情報は、例えば、ループフィルタへの入力画像の組み合わせを指定する情報（ループフィルタモード）であってもよいし、複数の入力画像の各々について、ループフィルタに入力するか否かを指定するフラグより構成される情報であってもよい。また、入力画像の候補が複数存在する場合には、適応的フィルタ処理に恒常的に用いられるデフォルト入力画像を指定する情報、および、適応的フィルタ処理に追加的に用いられる追加入力画像を指定する情報を含む構成としてもよい。

　なお、フィルタ制御情報をスライスヘッダに含めずに、シーケンスについてのヘッダ情報であるシーケンスヘッダに含める構成とし、動画像復号装置１の備えるループフィルタをシーケンス毎に制御する構成としてもよい。この場合には、シーケンス全体に対して、ループフィルタへの入力画像の数が規定されるため、シーケンス全体の復号において、適応的フィルタ処理に用いられるメモリサイズを削減することができる。

　（動画像復号装置１）
　以下では、本実施形態に係る動画像復号装置１について図１～図７を参照して説明する。動画像復号装置１は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。

　図１は、動画像復号装置１の構成を示すブロック図である。図１に示すように、動画像復号装置１は、可変長符号復号部１１、予測画像生成部１２、逆量子化・逆変換部１３、加算器１４、フレームメモリ１５、ループフィルタ１６を備えている。動画像復号装置１は、符号化データ＃１を復号することによって動画像＃２を生成するための装置である。

　（可変長符号復号部１１）
　可変長符号復号部１１は、各パーティションに関する予測パラメータＰＰを、符号化データ＃１から復号し、予測画像生成部１２に供給する。具体的には、可変長符号復号部１１は、インター予測パーティションに関しては、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤを符号化データ＃１から復号し、これらを予測画像生成部１２に供給する。一方、イントラ予測パーティションに関しては、（１）パーティションのサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を符号化データ＃１から復号し、これを予測画像生成部１２に供給する。

　また、可変長符号復号部１１は、ＬＣＵタイプ指定情報ＬＣＵＴを符号化データ＃１から復号し、これを予測画像生成部１２に供給する。（図示省略）。更に、可変長符号復号部１１は、各ブロック（変換単位）に関する量子化予測残差ＱＤ、及び、そのブロックを含むＬＣＵに関する量子化パラメータ差分Δｑｐを符号化データ＃１から復号し、これらを逆量子化・逆変換部１３に供給する。また、可変長符号復号部１１は、符号化データ＃１からフィルタパラメータＦＰを復号し、これをループフィルタ１６に供給する。

　（予測画像生成部１２）
　予測画像生成部１２は、ＬＣＵタイプ指定情報ＬＣＵＴに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを識別する。そして、前者の場合には、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成すると共に、生成したインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器１４に供給し、後者の場合には、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成すると共に、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを加算器１４に供給する。なお、予測画像生成部１２は、処理対象ＬＣＵに対してスキップモードが適用されている場合には、予測画像の生成を省略することができる。

　特に図示はしないが、予測画像生成部１２は、動きベクトル復元部、インター予測画像生成部、イントラ予測画像生成部、予測方式決定部を備える構成とすることができる。このような構成の場合の上記各部の動作は、以下の通りである。

　（動きベクトル復元部）
　動きベクトル復元部は、各インター予測パーティションに関する動きベクトルｍｖを、そのパーティションに関する動きベクトル残差ＭＶＤと、他のパーティションに関する復元済みの動きベクトルｍｖ’とから復元する。具体的には、（１）推定動きベクトルインデックスＰＭＶＩにより指定される推定方法に従って、復元済みの動きベクトルｍｖ’から推定動きベクトルｐｍｖを導出し、（２）導出した推定動きベクトルｐｍｖと動きベクトル残差ＭＶＤとを加算することによって動きベクトルｍｖを得る。なお、他のパーティションに関する復元済みの動きベクトルｍｖ’は、フレームメモリ１５から読み出すことができる。動きベクトル復元部は、復元した動きベクトルｍｖを、対応する参照画像インデックスＲＩと共に、インター予測画像生成部に供給する。

　（インター予測画像生成部）
　インター予測画像生成部は、画面間予測によって、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル復元部から供給された動きベクトルｍｖを用いて、同じく動きベクトル復元部から供給された参照画像インデックスＲＩによって指定される適応フィルタ済復号画像Ｐ＿ＡＬＦ’から動き補償画像ｍｃを生成する。ここで、適応フィルタ済復号画像Ｐ＿ＡＬＦ’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ１６による適応的フィルタ処理を施すことによって得られる画像であり、インター予測画像生成部は、適応フィルタ済復号画像Ｐ＿ＡＬＦ’を構成する各画素の画素値をフレームメモリ１５から読み出すことができる。インター予測画像生成部によって生成された動き補償画像ｍｃは、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒとして予測方式決定部に供給される。

　（イントラ予測画像生成部）
　イントラ予測画像生成部は、各イントラ予測パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、まず、可変長符号復号部１１から供給された予測インデックスＰＩに基づいて予測モードを特定し、特定された予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。続いて、当該予測モードの示す予測方法に従って、画面内予測によって、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部によって生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測方式決定部に供給される。なお、イントラ予測画像生成部は、画面内予測によって、適応フィルタ済復号画像Ｐ＿ＡＬＦから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する構成とすることも可能である。

　また、対象パーティションにおける予測画像Ｐｒｅｄ＿Ｉｎｔｒａの具体的な生成方法としては、例えば以下のような方法が挙げられる。

　（１：方向予測）
　当該対象パーティションの周辺の画素の画素値を、当該対象パーティションに割り付けられた予測モードの示す方向（予測方向）に外挿することによって、当該対象パーティションにおける予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する方法。角度予測（Angular Prediction）と呼ばれることもある。また、予測方向は、（ｄｘ、ｄｙ）によって指定されることもあり、その場合、任意方向イントラ（Arbitrary Directional Intra (ADI)）と呼ばれることもある。

　（２：ＤＣ予測）
　当該対象パーティションの周辺の画素の画素値の平均値用いて当該対象パーティションにおける予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する方法。

　（３：プレーン予測）
　当該対象パーティション内の画素であって最も右側の列の画素（以下、「最右列画素」と呼ぶ）の画素値を、当該対象パーティション内の画素であって最も右下の画素（以下、「右下画素」と呼ぶ）の画素値、および、当該対象パーティション内の画素であって最も右上に位置する画素の上辺に隣接する画素の画素値を線形的に内挿（linear interpolation）することによって生成し、当該対象パーティション内の画素であって最も下側の行の画素（以下、「最下行画素」と呼ぶ）の画素値を、右下画素の画素値、および、当該対象パーティション内の画素であって最も左下に位置する画素の左辺に隣接する画素の画素値を線形的に内挿（linear interpolation）することによって生成し、当該対象パーティション内の他の画素の画素値を、最右列画素の画素値、最下行画素の画素値、当該対象パーティションの最も左側の列の画素の左辺に隣接する画素の画素値、および、当該対象パーティションの最も上側の列の画素の上辺に隣接する画素の画素値を双線形的に内挿（bi-linear interpolation）することによって生成する方法。プラナー予測（Planar prediction）を呼ばれることもある。

　（４：ＴＭ予測）
　当該対象パーティションの上辺および左辺に逆Ｌ字型のテンプレート領域を設定し、当該テンプレート領域における画像と最も類似する逆Ｌ字型の領域によって画定される領域の画像を、当該対象パーティションにおける予測画像Ｐｒｅｄ＿Ｉｎｔｒａとする方法。テンプレートマッチング予測（Template Matching Prediction）と呼ばれることもある。

　（５：スケール予測）
　動画像符号化装置によってダウンサンプリングされた縮小画像についての量子化係数を逆量子化および周波数変換することによって当該縮小画像の画像データを生成し、対象パーティションの周辺のパーティションの各画素値の平均値と、上記縮小画像の画像データとを加算した後、アップサンプリングすることによって、対象パーティションにおける予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する方法。スケーリング予測（Scaling Prediction）と呼ばれることもある。

　（６：エッジ予測）
　当該対象パーティションの周辺の画像におけるエッジを、ソーベルフィルタによって検出し、当該エッジの示す方向に沿って当該周辺の画像を外挿することによって、対象パーティションにおける予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する方法。エッジに基づく予測（Edge based prediction）と呼ばれることもある。

　（７：組み合わせ予測）
　当該対象パーティション内の予測対象画素の画素値を、当該予測対象画素に隣接する画素の画素値の平均値と、当該対象パーティションの周辺の画素を方向予測によって外挿することによって得られる画素値とを加重平均することによって生成する方法。組み合わせイントラ予測（Combined Intra Prediction (CIP)）と呼ばれることもある。

　（予測方式決定部）
　予測方式決定部は、ＬＣＵタイプ指定情報ＬＣＵＴに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部にて生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器１４に供給し、後者の場合には、イントラ予測画像生成部にて生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器１４に供給する。

　（逆量子化・逆変換部１３）
　逆量子化・逆変換部１３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器１４に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆量子化・逆変換部１３は、可変長符号復号部１１から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ変換したＬＣＵに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化ステップｑｐから例えばＱＰ＝２^ｐｑ／６によって導出できる。また、逆量子化・逆変換部１３による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。

　（加算器１４）
　加算器１４は、予測画像生成部１２から供給された予測画像Ｐｒｅｄと、逆量子化・逆変換部１３から供給された予測残差Ｄとを加算することによって復号画像Ｐを生成する。生成された復号画像Ｐは、ループフィルタ１６に供給されると共に、フレームメモリ１５に格納される。

　（ループフィルタ１６）
　ループフィルタ１６は、復号画像Ｐに対してノイズ除去処理を施し、ノイズ除去済復号画像Ｐ＿ＮＲを生成する。また、ループフィルタ１６は、復号画像Ｐ、および、ノイズ除去済復号画像Ｐ＿ＮＲの何れか一方若しくは双方に対して適応的フィルタ処理を施すことによって適応的フィルタ済復号画像Ｐ＿ＡＬＦを生成する。ループフィルタ１６によって生成されたノイズ除去済復号画像Ｐ＿ＮＲ、および、適応的フィルタ済復号画像Ｐ＿ＡＬＦは、可変長符号復号部１１によって符号化データ＃１から復号されたＰＯＣ指定情報と関連付けてフレームメモリ１５に格納される。適応的フィルタ済復号画像Ｐ＿ＡＬＦより構成される動画像は動画像＃２として、動画像復号装置１の外部に出力される。

　以下では、ループフィルタ１６の構成について図１～図７を参照してより具体的に説明する。図１に示すように、ループフィルタ１６は、フィルタ制御部１６１、適応フィルタ用メモリ１６２、適応フィルタ部１６３、および、ノイズ除去フィルタ部１６４を備えている。

　図１に示すように、フィルタ制御部１６１は、符号化データ＃１より復号され、可変長符号復号部１１より供給されるフィルタパラメータＦＰに含まれるフィルタ制御情報に基づいて、ループフィルタ１６の各部を制御する。また、フィルタ制御部１６１は、フィルタ制御情報に基づいて、適応フィルタ用メモリ１６２に復号画像Ｐおよび入力信号数情報を供給する。適応フィルタ部１６３は、復号画像Ｐ、ノイズ除去済復号画像Ｐ＿ＮＲ、および、フィルタパラメータＦＰを受け、適応フィルタ済復号画像Ｐ＿ＡＬＦをフレームメモリ１５に供給する。ノイズ除去フィルタ部１６４は、復号画像Ｐに対してノイズ除去処理を施すことによってノイズ除去済復号画像Ｐ＿ＮＲを生成し、フレームメモリ１５に供給する。ノイズ除去フィルタ部１６４の構成については、後述するためここでは説明を省略する。

　ループフィルタ１６は、可変長符号復号部１１により符号化データ＃１から復号されたフィルタパラメータＦＰを参照して、以下に列挙する複数の処理の何れかを選択的に行う。ループフィルタ１６は、当該複数の処理のうち何れの処理を行うかを、フィルタパラメータＦＰに含まれるフィルタ制御情報を参照して決定する。以下では、ループフィルタ１６が、スライス毎に、以下に列挙する複数の処理の何れかを選択的に行う場合を例に挙げ説明を行うが、本実施形態はこれに限定されるものではなく、ループフィルタ１６は、シーケンス毎、ＧＯＰ（Group Of Pictures）毎、ピクチャ毎、若しくは、ＬＣＵ毎に、以下に列挙する複数の処理の何れかを選択的に行う構成とすることもできる。

　また、以下では、ループフィルタ１６が、符号化データ＃１から復号されるフィルタパラメータＦＰの第１の構成例および第２の構成例を参照する場合について、それぞれ説明する。

　（フィルタパラメータＦＰの第１の構成例）
　図３は、符号化データ＃１から復号され、ループフィルタ１６によって参照されるフィルタパラメータＦＰ（loop_filter_param）の第１の構成例を示す図である。図３に示すように、フィルタパラメータＦＰの第１の構成例は、複数のシンタックス（loop_filter_mode、alf_length_default_minus5_div2、alf_coeff_default[i]、alf_length_raw_minus5_div2、および、alf_coeff_raw[i]）を含んでいる。

　loop_filter_modeは、ループフィルタ１６によるフィルタ処理の内容を規定するためのシンタックスであり、上述したフィルタ制御情報に対応している。本実施形態において、loop_filter_modeのとり得る可能な値は０～４である。

　alf_length_default_minus5_div2は、フレームメモリ１５に格納されている画像に作用するフィルタのタップ数を示すシンタックスである。また、図３に示されているAlfNumCoeffDefaultは、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数の数を示しており、alf_length_default_minus5_div2から、
　AlfNumCoeffDefault=alf_length_default_minus5_div2*2+5+1
によって算出される。ここで、記号＊は、積を表す演算記号である（以下同様）。

　alf_coeff_default[i]は、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数を示すシンタックスである。alf_coeff_default[i]には、フレームメモリ１５に格納されている画像に作用するフィルタのオフセットが含まれていてもよい。alf_coeff_default[i]のセットは、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数群G_coeff_defaultを構成する。

　なお、alf_length_default_minus5_div2、および、alf_coeff_default[i]は、可変長符号復号部１１によって、loop_filter_modeが２、３、または４である場合に復号される。

　alf_length_raw_minus5_div2は、復号画像Ｐに作用するフィルタのタップ数を示すシンタックスである。また、図３に示されているAlfNumCoeffRawは、復号画像Ｐに作用するフィルタのフィルタ係数の数を示しており、alf_length_raw_minus5_div2から、
　AlfNumCoeffRaw=alf_length_raw_minus5_div2*2+5+1
によって算出される。

　alf_coeff_raw[i]は、復号画像Ｐに作用するフィルタのフィルタ係数を示すシンタックスである。alf_coeff_raw[i]には、復号画像Ｐに作用するフィルタのオフセットが含まれていてもよい。alf_coeff_raw[i]のセットは、復号画像Ｐに作用するフィルタのフィルタ係数群G_coeff_rawを構成する。

　なお、alf_length_raw_minus5_div2、および、alf_coeff_raw[i]は、可変長符号復号部１１によって、loop_filter_modeが４である場合に復号される。

　図４は、ループフィルタ１６による処理を説明するためのものであって、フィルタパラメータＦＰに含まれるループフィルタモード（loop_filter_mode）の値と、ループフィルタ１６の備えるノイズ除去フィルタ部１６４および適応フィルタ部１６３のオンオフとの対応を示す表である。また、図４においては、適応フィルタ部１６３への入力数、適応フィルタ部１６３へのデフォルト入力の有無（ｘ印はデフォルト入力があることを示す）、及び、適応フィルタ部１６３への追加入力の有無（ｘ印は追加入力があることを示す）が示されている。ここで、デフォルト入力がある場合とは、フレームメモリ１５に格納された画像（例えば、以下の処理例１－１－３においては復号画像Ｐ、処理例１－１－４および１－１－５においては、ノイズ除去済復号画像Ｐ＿ＮＲ）が適応フィルタ部１６３に入力される場合のことを指し、追加入力がある場合とは、適応フィルタ用メモリ１６２に格納された画像（例えば、以下の処理例１－１－５においては、復号画像Ｐ）が適応フィルタ部１６３に入力される場合のことを指す。

　以下では、各ループフィルタモードについてのループフィルタ１６の具体的な処理について説明する。

　（処理例１－１－１：ループフィルタモード＝０）
　まず、ループフィルタモードが０である場合に、ループフィルタ１６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが０である場合、図４に示すように、フィルタ制御部１６１は、ノイズ除去フィルタ部１６４および適応フィルタ部１６３の何れをもオフに設定する。したがって、ループフィルタモードが０である場合、ノイズ除去フィルタ部１６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成せず、適応フィルタ部１６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成しない。また、本処理例においては、フィルタ制御部１６１は、適応フィルタ用メモリ１６２に何らの画像を格納しない。

　（処理例１－１－２：ループフィルタモード＝１）
　続いて、ループフィルタモードが１である場合に、ループフィルタ１６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが１である場合、図４に示すように、フィルタ制御部１６１は、ノイズ除去フィルタ部１６４をオンに設定し、適応フィルタ部１６３をオフに設定する。したがって、ループフィルタモードが１である場合、ノイズ除去フィルタ部１６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成するが、適応フィルタ部１６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成しない。

　本処理例においては、ノイズ除去フィルタ部１６４は、フレームメモリ１５に格納されている復号画像Ｐに対して、ノイズ除去処理を施し、対象スライスにおけるノイズ除去済復号画像Ｐ＿ＮＲを生成する。生成されたノイズ除去済復号画像Ｐ＿ＮＲは、フレームメモリ１５に格納される。また、本処理例においては、フィルタ制御部１６１は、適応フィルタ用メモリ１６２に何らの画像を格納しない。

　このように、本処理例においては、ループフィルタ１６は、ノイズ除去フィルタとして機能する。

　（処理例１－１－３：ループフィルタモード＝２）
　続いて、ループフィルタモードが２である場合に、ループフィルタ１６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが２である場合、図４に示すように、フィルタ制御部１６１は、ノイズ除去フィルタ部１６４をオフに設定し、適応フィルタ部１６３をオンに設定する。したがって、ループフィルタモードが２である場合、ノイズ除去フィルタ部１６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成しないが、適応フィルタ部１６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。

　本処理例においては、適応フィルタ部１６３は、フレームメモリ１５に格納されている復号画像Ｐに対して、フィルタパラメータＦＰに含まれるフィルタ係数およびオフセットを用いたフィルタ処理を行うことによって、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、復号画像Ｐの画素値をＳP（ｘ、ｙ）と表すことにすると、適応フィルタ部１６３は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（１）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、ａP（ｕ、ｖ）は、符号化データ＃１のフィルタパラメータＦＰに含まれるフィルタ係数のうち、復号画像Ｐの画素値ＳP（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。また、ｏPは、符号化データ＃１のフィルタパラメータＦＰに含まれるオフセットのうち、復号画像Ｐのフィルタ処理に用いられるオフセットを表している。なお、フィルタ係数ａP（ｕ、ｖ）およびオフセットｏPの具体的な値は、フィルタパラメータＦＰに含まれる各シンタックスalf_coeff_default[i]によって指定される。

　また、ＲPは、本処理例における適応フィルタ部１６３によるフィルタ処理において参照される領域（以下、「フィルタ参照領域ＲP」とも呼称する）を示している。フィルタ参照領域ＲPは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Ｐ上に設定される。また、フィルタ参照領域ＲPのサイズは、フィルタパラメータＦＰに含まれるシンタックスalf_length_default_minus5_div2によって指定される。

　図５（ａ）～（ｃ）は、フィルタパラメータＦＰ中のフィルタ係数群G_coeff_defaultに含まれる各フィルタ係数の符号化データ＃１中の１次元構成を示すものであり、（ａ）は、フィルタ係数の個数が１個である場合を示す図であり、（ｂ）は、フィルタ係数の個数が５個である場合を示す図であり、（ｃ）は、フィルタ係数の個数が１３個である場合を示す図である。

　また、図５（ｄ）～（ｆ）は、それぞれ、フィルタ参照領域ＲPが１×１画素、３×３画素、および、５×５画素である場合のフィルタ参照領域ＲPの各画素に割り付けられたフィルタ係数を示すものであって、（ｄ）は、フィルタ係数の個数が、図５（ａ）に示すように、１個である場合の図であり、（ｅ）は、フィルタ係数の個数が、図５（ｂ）に示すように、５個である場合の図であり、（ｆ）は、フィルタ係数の個数が、図５（ｃ）に示すように、１３個である場合の図である。なお、図５（ａ）～（ｆ）におけるａ０～ａ１２は、それぞれ、フィルタパラメータＦＰに含まれるalf_coeff_default[i]（ｉ＝０～１２）に対応している。

　図５（ｄ）に示すように、フィルタ参照領域ＲPが１×１画素である場合、フィルタ係数群G_coeff_defaultに含まれる１個のフィルタ係数ａ０が、フィルタ参照領域ＲPに含まれる１つの画素であるフィルタ対象画素に対して割り付けられる。

　また、図５（ｅ）に示すように、フィルタ参照領域ＲPが３×３画素である場合、フィルタ係数群G_coeff_defaultに含まれる５個のフィルタ係数ａ０～ａ５が、フィルタ参照領域ＲPに含まれる９個の画素に対して１８０度の回転対称性を有するように割り付けられる。図５（ｅ）において、フィルタ係数ａ４が割り付けられている画素がフィルタ対象画素に対応する。

　また、図５（ｆ）に示すように、フィルタ参照領域ＲPが５×５画素である場合、フィルタ係数群G_coeff_defaultに含まれる１３個のフィルタ係数ａ０～ａ１２が、フィルタ参照領域ＲPに含まれる２５個の画素に対して１８０度の回転対称性を有するように割り付けられる。図５（ｆ）において、フィルタ係数ａ１２が割り付けられている画素がフィルタ対象画素に対応する。

　このように、本処理例における適応フィルタ部１６３は、フィルタ係数群G_coeff_defaultに含まれる各フィルタ係数を、１８０度の回転対称性を有するように、フィルタ参照領域ＲPに含まれる各画素に対して割り付けられる構成とすることができる。このような構成の場合、フィルタ参照領域に含まれる画素の数がＭ×Ｍであるとすると、対称性を利用することによりフィルタ係数の個数は削減されており、必要なフィルタ係数の個数は（Ｍ×Ｍ＋１）／２となる。

　ただし、本処理例はこのような構成に限定されるものではなく、各フィルタ係数の各画素値への割り付けは、回転対称性を有していなくてもよい。また、フィルタ参照領域ＲPは、より一般に、画素を単位として、座標（ｘ、ｙ）からの市街地距離がＮcb以下である画素によって構成される領域であってもよいし、座標（ｘ、ｙ）を中心とするＮx×Ｎyタップの矩形状の領域としてもよいし、その他の画素を含むように構成される領域であってもよい。

　なお、本処理例においては、フィルタ制御部１６１は、適応フィルタ用メモリ１６２に何らの画像を格納しない。

　（処理例１－１－４：ループフィルタモード＝３）
　続いて、ループフィルタモードが３である場合に、ループフィルタ１６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが３である場合、図４に示すように、フィルタ制御部１６１は、ノイズ除去フィルタ部１６４および適応フィルタ部１６３の双方をオンに設定する。したがって、ループフィルタモードが３である場合、ノイズ除去フィルタ部１６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成し、適応フィルタ部１６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。

　本処理例においては、ノイズ除去フィルタ部１６４は、フレームメモリ１５に格納されている復号画像Ｐに対して、ノイズ除去処理を施し、対象スライスにおけるノイズ除去済復号画像Ｐ＿ＮＲを生成する。生成されたノイズ除去済復号画像Ｐ＿ＮＲは、フレームメモリ１５に格納される。

　また、本処理例においては、適応フィルタ部１６３は、フレームメモリ１５に格納されたノイズ除去済復号画像Ｐ＿ＮＲに対して、フィルタパラメータＦＰに含まれるフィルタ係数およびオフセットを用いたフィルタ処理を行うことによって、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、ノイズ除去済復号画像Ｐ＿ＮＲの画素値をＳPNR（ｘ、ｙ）と表すことにすると、適応フィルタ部１６３は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（２）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、ａPNR（ｕ、ｖ）は、符号化データ＃１のフィルタパラメータＦＰに含まれるフィルタ係数のうち、ノイズ除去済復号画像Ｐ＿ＮＲの画素値ＳPNR（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。また、ｏPNRは、符号化データ＃１のフィルタパラメータＦＰに含まれるオフセットのうち、ノイズ除去済復号画像Ｐ＿ＮＲのフィルタ処理に用いられるオフセットを表している。なお、フィルタ係数ａPNR（ｕ、ｖ）およびオフセットｏPNRの具体的な値は、フィルタパラメータＦＰに含まれる各シンタックスalf_coeff_default[i]によって指定される。

　また、ＲPNRは、本処理例における適応フィルタ部１６３によるフィルタ処理において参照される領域（以下、「フィルタ参照領域ＲPNR」とも呼称する）を示している。フィルタ参照領域ＲPNRは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、ノイズ除去済復号画像Ｐ＿ＮＲ上に設定される。また、フィルタ参照領域ＲPNRのサイズは、フィルタパラメータＦＰに含まれるシンタックスalf_length_default_minus5_div2によって指定される。

　なお、本処理例における適応フィルタ部１６３は、上述した（処理例１－１－３）と同様に、各フィルタ係数を、１８０度の回転対称性を有するように、フィルタ参照領域ＲPに含まれる各画素に対して割り付けられる構成とすることができる。

　ただし、本処理例はこのような構成に限定されるものではなく、各フィルタ係数の各画素値への割り付けは、回転対称性を有していなくてもよい。また、フィルタ参照領域ＲPは、より一般に、画素を単位として、座標（ｘ、ｙ）からの市街地距離がＮcb’以下である画素によって構成される領域であってもよいし、座標（ｘ、ｙ）を中心とするＮx’×Ｎy’タップの矩形状の領域としてもよいし、その他の画素を含むように構成される領域であってもよい。

　（処理例１－１－５：ループフィルタモード＝４）
　続いて、ループフィルタモードが４である場合に、ループフィルタ１６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが４である場合、図４に示すように、フィルタ制御部１６１は、ノイズ除去フィルタ部１６４および適応フィルタ部１６３の双方をオンに設定する。したがって、ループフィルタモードが４である場合、ノイズ除去フィルタ部１６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成し、適応フィルタ部１６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。

　さらに、本処理例においては、フィルタ制御部１６１は、適応フィルタ用メモリ１６２に復号画像用メモリ領域を確保し、加算器１４より供給される復号画像Ｐを、当該復号画像用メモリ領域に格納する。なお、フィルタ制御部１６１は、復号画像Ｐを上記復号画像用メモリ領域に１フレーム分格納する構成としてもよいし、１スライス分格納する構成としてもよい。また、フィルタ制御部１６１は、適応フィルタ部１６３によるフィルタ処理が終了した後、復号画像用メモリ領域を開放し、当該復号画像用メモリ領域を動画像復号装置１の備える各部によって利用可能な状態に設定する。

　また、本処理例においては、適応フィルタ部１６３は、フレームメモリ１５に格納されているノイズ除去済復号画像Ｐ＿ＮＲ、および、適応フィルタ用メモリ１６２に格納されている復号画像Ｐに対して、フィルタパラメータＦＰに含まれるフィルタ係数およびオフセットを用いたフィルタ処理を行うことによって、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、ノイズ除去済復号画像Ｐ＿ＮＲの画素値をＳPNR（ｘ、ｙ）と表し、復号画像Ｐの画素値をＳP（ｘ、ｙ）と表すことにすると、適応フィルタ部１６３は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（３）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、ａPNR（ｕ、ｖ）は、符号化データ＃１のフィルタパラメータＦＰに含まれるフィルタ係数のうち、ノイズ除去済復号画像Ｐ＿ＮＲの画素値ＳPNR（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａPNR（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰに含まれる各シンタックスalf_coeff_default[i]によって指定される。

　一方で、ａP（ｕ、ｖ）は、符号化データ＃１のフィルタパラメータＦＰに含まれるフィルタ係数のうち、復号画像Ｐの画素値ＳP（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａP（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰに含まれる各シンタックスalf_coeff_raw[i]によって指定される。

　また、オフセットｏ(PNR,P)の具体的な値は、フィルタパラメータＦＰに含まれるシンタックスalf_coeff_default[i]およびalf_coeff_raw[i]の何れか一方若しくは双方によって指定される。

　また、フィルタ参照領域ＲPNRは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、ノイズ除去済復号画像Ｐ＿ＮＲ上に設定される。ここで、フィルタ参照領域ＲPNRのサイズは、フィルタパラメータＦＰに含まれるシンタックスalf_length_default_minus5_div2によって指定される。

　一方で、フィルタ参照領域ＲPは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Ｐ上に設定される。ここで、フィルタ参照領域ＲPのサイズは、フィルタパラメータＦＰに含まれるシンタックスalf_length_raw_minus5_div2によって指定される。

　なお、本処理例における適応フィルタ部１６３は、上述した（処理例１－１－３）と同様に、各フィルタ係数を、１８０度の回転対称性を有するように、フィルタ参照領域ＲPNRおよびフィルタ参照領域ＲPに含まれる各画素に対して割り付けられる構成とすることができる。

　ただし、本処理例はこのような構成に限定されるものではなく、各フィルタ係数の各画素値への割り付けは、回転対称性を有していなくてもよい。また、フィルタ参照領域ＲPNRのサイズおよび形状は、フィルタ参照領域ＲPのサイズおよび形状とは異なっていてもよい。

　本処理例においては、適応フィルタ部１６３への入力数は２である。すなわち、適応フィルタ部１６３は、ノイズ除去済復号画像Ｐ＿ＮＲ、および、復号画像Ｐの双方を参照する。したがって、ノイズ除去済復号画像Ｐ＿ＮＲ、および、復号画像Ｐの何れか一方を参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、予測画像を生成するためにより適切な適応フィルタ済復号画像Ｐ＿ＡＬＦを生成することができる。したがって、ループフィルタ１６は、本処理例の動作を行うことによって、ノイズ除去済復号画像Ｐ＿ＮＲ、および、復号画像Ｐの何れか一方を参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、符号化効率が向上する。

　また、上述のように、適応フィルタ部１６３は、適応フィルタ用メモリ１６２に格納された復号画像Ｐ、および、フレームメモリ１５に格納されたノイズ除去済復号画像Ｐ＿ＮＲを参照するので、復号画像Ｐの画素値、および、ノイズ除去済復号画像Ｐ＿ＮＲの画素値の双方を並列的に読み出し、数式（３）における第１項の計算と第２項の計算とを並列的に行うことが可能になる。したがって、適応フィルタ部１６３は、本処理例の動作を行うことによって、フレームメモリ１５のみから復号画像Ｐの画素値、および、ノイズ除去済復号画像Ｐ＿ＮＲの画素値の双方を読み出す場合に比べて、高速なフィルタ処理を行うことができる。

　このように、ループフィルタ１６は、本処理例の動作を行うことによって、符号化効率を高めつつ、高速なフィルタ処理を行うことができる。

　（フィルタパラメータＦＰの第２の構成例）
　続いて、ループフィルタ１６が、符号化データ＃１から復号されるフィルタパラメータＦＰの第２の構成例を参照する場合について説明する。

　図６は、符号化データ＃１から復号され、ループフィルタ１６によって参照されるフィルタパラメータＦＰ（loop_filter_param）の第２の構成例を示す図である。図６に示すように、フィルタパラメータＦＰの第２の構成例は、複数のシンタックス（noise_reduction_filter_flag、adaptive_loop_filter_flag、alf_length_default_minus5_div2、alf_coeff_default[i]、enable_another_input、alf_length_raw_minus5_div2、および、alf_coeff_raw[i]）を含んでいる。

　noise_reduction_filter_flagは、ノイズ除去フィルタ部１６４のオンオフを指定するフラグであり、noise_reduction_filter_flagが０の場合、ノイズ除去フィルタ部１６４がオフに指定され、noise_reduction_filter_flagが１の場合、ノイズ除去フィルタ部１６４がオンに指定される。

　adaptive_loop_filter_flagは、適応フィルタ部１６３のオンオフを指定するフラグであり、adaptive_loop_filter_flagが０の場合、適応フィルタ部１６３がオフに指定され、adaptive_loop_filter_flagが１の場合、適応フィルタ部１６３がオンに指定される。

　alf_length_default_minus5_div2、AlfNumCoeffDefault、および、alf_coeff_default[i]は、フィルタパラメータＦＰの第１の構成例において説明したものと同じである。また、alf_coeff_default[i]のセットは、フィルタパラメータＦＰの第１の構成例において説明したように、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数群G_coeff_defaultを構成する。

　alf_length_default_minus5_div2、および、alf_coeff_default[i]は、可変長符号復号部１１によって、adaptive_loop_filter_flagが０以外の場合に復号される。

　enable_another_inputは、適応フィルタ部１６３への追加入力の有無を指定するフラグであり、enable_another_inputが０の場合、適応フィルタ部１６３への追加入力が指示されず、enable_another_inputが１の場合、適応フィルタ部１６３への追加入力が指示される。enable_another_inputは、可変長符号復号部１１によって、noise_reduction_filter_flagが１かつadaptive_loop_filter_flagが０以外の場合に復号される。

　alf_length_raw_minus5_div2、AlfNumCoeffRaw、および、alf_coeff_raw[i]は、フィルタパラメータＦＰの第１の構成例において説明したものと同じである。また、alf_coeff_raw[i]のセットは、フィルタパラメータＦＰの第１の構成例において説明したように、復号画像Ｐに作用するフィルタのフィルタ係数群G_coeff_rawを構成する。

　alf_length_raw_minus5_div2、および、alf_coeff_raw[i]は、可変長符号復号部１１によって、enable_another_inputが１の場合に復号される。

　図７は、ループフィルタ１６による処理を説明するためのものであって、フィルタパラメータＦＰに含まれるノイズ除去フィルタフラグ（noise_reduction_filter_flag）、適応フィルタフラグ（adaptive_loop_filter_flag）および追加入力フラグ（enable_another_input）の各値と、ループフィルタ１６の備える適応フィルタ部１６３への入力数、適応フィルタ部１６３へのデフォルト入力の有無（ｘ印はデフォルト入力があることを示す）、及び、適応フィルタ部１６３への追加入力の有無（ｘ印は追加入力があることを示す）との対応を示す表である。ここで、デフォルト入力がある場合とは、フレームメモリ１５に格納された画像（例えば、以下の処理例１－２－３においては復号画像Ｐ、処理例１－２－４および１－２－５においては、ノイズ除去済復号画像Ｐ＿ＮＲ）が適応フィルタ部１６３に入力される場合のことを指し、追加入力がある場合とは、適応フィルタ用メモリ１６２に格納された画像（例えば、以下の処理例１－２－５においては、復号画像Ｐ）が適応フィルタ部１６３に入力される場合のことを指す。

　ノイズ除去フィルタフラグ、適応フィルタフラグおよび追加入力フラグが各値をとる場合、ループフィルタ１６は以下の処理を行う。

　（処理例１－２－１：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝０）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が０である場合、ループフィルタ１６は、上述した処理例１－１－１と同様の処理を行う。

　（処理例１－２－２：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝０）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが０である場合、ループフィルタ１６は、上述した処理例１－１－２と同様の処理を行う。

　（処理例１－２－３：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１）
　ノイズ除去フィルタフラグが０であり、適応フィルタフラグが１である場合、ループフィルタ１６は、上述した処理例１－１－３と同様の処理を行う。

　（処理例１－２－４：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、追加入力フラグ＝０）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が１であり、追加入力フラグが０である場合、ループフィルタ１６は、上述した処理例１－１－４と同様の処理を行う。

　（処理例１－２－５：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、追加入力フラグ＝１）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が１であり、追加入力フラグが１である場合、ループフィルタ１６は、上述した処理例１－１－５と同様の処理を行う。

　このように、フィルタパラメータＦＰを上記第２の構成例のように構成することによっても、ループフィルタ１６を、フィルタパラメータＦＰが上記第１の構成例のように構成される場合と同様に制御することができる。したがって、フィルタパラメータＦＰを上記第２の構成例のように構成することにより、ループフィルタ１６は、フィルタパラメータＦＰが上記第１の構成例のように構成される場合と同様に、符号化効率を高めつつ、高速なフィルタ処理を行うことができる。

　（動画像符号化装置２）
　本実施形態に係る動画像符号化装置２の構成について図８を参照して説明する。動画像符号化装置２は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。

　図８は、動画像符号化装置２の構成を示すブロック図である。図８に示すように、動画像符号化装置２は、予測画像生成部２１、変換・量子化部２２、逆量子化・逆変換部２３、加算器２４、フレームメモリ２５、ループフィルタ２６、フィルタパラメータ導出部２７、可変長符号符号化部２８、および、減算器２９を備えている。動画像符号化装置２は、動画像＃１０（符号化対象画像）を符号化することによって、符号化データ＃１を生成する装置である。

　（予測画像生成部２１）
　予測画像生成部２１は、処理対象ＬＣＵを、１または複数のパーティションに分割し、パーティション毎に、画面間予測を用いたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ、または、画面内予測を用いたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒおよびイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測画像Ｐｒｅｄとして、加算器２４および減算器２９に供給される。

　なお、予測画像生成部２１は、スキップモードの適応されたＬＣＵについては、予測画像の生成処理を省略することもできる。また、（１）対象ＬＣＵのパーティションへの分割の態様、（２）スキップモードを適用するか否か、および、（３）パーティション毎にインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒおよびイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａの何れを生成するか、は、符号化効率を最適化するように決定される。

　特に図示はしないが、予測画像生成部２１は、イントラ予測画像生成部、動きベクトル検出部、インター予測画像生成部、予測方式制御部、動きベクトル冗長性削除部を備える構成とすることができる。このような構成の場合の上記各部の動作は、以下の通りである。

　（イントラ予測画像生成部）
　イントラ予測画像生成部は、画面内予測によって、各パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、（１）各パーティションついてイントラ予測に用いる予測モードを選択し、（２）選択した予測モードを用いて、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部は、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを、予測方式制御部に供給する。また、イントラ予測画像生成部は、各パーティションについての予測インデックスＰＩを特定し、各パーティションについての当該予測インデックスＰＩを示す予測インデックス指定情報を予測方式制御部に供給する。

　なお、動画像符号化装置２の備えるイントラ予測画像生成部によるイントラ予測画像の生成は、動画像復号装置１の備えるイントラ予測画像生成部による処理と同様の処理によって行うことができる。

　（動きベクトル検出部）
　動きベクトル検出部は、各パーティションに関する動きベクトルｍｖを検出する。具体的には、（１）参照画像として利用する適応フィルタ済復号画像Ｐ＿ＡＬＦ’を選択し、（２）選択した適応フィルタ済復号画像Ｐ＿ＡＬＦ’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルｍｖを検出する。ここで、適応フィルタ済復号画像Ｐ＿ＡＬＦ’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ２６による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部は、適応フィルタ済復号画像Ｐ＿ＡＬＦ’を構成する各画素の画素値をフレームメモリ２５から読み出すことができる。動きベクトル検出部は、検出した動きベクトルｍｖを、参照画像として利用した適応フィルタ済復号画像Ｐ＿ＡＬＦ’を指定する参照画像インデックスＲＩと共に、インター予測画像生成部及び動きベクトル冗長性削除部に供給する。

　（インター予測画像生成部）
　インター予測画像生成部は、画面間予測によって、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル検出部から供給された動きベクトルｍｖを用いて、動きベクトル検出部から供給された参照画像インデックスＲＩによって指定される適応フィルタ済復号画像Ｐ＿ＡＬＦ’から動き補償画像ｍｃを生成する。動きベクトル検出部と同様、インター予測画像生成部は、適応フィルタ済復号画像Ｐ＿ＡＬＦ’を構成する各画素の画素値をフレームメモリ２５から読み出すことができる。インター予測画像生成部は、生成した動き補償画像ｍｃ（インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ）を、動きベクトル検出部から供給された参照画像インデックスＲＩと共に、予測方式制御部に供給する。

　（予測方式制御部）
　予測方式制御部は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａ及びインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器２４及び減算器２９に供給すると共に、イントラ予測画像生成部から供給された予測インデックスＰＩを予測パラメータＰＰとして可変長符号符号化部２８に供給する。一方、インター予測を選択した場合、予測方式制御部は、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器２４及び減算器２９に供給すると共に、インター予測画像生成部から供給された参照画像インデックスＲＩ、並びに、後述する動きベクトル冗長性削除部から供給された推定動きベクトルインデックスＰＭＶＩ及び動きベクトル残差ＭＶＤを予測パラメータＰＰとして可変長符号符号化部に供給する。

　（動きベクトル冗長性削除部）
　動きベクトル冗長性削除部は、動きベクトル検出部によって検出された動きベクトルｍｖにおける冗長性を削除する。具体的には、（１）動きベクトルｍｖの推定に用いる推定方法を選択し、（２）選択した推定方法に従って推定動きベクトルｐｍｖを導出し、（３）動きベクトルｍｖから推定動きベクトルｐｍｖを減算することにより動きベクトル残差ＭＶＤを生成する。動きベクトル冗長性削除部は、生成した動きベクトル残差ＭＶＤを、選択した推定方法を示す推定動きベクトルインデックスＰＭＶＩと共に、上述した予測方式制御部に供給する。

　（変換・量子化部２２）
　変換・量子化部２２は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック（変換単位）毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号符号化部２８及び逆量子化・逆変換部２３に供給する。なお、変換・量子化部２２は、（１）量子化の際に用いる量子化ステップＱＰをＬＣＵ毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号符号化部２８に供給し、（３）選択した量子化ステップＱＰを逆量子化・逆変換部２３に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ変換／量子化するマクロブロックに関する量子化パラメータｑｐ（例えばＱＰ＝２^ｐｑ／６）の値から、直前にＤＣＴ変換／量子化したＬＣＵに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。

　（逆量子化・逆変換部２３）
　逆量子化・逆変換部２３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器２４に供給する。量子化予測残差ＱＤを逆量子化する際には、変換・量子化部２２から供給された量子化ステップＱＰを利用する。なお、逆量子化・逆変換部２３から出力される予測残差Ｄは、変換・量子化部２２に入力される予測残差Ｄに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。

　（加算器２４）
　加算器２４は、予測方式制御部にて選択された予測画像Ｐｒｅｄを、逆量子化・逆変換部２３にて生成された予測残差Ｄに加算することによって、（局所）復号画像Ｐを生成する。加算器２４にて生成された（局所）復号画像Ｐは、ループフィルタ２６に供給されると共にフレームメモリ２５に格納され、インター予測における参照画像として利用される。

　（可変長符号符号化部２８）
　可変長符号符号化部２８は、（１）変換・量子化部２２から供給された量子化予測残差ＱＤ並びにΔｑｐ、（２）予測画像生成部２１の備える予測方式制御部から供給された量子化パラメータＰＰ、および、（３）後述するフィルタパラメータ導出部２７から供給されたフィルタパラメータＦＰを可変長符号化することによって、符号化データ＃１を生成する。

　（減算器２９）
　減算器２９は、予測方式制御部にて選択された予測画像Ｐｒｅｄを、符号化対象画像から減算することによって、予測残差Ｄを生成する。減算器２９にて生成された予測残差Ｄは、変換・量子化部２２によってＤＣＴ変換／量子化される。

　（ループフィルタ２６）
　図８に示すように、ループフィルタ２６は、フィルタ制御部２６１、適応フィルタ用メモリ２６２、適応フィルタ部２６３、および、ノイズ除去フィルタ部２６４を備えている。フィルタ制御部２６１、適応フィルタ用メモリ２６２、適応フィルタ部２６３、および、ノイズ除去フィルタ部２６４は、それぞれ、動画像復号装置１におけるループフィルタ１６の備える、フィルタ制御部１６１、適応フィルタ用メモリ１６２、適応フィルタ部１６３、および、ノイズ除去フィルタ部１６４と同様の構成であり、それらの動作については既に説明したため、ここでは説明を省略する。ただし、ループフィルタ１６の説明における「フレームメモリ１５」、および、「符号化データ＃１から復号されるフィルタパラメータＦＰ」は、それぞれ、「フレームメモリ２５」、および、「フィルタパラメータ導出部２７から供給されるフィルタパラメータＦＰ」と読み替えるものとする。

　（フィルタパラメータ導出部２７）
　フィルタパラメータ導出部２７は、動画像復号装置１の備えるループフィルタ１６、および、動画像符号化装置２の備えるループフィルタ２６によって参照されるフィルタパラメータＦＰを生成する。

　フィルタパラメータ導出部２７は、
（１）ノイズ除去フィルタ部２６４および適応フィルタ部２６３のそれぞれのオンオフ、
（２）ループフィルタ２６の備える適応フィルタ部２６３に入力する画像の種類およびその組み合わせ（復号画像Ｐ、および、ノイズ除去済復号画像Ｐ＿ＮＲの何れか一方若しくは双方）、
（３）復号画像Ｐに作用するフィルタのタップ数、
（４）復号画像Ｐに作用するフィルタ係数およびオフセット、
（５）ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのタップ数、
（６）ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタ係数およびオフセット、
を符号化効率が最適となるように決定する。

　また、フィルタパラメータ導出部２７は、ループフィルタモード（loop_filter_mode）を以下に列挙する値の何れかに設定し、フィルタパラメータＦＰに含める。

　・ループフィルタモード＝０：ノイズ除去フィルタ部２６４をオフ、適応フィルタ部２６３をオフに決定する場合
　・ループフィルタモード＝１：ノイズ除去フィルタ部２６４をオン、適応フィルタ部２６３をオフに決定する場合
　・ループフィルタモード＝２：ノイズ除去フィルタ部２６４をオフ、適応フィルタ部２６３をオンに決定する場合であって、適応フィルタ部２６３への入力画像を、復号画像Ｐとする場合
　・ループフィルタモード＝３：ノイズ除去フィルタ部２６４をオン、適応フィルタ部２６３をオンに決定する場合であって、適応フィルタ部２６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲとする場合
　・ループフィルタモード＝４：ノイズ除去フィルタ部２６４をオン、適応フィルタ部２６３をオンに決定する場合であって、適応フィルタ部２６３への入力画像を、復号画像Ｐおよびノイズ除去済復号画像Ｐ＿ＮＲとする場合
　ここで、ループフィルタモードを２、３、または４の何れかに設定する場合の、フィルタパラメータ導出部２７による動作は以下の通りである。

　フィルタパラメータ導出部２７は、ループフィルタモード２～４のうち、二乗誤差が最小となるループフィルタモードについて、タップ数、フィルタ係数、および、オフセットをフィルタパラメータＦＰに含める。このようにして生成されたフィルタパラメータＦＰは、動画像復号装置１によって参照される。

　（ループフィルタモード＝２）
　フィルタパラメータ導出部２７は、ループフィルタモード２について、復号画像Ｐに作用するフィルタのフィルタ係数ａP（ｕ、ｖ）およびオフセットｏPを、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定する。例えば、以下の数式（４）に示す二乗誤差Ｅ1が最小となるように、フィルタ係数ａP（ｕ、ｖ）およびオフセットｏPを決定する。

ここで、ＳP（ｘ、ｙ）は復号画像Ｐの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、ＲPは、フィルタ参照領域を表している。フィルタ参照領域ＲPのサイズを規定するタップ数は、複数の候補（例えば、１タップ、３タップ、５タップ、７タップ、９タップ）の中から、符号化効率が最適となるものが選択される。また、ｘ、ｙについての和は、フィルタパラメータＦＰがループフィルタモードを指定する処理単位に含まれる全ての画素についての和を表している。例えば、フィルタパラメータＦＰが、スライス（またはＬＣＵ）毎にループフィルタモードを指定する場合には、ｘ、ｙについての和は、当該スライス（または当該ＬＣＵ）に含まれる全ての画素についての和である（以下同様）。

　上記のように決定されたフィルタ係数ａP（ｕ、ｖ）およびオフセットｏPは、シンタックスalf_coeff_default[i]として、フィルタパラメータＦＰに含められる。また、上記のように決定されたフィルタ参照領域ＲPのタップ数を指定するパラメータは、alf_length_default_minus5_div2として、フィルタパラメータＦＰに含められる。

　なお、本モードの動作を行うフィルタパラメータ導出部２７は、より一般には、ループフィルタモード２について、復号画像Ｐに作用するフィルタのフィルタ係数ａP（ｕ、ｖ）およびオフセットｏPを、フィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定するものである、と表現することができる。

　（ループフィルタモード＝３）
　フィルタパラメータ導出部２７は、ループフィルタモード３について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）およびオフセットｏPNRを、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定する。例えば、以下の数式（５）に示す二乗誤差Ｅ2が最小となるように、フィルタ係数ａPNR（ｕ、ｖ）およびオフセットｏPNRを決定する。

ここで、ＳPNR（ｘ、ｙ）はノイズ除去済復号画像Ｐ＿ＮＲの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、ＲPNRは、フィルタ参照領域を表している。フィルタ参照領域ＲPNRのサイズを規定するタップ数は、複数の候補（例えば、１タップ、３タップ、５タップ、７タップ、９タップ）の中から、符号化効率が最適となるものが選択される。

　上記のように決定されたフィルタ係数ａPNR（ｕ、ｖ）およびオフセットｏPNRは、シンタックスalf_coeff_default[i]として、フィルタパラメータＦＰに含められる。また、上記のように決定されたフィルタ参照領域ＲPNRのタップ数を指定するパラメータは、alf_length_default_minus5_div2として、フィルタパラメータＦＰに含められる。

　なお、本モードの動作を行うフィルタパラメータ導出部２７は、より一般には、ループフィルタモード３について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）およびオフセットｏPNRを、フィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定するものである、と表現することができる。

　（ループフィルタモード＝４）
　フィルタパラメータ導出部２７は、ループフィルタモード４について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）、復号画像Ｐに作用するフィルタのフィルタ係数ａP（ｕ、ｖ）、および、オフセットｏ(PNR,P)を、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定する。例えば、以下の数式（６）に示す二乗誤差Ｅ3が最小となるように、フィルタ係数ａPNR（ｕ、ｖ）、フィルタ係数ａP（ｕ、ｖ）、および、オフセットｏ(PNR,P)を決定する。

ここで、ＳPNR（ｘ、ｙ）はノイズ除去済復号画像Ｐ＿ＮＲの画素値を表しており、ＳP（ｘ、ｙ）は復号画像Ｐ＿ＮＲの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、ＲPNRおよびＲPは、フィルタ参照領域を表している。フィルタ参照領域ＲPNRおよびＲPのサイズを規定するタップ数は、複数の候補（例えば、１タップ、３タップ、５タップ、７タップ、９タップ）の中から、符号化効率が最適となるものが選択される。

　上記のように決定されたフィルタ係数ａPNR（ｕ、ｖ）は、シンタックスalf_coeff_default[i]として、フィルタパラメータＦＰに含められる。また、上記のように決定されたフィルタ参照領域ＲPNRのタップ数を指定するパラメータは、alf_length_default_minus5_div2として、フィルタパラメータＦＰに含められる。

　また、上記のように決定されたフィルタ係数ａP（ｕ、ｖ）は、シンタックスalf_coeff_raw[i]として、フィルタパラメータＦＰに含められる。また、上記のように決定されたフィルタ参照領域ＲPのタップ数を指定するパラメータは、alf_length_raw_minus5_div2として、フィルタパラメータＦＰに含められる。

　また、上記のように決定されたオフセットｏ(PNR,P)は、シンタックスalf_coeff_default[i]およびalf_coeff_raw[i]の何れか一方若しくは双方としてフィルタパラメータＦＰに含められる。

　なお、本モードの動作を行うフィルタパラメータ導出部２７は、より一般には、ループフィルタモード４について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）、復号画像Ｐに作用するフィルタのフィルタ係数ａP（ｕ、ｖ）、および、オフセットｏ(PNR,P)を、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定するものである、と表現することができる。

　以上のようにして構成されたフィルタパラメータＦＰは、上述したフィルタパラメータＦＰの第１の構成例に対応する。

　また、フィルタパラメータ導出部２７は、ループフィルタモード（loop_filter_mode）に代えて、ループフィルタモードと以下の対応付けを有するノイズ除去フィルタフラグ（noise_reduction_filter_flag）、適応フィルタフラグ（adaptive_loop_filter_flag）、および、追加入力フラグ（enable_another_input）をフィルタパラメータＦＰに含める構成としてもよい。

　（ループフィルタモード＝０）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝０
　（ループフィルタモード＝１）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝０
　（ループフィルタモード＝２）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１
　（ループフィルタモード＝３）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、追加入力フラグ＝０
　（ループフィルタモード＝４）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、追加入力フラグ＝１
　以上のようにして構成されたフィルタパラメータＦＰは、上述したフィルタパラメータＦＰの第２の構成例に対応する。

　以上のように、動画像符号化装置２の備えるループフィルタ２６によるフィルタ処理に用いられるフィルタパラメータＦＰは、符号化効率が最適となるように設定されているため、動画像符号化装置２によれば、符号化効率の高い符号化データ＃１を生成することができる。

　なお、適応フィルタ部２６３に入力する画像の種類は、動画像符号化装置２が外部から取得する情報によって指定されるものであってもよい。この場合、フィルタパラメータ導出部２７は、当該情報によって指定される画像に対して、最適なフィルタ係数およびオフセットを決定する。

　〔実施形態２〕
　以下では、本発明の第２の実施形態について説明する。

　（符号化データ＃３の構成）
　符号化データ＃３のスライスヘッダには、符号化データ＃１のスライスヘッダに含まれるフィルタパラメータＦＰに代えて、フィルタパラメータＦＰ’が含まれる。フィルタパラメータＦＰ’の構成については、動画像復号装置３の説明において詳述する。また、符号化データ＃３の、フィルタパラメータＦＰ’以外の構成は符号化データ＃１と略同様である。

　（動画像復号装置３）
　以下では、本実施形態に係る動画像復号装置３について図９～図１３を参照して説明する。動画像復号装置３は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。

　なお、以下では、実施形態１において既に説明した部分と同じ機能を有する部分については、同じ符号を付し、その説明を省略する。

　図９は、動画像復号装置３の構成を示すブロック図である。図９に示すように、動画像復号装置３は、可変長符号復号部１１、予測画像生成部１２、逆量子化・逆変換部１３、加算器１４、フレームメモリ１５、ループフィルタ３６を備えている。動画像復号装置３は、符号化データ＃３を復号することによって動画像＃４を生成するための装置である。

　（ループフィルタ３６）
　以下では、ループフィルタ３６の構成について図９～図１３を参照してより具体的に説明する。図９に示すように、ループフィルタ３６は、フィルタ制御部３６１、適応フィルタ用メモリ３６２、適応フィルタ部３６３、および、ノイズ除去フィルタ部３６４を備えている。

　図９に示すように、フィルタ制御部３６１は、符号化データ＃３より復号され、可変長符号復号部１１より供給されるフィルタパラメータＦＰ’に含まれるフィルタ制御情報に基づいて、ループフィルタ３６の各部を制御する。また、フィルタ制御部３６１は、フィルタ制御情報に基づいて、適応フィルタ用メモリ３６２に予測画像Ｐｒｅｄ、予測残差Ｄおよび入力信号数情報を供給する。適応フィルタ部３６３は、予測画像Ｐｒｅｄ、予測残差Ｄ、およびノイズ除去済予測画像Ｐ＿ＮＲを受け、適応フィルタ済復号画像Ｐ＿ＡＬＦをフレームメモリ１５に供給する。ノイズ除去フィルタ部３６４は、復号画像Ｐに対してノイズ除去処理を施すことによってノイズ除去済復号画像Ｐ＿ＮＲを生成し、フレームメモリ１５に供給する。

　ループフィルタ３６は、可変長符号復号部１１により符号化データ＃３から復号されたフィルタパラメータＦＰ’を参照して、以下に列挙する複数の処理の何れかを選択的に行う。ループフィルタ３６は、当該複数の処理のうち何れの処理を行うかを、フィルタパラメータＦＰ’に含まれるフィルタ制御情報を参照して決定する。以下では、ループフィルタ３６が、スライス毎に、以下に列挙する複数の処理の何れかを選択的に行う場合を例に挙げ説明を行うが、本実施形態はこれに限定されるものではなく、ループフィルタ３６は、シーケンス毎、ＧＯＰ（Group Of Pictures）毎、ピクチャ毎、若しくは、ＬＣＵ毎に、以下に列挙する複数の処理の何れかを選択的に行う構成とすることもできる。

　また、以下では、ループフィルタ３６が、符号化データ＃３から復号されるフィルタパラメータＦＰ’の第１の構成例および第２の構成例を参照する場合について、それぞれ説明する。

　（フィルタパラメータＦＰ’の第１の構成例）
　図１０は、符号化データ＃３から復号され、ループフィルタ３６によって参照されるフィルタパラメータＦＰ’（loop_filter_param）の第１の構成例を示す図である。図１０に示すように、フィルタパラメータＦＰ’の第１の構成例は、複数のシンタックス（loop_filter_mode、alf_length_default_minus5_div2、alf_coeff_default[i]、alf_length_error_minus1_div2、alf_coeff_error[i]、alf_length_pred_minus1_div2、および、alf_coeff_pred[i]）を含んでいる。

　loop_filter_modeは、ループフィルタ３６によるフィルタ処理の内容を規定するためのシンタックスであり、上述したフィルタ制御情報に対応している。本実施形態において、loop_filter_modeのとり得る可能な値は０～６である。

　alf_length_default_minus5_div2、AlfNumCoeffDefault、および、alf_coeff_default[i]は、実施形態１において説明したものと同じである。ただし、本構成例においては、alf_length_default_minus5_div2、および、alf_coeff_default[i]は、可変長符号復号部１１によって、loop_filter_modeが２、３、４、５、または６である場合に復号される。

　また、alf_coeff_default[i]のセットは、実施形態１において説明したように、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数群G_coeff_defaultを構成する。

　alf_length_error_minus1_div2は、予測残差Ｄに作用するフィルタのタップ数を示すシンタックスである。また、図１０に示されているAlfNumCoeffErrorは、予測残差Ｄに作用するフィルタのフィルタ係数の数を示しており、alf_length_error_minus1_div2から、
　AlfNumCoeffError=alf_length_error_minus1_div2*2+1
によって算出される。ここで、記号＊は、積を表す演算記号である（以下同様）。

　alf_coeff_error[i]は、予測残差Ｄに作用するフィルタのフィルタ係数を示すシンタックスである。alf_coeff_error[i]には、予測残差Ｄに作用するフィルタのオフセットが含まれていてもよい。alf_coeff_error[i]のセットは、予測残差Ｄに作用するフィルタのフィルタ係数群G_coeff_errorを構成する。

　なお、alf_length_error_minus1_div2、および、alf_coeff_error[i]は、可変長符号復号部１１によって、loop_filter_modeが４、５、または６である場合に復号される。

　alf_length_pred_minus1_div2は、予測画像Ｐｒｅｄに作用するフィルタのタップ数を示すシンタックスである。また、図１０に示されているAlfNumCoeffPredは、予測画像Ｐｒｅｄに作用するフィルタのフィルタ係数の数を示しており、alf_length_pred_minus1_div2から、
　AlfNumCoeffPred=alf_length_pred_minus1_div2*2+1
によって算出される。

　alf_coeff_pred[i]は、予測画像Ｐｒｅｄに作用するフィルタのフィルタ係数を示すシンタックスである。alf_coeff_pred[i]には、予測画像Ｐｒｅｄに作用するフィルタのオフセットが含まれていてもよい。alf_coeff_pred[i]のセットは、予測画像Ｐｒｅｄに作用するフィルタのフィルタ係数群G_coeff_predを構成する。

　なお、alf_length_pred_minus1_div2、および、alf_coeff_pred[i]は、可変長符号復号部１１によって、loop_filter_modeが６である場合に復号される。

　図１１は、ループフィルタ３６による処理を説明するためのものであって、フィルタパラメータＦＰ’に含まれるループフィルタモード（loop_filter_mode）の値と、ループフィルタ３６の備えるノイズ除去フィルタ部３６４および適応フィルタ部３６３のオンオフとの対応を示す表である。また、図１１においては、適応フィルタ部３６３への入力数、適応フィルタ部３６３へのデフォルト入力の有無（ｘ印はデフォルト入力があることを示す）、及び、適応フィルタ部３６３への追加入力の有無（ｘ印は追加入力があることを示す）が示されている。ここで、デフォルト入力がある場合とは、フレームメモリ１５に格納された画像（例えば、以下の処理例２－１－３および２－１－５においては復号画像Ｐ、処理例２－１－４、２－１－６および２－１－７においてはノイズ除去済復号画像Ｐ＿ＮＲ）が適応フィルタ部３６３に入力される場合のことを指し、追加入力がある場合とは、適応フィルタ用メモリ３６２に格納された画像（例えば、以下の処理例２－１－５および２－１－６においては予測残差Ｄ、処理例２－１－７においては予測残差Ｄおよび予測画像Ｐｒｅｄ）が適応フィルタ部３６３に入力される場合のことを指す。

　以下では、各ループフィルタモードについてのループフィルタ３６の具体的な処理について説明する。

　（処理例２－１－１：ループフィルタモード＝０）
　ループフィルタモードが０である場合に、ループフィルタ３６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－１）と同様であるため、ここでは説明を省略する。

　（処理例２－１－２：ループフィルタモード＝１）
　ループフィルタモードが１である場合に、ループフィルタ３６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－２）と同様であるため、ここでは説明を省略する。

　（処理例２－１－３：ループフィルタモード＝２）
　ループフィルタモードが２である場合に、ループフィルタ３６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－３）と同様であるため、ここでは説明を省略する。

　（処理例２－１－４：ループフィルタモード＝３）
　ループフィルタモードが３である場合に、ループフィルタ３６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－４）と同様であるため、ここでは説明を省略する。

　（処理例２－１－５：ループフィルタモード＝４）
　続いて、ループフィルタモードが４である場合に、ループフィルタ３６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが４である場合、図１１に示すように、フィルタ制御部３６１は、ノイズ除去フィルタ部３６４をオフに設定し、適応フィルタ部３６３をオンに設定する。したがって、ループフィルタモードが４である場合、ノイズ除去フィルタ部３６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成せず、適応フィルタ部３６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。

　さらに、本処理例においては、フィルタ制御部３６１は、適応フィルタ用メモリ３６２に残差画像（予測残差の示す画像）用のメモリ領域を確保し、逆量子化・逆変換部１３より供給される予測残差Ｄを、当該残差画像用メモリ領域に格納する。なお、フィルタ制御部３６１は、予測残差Ｄを上記残差画像用メモリ領域に１フレーム分格納する構成としてもよいし、１スライス分格納する構成としてもよい。また、フィルタ制御部３６１は、適応フィルタ部３６３によるフィルタ処理が終了した後、残差画像用メモリ領域を開放し、当該残差画像用メモリ領域を動画像復号装置３の備える各部によって利用可能な状態に設定する。

　また、本処理例においては、適応フィルタ部３６３は、フレームメモリ１５に格納されている復号画像Ｐ、および、適応フィルタ用メモリ３６２に格納されている予測残差Ｄに対して、フィルタパラメータＦＰ’に含まれるフィルタ係数およびオフセットを用いたフィルタ処理を行うことによって、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、復号画像Ｐの画素値をＳP（ｘ、ｙ）と表し、予測残差Ｄの画素値をＳD（ｘ、ｙ）と表すことにすると、適応フィルタ部３６３は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（７）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、ａP（ｕ、ｖ）は、符号化データ＃３のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、復号画像Ｐの画素値ＳP（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａP（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰ’に含まれる各シンタックスalf_coeff_default[i]によって指定される。

　一方で、ａD（ｕ、ｖ）は、符号化データ＃３のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、予測残差Ｄの示す画像の画素値ＳD（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａD（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰ’に含まれる各シンタックスalf_coeff_error[i]によって指定される。

　また、オフセットｏ(P,D)の具体的な値は、フィルタパラメータＦＰ’に含まれるシンタックスalf_coeff_default[i]およびalf_coeff_error[i]の何れか一方若しくは双方によって指定される。

　また、フィルタ参照領域ＲPは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Ｐ上に設定される。ここで、フィルタ参照領域ＲPのサイズは、フィルタパラメータＦＰ’に含まれるシンタックスalf_length_default_minus5_div2によって指定される。

　一方で、フィルタ参照領域ＲDは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、予測残差Ｄの示す画像上に設定される。ここで、フィルタ参照領域ＲDのサイズは、フィルタパラメータＦＰ’に含まれるシンタックスalf_length_error_minus1_div2によって指定される。

　なお、本処理例における適応フィルタ部３６３は、実施形態１における（処理例１－１－３）と同様に、各フィルタ係数を、１８０度の回転対称性を有するように、フィルタ参照領域ＲPおよびフィルタ参照領域ＲDに含まれる各画素に対して割り付けられる構成とすることができる。

　ただし、本処理例はこのような構成に限定されるものではなく、各フィルタ係数の各画素値への割り付けは、回転対称性を有していなくてもよい。また、フィルタ参照領域ＲPのサイズおよび形状は、フィルタ参照領域ＲDのサイズおよび形状とは異なっていてもよい。

　本処理例においては、適応フィルタ部３６３への入力数は２である。すなわち、適応フィルタ部３６３は、復号画像Ｐ、および、予測残差Ｄの双方を参照する。したがって、復号画像Ｐ、および、予測残差Ｄの何れか一方を参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、予測画像を生成するためにより適切な適応フィルタ済復号画像Ｐ＿ＡＬＦを生成することができる。したがって、ループフィルタ３６は、本処理例の動作を行うことによって、復号画像Ｐ、および、予測残差Ｄの何れか一方を参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、符号化効率が向上する。

　また、上述のように、適応フィルタ部３６３は、フレームメモリ１５に格納された復号画像Ｐ、および、適応フィルタ用メモリ３６２に格納された予測残差Ｄを参照するので、復号画像Ｐの画素値、および、予測残差Ｄの画素値の双方を並列的に読み出し、数式（７）における第１項の計算と第２項の計算とを並列的に行うことが可能になる。したがって、適応フィルタ部３６３は、本処理例の動作を行うことによって、フレームメモリ１５のみから復号画像Ｐの画素値、および、予測残差Ｄの画素値の双方を読み出すような構成に比べて、高速なフィルタ処理を行うことができる。

　このように、ループフィルタ３６は、本処理例の動作を行うことによって、符号化効率を高めつつ、高速なフィルタ処理を行うことができる。

　（処理例２－１－６：ループフィルタモード＝５）
　続いて、ループフィルタモードが５である場合に、ループフィルタ３６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが５である場合、図１１に示すように、フィルタ制御部３６１は、ノイズ除去フィルタ部３６４および適応フィルタ部３６３の双方をオンに設定する。したがって、ループフィルタモードが５である場合、ノイズ除去フィルタ部３６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成し、適応フィルタ部３６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。

　さらに、本処理例においては、フィルタ制御部３６１は、適応フィルタ用メモリ３６２に残差画像（予測残差の示す画像）用のメモリ領域を確保し、逆量子化・逆変換部１３よりより供給される予測残差Ｄを、当該残差画像用メモリ領域に格納する。なお、フィルタ制御部３６１は、予測残差Ｄを上記残差画像用メモリ領域に１フレーム分格納する構成としてもよいし、１スライス分格納する構成としてもよい。また、フィルタ制御部３６１は、適応フィルタ部３６３によるフィルタ処理が終了した後、残差画像用メモリ領域を開放し、当該残差画像用メモリ領域を動画像復号装置３の備える各部によって利用可能な状態に設定する。

　また、本処理例においては、適応フィルタ部３６３は、フレームメモリ１５に格納されているノイズ除去済復号画像Ｐ＿ＮＲ、および、適応フィルタ用メモリ３６２に格納されている予測残差Ｄに対して、フィルタパラメータＦＰ’に含まれるフィルタ係数およびオフセットを用いたフィルタ処理を行うことによって、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、ノイズ除去済復号画像Ｐ＿ＮＲの画素値をＳPNR（ｘ、ｙ）と表し、予測残差Ｄの画素値をＳD（ｘ、ｙ）と表すことにすると、適応フィルタ部３６３は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（８）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、ａPNR（ｕ、ｖ）は、符号化データ＃３のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、ノイズ除去済復号画像Ｐ＿ＮＲの画素値ＳPNR（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａPNR（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰ’に含まれる各シンタックスalf_coeff_default[i]によって指定される。

　また、オフセットｏ(PNR,D)の具体的な値は、フィルタパラメータＦＰ’に含まれるシンタックスalf_coeff_default[i]およびalf_coeff_error[i]の何れか一方若しくは双方によって指定される。

　また、フィルタ参照領域ＲPNRは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、ノイズ除去済復号画像Ｐ＿ＮＲ上に設定される。ここで、フィルタ参照領域ＲPNRのサイズは、フィルタパラメータＦＰ’に含まれるシンタックスalf_length_default_minus5_div2によって指定される。

　本処理例においては、適応フィルタ部３６３への入力数は２である。すなわち、適応フィルタ部３６３は、ノイズ除去済復号画像Ｐ＿ＮＲ、および、予測残差Ｄの双方を参照する。したがって、ノイズ除去済復号画像Ｐ＿ＮＲ、および、予測残差Ｄの何れか一方を参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、予測画像を生成するためにより適切な適応フィルタ済復号画像Ｐ＿ＡＬＦを生成することができる。したがって、ループフィルタ３６は、本処理例の動作を行うことによって、ノイズ除去済復号画像Ｐ＿ＮＲ、および、予測残差Ｄの何れか一方を参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、符号化効率が向上する。

　また、ノイズ除去済復号画像Ｐ＿ＮＲは、復号画像Ｐに比べて、ノイズが低減されている画像である。したがって、ループフィルタ３６は、本処理例の動作を行うことによって、復号画像Ｐのみを参照する場合、および、復号画像Ｐと予測残差Ｄとを参照する場合に比べて、符号化効率が向上する。

　また、上述のように、適応フィルタ部３６３は、フレームメモリ１５に格納されたノイズ除去済復号画像Ｐ、および、適応フィルタ用メモリ３６２に格納された予測残差Ｄを参照するので、ノイズ除去済復号画像Ｐ＿ＮＲの画素値、および、予測残差Ｄの画素値の双方を並列的に読み出し、数式（８）における第１項の計算と第２項の計算とを並列的に行うことが可能になる。したがって、適応フィルタ部３６３は、本処理例の動作を行うことによって、フレームメモリ１５のみからノイズ除去済復号画像Ｐ＿ＮＲの画素値、および、予測残差Ｄの画素値の双方を読み出すような構成に比べて、高速なフィルタ処理を行うことができる。

　（処理例２－１－７：ループフィルタモード＝６）
　続いて、ループフィルタモードが６である場合に、ループフィルタ３６によって行われる処理について説明する。

　対象スライスについてのループフィルタモードが６である場合、図１１に示すように、フィルタ制御部３６１は、ノイズ除去フィルタ部３６４および適応フィルタ部３６３の双方をオンに設定する。したがって、ループフィルタモードが６である場合、ノイズ除去フィルタ部３６４は、ノイズ除去済復号画像Ｐ＿ＮＲを生成し、適応フィルタ部３６３は、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。

　さらに、本処理例においては、フィルタ制御部３６１は、適応フィルタ用メモリ３６２に残差画像（予測残差の示す画像）用のメモリ領域および予測画像用のメモリを確保し、逆量子化・逆変換部１３よりより供給される予測残差Ｄ、および、予測画像生成部１２より供給される予測画像Ｐｒｅｄを、それぞれ、当該残差画像用メモリ領域、および、予測画像用メモリ領域に格納する。なお、フィルタ制御部３６１は、予測残差Ｄおよび予測画像Ｐｒｅｄをそれぞれ上記残差画像用メモリ領域および上記予測画像用メモリに１フレーム分格納する構成としてもよいし、１スライス分格納する構成としてもよい。また、フィルタ制御部３６１は、適応フィルタ部３６３によるフィルタ処理が終了した後、残差画像用メモリ領域および予測画像用メモリ領域を開放し、当該残差画像用メモリ領域および予測画像用メモリ領域を動画像復号装置３の備える各部によって利用可能な状態に設定する。

　また、本処理例においては、適応フィルタ部３６３は、フレームメモリ１５に格納されているノイズ除去済復号画像Ｐ＿ＮＲ、適応フィルタ用メモリ３６２に格納されている予測残差Ｄ、および、適応フィルタ用メモリ３６２に格納されている予測画像Ｐｒｅｄに対して、フィルタパラメータＦＰ’に含まれるフィルタ係数およびオフセットを用いたフィルタ処理を行うことによって、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、対象スライスにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、ノイズ除去済復号画像Ｐ＿ＮＲの画素値をＳPNR（ｘ、ｙ）と表し、予測残差Ｄの画素値をＳD（ｘ、ｙ）と表し、予測画像Ｐｒｅｄの画素値をＳPred（ｘ、ｙ）と表すことにすると、適応フィルタ部３６３は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（９）によって算出する。

　また、ａD（ｕ、ｖ）は、符号化データ＃３のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、予測残差Ｄの示す画像の画素値ＳD（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａD（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰ’に含まれる各シンタックスalf_coeff_error[i]によって指定される。

　また、ａPred（ｕ、ｖ）は、符号化データ＃３のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、予測画像Ｐｒｅｄの示す画像の画素値ＳPred（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。フィルタ係数ａPred（ｕ、ｖ）の具体的な値は、フィルタパラメータＦＰ’に含まれる各シンタックスalf_coeff_pred[i]によって指定される。

　また、オフセットｏ(PNR,D,Pred)の具体的な値は、フィルタパラメータＦＰ’に含まれるシンタックスalf_coeff_default[i]、alf_coeff_error[i]、およびalf_coeff_pred[i]の何れか１つ若しくは複数によって指定される。

　また、フィルタ参照領域ＲDは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、予測残差Ｄの示す画像上に設定される。ここで、フィルタ参照領域ＲDのサイズは、フィルタパラメータＦＰ’に含まれるシンタックスalf_length_error_minus1_div2によって指定される。

　また、フィルタ参照領域ＲPredは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、予測画像Ｐｒｅｄ上に設定される。ここで、フィルタ参照領域ＲPredのサイズは、フィルタパラメータＦＰ’に含まれるシンタックスalf_length_pred_minus1_div2によって指定される。

　本処理例においては、適応フィルタ部３６３への入力数は３である。すなわち、適応フィルタ部３６３は、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、および、予測画像Ｐｒｅｄをを参照する。したがって、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、および、予測画像Ｐｒｅｄの何れか１つもしくは２つを参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、予測画像を生成するためにより適切な適応フィルタ済復号画像Ｐ＿ＡＬＦを生成することができる。したがって、ループフィルタ３６は、本処理例の動作を行うことによって、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、および、予測画像Ｐｒｅｄの何れか１つもしくは２つを参照して適応フィルタ済復号画像Ｐ＿ＡＬＦを算出する場合に比べて、符号化効率が向上する。

　また、ノイズ除去済復号画像Ｐ＿ＮＲは、復号画像Ｐに比べて、ノイズが低減されている画像である。したがって、ループフィルタ３６は、本処理例の動作を行うことによって、復号画像Ｐのみを参照する場合、および、復号画像Ｐと予測残差Ｄとを参照する場合、復号画像Ｐと予測残差Ｄと予測残差Ｐｒｅｄを参照する場合に比べて、符号化効率が向上する。

　また、上述のように、適応フィルタ部３６３は、フレームメモリ１５に格納されたノイズ除去済復号画像Ｐ、適応フィルタ用メモリ３６２に格納された予測残差Ｄ、適応フィルタ用メモリ３６２に格納された予測画像Ｐｒｅｄを参照するので、ノイズ除去済復号画像Ｐ＿ＮＲの画素値と、予測残差Ｄの画素値および予測画像Ｐｒｅｄの画素値とを並列的に読み出し、数式（９）における第１項の計算と、第２項および第３項の計算とを並列的に行うことが可能になる。したがって、適応フィルタ部３６３は、本処理例の動作を行うことによって、フレームメモリ１５のみからノイズ除去済復号画像Ｐ＿ＮＲの画素値、予測残差Ｄの画素値、および予測画像Ｐｒｅｄの画素値を読み出すような構成に比べて、高速なフィルタ処理を行うことができる。

　（フィルタパラメータＦＰ’の第２の構成例）
　続いて、ループフィルタ３６が、符号化データ＃３から復号されるフィルタパラメータＦＰ’の第２の構成例を参照する場合について説明する。

　図１２は、符号化データ＃３から復号され、ループフィルタ３６によって参照されるフィルタパラメータＦＰ’（loop_filter_param）の第２の構成例を示す図である。図１２に示すように、フィルタパラメータＦＰ’の第２の構成例は、複数のシンタックス（noise_reduction_filter_flag、adaptive_loop_filter_flag、alf_length_default_minus5_div2、alf_coeff_default[i]、enable_error_alf、enable_pred_alf、alf_length_error_minus1_div2、alf_coeff_error[i]、alf_length_pred_minus1_div2、alf_coeff_pred[i]）を含んでいる。

　noise_reduction_filter_flagは、ノイズ除去フィルタ部３６４のオンオフを指定するフラグであり、noise_reduction_filter_flagが０の場合、ノイズ除去フィルタ部３６４がオフに指定され、noise_reduction_filter_flagが１の場合、ノイズ除去フィルタ部３６４がオンに指定される。

　adaptive_loop_filter_flagは、適応フィルタ部３６３のオンオフを指定するフラグであり、adaptive_loop_filter_flagが０の場合、適応フィルタ部３６３がオフに指定され、adaptive_loop_filter_flagが１の場合、適応フィルタ部３６３がオンに指定される。

　alf_length_default_minus5_div2、AlfNumCoeffDefault、および、alf_coeff_default[i]は、フィルタパラメータＦＰ’の第１の構成例において説明したものと同じである。ただし、alf_length_default_minus5_div2、および、alf_coeff_default[i]は、可変長符号復号部１１によって、adaptive_loop_filter_flagが０以外の場合に復号される。

　また、alf_coeff_default[i]のセットは、フィルタパラメータＦＰの第１の構成例において説明したように、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数群G_coeff_defaultを構成する。

　enable_error_alfは、適応フィルタ部３６３へ予測残差Ｄを入力するか否かを指定するフラグであり、enable_error_alfが０の場合、適応フィルタ部３６３へ予測残差Ｄが入力されず、enable_error_alfが１の場合、適応フィルタ部３６３へ予測残差Ｄが入力される。

　alf_length_error_minus1_div2、AlfNumCoeffError、および、alf_coeff_error[i]は、フィルタパラメータＦＰ’の第１の構成例において説明したものと同じである。ただし、alf_length_error_minus1_div2、および、alf_coeff_error[i]は、可変長符号復号部１１によって、enable_error_alfが１の場合に復号される。

　enable_pred_alfは、適応フィルタ部３６３へ予測画像Ｐｒｅｄを入力するか否かを指定するフラグであり、enable_pred_alfが０の場合、適応フィルタ部３６３へ予測画像Ｐｒｅｄが入力されず、enable_pred_alfが１の場合、適応フィルタ部３６３へ予測画像Ｐｒｅｄが入力される。

　alf_length_pred_minus1_div2、AlfNumCoeffPred、および、alf_coeff_pred[i]は、フィルタパラメータＦＰ’の第１の構成例において説明したものと同じである。ただし、alf_length_pred_minus1_div2、および、alf_coeff_pred[i]は、可変長符号復号部１１によって、enable_pred_alfが１の場合に復号される。

　図１３は、ループフィルタ３６による処理を説明するためのものであって、フィルタパラメータＦＰ’に含まれるノイズ除去フィルタフラグ（noise_reduction_filter_flag）、適応フィルタフラグ（adaptive_loop_filter_flag）、残差画像追加フラグ（enable_error_alf）、および、予測画像追加フラグ（enable_pred_alf）の各値と、ループフィルタ３６の備える適応フィルタ部３６３への入力数、適応フィルタ部３６３へのデフォルト入力の有無（ｘ印はデフォルト入力があることを示す）、及び、適応フィルタ部３６３への追加入力の有無（ｘ印は追加入力があることを示す）との対応を示す表である。ここで、デフォルト入力がある場合とは、フレームメモリ１５に格納された画像（例えば、以下の処理例２－２－３および２－２－５においては復号画像Ｐ、処理例２－２－４、２－２－６および２－２－７においてはノイズ除去済復号画像Ｐ＿ＮＲ）が適応フィルタ部３６３に入力される場合のことを指し、追加入力がある場合とは、適応フィルタ用メモリ３６２に格納された画像（例えば、以下の処理例２－２－５および２－２－６においては予測残差Ｄ、処理例２－２－７においては予測残差Ｄおよび予測画像Ｐｒｅｄ）が適応フィルタ部３６３に入力される場合のことを指す。

　ノイズ除去フィルタフラグ、適応フィルタフラグ、残差画像追加フラグ、および予測画像追加フラグが各値をとる場合、ループフィルタ３６は以下の処理を行う。

　（処理例２－２－１：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝０）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が０である場合、ループフィルタ３６は、上述した処理例２－１－１と同様の処理を行う。

　（処理例２－２－２：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝０）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが０である場合、ループフィルタ３６は、上述した処理例２－１－２と同様の処理を行う。

　（処理例２－２－３：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝０、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグが０であり、適応フィルタフラグが１であり、残差画像追加フラグおよび予測画像追加フラグの双方が０である場合、ループフィルタ３６は、上述した処理例２－１－３と同様の処理を行う。

　（処理例２－２－４：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、残差画像追加フラグ＝０、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が１であり、残差画像追加フラグおよび予測画像追加フラグの双方が０である場合、ループフィルタ３６は、上述した処理例２－１－４と同様の処理を行う。

　（処理例２－２－５：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグが０であり、適応フィルタフラグが１であり、残差画像追加フラグが１であり、予測画像追加フラグが０である場合、ループフィルタ３６は、上述した処理例２－１－５と同様の処理を行う。

　（処理例２－２－６：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが１であり、残差画像追加フラグが１であり、予測画像追加フラグが０である場合、ループフィルタ３６は、上述した処理例２－１－６と同様の処理を行う。

　（処理例２－２－７：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝１）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが１であり、残差画像追加フラグが１であり、予測画像追加フラグが１である場合、ループフィルタ３６は、上述した処理例２－１－７と同様の処理を行う。

　このように、フィルタパラメータＦＰ’を上記第２の構成例のように構成することによっても、ループフィルタ３６を、フィルタパラメータＦＰ’が上記第１の構成例のように構成される場合と同様に制御することができる。したがって、フィルタパラメータＦＰ’を上記第２の構成例のように構成することにより、ループフィルタ３６は、フィルタパラメータＦＰ’が上記第１の構成例のように構成される場合と同様に、符号化効率を高めつつ、高速なフィルタ処理を行うことができる。

　（動画像符号化装置４）
　本実施形態に係る動画像符号化装置４の構成について図１４を参照して説明する。動画像符号化装置４は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。

　図１４は、動画像符号化装置４の構成を示すブロック図である。図１４に示すように、動画像符号化装置４は、予測画像生成部２１、変換・量子化部２２、逆量子化・逆変換部２３、加算器２４、フレームメモリ２５、ループフィルタ４６、フィルタパラメータ導出部４７、可変長符号符号化部２８、および、減算器２９を備えている。動画像符号化装置２は、動画像＃２０（符号化対象画像）を符号化することによって、符号化データ＃３を生成する装置である。

　（ループフィルタ４６）
　図１４に示すように、ループフィルタ４６は、フィルタ制御部４６１、適応フィルタ用メモリ４６２、適応フィルタ部４６３、および、ノイズ除去フィルタ部４６４を備えている。フィルタ制御部４６１、適応フィルタ用メモリ４６２、適応フィルタ部４６３、および、ノイズ除去フィルタ部４６４は、それぞれ、動画像復号装置３におけるループフィルタ３６の備える、フィルタ制御部３６１、適応フィルタ用メモリ３６２、適応フィルタ部３６３、および、ノイズ除去フィルタ部３６４と同様の構成であり、それらの動作については既に説明したため、ここでは説明を省略する。ただし、ループフィルタ３６の説明における「フレームメモリ１５」、および、「符号化データ＃３から復号されるフィルタパラメータＦＰ’」は、それぞれ、「フレームメモリ２５」、および、「フィルタパラメータ導出部４７から供給されるフィルタパラメータＦＰ’」と読み替えるものとする。

　（フィルタパラメータ導出部４７）
　フィルタパラメータ導出部４７は、動画像復号装置３の備えるループフィルタ３６、および、動画像符号化装置４の備えるループフィルタ４６によって参照されるフィルタパラメータＦＰ’を生成する。

　フィルタパラメータ導出部４７は、
（１）ノイズ除去フィルタ部４６４および適応フィルタ部４６３のそれぞれのオンオフ、
（２）ループフィルタ４６の備える適応フィルタ部４６３に入力する画像の種類およびその組み合わせ（復号画像Ｐ、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、および、予測画像Ｐｒｅｄのうち１つ若しくは複数の組み合わせ）、
（３）復号画像Ｐに作用するフィルタのタップ数、
（４）復号画像Ｐに作用するフィルタ係数およびオフセット、
（５）ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのタップ数、
（６）ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタ係数およびオフセット、
（７）予測残差Ｄの示す画像に作用するフィルタのタップ数、
（８）予測残差Ｄの示す画像に作用するフィルタ係数およびオフセット、
（９）予測画像Ｐｒｅｄの示す画像に作用するフィルタのタップ数、
（１０）予測画像Ｐｒｅｄの示す画像に作用するフィルタ係数およびオフセット、
を符号化効率が最適となるように決定する。

　また、フィルタパラメータ導出部４７は、ループフィルタモード（loop_filter_mode）を以下に列挙する値の何れかに設定する。

　・ループフィルタモード＝０：ノイズ除去フィルタ部４６４をオフ、適応フィルタ部４６３をオフに決定する場合
　・ループフィルタモード＝１：ノイズ除去フィルタ部４６４をオン、適応フィルタ部４６３をオフに決定する場合
　・ループフィルタモード＝２：ノイズ除去フィルタ部４６４をオフ、適応フィルタ部４６３をオンに決定する場合であって、適応フィルタ部４６３への入力画像を、復号画像Ｐとする場合
　・ループフィルタモード＝３：ノイズ除去フィルタ部４６４をオン、適応フィルタ部４６３をオンに決定する場合であって、適応フィルタ部４６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲとする場合
　・ループフィルタモード＝４：ノイズ除去フィルタ部４６４をオン、適応フィルタ部４６３をオンに決定する場合であって、適応フィルタ部４６３への入力画像を、復号画像Ｐおよび予測残差Ｄとする場合
　・ループフィルタモード＝５：ノイズ除去フィルタ部４６４をオン、適応フィルタ部４６３をオンに決定する場合であって、適応フィルタ部４６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲおよび予測残差Ｄとする場合
　・ループフィルタモード＝６：ノイズ除去フィルタ部４６４をオン、適応フィルタ部４６３をオンに決定する場合であって、適応フィルタ部４６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、予測画像Ｐｒｅｄとする場合
　ここで、ループフィルタモードを２または３に設定する場合のフィルタパラメータ導出部４７の動作は、それぞれ、ループフィルタモードを２または３に設定する場合の、動画像符号化装置２の備えるフィルタパラメータ導出部２７の動作と同様であるため、ここでは説明を省略する。

　ループフィルタモードを４、５、または６に設定する場合のフィルタパラメータ導出部４７の動作は以下の通りである。

　フィルタパラメータ導出部４７は、ループフィルタモード２～６のうち、二乗誤差が最小となるループフィルタモードについて、タップ数、フィルタ係数、および、オフセットをフィルタパラメータＦＰに含める。より一般には、フィルタパラメータ導出部４７は、ループフィルタモード２～６のうち、二乗誤差がより小さくなるループフィルタモードについて、タップ数、フィルタ係数、および、オフセットをフィルタパラメータＦＰに含める。このようにして生成されたフィルタパラメータＦＰ’は、動画像復号装置３によって参照される。

　（ループフィルタモード＝４）
　フィルタパラメータ導出部４７は、ループフィルタモード４について、復号画像Ｐに作用するフィルタのフィルタ係数ａP（ｕ、ｖ）、予測残差Ｄに作用するフィルタのフィルタ係数ａD（ｕ、ｖ）、および、オフセットｏ(P,D)を、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定する。例えば、以下の数式（１０）に示す二乗誤差Ｅ1’が最小となるように、フィルタ係数ａP（ｕ、ｖ）、フィルタ係数ａD（ｕ、ｖ）、および、オフセットｏ(P,D)を決定する。

ここで、ＳP（ｘ、ｙ）は復号画像Ｐの画素値を表しており、ＳD（ｘ、ｙ）は予測残差Ｄの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、ＲPおよびＲDは、フィルタ参照領域を表している。フィルタ参照領域ＲPおよびＲDのサイズを規定するタップ数は、複数の候補（例えば、１タップ、３タップ、５タップ、７タップ、９タップ）の中から、符号化効率が最適となるものが選択される。

　上記のように決定されたフィルタ係数ａP（ｕ、ｖ）は、シンタックスalf_coeff_default[i]として、フィルタパラメータＦＰ’に含められる。また、上記のように決定されたフィルタ参照領域ＲPのタップ数を指定するパラメータは、alf_length_default_minus5_div2として、フィルタパラメータＦＰ’に含められる。

　また、上記のように決定されたフィルタ係数ａD（ｕ、ｖ）は、シンタックスalf_coeff_error[i]として、フィルタパラメータＦＰ’に含められる。また、上記のように決定されたフィルタ参照領域ＲDのタップ数を指定するパラメータは、alf_length_error_minus5_div2として、フィルタパラメータＦＰ’に含められる。

　また、上記のように決定されたオフセットｏ(P,D)は、シンタックスalf_coeff_default[i]およびalf_coeff_error[i]の何れか一方若しくは双方としてフィルタパラメータＦＰ’に含められる。

　本モードの動作を行うフィルタパラメータ導出部４７は、より一般には、ループフィルタモード４について、復号画像Ｐに作用するフィルタのフィルタ係数ａP（ｕ、ｖ）、予測残差Ｄに作用するフィルタのフィルタ係数ａD（ｕ、ｖ）、および、オフセットｏ(P,D)を、フィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定するものである、と表現することができる。

　（ループフィルタモード＝５）
　フィルタパラメータ導出部４７は、ループフィルタモード５について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）、予測残差Ｄに作用するフィルタのフィルタ係数ａD（ｕ、ｖ）、および、オフセットｏ(PNR,D)を、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定する。例えば、以下の数式（１１）に示す二乗誤差Ｅ2’が最小となるように、フィルタ係数ａPNR（ｕ、ｖ）、フィルタ係数ａD（ｕ、ｖ）、および、オフセットｏ(PNR,D)を決定する。

ここで、ＳPNR（ｘ、ｙ）はノイズ除去済復号画像Ｐ＿ＮＲの画素値を表しており、ＳD（ｘ、ｙ）は予測残差Ｄの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、ＲPNRおよびＲDは、フィルタ参照領域を表している。フィルタ参照領域ＲPNRおよびＲDのサイズを規定するタップ数は、複数の候補（例えば、１タップ、３タップ、５タップ、７タップ、９タップ）の中から、符号化効率が最適となるものが選択される。

　上記のように決定されたフィルタ係数ａPNR（ｕ、ｖ）は、シンタックスalf_coeff_default[i]として、フィルタパラメータＦＰ’に含められる。また、上記のように決定されたフィルタ参照領域ＲPNRのタップ数を指定するパラメータは、alf_length_default_minus5_div2として、フィルタパラメータＦＰ’に含められる。

　また、上記のように決定されたフィルタ係数ａD（ｕ、ｖ）は、シンタックスalf_coeff_error[i]として、フィルタパラメータＦＰ’に含められる。また、上記のように決定されたフィルタ参照領域ＲDのタップ数を指定するパラメータは、alf_length_error_minus1_div2として、フィルタパラメータＦＰ’に含められる。

　また、上記のように決定されたオフセットｏ(PNR,D)は、シンタックスalf_coeff_default[i]およびalf_coeff_error[i]の何れか一方若しくは双方としてフィルタパラメータＦＰ’に含められる。

　本モードの動作を行うフィルタパラメータ導出部４７は、ループフィルタモード５について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）、予測残差Ｄに作用するフィルタのフィルタ係数ａD（ｕ、ｖ）、および、オフセットｏ(PNR,D)を、フィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定するものである、と表現することができる。

　（ループフィルタモード＝６）
　フィルタパラメータ導出部４７は、ループフィルタモード６について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）、予測残差Ｄに作用するフィルタのフィルタ係数ａD（ｕ、ｖ）、予測画像Ｐｒｅｄに作用するフィルタのフィルタ係数ａPred（ｕ、ｖ）、および、オフセットｏ(PNR,D,Pred)を、フィルタ後の画像と符号化対象画像（原画像）との誤差が最小となるように決定する。例えば、以下の数式（１２）に示す二乗誤差Ｅ3’が最小となるように、フィルタ係数ａPNR（ｕ、ｖ）、フィルタ係数ａD（ｕ、ｖ）、フィルタ係数ａPred（ｕ、ｖ）、および、オフセットｏ(PNR,D,Pred)を決定する。

ここで、ＳPNR（ｘ、ｙ）はノイズ除去済復号画像Ｐ＿ＮＲの画素値を表しており、ＳD（ｘ、ｙ）は予測残差Ｄの画素値を表しており、ＳPred（ｘ、ｙ）は予測画像Ｐｒｅｄの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、ＲPNR、ＲD、およびＲPredは、フィルタ参照領域を表している。フィルタ参照領域ＲPNR、ＲD、および、ＲPredのサイズを規定するタップ数は、複数の候補（例えば、１タップ、３タップ、５タップ、７タップ、９タップ）の中から、符号化効率が最適となるものが選択される。

　また、上記のように決定されたフィルタ係数ａPred（ｕ、ｖ）は、シンタックスalf_coeff_pred[i]として、フィルタパラメータＦＰ’に含められる。また、上記のように決定されたフィルタ参照領域ＲPredのタップ数を指定するパラメータは、alf_length_pred_minus1_div2として、フィルタパラメータＦＰ’に含められる。

　また、上記のように決定されたオフセットｏ(PNR,D,Pred)は、シンタックスalf_coeff_default[i]、alf_coeff_error[i]、および、alf_coeff_pred[i]の何れか１つ若しくは複数としてフィルタパラメータＦＰ’に含められる。

　本モードの動作を行うフィルタパラメータ導出部４７は、ループフィルタモード６について、ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのフィルタ係数ａPNR（ｕ、ｖ）、予測残差Ｄに作用するフィルタのフィルタ係数ａD（ｕ、ｖ）、予測画像Ｐｒｅｄに作用するフィルタのフィルタ係数ａPred（ｕ、ｖ）、および、オフセットｏ(PNR,D,Pred)を、フィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定するものである、と表現することができる。

　以上のようにして構成されたフィルタパラメータＦＰ’は、上述したフィルタパラメータＦＰ’の第１の構成例に対応する。

　また、フィルタパラメータ導出部４７は、ループフィルタモード（loop_filter_mode）に代えて、ループフィルタモードと以下の対応付けを有するノイズ除去フィルタフラグ（noise_reduction_filter_flag）、適応フィルタフラグ（adaptive_loop_filter_flag）、残差画像追加フラグ（enable_error_alf）、および、予測画像追加フラグ（enable_pred_alf）をフィルタパラメータＦＰに含める構成としてもよい。

　（ループフィルタモード＝０）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝０
　（ループフィルタモード＝１）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝０
　（ループフィルタモード＝２）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝０、予測画像追加フラグ＝０
　（ループフィルタモード＝３）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、残差画像追加フラグ＝０、予測画像追加フラグ＝０
　（ループフィルタモード＝４）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝０
　（ループフィルタモード＝５）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝０
　（ループフィルタモード＝６）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝１
　以上のようにして構成されたフィルタパラメータＦＰ’は、上述したフィルタパラメータＦＰ’の第２の構成例に対応する。

　以上のように、動画像符号化装置４の備えるループフィルタ４６によるフィルタ処理に用いられるフィルタパラメータＦＰ’は、符号化効率が最適となるように設定されているため、動画像符号化装置４によれば、符号化効率の高い符号化データ＃３を生成することができる。

　なお、適応フィルタ部４６３に入力する画像の種類は、動画像符号化装置４が外部から取得する情報によって指定されるものであってもよい。この場合、フィルタパラメータ導出部４７は、当該情報によって指定される画像に対して、最適なフィルタ係数およびオフセットを決定する。

　〔実施形態３〕
　以下では、本発明の第３の実施形態について説明する。

　（符号化データ＃５の構成）
　符号化データ＃５のスライスヘッダには、符号化データ＃１のスライスヘッダに含まれるフィルタパラメータＦＰに代えて、フィルタパラメータＦＰ’’が含まれる。フィルタパラメータＦＰ’’の構成については、動画像復号装置５の説明において詳述する。また、符号化データ＃５の、フィルタパラメータＦＰ’’以外の構成は符号化データ＃１と略同様である。

　（動画像復号装置５）
　以下では、本実施形態に係る動画像復号装置５について図１５～図１９を参照して説明する。動画像復号装置５は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。

　なお、以下では、実施形態１および実施形態２において既に説明した部分と同じ機能を有する部分については、同じ符号を付し、その説明を省略する。

　図１５は、動画像復号装置５の構成を示すブロック図である。図１５に示すように、動画像復号装置５は、可変長符号復号部１１、予測画像生成部１２、逆量子化・逆変換部１３、加算器１４、フレームメモリ１５、ループフィルタ５６を備えている。動画像復号装置５は、符号化データ＃３を復号することによって動画像＃６を生成するための装置である。

　（ループフィルタ５６）
　以下では、ループフィルタ５６の構成について図１５～図１９を参照してより具体的に説明する。図１５に示すように、ループフィルタ５６は、フィルタ制御部５６１、適応フィルタ用メモリ５６２、適応フィルタ部５６３、および、ノイズ除去フィルタ部５６４を備えている。

　図１５に示すように、フィルタ制御部５６１は、符号化データ＃５より復号され、可変長符号復号部１１より供給されるフィルタパラメータＦＰ’’に含まれるフィルタ制御情報に基づいて、ループフィルタ５６の各部を制御する。また、フィルタ制御部５６１は、フィルタ制御情報に基づいて、適応フィルタ用メモリ５６２に復号画像Ｐ、予測画像Ｐｒｅｄ、予測残差Ｄおよび入力信号数情報を供給する。適応フィルタ部５６３は、復号画像Ｐ、予測画像Ｐｒｅｄ、予測残差Ｄ、およびノイズ除去済予測画像Ｐ＿ＮＲを受け、適応フィルタ済復号画像Ｐ＿ＡＬＦをフレームメモリ１５に供給する。ノイズ除去フィルタ部５６４は、復号画像Ｐに対してノイズ除去処理を施すことによってノイズ除去済復号画像Ｐ＿ＮＲを生成し、フレームメモリ１５に供給する。

　ループフィルタ５６は、可変長符号復号部１１により符号化データ＃５から復号されたフィルタパラメータＦＰ’’を参照して、以下に列挙する複数の処理の何れかを選択的に行う。ループフィルタ５６は、当該複数の処理のうち何れの処理を行うかを、フィルタパラメータＦＰ’’に含まれるフィルタ制御情報を参照して決定する。以下では、ループフィルタ５６が、スライス毎に、以下に列挙する複数の処理の何れかを選択的に行う場合を例に挙げ説明を行うが、本実施形態はこれに限定されるものではなく、ループフィルタ５６は、シーケンス毎、ＧＯＰ（Group Of Pictures）毎、ピクチャ毎、若しくは、ＬＣＵ毎に、以下に列挙する複数の処理の何れかを選択的に行う構成とすることもできる。

　また、以下では、ループフィルタ５６が、符号化データ＃５から復号されるフィルタパラメータＦＰ’’の第１の構成例および第２の構成例を参照する場合について、それぞれ説明する。

　（フィルタパラメータＦＰ’’の第１の構成例）
　図１６は、符号化データ＃５から復号され、ループフィルタ５６によって参照されるフィルタパラメータＦＰ’’（loop_filter_param）の第１の構成例を示す図である。図１６に示すように、フィルタパラメータＦＰ’’の第１の構成例は、複数のシンタックス（loop_filter_mode、alf_length_default_minus5_div2、alf_coeff_default[i]、alf_length_raw_minus5_div2、alf_coeff_raw[i]、alf_length_error_minus1_div2、alf_coeff_error[i]、alf_length_pred_minus1_div2、および、alf_coeff_pred[i]）を含んでいる。

　loop_filter_modeは、ループフィルタ５６によるフィルタ処理の内容を規定するためのシンタックスであり、上述したフィルタ制御情報に対応している。本実施形態において、loop_filter_modeのとり得る可能な値は０～７である。

　alf_length_default_minus5_div2、AlfNumCoeffDefault、および、alf_coeff_default[i]は、実施形態１および実施形態２において説明したものと同じである。ただし、本構成例においては、alf_length_default_minus5_div2、および、alf_coeff_default[i]は、可変長符号復号部１１によって、loop_filter_modeが２、３、４、５、６、または７である場合に復号される。

　また、alf_coeff_default[i]のセットは、実施形態１および実施形態２において説明したように、フレームメモリ１５に格納されている画像に作用するフィルタのフィルタ係数群G_coeff_defaultを構成する。

　alf_length_raw_minus5_div2、AlfNumCoeffRaw、および、alf_coeff_raw[i]は、実施形態１におけるフィルタパラメータＦＰの第１の構成例において説明したものと同じである。ただし、alf_length_raw_minus5_div2、および、alf_coeff_raw[i]は、可変長符号復号部１１によって、loop_filter_modeが５である場合に復号される。

　また、alf_coeff_raw[i]のセットは、実施形態１において説明したように、復号画像Ｐに作用するフィルタのフィルタ係数群G_coeff_defaultを構成する。

　alf_length_error_minus1_div2、AlfNumCoeffError、および、alf_coeff_error[i]は、実施形態２におけるフィルタパラメータＦＰ’の第１の構成例において説明したものと同じである。ただし、alf_length_error_minus1_div2、および、alf_coeff_error[i]は、可変長符号復号部１１によって、loop_filter_modeが４、６、または７である場合に復号される。

　また、alf_coeff_error[i]のセットは、実施形態２において説明したように、予測残差Ｄに作用するフィルタのフィルタ係数群G_coeff_errorを構成する。

　alf_length_pred_minus1_div2、AlfNumCoeffPred、および、alf_coeff_pred[i]は、実施形態２におけるフィルタパラメータＦＰ’の第１の構成例において説明したものと同じである。ただし、alf_length_pred_minus1_div2、および、alf_coeff_pred[i]は、可変長符号復号部１１によって、loop_filter_modeが７である場合に復号される。

　また、alf_coeff_pred[i]のセットは、実施形態２において説明したように、予測画像Ｐｒｅｄに作用するフィルタのフィルタ係数群G_coeff_predを構成する。

　図１７は、ループフィルタ５６による処理を説明するためのものであって、フィルタパラメータＦＰ’’に含まれるループフィルタモード（loop_filter_mode）の値と、ループフィルタ５６の備えるノイズ除去フィルタ部５６４および適応フィルタ部５６３のオンオフとの対応を示す表である。また、図１７においては、適応フィルタ部５６３への入力数、適応フィルタ部５６３へのデフォルト入力の有無（ｘ印はデフォルト入力があることを示す）、及び、適応フィルタ部５６３への追加入力の有無（ｘ印は追加入力があることを示す）が示されている。ここで、デフォルト入力がある場合とは、フレームメモリ１５に格納された画像（例えば、以下の処理例３－１－３および３－１－５においては復号画像Ｐ、処理例３－１－４、３－１－６、３－１－７、および３－１－８においてはノイズ除去済復号画像Ｐ＿ＮＲ）が適応フィルタ部５６３に入力される場合のことを指し、追加入力がある場合とは、適応フィルタ用メモリ５６２に格納された画像（例えば、以下の処理例３－１－５においては予測残差Ｄ、処理例３－１－６においては復号画像Ｐ、処理例３－１－７においては予測残差Ｄ、処理例３－１－８においては予測残差Ｄおよび予測画像Ｐｒｅｄ）が適応フィルタ部５６３に入力される場合のことを指す。

　以下では、各ループフィルタモードについてのループフィルタ５６の具体的な処理について説明する。

　（処理例３－１－１：ループフィルタモード＝０）
　ループフィルタモードが０である場合に、ループフィルタ５６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－１）と同様である。

　（処理例３－１－２：ループフィルタモード＝１）
　ループフィルタモードが１である場合に、ループフィルタ５６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－２）と同様である。

　（処理例３－１－３：ループフィルタモード＝２）
　ループフィルタモードが２である場合に、ループフィルタ５６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－３）と同様である。

　（処理例３－１－４：ループフィルタモード＝３）
　ループフィルタモードが３である場合に、ループフィルタ５６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－４）と同様である。

　（処理例３－１－５：ループフィルタモード＝４）
　ループフィルタモードが４である場合に、ループフィルタ５６によって行われる処理は、実施形態２におけるループフィルタ３６によって行われる（処理例２－１－５）と同様である。

　（処理例３－１－６：ループフィルタモード＝５）
　ループフィルタモードが５である場合に、ループフィルタ５６によって行われる処理は、実施形態１におけるループフィルタ１６によって行われる（処理例１－１－５）と同様である。

　（処理例３－１－７：ループフィルタモード＝６）
　ループフィルタモードが６である場合に、ループフィルタ５６によって行われる処理は、実施形態２におけるループフィルタ３６によって行われる（処理例２－１－６）と同様である。

　（処理例３－１－８：ループフィルタモード＝７）
　ループフィルタモードが７である場合に、ループフィルタ５６によって行われる処理は、実施形態２におけるループフィルタ３６によって行われる（処理例２－１－７）と同様である。

　（フィルタパラメータＦＰ’’の第２の構成例）
　続いて、ループフィルタ５６が、符号化データ＃５から復号されるフィルタパラメータＦＰ’’の第２の構成例を参照する場合について説明する。

　図１８は、符号化データ＃５から復号され、ループフィルタ５６によって参照されるフィルタパラメータＦＰ’’（loop_filter_param）の第２の構成例を示す図である。図１８に示すように、フィルタパラメータＦＰ’’の第２の構成例は、複数のシンタックス（noise_reduction_filter_flag、adaptive_loop_filter_flag、alf_length_default_minus5_div2、alf_coeff_default[i]、enable_raw_alf、alf_length_raw_minus5_div2、alf_coeff_raw[i]、enable_error_alf、enable_pred_alf、alf_length_error_minus1_div2、alf_coeff_error[i]、alf_length_pred_minus1_div2、alf_coeff_pred[i]）を含んでいる。

　noise_reduction_filter_flagは、ノイズ除去フィルタ部５６４のオンオフを指定するフラグであり、noise_reduction_filter_flagが０の場合、ノイズ除去フィルタ部５６４がオフに指定され、noise_reduction_filter_flagが１の場合、ノイズ除去フィルタ部５６４がオンに指定される。

　adaptive_loop_filter_flagは、適応フィルタ部５６３のオンオフを指定するフラグであり、adaptive_loop_filter_flagが０の場合、適応フィルタ部５６３がオフに指定され、adaptive_loop_filter_flagが１の場合、適応フィルタ部５６３がオンに指定される。

　alf_length_default_minus5_div2、AlfNumCoeffDefault、および、alf_coeff_default[i]は、フィルタパラメータＦＰの第１の構成例において説明したものと同じである。ただし、alf_length_default_minus5_div2、および、alf_coeff_default[i]は、可変長符号復号部１１によって、adaptive_loop_filter_flagが０以外の場合に復号される。

　enable_raw_alfは、適応フィルタ部５６３へ復号画像Ｐを入力するか否かを指定するフラグであり、enable_raw_alfが０の場合、適応フィルタ部５６３へ復号画像Ｐが入力されず、enable_raw_alfが１の場合、適応フィルタ部５６３へ復号画像Ｐが入力される。なお、enable_raw_alfは、可変長符号復号部１１によって、noise_reduction_filter_flagが０以外の場合に復号される。

　alf_length_raw_minus5_div2、AlfNumCoeffRaw、および、alf_coeff_raw[i]は、実施形態１におけるフィルタパラメータＦＰの第２の構成例において説明したものと同じである。ただし、alf_length_raw_minus5_div2、および、alf_coeff_raw[i]は、可変長符号復号部１１によって、alf_raw_alfが１の場合に復号される。

　図１９は、ループフィルタ５６による処理を説明するためのものであって、フィルタパラメータＦＰ’’に含まれるノイズ除去フィルタフラグ（noise_reduction_filter_flag）、適応フィルタフラグ（adaptive_loop_filter_flag）、復号画像追加フラグ（alf_raw_alf）、残差画像追加フラグ（enable_error_alf）、および、予測画像追加フラグ（enable_pred_alf）の各値と、ループフィルタ５６の備える適応フィルタ部５６３への入力数、適応フィルタ部５６３へのデフォルト入力の有無（ｘ印はデフォルト入力があることを示す）、及び、適応フィルタ部５６３への追加入力の有無（ｘ印は追加入力があることを示す）との対応を示す表である。ここで、デフォルト入力がある場合とは、フレームメモリ１５に格納された画像（例えば、以下の処理例３－２－３および３－２－５においては復号画像Ｐ、処理例３－２－４、３－２－６、３－２－７、および３－２－８においてはノイズ除去済復号画像Ｐ＿ＮＲ）が適応フィルタ部５６３に入力される場合のことを指し、追加入力がある場合とは、適応フィルタ用メモリ５６２に格納された画像（例えば、以下の処理例３－２－５においては予測残差Ｄ、処理例３－２－６においては復号画像Ｐ、処理例３－２－７においては予測残差Ｄ、処理例３－２－８においては予測残差Ｄおよび予測画像Ｐｒｅｄ）が適応フィルタ部５６３に入力される場合のことを指す。

　ノイズ除去フィルタフラグ、適応フィルタフラグ、復号画像フラグ、残差画像追加フラグ、および予測画像追加フラグが各値をとる場合、ループフィルタ５６は以下の処理を行う。

　（処理例３－２－１：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝０）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が０である場合、ループフィルタ５６は、上述した処理例３－１－１と同様の処理を行う。

　（処理例３－２－２：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝０）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが０である場合、ループフィルタ５６は、上述した処理例３－１－２と同様の処理を行う。

　（処理例３－２－３：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝０、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグが０であり、適応フィルタフラグが１であり、残差画像追加フラグおよび予測画像追加フラグの双方が０である場合、ループフィルタ５６は、上述した処理例３－１－３と同様の処理を行う。

　（処理例３－２－４：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝０、残差画像追加フラグ＝０、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグおよび適応フィルタフラグの双方が１であり、復号画像追加フラグ、残差画像追加フラグおよび予測画像追加フラグが０である場合、ループフィルタ５６は、上述した処理例３－１－４と同様の処理を行う。

　（処理例３－２－５：ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグが０であり、適応フィルタフラグが１であり、残差画像追加フラグが１であり、予測画像追加フラグが０である場合、ループフィルタ５６は、上述した処理例３－１－５と同様の処理を行う。

　（処理例３－２－６：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝１）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが１であり、残差画像追加フラグが１であり、復号画像追加フラグが１である場合、ループフィルタ５６は、上述した処理例３－１－６と同様の処理を行う。

　（処理例３－２－７：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝０、残差画像追加フラグ＝１、予測画像追加フラグ＝０）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが１であり、復号画像追加フラグが０であり、残差画像追加フラグが１であり、予測画像追加フラグが０である場合、ループフィルタ５６は、上述した処理例３－１－７と同様の処理を行う。

　（処理例３－２－８：ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝０、残差画像追加フラグ＝１、予測画像追加フラグ＝１）
　ノイズ除去フィルタフラグが１であり、適応フィルタフラグが１であり、復号画像追加フラグが０であり、残差画像追加フラグが１であり、予測画像追加フラグが１である場合、ループフィルタ５６は、上述した処理例３－１－８と同様の処理を行う。

　このように、フィルタパラメータＦＰ’’を上記第２の構成例のように構成することによっても、ループフィルタ５６を、フィルタパラメータＦＰ’’が上記第１の構成例のように構成される場合と同様に制御することができる。したがって、フィルタパラメータＦＰ’’を上記第２の構成例のように構成することにより、ループフィルタ５６は、フィルタパラメータＦＰ’’が上記第１の構成例のように構成される場合と同様に、符号化効率を高めつつ、高速なフィルタ処理を行うことができる。

　（動画像符号化装置６）
　本実施形態に係る動画像符号化装置６の構成について図２０を参照して説明する。動画像符号化装置６は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、及び、ＫＴＡソフトウェアに採用されている技術を含む復号装置である。

　図２０は、動画像符号化装置６の構成を示すブロック図である。図２０に示すように、動画像符号化装置６は、予測画像生成部２１、変換・量子化部２２、逆量子化・逆変換部２３、加算器２４、フレームメモリ２５、ループフィルタ６６、フィルタパラメータ導出部６７、可変長符号符号化部２８、および、減算器２９を備えている。動画像符号化装置２は、動画像＃２０（符号化対象画像）を符号化することによって、符号化データ＃３を生成する装置である。

　（ループフィルタ６６）
　図２０に示すように、ループフィルタ６６は、フィルタ制御部６６１、適応フィルタ用メモリ６６２、適応フィルタ部６６３、および、ノイズ除去フィルタ部６６４を備えている。フィルタ制御部６６１、適応フィルタ用メモリ６６２、適応フィルタ部６６３、および、ノイズ除去フィルタ部６６４は、それぞれ、動画像復号装置５におけるループフィルタ５６の備える、フィルタ制御部５６１、適応フィルタ用メモリ５６２、適応フィルタ部５６３、および、ノイズ除去フィルタ部５６４と同様の構成であり、それらの動作については既に説明したため、ここでは説明を省略する。ただし、ループフィルタ５６の説明における「フレームメモリ１５」、および、「符号化データ＃５から復号されるフィルタパラメータＦＰ’’」は、それぞれ、「フレームメモリ２５」、および、「フィルタパラメータ導出部６７から供給されるフィルタパラメータＦＰ’’」と読み替えるものとする。

　（フィルタパラメータ導出部６７）
　フィルタパラメータ導出部６７は、動画像復号装置５の備えるループフィルタ５６、および、動画像符号化装置６の備えるループフィルタ６６によって参照されるフィルタパラメータＦＰ’’を生成する。

　フィルタパラメータ導出部６７は、
（１）ノイズ除去フィルタ部６６４および適応フィルタ部６６３のそれぞれのオンオフ、
（２）ループフィルタ６６の備える適応フィルタ部６６３に入力する画像の種類およびその組み合わせ（復号画像Ｐ、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、および、予測画像Ｐｒｅｄのうち１つ若しくは複数の組み合わせ）、
（３）復号画像Ｐに作用するフィルタのタップ数、
（４）復号画像Ｐに作用するフィルタ係数およびオフセット、
（５）ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタのタップ数、
（６）ノイズ除去済復号画像Ｐ＿ＮＲに作用するフィルタ係数およびオフセット、
（７）予測残差Ｄの示す画像に作用するフィルタのタップ数、
（８）予測残差Ｄの示す画像に作用するフィルタ係数およびオフセット、
（９）予測画像Ｐｒｅｄの示す画像に作用するフィルタのタップ数、
（１０）予測画像Ｐｒｅｄの示す画像に作用するフィルタ係数およびオフセット、
を符号化効率が最適となるように決定する。

　また、フィルタパラメータ導出部６７は、ループフィルタモード（loop_filter_mode）を以下に列挙する値の何れかに設定する。

　・ループフィルタモード＝０：ノイズ除去フィルタ部６６４をオフ、適応フィルタ部６６３をオフに決定する場合
　・ループフィルタモード＝１：ノイズ除去フィルタ部６６４をオン、適応フィルタ部６６３をオフに決定する場合
　・ループフィルタモード＝２：ノイズ除去フィルタ部６６４をオフ、適応フィルタ部６６３をオンに決定する場合であって、適応フィルタ部６６３への入力画像を、復号画像Ｐとする場合
　・ループフィルタモード＝３：ノイズ除去フィルタ部６６４をオン、適応フィルタ部６６３をオンに決定する場合であって、適応フィルタ部６６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲとする場合
　・ループフィルタモード＝４：ノイズ除去フィルタ部６６４をオン、適応フィルタ部６６３をオンに決定する場合であって、適応フィルタ部６６３への入力画像を、復号画像Ｐおよび予測残差Ｄとする場合
　・ループフィルタモード＝５：ノイズ除去フィルタ部６６４をオン、適応フィルタ部６６３をオンに決定する場合であって、適応フィルタ部６６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲおよび復号画像Ｐとする場合
　・ループフィルタモード＝６：ノイズ除去フィルタ部６６４をオン、適応フィルタ部６６３をオンに決定する場合であって、適応フィルタ部６６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲおよび予測残差Ｄとする場合
　・ループフィルタモード＝７：ノイズ除去フィルタ部６６４をオン、適応フィルタ部６６３をオンに決定する場合であって、適応フィルタ部６６３への入力画像を、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、予測画像Ｐｒｅｄとする場合
　ここで、ループフィルタモードを２、３、または４に設定する場合のフィルタパラメータ導出部６７の動作は、それぞれ、ループフィルタモードを２、３、または４に設定する場合の、動画像符号化装置４の備えるフィルタパラメータ導出部４７の動作と同様である。

　また、ループフィルタモードを５に設定する場合のフィルタパラメータ導出部６７の動作は、ループフィルタモードを４に設定する場合の、動画像符号化装置２の備えるフィルタパラメータ導出部２７の動作と同様である。

　また、ループフィルタモードを６または７に設定する場合のフィルタパラメータ導出部６７の動作は、それぞれ、ループフィルタモードを５または６に設定する場合の、動画像符号化装置４の備えるフィルタパラメータ導出部４７の動作と同様である。

　フィルタパラメータ導出部６７は、ループフィルタモード２～７のうち、二乗誤差が最小となるループフィルタモードについて、タップ数、フィルタ係数、および、オフセットをフィルタパラメータＦＰ’’に含める。より一般には、フィルタパラメータ導出部６７は、ループフィルタモード２～７のうち、二乗誤差がより小さくなるループフィルタモードについて、タップ数、フィルタ係数、および、オフセットをフィルタパラメータＦＰ’’に含める。このようにして生成されたフィルタパラメータＦＰ’’は、動画像復号装置５によって参照される。

　以上のようにして構成されたフィルタパラメータＦＰ’’は、上述したフィルタパラメータＦＰ’’の第１の構成例に対応する。

　また、フィルタパラメータ導出部６７は、ループフィルタモード（loop_filter_mode）に代えて、ループフィルタモードと以下の対応付けを有するノイズ除去フィルタフラグ（noise_reduction_filter_flag）、適応フィルタフラグ（adaptive_loop_filter_flag）、復号画像追加フラグ（enable_raw_alf）、残差画像追加フラグ（enable_error_alf）、および、予測画像追加フラグ（enable_pred_alf）をフィルタパラメータＦＰに含める構成としてもよい。

　（ループフィルタモード＝０）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝０
　（ループフィルタモード＝１）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝０
　（ループフィルタモード＝２）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝０、予測画像追加フラグ＝０
　（ループフィルタモード＝３）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加負フラグ＝０、残差画像追加フラグ＝０、予測画像追加フラグ＝０
　（ループフィルタモード＝４）
　ノイズ除去フィルタフラグ＝０、適応フィルタフラグ＝１、残差画像追加フラグ＝１、予測画像追加フラグ＝０
　（ループフィルタモード＝５）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝１
　（ループフィルタモード＝６）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝０、残差画像追加フラグ＝１、予測画像追加フラグ＝０
　（ループフィルタモード＝７）
　ノイズ除去フィルタフラグ＝１、適応フィルタフラグ＝１、復号画像追加フラグ＝０、残差画像追加フラグ＝１、予測画像追加フラグ＝１
　以上のようにして構成されたフィルタパラメータＦＰ’’は、上述したフィルタパラメータＦＰ’’の第２の構成例に対応する。

　以上のように、動画像符号化装置６の備えるループフィルタ６６によるフィルタ処理に用いられるフィルタパラメータＦＰ’’は、符号化効率が最適となるように設定されているため、動画像符号化装置６によれば、符号化効率の高い符号化データ＃５を生成することができる。

　なお、適応フィルタ部６６３に入力する画像の種類は、動画像符号化装置６が外部から取得する情報によって指定されるものであってもよい。この場合、フィルタパラメータ導出部６７は、当該情報によって指定される画像に対して、最適なフィルタ係数およびオフセットを決定する。

　また、フィルタパラメータ導出部６７は、復号画像Ｐ、ノイズ除去済復号画像Ｐ＿ＮＲ、予測残差Ｄ、および、予測画像Ｐｒｅｄの可能な組み合わせ１６通りの全てについて、二乗誤差を算出し、算出された二乗誤差が最も小さい組み合わせを指定するループフィルタモードと共に、当該ループフィルタモードについての、タップ数、フィルタ係数、および、オフセットを符号化データＦＰ’’に含める構成とし、適応フィルタ部６６３、および、動画像復号装置５の備える適応フィルタ部５６３は、当該ループフィルタモードが指定する入力画像の組み合わせに対して、符号化データＦＰ’’から復号されたタップ数、フィルタ係数、および、オフセットを用いたフィルタ処理を行う構成としてもよい。

　＜実施形態１～３におけるノイズ除去フィルタの構成＞
　以下では、実施形態１におけるノイズ除去フィルタ部１６４の構成について説明する。実施形態１におけるノイズ除去フィルタ部２６４、実施形態２におけるノイズ除去フィルタ部３６４および４６４、実施形態３におけるノイズ除去フィルタ部５６４および６６４についても同様である。

　ノイズ除去フィルタ部１６４は、例えば、復号画像Ｐにおいて、ブロック境界およびパーティション境界の何れか一方若しくは双方に生じるブロックノイズを低減するための構成とすることができる。

　このような場合のノイズ除去フィルタ部１６４の構成について図２１～図２５（ａ）～（ｂ）を参照して以下に説明する。

　図２１は、ノイズ除去フィルタ部１６４によるブロックノイズ低減処理（以下、デブロック処理とも呼ぶ）を説明するためのものであって、ブロック境界近傍の画素Ｐi（ｉ＝０～ｎ）およびＱi（ｉ＝０～ｎ）を示す図である。また、図２１において、ｐi（ｉ＝０～ｎ）およびｑi（ｉ＝０～ｎ）は、それぞれ、画素Ｐi（ｉ＝０～ｎ）およびＱi（ｉ＝０～ｎ）の復号画像Ｐにおける画素値を示しており、ｐi’（ｉ＝０～ｎ）およびｑi’（ｉ＝０～ｎ）は、それぞれ、画素Ｐi（ｉ＝０～ｎ）およびＱi（ｉ＝０～ｎ）のノイズ除去済復号画像Ｐ＿ＮＲにおける画素値を示している。

　（構成例１）
　まず、ノイズ除去フィルタ部１６４の第１の構成例について、図２２を参照して説明する。図２２は、ノイズ除去フィルタ部１６４の第１の構成例を示すブロック図である。図２２に示すように、ノイズ除去フィルタ部１６４は、境界エッジ算出部４０１、活性度算出部４０２、および、ＢＦ画素生成部４０３を備えている。

　（境界エッジ算出部４０１）
　境界エッジ算出部４０１は、ブロック境界を介して互いに隣接する２つの画素の画素値に基づき、当該ブロック境界におけるエッジ強度ｄを算出する。具体的には、境界エッジ算出部４０１は、例えば以下の式によって、エッジ強度ｄを算出する。

　ｄ＝｜ｐ0－ｑ0｜
ここで、｜ａ｜は、ａの絶対値を表している（以下同様）。

　（活性度算出部４０２）
　活性度算出部４０２は、ブロック境界近傍の画像の活性度ａｐを算出（検出）する。ここで、活性度とは、概略的に言えば、画像の乱雑さ、若しくは、画像の勾配を示す指標であ。活性度ａｐは、変換係数に大きな高周波成分が存在するかなどによっても検出可能であるが、ここでは隣接する画素の画素値によって検出する場合を例に挙げる。一般に、互いに近傍に位置する画素の画素値の差が大きいほど、活性度が大きくなるという傾向がある。

　活性度算出部４０２は、例えば以下の式によって、活性度ａｐを算出する。

　ａｐ＝｜ｐ2－ｐ0｜
　（ＢＦ画素生成部４０３）
　ＢＦ画素生成部４０３は、境界エッジ算出部４０１によって算出されたエッジ強度ｄ、および、活性度算出部４０２によって算出された活性度ａｐの値を参照し、復号画像Ｐの各画素の画素値から、ノイズ除去済復号画像Ｐ＿ＮＲの各画素の画素値を生成する。

　例えば、ＢＦ画素生成部４０３は、エッジ強度ｄ、および、活性度ａｐがそれぞれ、ｄ＜α、および、ａｐ＜βを満たす場合には、以下の式によって、ノイズ除去済復号画像Ｐ＿ＮＲの各画素値ｐ０’～ｐ２’を算出し（ｑ０’～ｑ２’についても同様）、
　ｐ０´＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１）／８
　ｐ１´＝（ｐ２＋ｐ１＋ｐ０＋ｑ０）／４
　ｐ２´＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｐ０＋ｑ０）／８
そうでない場合には、以下の式によって、ノイズ除去済復号画像Ｐ＿ＮＲの各画素値ｐ０’を算出する（ｑ０’についても同様）。

　ｐ０´＝（２×ｐ１＋ｐ０＋ｑ０）／４
　なお、上記の説明において、αおよびβは、それぞれ、エッジ強度ｄおよび活性度ａｐについて設定される所定の閾値を表すものとする。

　また、上記の説明においては、垂直方向のブロック境界についての処理を例に挙げたが、ＢＦ画素生成部４０３は、水平方向のブロック境界についても同様の処理を行う。

　また、ＢＦ画素生成部４０３は、ブロック境界、すなわち、変換単位の境界のみならず、パーティションの境界、すなわち、予測画像を生成する単位の境界についても同様の処理を行う。

　ノイズ除去フィルタ部１６４は、上記のような構成をとることによって、ブロック境界（またはパーティション境界）におけるエッジ強度、および、活性度が大きい場合には、過剰な平滑化を避けつつ、ブロックノイズ低減処理を行うことができる。

　また、ノイズ除去フィルタ部１６４は、上記の構成に加えて、適応的なフィルタ処理を行う構成としてもよい。例えば、ノイズ除去フィルタ部１６４は、ブロック境界（またはパーティション境界）を介して隣接するパーティションが、インター予測パーティションであるのか、または、イントラ予測パーティションであるのかに応じて、互いに異なる複数のフィルタ処理の何れかを行う構成としてもよいし、ブロック境界（またはパーティション境界）を介して隣接するパーティションに割り付けられた動きベクトルの大きさに応じて、互いに異なる複数のフィルタ処理の何れかを行う構成としてもよいし、ブロック境界（またはパーティション境界）を介して隣接するブロックにおける量子化予測残差の値に応じて、互いに異なる複数のフィルタ処理の何れかを行う構成としてもよい。

　また、ノイズ除去フィルタ部１６４によるデブロック処理は、上記の例に限定されるものではなく、従来知られたデブロック処理を用いる構成、例えば、ＤＣＴを用いた処理を行う構成としてもよい。

　（構成例２）
　続いて、ノイズ除去フィルタ部１６４の第２の構成例について、図２３（ａ）～（ｂ）を参照して説明する。図２３（ａ）は、ノイズ除去フィルタ部１６４の第２の構成例を示すブロック図である。図２３（ａ）に示すように、ノイズ除去フィルタ部１６４は、垂直境界値参照部５０１、水平境界値参照部５０２、対象画素値参照部５０３、ＢＦ重み算出部５０４、および、加重平均部５０５を備えている。

　図２３（ｂ）は、ノイズ除去フィルタ部１６４の処理において参照する画素を説明するための模式図である。図２３（ｂ）においてＢはブロック境界もしくはパーティション境界である。ＸＴはフィルタ対象画素、ＸＶは垂直ブロック境界画素、ＸＨは水平ブロック境界画素を示す。ノイズ除去フィルタ部１６４は、ＸＴ、ＸＶ、ＸＨを用いて画像を生成する。

　ノイズ除去フィルタ部１６４の備える垂直境界値参照部５０１は、フィルタ対象画素が属するブロック（またはパーティション）に隣接するブロック（またはパーティション）内の画素で、フィルタ対象画素に最も近い垂直境界に隣接する画素を参照する。すなわち、条件１：フィルタ対象画素が属するブロック（またはパーティション）に隣接するブロック（またはパーティション）内の画素であること、条件２：フィルタ対象画素と同じＸ座標を持つ画素であること、および、条件３：ブロック（またはパーティション）に隣接する画素であること、の３つの条件を満たす画素のうち、フィルタ対象画素に最も近い画素の画素値を参照する。但し、最も近い画素が複数存在する場合には所定の処理（例えば最もＸ座標とＹ座標とが小さい画素）によって１つを選択する。この画素を垂直境界画素ＸＶと呼ぶことにし、その画素値をｘｖと表すことにする。

　水平境界値参照部５０２も、同様に、フィルタ対象画素が属するブロック（またはパーティション）に隣接するブロック（またはパーティション）内の画素で、フィルタ対象画素に最も近い水平境界に隣接する画素を参照する。この画素が水平境界画素ＸＨと呼ぶことにし、その画素値をｘｈと表すことにする。

　対象画素値参照部５０３は、フィルタ対象画素ＸＴの画素値を参照する。その画素値をｘｔと表すことにする。

　ＢＦ重み算出部５０４は、加重平均部５０５で使用される重みを下記の手順によって算出する。

　まず、ＢＦ重み算出部５０４は、フィルタ対象画素と垂直境界画素の距離Ｄｖ、及び、フィルタ対象画素と水平境界画素の距離Ｄｈを算出する。次に対象ブロック（または対象パーティション）のサイズに応じて、以下の式によって、距離Ｄ（ＤｖもしくはＤｈ）から重みｐ（ｐｖもしくはｐｈ）を算出する。

　（対象ブロック（または対象パーティション）のサイズが４×４の場合）
　ｐ＝ｔｏｔａｌ×４／８　Ｄ＝１（図２１のｐ０に相当）　　　…（Ａ１）
　ｐ＝ｔｏｔａｌ×１／８　Ｄ＝２（図２１のｐ１に相当）
　（対象ブロック（または対象パーティション）のサイズが８×８の場合）
　ｐ＝ｔｏｔａｌ×４／８　Ｄ＝１（図２１のｐ０に相当）
　ｐ＝ｔｏｔａｌ×２／８　Ｄ＝２（図２１のｐ１に相当）
　ｐ＝ｔｏｔａｌ×１／８　Ｄ＝３（図２１のｐ２に相当）
　ｐ＝０　　　　　　　　　Ｄ＝それ以外
　（対象ブロック（または対象パーティション）のサイズが１６×１６の場合）
　ｐ＝ｔｏｔａｌ×４／８　Ｄ＝１（図２１のｐ０に相当）
　ｐ＝ｔｏｔａｌ×３／８　Ｄ＝２（図２１のｐ１に相当）
　ｐ＝ｔｏｔａｌ×２／８　Ｄ＝３（図２１のｐ２に相当）
　ｐ＝ｔｏｔａｌ×１／８　Ｄ＝４（図２１のｐ３に相当）
　ｐ＝０　　　　　　　　　Ｄ＝それ以外
　なお、垂直境界の場合にはＤをＤｖ、ｐをｐｖと読み替え、水平境界の場合にはＤをＤｈ、ｐをｐｈと読み替えて算出する。ｔｏｔａｌは値を整数化するために使用される値であり、２５６程度を用いると良い（以下同様）。

　上記の重み算出では、境界からの距離が大きくなるほど重みが小さくなるように調整している。

　また、ＢＦ重み算出部５０４は、重みｐｔを以下の式（Ａ２）によって算出する。

　ｐｔ＝（ｔｏｔａｌ―ｐｈ－ｐｖ）　　　…（Ａ２）
　加重平均部５０５は、ＢＦ重み算出部５０４で算出された重みｐｔ、ｐｖ、ｐｈ、フィルタ対象画素値ｘｔ、垂直境界画素値ｘｖ、および、水平境界画素値ｘｈの加重平均をとることによってノイズ除去済復号画像Ｐ＿ＮＲの画素値ｘｄを算出する。具体的には、以下の式（Ａ３）によって算出する。

　ｘｄ＝｛ｐｔ×ｘｔ＋ｐｖ×ｘｖ＋ｐｈ×ｘｈ＋ｔｏｔａｌ２｝＞＞ｓｈｉｆｔ
　…（Ａ３）
ここで、＞＞は右シフトを示す記号である。なお、ｔｏｔａｌは１＜＜ｓｈｉｆｔ、ｔｏｔａｌ２はｔｏｔａｌ／２とする。＜＜は左シフトを示す記号である。

　また、ｓｈｉｆｔは８程度であることが好ましい。式（Ａ３）は、整数演算処理で算出する場合に好適に用いることができる。

　なお、小数演算の場合には以下の式（Ａ４）を用いて算出する構成とすることが好ましい。なお小数演算の場合には、ＢＦ重み算出部５０４においてｔｏｔａｌ＝１を用いる。

　ｘｄ＝ｐｔ×ｘｔ＋ｐｖ×ｘｖ＋ｐｈ×ｘｈ　　　…（Ａ４）
　ノイズ除去フィルタ部１６４は、上記の処理を、ブロックの境界およびパーティションの境界に対して行う。

　また、式（Ａ１）～式（Ａ３）の重み算出においてｔｏｔａｌの代わりにｔｏｔａｌ×４のような値を用いても良い。

　ｐ＝ｔｏｔａｌ×４／８　Ｄ＝１（図２１のｐ０に相当）　　　…（Ａ５）
　この場合、重みｐｔは式（Ａ２）ではなく以下の式（Ａ６）になる。

　ｐｔ＝（ｔｏｔａｌ×４―ｐｈ－ｐｖ）　　　…（Ａ６）
　このようにするとノイズ除去済復号画素Ｐ＿ＮＲのダイナミックレンジは４倍になるが、適応フィルタ部１６３は、その分精度の高いノイズ除去済復号画像Ｐ＿ＮＲを用いることができる。適応フィルタ部１６３でのフィルタ係数は固定小数精度（小数精度をｔｏｔａｌでかけて整数化して実現）であり整数精度以上の精度を用いるため、高精度の参照画像の値を有効に利用できる。そのため、ノイズ除去済復号画像Ｐ＿ＮＲのダイナミックレンジの拡大は、符号化歪み低減の精度を向上させる。

　さらに、重みｐｔの算出では、式（Ａ２）ではなくｐｈ＋ｐｖ＋ｐｔ＝０を満たすような以下の式（Ａ７）を用いても良い。

　ｐｔ＝―（ｐｈ＋ｐｖ）　　　…（Ａ７）
　この場合、以下の式（Ａ８）によりノイズ除去済復号画素Ｐ＿ＮＲの画素値を算出するとさらに適当である。

　ｘｄ＝ｃｌｉｐ（－１２７、１２８、ｐｔ×ｘｔ＋ｐｖ×ｘｖ＋ｐｈ×ｘｈ）
　…（Ａ８）
　ここでｃｌｉｐ（ｘ、ｙ、ｚ）は、ｚをｘ以上、ｙ以下にクリップする演算を示す。

　位置が近い画素値は互いに近い値をとる（ｘｖ≒ｘｈ≒ｘｔ）ことが多いが、ｐｈ＋ｐｖ＋ｐｔ＝０、つまり、画素にかかる重みの総和が０にした場合には、その加重平均の値は０に近くなる。この場合は、比ゆ的には画素値の補正量もしくは画素値の差分に対応し画素値のダイナミックレンジは小さくなる。

　このようにすることで、ｔｏｔａｌの代わりにｔｏｔａｌ×４のように重みを大きくすることによりダイナミックレンジを拡大した場合においても、ノイズ除去済復号画素Ｐ＿ＮＲのダイナミックレンジを抑えることが可能になり、少ないビット（ここでは８ビット、－１２８～１２７）でノイズ除去済復号画素Ｐ＿ＮＲを格納することができる。このようにするとノイズ除去済復号画素Ｐ＿ＮＲを一時バッファ（例えば、適応フィルタ用メモリ１６２）に格納する場合において、必要となる一時バッファのメモリ量を低減させることができる。

　（構成例３）
　続いて、ノイズ除去フィルタ部１６４の第３の構成例について、図２４（ａ）～（ｂ）を参照して説明する。図２４（ａ）は、ノイズ除去フィルタ部１６４の第３の構成例を示すブロック図である。図２４に示すように、ノイズ除去フィルタ部１６４は、第２の垂直境界値参照部５０１ｂ、第２の水平境界値参照部５０２ｂ、第２の対象画素値参照部５０３ｂ、第２のＢＦ重み算出部５０４ｂ、および、第２の加重平均部５０５ｂを備えている。

　図２４（ｂ）は、ノイズ除去フィルタ部１６４の処理において参照する画素を説明するための模式図である。図２４（ｂ）において、Ｂはブロック境界もしくはパーティション境界である。ＸＴはフィルタ対象画素、ＸＶ１、ＸＶ２は垂直ブロック境界画素、ＸＨ１、ＸＨ２は水平ブロック境界画素を示す。ノイズ除去フィルタ部１６４は、フィルタ対象画素ＸＴと、隣接するブロックの境界画素ＸＶ１、ＸＶ２、ＸＨ１、ＸＨ２を参照してノイズ除去済復号画像Ｐ＿ＮＲを生成する。

　第２の垂直境界値参照部５０１ｂは、フィルタ対象画素の左および右に存在する垂直境界の画素を２つ参照する。この画素がＸＶ１、ＸＶ２であり、画素値をｘｖ１、ｘｖ２と呼ぶ。

　第２の水平境界値参照部５０２ｂも同様にフィルタ対象画素の上および下に存在する水平境界の画素を２つ参照する。この画素がＸＨ１、ＸＨ２であり、画素値をｘｈ１、ｘｈ２と呼ぶ。

　第２の対象画素値参照部５０３ｂは、フィルタ対象画素の画素値を参照する。この画素がＸＴであり、画素値をｘｔと呼ぶ。

　第２のＢＦ重み算出部５０４ｂは、第２の加重平均部５０５ｂで使用される重みｐｔ、ｐｖ１、ｐｖ２、ｐｈ１、ｐｈ２を下記の手順で算出する。

　まず、第２のＢＦ重み算出部５０４ｂは、フィルタ対象画素ＸＴと垂直境界画素ＸＴ１及びＸＴ２の距離Ｄｖ１、Ｄｖ２を算出し、さらにフィルタ対象画素ＸＴと水平境界画素ＸＶ１及びＸＶ２の距離Ｄｈ１、Ｄｈ２を算出する。次に対象ブロック（または対象パーティション）のサイズに応じて、以下の式によって、距離Ｄｖ１、Ｄｖ２、Ｄｈ１、Ｄｈ２から重みｐｖ１、ｐｖ２、ｐｈ１、ｐｈ２を算出する。

　（対象ブロック（または対象パーティション）のサイズが４×４の場合）
　ｐ＝ｔｏｔａｌ×１／（Ｄ×２）　　　…（Ａ９）
　（対象ブロック（または対象パーティション）のサイズが８×８の場合）
　ｐ＝ｔｏｔａｌ×２／（（Ｄ＋１）×２）
　（対象ブロック（または対象パーティション）のサイズが１６×１６の場合）
　ｐ＝ｔｏｔａｌ×４／（（Ｄ＋３）×２）
　なお、垂直境界の場合にはＤをＤｖ１、Ｄｖ２、ｐをｐｖ１、ｐｖ２と読み替え、水平境界の場合にはＤをＤｈ１、Ｄｈ２、ｐをｐｈ１、ｐｈ２と読み替えて算出する。

　この重み算出では、境界からの距離が大きくなるほど重みが小さくなるように調整している。

　また重みｐｔは以下の式で算出する。

　ｐｔ＝（ｔｏｔａｌ―ｐｈ１－ｐｖ１－ｐｈ２－ｐｖ２）
　もしくは式（５－９）以後のｐｖ１、ｐｖ２、ｐｈ１、ｐｈ２の算出においてｔｏｔａｌの代わりにｔｏｔａｌ×４を用いた上で重みｐｔを以下の式で算出する。

　ｐｔ＝（ｔｏｔａｌ×４―ｐｈ１－ｐｖ１－ｐｈ２－ｐｖ２）
　これにより高い精度のＢＦ後画像が得られる。

　もしくは重みｐｔは画素の重みの和が０となるように以下の式（Ａ１０）によって算出することも、ノイズ除去済復号画像Ｐ＿ＮＲの画素値ｘｄのダイナミックレンジの抑制に適当である。

　ｐｔ＝―（ｐｈ１＋ｐｖ１＋ｐｈ２＋ｐｖ２）　　　…式（Ａ１０）
　第２の加重平均部５０５ｂは、第２のＢＦ重み算出部５０４ｂで算出された重みｐｔ、ｐｖ１、ｐｖ２、ｐｈ１、ｐｈ２、とフィルタ対象画素値ｘｔ、垂直境界画素値ｘｖ１、ｘｖ２、水平境界画素値ｘｈ１、ｈｖ２の加重平均からＢＦ後画像の画素値ｘ´を算出する。算出は以下の式（Ａ１１）によって行われる。

　ｘｄ＝｛ｐｔ×ｘｔ＋ｐｖ１×ｘｖ１＋ｐｖ２×ｘｖ２＋ｐｈ１×ｘｈ１＋ｐｈ２×ｘｈ２＋ｔｏｔａｌ２｝＞＞ｓｈｉｆｔ　　　…（Ａ１１）
　また、さらに各重みのダイナミックレンジを復号画像Ｐの値の範囲に抑えると良い。復号画像Ｐのビット深度が８である場合には、ダイナミックレンジは０から２５５であるから、以下の式によりｘｄの範囲を制限する。

　ｘｄ＝ｃｌｉｐ（０、２５５、ｘｄ）
　また、重みｐｔの算出に式（Ａ１０）を用いる場合には、ノイズ除去済復号画像Ｐ＿ＮＲの画素値ｘｄのダイナミックレンジを抑えることができるが、ノイズ除去済復号画像Ｐ＿ＮＲの格納用のメモリをさらに削減するには以下のようにさらにクリップし確実に所定のビット幅で格納できるようにすればよい。

　ｘｄ＝ｃｌｉｐ（－１２７、１２８、ｘｄ）
　ノイズ除去フィルタ部１６４は、上記の処理に限定されず、対象ブロック（または対象パーティション）に隣接するブロック（またはパーティション）の境界付近の画素値を用いて、適応フィルタ部１６３によって参照される画像の画素値を算出する処理であれば良い。

　例えば、ノイズ除去フィルタ部１６４の処理として、デブロック処理のダイナミックレンジを拡大しても良い。

　より具体的には図２２で示されるノイズ除去フィルタ部１６４の第１の構成例におけるＢＦ画素生成部４０３を以下のＢＦ画素生成部４０３´に置き替えても良い。ＢＦ画素生成部４０３´に入力された「ｄ」および「ａｐ」が、所定の閾値α、βに対して、ｄ＜α、かつ、ａｐ＜βである場合に以下のフィルタ処理を施す。

　ｐ０´＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１）
　ｐ１´＝（ｐ２＋ｐ１＋ｐ０＋ｑ０）×２
　ｐ２´＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｐ０＋ｑ０）×２
　そうではない場合には、以下のフィルタを施す。

　ｐ０´＝（２×ｐ１＋ｐ０＋ｑ０）×２
　なお、上記処理を行わない部分の画素値も８倍とする。

　このように画素値のダイナミックレンジを拡大する（ＢＦ画素生成部４０３に比べ８倍に拡大）ことによって、フィルタ処理で発生する除算（／８）によりラウンド処理を削除し、デブロック処理の精度を向上させることができる。最終的に、画素値のダイナミックレンジを元のレンジに戻す処理は、適応フィルタ部１６３で行われる。適応フィルタ部１６３でのフィルタ係数は固定小数精度であり整数精度以上の精度を用いるため、高精度の参照画像の値を有効に利用できる。そのため、ノイズ除去済復号画像Ｐのダイナミックレンジの拡大は、符号化歪み低減の精度を向上させる。

　また、ノイズ除去フィルタ部１６４の別の処理として、デブロック処理の出力と入力の差分、すなわち、ブロックノイズ低減処理における入力信号の補正量を、ノイズ除去フィルタ部１６４が出力するとしても良い。より具体的には、ノイズ除去フィルタ部１６４は、デブロック処理の入力をＩＮ、出力をＢＦと表現した場合、以下の式で表現される値ΔＢＦを画素値とする画像を出力する構成としてもよい。

　ΔＢＦ＝ＢＦ－ＩＮ
　より具体的には図５で示されるノイズ除去フィルタ部１６４の第１の構成例におけるＢＦ画素生成部４０３を以下のＢＦ画素生成部４０３´´に置き替えても良い。ＢＦ画素生成部４０３´´に入力された「ｄ」および「ａｐ」が、所定の閾値α、βに対して、ｄ＜α、かつ、ａｐ＜βである場合に以下のフィルタ処理を施す。

　ｐ０´＝ｃｌｉｐ（―１２７、１２８、（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１）―８×ｐ０）
　ｐ１´＝ｃｌｉｐ（―１２７、１２８、（ｐ２＋ｐ１＋ｐ０＋ｑ０）×２―８×ｐ１）
　ｐ２´＝ｃｌｉｐ（―１２７、１２８、（２×ｐ３＋３×ｐ２＋ｐ１＋ｐ０＋ｑ０）×２―８×ｐ２）
　そうではない場合には、以下のフィルタを施す。

　　ｐ０´＝ｃｌｉｐ（―１２７、１２８、（２×ｐ１＋ｐ０＋ｑ０）×２―８×ｐ０）
　なお、上記処理を行わない部分の画素値は０とする。

　このようにデブロック処理後の画像の代わりに、デブロック処理における補正量からなる画像をノイズ除去済復号画像Ｐ＿ＮＲに用いることによって、ダイナミックレンジを拡大した場合においても、ノイズ除去済復号画像Ｐ＿ＮＲのダイナミックレンジを抑えることが可能になり、少ないビット（ここでは８ビット、－１２８～１２７）でノイズ除去済復号画像Ｐ＿ＮＲを格納することができる。このようにするとノイズ除去済復号画像Ｐ＿ＮＲを一時バッファ（例えば、適応フィルタ用メモリ１６２）に格納する場合において、必要となる一時バッファのメモリ量を低減させることができる。

　また、デブロック処理とは逆に、ブロックノイズを強調する処理を行う処理を用いても良い。例えば、ノイズ除去フィルタ部１６４は、以下の式で表現される値ΔＢＦを画素値とする画像を出力する構成としてもよい。ブロックノイズを強調する処理の逆演算がブロックノイズ低減になることから、適当なブロックノイズ強調フィルタであっても適応フィルタ部１６３の重みづけによりブロックノイズ低減効果及びデブロッキング強度調整効果を得ることができる。

　ΔＢＦ´＝（ＢＦ－ＩＮ）×２＋ＩＮ
　なお、処理対象ブロックとは異なるブロック（隣接ブロック）の画素は、予測もしくは変換が異なることから、処理対象ブロックと異なる特性を有する。このような異なる特性の画素値を適応フィルタ部１６３の入力信号として用いると歪み低減の効果を増大させることができる。ノイズ除去フィルタ部１６４は、隣接ブロックの画素値を用いて、適応フィルタ対象画素の参照画素を生成するものであり、異なる特性の入力信号を準備することを意味する。

　さらに、ノイズ除去フィルタ部１６４は、ブロック境界との位置関係に応じて処理を変更している。適応フィルタ部１６３においては、位置関係に応じて異なる処理を行うためには位置毎に異なる重み係数の組が必要になりフィルタ係数が増加する。適応フィルタ部１６３の入力信号として、ノイズ除去フィルタ部１６４の出力画像を用いることによって、ブロック境界との位置関係に応じた処理をノイズ除去フィルタ部１６４が行うことできるため、多くのフィルタ係数を符号化することなく、適応フィルタ部１６３によって、境界との位置関係に応じた適応的フィルタ処理を施すことが可能になる。

　また、ノイズ除去フィルタ部１６４は、境界および境界付近の画素を参照する。一般に境界画素値に近づける処理はブロックノイズ低減になることから、この構成においてブロックノイズ低減効果を得ることができる（逆に境界画素値から遠ざけることによってブロックノイズ低減効果を弱めることもできる）。ノイズ除去済復号画像Ｐ＿ＮＲは、適応フィルタ部１６３の入力に用いられることから、適応フィルタ部１６３においてブロックノイズ低減の強度を調整することもできる（すなわちデブロック強度調整効果が得られる）。

　ループフィルタ１６が、ノイズ除去フィルタ部１６４を備えない構成においても、フィルタ対象画素が境界付近にある場合などにおいて境界付近の画素を参照するが、参照のされ方は、フィルタ対象画素と境界の位置関係によって変化する。そのため、境界付近の画素の重みを変化させるには、境界との位置関係に応じて異なるフィルタ係数を用いる必要があるが、このような構成では、フィルタ係数の符号量が大きくなる。実施形態においては、ノイズ除去フィルタ部１６４が、境界との位置関係を考慮した重みで境界付近の画素を明示的に参照することによって、少ない符号量でデブロック強度調整効果を得ることができる。

　（構成例４）
　続いて、ノイズ除去フィルタ部１６４の第４の構成例について、図２５（ａ）～（ｂ）を参照して説明する。図２５（ａ）は、ノイズ除去フィルタ部１６４の処理において参照する画素を説明するための模式図である。以下の説明においては、図２５（ａ）に示すように、４×８画素のブロック（またはパーティション、以下同様）Ａに属する各画素の画素値は、ｐＮ_M（Ｎ＝０～３、Ｍ＝０～７）によって表され、ブロックＡに隣接するブロックである４×８画素のブロック（またはパーティション、以下同様）Ｂに属する各画素の画素値は、ｑＮ_Mによって表されるものとする。

　ノイズ除去フィルタ部１６４は、以下の条件４が満たされているときであって、以下の条件１～３の何れかが満たされているときに、ブロックＡとブロックＢとの境界に対して、デブロック処理を行う。なお、以下の説明においてマクロブロックとは、ＬＣＵに対応する処理単位のことである。

　条件１：ブロックＡまたはブロックＢがイントラ予測が適用されている（mbMode==INTRA）。

　条件２：ブロックＡまたはブロックＢが０でない変換係数を有している。

　条件３：ブロックＡおよびブロックＢの予測に用いられる動きベクトルの水平成分または垂直成分の絶対値差分が、１／４画素を単位として、４以上である。

　条件４：|p2₂-2*p1₂+p0₂|+|q2₂-2*q1₂+q0₂|+|p2₅-2*p1₅+p0₅|+|q2₅-2*q1₅+q0₅|<β
が満たされている。

　なお、条件４におけるβは、ノイズ除去フィルタ部１６４の構成例１～３において用いたβとは異なる値であってもよい。

　また、ノイズ除去フィルタ部１６４は、以下の条件５～９の何れかが満たされているとき、ブロックＡとブロックＢとの境界に対して、デブロック処理を行わない。

　条件５：ブロックＡおよびブロックＢが同じマクロブロックに属しており、かつ、mb_svt_flag=1である。

　条件６：ブロックＡおよびブロックＢが同じマクロブロックに属しており、かつ、（mb_Mode==INTER_16x16またはmb_Mode==INTRA）であり、１６×１６画素の変換が用いられている。

　条件７：ブロックＡとブロックＢとの境界が拡大マクロブロックＬＭＢ３２の内部に存在する。

　条件８：ブロックＡとブロックＢとの境界が拡大マクロブロックＬＭＢ６４の内部に存在する。

　条件９：ブロックＡとブロックＢとの境界がマクロブロックの境界に重複しており、かつ、ブロックＡおよびブロックＢについてplanar_frag==1である。

　ブロックＡとブロックＢとの境界にデブロック処理を行う場合、デブロック処理として、弱いフィルタ（weak filtering）および強いフィルタ（strong filtering）の２つのタイプのフィルタリングの何れかが施される。強いフィルタおよび弱いフィルタの何れを用いるかの選択は、以下の条件にしたがって、ライン毎に行われる。i=0,7のそれぞれのラインについて、以下の条件１０～１２の全てが満たされる場合には、強いフィルタが施され、そうでない場合には、弱いフィルタが施される。

　条件１０：d<(β>>2)が満たされている。

　条件１１：(|p3_i-p0_i|+|q0_i-q3_i|)<(β>>3)が満たされている。

　条件１２：|p0_i-q0_i|<((5*t_C+1)>>1)が満たされている。
ここで、t_Cおよびβは、量子化パラメータqpに依存する。図２５（ｂ）は、t_Cおよびβと量子化パラメータqpとの対応を示す表である。なお、t_Cの値は、ブロックＡおよびブロックＢの何れかについてmb_Mode==INTRAである場合には、４増加する。

　なお、弱いフィルタを施す場合の各画素の画素値は、以下のように算出される。

　Δ=Clip(-t_C,t_C,(13*(q0_i-p0_i)+4*(q1_i-p1_i)-5*(q2_i-p2_i)+16)>>5))　　(i=0,7)
　p0_i=Clip_0-255(p0_i+Δ)　　　　　　　　　　　　　　　　　　　　　　(i=0,7)
　q0_i=Clip_0-255(q0_i-Δ)　　　　　　　　　　　　　　　　　　　　　　(i=0,7)
　p1_i=Clip_0-255(p1_i+Δ/2)　　　　　　　　　　　　　　　　　　　　　(i=0,7)
　q1_i=Clip_0-255(q1_i-Δ/2)　　　　　　　　　　　　　　　　　　　　　(i=0,7)
　また、強いフィルタを施す場合の各画素の画素値は、以下のように算出される。

　p0₀=Clip_0-255((p2_i+2*p1_i+2*p0_i+2*q0_i+q1_i+4)>>3)　　　　　　　　　　(i=0,7)
　q0₀=Clip_0-255((p1_i+2*p0_i+2*q0_i+2*q1_i+q2_i+4)>>3)　　　　　　　　　　(i=0,7)
　p1₀=Clip_0-255((p2_i+p1_i+p0_i+q0_i+2)>>2)　　　　　　　　　　　　　　　(i=0,7)
　q1₀=Clip_0-255((p0_i+q0_i+q1_i+q2_i+2)>>2)　　　　　　　　　　　　　　　(i=0,7)
　p2₀=Clip_0-255((2*p3_i+3*p2_i+p1_i+p0_i+q0_i+4)>>3)　　　　　　　　　　　(i=0,7)
　q2₀=Clip_0-255((p0_i+q0_i+q1_i+3*q2_i+2*q3_i+4)>>3)　　　　　　　　　　　(i=0,7)
　以上のように、ノイズ除去フィルタ部１６４は、主に、ブロック（またはパーティション）の境界に生じるブロックノイズを低減するための構成とすることができる。

　また、ノイズ除去フィルタ部１６４は、ブロックノイズを低減するための構成に代えて、非線形デノイジングフィルタ（Non-linear Denoising Filter、NDF）としてもよい。

　すなわち、ノイズ除去フィルタ部１６４は、（１）復号画像ＤＣＴ変換を行い、（２）ＤＣＴ変換後の各周波数成分のうち、予め定められた閾値以下の周波数成分を０に設定する微小係数除去処理を行い、（３）微小係数除去処理を行った後の各周波数成分を逆ＤＣＴ変換することによって、ノイズ除去済復号画像Ｐ＿ＮＲの画素値を算出する構成としてもよい。

　また、ノイズ除去フィルタ部１６４は、（構成例１）～（構成例４）の何れかの構成と、非線形デノイジングフィルタの構成との双方を備える構成とし、復号画像Ｐに対して、デブロッキング処理および非線形デノイジング処理の双方を施すことによってノイズ除去済復号画像Ｐ＿ＮＲを生成する構成としてもよい。

　〔実施形態４〕
　以下では、本発明の第４の実施形態について説明する。本実施形態の具体的な説明に先立ち、上述した内容とも一部重複するが、背景技術及びその課題を本実施形態の観点から概観する。

　（背景技術）
　動画像符号化技術の分野では、一般に、画像データ（画像情報）を複数の予測ブロックに分割し、分割した予測ブロック単位で予測を行い、予測画像と入力画像の差分（残差）を直交変換し、得られた変換係数を量子化した上で、量子化された変換係数の可変長符号化により符号化する。差分（残差）の直交変換は、予測ブロックと同一の、あるいは、予測ブロックとは独立に定められた変換ブロック単位で行われる。このような符号化方法では、予測を行う単位もしくは直交変換を実行する単位の境界において大きな歪み（いわゆる、ブロックノイズ）が生じやすい。また、ブロックノイズ以外にも、ボケやモスキートノイズなどさまざまな符号化ノイズが発生する。

　これらの歪みを低減するために、予測の際に参照画像として利用される復号画像にフィルタ処理を行う技術が開示されている。

　文献（「VCEG-AI18」,Telecommunication Standardization Sector,35th Mee-ting:Berlin,Germany,07/2008）（以下文献Ａ１とも呼ぶ）には、フィルタ対象画素の周囲の５×５もしくは７×７もしくは９×９画素の重み付和によって空間的なフィルタ処理を行う適応ループフィルタ（ＡｄａｐｔｉｖｅＬｏｏｐＦｉｌｔｅｒ、以下ＡＬＦ）と呼ばれる技術が開示されている。ＡＬＦでは既に符号化した重み係数を用いて予測符号化し、重み係数の予測誤差を符号化することで重み係数の符号量の低減が行われる。

　文献（「JCTVC-A114」、Description of video coding technology proposal by France Telecom, NTT, NTT DOCOMO, Panasonic and Technicolor, JCTVC Contribution JCTVC-A114, Dresden, Germany, April 2010）（以下文献Ａ２とも呼ぶ）には、ＡＬＦの入力信号を１つから３つに増やした方法が開示されている。この３入力ＡＬＦでは、復号画像のノイズを除去するデノイジングフィルタ（ＤＮＦ）を備え、ＤＮＦ後の復号画像と、予測画像、残差画像に対して、各々重み係数との積和を算出することによって、フィルタ処理が行われる。なお、ＤＮＦは、周波数領域における微小係数の除去によって行われる。３入力ＡＬＦにおいても、重み係数の予測符号化が行われる。重み係数の符号化は、ＤＮＦ後画像、予測画像、誤差画像の順で行われ、予測画像の中心要素にかかる重み係数は、ＤＮＦ後画像の中心要素にかかる符号化済みの重み係数から予測され差分値が符号化される。誤差画像の中心要素にかかる重み係数は、ＤＮＦ後画像の中心要素にかかる復号済みの重み係数と、予測画像の中心要素にかかる重み係数とから予測され差分値が符号化される。復号処理においても、重み係数の予測は符号化と同じ順で行われる。

　なお、上述のＡＬＦでは、ピクチャあるいはスライスごとに、フィルタが適用された後の参照画像と原画像との誤差が最小となる重み係数を定める。

　しかしながら、文献Ａ１のＡＬＦは、入力信号が１つであるから、入力信号が複数に増えた場合に有効な重み係数の符号化方法は明らかとされていない。

　文献Ａ１の３入力ＡＬＦは、入力信号が３つであり、予測画像の中心要素にかかる重み係数、誤差画像の中心要素にかかる重み係数が予測されるが、入力信号の性質を十分に活かしていないために予測精度が低いという課題があった。予測精度が低い場合には、重み係数の符号量が増加するという問題が生じる。

　（課題）
　発明者は、上記の問題に鑑み、複数種別の信号を入力が可能な適応フィルタで用いられるフィルタ係数に関する効率的な予測方法に関する知見を得た。

　（本実施形態に係る動画像復号装置の概観）
　上記の問題を解決するために、本実施形態に係る動画像復号装置は、複数種別の信号を入力可能な適応フィルタと、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴としている。

　上記のように構成された本実施形態に係る動画像復号装置は、入力画像として複数種別の信号が存在する場合にも適用可能な重み係数和算出手段によって、フィルタ係数を精度よく予測することが可能である。そのため、予測差分値として符号化されるフィルタ係数の符号量を低減することができる。

　続いて、本実施形態についてより具体的に説明を行う。

　（適応フィルタ）
　本実施形態に係る動画像復号装置７の説明に先立ち、本実施形態に係る動画像符号化装置８及び動画像復号装置７で用いられる適応フィルタについて簡単に説明する。次に、上記適応フィルタで用いられるフィルタ係数の予測方法の概念を説明する。

　適応フィルタとは、原画像と適応フィルタ処理の出力画像との二乗誤差がより小さくなるように最適化されたフィルタ係数を用いたウィナーフィルタである。動画像符号化装置で算出された最適なフィルタ係数は、符号化データを通じて動画像復号装置に伝送される。動画像復号装置では、符号化データからフィルタ係数を復号し、復号したフィルタ係数と適応フィルタの入力信号との積和によってフィルタ処理を行う。

　適応フィルタの入力信号としては、複数種類の信号を用いることが可能であるが、本実施形態では、動画像復号装置で得られる復号画像の他、復号画像にノイズ低減フィルタ（ＮｏｉｓｅＲｅｄｕｃｔｉｏｎＦｉｌｔｅｒ、ＮＲＦと呼ぶ）を施した後の復号画像も入力信号とする。以下、ノイズ低減フィルタの入力画像である復号画像をＮＲＦ前画像、ノイズ低減フィルタ後の画像をＮＲＦ後画像と呼ぶ。

　ＮＲＦ前画像、ＮＲＦ後画像の２つの入力を備える適応フィルタは、以下の式（１－１）で表現される。

　ここで、SALFは適応フィルタ後の画素値、SdecはＮＲＦ前画像の画素値（ＮＲＦ前画素値）、SnrfはＮＲＦ後画像の画素値（ＮＲＦ後画素値）である。（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ａ（ｕ、ｖ）、ｂ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応するＮＲＦ前画素値にかかる重み係数、相対位置（ｕ、ｖ）に対応するＮＲＦ後画素値にかかる重み係数である。ｏはオフセットである。Ｒdecは、ＮＲＦ前画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒdec」と呼ぶ）を示している。Ｒnrfは、ＮＲＦ後画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒnrf」と呼ぶ）を示している。フィルタ参照領域Ｒdec及びＲnrfは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Sdec及びＮＲＦ後画像Snrf上に設定される。フィルタ参照領域ＲdecはＭ×Ｍの矩形領域であり、フィルタ参照領域RnrfはＮ×Ｎの矩形領域である。
１次元インデックスｋが一組の（ｕ、ｖ）に対応すると仮定すると、式（１－１）は、２次元インデックスｕ、ｖの代わりに１次元インデックスｋを用いて表すことができる。式（１－１´）のように表現できる。

　ここでＮｕｍＭ、ＮｕｍＮは各々、ＮＲＦ前画像およびＮＲＦ後画像に対する重み係数の数である。

　式（１－１）の右辺及び左辺の各々についてスライス内での平均をとると、以下の式（１－２）が得られる。なお、Ｅ（ｘ）はｘのスライス平均をとる演算を示す。

　なお、オフセットはスライス内で固定の定数であるからＥ（ｏ）＝ｏとした。

　ここで、以下の式（１－３ａ）、式（１－３ｂ）を仮定する。

　式（１―３ａ）、式（１－３ｂ）に加え、さらにオフセットｏ＝０と仮定すると以下の式（１－４ａ）が得られる。

式（１－４ａ）の両辺をＥ（ＳＡＬＦ）で割ると、次の式式（１－４ｂ）が得られる。

　寄与率ｍａｇ＿ａ、寄与率ｍａｇ＿ｂを以下の式（１－５ａ）、（１－５ｂ）で定義する。

　寄与率を用いると式（１－４ｂ）は、以下の式（１－６）で表現される。

　式（１－６）より、重み係数に寄与率をかけて得られる和（以下、重み係数和と呼ぶ）は約１になる性質をもつ。寄与率ｍａｇ＿ａ、ｍａｇ＿ｂが１である場合には、以下の式（１－６´）が成り立つ。

　この入力信号の寄与率を考慮した重み線形和が約１である性質を利用して重み係数を予測する。

　例えば、ＮＲＦ後画像にかかる重み係数の一つｂｉ（ｉは予測対象の重み係数を示すインデックスで、ｉは０からＮｕｍＮ－１までの値をとる）を予測する場合、予測値ｐｒｅｄ＿ｂｉは、以下のように得ることができる。式（１―６）において、予測対象の重み係数ｂｉ以外の和、予測対象の重み係数ｂｉをｐｒｅｄ＿ｂｉに置き換えて得られる和に分けて表現すると、以下の式（１－７ａ）が得られる。

　ここで、第２項のΣ演算は、和の算出範囲をｋ＝0..ＮｕｍＮ－１、ｋ≠ｉと表現しているが、これは０からＮｕｍＮ－１値で、かつ、ｉを除く値についての和を求めることになる。これは０からｉ－１までとｉ＋１からＮｕｍＮ－１までの和を求めることに相当する。以下の式においてもこの表現方法を適用する。

　さらにｐｒｅｄ＿ｂｉに対して変形すると、式（１－７ｂ）が得られる。

　同様にａｉの予測値ｐｒｅｄ＿ａｉは以下の式（１－７ｃ）で得られる。

　上記方法では、重み係数のうち１つの重み係数が予測できる。

　以下、２つ以上の重み係数を予測する場合を説明する。予測対象の重み係数をａｉ、ｂｊとし、ａｉの予測値ａｉ＿ｐｒｅｄ、ｂｊの予測値ｂｊ＿ｐｒｅｄとする。ｉ、ｊは予測対象の重み係数を示すインデックスであり、ｉは０からＮｕｍＭ－１までの値、ｊは０からＮｕｍＮ－１までの値である。このとき、式（１－６）から以下の式（１－８）が得られる。

　ここで、予測対象とする複数の重み係数が全て等しいと仮定してａｉ＝ｂｊ＝ｔとおく。この場合、予測値も等しいと考えられることからｐｒｅｄ＿ａｉ＝ｐｒｅｄ＿ｂｊ＝ｐｒｅｄ＿ｔとなり、式（１－８）は以下の式（１－９）のように変形できる。

　式（１－９）をさらに変形すると、次の式（１－１０）を得る。

　予測対象とする複数の重み係数が全て等しいという仮定は、対象とする重み係数が比較的大きな値を持つ場合、すなわち、適応フィルタに用いられる各入力信号の中心要素にかかる重み係数同士の場合は妥当であることが実験から分かっている。
（オフセット予測の概念）
式（１－２）を変形すると、以下の式（１－１１）が得られる。

　続いて、式（１－３ａ）と式（１－３ｂ）を仮定するとさらに以下の式（１－１２）にように変形できる。

さらに、寄与率を用いて変形すると、式（１－１３）が得られる。

式（１－１３）は、重み係数と寄与率の積和を１から引いた値にSALFの平均値をかけることによって、オフセットｏの予測値が得られることを意味する。ＡＶＥＶＡＬがSALFの期待値であり、ｓｕｍは、寄与率と重み係数の積和とすると、オフセットｏの予測値ｐｒｅｄ＿ｏを算出する式は、以下の式（１－１４）によって得られる。

　なお、上記の重み係数予測の概念、および、オフセット予測の概念においては、入力の種別に応じた寄与率（種別寄与率）については考慮されているが、後述のフィルタ係数の量子化や対称性に関しては考慮されていない。これらを考慮した予測については、後述の予測手段の説明において示す。

　次に、本実施形態に係る動画像符号化装置８によって生成され、動画像復号装置７によって復号される符号化データの構成について、図４３を参照して説明する。

　符号化データは、一連の画像データ（ピクチャ）から構成されている。図４３に示すように、一つのピクチャは複数のスライスから構成される。スライスは、適応フィルタ情報とマクロブロックデータ（ＭＢデータ）とから構成される。ＭＢデータは、復号画像を生成するための情報であり、ブロックタイプ、予測ブロックサイズ、予測パラメータ、変換ブロックサイズ、及び、残差情報から構成される。ここではスライス単位で、適応フィルタ情報を符号化しているが、フレーム単位など異なる単位で符号化しても構わない。

　適応フィルタ情報は、フレームメモリに格納された復号画像に対して、適応フィルタ処理を制御するために使用される情報であり、フィルタのオンオフを制御するオンオフ情報、２次元フィルタにおけるフィルタのサイズを示すタップ数、及び、１つ以上のフィルタ係数から構成されるフィルタ係数セットを含んでいる。タップ数はさらにＮＲＦ前画像にかかるフィルタのタップ数を示すタップ数Ｍ、ＮＲＦ後画像にかかるフィルタのタップ数を示すタップ数Ｎから構成され、フィルタ係数セットは、ＮＲＦ前重み係数ａ_ｋ（ｋ＝０～ＮｕｍＭ－１）、ＮＲＦ後重み係数ｂ_ｋ（ｋ＝０～ＮｕｍＮ－１）、オフセットｏから構成される。なお、Ｍ、Ｎは、１、３、５の何れかの値をとるものとし、ＮｕｍＭおよびＮｕｍＮは、ＮＲＦ前画像にかかる重み係数の数、ＮＲＦ後画像にかかる重み係数の数である。タップ数Ｍ、Ｎと重み係数の数はＮｕｍＭ＝（Ｍ×Ｍ＋１）／２、ＮｕｍＮ＝（Ｎ×Ｎ＋１）／２の関係がある。なお、タップ数Ｍ及びタップ数Ｎの一方もしくは両方は明示的に符号化することなく予め決められた固定値を用いても良い。例えばＭであれば１、Ｎであれば５であっても良い。

　ＮＲＦ前重み係数ａ_ｋ、ＮＲＦ後重み係数ｂ_ｋ、および、オフセットｏは、量子化および予測符号化される。一般にウィナーフィルタの重み係数およびオフセットは小数であるが、符号化データ中には、量子化により整数化した値が用いられる。例えば、量子化の粗さを示すビット深度がｂｉｔ＿ｄｅｐｔｈビットである場合には、小数精度の重み係数に、１＜＜ｂｉｔ＿ｄｅｐｔｈを乗じて、整数化した値が用いられる。なお、＜＜は、左シフトを示す記号である。以下、重み係数とオフセットを合わせてフィルタ係数と呼ぶ。
（重み係数の構成）
　図４２を参照して符号化データ中の重み係数の構成と、２次元フィルタにおける重み係数の対応位置を説明する。図４２（ａ）、（ｂ）、（ｃ）は、各々タップ数が１、３、５の場合の重み係数を示す。図の左側は符号化データ中の重み係数の構成であり、各々１、５、１３個の重み係数が一次元的に順序づけられて構成されている。図４２の右側は２次元フィルタとして用いられる場合の重み係数の対応位置を示すものである。２次元フィルタは、フィルタ対象画素およびその周囲に位置する画素値に対応する重み係数を乗算して得られる加重平均を算出するフィルタである。図４２においては、フィルタ対象画素からみて点対称に位置する画素に対して同じ重み係数が割り当てられている。

　（動画像復号装置７）
　本発明を適用した動画像復号装置について、図２６を参照しつつ以下に説明する。図２６は、第４の実施形態に係る動画像復号装置７の構成を示すブロック図である。

　図２６に示すように、動画像復号装置７は、予測部１１１と、可変長符号化復号部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報保存部１１９と、フィルタ係数予測復号部２０１と、ループフィルタ部１２０と、加算部１０９とから構成されている。動画像復号装置７の動作について以下に説明する。

　動画像復号装置７に入力された符号化データは、まず、可変長符号化復号部１１４に入力される。可変長符号化復号部１１４は、符号化データの可変長復号により、フィルタ処理に用いる重み係数を含む適応フィルタ情報と、予測方法および変換方法を示すＭＢパラメータと、変換・量子化された変換係数である残差情報とを復号する。

　逆量子化部１１５は、可変長符号化復号部１１４より入力された変換・量子化された残差画像を逆量子化する。逆変換部１１６は、逆量子化部１１５より入力された逆量子化された信号を逆変換し、残差画像を生成する。

　予測部１１１は、可変長符号化復号部１１４より復号されたＭＢパラメータが入力され、当該ＭＢパラメータに従って、フレームメモリ１１７に格納された復号画像（復号済みの画像）を用いて、予測画像を生成する。ＭＢパラメータは、ブロックタイプと予測ブロックサイズ、変換ブロックサイズ、及び、予測パラメータから構成される。ブロックタイプはイントラブロックかインターブロックかを示す。イントラブロックの場合には後述のループフィルタ処理前の復号画像（フレームメモリの画像）を参照して予測画像を生成し、インターブロックの場合にはループフィルタ処理後の復号画像を参照して予測画像を生成する。この実施形態では、予測ブロックサイズは予測のブロックサイズが１６×１６、８×８、４×４の何れであるかを示し、変換ブロックサイズは変換のブロックサイズが１６×１６、８×８、４×４の何れであるかを示す。予測パラメータはブロックタイプにより異なり、イントラブロックの場合には、ＤＣ予測を用いるか、方向予測を用いるかを示すイントラ予測モードである。インターブロックの場合には、動きベクトル、参照インデックスである。なお、参照インデックスは、フレームメモリに参照可能なフレームが複数存在する場合に、参照フレームを指定するための識別子である。なお、ブロックタイプ、予測ブロックサイズ、変換ブロックサイズ、予測パラメータなどはこの構成に限らない。

　加算部１０９は、予測部１１１より入力された予測画像と、逆変換部１１６より入力された残差画像の加算により、復号画像を生成し、フレームメモリ１１７に格納する。

　可変長符号化復号部１１４で可変長復号された適応フィルタ情報に含まれる重み係数は、その一部もしくは全てが予測符号化されたものである。予測符号化されていない場合は重み係数自体であり、予測符号化されている場合はフィルタ係数の予測差分値である。ここでは、両者を合わせて、符号化された時点での値をフィルタ係数符号化値と呼ぶ。これらフィルタ係数符号化値は一度、適応フィルタ情報保存部１１９に保存される。

　フィルタ係数予測復号部２０１は、適応フィルタ情報保存部１１９に保存されたフィルタ係数符号化値から、フィルタ係数を復元する。復元された重み係数は、再度、適応フィルタ情報保存部１１９に保存される。

　ループフィルタ部１２０は、適応フィルタ情報保存部１１９に保存され、復元された適応フィルタ情報を読み出し、フレームメモリ１１７に格納された復号画像のフィルタ処理を行い、再度フレームメモリに１１７に書き出す。
（フィルタ係数予測復号部２０１）
　ここで、フィルタ係数予測復号部２０１について図２８を用いて説明する。フィルタ係数予測復号部２０１は、フィルタセット内のフィルタ係数予測部２０２と、加算部２０５から構成される。フィルタ係数予測復号部２０１では、差分値から対象となるフィルタ係数を復元する。対象となるフィルタ係数は一つであっても複数であっても良いが、復元は一つ一つ行われる。フィルタセット内フィルタ係数予測部２０２では、適応フィルタ情報保存部１１９から入力された、現スライス内の他のフィルタ係数を用いて、対象となるフィルタ係数の予測値を算出する。加算部２０５では算出したフィルタ係数の予測値と、符号化データから復号されたフィルタ係数の差分値の和を算出することで、フィルタ係数が復元される。
（フィルタセット内フィルタ係数予測部２０２）
　フィルタセット内フィルタ係数予測部２０２は、図２９に示すように予測対象係数特定部１５０１と、重み係数和算出部１５０２と、フィルタ係数予測部１５０３と、寄与率算出部１５０５から構成される。フィルタセット内フィルタ係数予測部２０２は、予測符号化されたフィルタ係数に対して、フィルタ係数の予測値を算出し、差分値であるフィルタ係数符号化値との和から、フィルタ係数を復元する。

　フィルタセット内フィルタ係数予測部２０２には、重み係数の個数ＮｕｍＭ、ＮｕｍＮ、及び、フィルタ係数が入力される。フィルタ係数の数は、ＮｕｍＭ＋ＮｕｍＮ＋１個であり、ＮＲＦ前画像にかかる重み係数、ＮＲＦ後画像にかかる重み係数、オフセットの順に入力される。入力される順序を示す値をインデックスｌと呼ぶ。インデックスｌは０からＮｕｍＭ＋ＮｕｍＮの値をとる。
（予測対象係数特定部１５０１）
　予測対象係数特定部１５０１には、フィルタ係数の個数ＮｕｍＭ、ＮｕｍＮ、及び、フィルタ係数が入力される。まず、予測対象係数特定部１５０１は、インデックスｌを用いて、フィルタセット内フィルタ係数予測部２０２に入力された各フィルタ係数が、予測されたフィルタ係数（差分値）であるか、フィルタ係数自体であるかを特定する。

　フィルタセット内フィルタ係数予測部２０２に入力されたフィルタ係数がフィルタ係数自体であれば、そのフィルタ係数の値をそのまま、重み係数和算出部１５０２に出力する。予測されたフィルタ係数であれば０を重み係数和算出部１５０２に出力する。
（重み係数和算出部１５０２）
　重み係数和算出部１５０２では、重み係数和ｓｕｍを以下の式（５－２）により算出する。

　なお、ｍａｇ（ｌ）は、インデックスｌの重み係数ｗ（ｌ）の寄与率を示し、後述の寄与率算出部１５０５で算出される。

　予測されたフィルタ係数については、予め予測対象係数特定部１５０１において０として入力されているため、重み係数和ｓｕｍの算出には用いられない。

　なお、重み係数和の算出を簡単にするために、差分値であるフィルタ係数の値を０とする処理を用いているが、これを避けて和を算出するようにすれば、寄与率算出部１５０５に予測されたフィルタ係数を入力する必要はない。
（フィルタ係数予測部１５０３）
　フィルタ係数予測部１５０３では、予測対象とするフィルタ係数の種類および予測されたフィルタ係数の数に応じて、以下のように予測値を算出する。

　予測対象が１つの重み係数である場合には、重み係数和ｓｕｍから、以下の式（５－３）を用いて重み係数の予測値ｐｒｅｄを算出する。

　なお、ｂｉｔ＿ｄｅｐｔｈは、重み係数の量子化の精度を示し、ｍａｇは予測対象の重み係数の寄与率である。寄与率ｍａｇは寄与率算出部１５０５で算出する。重み係数の予測対象が１つの場合には、差分値として符号化された重み係数が１つである場合と、差分値として符号化された重み係数が複数存在するときに最後に復元する重み係数１つに適用する場合とがある。

　予測対象が重み係数であり、さらに複数ある場合には、重み係数和ｓｕｍから、以下の式（５－３´）を用いて重み係数の予測値を算出する。

　ここでｓｕｍ＿ｍａｇは、複数個の重み係数の寄与率の和である。

　予測符号化された重み係数が複数ある場合には、１個の予測値の算出、復元を行った後に、繰り返し、式（５－３´）で示される予測値算出を行い、復元することが好ましい。例えば、予測符号化された重み係数が３個である場合には、最初に、最後から３つ目の重み係数について予測値算出、復元を行い、次に、最後から２つ目の重み係数について予測値算出、復元を行い、最後に、式（５－３）を用いて、最後の重み係数について予測値算出、復元を行うことが好ましい。

　予測対象がオフセットである場合には、重み係数和ｓｕｍから、以下の式（５－３´´）を用いて予測値pred_oを算出する。

　なおＡＶＥＶＡＬは所定の値であり、復号画像のスライス平均値が好ましい。但し、スライス平均値を求める処理を省略するために、固定の値を用いても構わない。例えば、ループフィルタがかかる復号画像が輝度信号であり、その輝度信号のビット深度が８ビットの場合には９０から１００程度が好ましい。平均値はビット深度によって異なることから、輝度信号のビット深度ｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈが得られる場合には、例えば８ビットの場合に用いる値１００をベースとして１００＜＜（ｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈ―８）のように、輝度信号のビット深度に応じてＡＶＥＶＡＬを変化させると良い。ループフィルタがかかる復号画像が色差信号であり、そのビット深度が８ビットの場合には１２８が好ましい。色差信号のビット深度ｃｈｒｏｍａ＿ｂｉｔ＿ｄｅｐｔｈが得られる場合には、１２８＜＜（ｃｈｒｏｍａ＿ｂｉｔ＿ｄｅｐｔｈ―８）のように、色差信号のビット深度に応じてＡＶＥＶＡＬを変化させると良い。
（具体例）
　寄与率算出部１５０５を説明する前に、フィルタセット内フィルタ係数予測部２０２のより具体的な動作例をさらに具体的なフィルタ係数セットを用いて説明する。

　図４５は、具体的なフィルタ係数セットの構成を示す図である。ここでは、ＮｕｍＭ＝１３、ＮｕｍＮ＝１の場合のフィルタ係数セットの例である。図４５における構成に示す通り、中心要素にかかる重み係数以外のＮＲＦ前画像にかかる重み係数、中心要素にかかる重み係数以外のＮＲＦ後画像にかかる重み係数、ＮＲＦ前画像の中心要素にかかる重み係数、ＮＲＦ後画像の中心要素にかかる重み係数の順に符号化されている。また、ＮＲＦ前画像の中心要素にかかる重み係数ａ_{ＮｕｍＭ－１}（ここではａ１２）、ＮＲＦ後画像の中心要素にかかる重み係数ｂ_{ＮｕｍＮ－１}（ここではｂ０）、及びオフセットｏについては、予測符号化することによって得られる差分値が符号化されている。また、他のフィルタ係数はそれ自体が符号化されている。なお、図４５においては、差分値として符号化されている値はａ１２´、ｂ０´、ｏ´というように´付きで表示されている。ここでは、予測対象となるフィルタ係数を符号化データの最後におく。また、符号化データ順、すなわち、ａ１２、ｂ０、ｏの順に復号する。なお、符号化データ順と復号順を同一とした方が処理が容易となりうるが、復号処理は符号化データ順によらずに可能である。

　まず、フィルタセット内フィルタ係数予測部２０２では、式（５－３´）によりＮＲＦ前画像の中心要素にかかる重み係数ａ１２の予測値が以下の式（２６）のように得られる。

　算出方法は後述するが、寄与率ｍａｇ＿ａ０～ｍａｇ＿ａ１１は２であり、寄与率ｍａｇ＿ａ１２、ｍａｇ＿ｂ０は１であるので、以下の式（２７）となる。

　式（２７）に示すとおり、予測対象係数であるａ１２は重み係数和の算出には用いられない。分子は重み係数和算出部１５０２で算出される重み係数和であり、分母は寄与率算出部１５０５で算出される寄与率の和である。

　以上により、重み係数ａ１２は以下の式で復元できる。

　ａ１２＝ｐｒｅｄ＿ａ１２＋ａ１２´
　続いて、式（５－３）を用いてＮＲＦ後画像の中心要素にかかる重み係数ｂ０の予測値式（２８）が得られる。

　ここでは、復元したａ１２を用いて予測値を算出する。

　算出方法は後述するが、寄与率ｍａｇ＿ａ１２は１、寄与率ｍａｇ＿ａｋ（ｋ＝０～１１）は２、寄与率ｍａｇ＿ｂ０は１であるので、以下の式（２９）となる。

　最後に、式（５－３´´）によりオフセットｏの予測値が以下の式（３０）により得られる。

　ここで重み係数和は重み係数和算出部１５０２で算出される。

　（備考）
　オフセットを除くフィルタ係数の場合、いずれの重み係数も以上の方式で予測可能である。そのため、ＮＲＦ前画像の中心要素にかかる重み係数ａ_{ＮｕｍＭ－１}（以下ａｃ）、ＮＲＦ後画像の中心要素にかかる重み係数ｂ_{ＮｕｍＮ－１}（以下ｂｃ）を復元したが、他の構成でも復元可能である。なお、ａｃ、ｂｃのｃはｃｅｎｔｅｒの略である。

　一般に、中心要素にかかる重み係数以外の重み係数は０に近い値をとることが多いため、０に近い値を短い符号長で符号化し、０から遠ざかるにつれて長い符号長で符号化する可変長符号化が用いられる。中心要素にかかる重み係数の場合には０に近くはないため、予測を行う予測値との差分値を符号化すると良い。予測する場合には、大きな重み係数ほど、また、予測精度が高い（予測差分値が小さい）ほど効果が大きい。

　また、上記、重み係数和を用いた手法では、最後に復元される重み係数は高い精度で復元することができる。そのため、最後に復元される重み係数は、重み係数のうちで最大のものが好ましい。

　本実施形態の適応フィルタでは、式（１－１）のように、ＮＲＦ前画像とＮＲＦ後画像の重み付けを用いて、原画に近い画像を生成する。一般にノイズ低減フィルタをかけたＮＲＦ後画像の方が、ＮＲＦ前画像よりも、原画に近いことが多い。複数の入力信号を適応フィルタに入力し原画を近似する場合には、原画に近い入力信号の重み係数が大きくなるという性質があり、発明者による実験的にも確かめられている。従って、ＮＲＦ後画像を入力信号として用いる適応フィルタにおいては、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃが最大の重み係数となることが多い。

　次に大きな値となる重み係数はＮＲＦ前画像の中心要素にかかる重み係数ａｃであることが実験的から得られている。従って、最後に符号化（復元）する重み係数をｂｃ、その直前に符号化（復元）する重み係数をａｃとするのが良い。

　なお、処理の簡単化のため、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃだけを予測する。もしくは、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃとオフセットｏのみを予測する構成としても良い。
（寄与率算出部１５０５）
　ここで、寄与率算出部１５０５について図３０を用いて説明する。寄与率算出部１５０５は種別特定部６０１と、種別寄与率算出部６０２と、参照信号数算出部６０３と、乗算部６０４から構成される。
（種別特定部６０１）
　種別特定部６０１は、重み係数に対応するインデックスｌを入力とし、各インデックスｌから重み係数の種別情報を次のように出力する。インデックスｌが０からＮｕｍＭ－１まではＮＲＦ前画像にかかるフィルタ係数であるので、重み係数の種別情報がＮＲＦ前画像であることを示す種別識別子（ここでは０）を出力する。インデックスｌがＮｕｍＭからＮｕｍＭ＋ＮｕｍＮ－１まではＮＲＦ後画像にかかるフィルタ係数であるので、重み係数の種別情報がＮＲＦ後画像であることを示す種別識別子（ここでは１）を出力する。インデックスｌがＮｕｍＭ＋ＮｕｍＮの場合にはオフセットであるので、重み係数の種別情報がオフセットであることを示す種別識別子（ここでは５）を出力する。
（種別寄与率算出部６０２）
　種別寄与率算出部６０２は種別特定部６０１から種別情報を入力し、種別寄与率ｋｉｎｄ＿ｍａｇを出力する。本実施形態における種別寄与率ｋｉｎｄ＿ｍａｇは以下のように算出する。

　種別がＮＲＦ前画像にかかるフィルタ係数もしくはＮＲＦ後画像にかかるフィルタ係数の場合（種別識別子が０もしくは１の場合）
　　ｋｉｎｄ＿ｍａｇ＝１
　種別がオフセットの場合（種別識別子が５の場合）
　　ｋｉｎｄ＿ｍａｇ＝０
　一般に、ｋｉｎｄ＿ｍａｇは、適応フィルタの入力信号の種別（重み係数がかかる重み係数の種別）毎に以下の式（６－２）を用いて算出される所定の値である。

　ｋｉｎｄ＿ｍａｇ＝Ｅ（適応フィルタの入力信号）／Ｅ（適応フィルタの出力信号）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（６－２）
　ここでＥ（Ｘ）はＸに対するスライス平均を表す。適応フィルタの入力信号とは、ＮＲＦ前画像もしくはＮＲＦ後画像である。スライス平均Ｅ（Ｘ）とは、実験的にはスライスにおいてＸの平均をとることによって求められる。しかし、実際には実験によって求める必要はなく、以下に説明するように予め概念的に定めておくことができる。

　具体的には、復号画像（ＮＲＦ前画像）のスライス平均と、適応フィルタの出力のスライス平均はほぼ等しいと考えられるため、式（６－２）によりＮＲＦ前画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇは１と定められる。また、ＮＲＦ後画像のスライス平均値と、適応フィルタの出力のスライス平均はほぼ等しいと考えられるため、ＮＲＦ後画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇも１と定められる。

　なお、ここでは、入力の種別が、ＮＲＦ前画像にかかるフィルタもしくはＮＲＦ後画像にかかるフィルタである場合は１、それ以外を０としているが、他の入力種別がある場合には、それに対応する値を算出する。例えば、入力種別が予測画像である場合、もしくは、残差画像である場合には実施形態５において説明する。
（参照信号数算出部６０３）
　参照信号数算出部６０３は、インデックスｌを入力とし、参照信号数ｒｅｆ＿ｎｕｍを出力する。図４２を再度参照してｒｅｆ＿ｎｕｍの算出方法を以下に説明する。

　図４２において説明したように、一般に適応フィルタの重み係数は対称性を利用して符号化する重み係数の数を減らしていることが多い。対称性を利用する場合には、適応フィルタの入力信号の数よりも、適応フィルタに入力される重み係数の数の方が少なく、一つの重み係数が、複数の入力信号に対して用いられる。

　参照信号数ｒｅｆ＿ｎｕｍは、当該重み係数に対して参照される入力信号の数である。図４２の例では、中心の画素にかかるフィルタ係数の参照信号数ｒｅｆ＿ｎｕｍは１、それ以外の画素にかかるフィルタ係数の参照信号数ｒｅｆ＿ｎｕｍは２となる。

　なお、他の対称性を利用する、もしくは、対称性を利用しない方法も可能である。中心要素以外の画素にかかるフィルタ係数の参照信号数は、上下対称および左右対称の場合には２、上下および左右対称の場合には４になる。また、対称性を利用しない場合には参照信号数ｒｅｆ＿ｎｕｍは１となる。
（乗算部６０４）
　乗算部６０４は、式（６―４）に示すように種別寄与率ｋｉｎｄ＿ｍａｇと参照信号数ｒｅｆ＿ｎｕｍの積により、寄与率ｍａｇを算出する。

　ｍａｇ　＝　ｋｉｎｄ＿ｍａｇ　×　ｒｅｆ＿ｎｕｍ　　　　　　　（６－４）
（フィルタセット間予測）
　図３２は、フィルタ係数予測復号部２０１の別の構成（フィルタ係数予測復号部２０１´）を示すブロック図であり、フィルタ係数予測復号部２０１´は、フィルタセット内フィルタ係数予測部２０２と、フィルタセット間フィルタ係数予測部２０３、予測方式切替部２０４、加算部２０５から構成される。

　符号化データには、図４３を用いて説明した通り、スライス毎に１つのフィルタセットが符号化される。フィルタセット内フィルタ係数予測部２０２は、当該スライスのフィルタセットに含まれる復号済みのフィルタ係数を用いてフィルタ係数を予測する手段である。

　フィルタセット間フィルタ係数予測部２０３は既に復号された過去のスライスに含まれるフィルタセットを用いてフィルタ係数を予測する手段である。

　予測方式切替部２０４は、予測対象のフィルタ係数がＮＲＦ後画像の中心要素にかかる重み係数ｂｃである場合には、フィルタセット内フィルタ係数予測部２０２による予測値を用い、それ以外の場合には、フィルタセット間フィルタ係数予測部２０３による予測値を用いる。

　加算部２０５はフィルタ係数の予測値と、差分値を加算してフィルタ係数を復元する。復元されたフィルタ係数は、適応フィルタ情報保存部１１９で保存される。

　図３３は、フィルタセット間フィルタ係数予測部２０３の構成を示すブロック図である。フィルタセット間フィルタ係数予測部２０３は、対応フィルタ係数参照部１５０６から構成される。

　対応フィルタ係数参照部１５０６では、適応フィルタ情報保存部１１９に格納された過去のスライスで復号されたフィルタ係数セットを用いて、フィルタ係数の予測値を算出する。具体的には、同じ種別および同じ位置のフィルタ係数を予測値とする。現スライスｔでのフィルタ値をＮＲＦ前のフィルタ係数をａｋ（ｔ）、ＮＲＦ後のフィルタ係数をｂｋ（ｔ）、それらの予測値をｐｒｅｄ＿ａｋ（ｔ）、ｐｒｅｄ＿ｂｋ（ｔ）とすると、以下の式で予測値が得られる。

　ｐｒｅｄ＿ａｋ（ｔ）　＝　ａｋ（ｔ－１）　　　　　　　　（５－６ａ）
　ｐｒｅｄ＿ｂｋ（ｔ）　＝　ｂｋ（ｔ－１）　　　　　　　　（５－６ｂ）
　この式では、前スライスｔ－１のフィルタ係数を用いて予測値としている。なお、予測値として参照する前スライスｔ－１におけるタップ数が、予測対象である現スライスｔにおけるタップ数よりも小さい場合など、対応するフィルタ係数が存在しない場合には、予測値を０とする。また、最初のスライスなど、既に復号されたフィルタ係数セットが存在しない場合にも、予測値を０とする。

　上記の構成のフィルタ係数予測復号部２０１´は、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数について精度よく予測することが可能なフィルタセット内予測を用い、それ以外のフィルタ係数についてはフィルタセット間予測を用いることによって、小数のフィルタ係数に対して高精度に予測可能であるというフィルタセット内予測と、多くのフィルタ係数に関して予測が可能であるというフィルタセット間予測の両者の特徴を活かすことができる。そのため、フィルタ係数の符号量を低減することができる。
（ループフィルタ部１２０）
　図３４は、ループフィルタ部１２０の内部構成を示す図である。ループフィルタ部１２０は、ノイズ低減フィルタ部（ＮＲＦ部）３０１と、適応フィルタ部３０２から構成される。

　ループフィルタ部１２０は、フレームメモリ１１７に格納された復号画像と、適応フィルタ情報保存部１１９に格納された適応フィルタ情報を用いて、符号化歪みを低減した画像を生成する手段である。

　ＮＲＦ部３０１は、符号化ノイズを低減するフィルタであり、デブロッキングフィルタやデノイジングフィルタなどを用いることができる。適応フィルタ部３０２は、適応フィルタ情報に含まれる重み係数およびオフセットを用いて加重平均によりフィルタ処理を行う手段である。

　適応フィルタ部３０２は、２つの入力画像を備え、一方がＮＲＦ部３０１で処理された復号画像（ＮＲＦ後画像）であり、もう一方がＮＲＦ部３０１の処理前の復号画像（ＮＲＦ前画像）である。なお、ループフィルタ部１２０、ＮＲＦ部３０１、及び適応フィルタ部３０２の処理単位は、フレーム、スライス、ブロックのいずれかであっても画素であっても構わない。
（ＮＲＦ部３０１）
　ここで、ＮＲＦ部３０１がデブロッキングフィルタである例について詳細に説明する。
図３６は、ブロックの境界部分における画素を模式的に示した図である。図３６では、互いに隣接するブロックのうち、一方のブロックの画素を画素Ｐｉとし、もう一方のブロックの画素を画素Ｑｉとしている（ｉは０～ｎまでの整数）。なお、画素Ｐｉおよび画素Ｑｉにおけるｉは、ブロック境界からの距離に相当する。

　また、図３６では、画素Ｐｉおよび画素Ｑｉに対応する画素値をそれぞれ画素値ｐｉおよび画素値ｑｉとして示しており、処理対象画素Ｐｋにおける処理前の画素値ｐｋに対応する処理後の画素値をｐｋ´として示している。ここで、ｋは０からブロックサイズ以下の値をとる整数である（ｋは０～ｎ）。

　すなわち、図３６では、ブロック境界において隣接する２つのブロックのうち、一方のブロックの画素値を画素値ｐｋ（ｋは境界からの距離により定められる値）、他方のブロックの画素値を画素値ｑｋ（ｋは境界からの距離により定められる値）として表している。なお、図３６では、境界が水平方向の境界であるのか、または垂直方向の境界であるのかについては区別していない。

　図３５は、ＮＲＦ部３０１の内部構成を示す図である。ＮＲＦ部３０１は、境界エッジ算出部１４０１と、活性度算出部１４０２と、ＮＲＦ画素生成部１４０３を備える。

　境界エッジ算出部１４０１は、下記の式（４－１）を用いて、境界のエッジ強度ｄを算出する。

　　ｄ＝ＡＢＳ（ｐ０－ｑ０）　　　　　　　　（４－１）
　活性度算出部１４０２は、下記の式（４－２）を用いて、活性度を表す値ａｐを算出する。活性度は境界およびフィルタ対象画素付近の凹凸の状態もしくは勾配の大きさを算出するものである。

　　ａｐ＝ＡＢＳ（ｐ２－ｐ０）　　　　　　　　（４－２）
　ＮＲＦ画素生成部１４０３は、算出された「ｄ」および「ａｐ」が、所定の閾値α、βに対して、ｄ＜α、かつ、ａｐ＜βである場合に以下のフィルタ処理を施す。

　　ｐ０´＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１）／８
　　ｐ１´＝（ｐ２＋ｐ１＋ｐ０＋ｑ０）／４
　　ｐ２´＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｐ０＋ｑ０）／８
　そうではない場合には、以下のフィルタを施す。

　　ｐ０´＝（２×ｐ１＋ｐ０＋ｑ０）／４
　ＮＲＦ部３０１は、予測ブロックの境界および変換ブロックの境界に対して上記の処理を実行する。より具体的にはまず予測ブロック及び変換ブロックの垂直境界に処理を行い、続いて、予測ブロック及び変換ブロックの水平境界に処理を行う。これによりＮＲＦ後画素値Snrfを得る。

　このように構成したＮＲＦ部３０１は、境界のエッジ強度または活性度が大きい場合に強いフィルタがかからないようにフィルタ強度を調整したブロックノイズ低減処理を行うことができる。
（適応フィルタ部３０２）
　ここで、適応フィルタ部３０２について図３７を用いて詳細に説明する。適応フィルタ部３０２は、復号画像適応重み付け部７０１と、ＮＲＦ後画像適応重み付け部７０２と、シフト／除算部７０３を備える。復号画像適応重み付け部７０１は、タップ数Ｍおよび重み係数ａ_ｋ（ｋ＝０～ＮｕｍＭ－１）とオフセットｏを用いて、フレームメモリ１１７から入力された復号画像を用いてフィルタ処理を行う。ＮＲＦ後画像適応重み付け部７０２は、タップ数Ｎおよび重み係数ｂ_ｋ（ｋ＝０～ＮｕｍＮ－１）と、ＮＲＦ部３０１から入力された復号画像を用いてフィルタ処理を行う。

　適応フィルタ部３０２は、下記の式（７－１）で表現されるフィルタ処理を行う。

　ここでｓｈｉｆｔは除算を実行するためのシフト値であり、フィルタ係数の量子化に用いたｂｉｔ＿ｄｅｐｔｈと同じ値が用いられる。ｔｏｔａｌ２は、１＜＜（ｓｈｉｆｔ－１）で算出される値で丸め（四捨五入）に用いられる。なお式（７－１）の意味は、前述の式（１－１）とほぼ同じであるが、重み係数ａｋ、ｂｋおよびオフセットが量子化された後であるため、丸め及び除算が追加されている。フィルタ処理自体は式（１－１）と同様であるが演算を容易にするために、式（７－１）では整数化したフィルタ係数を用いることに伴い、丸め及び除算処理が追加されている。

　（重み係数のインデックス）
　ここで、符号化データから復号され、適応フィルタ情報保存部１１９に保存された、１次元インデックスで表示された重み係数ａ_ｋ（ｋ＝０～ＮｕｍＭ－１）と、２次元インデックスで表示された重み係数ａ（ｕ、ｖ）の関係について説明する。まず２次元インデックス（ｕ、ｖ）より、次の式で得られるｋ０を計算し、さらにｋ０からｋを計算することで１次元インデックスｋを得る。

　ｋ０＝（ｕ＋ｏｆｓｔ）＋（ｖ＋ｏｆｓｔ）×Ｍ
　ここでｏｆｓｔ＝Ｍ／２、ｕ＝―Ｍ／２～Ｍ／２、ｖ＝－Ｍ／２～Ｍ／２。

　ｋ＝ｋ０　　　　　　　　　　　　（ｋ０＜（Ｍ×Ｍ＋１）／２）
　　＝（Ｍ×Ｍ―１）―ｋ０　　　　（それ以外）
　以下、ａ（ｕ、ｖ）と表示される演算では、２次元インデックス（ｕ、ｖ）から１次元インデックスｋに変換された後の値ｋを用いて表現されるａ_ｋを用いる。

　１次元の重み係数ｂ_ｋ（ｋ＝０～ＮｕｍＮ－１）と、上記２次元の重み係数ｂ（ｕ、ｖ）との関係も同様であり、次の式で得られるｋ０を計算し、さらにｋ０からｋを計算することで１次元インデックスｋを得る。

　ｋ０＝（ｕ＋ｏｆｓｔ）＋（ｖ＋ｏｆｓｔ）×Ｎ
　ここでｏｆｓｔ＝Ｎ／２、ｉ＝―Ｎ／２～Ｎ／２、ｊ＝－Ｎ／２～Ｎ／２。

　ｋ＝ｋ０　　　　　　　　　　　　（ｋ０＜（Ｎ×Ｎ＋１）／２）
　　＝（Ｎ×Ｎ―１）―ｋ０　　　　（それ以外）
　以下、ｂ（ｕ、ｖ）と表示される演算では、２次元インデックス（ｕ、ｖ）から１次元インデックスｋに変換された後の値ｋを用いて表現されるｂ_ｋを用いる。

　適応フィルタ部３０２は、復号画像適応重み付け部７０１、ＮＲＦ後画像適応重み付け部７０２、シフト／除算部７０３を用いて先に説明した式（７－１）の処理を行う。

　復号画像適応重み付け部７０１は、
式（７－１）の第１項、及び、オフセットの加算
　Σａ（ｕ、ｖ）×Sdec（ｘ＋ｕ、ｙ＋ｖ）＋ｏ
を実行する。
ＮＲＦ後画像適応重み付け部７０２は式（７－１）の第２項、すなわち、
　Σｂ（ｕ、ｖ）×Snrf（ｘ＋ｕ、ｙ＋ｖ）
を実行する。
シフト／除算部７０３はラウンド付きシフト演算による除算ｒｄｉｖ（ｘ）を行う。この処理は、入力信号をｘとすると、以下の関数で表現できる。

　ｒｄｉｖ（ｘ）＝（ｘ＋ｔｏｔａｌ２）＞＞ｓｈｉｆｔ
　このような適応フィルタ処理によって、ＮＲＦ前画素値とＮＲＦ後画素値の両者の空間的な重み演算により効果的に歪みの低減を行うことができる。
（動画像符号化装置８）
　続いて、本発明を適用した画像符号化装置について、図を参照して説明する。

　図２７は、動画像符号化装置８の構成を示すブロック図である。動画像復号装置７と同様の部材に関しては、同一の符号を付し、その説明を省略する。

　図２７に示すように、動画像符号化装置８は、予測部１１１と、変換部１１２と、量子化部１１３と、可変長符号化部２１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報算出部１１８と適応フィルタ情報保存部１１９とループフィルタ部１２０、フィルタ係数予測符号化部２１１と、減算部１０７、加算部１０９とから構成される。

　動画像符号化装置８は、フレームメモリ１１７に格納された局所復号画像の歪みを低減するループフィルタ部１２０を備え、ループフィルタ部１２０を制御するための適応フィルタ情報を格納する適応フィルタ情報保存部１１９を備える。以下、動画像符号化装置８の動作について説明する。

　動画像符号化装置８に入力された画像はブロックに分解され、以下の処理がなされる。予測部１１１は、入力ブロックを近似する予測ブロックを生成する。減算部１０７は、入力ブロックと予測部１１１から出力される予測ブロックの差分値である差分値ブロックを計算する。

　変換部１１２は、減算部１０７から入力された差分値ブロックに対しＤＣＴ変換などにより変換係数を算出する。量子化部１１３は、量子化ステップにより定まるステップに従い、変換係数を量子化する。量子化された変換係数は、可変長符号化部２１４により符号化され外部に出力される。

　逆量子化部１１５は、量子化された変換係数を逆量子化する。逆変換部１１６は、逆量子化された変換係数を逆変換し、残差ブロックを算出する。加算部１０９は、残差ブロックと予測ブロックの和を計算し、入力ブロックを再生する。再生されたブロックは、フレームメモリ１１７に格納される。

　適応フィルタ情報算出部１１８は、適応フィルタ情報を算出する。算出された適応フィルタ情報は、適応フィルタ情報保存部１１９に格納される。適応フィルタ情報保存部１１９に格納された適応フィルタ情報に含まれるフィルタ係数のうち、一部もしくは全てはフィルタ係数予測符号化部２１１で予測差分値に変換される。フィルタ係数もしくはフィルタ係数の予測差分値は、可変長符号化部２１４において符号化される。可変長符号化部２１４は、適応フィルタ情報だけでなく予測方法を示す情報と変換係数も符号化する。

　算出された適応フィルタ情報は適応フィルタ情報保存部１１９に格納される。ループフィルタ部１２０は、適応フィルタ情報保存部１１９に保存された適応フィルタ情報を読み出し、その値に従って、フレームメモリ１１７に格納された局所復号画像にフィルタ処理を行う。フィルタ処理された画像はフレームメモリ１１７に再度格納される。

　適応フィルタ情報保存部１１９、ループフィルタ部１２０の動作は、動画像復号装置７と同一であるので、説明を省略する。

　（フィルタ係数予測符号化部２１１）
　図３８は、フィルタ係数予測符号化部２１１の構成を示す図である。フィルタ係数予測符号化部２１１は、フィルタセット内フィルタ係数予測部２０２と減算部２０６から構成される。フィルタセット内フィルタ係数予測部２０２は動画像復号装置７において先に説明した通りであり、フィルタ係数の予測値を算出する。減算部２０６は、フィルタ係数と予測値の差分を算出する。算出された差分値は、可変長符号化部２１４において符号化される。

　図３９は、フィルタ係数予測符号化部２１１の別の構成（フィルタ係数予測符号化部２１１´）を示す図である。フィルタ係数予測符号化部２１１´は、フィルタセット内フィルタ係数予測部２０２、フィルタセット間フィルタ係数予測部２０３、予測方式切替部２０４、減算部２０６から構成される。フィルタセット内フィルタ係数予測部２０２、フィルタセット間フィルタ係数予測部２０３、予測方式切替部２０４は動画像復号装置７において先に説明した通りであり、フィルタ係数の予測値を算出する。減算部２０６は、フィルタ係数と予測値の差分を算出する。算出された差分値は、可変長符号化部２１４において符号化される。

　（適応フィルタ情報算出部１１８）
　以下、適応フィルタ情報算出部１１８の動作を説明する。適応フィルタ情報算出部１１８は、入力画像Sorgと復号画像SdecおよびＮＲＦ後の画素値Snrfから、以下の式（８－１）をより小さくする重み係数ａｆ_ｋ（ｋ＝０～ＮｕｍＭ－１）とｂｆ_ｋ（ｋ＝０～ＮｕｍＮ－１）、オフセットｏｆの推定値を最小二乗法により求める。ここでｆはｆｌｏａｔの略であり、最小二乗法では小数点数として重み係数を算出することを意味する。

　ここで、Sorgは原画の画素値、SdecはＮＲＦ前画像の画素値、SnrfはＮＲＦ後画像の画素値である。（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ａ（ｕ、ｖ）、ｂ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応するＮＲＦ前画素値およびＮＲＦ後画素値にかかる重み係数である。ｏはオフセットである。Ｒdecは、フィルタ参照領域Ｒdec、Ｒnrfはフィルタ参照領域Ｒnrdである。Ｒsliceは適応フィルタ処理が行われる領域（フィルタ対象領域）である。フィルタ参照領域Ｒdec及びＲnrfは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、復号画像Sdec及びSnrf上に設定される。フィルタ参照領域ＲdecはＭ×Ｍの矩形領域であり、フィルタ参照領域RnrfはＮ×Ｎの矩形領域である。

　なお、ａ_ｋとａｆ（ｕ、ｖ）の関係、ｂ_ｋとｂｆ（ｕ、ｖ）の関係は既に動画像復号装置７の説明で示したとおりである。

　最小二乗法に先立ち、以下の式変形を行う。式（８－１）を重み係数ａｆ_ｋとｂｆ_ｋ、オフセットｏｆをパラメータとする以下の式（８－２）に直す。

　ここでａｋ、ｂｋとしては、相対位置（ｕ、ｖ）に対応する重み係数ａｋ、ｂｋを用いる。

　さらに、Σで示される和として、（ｕ、ｖ）に関する和から、ｋに関する和に置き替える。
ここでｋから（ｕ、ｖ）への対応関係は２通りあるため、一方を（ｕk、ｖk）、もう一方を（uk´、vk´）と表現する。

　ｋから（ｕ、ｖ）、（u´、v´）への変換は以下の演算で行われる。まず、以下の式を用いてｋからｋ０とｋ０´を計算する。

　ｋ０　＝ｋ
　ｋ０´＝（Ｍ×Ｍ－１）―ｋ
　次に、ｋ０とｋ０´から以下の式を用いてｕ、ｖを計算する。

　ｕ＝（ｋ０％Ｍ）－ｏｆｓｔ
　ｖ＝（ｋ０／Ｍ）－ｏｆｓｔ
　ｕ´＝（ｋ０´％Ｍ）－ｏｆｓｔ
　ｖ´＝（ｋ０´／Ｍ）－ｏｆｓｔ
　ここで％は剰余を計算する演算、／は除算を行い小数点以下を切り捨てて整数化する演算、ｏｆｓｔ＝Ｍ／２である。

　なお、Snrfに関しては上の式でＭをＮに置き替えた演算で（ｕ、ｖ）、（u´、v´）を計算する。

　上記の置き替えにより、式（８－２）は式（８－３）として表現することができる。

　最小二乗法では、式（８－３）をパラメータａｆ_ｋ、ｂｆ_ｋ、ｏｆの式とみなして、各々のパラメータに対して偏微分を行い、これを０とする。これによって、正規方程式と呼ばれるパラメータの数ＮｕｍＭ＋ＮｕｍＮ＋１個の連立方程式が得られる。

　得られた方程式をガウスの消去法などによって解くことにより、ａｆ_ｋの最適推定値ａｆｅと、ｂｆ_ｋの最適推定値ｂｆｅ、ｏｆの最適推定値ｏｆｅが得られる。
これらを重み係数の組を推定値ｚｆｅと呼ぶ。なお、ＮＲＦ後の画素値Snrfは、ループフィルタ部１２０内のＮＲＦ部３０１を動作させて算出する。

　最小二乗法の演算は、事前にＮＲＦ前画像にかかるフィルタのタップ数ＭとＮＲＦ後画像にかかるフィルタのタップ数Ｎを特定の値に定めて行われる。但し、最適なＭとＮの組み合わせを予め定めることは困難であることから、次に示す擬似コードで表現する処理によって可能な全ての組み合わせのＭおよびＮに対して最小二乗法を行い、最適なＭとＮの組み合わせを選択することで、最適化を行う。

　　ＣＯＳＴＭＩＮ＝０ｘ７ＦＦＦＦＦＦＦ（十分大きな値、ここでは３２ビット符号付き整数の最大値を設定）
　　ＬＯＯＰ（Ｍ＝１、３、５）｛
　　　　ＬＯＯＰ（Ｎ＝１、３、５）｛
　　　　　　最小二乗法により重み係数ｚｆｅを得る
　　　　　　ｚｆｅを式（８－３）に代入して得られる二乗誤差の大きさをＣＯＳＴとする。

　　　　　　ＩＦ（ＣＯＳＴ　＜ＣＯＳＴＭＩＮ）｛
　　　　　　　　重み係数ｚｆｅを最適な重み係数ｚｆｂｅｓｔとして保存
　　　　　　　　ＣＯＳＴ＝ＣＯＳＴＭＩＮ
　　　　　　｝
　　　　｝
　　｝
　ここで算出された最適な重み係数セットをｚｆｂｅｓｔ＝｛ａｆｂｅｓｔ、ｂｆｂｅｓｔ、ｏｂｂｅｓｔ｝とする。次の式で示される演算で整数化し、適応フィルタ情報保存部１１９に保存する。

　ａｂｅｓｔ＝（ｉｎｔ）｛ａｆｂｅｓｔ×（１＜＜ｓｈｉｆｔ）｝
　ｂｂｅｓｔ＝（ｉｎｔ）｛ｂｆｂｅｓｔ×（１＜＜ｓｈｉｆｔ）｝
　ｏｂｅｓｔ＝（ｉｎｔ）｛ｏｆｂｅｓｔ×（１＜＜ｓｈｉｆｔ）｝
　なお（ｉｎｔ）は整数化を示す。

　〔実施形態５〕
（動画像復号装置７´）
　本実施形態に係る動画像復号装置７´の説明に先立ち、本実施形態に係る動画像符号化装置８´によって生成され、動画像復号装置７´によって復号される符号化データのうち適応フィルタ情報の構成について図４４を参照して説明する。符号化データの基本的な構成は第４の実施形態と同じく図４３の通りであるが、適応フィルタ情報の詳細構成が異なる。

　図４４に示すように、フィルタのオンオフを制御するオンオフ情報、予測画像にかかるフィルタのタップ数を示すタップ数ＰＮ、残差画像にかかるフィルタのタップ数を示すタップ数ＥＮ、ＮＲＦ後画像にかかるフィルタのタップ数を示すタップ数Ｎ、予測画像重み係数ｃ_ｋ（ｋ＝０～ＮｕｍＰＮ－１）、残差画像重み係数ｄ_ｋ（ｋ＝０～ＮｕｍＥＮ－１）、ＮＲＦ後重み係数ｂ_ｋ（ｋ＝０～ＮｕｍＮ－１）、オフセットｏから構成される。なお、ＰＮ、ＥＮ、Ｎは、１、３、５の何れかの値をとるものとし、ＮｕｍＰＮ、ＮｕｍＥＮおよびＮｕｍＮは、予測画像にかかる重み係数の数、残差画像にかかる重み係数の数、ＮＲＦ後画像にかかる重み係数の数である。なお、タップ数ＥＮ、ＰＮ、Ｎのいずれかもしくは全ては明示的に符号化することなく予め決められた固定値を用いても良い。
（第５の実施形態の基本概念）
　続いて、本実施形態における適応フィルタの簡単な説明を行い、本実施形態での適応フィルタで使用される重み係数の予測に関するコンセプトを説明する。

　本発明で用いられる適応フィルタ処理は、予測画像、残差画像、ＮＲＦ後画像の３つの入力を備えるものであり、簡単には以下の式（１０－１）で表現される。詳細については後述する。

　ここで、SALFは適応フィルタ後の画素値、ｐｒｅｄは予測画像の画素値、ｅｒｒｏｒは残差画像の画素値、SnrfはＮＲＦ後画素値である。（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ｃ（ｕ、ｖ）、ｄ（ｕ、ｖ）、ｂ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応する予測画像にかかる重み係数、残差画像にかかる重み係数、ＮＲＦ後画像にかかる重み係数である。ｏはオフセットである。Ｒpredは、予測画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒpred」と呼ぶ）を示している。Ｒerrorは、残差画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒerror」と呼ぶ）を示している。Ｒnrfは、ＮＲＦ後画像のフィルタ処理において参照される領域（以下、「フィルタ参照領域Ｒnrd」と呼ぶ）を示している。フィルタ参照領域Ｒpred、Rerror、Rnrfは、フィルタ後の画素値を算出する対象となる画素（フィルタ対象画素）の位置に応じて、予測画像ｐｒｅｄ、残差画像ｅｒｒｏｒ、及びＮＲＦ後画像Snrf上に設定される。フィルタ参照領域Ｒpred、Rerror、Rnrfは各々ＰＮ×ＰＮの矩形領域、ＥＮ×ＥＮの矩形領域、Ｎ×Ｎの矩形領域である。

　ここで、２次元インデックスｕ、ｖの代わりに１次元インデックスｋを用いて表すと、式（１０－１）は式（１０－１´）のように表現できる。

　ここでｐｒｅｄ_ｋ＝ｐｒｅｄ（ｕ、ｖ）、ｅｒｒｏｒ_ｋ＝ｅｒｒｏｒ（ｕ、ｖ）、Ｓｎｒｆ_ｋ＝Ｓｎｒｆ（ｕ、ｖ）である。

　式（１０－１´）の両辺をスライス内での平均をとると、以下の式（１０－２）が得られる。なお、Ｅ（ｘ）はｘのスライス平均をとる演算を示す。

　さらに、以下の仮定、式（１０－３ａ）、式（１０－３ｂ）、式（１０－３ｃ）を置く。

　式（１０－２）において、式（１０－３ａ）、式（１０－３ｂ）、式（１０－３ｃ）を仮定し、オフセットｏ＝０と仮定すると以下の式（１０－４）が得られる。

　ここで、以下の式で与えられる寄与率と呼ぶ値、ｍａｇ＿ｃ、ｍａｇ＿ｄ、ｍａｇ＿ｂを定義する。

　　ｍａｇ＿ｃ＝Ｅ（ｐｒｅｄ）／Ｅ（SALF）　　　　　　　　（１０－５ａ）
　　ｍａｇ＿ｄ＝Ｅ（ｅｒｒｏｒ）／Ｅ（SALF）　　　　　　　（１０－５ｂ）
　　ｍａｇ＿ｂ＝Ｅ（Snrf）／Ｅ（SALF）　　　　　　　　　　（１０－５ｃ）
このとき、式（１０－４）は、寄与率を用いて以下の式（１０－６）で表現される。

　これは、重み係数に寄与率をかけて得られる和（以下、重み係数和と呼ぶ）がほぼ１になることを意味する。

　この入力信号の寄与率を考慮した重み線形和が１であるという性質を利用して重み係数を予測する。

　例えば、ＮＲＦ後画像にかかる重み係数の一つｂｉを予測する場合、予測値ｐｒｅｄ＿ｂｉを、以下のように得ることができる。なお、ｉは予測対象の重み係数を示すインデックスで０からＮｕｍＮ－１までの値をとる。

　ｐｒｅｄ＿ｂｉに対して変形すると、式（１０－７ｂ）が得られる。

　同様にｃｉの予測値ｐｒｅｄ＿ｃｉは、式（１０－７ｃ）により得られる。

　同様にｄｉの予測値ｐｒｅｄ＿ｄｉは、式（１０－７ｄ）により得られる。

　上記方法では、１つの重み係数が予測可能である。

　以下、２つ以上の重み係数を予測する場合を説明する。予測対象の重み係数をｃｉ０、ｄｉ１、ｂｉ２とし、ｃｉ０の予測値ｐｒｅｄ＿ｃｉ０、ｄｊの予測値ｐｒｅｄ＿ｄｉ１、ｂｉ２の予測値ｐｒｅｄ＿ｂｉ２とする。ｉ０、ｉ１、ｉ２は予測対象の重み係数を示すインデックスであり、ｉ０は０からＮｕｍＰＮ－１まで、ｉ１は０からＮｕｍＥＮ－１、ｉ２は０からＮｕｍＮ－１までの値をとる。なお、ここのインデックスは、重み係数和算出部の説明とは異なり、種別毎に個別のインデックスを与えて説明している。

　このとき、式（１０－６）から以下（１０－８）の式が得られる。

　ここで、ｃｉ０＝ｄｉ１＝ｂｉ２＝ｔである、つまり、予測対象とする複数の重み係数が全て等しいと仮定する。すると、予測値も等しいと考えられることからｐｒｅｄ＿ｃｉ０＝ｐｒｅｄ＿ｄｉ１＝ｐｒｅｄ＿ｂｉ２＝ｐｒｅｄ＿ｔとなり、式（１０－８）は以下の式（１０－９）に変形できる。

　さらに変形すると、次の式（１０－１０）を得る。この式により複数のフィルタ係数が差分値として符号化されている場合においても、予測対象とするフィルタ係数の予測値を算出することができる、

　オフセットの予測においては３入力の場合の重み係数和を以下の式（１０－１３）で算出する。

　続いて、式（５－３´´）によって、オフセットの予測値ｐｒｅｄ＿ｏが算出される。

　本発明を適用した動画像復号装置７´について、図４０を参照しつつ以下に説明する。図４０は、第５の実施形態に係る動画像復号装置７´の構成を示すブロック図である。

　図４０に示すように、動画像復号装置７´は、予測部１１１と、可変長符号化復号部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報保存部１１９と、フィルタ係数予測復号部２０１と、ループフィルタ部１２０´と、加算部１０９から構成されている。動画像復号装置７´の動作について以下に説明する。可変長符号化復号部１１４、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７、適応フィルタ情報保存部１１９、加算部１０９の第４の実施形態と同じため、説明を省略する。
（ループフィルタ部１２０´）
　ループフィルタ部１２０´は、ＮＲＦ部３０１と、適応フィルタ部３０２´から構成される。ループフィルタ部１２０´の特徴は、適応フィルタ部３０２´の入力信号として、ＮＲＦ後画像と、予測画像＃１１１と、残差画像＃１１６の３つの信号を用いることにある。
（適応フィルタ部３０２´）
　ここで、適応フィルタ部３０２´について図４７を用いて詳細に説明する。適応フィルタ部３０２´は、予測画像適応重み付け部７０４と、残差画像適応重み付け部７０５とＮＲＦ後画像適応重み付け部７０２と、シフト／除算部７０３を備える。予測画像適応重み付け部７０４は、タップ数ＰＮおよび重み係数ｃ_ｋ（ｋ＝０～ＮｕｍＰＮ－１）とオフセットｏを用いて、予測部１１１から入力された予測画像を用いてフィルタ処理を行う。残差画像適応重み付け部７０２は、タップ数ＥＮおよび重み係数ｄ_ｋ（ｋ＝０～ＮｕｍＥＮ－１）と残差画像を用いてフィルタ処理を行う。ＮＲＦ後画像適応重み付け部７０２は、タップ数Ｎおよび重み係数ｂ_ｋ（ｋ＝０～ＮｕｍＮ－１）と、ＮＲＦ部３０１から入力されたＮＲＦ後画像を用いてフィルタ処理を行う。なお、第５の実施形態においても対称性を利用することからＮｕｍＰＮ＝（ＰＮ×ＰＮ＋１）／２、ＮｕｍＥＮ＝（ＥＮ×ＥＮ＋１）／２、ＮｕｍＮ＝（Ｎ×Ｎ＋１）／２である。

　適応フィルタ部３０２´は、下記の式（７－１´）で表現されるフィルタ処理を行う。

　ここで、Snrf（ｘ、ｙ）はＮＲＦ後画素値、ｐｒｅｄ（ｘ、ｙ）は予測画像の値、ｅｒｒｏｒ（ｘ、ｙ）は残差画像の値、SALF（ｘ、ｙ）は適応フィルタ後画素値である。（ｘ、ｙ）はフィルタ対象画素のフレーム内での位置で、フレームの幅ｗ、フレームの高さをｈとすると、０＜＝ｘ＜＝ｗ－１、０＜＝ｙ＜＝ｈ－１をとる。また、（ｕ、ｖ）は、フィルタ対象画素の位置（ｘ、ｙ）からの相対位置を示す。ｂ（ｕ、ｖ）、ｃ（ｕ、ｖ）、ｄ（ｕ、ｖ）は各々、相対位置（ｕ、ｖ）に対応するＮＲＦ後画素値にかかる重み係数、予測画像にかかる重み係数、残差画像にかかる重み係数である。ｏはオフセット、ｓｈｉｆｔは除算を実行するためのシフト値である。Ｒpred、Ｒerror、Ｒnrfは既に説明したフィルタ参照領域Ｒpred、フィルタ参照領域Ｒerror、フィルタ参照領域Ｒnrfである。
（フィルタ係数予測復号部２０１）
　フィルタ係数予測復号部２０１は概念的には第４の実施形態と同じ動作を行うが、細かい部分で動作が異なるため、相違点のみを説明する。
（具体例）
　図４６は、具体的なフィルタ係数セットの構成を示す図である。ここでは、ＮｕｍＰＮ＝５、ＮｕｍＥＮ＝１、ＮｕｍＮ＝１３の場合のフィルタ係数セットの例である。構成に示す通り、中心要素にかかる重み係数以外の予測画像にかかる重み係数、中心要素にかかる重み係数以外の残差画像にかかる重み係数、中心要素にかかる重み係数以外のＮＲＦ後画像にかかる重み係数、予測画像の中心要素にかかる重み係数、残差画像の中心要素にかかる重み係数、ＮＲＦ後画像の中心要素にかかる重み係数の順に符号化されている。また、予測画像の中心要素にかかる重み係数ｃ_{ＮｕｍＰＮ－１}（ここではｃ４）と、残差画像の中心要素にかかる重み係数ｄ_{ＮｕｍＥＮ－１}（ここではｄ０）、ＮＲＦ後画像の中心要素にかかる重み係数ｂ_{ＮｕｍＮ－１}（ここではｂ１２）、オフセットｏが予測符号化されており、他のフィルタ係数はそのまま符号化されている。予測符号化されている値はｃ４´、ｄ０´、ｂ１２´、ｏ´というように´付きで表示されている。ここでは、予測対象となるフィルタ係数を符号化データの最後におく。また、符号化データ順、すなわち、ｃ４、ｄ０、ｂ１２、ｏの順に復号する。

　まず、フィルタセット内フィルタ係数予測部２０２では、式（５－３´）により、予測画像の中心要素にかかる重み係数ｃ４の予測値は以下の式（５２）により得られる。

　続いて、式（５－３´）により残差画像の中心要素にかかる重み係数ｄ０の予測値が以下の式（５３）により得られる。

　続いて、式（５－３）によりＮＲＦ後画像の中心要素にかかる重み係数ｂ０の予測値が以下の式（５４）により得られる。

　最後に、式（５－３´´）によりオフセットｏの予測値が以下の式（５５）により得られる。

　第５の実施形態の適応フィルタ部３０２´では、予測画像と残差画像とＮＲＦ後画像の重み付けを用いて、元々の原画に近い画像を生成する。一般にノイズ低減フィルタであるＮＲＦ後画像が、予測画像、残差画像よりも元々の原画に近いことが多い。そのため最大の重み係数は、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃとなる。

　なお、実際の構成では、処理の簡単化のため、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃだけを予測する。もしくは、ＮＲＦ後画像の中心要素にかかる重み係数ｂｃとオフセットｏのみを予測する構成としても良い。
（種別特定部６０１´）
　第５の実施形態では、種別特定部６０１の代わりに種別特定部６０１´を用いる。種別特定部６０１´は重み係数に対応するインデックスｌを入力とし、各インデックスｌから重み係数の種別情報を次のように出力する。インデックスｌが０からＮｕｍＰＮ－１までは予測画像であるので、重み係数の種別情報が予測画像であることを示す種別識別子（ここでは３）を出力する。インデックスｌがＮｕｍＰＮからＮｕｍＰＮ＋ＮｕｍＥＮ－１までは残差画像にかかる係数であるので、重み係数の種別情報が残差画像であることを示す種別識別子（ここでは４）を出力する。インデックスｌがＮｕｍＰＮ＋ＮｕｍＥＮからＮｕｍＰＮ＋ＮｕｍＥＮ＋ＮｕｍＮ－１まではＮＲＦ後画像にかかる係数であるので、重み係数の種別情報がＮＲＦ後画像であることを示す種別識別子（ここでは２）を出力する。インデックスｌがＮｕｍＰＮ＋ＮｕｍＥＮ＋ＮｕｍＮの場合にはオフセットであるので、重み係数の種別情報がオフセットであることを示す種別識別子（ここでは５）を出力する。
（種別寄与率算出部６０２）
　図３１は、種別寄与率算出部６０２で算出される種別寄与率ｋｉｎｄ＿ｍａｇの値を示す図である。種別寄与率算出部６０２は種別特定部６０１´から種別情報を入力し、種別寄与率ｋｉｎｄ＿ｍａｇを出力する。図３１（ａ）に示すように本実施形態における種別寄与率ｋｉｎｄ＿ｍａｇは以下のように算出する。

　種別がＮＲＦ後画像にかかるフィルタ係数もしくは予測画像にかかるフィルタ係数の場合（種別が２もしくは３の場合）
　　ｋｉｎｄ＿ｍａｇ＝１
　種別がそれ以外の場合（種別が４もしくは５の場合）
　　ｋｉｎｄ＿ｍａｇ＝０
　また、この実施形態では入力されないが、仮に、ＮＲＦ前画像にかかるフィルタ係数（種別識別子は１）が入力された場合には、
　種別がＮＲＦ後画像にかかるフィルタ係数の場合（種別識別子が１の場合）
　　ｋｉｎｄ＿ｍａｇ＝１
　のように動作する。

　ここで、予測画像と残差画像の種別寄与率ｋｉｎｄ＿ｍａｇは以下のように定められる。予測画像のスライス平均値と、適応フィルタの出力のスライス平均はほぼ等しいと考えられるため、式（６－２）によりＮＲＦ前画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇは１と定められる。また、残差画像のスライス平均値は０であると考えられるため、ＮＲＦ後画像にかかるフィルタ係数のｋｉｎｄ＿ｍａｇは０と定められる。
（種別寄与率算出部６０２´）
　図３１（ｂ）は、種別寄与率算出部６０２で算出される種別寄与率ｋｉｎｄ＿ｍａｇの値の別の例である。この例の動作を行う種別寄与率算出部６０２´を以下に説明する。

　種別寄与率算出部６０２´では、以下の動作を行う。

　種別がＮＲＦ前画像にかかるフィルタ係数の場合（種別識別子が１の場合）
　　ｋｉｎｄ＿ｍａｇ＝１
　種別がＮＲＦ後画像にかかるフィルタ係数の場合（種別識別子が２の場合）
　　ｋｉｎｄ＿ｍａｇ＝１
　種別が予測画像の場合（種別識別子が３の場合）
　　ｋｉｎｄ＿ｍａｇ＝０．９
　種別が残差画像の場合（種別識別子が４の場合）
　　ｋｉｎｄ＿ｍａｇ＝０．１
　種別がそれ以外の場合（種別識別子が５の場合）
　　ｋｉｎｄ＿ｍａｇ＝０
　予測画像と残差画像の種別寄与率ｋｉｎｄ＿ｍａｇを上記のように定めた方法について以下説明する。予測画像ｐｒｅｄと残差画像ｅｒｒｏｒの和が、復号画像であるから、復号画像をSdecと置くと以下の式になる。

　Sdec＝ｐｒｅｄ＋ｅｒｒｏｒ　　　　　　　　　　　　　　（６－２´´）
　この式のスライス平均を算出すると
　　Ｅ（Sdec）＝Ｅ（ｐｒｅｄ）＋Ｅ（ｅｒｒｏｒ）　　　　（６－２´）
　となる。ここでＥ（ｅｒｒｏｒ）＝Ａと置くと、式（６－２´）より、
　　Ｅ（ｐｒｅｄ）＝Ｅ（ｘ）―Ａとなる。

　これを式（１－２）に代入すると、
　　Ｅ（SALF）≒Σｃ_ｋ（Ｅ（Ｓｄｅｃ）―Ａ）＋Σｄ_ｋ×Ａ＋Σｂ_ｋ×Ｅ（Snrf）
となる。

　ここで両辺をＥ（SALF）で割り、寄与率ｍａｇ＿ｃ、ｍａｇ＿ｄ、ｍａｇ＿ｂを用いて表現すると、重み係数和に関する条件が得られる。

　　Σｃ_ｋ×ｍａｇ＿ｃ＋Σｄ_ｋ×ｍａｇ＿ｄ＋Σｂ_ｋ×ｍａｇ＿ｂ＝１
　ここで、
　　ｍａｇ＿ｄ　＝　Ｅ（ｅｒｒｏｒ）／Ｅ（SALF）
　　ｍａｇ＿ｃ　＝　（Ｅ（Sdec）―Ｅ（ｅｒｒｏｒ））／Ｅ（SALF）
　　ｍａｇ＿ｂ　＝　Ｅ（Snrf）／Ｅ（SALF）
　である。

　残差画像ｅｒｒｏｒのスライス平均は、フィルタ後画像（SALF）のスライス平均に比べて十分に小さいと考えられるので、ここでは
　　ｍａｇ＿ｄ　＝　０．１
とした。

　この場合、Ｅ（Sdec）とＥ（SALF）はほぼ等しいと考えられるため、
　　ｍａｇ＿ｃ　＝　（Ｅ（Sdec）／Ｅ（SALF）―Ｅ（ｅｒｒｏｒ））／Ｅ（SALF）
　　　　　　　　＝　１　－　ｍａｇ＿ｄ
　により、
　ｍａｇ＿ｃ　＝　０．９
とすることができる。

　なお、他にＡとしては０．５以下の値を用いることができ、この場合、以下のように寄与率を定める。

　　ｍａｇ＿ｄ　＝　Ａ
　　ｍａｇ＿ｃ　　＝　１－Ａ
（フィルタ係数予測部１５０３の別の構成）
　フィルタ係数予測部１５０３の別の構成について以下で説明する。予測対象とする寄与率が小さい場合もしくは０である場合には、上記では、残差画像の重み係数を求める場合には、（式５－３´）を用いても精度が十分ではない可能性がある。この場合には、別の性質に基づいた推定を行う構成が考えられる。

　この構成では、既に復号されている予測画像の重み係数を用いて、残差画像にかかる重み係数を予測する。すなわち、
　残差画像の重み係数の予測値　＝　予測画像の重み係数　　　　　　（５－３´´´）
により予測を行う。重み係数が複数のタップ数から構成されている場合には、対応する位置毎に予測を行う。例えば、残差画像の重み係数の中心要素は、予測画像の重み係数の中心要素から予測する。対応する位置がない場合には０を予測値とする。

　この性質は、式（６－２´´）に基づいて求められたものである。すなわち、予測画像と残差画像の和が復号画像であることから、復号画像に近い値である原画に近い値を重み付けで得るためには、予測画像と残差画像の重み係数が等しい必要がある。この必要に基づいて、式（５－３´´´）が定められている。

　なお、以下の式（５―３´´´´）を用いて、予測画像にかかる重み係数を予測しても構わない。

　予測画像の重み係数の予測値　＝　残差画像の重み係数　　　　　　（５－３´´´´）
（動画像符号化装置８´）
　続いて、本発明を適用した画像符号化装置について、図を参照して説明する。

　図４１は、動画像符号化装置８´の構成を示すブロック図である。動画像符号化装置８と同様の部材に関しては、同一の符号を付し、その説明を省略する。

　図４１に示すように、動画像符号化装置８´は、予測部１１１と、変換部１１２と、量子化部１１３と、可変長符号化部２１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、適応フィルタ情報算出部１１８´と適応フィルタ情報保存部１１９とループフィルタ部１２０´、フィルタ係数予測符号化部２１１、と減算部１０７と加算部１０９とから構成される。予測部１１１、変換部１１２、量子化部１１３、可変長符号化部２１４、逆量子化部１１５、逆変換部１１６、フレームメモリ１１７、適応フィルタ情報保存部１１９、ループフィルタ部１２０´、フィルタ係数予測符号化部２１１、減算部１０７、加算部１０９は、第４の実施形態における動画像符号化装置８および第５の実施形態における動画像復号装置７´と同じ動作であるので説明を省略する。

　（適応フィルタ情報算出部１１８´）
　以下、適応フィルタ情報算出部１１８´の動作を説明する。適応フィルタ情報算出部１１８´は、入力画像Sorgと予測画像ｐｒｅｄ、残差画像ｅｒｒｏｒ、ＮＲＦ後画像Snrfから、以下の式（８－１´）をより小さくする重み係数ｃｆ_ｋ（ｋ＝０～ＮｕｍＰＮ－１）とｄｆ_ｋ（ｋ＝０～ＮｕｍＥＮ－１）とｂｆ_ｋ（ｋ＝０～ＮｕｍＮ－１）、オフセットｏｆの推定値を最小二乗法により求める。ここでｆはｆｌｏａｔの略であり、最小二乗法では小数点数として重み係数を算出することを意味する。

　ここで、１次元インデックスｋとｕ、ｖの関係は既に動画像符号化装置８の説明で示したとおりである。

　最小二乗法に先立ち、式（８－１´）を重み係数ｃｆ_ｋとｄｆ_ｋ、ｂｆ_ｋ、オフセットｏｆをパラメータとする以下の式（８－２´）に直す。

　最小二乗法においては、式（８－２´）をパラメータｃｆ_ｋ、ｄｆ_ｋ、ｂｆ_ｋ、ｏｆの式とみなして、各々のパラメータに対して偏微分を行い、これを０とする。これによって、正規方程式と呼ばれるパラメータの数ＮｕｍＰＮ＋ＮｕｍＥＮ＋ＮｕｍＮ＋１個の連立方程式が得られる。

　得られた方程式をガウスの消去法などによって解くことにより、ｃｆ_ｋの最適推定値ｃｆｅと、ｄｆ_ｋの最適推定値ｄｆｅ、ｂｆ_ｋの最適推定値ｂｆｅ、ｏｆの最適推定値ｏｆｅが得られる。これらを重み係数の組を推定値ｚｆｅと呼ぶ。

　最小二乗法の演算は、事前にタップ数ＰＮ、ＥＮ、及びＮを特定の値に定めて行われる。但し、最適なＰＮ、ＥＮ、Ｎの組み合わせを予め定めることは困難であることから、可能な全ての組み合わせに対して最小二乗法を行い、最適なＰＮ、ＥＮ、Ｎの組み合わせを二乗誤差最小やＲＤコスト最小などの条件に基づいて選択することで、最適化を行う。

　また、以上説明したそれぞれの実施形態において、動画像復号装置および動画像復号装置の各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像復号装置や動画像復号装置の制御を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであっても良い。

　（まとめ）
　以上のように、本発明に係る画像フィルタ装置は、一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置であって、入力画像として利用可能な複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される一または複数の入力画像を選択する選択手段と、上記選択手段によって選択された一または複数の入力画像に対して、当該一または複数の入力画像について最適化されたフィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するフィルタ手段と、を備えていることを特徴としている。

　したがって、上記の構成によれば、常に複数の入力画像候補の全てにフィルタを作用させる構成に比べて、フィルタ処理の処理量を低減させることができるという効果を奏する。また、フィルタ処理に用いられるフィルタ係数群は、上記一または複数の入力画像について最適化されたものであるため、高い符号化効率を維持することができるという効果を奏する。

　なお、上記画像フィルタ装置を符号化装置および復号装置の一部として実現する場合には、入力画像候補の組み合わせ、および、フィルタ処理に用いられるフィルタ係数群として、符号化対象画像と上記画像フィルタ装置の生成する出力画像との相違をより小さくするように定められたものを用いる構成とすることができる。このような入力画像指定情報を参照して上記画像フィルタ装置によって生成された出力画像を参照画像として用いることにより、符号化装置および復号装置は、予測精度の高い予測画像を生成することができるので、高い符号化効率を維持しつつ、フィルタ処理の処理量を削減することができる。

　また、上記画像フィルタ装置によって参照される上記入力画像指定情報は、入力画像として利用可能な複数の入力画像候補の各々について、上記フィルタ手段が作用するか否かを指定するものである、ことが好ましい。

　上記の構成によれば、上記入力画像指定情報は、入力画像として利用可能な複数の入力画像候補の各々について、上記フィルタ手段が作用するか否かを指定するものであるので、上記画像フィルタ装置の備える上記選択手段は、上記入力画像指定情報を参照して、入力画像として利用可能な複数の入力画像候補の各々について、上記フィルタ装置が作用すべきか否かを判別し、上記フィルタ装置が作用すべき入力画像候補のみを選択する。また、上記フィルタ手段は、そのように選択された入力画像に作用する。したがって、上記の構成によれば、フィルタ処理の処理量を低減することができるという効果を奏する。

　上記のように構成された復号装置の備える画像フィルタ装置は、上記復号画像、および、上記ノイズ低減済復号画像のうち、上記符号化データから復号された入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって、出力画像を生成する。また、上記画像フィルタ装置は、上記入力画像について最適化されたフィルタ係数を用いてフィルタ処理を行うので、符号化対象画像との相違の小さい出力画像を生成することにより、高い符号化効率を維持することができるという効果を奏する。

　また、上記ノイズ低減済復号画像は、上記復号画像にブロックノイズ低減処理を施すことによって得られた画像である、ことが好ましい。

　上記の構成によれば、上記ノイズ低減済復号画像は、上記復号画像にブロックノイズ低減処理を施すことによって得られた画像であるため、当該ノイズ低減済復号画像に作用することによって生成された出力画像と、符号化対象画像との相違を更に小さくすることができるという更なる効果を奏する。

　また、上記の構成と同様の構成を有する符号化装置は、上記画像フィルタ装置と同様の構成を有する画像フィルタ装置にて符号化対象画像との相違の更に小さい出力画像を生成し、当該出力画像を参照して、予測精度の更に高い予測画像を生成することができるため、符号化効率の更に高い符号化データを生成することができる。

　また、上記の構成を有する復号装置によれば、そのような符号化効率の高い符号化データを適切に復号することができる。

　また、上記の復号装置の備える画像フィルタ装置は、上記予測画像および上記残差画像のうち、上記入力画像指定情報によって指定される少なくとも一方を、上記復号画像および上記ノイズ低減済復号画像の少なくとも一方とともに入力画像とし、該入力画像に作用することによって出力画像を生成する、ことが好ましい。

　上記の構成によれば、上記画像フィルタ装置は、上記復号画像、および、上記ノイズ低減済復号画像のうち、上記符号化データから復号された入力画像指定情報によって指定される少なくとも一方、および、上記予測画像および上記残差画像のうち、上記入力画像指定情報によって指定される少なくとも一方を入力画像とし、これらの入力画像に作用することによって出力画像を生成するので、出力画像と、符号化対象画像との相違を更に小さくすることができるという更なる効果を奏する。

　また、上記の構成と同様の構成を有する符号化装置は、上記画像フィルタ装置と同様の構成を有する画像フィルタ装置にて符号化対象画像との相違が更に小さい出力画像を生成し、当該出力画像を参照して、予測精度の更に高い予測画像を生成することができるため、符号化効率の更に高い符号化データを生成することができる。

　また、上記の構成を有する復号装置によれば、そのような符号化効率の更に高い符号化データを適切に復号することができる。

　また、上記入力画像指定情報によって指定される入力画像の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、ことが好ましい。

　上記の構成によれば、入力画像の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものであるため、上記のように構成された入力画像指定情報を参照して上記画像フィルタ装置によって生成された出力画像は、入力画像候補の可能な組み合わせ、および、フィルタ係数群の各々の要素がとり得る値の範囲において、符号化対象画像との相違が最も小さい。したがって、上記のように構成された入力画像指定情報を参照して上記画像フィルタ装置によって生成された出力画像を参照画像とし、該参照画像を参照することによって、生成される予測画像の予測精度を更に高めることができる。

　上記の構成と同様の構成を有する入力画像指定情報を参照する符号化装置は、予測精度の更に高い予測画像を生成することができるので、符号化効率の更に高い符号化データを生成することができる。

　また、上記の構成を有する入力画像指定情報を参照する復号装置は、そのような符号化効率の更に高い符号化データを適切に復号することができる。

　なお、上記入力画像指定情報によって指定される一または複数の入力画像候補の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群としては、例えば、入力画像として利用可能な複数の入力画像候補の可能な組み合わせの各々について、符号化対象画像と、上記画像フィルタ装置により生成される出力画像との相違をより小さくするような各フィルタ係数群を符号化装置において算出する構成とし、符号化対象画像との相違が最も小さくなる出力画像に対応する入力画像候補の組み合わせ、および、当該組み合わせについて算出されたフィルタ係数群を用いる構成とすればよい。

　上記のように構成された符号化装置の備える画像フィルタ装置は、上記復号画像、および、上記ノイズ低減済復号画像のうち、上記入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって、出力画像を生成する。また、上記画像フィルタ装置は、上記入力画像について最適化されたフィルタ係数を用いてフィルタ処理を行うので、符号化対象画像との相違の小さい出力画像を生成することにより、高い符号化効率を維持することができるという効果を奏する。

　また、上記の構成を有する符号化装置は、上記画像フィルタ装置にて符号化対象画像との相違の更に小さい出力画像を生成し、当該出力画像を参照して、予測精度の更に高い予測画像を生成することができるため、符号化効率の更に高い符号化データを生成することができる。

　また、上記符号化装置の備える画像フィルタ装置は、上記予測画像、および、上記残差画像のうち、上記入力画像指定情報によって指定される少なくとも一方を、上記復号画像および上記ノイズ低減済復号画像の少なくとも一方とともに入力画像とし、該入力画像に作用することによって出力画像を生成する、ことが好ましい。

　また、上記の構成を有する符号化装置は、上記画像フィルタ装置にて符号化対象画像との相違が更に小さい出力画像を生成し、当該出力画像を参照して、予測精度の更に高い予測画像を生成することができるため、符号化効率の更に高い符号化データを生成することができる。

　また、上記入力画像指定情報によって指定される入力画像の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群は、上記符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、ことが好ましい。

　上記の構成を有する入力画像指定情報を参照する符号化装置は、予測精度の更に高い予測画像を生成することができるので、符号化効率の更に高い符号化データを生成することができる。

　なお、上記入力画像指定情報によって指定される一または複数の入力画像候補の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群としては、例えば、入力画像として利用可能な複数の入力画像候補の可能な組み合わせの各々について、符号化対象画像と、上記画像フィルタ装置により生成される出力画像との相違をより小さくするような各フィルタ係数群を上記符号化装置において算出する構成とし、符号化対象画像との相違が最も小さくなる出力画像に対応する入力画像候補の組み合わせ、および、当該組み合わせについて算出されたフィルタ係数群を用いる構成とすればよい。

　また、上記入力画像指定情報は、入力画像として利用可能な複数の入力画像候補の各々について、上記画像フィルタ装置が作用するか否かを指定するものである、ことが好ましい。

　上記の構成によれば、上記入力画像指定情報は、入力画像として利用可能な複数の入力画像候補の各々について、上記フィルタ手段が作用するか否かを指定するものであるので、上記画像フィルタ装置は、上記入力画像指定情報を参照して、入力画像として利用可能な複数の入力画像候補の各々について、上記フィルタ装置が作用すべきか否かを判別し、上記フィルタ装置が作用すべき入力画像候補のみを選択する。また、上記画像フィルタ装置は、そのように選択された入力画像に作用する。したがって、上記の構成によれば、フィルタ処理の処理量を低減することができるという効果を奏する。

　また、上記入力画像指定情報が指定する入力画像の組み合わせ、および、上記符号化データに含まれるフィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、ことが好ましい。

　上記の構成によれば、入力画像の組み合わせ、および、上記フィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものであるため、上記のように構成された入力画像指定情報を参照して画像フィルタ装置によって生成された出力画像は、入力画像候補の可能な組み合わせ、および、フィルタ係数群の各々の要素がとり得る値の範囲において、符号化対象画像との相違が最も小さい。したがって、上記のように構成された入力画像指定情報を参照して上記画像フィルタ装置によって生成された出力画像を参照画像とし、該参照画像を参照することによって、生成される予測画像の予測精度を更に高めることができる。

　なお、上記入力画像指定情報によって指定される一または複数の入力画像候補の組み合わせ、および、上記フィルタ係数群としては、例えば、入力画像として利用可能な複数の入力画像候補の可能な組み合わせの各々について、符号化対象画像と、上記画像フィルタ装置により生成される出力画像との相違をより小さくするような各フィルタ係数群を符号化装置において算出する構成とし、符号化対象画像との相違が最も小さくなる出力画像に対応する入力画像候補の組み合わせ、および、当該組み合わせについて算出されたフィルタ係数群を用いればよい。

　また、本発明に係る動画像復号装置は、複数種別の信号を入力可能な適応フィルタと、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする。

　また、上記、重み係数算出手段によって用いられる寄与率は、フィルタ係数がかかる信号の種別に応じて定まる種別寄与率と、フィルタ係数がかかる信号の数である参照信号数の積で算出される値であることが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、フィルタ係数がかかる信号の数である参照信号数だけでなく、入力の信号の種別に応じて適当な寄与率を用いて重み係数和を算出するため、フィルタ係数をさらに精度よく予測することが可能である。

　また、前記フィルタ係数予測部では、適応フィルタのフィルタ係数の一つであるオフセットを予測することが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、オフセット成分を精度よく予測することが可能である。

　また、前記動画像復号装置は、ノイズ低減フィルタ手段を更に備え、前記ノイズ低減フィルタ手段の出力を前記適応フィルタへ入力することが可能であり、前記フィルタ係数予測部は、前記ノイズ低減フィルタ手段の出力である、ＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、複数種別の信号を入力が可能な適応フィルタのフィルタ係数のうち、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

　また、前記動画像復号装置は、復号画像とノイズ低減フィルタ手段の出力を前記適応フィルタへ入力することが可能であり、前記フィルタ係数予測部は、復号画像の中心要素にかかるフィルタ係数とＮＲＦ後画像の中心要素にかかるフィルタ係数とを予測することが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、復号画像とノイズ低減後の復号画像を用いることによって、ノイズ低減強度が調整可能な動画像復号装置において、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

　また、前記フィルタ係数予測部は、過去に復号したフィルタセットに含まれるフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット間予測部と、同一フィルタセット内で既に復号したフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット内予測部とを備え、前記ノイズ低減フィルタ手段の出力である、ＮＲＦ後画像の中心要素にかかるフィルタ係数を前記フィルタセット内予測部を用いて予測し、それ以外のフィルタ係数の予測を前記フィルタセット間予測部を用いて予測することが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数について精度よく予測することが可能なフィルタセット内予測を用い、それ以外のフィルタ係数についてはフィルタセット間予測を用いることによって、小数のフィルタ係数に対して高精度に予測可能であるというフィルタセット内予測と、多くのフィルタ係数に関して予測が可能であるというフィルタセット間予測の両者の特徴を活かすことができる。そのため、フィルタ係数の符号量を低減することができる。

　また、前記動画像復号装置は、予測画像と残差画像とノイズ低減フィルタ手段の出力とを前記適応フィルタの入力とすることが可能であり、前記フィルタ係数予測部は、前記ノイズ低減フィルタ手段の出力である、ＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、予測画像と復号画像とノイズ低減後の復号画像を用いることによって、自由度が高くノイズ低減強度が調整可能な動画像復号装置において、最も大きな値になることが多い、ノイズ低減フィルタ手段の出力であるＮＲＦ後画像の中心要素にかかるフィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

　また、前記動画像復号装置は、前記適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部を更に備え、前記寄与率算出部は、復号画像に対する寄与率を１に設定し、ＮＲＦ後画像に対する寄与率を１に設定することが好ましい。

　上記のように構成された本発明に係る動画像復号装置は、入力信号に対して統計的に適当な寄与率を用いて重み係数和を算出することができることから、フィルタ係数を精度よく予測することができるため、フィルタ係数の符号量を低減することができる。

　また、前記動画像復号装置は、前記適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部を更に備え、前記寄与率算出部は、予測画像に対する寄与率を１に設定し、残差画像に対する寄与率を０に設定し、ＮＲＦ後画像に対する寄与率を１に設定することが好ましい。

　また、前記動画像復号装置は、前記適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部を更に備え、前記寄与率算出部は、０．５以下の所定の値をＡとしたとき、予測画像に対する寄与率を１－Ａに設定し、残差画像に対する寄与率をＡに設定し、ＮＲＦ後画像に対する寄与率を１に設定することが好ましい。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　本発明は、画像データにフィルタリングを行う画像フィルタに好適に用いることができる。また、符号化データを復号する復号装置、および、符号化データを生成する符号化装置に好適に適用することができる。

１，３，５　　　　　　　　　　動画像復号装置（復号装置）
１２　　　　　　　　　　　　　予測画像生成部（予測画像生成手段）
１６，３６，５６　　　　　　　ループフィルタ（画像フィルタ装置）
１６１，３６１，５６１　　　　フィルタ制御部（選択手段）
１６２，３６２，５６２　適応フィルタ用メモリ
１６３，３６３，５６３　　　　適応フィルタ部（フィルタ手段）
１６４，３６４，５６４　ノイズ除去フィルタ部
２５　　　　　　　　　　　　　フレームメモリ
２，４，６　　　　　　　　　動画像符号化装置
２１　　　　　　　　　　　　　予測画像生成部（予測画像生成手段）
２６，４６，６６　　　　　　　ループフィルタ（画像フィルタ装置）
２６１，４６１，６６１　　　　フィルタ制御部（選択手段）
２６２，４６２，６６２　適応フィルタ用メモリ
２６３，４６３，６６３　　　　適応フィルタ部（フィルタ手段）
２６４，４６４，６６４　ノイズ除去フィルタ部
２５　　　　　　　　　　　　　フレームメモリ
２７，４７，６７　　フィルタパラメータ導出部（入力画像指定情報生成手段）
７，７´　　　　　　　　　　　動画像復号装置
８，８´　　　　　　　　　　動画像符号化装置
１０７　　　　　　　　　　　　　　　　減算部
１０９　　　　　　　　　　　　　　　　加算部
１１１　　　　　　　　　　　　　　　　予測部
１１２　　　　　　　　　　　　　　　　変換部
１１３　　　　　　　　　　　　　　　量子化部
１１４　　　　　　　　　　　　可変長符号化部
１１５　　　　　　　　　　　　　　逆量子化部
１１６　　　　　　　　　　　　　　　逆変換部
１１７　　　　　　　　　　　　フレームメモリ
１１８，１１８´　　　適応フィルタ情報算出部
１１９　　　　　　　　適応フィルタ情報保存部
１２０，１２０´　　　　　　ループフィルタ部
２０１，２０１´　　　フィルタ係数予測復号部
２０２　　フィルタセット内フィルタ係数予測部
２０３　　フィルタセット間フィルタ係数予測部
２０４　　　　　　　　　　　　予測方式切替部
２０５　　　　　　　　　　　　　　　　加算部
２０６　　　　　　　　　　　　　　　　減算部
２１１　　　　　　　フィルタ係数予測符号化部
３０１　　　　　　　　　　　　　　　ＮＲＦ部
３０２　　　　　　　　　　　　適応フィルタ部
３０２´　　　　　　　　　　　適応フィルタ部
１４０１　　　　　　　　　　境界エッジ算出部
１４０２　　　　　　　　　　　　活性度算出部
１４０３　　　　　　　　　　ＮＲＦ画素生成部
１５０１　　　　　　　　　予測対象係数特定部
１５０２　　　　　　　　　　重み係数和算出部
１５０３　　　　　　　　　フィルタ係数予測部
１５０５　　　　　　　　　　　　寄与率算出部
１５０６　　　　　　　対応フィルタ係数参照部
６０１　　　　　　　　　　　　　　種別特定部
６０２　　　　　　　　　　　種別寄与率算出部
６０３　　　　　　　　　　　参照信号数算出部
６０４　　　　　　　　　　　　　　　　乗算部
７０１　　　　　　　　復号画像適応重み付け部
７０２　　　　　　ＮＲＦ後画像適応重み付け部
７０３　　　　　　　　　　　　シフト／除算部
７０４　　　　　　　　予測画像適応重み付け部
７０５　　　　　　　　残差画像適応重み付け部

Claims

　一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置であって、
　入力画像として利用可能な複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される一または複数の入力画像を選択する選択手段と、
　上記選択手段によって選択された一または複数の入力画像に対して、当該一または複数の入力画像について定められたフィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するフィルタ手段と、
を備えていることを特徴とする画像フィルタ装置。
　上記入力画像指定情報は、上記複数の入力画像候補の各々について、上記フィルタ手段が作用するか否かを指定するものである、
ことを特徴とする請求項１に記載の画像フィルタ装置。
　符号化データを復号し、出力画像を生成する復号装置であって、
　請求項１または２に記載の画像フィルタ装置と、
　予測画像を生成する予測画像生成手段と、
を備え、
　上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像に符号化データから復号された残差画像を加算することによって得られる復号画像、および、該復号画像にノイズ低減処理を施すことによって得られるノイズ低減済復号画像のうち、上記符号化データから復号された入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって出力画像を生成する、
ことを特徴とする復号装置。
　上記ノイズ低減済復号画像は、上記復号画像にブロックノイズ低減処理を施すことによって得られた画像である、
ことを特徴とする請求項３に記載の復号装置。
　上記画像フィルタ装置は、上記予測画像および上記残差画像のうち、上記入力画像指定情報によって指定される少なくとも一方を、上記復号画像および上記ノイズ低減済復号画像の少なくとも一方とともに入力画像とし、該入力画像に作用することによって出力画像を生成する、
ことを特徴とする請求項３または４に記載の復号装置。
　上記入力画像指定情報によって指定される入力画像の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、
ことを特徴とする請求項３から５の何れか１項に記載の復号装置。
　符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、
　請求項１または２に記載の画像フィルタ装置と、
　予測画像を生成する予測画像生成手段と、
　入力画像として利用可能な複数の入力画像候補のうち上記画像フィルタ装置が作用する一または複数の入力画像候補を指定する入力画像指定情報を生成する入力画像指定情報生成手段と、
　符号化対象画像と上記予測画像生成手段によって生成された予測画像との残差画像と共に、上記入力画像指定情報生成手段によって生成された入力画像指定情報を、該残差画像に関連付けて符号化する符号化手段と、
を備え、
　上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像に上記残差画像を加算することによって得られる復号画像、および、該復号画像にノイズ低減処理を施すことによって得られるノイズ低減済復号画像のうち、上記入力画像指定情報によって指定される少なくとも一方を入力画像とし、該入力画像に作用することによって出力画像を生成するものであり、
　上記予測画像生成手段は、上記復号画像または上記出力画像を参照して予測画像を生成するものである、
ことを特徴とする符号化装置。
　上記ノイズ低減済復号画像は、上記復号画像にブロックノイズ低減処理を施すことによって得られた画像である、
ことを特徴とする請求項７に記載の符号化装置。
　上記画像フィルタ装置は、上記予測画像および上記残差画像のうち、上記入力画像指定情報によって指定される少なくとも一方を、上記復号画像および上記ノイズ低減済復号画像の少なくとも一方とともに入力画像とし、該入力画像に作用することによって出力画像を生成する、
ことを特徴とする請求項７または８に記載の符号化装置。
　上記入力画像指定情報によって指定される入力画像の組み合わせ、および、上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群は、上記符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、
ことを特徴とする請求項７から９の何れか１項に記載の符号化装置。
　一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置を備える復号装置が参照する符号化データのデータ構造であって、
　符号化対象画像と予測画像との残差画像を示す残差データと、
　上記画像フィルタ装置が作用する一または複数の入力画像を指定する入力画像指定情報と、
　上記画像フィルタ装置によるフィルタ処理に用いられるフィルタ係数群であって、上記１または複数の入力画像の各々についてのフィルタ係数群と、
を含み、
　上記画像フィルタ装置は、
　入力画像として利用可能な複数の入力画像候補から、該複数の入力画像候補に関連付けられた入力画像指定情報によって指定される一または複数の入力画像を選択し、選択された一または複数の入力画像に対して上記フィルタ係数群を用いたフィルタを作用させることによって出力画像を生成する、
ことを特徴とする符号化データのデータ構造。
　上記入力画像指定情報は、入力画像として利用可能な複数の入力画像候補の各々について、上記画像フィルタ装置が作用するか否かを指定するものである、
ことを特徴とする請求項１１に記載の符号化データのデータ構造。
　上記入力画像指定情報が指定する入力画像の組み合わせ、および、上記符号化データに含まれるフィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、
ことを特徴とする請求項１２に記載の符号化データのデータ構造。
　符号化対象画像と予測画像との残差画像を符号化することによって得られた符号化データを復号し、出力画像を生成する復号装置であって、
　予測画像を生成する予測画像生成手段と、
　一または複数の入力画像に作用することによって一の出力画像を生成する画像フィルタ装置と、
を備え、
　上記画像フィルタ装置は、上記予測画像生成手段によって生成された予測画像、上記符号化データを復号することによって得られる残差画像、該予測画像と該残差画像とを加算して得られる復号画像、および、該復号画像にノイズ低減処理を施すことによって得られるノイズ低減済復号画像から選択された一または複数の入力画像に対して、フィルタ係数群を用いたフィルタを作用させることによって出力画像を生成するものであり、
　上記入力画像の組み合わせ、および、上記フィルタ係数群は、符号化対象画像と上記出力画像との相違をより小さくするように定められたものである、
ことを特徴とする復号装置。
　複数種別の信号を入力可能な適応フィルタと、符号化データからフィルタ係数の可変長符号復号を行う可変長符号復号部と、復号済みのフィルタ係数を用いて復号対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像復号装置であって、
　前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする動画像復号装置。
　前記重み係数和算出手段で用いられる寄与率は、フィルタ係数がかかる信号の種別に応じて定まる種別寄与率と、フィルタ係数がかかる信号の数である参照信号数の積で算出される値であることを特徴とする請求項１５に記載の動画像復号装置。
　前記フィルタ係数予測部は、適応フィルタのフィルタ係数の一つであるオフセットを予測することを特徴とする請求項１５または１６に記載の動画像復号装置。
　前記動画像復号装置は、ノイズ低減フィルタ手段を更に備え、前記ノイズ低減フィルタ手段の出力を前記適応フィルタへ入力することが可能であり、前記フィルタ係数予測部は、前記ノイズ低減フィルタ手段の出力である、ＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することを特徴とする請求項１５から１７に記載の動画像復号装置。
　前記動画像復号装置は、復号画像とノイズ低減フィルタ手段の出力を前記適応フィルタへ入力することが可能であり、前記フィルタ係数予測部は、復号画像の中心要素にかかるフィルタ係数とＮＲＦ後画像の中心要素にかかるフィルタ係数とを予測することを特徴とする請求項１５から１８に記載の動画像復号装置。
　前記フィルタ係数予測部は、過去に復号したフィルタセットに含まれるフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット間予測部と、同一フィルタセット内で既に復号したフィルタ係数を用いてフィルタ係数の予測を行うフィルタセット内予測部とを備え、前記ノイズ低減フィルタ手段の出力である、ＮＲＦ後画像の中心要素にかかるフィルタ係数を前記フィルタセット内予測部を用いて予測し、それ以外のフィルタ係数の予測を前記フィルタセット間予測部を用いて予測することを特徴とする請求項１９に記載の動画像復号装置。
　前記動画像復号装置は、予測画像と残差画像とノイズ低減フィルタ手段の出力とを前記適応フィルタの入力とすることが可能であり、前記フィルタ係数予測部は、前記ノイズ低減フィルタ手段の出力である、ＮＲＦ後画像の中心要素にかかるフィルタ係数を予測することを特徴とする請求項１５から１８に記載の動画像復号装置。
　前記適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部を更に備え、前記寄与率算出部は、復号画像に対する寄与率を１に設定し、ＮＲＦ後画像に対する寄与率を１に設定することを特徴とする請求項１９または２０に記載の動画像復号装置。
　前記適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部を更に備え、前記寄与率算出部は、予測画像に対する寄与率を１に設定し、残差画像に対する寄与率を０に設定し、ＮＲＦ後画像に対する寄与率を１に設定することを特徴とする請求項２１に記載の動画像復号装置。
　前記適応フィルタの入力信号の種別に対する寄与率を算出する寄与率算出部を更に備え、前記寄与率算出部は、０．５以下の所定の値をＡとしたとき、予測画像に対する寄与率を１－Ａに設定し、残差画像に対する寄与率をＡに設定し、ＮＲＦ後画像に対する寄与率を１に設定することを特徴とする請求項２１に記載の動画像復号装置。
　複数種別の信号を入力可能な適応フィルタと、予測対象以外のフィルタ係数を用いて前記予測対象のフィルタ係数の予測値を算出するフィルタ係数予測部とを備える動画像符号化装置であって、
　前記フィルタ係数予測部は、フィルタ係数毎に定まる寄与率とフィルタ係数との積和によって算出される重み係数和を算出する重み係数和算出手段を備えることを特徴とする動画像符号化装置。
　少なくともオフセットを含む適応フィルタ情報を含む符号化データのデータ構造であって、
　前記符号化データ中に符号化されたオフセットが、前記オフセット以外のフィルタ係数から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データのデータ構造。
　復号画像にかかるフィルタ係数とＮＲＦ後画像にかかるフィルタ係数とを含むフィルタ係数セットを含む適応フィルタ情報を含む符号化データのデータ構造であって、
　少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データのデータ構造。
　予測画像にかかるフィルタ係数と残差画像にかかるフィルタ係数とＮＲＦ後画像にかかるフィルタ係数とを含むフィルタ係数セットを含む適応フィルタ情報を含む符号化データのデータ構造であって、
　少なくともＮＲＦ後画像の中心要素にかかるフィルタ係数が、ＮＲＦ後画像の中心要素にかかるフィルタ係数以外から算出された重み係数和を用いて予測された差分値であることを特徴とする符号化データのデータ構造。