JP5551274B2 - 画像フィルタ装置 - Google Patents

Description

本発明は、画像のフィルタリングを行う画像フィルタ装置に関する。また、そのような画像フィルタ装置を備えている符号化装置および復号装置に関する。また、そのような復号装置によって復号される符号化データのデータ構造に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（復号装置）が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ（非特許文献１）、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、および、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式（非特許文献２）などが挙げられる。

このような符号化方式において、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる最大符号化単位（LCU:Largest Coding Unit）、最大符号化単位を分割することにより得られる符号化単位（CU:Coding Unit）、及び、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、多くの場合、ブロックを最小単位として符号化される。

また、このような符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分画像（「残差画像」または「予測残差」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）と呼ばれる方法が知られている。

インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位毎に生成される。一方で、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。

非特許文献２には、復号画像に対し符号化単位毎にフィルタ処理を行う適応的ループフィルタ（ALF:Adaptive Loop Filter）（以下、単に「適応フィルタ」とも呼ぶ）が開示されている。この適応フィルタは、復号画像上のスライス毎に、フィルタ済復号画像と原画像との誤差が最小となるフィルタ係数を定め、当該スライスに含まれる各符号化単位に対して、当該フィルタ係数に基づいたフィルタリングを施すものである。このような適応フィルタを備えた符号化装置および復号装置は、フィルタリングにより符号化／復号画像の画質を向上することで、フィルタ済画像を参照して生成される予測画像の精度を上げることができるため、符号化効率の向上を図ることができる。

また、非特許文献２に記載された適応フィルタは、フレーム全体の画素値を格納可能なフレームメモリであってアクセス速度の低いフレームメモリから、処理対象である対象符号化単位およびその周辺の画像を格納可能なローカルメモリであって高速アクセスが可能なローカルメモリに転送された画素値を参照してフィルタ処理を行うことにより、フィルタ処理の高速化を図ることができる。

「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009（２００９年３月公開） 「Test Model under Consideration JCTVC-B205 draft007」,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2nd Mee-ting:Geneva,CH,07/2010（２０１０年７月公開）

しかしながら、非特許文献２に開示された従来の適応フィルタは、対象符号化単位についてのフィルタ処理を行う際に、対象符号化単位内の画素値に加えて、対象符号化単位外の画素値（対象符号化単位の周辺の画素の画素値）を参照するものであるため、フレームメモリからローカルメモリへのデータ転送量が増大するという問題を有していた。この点について、図２９を参照してより具体的に説明する。

図２９は、対象符号化単位ＣＵのサイズが８×８画素である場合に、従来の適応フィルタにおいて対象画素の位置に応じて設定される５タップの参照領域Ｒと、対象符号化単位に含まれる各対象画素についての参照領域Ｒの和集合である参照ブロックＲＡとを示している。参照ブロックＲＡは、対象符号化単位についてのフィルタ済画像を生成するために従来の適応フィルタによって参照される画素の集合である。図２９に示す例の場合、従来の適応フィルタは、８×８画素の対象符号化単位についてのフィルタ済画像を生成するために、１２×１２画素の参照ブロックＲＡに含まれる各画素値を参照する必要がある。このように、従来の適応フィルタは、対象符号化単位についてのフィルタ処理を行う際に、対象符号化単位内の画素値に加えて、対象符号化単位の周辺の画素値を参照するものであるため、フレームメモリからローカルメモリへのデータ転送量が増大するという問題を有している。

一方で、データ転送量を削減するためには、例えば、参照領域のサイズを小さくすることが考えられるが、その場合、フィルタ済画像を用いて算出される予測画像の予測精度が低下するため、符号化効率が低下するという問題が生じる。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、高い符号化効率を維持しつつ、適応フィルタ処理の際のデータ転送量を削減することによって処理量および処理時間を削減することのできる画像フィルタ装置を実現することにある。

上記課題を解決するために、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用することによって出力画像を生成するフィルタ手段と、上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じたサイズに縮小する参照領域変更手段とを備えている、ことを特徴としている。

上記画像フィルタ装置が、符号化データを復号し復号画像を生成する復号装置、または、符号化対象画像を符号化し符号化データを生成する符号化装置に用いられる場合、上記画像フィルタ装置の出力画像を参照して予測精度の高い予測画像を生成することができるので、符号化効率が向上する。

また、上記のように構成された画像フィルタ装置によれば、上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じたサイズに縮小するので、高い符号化効率を維持しつつ、出力画像を生成するために参照する画素数を削減することができる。したがって、上記のように構成された画像フィルタ装置によれば、高い符号化効率を維持しつつ、フィルタ処理の際のデータ転送量を削減することができる。

なお、上記単位領域とは、例えば、最大符号化単位ＬＣＵであってもよいし、最大符号化単位ＬＣＵを分割して得られる符号化単位ＣＵであってもよいし、その他の領域であってもよい。

また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用することによって単位領域毎に出力画像を生成するフィルタ手段と、各単位領域の、処理順で上流側の２辺の少なくとも一方からの距離がＤＢ以下である画素の画素値を平滑化する平滑化手段と、を備え、上記フィルタ手段は、上記平滑化手段が対象単位領域の上流側の２辺に作用した後、処理順で次の単位領域の上流側の２辺に作用する前に、対象単位領域に作用するものである、ことを特徴としている。

また、本発明に係る画像フィルタ装置は、単位領域毎に生成される予測画像と残差画像とを加算して得られる復号画像について、各単位領域の、処理順で上流側の２辺の少なくとも一方の近傍に位置する画素の画素値を平滑化する平滑化手段と、上記平滑化手段の出力画像に作用する第１のフィルタ手段、上記予測画像に作用する第２のフィルタ手段、および、上記残差画像に作用する第３のフィルタ手段を含む算出手段であって、上記第１から第３のフィルタ手段の出力画像を加算して出力する算出手段と、上記第１から第３のフィルタ手段が各対象画素の画素値を算出するために参照する参照領域を設定する参照領域設定手段であって、参照領域の上下方向の画素数を１に設定する参照領域設定手段と、を備えていることを特徴としている。

上記画像フィルタ装置によれば、上記平滑化手段によって平滑化処理が施された復号画像、予測画像、および、残差画像を参照して出力画像を生成する。したがって、上記画像フィルタ装置を備えた復号装置、および、上記画像フィルタ装置を備えた符号化装置は、上記画像フィルタ装置の出力画像を参照して予測画像を生成することによって、符号化効率が向上する。また、上記参照領域の上下方向の画素数が１に設定されるため、フィルタ処理の処理量、および、データ転送量が削減される。

また、本発明に係る画像フィルタ装置は、１または複数のスライスより構成される入力画像に作用することによって出力画像を生成するフィルタ手段と、上記出力画像における対象画素の画素値を、該対象画素の周辺に設定された参照領域における上記入力画像の各画素値から算出するフィルタ手段と、対象画素の位置を、該対象画素を含む参照領域全体が、該対象画素を含むスライスに包含されるものに制限する対象画素制限手段と、を備えていることを特徴としている。

上記画像フィルタ装置によれば、対象スライスにおける出力画像を、対象スライス内の画素値のみを参照して生成する。換言すれば、対象スライスにおける出力画像を、対象スライスの外部の画素を参照することなく生成する。したがって、上記の構成によれば、出力画像を生成するための処理量が削減される。また、上記の構成によれば、対象スライスに隣接するスライスであって、処理順で次のスライスの各画素が参照可能となるまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

以上のように、本発明に係るフィルタ装置は、複数の単位領域から構成される入力画像に作用することによって出力画像を生成するフィルタ手段と、上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じたサイズに縮小する参照領域変更手段とを備えている。

上記のように構成された画像フィルタ装置によれば、高い符号化効率を維持しつつ、フィルタ処理の際のデータ転送量を削減することができる。

本発明の第１の実施形態に係る動画像復号装置の備える適応フィルタの構成を示すブロック図である。 本発明の第１の実施形態に係る動画像符号化装置によって生成され、本発明の第１の実施形態に係る動画像復号装置によって参照される符号化データのデータ構造を示す図である。（ａ）は、符号化データのピクチャレイヤの構成を示しており、（ｂ）は、ピクチャレイヤに含まれるスライスレイヤの構成を示しており、（ｃ）は、スライスレイヤに含まれるＬＣＵレイヤを構成する各ＣＵの構成を示しており、（ｄ）は、ＣＵレイヤに含まれるリーフＣＵの構成を示しており、（ｅ）は、リーフＣＵについてのインター予測情報の構成を示しており、（ｆ）は、リーフＣＵについてのイントラ予測情報の構成を示しており、（ｇ）は、スライスヘッダに含まれるフィルタパラメータの構成を示している。 本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図である。 本発明の第１の実施形態に係るループフィルタの備えるデブロッキングフィルタによるデブロック処理を説明するための図であって、（ａ）は、スライスに含まれる複数のＬＣＵに対しての処理順序を示しており、（ｂ）は、ＬＣＵに含まれる複数のＣＵに対しての処理順序を示しており、（ｃ）は、複数のＣＵから構成されるＬＣＵについてのデブロック処理が完了した時点におけるデブロック完了済みの境界（太実線）とデブロック未完了の境界（細実線）とを示している。 本発明の第１の実施形態に係るループフィルタによる処理を説明するための図であって、（ａ）は、第１の処理例において対象ＬＣＵについて設定される第１フィルタ処理単位ＡＬＦＵ１を示しており、（ｂ）は、第１の処理例のフローチャートを示しており、（ｃ）は、第２の処理例において対象ＬＣＵについて設定される第２フィルタ処理単位ＡＬＦＵ２を示しており、（ｂ）は、第２の処理例のフローチャートを示している。 本発明の第１の実施形態に係るループフィルタの備える適応フィルタによる処理を説明するための図であって、（ａ）は、適応フィルタによって設定される参照領域の一例を示しており、（ｂ）は、適応フィルタによって設定される参照領域の他の例を示している。 本発明の第１の実施形態に係る適応フィルタによる適応フィルタ済復号画像の生成処理の流れを示すフローチャートである。 本発明の第１の実施形態に係る適応フィルタによる参照領域の設定処理を説明するための図であって、（ａ）〜（ｅ）は、各設定例の流れを示すフローチャートである。 本発明の第１の実施形態に係る適応フィルタによって設定された参照領域を例示する図である。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するための図であって、対象ＬＣＵと、対象ＬＣＵに対応するフィルタ処理単位ＡＬＦＵとの位置関係を示す図である。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するための図であって、（ａ）は、フィルタ処理単位ＡＬＦＵ内の対象画素を示しており、（ｂ）は、対象画素の周辺に設定される参照領域を示している。 本発明の第１の実施形態に係る適応フィルタによるデータ転送量の削減効果を説明するための図であって、（ａ）は、従来の適応フィルタ処理において転送される画素の領域を示しており、（ｂ）〜（ｄ）は、本発明に係る第１の処理例において転送される画素の領域を示している。 本発明の第１の実施形態に係る適応フィルタによるデータ転送量の削減効果を説明するための図であって、（ａ）は、従来の適応フィルタ処理において転送される画素の領域を示しており、（ｂ）は、本発明に係る第２の処理例において転送される画素の領域を示している。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するための図であって、（ａ）〜（ｄ）は、参照領域を設定する際に課される各制約を説明するための図である。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するためのものであって、ＡＬＦＵ内Ｙ座標、ＬＣＵ内Ｙ座標、正規化ＬＣＵ内Ｙ座標、上方向参照可能範囲、第１下方向参照可能範囲、および第２下方向参照可能範囲の具体例を示す表である。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するためのものであって、ＬＣＵ内Ｙ座標、上方向参照可能範囲、および第１下方向参照可能範囲の具体例を示す表である。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するためのものであって、ＡＬＦＵ内Ｙ座標、ＬＣＵ内Ｙ座標、正規化ＬＣＵ内Ｙ座標、上方向参照可能範囲、第１下方向参照可能範囲、および第２下方向参照可能範囲の具体例を示す表である。 本発明の第１の実施形態に係る適応フィルタによる処理を説明するためのものであって、正規化ＬＣＵ内Ｙ座標、上方向参照可能範囲、第１下方向参照可能範囲、および第２下方向参照可能範囲の具体例を示す表である。 本発明の第１の実施形態に係る適応フィルタにより設定される参照領域の例を示す図である。 本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。 本発明の第１の実施形態に係る動画像符号化装置の備えるループフィルタの構成を示すブロック図である。 本発明の第２の実施形態に係る動画像復号装置の構成を示すブロック図である。 本発明の第２の実施形態に係る動画像復号装置の備えるループフィルタの構成を示すブロック図である。 本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。 本発明の第２の実施形態に係る動画像符号化装置の備えるループフィルタの構成を示すブロック図である。 本発明の第３の実施形態に係るループフィルタの構成を示すブロック図である。 本発明の第３の実施形態に係るループフィルタによる処理を説明するための図であって、（ａ）は、当該ループフィルタによってスライス上に設定される内部領域と周辺領域とを示しており、（ｂ）は、従来のループフィルタによって参照される領域を示している。 本発明の第４の実施形態に係る適応フィルタにより設定される参照領域の例を示す図である。 従来の適応フィルタにおいて対象画素の位置に応じて設定される参照領域Ｒと、対象符号化単位に含まれる各対象画素についての参照領域Ｒの和集合である参照ブロックＲＡとを示す図である。 本発明の実施形態に係る動画像復号装置および動画像符号化装置が、動画像の送受信に利用できることを説明するための図であり、（ａ）は、動画像符号化装置を搭載した送信装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した受信装置の構成を示したブロック図である。 本発明の実施形態に係る動画像復号装置および動画像符号化装置が、動画像の記録および再生に利用できることを説明するための図であり、（ａ）は、動画像符号化装置を搭載した記録装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した再生装置の構成を示したブロックである。

本発明に係る復号装置および符号化装置の実施形態について図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係る復号装置は、符号化データから動画像を復号するものである。したがって、以下では、これを「動画像復号装置」と呼称する。また、本実施形態に係る符号化装置は、動画像を符号化することによって符号化データを生成するものである。したがって、以下では、これを「動画像符号化装置」と呼ぶ。

ただし、本発明の適用範囲はこれに限定されるものではない。すなわち、以下の説明からも明らかなように、本発明の特徴は複数のフレームを前提としなくとも成立するものである。すなわち、動画像を対象とするか静止画像を対象とするかを問わず、復号装置一般および符号化装置一般に適用できるものである。

（符号化データ＃１の構成）
本実施形態に係る動画像復号装置１の説明に先立ち、本実施形態に係る動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成について、図２を参照して説明する。符号化データ＃１は、シーケンスレイヤ、ＧＯＰ（Group Of Pictures）レイヤ、ピクチャレイヤ、スライスレイヤ、及び、最大符号化単位（LCU:Largest Coding Unit）レイヤからなる階層構造を有している。

符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図２に示す。図２（ａ）〜（ｆ）は、それぞれ、ピクチャレイヤＰ、スライスレイヤＳ、ＬＣＵレイヤＬＣＵ、ＬＣＵに含まれるリーフＣＵ（図２（ｄ）ではＣＵＬと表記）、インター予測（画面間予測）パーティションについての予測情報ＰＩであるインター予測情報ＰＩ＿Ｉｎｔｅｒ、イントラ予測（画面内予測）パーティションについての予測情報ＰＩであるイントラ予測情報ＰＩ＿Ｉｎｔｒａの構造を示す図である。

（ピクチャレイヤ）
ピクチャレイヤＰは、処理対象のピクチャである対象ピクチャを復号するために動画像復号装置１が参照するデータの集合である。ピクチャレイヤＰは、図２（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスレイヤＳ1〜ＳNsを含んでいる（ＮsはピクチャレイヤＰに含まれるスライスレイヤの総数）。

ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。

（スライスレイヤ）
ピクチャレイヤＰに含まれる各スライスレイヤＳは、処理対象のスライスである対象スライスを復号するために動画像復号装置１が参照するデータの集合である。スライスレイヤＳは、図２（ｂ）に示すように、スライスヘッダＳＨ、及び、ＬＣＵレイヤＬＣＵ1〜ＬＣＵNc（ＮcはスライスＳに含まれるＬＣＵの総数）を含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

また、スライスヘッダＳＨには、動画像復号装置１の備える適応フィルタによって参照されるフィルタパラメータＦＰが含まれる。なお、フィルタパラメータＦＰの構成については、後述するためここでは説明を省略する。

（ＬＣＵレイヤ）
スライスレイヤＳに含まれる各ＬＣＵレイヤＬＣＵは、処理対象のＬＣＵである対象ＬＣＵを復号するために動画像復号装置１が参照するデータの集合である。

ＬＣＵレイヤＬＣＵは、当該ＬＣＵを階層的に４分木分割することにより得られる複数の符号化単位（CU:Coding Unit）より構成される。換言すれば、ＬＣＵレイヤＬＣＵは、複数のＣＵを再帰的に含む階層構造のうち、最上位にあたる符号化単位である。ＬＣＵレイヤＬＣＵに含まれる各ＣＵは、図２（ｃ）に示すように、ＣＵヘッダＣＵＨ、および、当該ＣＵを４分木分割することにより得られる複数のＣＵを再帰的に含む階層構造を有している。

ＬＣＵを除く各ＣＵのサイズは、当該ＣＵが直接に属するＣＵ（すなわち、当該ＣＵの１階層上位のＣＵ）のサイズの縦横とも半分であり、各ＣＵのとり得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、ＬＣＵのサイズおよび階層深度（hierarchical depth）に依存する。例えば、ＬＣＵのサイズが１２８×１２８画素であって、最大階層深度が５である場合には、当該ＬＣＵ以下の階層におけるＣＵは、５種類のサイズ、すなわち、１２８×１２８画素、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。また、それ以上分割されないＣＵをリーフＣＵと呼ぶことにする。

（ＣＵヘッダ）
ＣＵヘッダＣＵＨには、対象ＣＵの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図２（ｃ）に示すように、対象ＣＵをさらに下位のＣＵへ４分割するか否かを指定するＣＵ分割フラグＳＰ＿ＣＵが含まれる。ＣＵ分割フラグＳＰ＿ＣＵが０である場合、すなわち、それ以上ＣＵが分割されない場合、当該ＣＵはリーフＣＵである。

（リーフＣＵ）
それ以上分割されないＣＵ（ＣＵのリーフ）は予測単位（PU:Prediction Unit）、および、変換単位（TU:Transform Unit）として取り扱われる。

図２（ｄ）に示すように、リーフＣＵ（図２（ｄ）においてはＣＵＬと表記）は、（１）動画像復号装置１により予測画像を生成する際に参照されるＰＵ情報ＰＵＩ、および、（２）動画像復号装置１により残差データを復号する際に参照されるＴＵ情報ＴＵＩを含んでいる。

スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象のリーフにスキップモードが適用されている場合、そのリーフＣＵにおけるＰＵ情報ＰＵＩ、および、ＴＵ情報ＴＵＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

ＰＵ情報ＰＵＩは、図２（ｄ）に示すように、スキップフラグＳＫＩＰ、予測タイプ情報ＰＴ、および、予測情報ＰＩを含んでいる。予測タイプ情報ＰＴは、対象リーフＣＵ（対象ＰＵ）についての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。予測情報ＰＩは、予測タイプ情報ＰＴが何れの予測方法を指定するのかに応じて、イントラ予測情報ＰＩ＿Ｉｎｔｒａ、または、インター予測情報ＰＩ＿Ｉｎｔｅｒより構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

ＰＵ情報ＰＵＩには、対象ＰＵに含まれる各パーティションの形状、サイズ、および、対象ＰＵ内での位置を指定する情報が含まれる。ここで、パーティションとは、対象リーフＣＵを構成する１又は複数の重複しない領域のことであり、予測画像の生成は、パーティションを単位として行われる。

ＴＵ情報ＴＵＩは、図２（ｄ）に示すように、量子化ステップの大きさを指定する量子化パラメータ差分Δqp（tu_qp_delta）、対象リーフＣＵ（対象ＴＵ）の各ブロックへの分割パターンを指定するＴＵ分割情報ＳＰ＿ＴＵ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＴＵに含まれるブロックの総数）を含んでいる。

量子化パラメータ差分Δｑｐは、対象ＴＵにおける量子化パラメータｑｐと、そのＴＵの直前に符号化されたＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

ＴＵ分割情報ＳＰ＿ＴＵは、具体的には、対象ＴＵに含まれる各ブロックの形状、サイズ、および、対象ＴＵ内での位置を指定する情報である。各ＴＵは、例えば、６４×６４画素から２×２画素までのサイズをとり得る。ここで、ブロックとは、対象リーフＣＵを構成する１又は複数の重複しない領域のことであり、予測残差の符号化・復号は、ブロックを単位として行われる。

各量子化予測残差ＱＤは、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する。処理２：処理１にて得られたＤＣＴ係数を量子化する。処理３：処理２にて量子化されたＤＣＴ係数を可変長符号化する。上述した量子化パラメータｑｐは、動画像符号化装置２がＤＣＴ係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（インター予測情報ＰＩ＿Ｉｎｔｅｒ）
インター予測情報ＰＩ＿Ｉｎｔｅｒは、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。図２（ｅ）に示すように、インター予測情報ＰＩ＿Ｉｎｔｅｒは、対象ＰＵの各パーティションへの分割パターンを指定するインターＰＵ分割情報ＳＰ＿Ｉｎｔｅｒ、および、各パーティションについてのインター予測パラメータＰＰ＿Ｉｎｔｅｒ1〜ＰＰ＿ＩｎｔｅｒNe（Ｎｅは、対象ＰＵに含まれるインター予測パーティションの総数）を含んでいる。

インターＰＵ分割情報ＳＰ＿Ｉｎｔｅｒは、具体的には、対象ＰＵ（インターＰＵ）に含まれる各インター予測パーティションの形状、サイズ、および、対象ＰＵ内での位置を指定する情報である。

インターＰＵは、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）により、合計８種類のパーティションに分割することが可能である。ここで、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＰＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインター予測パーティションへ分割することが可能である。

（インター予測パラメータＰＰ＿Ｉｎｔｅｒ）
インター予測パラメータＰＰ＿Ｉｎｔｅｒは、図２（ｅ）に示すように、参照画像インデックスＲＩと、推定動きベクトルインデックスＰＭＶＩと、動きベクトル残差ＭＶＤとを含んでいる。

動きベクトル残差ＭＶＤは、動画像符号化装置２が以下の処理４〜６を実行することによって生成した符号化データである。処理４：符号化／復号化済みの局所復号画像（より正確には、符号化／復号化済みの局所復号画像に対してデブロック処理および適応的フィルタ処理を施すことによって得られる画像）を選択し、選択した符号化／復号化済みの局所復号画像（以下「参照画像」とも呼称）を参照して対象パーティションに対する動きベクトルｍｖを導出する。処理５：推定方法を選択し、選択した推定方法を用いて対象パーティションに割り付ける動きベクトルｍｖの推定値（以下「推定動きベクトル」とも呼称）ｐｍｖを導出する。処理６：処理４にて導出した動きベクトルｍｖから処理５にて導出した推定動きベクトルｐｍｖを減算した動きベクトル残差ＭＶＤを符号化する。

参照画像インデックスＲＩは、処理４にて選択した符号化／復号化済みの局所復号画像（参照画像）を指定するものであり、上述した推定動きベクトルインデックスＰＭＶＩは、処理５にて選択した推定方法を指定するものである。処理５にて選択可能な推定方法としては、（１）符号化／復号化中の局所復号画像（より正確には、符号化／復号化中の局所復号画像における復号済みの領域に対してデブロック処理および適応的フィルタ処理を施すことによって得られる画像）において、対象パーティションに隣接するパーティション（以下「隣接パーティション」とも呼称する）に割り付けられた動きベクトルのメジアンを推定動きベクトルｐｍｖとする方法や、（２）符号化／復号化済みの局所復号画像において、対象パーティションと同じ位置を占めるパーティション（しばしば「コロケートパーティション」と呼称される）に割り付けられた動きベクトルを推定動きベクトルｐｍｖとする方法などが挙げられる。

なお、単方向予測を行うパーティションに関する予測パラメータＰＰには、図２（ｅ）に示すように、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤがそれぞれ１つずつ含まれているが、双方向予測（重み付き予測）を行うパーティションに関する予測パラメータＰＰには、２つの参照画像インデックスＲＩ１及びＲＩ２、２つの推定動きベクトルインデックスＰＭＶＩ１及びＰＭＶＩ２、並びに、２つの動きベクトル残差ＭＶＤ１及びＭＶＤ２が含まれる。

（イントラ予測情報ＰＩ＿Ｉｎｔｒａ）
イントラ予測情報ＰＩ＿Ｉｎｔｒａは、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。図２（ｆ）に示すように、イントラ予測情報ＰＩ＿Ｉｎｔｒａは、対象ＰＵ（イントラＰＵ）の各パーティションへの分割パターンを指定するイントラＰＵ分割情報ＳＰ＿Ｉｎｔｒａ、および、各パーティションについてのイントラ予測パラメータＰＰ＿Ｉｎｔｒａ1〜ＰＰ＿ＩｎｔｒａNa（Ｎａは、対象ＰＵに含まれるイントラ予測パーティションの総数）を含んでいる。

イントラＰＵ分割情報ＳＰ＿Ｉｎｔｒａは、具体的には、対象ＰＵに含まれる各イントラ予測パーティションの形状、サイズ、および、対象ＰＵ内での位置を指定する情報である。イントラＰＵ分割情報ＳＰ＿Ｉｎｔｒａには、対象ＰＵをパーティションに分割するか否かを指定するイントラ分割フラグ（intra_split_flag）が含まれている。イントラ分割フラグが１であれば、対象ＰＵは、４つのパーティションへと対称的に分割され、イントラ分割フラグが０であれば、対象ＰＵは、分割されることなく、対象ＰＵ自身が１つのパーティションとして取り扱われる。したがって、対象ＰＵのサイズを２Ｎ×２Ｎ画素とすると、イントラ予測パーティションは、２Ｎ×２Ｎ画素（分割なし）、および、Ｎ×Ｎ画素（４分割）の何れかのサイズを取り得る（ここで、Ｎ＝２ⁿ、ｎは１以上の任意の整数）。例えば、１２８×１２８画素のイントラＰＵは、１２８×１２８画素、および、６４×６４画素のイントラ予測パーティションへ分割することが可能である。

（イントラ予測パラメータＰＰ＿Ｉｎｔｒａ）
イントラ予測パラメータＰＰ＿Ｉｎｔｒａは、図２（ｆ）に示すように、推定フラグＭＰＭ、および、残余予測モードインデックスＲＩＰＭを含んでいる。イントラ予測パラメータＰＰ＿Ｉｎｔｒａは、各パーティションについてのイントラ予測方法（予測モード）を指定するためのパラメータである。

推定フラグＭＰＭは、処理対象である対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された予測モードと当該対象パーティションについての予測モードとが同じであるか否かを示すフラグである。ここで、対象パーティションの周辺のパーティションの例としては、対象パーティションの上辺に隣接するパーティション、および、対象パーティションの左辺に隣接するパーティション等が挙げられる。

残余予測モードインデックスＲＩＰＭは、推定された予測モードと対象パーティションについての予測モードとが異なる場合に、イントラ予測パラメータＰＰ＿Ｉｎｔｒａに含められるインデックスであり、当該対象パーティションに割り付けられる予測モードを指定するためのインデックスである。

（フィルタパラメータＦＰ）
上述のように、スライスヘッダＳＨには、動画像復号装置１の備える適応フィルタが参照するフィルタパラメータＦＰが含まれる。フィルタパラメータＦＰは、図２（ｇ）に示すように、フィルタ係数群を含んでいる。フィルタ係数群には、（１）フィルタのタップ数を指定するタップ数指定情報、（２）フィルタ係数a₀〜a_NT-1（NTは、フィルタ係数群に含まれるフィルタ係数の総数）、および、（３）オフセットoが含まれる。

（動画像復号装置１）
以下では、本実施形態に係る動画像復号装置１について図１〜図１９を参照して説明する。動画像復号装置１は、その一部に、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、および、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術を含む復号装置である。

図３は、動画像復号装置１の構成を示すブロック図である。図３に示すように、動画像復号装置１は、可変長符号復号部１１、予測画像生成部１２、逆量子化・逆変換部１３、加算器１４、フレームメモリ１５、および、ループフィルタ１６を備えている。また、図３に示すように、予測画像生成部１２は、動きベクトル復元部１２ａ、インター予測画像生成部１２ｂ、イントラ予測画像生成部１２ｃ、および、予測方式決定部１２ｄを備えている。動画像復号装置１は、符号化データ＃１を復号することによって動画像＃２を生成するための装置である。

（可変長符号復号部１１）
可変長符号復号部１１は、各パーティションに関する予測パラメータＰＰを、符号化データ＃１から復号し、予測画像生成部１２に供給する。具体的には、可変長符号復号部１１は、インター予測パーティションに関しては、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤを含むインター予測パラメータＰＰ＿Ｉｎｔｅｒを符号化データ＃１から復号し、これらを動きベクトル復元部１２ａに供給する。一方、イントラ予測パーティションに関しては、推定フラグＭＰＭ、残余インデックスＲＩＰＭ、および、追加インデックスＡＩを含むイントラ予測パラメータＰＰ＿Ｉｎｔｒａを符号化データ＃１から復号し、これらをイントラ予測画像生成部１２ｃに供給する。

また、可変長符号復号部１１は、各パーティションについての予測タイプ情報ＰＴを符号化データ＃１から復号し、これを予測方式決定部１２ｄに供給する。更に、可変長符号復号部１１は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むＴＵに関する量子化パラメータ差分Δｑｐを符号化データ＃１から復号し、これらを逆量子化・逆変換部１３に供給する。また、可変長符号復号部１１は、符号化データ＃１からフィルタパラメータＦＰを復号し、これをループフィルタ１６に供給する。

（予測画像生成部１２）
予測画像生成部１２は、各パーティションについての予測タイプ情報ＰＴに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを識別する。そして、前者の場合には、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成すると共に、生成したインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器１４に供給し、後者の場合には、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成すると共に、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを加算器１４に供給する。なお、予測画像生成部１２は、処理対象ＰＵに対してスキップモードが適用されている場合には、当該ＰＵに属する他のパラメータの復号を省略する。

（動きベクトル復元部１２ａ）
動きベクトル復元部１２ａは、各インター予測パーティションに関する動きベクトルｍｖを、そのパーティションに関する動きベクトル残差ＭＶＤと、他のパーティションに関する復元済みの動きベクトルｍｖ’とから復元する。具体的には、（１）推定動きベクトルインデックスＰＭＶＩにより指定される推定方法に従って、復元済みの動きベクトルｍｖ’から推定動きベクトルｐｍｖを導出し、（２）導出した推定動きベクトルｐｍｖと動きベクトル残差ＭＶＤとを加算することによって動きベクトルｍｖを得る。なお、他のパーティションに関する復元済みの動きベクトルｍｖ’は、フレームメモリ１５から読み出すことができる。動きベクトル復元部１２ａは、復元した動きベクトルｍｖを、対応する参照画像インデックスＲＩと共に、インター予測画像生成部１２ｂに供給する。

（インター予測画像生成部１２ｂ）
インター予測画像生成部１２ｂは、画面間予測によって、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル復元部１２ａから供給された動きベクトルｍｖを用いて、同じく動きベクトル復元部１２ａから供給された参照画像インデックスＲＩによって指定される適応フィルタ済復号画像Ｐ＿ＡＬＦ’から動き補償画像ｍｃを生成する。ここで、適応フィルタ済復号画像Ｐ＿ＡＬＦ’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ１６によるフィルタ処理を施すことによって得られる画像であり、インター予測画像生成部１２ｂは、適応フィルタ済復号画像Ｐ＿ＡＬＦ’を構成する各画素の画素値をフレームメモリ１５から読み出すことができる。インター予測画像生成部１２ｂによって生成された動き補償画像ｍｃは、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒとして予測方式決定部１２ｄに供給される。

（イントラ予測画像生成部１２ｃ）
イントラ予測画像生成部１２ｃは、各イントラ予測パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、まず、可変長符号復号部１１から供給されたイントラ予測パラメータＰＰ＿Ｉｎｔｒａに基づいて予測モードを特定し、特定された予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。

ここで、イントラ予測パラメータＰＰ＿Ｉｎｔｒａに基づく予測モードの特定は、以下のように行うことができる。（１）推定フラグＭＰＭを復号し、当該推定フラグＭＰＭが、処理対象である対象パーティションについての予測モードと、当該対象パーティションの周辺のパーティションに割り付けられた予測モードとが同一であることを示している場合には、対象パーティションに対して、当該対象パーティションの周辺のパーティションに割り付けられた予測モードを割り付ける。（２）一方で、推定フラグＭＰＭが、処理対象である対象パーティションについての予測モードと、当該対象パーティションの周辺のパーティションに割り付けられた予測モードとが同一でないことを示している場合には、残余予測モードインデックスＲＩＰＭを復号し、当該残余予測モードインデックスＲＩＰＭの示す予測モードを対象パーティションに対して割り付ける。

イントラ予測画像生成部１２ｃは、対象パーティションに割り付けられた予測モードの示す予測方法に従って、画面内予測によって、（局所）復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部１２ｃによって生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測方式決定部１２ｄに供給される。なお、イントラ予測画像生成部１２ｃは、画面内予測によって、適応フィルタ済復号画像Ｐ＿ＡＬＦから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する構成とすることも可能である。

（予測方式決定部１２ｄ）
予測方式決定部１２ｄは、各パーティションが属するＰＵについての予測タイプ情報ＰＴに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部１２ｂにて生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器１４に供給し、後者の場合には、イントラ予測画像生成部１２ｃにて生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器１４に供給する。

（逆量子化・逆変換部１３）
逆量子化・逆変換部１３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器１４に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆量子化・逆変換部１３は、可変長符号復号部１１から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ変換したＴＵに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化ステップｑｐから例えばＱＰ＝２^ｐｑ／６によって導出できる。また、逆量子化・逆変換部１３による予測残差Ｄの生成は、ＴＵあるいはＴＵを分割したブロックを単位として行われる。

（加算器１４）
加算器１４は、予測画像生成部１２から供給された予測画像Ｐｒｅｄと、逆量子化・逆変換部１３から供給された予測残差Ｄとを加算することによって復号画像Ｐを生成する。生成された復号画像Ｐは、フレームメモリ１５に格納される。

（ループフィルタ１６）
ループフィルタ１６は、（１）復号画像Ｐにおけるブロック境界、またはパーティション境界の周辺の画像の平滑化（デブロック処理）を行うデブロッキングフィルタ（DF:Deblocking Filter）としての機能と、（２）デブロッキングフィルタが作用した画像に対して、フィルタパラメータＦＰを用いて適応フィルタ処理を行う適応フィルタ（ALF:Adaptive Loop Filter）としての機能を有している。

図１は、ループフィルタ１６の構成を示すブロック図である。図１に示すように、ループフィルタ１６は、デブロッキングフィルタ１６１、適応フィルタ１６２、および、内部メモリ１６３を備えている。

（デブロッキングフィルタ１６１）
デブロッキングフィルタ１６１は、復号画像Ｐにおけるブロック境界、またはパーティション境界の周辺の領域における画像の平滑化を行うことによって、デブロック済復号画像Ｐ＿ＤＢを生成する。

デブロッキングフィルタ１６１は、対象スライスにおける復号画像Ｐに対して、図４（ａ）に示すように、ＬＣＵ毎にラスタスキャン順にデブロック処理を行う。また、対象ＬＣＵが複数のＣＵを含んでいる場合には、図４（ｂ）に示すように、対象ＬＣＵに含まれるＣＵ毎にラスタスキャン順にデブロック処理を行う。また、デブロッキングフィルタ１６１は、対象ＣＵについて、まず、対象ＣＵの左側の境界に対してデブロック処理を行い、続いて、対象ＣＵの上側の境界に対してデブロック処理を行う。

図４（ｃ）は、４つのＣＵ（ＣＵ１〜４）を含む対象ＬＣＵに対して、デブロッキングフィルタ１６１が作用した場合を示す図である。図４（ｃ）において、太実線にて示す境界については、デブロッキングフィルタ１６１によるデブロック処理が適用済みであり、細実線にて示す境界については、対象ＬＣＵについてのデブロック処理が終了した時点であっても、デブロック処理が適用されていない。なお、これらの細実線にて示す境界のうち、対象ＬＣＵの右辺の境界については、対象ＬＣＵの右側に隣接するＬＣＵについてデブロック処理を行う際にデブロック処理が行われ、対象ＬＣＵの下辺の境界については、対象ＬＣＵの下辺に隣接するＬＣＵについてデブロック処理を行う際にデブロック処理が行われる。

このように、対象ＬＣＵについてデブロック処理が終了した時点においても、対象ＬＣＵの右辺および下辺の境界についてデブロック処理が未実施であることが、本発明の少なくとも一つの側面を理解する上でポイントとなる。

以下では、ループフィルタ１６の各部の構成についての具体的な説明に先立って、ループフィルタ１６による処理について概略的に説明する。ループフィルタ１６は、以下の２通りの処理例（処理例１、処理例２）の何れかを行う。

（処理例１）
本処理例においては、ループフィルタ１６は、ＬＣＵ単位でデブロック処理を行い、第１フィルタ処理単位毎に適応フィルタ処理を行う。なお、本処理例における第１フィルタ処理単位は、図５（ａ）に示すように、対象ＬＣＵと同じサイズおよび同じ位置を有するように設定される。また、以下の説明では、第１フィルタ処理単位をＡＬＦＵ１とも表記する。

図５（ｂ）は、本処理例における処理の流れを示すフローチャートである。ループフィルタ１６は、本処理例において、以下の処理を行う。

（ステップＳ１０１）
ループフィルタ１６は、ループ変数ｎの値を１に初期化し、１≦ｎ≦Ｎを満たすｎについて、ループ毎のループ変数ｎの増分値を１とする第１のループ処理を開始する。ここで、Ｎは、処理対象のスライスに含まれるＬＣＵの総数を示している。なお、以下では、ｎ番目のＬＣＵをＬＣＵ（ｎ）とも表記する。

（ステップＳ１０２）
ループフィルタ１６は、フレームメモリ１５に格納された復号画像Ｐの各画素値のうち、ＬＣＵ（ｎ）についてのデブロック処理を行うためにデブロッキングフィルタ１６１により参照される画素値をフレームメモリ１５から取得し、内部メモリ１６３に格納する。

（ステップＳ１０３）
続いて、ループフィルタ１６は、内部メモリ１６３に格納された復号画像ＰにおけるＬＣＵ（ｎ）についてのデブロック処理をデブロッキングフィルタ１６１にて行うことによって、ＬＣＵ（ｎ）についてのデブロック済画像Ｐ＿ＤＢを生成し、生成したデブロック済画像Ｐ＿ＤＢを内部メモリ１６３に格納する。

（ステップＳ１０４）
本ステップは第１のループ処理の終端である。

（ステップＳ１０５）
続いて、ループフィルタ１６は、ループ変数ｎの値を１に初期化し、１≦ｎ≦Ｎを満たすｎについて、ループ毎のループ変数ｎの増分値を１とする第２のループ処理を開始する。ここで、Ｎは、処理対象のスライスに含まれるＡＬＦＵ１の総数を示しており、ＬＣＵの総数と同一である。なお、以下では、ｎ番目の第１フィルタ処理単位ＡＬＦＵ１をＡＬＦＵ１（ｎ）とも表記する。

（ステップＳ１０６）
ループフィルタ１６は、フレームメモリ１５に格納されたデブロック済復号画像Ｐ＿ＤＢの各画素値のうち、ＡＬＦＵ１（ｎ）についての適応フィルタ処理を行うために適応フィルタ１６２により参照される画素値をフレームメモリ１５から取得し、内部メモリ１６３に格納する。

（ステップＳ１０７）
続いて、ループフィルタ１６は、内部メモリ１６３に格納されたデブロック済復号画像Ｐ＿ＤＢにおけるＡＬＦＵ１（ｎ）についての適応フィルタ処理を適応フィルタ１６２により行うことによって、ＡＬＦＵ１（ｎ）についてのフィルタ済画像Ｐ＿ＡＬＦを生成し、生成したフィルタ済画像Ｐ＿ＡＬＦを内部メモリ１６３に格納する。

（ステップＳ１０８）
本ステップは、第２のループの終端である。

以上が処理例１における処理の流れである。なお、適応フィルタ１６２により内部メモリ１６３に格納されたフィルタ済画像Ｐ＿ＡＬＦは、フレームメモリ１５に転送され、格納される。

このように、本処理例においては、対象スライスに含まれる全てのＬＣＵについて、デブロック処理を先に行い、その後に、適応フィルタ処理を行う。したがって、本処理例においては、ループフィルタ１６は、フレームメモリ１５から内部メモリ１６３へのデータ転送を、各ｎについて２回（ステップＳ１０２およびステップＳ１０６）行うことになる。

（処理例２）
本処理例においては、ループフィルタ１６は、ＬＣＵ単位でデブロック処理を行い、第２フィルタ処理単位毎に適応フィルタ処理を行う。なお、本処理例における第２フィルタ処理単位は、図５（ｃ）に示すように、対象ＬＣＵと同じサイズであって、対象ＬＣＵとは異なる位置を有するように設定される。また、対象ＬＣＵについての第２フィルタ処理単位は、対象ＬＣＵにおいて、デブロック処理が未実施の領域（図５（ｃ）における斜線部）とは重複しないように設定される。また、以下の説明では、第２フィルタ処理単位をＡＬＦＵ２とも表記する。

図５（ｄ）は、本処理例における処理の流れを示すフローチャートである。ループフィルタ１６は、本処理例において、以下の処理を行う。

（ステップＳ２０１）
ループフィルタ１６は、ループ変数ｎの値を１に初期化し、１≦ｎ≦Ｎを満たすｎについて、ループ毎のループ変数ｎの増分値を１とするループ処理を開始する。ここで、Ｎは、上述のように、処理対象のスライスに含まれるＬＣＵの総数を示している。なお、以下では、ｎ番目の第２フィルタ処理単位ＡＬＦＵ２をＡＬＦＵ２（ｎ）とも表記する。

（ステップＳ２０２）
ループフィルタ１６は、フレームメモリ１５に格納された復号画像Ｐの各画素値のうち、ＬＣＵ（ｎ）についてのデブロック処理、およびＡＬＦＵ２（ｎ）についての適応フィルタ処理を行うために参照される画素値をフレームメモリ１５から取得し、内部メモリ１６３に格納する。

（ステップＳ２０３）
続いて、ループフィルタ１６は、内部メモリ１６３に格納された復号画像ＰにおけるＬＣＵ（ｎ）についてのデブロック処理をデブロッキングフィルタ１６１にて行うことによって、ＬＣＵ（ｎ）についてのデブロック済画像Ｐ＿ＤＢを生成し、生成したデブロック済画像Ｐ＿ＤＢを内部メモリ１６３に格納する。

（ステップＳ２０４）
続いて、ループフィルタ１６は、内部メモリ１６３に格納されたデブロック済復号画像Ｐ＿ＤＢにおけるＡＬＦＵ２（ｎ）についての適応フィルタ処理を適応フィルタ１６２により行うことによって、ＡＬＦＵ２（ｎ）についてのフィルタ済画像Ｐ＿ＡＬＦを生成し、生成したフィルタ済画像Ｐ＿ＡＬＦを内部メモリ１６３に格納する。

（ステップＳ２０５）
本ステップは、ループの終端である。

以上が処理例２における処理の流れである。なお、適応フィルタ１６２により内部メモリ１６３に格納されたフィルタ済画像Ｐ＿ＡＬＦは、フレームメモリ１５に転送され、格納される。

このように、本処理例においては、対象スライスに含まれるＬＣＵ（ｎ）についてのデブロック処理を行った後、ＬＣＵ（ｎ）に対応するＡＬＦＵ２（ｎ）における適応フィルタ処理を行う。したがって、本処理例においては、ループフィルタ１６は、フレームメモリ１５から内部メモリ１６３へのデータ転送を、各ｎについて１回（ステップＳ２０２）行えば足りる。

（適応フィルタ１６２）
以下では、ループフィルタ１６の備える適応フィルタ１６２の構成について図１を参照して説明する。図１に示すように、適応フィルタ１６２は、対象画素設定部１６２ａ、参照領域設定部１６２ｂ、および、フィルタ処理部１６２ｃを備えている。

対象画素設定部１６２ａは、フィルタ処理単位ＡＬＦＵに含まれる各画素を、ラスタスキャン順に、対象画素に設定する。対象画素設定部１６２ａによって設定された対象画素の位置を示す対象画素位置情報は、参照領域設定部１６２ｂに供給される。参照領域設定部１６２ｂにて対象画素毎に参照領域Ｒが設定され、フィルタ処理部１６２ｃにて対象画素毎に画素値が算出される。

参照領域設定部１６２ｂは、フィルタ処理単位ＡＬＦＵ内の対象画素の位置、または、対象ＬＣＵ内の対象画素の位置に基づいて、対象画素の周辺にフィルタ参照領域Ｒ（単に、参照領域Ｒとも呼称する）を設定する。ここで、フィルタ参照領域Ｒは、（１）フィルタパラメータＦＰに含まれるタップ数情報、（２）対象ＬＣＵにおいてデブロッキングフィルタ１６１によるデブロック処理が未完了である領域のＹ方向の幅Ｄｄｆ、（３）対象ＬＣＵのＹ方向の長さＬＬＣＵｙ、および、（４）対象ＬＣＵと対象ＡＬＦＵとのＹ方向のずれの絶対値Ｌｙの少なくとも何れかに依存して決定される。なお、対象ＬＣＵのＹ方向の長さＬＬＣＵｙは、ＬＣＵの高さLcuHeightと表現しても良い。なお、ＬＬＣＵｙ（＝LcuHeight）は、ＬＣＵサイズの対数値Log2MaxCUSizeを用いて以下の式で導出される。

LcuHeight＝(1 << Log2MaxCUSize)。

参照領域設定部１６２ｂは、以下に列挙する制約Ａ〜Ｅのうち、少なくとも１つの制約が満たされるように、参照領域Ｒを設定する。

・制約Ａ：対象画素のＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ１未満である場合に、上方向参照範囲Ｄｕｐｐｅｒを、対象画素のＬＣＵ内Ｙ座標以下の画素数に制限する。

ここで、上方向参照範囲Ｄｕｐｐｅｒとは、対象画素と、参照領域Ｒの上辺に接する画素であって参照領域Ｒ内の画素とのＹ軸に沿った距離のことを指す（以下同様）。また、上方向参照範囲Ｄｕｐｐｅｒは画素を単位として表されるものとする（以下同様）。

また、所定の閾値Ｌｕｐｐｅｒ１としては、４または８などの固定の値を用いても良いし、可変の値としても良い（以下同様）。また、対象画素のＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ１未満である場合の上方向参照範囲Ｄｕｐｐｅｒは、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。

制約Ａは、より一般に、対象画素を含むＬＣＵの上流辺と、該対象画素との距離ＤＵが所定の閾値未満のとき、該対象画素についての参照領域Ｒの上流辺の位置を、該対象画素との距離がＤＵ以下となるように制限するものであると表現することもできる。

なお、上記「上流辺」とは、処理がラスタスキャン順に行われる場合には、上辺および左辺の何れか一方を指し、処理がラスタスキャンの逆順に行われる場合には、下辺および右辺の何れか一方を指す。また、上記「下流辺」とは、処理がラスタスキャン順に行われる場合には、下辺および右辺の何れか一方を指し、処理がラスタスキャンの逆順に行われる場合には、上辺および左辺の何れか一方を指す（以下同様）。

また、以下の記載において、「下流辺の下流側」とは、処理がラスタスキャン順に行われる場合には、「下辺の下側」および「右辺の右側」の何れか一方を指し、処理がラスタスキャンの逆順である場合には、「上辺の上側」および「左辺の左側」を指す。また、以下の記載において、「下流辺の上流側」とは、処理がラスタスキャン順に行われる場合には、「下辺の上側」および「右辺の左側」の何れか一方を指し、処理がラスタスキャンの逆順である場合には、「上辺の下側」および「左辺の右側」を指す。

・制約Ｂ：対象画素のＬＣＵ内Ｙ座標が所定の閾値ＬＬＣＵｙ−Ｌｌｏｗｅｒ１以上である場合には、下方向参照範囲Ｄｌｏｗｅｒを、ＬＬＣＵｙ−（対象画素のＬＣＵ内Ｙ座標）−１以下の画素数に制限する。

ここで、下方向参照範囲Ｄｌｏｗｅｒとは、対象画素と、参照領域Ｒの下辺に接する画素であって参照領域Ｒ内の画素とのＹ軸に沿った距離のことを指す（以下同様）。また、下方向参照範囲Ｄｌｏｗｅｒは画素を単位として表されるものとする（以下同様）。

また、対象画素のＬＣＵ内Ｙ座標が所定の閾値ＬＬＣＵｙ−Ｌｌｏｗｅｒ１以上である場合の下方向参照範囲Ｄｌｏｗｅｒは、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。

制約Ｂは、より一般に、対象画素を含むＬＣＵの下流辺と、該対象画素との距離ＤＬが所定の閾値未満のとき、該対象画素についての参照領域の下流辺の位置を、該対象画素との距離がＤＬ以下となるように制限するものであると表現することもできる。

・制約Ｃ：対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ２以上である場合には、上方向参照範囲Ｄｕｐｐｅｒを、Ｌｙ＋（対象画素の正規化ＬＣＵ内Ｙ座標）−ＬＬＣＵｙ以下の画素数に制限する。

ここで所定の閾値で示されるＬｕｐｐｅｒ２の境界を仮想境界ライン（Virtual Boundary Line）と呼ぶ。仮想境界ラインの位置はVBLineで表記する。

ここで、正規化ＬＣＵ内Ｙ座標とは、剰余演算を表す記号「％」を用いて、（ＬＣＵ内Ｙ座標）％ＬＬＣＵｙによって定義され、０以上の値をとる（以下同様）。また、ＬＣＵ内Ｙ座標＝（対象画素のＹ座標）％ＬＬＣＵｙであるから、結局、正規化ＬＣＵ内Ｙ座標は、対象画素のＹ座標を用いて、（Ｙ座標％ＬＬＣＵｙ）と同じである。また、対象画素の位置を、対象画素を含むブロックの左上座標（xC, yC）とブロック左上座標からの相対座標（x, y）で表現される場合には、正規化ＬＣＵ内Ｙ座標yrは、(yC+y)% LcuHeightとなる。

また、所定の閾値Ｌｕｐｐｅｒ２は、ＬＬＣＵｙ−Ｌｙ以下の値とすればよい（以下同様）。ここでＬｙ＝４とすると制約Ｃにおける仮想境界ラインの位置VBLine（＝LcuHeight −Ｌｙ）は、LcuHeight − 4となる。Ｌｙ＝３とするとVBLineは、LcuHeight − 3となる。また、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ２以上である場合の上方向参照範囲Ｄｕｐｐｅｒは、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。

制約Ｃは、より一般に、対象画素が、該対象画素を含むＬＣＵに対応するＡＬＦＵの下流辺の下流側（仮想境界ラインVBLine以下）に位置するとき、該対象画素についての参照領域Ｒの上流辺の位置を、該対象画素との距離が、該対象画素と該出力単位の下流辺（仮想境界ラインVBLine）との距離以下となるように制限するものであると表現することもできる。この場合、参照領域Ｒは、仮想境界ラインVBLineより上側の画素を含まないように制限される。すなわち、Ｙ座標が仮想境界ラインVBLine以下である画素のみが参照される。

・制約Ｄ：対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｌｏｗｅｒ２未満である場合には、下方向参照範囲Ｄｌｏｗｅｒを、ＬＬＣＵｙ−Ｄｄｆ−（対象画素の正規化ＬＣＵ内Ｙ座標）−１以下の画素数に制限する。

ここで、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｌｏｗｅｒ２未満である場合の下方向参照範囲Ｄｌｏｗｅｒは、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。また、閾値Ｌｌｏｗｅｒ２は、ＬＬＣＵｙ−Ｌｙ以上の値とすればよい。

制約Ｄは、より一般に、対象画素が、該対象画素を含むＬＣＵに対応するＡＬＦＵの下流辺の上流側に位置するとき、該対象画素についての参照領域Ｒの下流辺の位置を、該対象画素との距離が、該対象画素と該ＬＣＵの下流辺との距離からＤｄｆを減じて得られる距離以下となるように制限するものであると表現することもできる。

・制約Ｅ：対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｌｏｗｅｒ３未満である場合には、下方向参照範囲Ｄｌｏｗｅｒを、ＬＬＣＵｙ−Ｌｙ−（対象画素の正規化ＬＣＵ内Ｙ座標）−１以下の画素数に制限する。所定の閾値で示されるＬｕｐｐｅｒ３の境界も仮想境界ライン（Virtual Boundary Line）と呼ぶ。

ここで、閾値Ｌｌｏｗｅｒ３は、ＬＬＣＵｙ−Ｌｙ以上の値とすればよい。ここでＬｙ＝４とすると制約Ｅにおける仮想境界ラインの位置VBLine（＝LcuHeight −Ｌｙ）は、LcuHeight − 4となる。Ｌｙ＝３とするとVBLineは、LcuHeight − 3となる。

制約Ｅは、より一般に、対象画素が、該対象画素を含むＬＣＵに対応するＡＬＦＵの下流辺の上流側（仮想境界ラインVBLineより上側）に位置するとき、該対象画素についての参照領域Ｒの下流辺の位置を、該対象画素との距離が、該対象画素と該出力単位の下流辺（仮想境界ラインVBLine）との距離以下となるように制限するものであると表現することもできる。この場合、参照領域Ｒは、仮想境界ラインVBLine以下の画素を含まないように制限される。すなわち、Ｙ座標が仮想境界ラインVBLineより上である画素のみが参照される。

（フィルタ処理部１６２ｃ）
フィルタ処理部１６２ｃは、適応フィルタ済復号画像Ｐ＿ＡＬＦ（「フィルタ後画像」とも呼称する）の対象画素の画素値を、デブロック済復号画像Ｐ＿ＤＢ（「フィルタ前画像」とも呼称する）の画素値であって、参照領域設定部１６２ｂにより該対象画素について設定された参照領域Ｒに含まれる画素の画素値を参照して算出する。生成された適応フィルタ済復号画像Ｐ＿ＡＬＦは、一旦内部メモリ１６３に格納された後、フレームメモリ１５に転送される。

適応フィルタ済復号画像Ｐ＿ＡＬＦにおける対象画素の画素値をＳF（ｘ’、ｙ’）と表し、フィルタ参照範囲におけるデブロック済復号画像Ｐ＿ＤＢの画素値をＳ（ｘ、ｙ）と表すことにすると、フィルタ処理部１６２ｃは、画素値ＳF（ｘ’、ｙ’）を、以下の数式（１）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、a（ｉ、ｊ）は、フィルタパラメータＦＰに含まれるフィルタ係数のうち、フィルタ前画像の画素値Ｓ（ｘ＋ｉ、ｙ＋ｊ）に乗ぜられるフィルタ係数を表しており、oは、フィルタパラメータＦＰに含まれるオフセットを表している。

また、Ｒは、対象画素の画素値を算出するために参照される領域を表しており、参照領域設定部１６２ｂによって設定される。図６（ａ）は、参照領域設定部１６２ｂによって設定された５×５タップの参照領域Ｒに含まれる各画素へのフィルタ係数の割り付け方の位置例を示している。図６（ａ）において、斜線が付された画素は、対象画素Ｓ（ｘ’、ｙ’）を示している。図６（ａ）に示すように、各フィルタ係数は、１８０度の回転対称性を有するように、フィルタ参照領域Ｒに含まれる各画素に対して割り付けられる構成とすることができる。すなわち、数式（１）におけるaI（ｉ、ｊ）は、フィルタパラメータＦＰに含まれるフィルタ係数ａ０〜ａ１２を用いて、aI（−３、−３）＝aI（３、３）＝ａ０、aI（−２、−３）＝aI（２、３）＝ａ１、…、のように、aI（ｉ、ｊ）＝aI（−ｉ、−ｊ）を満たすように設定される構成とすることができる。図６（ｂ）は、参照領域設定部１６２ｂによって設定された５（横方向）×３（縦方向）タップの参照領域Ｒに含まれる各画素へのフィルタ係数の割り付け方の一例を示している。

（適応フィルタ処理の流れ）
以下では、適応フィルタ済復号画像Ｐ＿ＡＬＦの生成処理について、図７〜図９を参照して説明する。図７は、適応フィルタ１６２による適応フィルタ済復号画像Ｐ＿ＡＬＦの生成処理の流れを示すフローチャートである。

（ステップＳ１）
適応フィルタ１６２は、対象画素設定部１６２ａにて、ループ変数ｘｘおよびｙｙの値を何れも０に初期化し、０≦ｘｘ≦ＬＬＣＵｘ−１を満たすループ変数ｘｘについてｘｘの増分値を１とする第１のループ処理、および、０≦ｙｙ≦ＬＬＣＵｙ−１を満たすループ変数ｙｙについてｙｙの増分値を１とする第２のループ処理を開始する。ここで、（ｘｘ、ｙｙ）は、対象画素のＡＬＦＵ内座標を表している。また、ＬＬＣＵｘおよびＬＬＣＵｙは、ぞれぞれ、対象ＬＣＵの水平方向の長さ、および、対象ＬＣＵの垂直方向の長さを表している。

（ステップＳ２）
続いて、適応フィルタ１６２は、参照領域設定部１６２ｂにて、フィルタパラメータＦＰに含まれるタップ数情報を参照し、上方向参照範囲Ｄｕｐｐｅｒおよび下方向参照範囲Ｄｌｏｗｅｒを、
Ｄｕｐｐｅｒ＝Ｄtap
Ｄｌｏｗｅｒ＝Ｄtap
に設定する。ここで、Ｄtapの具体的な値は、タップ数情報の示すタップ数に応じて定まる。例えば、タップ数情報の示すタップ数が５タップであればＤtap＝２、タップ数情報の示すタップ数が７タップであればＤtap＝３、タップ数情報の示すタップ数が９タップであれば、Ｄtap＝４である。一般に、タップ数情報の示すタップ数がＮtapであれば、Ｄtap＝（Ｎtap−１）／２である。

（ステップＳ３）
続いて、適応フィルタ１６２は、参照領域設定部１６２ｂにて、対象画素の座標を、ＡＬＦＵ内座標から正規化ＬＣＵ内座標に変換する。具体的には、対象画素の正規化ＬＣＵ内座標（ｘｒ、ｙｒ）を、当該対象画素のＡＬＦＵ内座標（ｘｘ、ｙｙ）から
ｙｒ＝（ｙｙ−Ｌｙ）％ＬＬＣＵｙ
ｘｒ＝（ｘｘ−Ｌｘ）％ＬＬＣＵｘ
によって算出する。

（ステップＳ４）
続いて、適応フィルタ１６２は、参照領域設定部１６２ｂにて、（ｘｒ、ｙｒ）の値に応じて、参照領域Ｒを設定する。

（ステップＳ５）
続いて、適応フィルタ１６２は、フィルタ処理部１６２ｃにて、対象画素の画素値を、ステップＳ１００４にて設定された参照領域Ｒにおけるデブロック済復号画像Ｐ＿ＤＢの各画素値を参照して算出する。

（ステップＳ６）
本ステップは、第１のループおよび第２のループの終端である。

以上が、対象ＬＣＵにおける適応フィルタ済復号画像Ｐ＿ＡＬＦの生成処理の流れである。ここで、ステップＳ４における参照領域Ｒは、制約Ａ〜Ｅのうち少なくとも１つの制約を満たすように設定される。以下では、ステップＳ４における参照領域Ｒの設定例について、図８および図９を参照して説明する。

（設定例１）
参照領域設定部１６２ｂは、制約Ａを満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、上述のステップＳ４にて、図８（ａ）に示す処理、すなわち、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ１未満であるか否かの判別処理（ステップＳ４ａ１）、および、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ１未満である場合に、参照領域Ｒを、上方向参照範囲ＤｕｐｐｅｒがＤｕｐｐｅｒ≦ｙｒを満たすように設定する処理（ステップＳ４ａ２）を行う。

参照領域設定部１６２ｂが本例の処理を行うことによって、フィルタ処理部１６２ｃは、フィルタ処理単位ＡＬＦＵの上側の画素値を参照することなく、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。したがって、フレームメモリ１５から内部メモリ１６３へのデータ転送量、および、内部メモリ１６３からフィルタ処理部１６２ｃへのデータ転送量が削減される。

なお、本例の処理は、ループフィルタ１６が、上述した処理例１および処理例２の何れの処理を行う場合であっても、好適に適用することができる。

図９（ａ）は、対象ＬＣＵについて、本例の処理を行う参照領域設定部１６２ｂによって設定された参照領域Ｒの一例を示す図である。図９（ａ）では、対象画素の正規化ＬＣＵ内Ｙ座標ｙｒが閾値Ｌｕｐｐｅｒ１未満である場合に、上方向参照範囲Ｄｕｐｐｅｒを０に設定する場合が示されている。

（設定例２）
参照領域設定部１６２ｂは、制約Ｂを満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、上述のステップＳ４にて、図８（ｂ）に示す処理、すなわち、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値ＬＬＣＵｙ−Ｌｌｏｗｅｒ１以上であるか否かの判別処理（ステップＳ４ｂ１）、および、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値ＬＬＣＵｙ−Ｌｌｏｗｅｒ１以上である場合に、参照領域Ｒを、下方向参照範囲ＤｌｏｗｅｒがＤｌｏｗｅｒ≦ＬＬＣＵｙ−ｙｒ−１を満たすように設定する処理（ステップＳ４ｂ２）を行う。

参照領域設定部１６２ｂが本例の処理を行うことによって、フィルタ処理部１６２ｃは、フィルタ処理単位ＡＬＦＵの下側の画素値を参照することなく、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。したがって、フレームメモリ１５から内部メモリ１６３へのデータ転送量、および、内部メモリ１６３からフィルタ処理部１６２ｃへのデータ転送量が削減される。また、フィルタ処理部１６２ｃは、対象ＬＣＵの下側のＬＣＵの復号が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

なお、本例の処理は、ループフィルタ１６が、上述した処理例１および処理例２の何れの処理を行う場合であっても、好適に適用することができる。

図９（ｂ）は、対象ＬＣＵについて、本例の処理を行う参照領域設定部１６２ｂによって設定された参照領域Ｒの一例を示す図である。図９（ｂ）では、対象画素の正規化ＬＣＵ内Ｙ座標ｙｒが閾値ＬＬＣＵｙ−Ｌｌｏｗｅｒ１以上である場合に、下方向参照範囲Ｄｌｏｗｅｒを０に設定する場合が示されている。

（設定例３）
参照領域設定部１６２ｂは、制約Ａおよび制約Ｂの双方の制約を満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、上述のステップＳ４にて、図８（ａ）に示す処理（ステップＳ４ａ１、ステップＳ４ａ２）、および、図８（ｂ）に示す処理（ステップＳ４ｂ１、ステップＳ４ｂ２）の双方を行う。

参照領域設定部１６２ｂが本例の処理を行うことによって、フィルタ処理部１６２ｃは、フィルタ処理単位ＡＬＦＵの上側の画素値および下側の画素値を参照することなく、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。したがって、フレームメモリ１５から内部メモリ１６３へのデータ転送量、および、内部メモリ１６３からフィルタ処理部１６２ｃへのデータ転送量が削減される。また、フィルタ処理部１６２ｃは、対象ＬＣＵの下側のＬＣＵの復号が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

なお、本例の処理は、ループフィルタ１６が、上述した処理例１および処理例２の何れの処理を行う場合であっても、好適に適用することができる。

図９（ｃ）は、対象ＬＣＵについて、本例の処理を行う参照領域設定部１６２ｂによって設定された参照領域Ｒの一例を示す図である。図９（ｃ）では、対象画素の正規化ＬＣＵ内Ｙ座標ｙｒが閾値Ｌｕｐｐｅｒ１未満である場合に、上方向参照範囲Ｄｕｐｐｅｒを０に設定し、対象画素の正規化ＬＣＵ内Ｙ座標ｙｒが閾値ＬＬＣＵｙ−Ｌｌｏｗｅｒ１以上である場合に、下方向参照範囲Ｄｌｏｗｅｒを０に設定する場合が示されている。

（設定例４）
参照領域設定部１６２ｂは、制約Ｄを満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、上述のステップＳ４にて、図８（ｄ）に示す処理、すなわち、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｌｏｗｅｒ２未満であるか否かの判別処理（ステップＳ４ｄ１）、および、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｌｏｗｅｒ２未満である場合に、参照領域Ｒを、下方向参照範囲ＤｌｏｗｅｒがＤｌｏｗｅｒ≦ＬＬＣＵｙ−Ｄｄｆ−ｙｒ−１を満たすように設定する処理（ステップＳ４ｄ２）を行う。ここで、閾値Ｌｌｏｗｅｒ２は、Ｌｌｏｗｅｒ２＝ＬＬＣＵｙ−Ｌｙを満たすことが好ましい（以下同様）。

なお、本例においては、参照領域設定部１６２ｂは、ステップＳ４ｄ１にて、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｌｏｗｅｒ２’以上あり、かつ所定の閾値Ｌｌｏｗｅｒ２未満であるか否かを判別し、ステップＳ４ｄ２にて、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｌｏｗｅｒ２’以上あり、かつ所定の閾値Ｌｌｏｗｅｒ２未満である場合に、参照領域Ｒを、下方向参照範囲ＤｌｏｗｅｒがＤｌｏｗｅｒ≦ＬＬＣＵｙ−Ｄｄｆ−ｙｒ−１を満たすように設定する構成としてもよい。ここで、閾値Ｌｌｏｗｅｒ２’は、Ｌｌｏｗｅｒ２’＝ＬＬＣＵｙ−Ｌｙ−Ｄtapを満たすことが好ましい。

本例の処理は、ループフィルタ１６が、上述した処理例２の処理を行う場合に、好適に適用することができる。したがって、参照領域設定部１６２ｂが本例の処理を行うことによって、フレームメモリ１５から内部メモリ１６３へのデータ転送を、各ＬＣＵについて１回（ステップＳ２０２）行えば足りるので、フレームメモリ１５から内部メモリ１６３へのデータ転送量を削減することができる。また、フィルタ処理部１６２ｃは、対象ＬＣＵの下辺についてのデブロック処理が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

図９（ｄ）は、対象ＬＣＵについて、本例の処理を行う参照領域設定部１６２ｂによって設定された参照領域Ｒの一例を示す図である。図９（ｄ）では、対象画素の正規化ＬＣＵ内Ｙ座標ｙｒが閾値Ｌｌｏｗｅｒ２’以上であって閾値Ｌｌｏｗｅｒ２未満である場合に、下方向参照範囲Ｄｌｏｗｅｒを０に設定する場合が示されている。

（設定例５）
参照領域設定部１６２ｂは、制約Ｃおよび制約Ｄの双方を満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、上述のステップＳ４にて、図８（ｃ）に示す処理、すなわち、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ２以上（仮想境界ラインVBLine以下）であるか否かの判別処理（ステップＳ４ｃ１）、および、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ２以上である場合（仮想境界ラインVBLine以下に位置する場合）に、参照領域Ｒを、上方向参照範囲ＤｕｐｐｅｒがＤｕｐｐｅｒ≦Ｌｙ＋ｙｒ−ＬＬＣＵｙを満たすように設定する処理（ステップＳ４ｃ２）を行う。この場合、Ｙ座標が仮想境界ラインVBLine以下の画素のみが参照される。ここで、閾値Ｌｕｐｐｅｒ２は、Ｌｕｐｐｅｒ２＝ＬＬＣＵｙ−Ｌｙを満たすことが好ましい。また、参照領域設定１６２ｂは、図８（ｄ）に示す処理（ステップＳ４ｄ１、ステップＳ４ｄ２）も行う。上記判別処理は、仮想境界ラインVBLineと正規化ＬＣＵ内Ｙ座標ｙｒの差dist2VB = (y座標 % LcuHeight)− VBLineを用いると、dist2VB≧0と表現できる。

なお、本例においては、参照領域設定部１６２ｂは、ステップＳ４ｃ１にて、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ２以上あり、かつ所定の閾値Ｌｕｐｐｅｒ２’以下であるか否かを判別し、ステップＳ４ｃ２にて、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ２以上あり、かつ所定の閾値Ｌｕｐｐｅｒ２’以下である場合に、参照領域Ｒを、上方向参照範囲ＤｕｐｐｅｒがＤｕｐｐｅｒ≦Ｌｙ＋ｙｒ−ＬＬＣＵｙを満たすように設定する構成としてもよい。ここで、閾値Ｌｕｐｐｅｒ２’は、Ｌｕｐｐｅｒ２’＝ＬＬＣＵｙ−Ｌｙ＋Ｄtapを満たすことが好ましい。

本例の処理は、ループフィルタ１６が、上述した処理例２の処理を行う場合に、好適に適用することができる。したがって、参照領域設定部１６２ｂが本例の処理を行うことによって、フレームメモリ１５から内部メモリ１６３へのデータ転送を、各ＬＣＵについて１回（ステップＳ２０２）行えば足りるので、フレームメモリ１５から内部メモリ１６３へのデータ転送量を削減することができる。また、フィルタ処理部１６２ｃは、フィルタ処理単位ＡＬＦＵの上側の画素値を参照することなく、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。したがって、フレームメモリ１５から内部メモリ１６３へのデータ転送量、および、内部メモリ１６３からフィルタ処理部１６２ｃへのデータ転送量が削減される。また、フィルタ処理部１６２ｃは、対象ＬＣＵの下辺についてのデブロック処理が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

図９（ｅ）は、対象ＬＣＵについて、本例の処理を行う参照領域設定部１６２ｂによって設定された参照領域Ｒの一例を示す図である。図９（ｅ）は、Ｌｕｐｐｅｒ２＝Ｌｌｏｗｅｒ２’である場合を示しているが、本実施形態はこれに限定されるものではない。

（設定例６）
参照領域設定部１６２ｂは、制約Ａ、制約Ｂ、制約Ｃおよび制約Ｄを全て満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、図８（ａ）〜（ｄ）に示す処理を全て行う。

本例の処理は、ループフィルタ１６が、上述した処理例１および処理例２の何れの処理を行う場合であっても、好適に適用することができる。

ループフィルタ１６が上述した処理例２の処理を行う場合、参照領域設定部１６２ｂが本例の処理を行うことによって、フレームメモリ１５から内部メモリ１６３へのデータ転送を、各ＬＣＵについて１回（ステップＳ２０２）行えば足りるので、フレームメモリ１５から内部メモリ１６３へのデータ転送量を削減することができる。また、フィルタ処理部１６２ｃは、対象ＬＣＵの下辺についてのデブロック処理が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

また、ループフィルタ１６が上述した処理例１および処理例２の何れの処理を行う場合であっても、参照領域設定部１６２ｂが本例の処理を行うことによって、フィルタ処理部１６２ｃは、フィルタ処理単位ＡＬＦＵの上側の画素値を参照することなく、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。したがって、フレームメモリ１５から内部メモリ１６３へのデータ転送量、および、内部メモリ１６３からフィルタ処理部１６２ｃへのデータ転送量が削減される。

図９（ｆ）は、対象ＬＣＵについて、本例の処理を行う参照領域設定部１６２ｂによって設定された参照領域Ｒの一例を示す図である。図９（ｆ）は、Ｌｕｐｐｅｒ２＝Ｌｌｏｗｅｒ２’である場合を示しているが、本実施形態はこれに限定されるものではない。

（設定例７）
参照領域設定部１６２ｂは、制約Ｅを満たすように参照領域Ｒを設定する。具体的には、参照領域設定部１６２ｂは、上述のステップＳ４にて、図８（ｅ）に示す処理、すなわち、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ３未満（仮想境界ラインVBLineより上側）であるか否かの判別処理（ステップＳ４ｅ１）、および、正規化ＬＣＵ内Ｙ座標ｙｒが所定の閾値Ｌｕｐｐｅｒ３未満である場合（仮想境界ラインVBLineより上側に位置する場合）に、参照領域Ｒを、下方向参照範囲ＤｌｏｗｅｒがＤｌｏｗｅｒ≦ＬＬＣＵｙ−Ｌｙ−ｙｒ−１を満たすように設定する処理（ステップＳ４ｅ２）を行う。この場合、Ｙ座標が仮想境界ラインVBLineより上の画素のみが参照される。ここで、閾値Ｌｕｐｐｅｒ３は、Ｌｕｐｐｅｒ３＝ＬＬＣＵｙ−Ｌｙを満たすことが好ましい。上記判別処理は、仮想境界ラインVBLineと正規化ＬＣＵ内Ｙ座標ｙｒの差dist2VB = (y座標 % LcuHeight)− VBLineを用いると、dist2VB<0と表現できる。

（参照領域に課される制約についてのより詳細な説明）
以下では、上述した制約Ａ〜Ｅ、および、上述した制約Ａ〜Ｅの他の表現について、順を追ってより詳細に説明する。

（座標系）
まず、制約Ａ〜Ｅを表現するために用いる座標系について説明する。なお、以下の説明では、第１フィルタ処理単位ＡＬＦＵ１、および、第２フィルタ処理単位ＡＬＦＵ２を「フィルタ処理単位ＡＬＦＵ」と総称する。

図１０は、対象ＬＣＵと、対象ＬＣＵに対応するフィルタ処理単位ＡＬＦＵとの位置関係を示す図である。図１０に示すように、ＬＣＵにおける各画素の座標は、ＬＣＵ内の左上の画素を原点とするＬＣＵ内Ｘ座標ｘおよびＬＣＵ内Ｙ座標ｙを用いて（ｘ、ｙ）と表現される。また、ＡＬＦＵにおける各画素の座標は、ＡＬＦＵ内の左上の画素を原点とするＡＬＦＵ内Ｘ座標ｘｘおよびＡＬＦＵ内Ｙ座標ｙｙを用いて、（ｘｘ、ｙｙ）と表現される。なお、ＬＣＵ内座標（ｘ、ｙ）およびＡＬＦＵ内座標（ｘｘ、ｙｙ）は、共に、画素を単位し、ラスタスキャンの下流方向を正として表現される。

図１０に示すように、ＡＬＦＵは、ＬＣＵに比べて、Ｙ軸に沿ってラスタスキャンの上流側にＬｙ、Ｘ軸に沿ってラスタスキャンの上流側にＬｘずれた場所に設定される。したがって、（ｘ、ｙ）と（ｘｘ、ｙｙ）との関係は以下のように表現される。

ｘ＝ｘｘ−Ｌｘ
ｙ＝ｙｙ−Ｌｙ
また、ＬＣＵにおける各画素の座標は、
ｘｒ＝ｘ％ＬＬＣＵｘ
ｙｒ＝ｙ％ＬＬＣＵｙ
によって定義される、正規化ＬＣＵ内座標（ｘｒ、ｙｒ）によって表現することもできる。ここで、記号％は、剰余演算を表しており、ＬＬＣＵｘは、対象ＬＣＵのｘ方向の長さを表しており、ＬＬＣＵｙは、対象ＬＣＵのｙ方向の長さを表している。また、ループフィルタ１６が、上述した処理例１の処理を行う場合、すなわち、ＡＬＦＵがＡＬＦＵ２である場合には、Ｌｘ＝Ｌｙ＝０が満たされる。

図１１（ａ）は、適応フィルタ１６２により画素値が算出される対象画素の、ＡＬＦＵにおける位置を示す図であり、図１１（ｂ）は、対象画素の画素値を算出するために適応フィルタ１６２により参照される画素よりなる領域である参照領域Ｒを示す図である。

図１１（ｂ）に示すように、参照領域Ｒは、対象画素と、参照領域Ｒの上辺に接する画素であって参照領域Ｒ内の画素とのＹ軸に沿った距離が上方向参照範囲ＤＤｕｐｐｅｒとなり、対象画素と、参照領域Ｒの下辺に接する画素であって参照領域Ｒ内の画素とのＹ軸に沿った距離が下方向参照範囲ＤＤｌｏｗｅｒとなるように設定される。ここで、上方向参照範囲ＤＤｕｐｐｅｒ、および下方向参照範囲ＤＤｌｏｗｅｒの具体的な値は、フィルタパラメータＦＰに含まれるタップ数情報、および対象画素の位置に応じて、適応フィルタ１６２により設定される。例えば、タップ数情報が９タップを示している場合、上方向参照範囲ＤＤｕｐｐｅｒのとり得る値は、０、１、３、及び４の何れかである。下方向参照範囲ＤＤｌｏｗｅｒについても同様である。

なお、対象画素のＡＬＦＵ内座標が（ｘｘ、ｙｙ）であるときの上方向参照範囲、および下方向参照範囲を、それぞれ、ＤＤｕｐｐｅｒ（ｙｙ）、およびＤＤｌｏｗｅｒ（ｙｙ）と表す。また、対象画素のＬＣＵ内座標が（ｘ、ｙ）であるときの上方向参照範囲、および下方向参照範囲を、それぞれ、Ｄｕｐｐｅｒ（ｙ）、およびＤｌｏｗｅｒ（ｙ）と表す。

（適応フィルタ１６１が参照領域Ｒに課する制約）
続いて、適応フィルタ１６２が、対象画素についての参照領域Ｒを設定する際に、上方向参照範囲ＤＤｕｐｐｅｒ、および下方向参照範囲ＤＤｌｏｗｅｒに課する制約について説明する。なお、上述した制約Ａ〜Ｅは、以下に説明するｕｐｐｅｒ制約、第１ｌｏｗｅｒ制約、および、第２ｌｏｗｅｒ制約を、正規化ＬＣＵ内座標を用いて表現したものである。したがって、適応フィルタ１６２は、以下に説明するｕｐｐｅｒ制約、第１ｌｏｗｅｒ制約、および第２ｌｏｗｅｒ制約のうち、少なくとも１つの制約を課することによって参照領域Ｒを設定するものであると表現することもできる。

（ｕｐｐｅｒ制約および第１ｌｏｗｅｒ制約）
適応フィルタ１６２は、ループフィルタ１６１が、上述の処理例１および処理例２の何れかの処理を行う場合に、参照領域Ｒを、以下に示すｕｐｐｅｒ制約および第１ｌｏｗｅｒ制約のうち、少なくとも一方を満たすように設定する。

・ｕｐｐｅｒ制約：対象画素の画素値を算出する際に、ＡＬＦＵ１より上方に位置する画素の画素値を参照しない
・第１ｌｏｗｅｒ制約：対象画素の画素値を算出する際に、ＡＬＦＵ１より下方に位置する画素の画素値を参照しない
適応フィルタ１６２は、参照領域Ｒを、上記２つの制約のうち少なくとも一方を満たすように設定することによって、上述したステップＳ１０６におけるデータ転送量を削減することができる。

図１２は、処理例１の処理を行う適応フィルタ１６２が、参照領域Ｒに対して、上記ｕｐｐｅｒ制約、および、上記第１ｌｏｗｅｒ制約の少なくとも一方を課する場合の、データ転送量の削減効果を説明するための図である。

図１２の（ａ）は、上記ｕｐｐｅｒ制約、および、上記第１ｌｏｗｅｒ制約の何れも課さない従来の適応フィルタ処理において転送される画素の領域を示す図である。図１２（ａ）に示すように、従来の適応フィルタ処理においては、対象ＬＣＵの周辺の画素であって、対象ＬＣＵの上方に位置する画素の画素値、および、対象ＬＣＵの下方に位置する画素の画素値を転送する必要がある。

図１２の（ｂ）は、適応フィルタ１６２が、上記第１ｌｏｗｅｒ制約を課す場合に、適応フィルタ処理において転送される画素の領域を示す図である。図１２（ｂ）に示すように、上記第１ｌｏｗｅｒ制約を課す場合、対象ＬＣＵの下方に位置する画素の画素値を転送することなく、適応フィルタ処理を行うことができる。

図１２の（ｃ）は、適応フィルタ１６２が、上記ｕｐｐｅｒ制約を課す場合に、適応フィルタ処理において転送される画素の領域を示す図である。図１２（ｃ）に示すように、上記ｕｐｐｅｒ制約を課す場合、対象ＬＣＵの上方に位置する画素の画素値を転送することなく、適応フィルタ処理を行うことができる。

図１２の（ｄ）は、適応フィルタ１６２が、上記ｕｐｐｅｒ制約、および第１ｌｏｗｅｒ制約の双方を課す場合に、適応フィルタ処理において転送される画素の領域を示す図である。図１２（ｄ）に示すように、上記ｕｐｐｅｒ制約、および上記第１ｌｏｗｅｒ制約の双方を課す場合、対象ＬＣＵの上方および下方に位置する画素の画素値を転送することなく、適応フィルタ処理を行うことができる。

（第２ｌｏｗｅｒ制約）
適応フィルタ１６２は、ループフィルタ１６１が、上述の処理例２に示した処理を行う場合に、参照領域Ｒを、以下に示す第２ｌｏｗｅｒ制約を満たすように設定する。

・第２ｌｏｗｅｒ制約：対象画素の画素値を算出する際に、対象ＬＣＵにおけるデブロック処理が未完了の領域を参照しない
適応フィルタ１６２は、参照領域Ｒを、上記第２ｌｏｗｅｒ制約を満たすように設定することによって、対象ＬＣＵにおけるデブロック処理が未完了の領域について、デブロック処理が完了するまで待機することなく、処理例２の処理を行うことができる。

なお、処理例２においても、上述したｕｐｐｅｒ制約を課すことにより、上述したステップＳ２０２におけるデータ転送量を削減することができる。

図１３は、処理例２の処理を行う適応フィルタ１６２が、参照領域Ｒに対して、上記ｕｐｐｅｒ制約を課する場合の、データ転送量の削減効果を説明するための図である。

図１３の（ａ）は、上記ｕｐｐｅｒ制約、および、上記第１ｌｏｗｅｒ制約の何れも課さない場合に、適応フィルタ処理において転送される画素の領域を示す図である。ここで、図１３の（ａ）に示すように、処理例２において、対象ＬＣＵと対象ＬＣＵに対応するＡＬＦＵ２とは、互いに異なった位置に設定されている。

図１３（ａ）に示すように、上記ｕｐｐｅｒ制約、および、上記第１ｌｏｗｅｒ制約の何れも課さない場合、対象ＡＬＦＵ２の周辺の画素であって、対象ＡＬＦＵ２の上方に位置する画素の画素値、および、対象ＡＬＦＵ２の下方に位置する画素の画素値を転送する必要がある。

図１３の（ｂ）は、処理例２の処理を行う適応フィルタ１６２が、上記ｕｐｐｅｒ制約を課す場合に、適応フィルタ処理において転送される画素の領域を示す図である。図１３（ｂ）に示すように、上記ｕｐｐｅｒ制約を課す場合、対象ＡＬＦＵ２の上方に位置する画素の画素値を転送することなく、適応フィルタ処理を行うことができる。なお、図１３（ｃ）は、ＬＣＵにおけるデブロッキングフィルタの参照範囲を示している。

（ｕｐｐｅｒ制約、第１ｌｏｗｅｒ制約、および、第２ｌｏｗｅｒ制約の数学的表現）
以下では、上述したｕｐｐｅｒ制約、第１ｌｏｗｅｒ制約、および、第２ｌｏｗｅｒ制約の数学的表現について、図１４を参照して説明する。

図１４（ａ）は、ループフィルタ１６１が、上述の処理例１に示した処理を行う場合に、上方向参照範囲ＤＤｕｐｐｅｒ（ｙｙ）について課する制約を説明するための図である。図１４（ａ）に示すように、対象画素のＡＬＦＵ１内座標が（ｘｘ、ｙｙ）である場合、参照領域Ｒの上辺のＡＬＦＵ１内Ｙ座標は、ｙｙ−ＤＤｕｐｐｅｒ（ｙｙ）と表現される。上述したｕｐｐｅｒ制約とは、参照領域Ｒの上辺のＡＬＦＵ１内Ｙ座標が、０以上であると表現することができる。したがって、上述したｕｐｐｅｒ制約は、以下のように表現することができる。

・ｕｐｐｅｒ制約：ＤＤｕｐｐｅｒ（ｙｙ）≦ｙｙ
以下では、ｕｐｐｅｒ制約を満たすＤＤｕｐｐｅｒ（ｙｙ）の上限値を上方向参照可能範囲ＭａｘＤＤｕｐｐｅｒ（ｙｙ）と表現することもある。ここで、
・ＭａｘＤＤｕｐｐｅｒ（ｙｙ）＝ｙｙ
である。

図１４（ｂ）は、ループフィルタ１６１が、上述の処理例１に示した処理を行う場合に、下方向参照範囲ＤＤｌｏｗｅｒ（ｙｙ）について課する制約を説明するための図である。図１４（ｂ）に示すように、対象画素のＡＬＦＵ１内座標が（ｘｘ、ｙｙ）である場合、参照領域Ｒの下辺のＡＬＦＵ１内Ｙ座標は、ｙｙ＋ＤＤｌｏｗｅｒ（ｙｙ）と表現される。上述した第１ｌｏｗｅｒ制約とは、参照領域Ｒの下辺のＡＬＦＵ１内Ｙ座標が、ＬＬＣＵｙ−１以下であると表現することができる。しがたって、上述した第１ｌｏｗｅｒ制約は、以下のように表現することができる。

・第１ｌｏｗｅｒ制約：ＤＤｌｏｗｅｒ（ｙｙ）≦ＬＬＣＵｙ−ｙｙ−１
以下では、第１ｌｏｗｅｒ制約を満たすＤＤｌｏｗｅｒ（ｙｙ）の上限値を第１下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ１（ｙｙ）と表現することもある。ここで、
・ＭａｘＤＤｌｏｗｅｒ１（ｙｙ）＝ＬＬＣＵｙ−ｙｙ−１
である。

図１４（ｃ）は、ループフィルタ１６１が、上述の処理例２に示した処理を行う場合に、下方向参照範囲ＤＤｌｏｗｅｒ（ｙｙ）について課する制約を説明するための図である。図１４（ｃ）に示すように、対象画素のＡＬＦＵ２内座標が（ｘｘ、ｙｙ）である場合、参照領域Ｒの下辺のＬＣＵ内Ｙ座標は、ｙｙ−Ｌｙ＋ＤＤｌｏｗｅｒ（ｙｙ）と表現される。上述した第２ｌｏｗｅｒ制約とは、参照領域Ｒの下辺のＬＣＵ内Ｙ座標が、ＬＬＣＵｙ−１−Ｄｄｆ以下であると表現することができる。ここで、Ｄｄｆは、対象ＬＣＵにおけるデブロック処理が完了していない領域のＹ方向の幅を表している。したがって、上述した第２ｌｏｗｅｒ制約は、以下のように表現することができる。

・第２ｌｏｗｅｒ制約：ＤＤｌｏｗｅｒ（ｙｙ）≦ＬＬＣＵｙ＋Ｌｙ−Ｄｄｆ−ｙｙ−１
以下では、第２ｌｏｗｅｒ制約を満たすＤＤｌｏｗｅｒ（ｙｙ）の上限値を第２下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ２（ｙｙ）と表現することもある。ここで、
・ＭａｘＤＤｌｏｗｅｒ２（ｙｙ）＝ＬＬＣＵｙ＋Ｌｙ−Ｄｄｆ−ｙｙ−１
である。

対象画素のＡＬＦＵ２内座標が（ｘｘ、ｙｙ）である場合の、ＭａｘＤＤｕｐｐｅｒ（ｙｙ）、ＭａｘＤＤｌｏｗｅｒ１（ｙｙ）、およびＭａｘＤＤｌｏｗｅｒ２（ｙｙ）を図１４（ｄ）に示す。

なお、上方向参照可能範囲ＭａｘＤＤｕｐｐｅｒ、第１下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ１、および第２下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ２をまとめて参照可能範囲と呼ぶことがある。

図１５は、ＡＬＦＵ内Ｙ座標、ＬＣＵ内Ｙ座標、正規化ＬＣＵ内Ｙ座標、上方向参照可能範囲ＭａｘＤＤｕｐｐｅｒ、第１下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ１、および第２下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ２の具体例を示す表である。図１５に示すように、参照可能範囲は、対象ＬＣＵと対象ＡＬＦＵとの位置のずれを表すＬｙに依存する。ここで対象ＬＣＵと対象ＡＬＦＵとの位置のずれを表すＬｙから仮想境界ラインVBLine（＝LcuHeight −Ｌｙ）が定義できる。図１５の表では、仮想境界ラインVBLineは、正規化ＬＣＵ内Ｙ座標ｙｒが（０−Ｌｙ）％ＬＬＣＵの場合に相当する。図１５では、上方向参照可能範囲ＭａｘＤＤｕｐｐｅｒは、正規化ＬＣＵ内Ｙ座標ｙｒが仮想境界ラインVBLine以下である場合、すなわち（０−Ｌｙ）％ＬＬＣＵ、（１−Ｌｙ）％ＬＬＣＵ、（２−Ｌｙ）％ＬＬＣＵ、（３−Ｌｙ）％ＬＬＣＵにおいて、０、１、２、３に制約される。これは仮想境界ラインVBLineと正規化ＬＣＵ内Ｙ座標ｙｒの差dist2VB = (y座標 % LcuHeight)− VBLineが０、１、２、３の場合に相当する。この参照領域Ｒの制約は、制約Ｃで既に説明した通りである。

また、第１下方向参照可能範囲ＭａｘＤＤｌｏｗｅｒ１は、正規化ＬＣＵ内Ｙ座標ｙｒが仮想境界ラインVBLine未満である場合、すなわち（ＬＬＣＵ−１−Ｌｙ）％ＬＬＣＵｙ、（ＬＬＣＵ−２−Ｌｙ）％ＬＬＣＵｙ、（ＬＬＣＵ−３−Ｌｙ）％ＬＬＣＵｙ、（ＬＬＣＵ−４−Ｌｙ）％ＬＬＣＵｙにおいて、０、１、２、３に制約される。これは仮想境界ラインVBLineと正規化ＬＣＵ内Ｙ座標ｙｒの差dist2VBが−１、−２、−３、−４の場合に相当する。この参照領域Ｒの制約は、制約Ｅで既に説明した通りである。

（参照可能範囲の、ＬＣＵ内座標を用いた表現）
以下では、参照可能範囲の、ＬＣＵ内座標を用いた表現について説明する。第１フィルタ処理単位ＡＬＦＵ１においては、ＡＬＦＵ１内Ｙ座標ｙｙと、ＬＣＵ内Ｙ座標ｙとの関係は、
ｙ＝ｙｙ
によって与えられるため、対象画素のＬＣＵ内Ｙ座標がｙである場合の、上方向参照可能範囲、および第１下方向参照可能範囲を、それぞれ、ＭａｘＤｕｐｐｅｒ＿１（ｙ）、およびＭａｘＤｌｏｗｅｒ１＿１（ｙ）と表すことにすると、
・ＭａｘＤｕｐｐｅｒ＿１（ｙ）＝ｙ …（Ａ）
・ＭａｘＤｌｏｗｅｒ１＿１（ｙ）＝ＬＬＣＵｙ−ｙ―１ …（Ｂ）
である。

一方で、第２フィルタ処理単位ＡＬＦＵ２においては、ＡＬＦＵ２内Ｙ座標ｙｙと、ＬＣＵ内Ｙ座標ｙとの関係は、
ｙ＝ｙｙ＋ＬＬＣＵｙ−Ｌｙ （０≦ｙｙ≦Ｌｙ−１）
ｙ＝ｙｙ−Ｌｙ （Ｌｙ≦ｙｙ≦ＬＬＣＵｙ−１）
によって与えられる。これらの関係は、以下のように表現することもできる。

ｙｙ＝ｙ＋Ｌｙ （０≦ｙ≦ＬＬＣＵｙ−Ｌｙ−１）
ｙｙ＝ｙ＋Ｌｙ−ＬＬＣＵｙ （ＬＬＣＵｙ−Ｌｙ≦ｙ≦ＬＬＣＵｙ−１）
したがって、対象画素のＬＣＵ内Ｙ座標がｙである場合の、上方向参照可能範囲、第１下方向参照可能範囲、および第２下方向参照可能範囲を、それぞれ、ＭａｘＤｕｐｐｅｒ＿２（ｙ）、ＭａｘＤｌｏｗｅｒ１＿２（ｙ）、およびＭａｘＤｌｏｗｅｒ２＿２（ｙ）と表すことにすると、

である。

数式（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、および（Ｅ）に対応する制約が、それぞれ、上述した制約Ａ、制約Ｂ、制約Ｃ、制約Ｄ、および制約Ｅに対応する。制約Ａ、および制約Ｃは、第１フィルタ処理単位ＡＬＦＵ１、および第２フィルタ処理単位ＡＬＦＵ２についてのｕｐｐｅｒ制約に対応しており、制約Ｂ、および制約Ｅは第１フィルタ処理単位ＡＬＦＵ１、および第２フィルタ処理単位ＡＬＦＵ２についての第１ｌｏｗｅｒ条件に対応しており、制約Ｄは、第２フィルタ処理単位ＡＬＦＵ２についての第２ｌｏｗｅｒ条件に対応している。

ここで、仮想境界ラインVBLineをＬＬＣＵｙ−Ｌｙ（＝LcuHeight −Ｌｙ）とすると、制約Ｃに対応する数式（Ｃ）は、ＬＣＵ内Ｙ座標を示すｙが仮想境界ラインVBLine以下に位置する場合、すなわち（ＬＬＣＵｙ―Ｌｙ≦ｙ≦ＬＬＣＵｙ−１）の場合に、上方向参照範囲ＭａｘＤｕｐｐｅｒ＿２（ｙ）を、ＬＣＵ内Ｙ座標と仮想境界ラインの差（＝ｙ＋Ｌｙ−ＬＬＣＵｙ）に制約することを意味する。ＬＣＵ内Ｙ座標と仮想境界ラインの差（＝ｙ＋Ｌｙ−ＬＬＣＵｙ）は、既に説明したdist2VB＝(y座標 % LcuHeight)−VBLineに相当する。タップ数が９タップである場合、すなわち制約のない場合の上方向参照範囲が４である場合には、上方向参照範囲ＭａｘＤｕｐｐｅｒ＿２（ｙ）が４未満になる場合には、上方向参照範囲が制約される。すなわち、ＬＣＵ内Ｙ座標と仮想境界ラインの差dist2VBが0、1、2、3の場合に制約される。タップ数が７タップ（無制約時の上方向参照範囲が３）である場合には、ＬＣＵ内Ｙ座標と仮想境界ラインの差dist2VBが0、1、2、3の場合に上方向参照範囲が制約される。タップ数が５タップ（無制約時の上方向参照範囲が２）である場合には、ＬＣＵ内Ｙ座標と仮想境界ラインの差dist2VBが0、1の場合に上方向参照範囲が制約される。

制約Ｅに対応する数式（Ｅ）は、ＬＣＵ内Ｙ座標を示すｙが仮想境界ラインVBLine（＝LcuHeight −Ｌｙ）より上に位置する場合、すなわち（０≦ｙ≦ＬＬＣＵｙ−１）の場合に、下方向参照範囲ＭａｘＤｌｏｗｅｒ２＿２（ｙ）を、ＬＣＵ内Ｙ座標と仮想境界ラインの差（＝VBLine−ｙ）−１に制約することを意味する。ＬＣＵ内Ｙ座標と仮想境界ラインの差（＝VBLine−ｙ）は、既に説明したdist2VB＝(y座標 % LcuHeight)−VBLineの符号を反転した値に相当する。タップ数が９タップである場合には、すなわち制約のない場合の下方向参照範囲が４である場合には、−dist2VB−１が４未満になる場合に下方向参照範囲が制約される。すなわち、ＬＣＵ内Ｙ座標と仮想境界ラインの差dist2VBが−1、−2、−3、−4の場合に制約される。タップ数が７タップ（無制約時の下方向参照範囲が３）である場合には、ＬＣＵ内Ｙ座標と仮想境界ラインの差dist2VBが−1、−2、−3の場合に下方向参照範囲が制約される。タップ数が５タップ（無制約時の下方向参照範囲が２）である場合には、ＬＣＵ内Ｙ座標と仮想境界ラインの差dist2VBが−1、−2の場合に下方向参照範囲が制約される。

（制約Ａ）
数式（Ａ）は、ループフィルタ１６が、処理例１および処理例２の何れかの処理を行う場合であって、対象画素のＬＣＵ内Ｙ座標が所定の閾値未満である場合に、上方向参照範囲Ｄｕｐｐｅｒ（ｙ）を、対象画素のＬＣＵ内Ｙ座標以下に制限することにより満たされる。ループフィルタ１６は、処理例１および処理例２の何れかの処理を行う場合に、以下の制約Ａが満たされるように、参照領域Ｒを設定する。

・制約Ａ：対象画素のＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ１未満である場合には、上方向参照範囲Ｄｕｐｐｅｒ（ｙ）を、対象画素のＬＣＵ内Ｙ座標以下の画素数とする。

ここで、所定の閾値Ｌｕｐｐｅｒ１としては、４または８などの固定の値を用いても良いし、可変の値としても良い（以下同様）。また、対象画素のＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ１未満である場合の上方向参照範囲Ｄｕｐｐｅｒ（ｙ）は、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。

（制約Ｂ）
数式（Ｂ）は、ループフィルタ１６が、処理例１および処理例２の何れかの処理を行う場合であって、対象画素のＬＣＵ内Ｙ座標が所定の閾値以上である場合に、下方向参照範囲Ｄｌｏｗｅｒ（ｙ）を、ＬＬＣＵｙから対象画素のＬＣＵ内Ｙ座標を減じて１を加算して得られる値以下に制限することにより満たされる。ループフィルタ１６は、処理例１および処理例２の何れかの処理を行う場合に、以下の制約Ｂが満たされるように、参照領域Ｒを設定する。

・制約Ｂ：対象画素のＬＣＵ内Ｙ座標が所定の閾値ＬＬＣＵｙ−Ｌｕｐｐｅｒ１以上である場合には、下方向参照範囲Ｄｌｏｗｅｒ（ｙ）を、ＬＬＣＵｙ−（対象画素のＬＣＵ内Ｙ座標）以下の画素数とする。

ここで、対象画素のＬＣＵ内Ｙ座標が所定の閾値ＬＬＣＵｙ−Ｌｕｐｐｅｒ１以上である場合の下方向参照範囲Ｄｌｏｗｅｒ（ｙ）は、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。

（制約Ｃ）
数式（Ｃ）は、ループフィルタ１６が、処理例２の処理を行う場合であって、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値以上である場合に、上方向参照範囲Ｄｕｐｐｅｒ（ｙ）を、Ｌｙ＋（対象画素のＬＣＵ内Ｙ座標）−ＬＬＣＵｙ以下に制限することにより満たされる。ループフィルタ１６は、処理例２の処理を行う場合に、以下の制約Ｃが満たされるように参照領域Ｒを設定する。

・制約Ｃ：対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ２以上である場合には、上方向参照範囲Ｄｕｐｐｅｒ（ｙ）を、Ｌｙ＋（対象画素の正規化ＬＣＵ内Ｙ座標）−ＬＬＣＵｙ以下の画素数とする。

ここで、所定の閾値Ｌｕｐｐｅｒ２は、ＬＬＣＵｙ−Ｌｙ以下の値とすればよい（以下同様）。また、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｕｐｐｅｒ２以上である場合の上方向参照範囲Ｄｕｐｐｅｒ（ｙ）は、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。

（制約Ｄ）
数式（Ｄ）は、ループフィルタ１６が、処理例２の処理を行う場合であって、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値未満である場合に、下方向参照範囲Ｄｌｏｗｅｒ（ｙ）を、ＬＬＣＵｙ−Ｄｄｆ−（対象画素の正規化ＬＣＵ内Ｙ座標）−１以下に制限することにより満たされる。ループフィルタ１６は、処理例２の処理を行う場合に、以下の制約Ｄが満たされるように参照領域Ｒを設定する。

・制約Ｄ：対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｌｏｗｅｒ２未満である場合には、下方向参照範囲Ｄｌｏｗｅｒ（ｙ）を、ＬＬＣＵｙ−Ｄｄｆ−（対象画素の正規化ＬＣＵ内Ｙ座標）−１以下の画素数とする。

ここで、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｌｏｗｅｒ２未満である場合の下方向参照範囲Ｄｌｏｗｅｒ（ｙ）は、対象画素のＬＣＵ内Ｙ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｙ座標に依存することなく、例えば０に設定してもよい。また、閾値Ｌｌｏｗｅｒ２は、ＬＬＣＵｙ−Ｌｙ以上の値とすればよい。

（制約Ｅ）
数式（Ｅ）は、ループフィルタ１６が、処理例２の処理を行う場合であって、対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値未満である場合に、下方向参照範囲Ｄｌｏｗｅｒ（ｙ）を、ＬＬＣＵｙ−Ｌｙ−（対象画素の正規化ＬＣＵ内Ｙ座標）−１以下に制限することにより満たされる。ループフィルタ１６は、処理例２の処理を行う場合に、以下の制約Ｅが満たされるように参照領域Ｒを設定する。

・制約Ｅ：対象画素の正規化ＬＣＵ内Ｙ座標が所定の閾値Ｌｌｏｗｅｒ３未満である場合には、下方向参照範囲Ｄｌｏｗｅｒ（ｙ）を、ＬＬＣＵｙ−Ｌｙ−（対象画素の正規化ＬＣＵ内Ｙ座標）−１以下の画素数とする。

ここで、閾値Ｌｌｏｗｅｒ３は、ＬＬＣＵｙ−Ｌｙ以上の値とすればよい。

（参照可能範囲の具体例）
図１６に、ＬＬＣＵｙ＝３２、Ｌｙ＝０の場合のＬＣＵ内Ｙ座標ｙ、上方向参照可能範囲ＭａｘＤｕｐｐｅｒ＿１（ｙ）、および第１下方向参照可能範囲ＭａｘＤｌｏｗｅｒ１＿１（ｙ）の具体例を示す。図１６に示すように、ＬＣＵ内Ｙ座標が小さくなる程、上方向参照可能範囲ＭａｘＤｕｐｐｅｒ＿１（ｙ）も小さくなる。また、ＬＣＵ内Ｙ座標が大きくなる程、第１下方向参照可能範囲ＭａｘＤｌｏｗｅｒ１＿１（ｙ）も小さくなる。

一例として、フィルタパラメータＦＰに含まれるタップ数情報の示すタップ数が７である場合を考える。この場合、何らの制約も無ければ、参照領域Ｒにおける上方向参照範囲、および下方向参照範囲は共に３画素である。したがって、上方向参照可能範囲ＭａｘＤｕｐｐｅｒ＿１（ｙ）が３画素以下となる場合（ＬＣＵ内Ｙ座標が４未満の場合）に、上述した制約Ａによって上方向参照範囲を制限することにより、対象ＬＣＵ（対象ＡＬＦＵ１）の上側の画素値を参照することなく、フィルタ処理を行うことができる。また、下方向参照可能範囲ＭａｘＤｌｏｗｅｒ１＿１（ｙ）が３画素以下となる場合（ＬＣＵ内Ｙ座標が３２−４＝２８未満の場合）に、上述した制約Ｂによって下方向参照範囲を制限することにより対象ＬＣＵ（対象ＡＬＦＵ１）の下側の画素値を参照することなく、フィルタ処理を行うことができる。

図１７に、ＬＬＣＵｙ＝３２、Ｌｙ＝８の場合のＡＬＦＵ内Ｙ座標、ＬＣＵ内Ｙ座標、正規化ＬＣＵ内Ｙ座標、上方向参照可能範囲ＭａｘＤＤｕｐｐｅｒ＿２（ｙｙ）、第１下方向参照可能範囲ＭａｘＤｌｏｗｅｒ１（ｙｙ）、および第２下方向参照可能範囲ＭａｘＤｌｏｗｅｒ２（ｙｙ）の具体例を示す。また、図１８に、ＬＬＣＵｙ＝３２、Ｌｙ＝８の場合の正規化ＬＣＵ内Ｙ座標、上方向参照可能範囲ＭａｘＤｕｐｐｅｒ＿２（ｙ）、第１下方向参照可能範囲ＭａｘＤｌｏｗｅｒ１＿２（ｙ）、および第２下方向参照可能範囲ＭａｘＤｌｏｗｅｒ２＿２（ｙ）の具体例を示す。

図１８に示す例においては、正規化ＬＣＵ内Ｙ座標が２４以上の場合に、上述した制約Ｃによって上方向参照範囲が制限される。また、正規化ＬＣＵ内Ｙ座標が２４未満の場合に、上述した制約Ｄによって第２上方向参照範囲が制限され、上述した制約Ｅによって第１下方向参照範囲が制限される。

（参照領域に課される他の制約の例）
以上、ループフィルタ１６の備える参照領域設定部１６２ｂが、上方向参照範囲、および下方向参照範囲の少なくとも何れかを制限する構成について説明を行ったが、本実施形態はこれに限定されるものではない。例えば、参照領域設定部１６２ｂは、上述した制約Ａ〜Ｅのうち少なくとも１つの制約に加えて、以下の制約Ｆ〜Ｈのうち少なくとも１つの制約を課することによって参照領域Ｒを設定する構成としてもよい。また、参照領域設定部１６２ｂは、上述した制約Ａ〜Ｅの何れも課すことなく、以下の制約Ｆ〜Ｈのうち少なくとも１つの制約を課することによって参照領域Ｒを設定する構成としてもよい。

（制約Ｆ）
ループフィルタ１６が処理例１および処理例２の何れかの処理を行う場合に、参照領域設定部１６２ｂは、以下の制約Ｆが満たされるように、参照領域Ｒを設定する。

・制約Ｆ：対象画素のＬＣＵ内Ｘ座標が所定の閾値ＬＬＣＵｘ−Ｌｒｉｇｈｔ１以上である場合には、右方向参照範囲Ｄｒｉｇｈｔを、ＬＬＣＵｘ−（対象画素のＬＣＵ内Ｘ座標）−１以下の画素数とする。

ここで、右方向参照範囲Ｄｒｉｇｈｔとは、対象画素と、参照領域Ｒの右辺に接する画素であって参照領域Ｒ内の画素とのＸ軸に沿った距離のことを指す（以下同様）。また、右方向参照範囲Ｄｒｉｇｈｔは画素を単位として表されるものとする（以下同様）。

また、対象画素のＬＣＵ内Ｘ座標が所定の閾値ＬＬＣＵｘ−Ｌｒｉｇｈｔ１以上である場合の右方向参照範囲Ｄｒｉｇｈｔ（ｘ）は、対象画素のＬＣＵ内Ｘ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｘ座標に依存することなく、例えば０に設定してもよい。

参照領域設定部１６２ｂが制約Ｆを課しつつ参照領域Ｒを設定することによって、フィルタ処理部１６２ｃは、フィルタ処理単位ＡＬＦＵの右側の画素値を参照することなく、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。したがって、フレームメモリ１５から内部メモリ１６３へのデータ転送量、および、内部メモリ１６３からフィルタ処理部１６２ｃへのデータ転送量が削減される。また、フィルタ処理部１６２ｃは、対象ＬＣＵの右側のＬＣＵの復号が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

（制約Ｇ）
ループフィルタ１６が処理例２の処理を行う場合に、参照領域設定部１６２ｂは、以下の制約Ｇが満たされるように参照領域Ｒを設定する。

・制約Ｇ：対象画素の正規化ＬＣＵ内Ｘ座標が所定の閾値Ｌｒｉｇｈｔ２未満である場合には、右方向参照範囲Ｄｒｉｇｈｔを、ＬＬＣＵｘ−Ｄｄｆ−（対象画素の正規化ＬＣＵ内Ｘ座標）−１以下の画素数とする。

ここで、正規化ＬＣＵ内Ｘ座標とは、剰余演算を表す記号「％」を用いて、（ＬＣＵ内Ｘ座標）％ＬＬＣＵｘによって定義され、０以上の値をとる（以下同様）。また、Ｄｄｆは、対象ＬＣＵにおいてデブロッキングフィルタ１６１によるデブロック処理が未完了である領域のＸ方向の幅を表すものとする。また、
また、対象画素の正規化ＬＣＵ内Ｘ座標が所定の閾値Ｌｒｉｇｈｔ２未満である場合の右方向参照範囲Ｄｒｉｇｈｔは、対象画素のＬＣＵ内Ｘ座標に依存するように設定してもよいし、対象画素のＬＣＵ内Ｘ座標に依存することなく、例えば０に設定してもよい。また、閾値Ｌｒｉｇｈｔ２は、ＬＬＣＵｘ−Ｌｘ以上の値とすればよい。

参照領域設定部１６２ｂが制約Ｆを課しつつ参照領域Ｒを設定することによって、フレームメモリ１５から内部メモリ１６３へのデータ転送量を削減することができる。また、フィルタ処理部１６２ｃは、対象ＬＣＵの右辺についてのデブロック処理が完了するまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

なお、参照領域設定部１６２ｂは、正規化ＬＣＵ内Ｘ座標が所定の閾値Ｌｒｉｇｈｔ２’以上あり、かつ所定の閾値Ｌｒｉｇｈｔ２未満である場合に、参照領域Ｒを、右方向参照範囲ＤｒｉｇｈｔがＤｒｉｇｈｔ≦ＬＬＣＵｘ−Ｄｄｆ−（対象画素の正規化ＬＣＵ内Ｘ座標）−１を満たすように設定する構成としてもよい。ここで、閾値Ｌｒｉｇｈｔ２’は、Ｌｒｉｇｈｔ２’＝ＬＬＣＵｘ−Ｌｘ−Ｄtapを満たすことが好ましい。

（制約Ｈ）
ループフィルタ１６が処理例２の処理を行う場合に、参照領域設定部１６２ｂは、以下の制約Ｈが満たされるように参照領域Ｒを設定する。

・制約Ｈ：対象画素の正規化ＬＣＵ内Ｘ座標が所定の閾値Ｌｒｉｇｈｔ３未満である場合には、右方向参照範囲Ｄｒｉｇｈｔを、ＬＬＣＵｘ−Ｌｘ−（対象画素の正規化ＬＣＵ内Ｘ座標）−１以下の画素数とする。

ここで、閾値Ｌｒｉｇｈｔ３は、ＬＬＣＵｘ−Ｌｘ以上の値とすればよい。

図１９に、制約Ｄおよび制約Ｇを共に満たすように設定された参照領域Ｒの例を示す。

（動画像符号化装置２）
本実施形態に係る動画像符号化装置２の構成について図２０〜図２１を参照して説明する。動画像符号化装置２は、その一部に、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、および、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術を含む符号化装置である。以下では、既に説明した部分と同じ部分については同じ符号を付し、その説明を省略する。

図２０は、動画像符号化装置２の構成を示すブロック図である。図２０に示すように、動画像符号化装置２は、予測画像生成部２１、変換・量子化部２２、逆量子化・逆変換部２３、加算器２４、フレームメモリ２５、ループフィルタ２６、可変長符号符号化部２７、および、減算器２８を備えている。また、図２０に示すように、予測画像生成部２１は、イントラ予測画像生成部２１ａ、動きベクトル検出部２１ｂ、インター予測画像生成部２１ｃ、予測方式制御部２１ｄ、および、動きベクトル冗長性削除部２１ｅを備えている。動画像符号化装置２は、動画像＃１０（符号化対象画像）を符号化することによって、符号化データ＃１を生成する装置である。

（予測画像生成部２１）
予測画像生成部２１は、処理対象ＬＣＵを、１または複数の下位ＣＵに再帰的に分割し、各リーフＣＵをさらに１または複数のパーティションに分割し、パーティション毎に、画面間予測を用いたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ、または、画面内予測を用いたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒおよびイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測画像Ｐｒｅｄとして、加算器２４および減算器２８に供給される。

なお、予測画像生成部２１は、スキップモードの適応されたＰＵについては、当該ＰＵに属する他のパラメータの符号化を省略する。また、（１）対象ＬＣＵにおける下位ＣＵおよびパーティションへの分割の態様、（２）スキップモードを適用するか否か、および、（３）パーティション毎にインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒおよびイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａの何れを生成するか、は、符号化効率を最適化するように決定される。

（イントラ予測画像生成部２１ａ）
イントラ予測画像生成部２１ａは、画面内予測によって、各パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、（１）各パーティションついてイントラ予測に用いる予測モードを選択し、（２）選択した予測モードを用いて、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部２１ａは、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを、予測方式制御部２１ｄに供給する。

また、イントラ予測画像生成部２１ａは、対象パーティションの周辺のパーティションに割り付けられた予測モードから対象パーティションに対する推定予測モードを決定し、当該推定予測モードと、対象パーティションについて実際に選択された予測モードとが同じであるか否かを示すフラグＭＰＭを、イントラ予測パラメータＰＰ＿Ｉｎｔｒａの一部として、予測方式制御部２１ｄを介して可変長符号符号化部２７に供給し、可変長符号符号化部２７は、当該フラグを、符号化データ＃１に含める構成とする。

また、イントラ予測画像生成部２１ａは、対象パーティションについての推定予測モードと、対象パーティションについて実際に選択された予測モードとが異なる場合には、対象パーティションについての予測モードを示す残余予測モードインデックスＲＩＰＭを、イントラ予測パラメータＰＰ＿Ｉｎｔｒａの一部として、予測方式制御部２１ｄを介して可変長符号符号化部２７に供給し、可変長符号符号化部２７は当該残余予測モードインデックス符号化データ＃１に含める構成とする。

（動きベクトル検出部２１ｂ）
動きベクトル検出部２１ｂは、各パーティションに関する動きベクトルｍｖを検出する。具体的には、（１）参照画像として利用する適応フィルタ済復号画像Ｐ＿ＡＬＦ’を選択し、（２）選択した適応フィルタ済復号画像Ｐ＿ＡＬＦ’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルｍｖを検出する。ここで、適応フィルタ済復号画像Ｐ＿ＡＬＦ’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ２６による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部２１ｂは、適応フィルタ済復号画像Ｐ＿ＡＬＦ’を構成する各画素の画素値をフレームメモリ２５から読み出すことができる。動きベクトル検出部２１ｂは、検出した動きベクトルｍｖを、参照画像として利用した適応フィルタ済復号画像Ｐ＿ＡＬＦ’を指定する参照画像インデックスＲＩと共に、インター予測画像生成部２１ｃ及び動きベクトル冗長性削除部２１ｅに供給する。

（インター予測画像生成部２１ｃ）
インター予測画像生成部２１ｃは、画面間予測によって、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル検出部２１ｂから供給された動きベクトルｍｖを用いて、動きベクトル検出部２１ｂから供給された参照画像インデックスＲＩによって指定される適応フィルタ済復号画像Ｐ＿ＡＬＦ’から動き補償画像ｍｃを生成する。動きベクトル検出部２１ｂと同様に、インター予測画像生成部２１ｃは、適応フィルタ済復号画像Ｐ＿ＡＬＦ’を構成する各画素の画素値をフレームメモリ２５から読み出すことができる。インター予測画像生成部２１ｃは、生成した動き補償画像ｍｃ（インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ）を、動きベクトル検出部２１ｂから供給された参照画像インデックスＲＩと共に、予測方式制御部２１ｄに供給する。

（予測方式制御部２１ｄ）
予測方式制御部２１ｄは、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａ及びインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部２１ｄは、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器２４及び減算器２８に供給すると共に、イントラ予測画像生成部２１ａから供給されるイントラ予測パラメータＰＰ＿Ｉｎｔｒａを可変長符号符号化部２７に供給する。一方、インター予測を選択した場合、予測方式制御部２１ｄは、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器２４及び減算器２８に供給すると共に、参照画像インデックスＲＩ、並びに、後述する動きベクトル冗長性削除部２１ｅから供給された推定動きベクトルインデックスＰＭＶＩ及び動きベクトル残差ＭＶＤをインター予測パラメータＰＰ＿Ｉｎｔｅｒとして可変長符号符号化部２７に供給する。

（動きベクトル冗長性削除部２１ｅ）
動きベクトル冗長性削除部２１ｅは、動きベクトル検出部２１ｂによって検出された動きベクトルｍｖにおける冗長性を削除する。具体的には、（１）動きベクトルｍｖの推定に用いる推定方法を選択し、（２）選択した推定方法に従って推定動きベクトルｐｍｖを導出し、（３）動きベクトルｍｖから推定動きベクトルｐｍｖを減算することにより動きベクトル残差ＭＶＤを生成する。動きベクトル冗長性削除部２１ｅは、生成した動きベクトル残差ＭＶＤを、選択した推定方法を示す推定動きベクトルインデックスＰＭＶＩと共に、予測方式制御部２１ｄに供給する。

（変換・量子化部２２）
変換・量子化部２２は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック（変換単位）毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号符号化部２７及び逆量子化・逆変換部２３に供給する。なお、変換・量子化部２２は、（１）量子化の際に用いる量子化ステップＱＰをＴＵ毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号符号化部２８に供給し、（３）選択した量子化ステップＱＰを逆量子化・逆変換部２３に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ変換／量子化するＴＵに関する量子化パラメータｑｐ（例えばＱＰ＝２^ｐｑ／６）の値から、直前にＤＣＴ変換／量子化したＴＵに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。

（逆量子化・逆変換部２３）
逆量子化・逆変換部２３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器２４に供給する。量子化予測残差ＱＤを逆量子化する際には、変換・量子化部２２から供給された量子化ステップＱＰを利用する。なお、逆量子化・逆変換部２３から出力される予測残差Ｄは、変換・量子化部２２に入力される予測残差Ｄに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。

（加算器２４）
加算器２４は、予測方式制御部２１ｄにて選択された予測画像Ｐｒｅｄを、逆量子化・逆変換部２３にて生成された予測残差Ｄに加算することによって、（局所）復号画像Ｐを生成する。加算器２４にて生成された（局所）復号画像Ｐは、ループフィルタ２６に供給されると共にフレームメモリ２５に格納され、イントラ予測における参照画像として利用される。

（可変長符号符号化部２７）
可変長符号符号化部２７は、（１）変換・量子化部２２から供給された量子化予測残差ＱＤ並びにΔｑｐ、（２）予測方式制御部２１ｄから供給された量子化パラメータＰＰ（インター予測パラメータＰＰ＿Ｉｎｔｅｒ、および、イントラ予測パラメータＰＰ＿Ｉｎｔｒａ）、および、（３）ループフィルタ２６から供給されたフィルタパラメータＦＰを可変長符号化することによって、符号化データ＃１を生成する。

なお、可変長符号符号化部２７による具体的な符号化方式としては、算術符号化／復号の一方式であるＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）、または、非算術符号化／復号の一方式であるＣＡＶＬＣ（Context-based Adaptive VLC）が用いられる。

可変長符号符号化部２７は、ピクチャ毎に、ＣＡＢＡＣおよびＣＡＶＬＣの何れの符号化方式を用いるのかを決定し、決定した符号化方式により符号化すると共に、決定した符号化方式を指定する符号化モード情報（entropy_coding_mode_flag）を符号化データ＃１のピクチャヘッダＰＨに含める。

（減算器２８）
減算器２８は、予測方式制御部２１ｄにて選択された予測画像Ｐｒｅｄを、符号化対象画像から減算することによって、予測残差Ｄを生成する。減算器２８にて生成された予測残差Ｄは、変換・量子化部２２によってＤＣＴ変換／量子化される。

（ループフィルタ２６）
ループフィルタ２６は、（１）復号画像Ｐにおけるブロック境界、またはパーティション境界の周辺の画像の平滑化（デブロック処理）を行うデブロッキングフィルタ（DF:Deblocking Filter）としての機能と、（２）デブロッキングフィルタが作用した画像に対して、フィルタパラメータＦＰを用いて適応フィルタ処理を行う適応フィルタ（ALF:Adaptive Loop Filter）としての機能を有している。

図２１は、ループフィルタ２６の構成を示すブロック図である。図２１に示すように、ループフィルタ２６は、デブロッキングフィルタ１６１、適応フィルタ２６２、および、内部メモリ１６３を備えている。

ループフィルタ２６の構成および動作は、動画像復号装置１の備えるループフィルタ１６とほぼ同様である。以下では、ループフィルタ１６と異なる部分についてのみ説明を行う。

（適応フィルタ２６２）
図２１に示すように、適応フィルタ２６２は、対象画素設定部２６２ａ、参照領域設定部２６２ｂ、および、フィルタ処理部２６２ｃを備えている。対象画素設定部２６２ａは、動画像復号装置１の備える対象画素設定部１６２ａと同様の構成であるのでその説明を省略する。

参照領域設定部２６２ｂは、動画像復号装置１の備える参照領域設定部１６２ｂとほぼ同様の構成である。ただし、参照領域設定部２６２ｂは、符号化効率がより高くなるように設定されたタップ数Ｎtapを決定し、参照領域設定部１６２ｂの参照する「フィルタパラメータＦＰに含まれるタップ数情報」に代えて、当該タップ数Ｎtapを参照するものとする。ここで、タップ数Ｎtapは、参照領域についての制約が課される前のタップ数を表している。また、タップ数Ｎtapを指定するタップ数情報は、フィルタパラメータＦＰの一部として符号化データ＃１に含められる。

フィルタ処理部２６２ｃは、デブロック済復号画像Ｐ＿ＤＢに作用するフィルタのフィルタ係数ａ（ｉ、ｊ）およびオフセットｏを、フィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定する。例えば、以下の数式（２）に示す二乗誤差Ｅがより小さくなるように、フィルタ係数ａ（ｉ、ｊ）およびオフセットｏを決定する。

ここで、Ｓ（ｘ、ｙ）はデブロック済復号画像Ｐ＿ＤＢの画素値を表しており、Ｓ0（ｘ、ｙ）は、符号化対象画像の画素値を表している。また、Ｒは、対象画素の画素値を算出するために参照される領域を表しており、参照領域設定部２６２ｂによって設定される。

フィルタ処理部２６２ｃは、このようにして決定されたフィルタ係数ａ（ｉ、ｊ）およびオフセットｏを用いたフィルタ処理を、デブロック済復号画像Ｐ＿ＤＢに対して行うことによって適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。また、フィルタ処理部２６２ｃは、このようにして決定されたフィルタ係数ａ（ｉ、ｊ）およびオフセットｏを、フィルタパラメータＦＰに含める。フィルタ処理部２６２ｃの行う具体的なフィルタ処理は、フィルタ処理部１６２ｃと同様であるので、ここでは説明を省略する。

（実施形態２）
実施形態１においては、ループフィルタ１６の備える適応フィルタが、デブロック済復号画像に作用することによって適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する場合について説明を行った。本実施形態においては、ループフィルタの備える適応フィルタが、デブロック済復号画像Ｐ＿ＤＢ、予測画像Ｐ、および、予測残差Ｄに作用することによって適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する構成について説明する。なお、以下では、既に説明した部分と同じ部分については同じ符号を付し、その説明を省略する。

（符号化データ＃１’）
本実施形態に係る符号化データ＃１’のフィルタパラメータＦＰ’には、デブロック済復号画像Ｐ＿ＤＢ、予測画像Ｐ、予測残差Ｄのそれぞれの各画素に乗ぜられるフィルタ係数群が含まれている。符号化データ＃１’のその他の構成は、実施形態１に係る符号化データ＃１の構成と同様である。

図２２は、本実施形態に係る動画像復号装置１’の構成を示すブロック図である。図２２に示すように、動画像復号装置１’は、実施形態１に係る動画像復号装置１の備えるループフィルタ１６に代えて、ループフィルタ１６’を備えている。また、ループフィルタ１６’には、復号画像Ｐに加えて、予測画像Ｐｒｅｄおよび予測残差Ｄも供給される。その他の構成は動画像復号装置１と同じである。

（ループフィルタ１６’）
図２３は、ループフィルタ１６’の構成を示すブロック図である。図２３に示すように、ループフィルタ１６’は、デブロッキングフィルタ１６１、適応フィルタ１６２’、および内部メモリ１６３を備えている。また、適応フィルタ１６２’は、対象画素設定部１６２ａ、参照領域設定部１６２ｂ’、およびフィルタ処理部１６２’を備えている。

内部メモリ１６３’には、復号画像Ｐ、予測画像Ｐｒｅｄ、予測残差Ｄ、デブロック済復号画像Ｐ＿ＤＢ、および適応フィルタ済復号画像Ｐ＿ＡＦＬが格納される。

ループフィルタ１６’は、実施形態１において説明した処理例１および処理例２の何れかとほぼ同様の処理を行う。ただし、ループフィルタ１６’は、適応フィルタ処理において、デブロック済復号画像Ｐ＿ＤＢのみならず、予測画像Ｐｒｅｄ、予測残差Ｐ＿ＤＢをも参照する。

（参照領域設定部１６２ｂ’）
参照領域設定部１６２ｂ’は、対象画素の周辺に、デブロック済復号画像Ｐ＿ＤＢについての参照領域ＲDB、予測残差Ｄについての参照領域ＲD、および予測画像Ｐｒｅｄについての参照領域ＲPredを設定する。

参照領域設定部１６２ｂ’は、以下に列挙する制約Ｉ〜制約Ｍのうち何れかの制約を満たすように、各参照領域を設定する。

・制約Ｉ：参照領域ＲDB、参照領域ＲD、および参照領域ＲPredの何れも１×１画素に設定する。

本制約を課すことによって、高速なフィルタ処理が可能である。また、デブロック済復号画像Ｐ＿ＤＢ、予測画像Ｐｒｅｄ、および予測残差Ｐ＿ＤＢの何れについても、対象ＬＣＵの外側の画素を参照することなく適応フィルタ済復号画像Ｐ＿ＡＬＦを算出するので、データ転送量が削減される。また、適応フィルタ１６２’はデブロック済復号画像Ｐ＿ＤＢのみならず、予測画像Ｐｒｅｄ、予測残差Ｐ＿ＤＢをも参照する構成であるため、各参照領域を１×１画素に設定しても、符号化効率が大きく低下することはない。

・制約Ｊ：参照領域ＲDB、参照領域ＲD、および参照領域ＲPredの何れも、垂直方向の画素数が１画素となるように設定する。

本制約を課すことによって、高速なフィルタ処理が可能である。また、また、デブロック済復号画像Ｐ＿ＤＢ、予測画像Ｐｒｅｄ、および予測残差Ｐ＿ＤＢの何れについても、対象ＬＣＵの上側および下側の画素を参照することなく適応フィルタ済復号画像Ｐ＿ＡＬＦを算出するので、データ転送量が削減される。また、適応フィルタ１６２’はデブロック済復号画像Ｐ＿ＤＢのみならず、予測画像Ｐｒｅｄ、予測残差Ｐ＿ＤＢをも参照する構成であるため、各参照領域の垂直方向の画素数を１画素に設定しても、符号化効率が大きく低下することはない。

・制約Ｋ：参照領域ＲDB、参照領域ＲD、および参照領域ＲPredのうち、参照領域ＲD、および参照領域ＲPredを１×１画素に設定する。

本制約を課すことによって、高速なフィルタ処理が可能である。また、また、予測画像Ｐｒｅｄ、および予測残差Ｐ＿ＤＢの何れについても、対象ＬＣＵの外側の画素を参照することなく適応フィルタ済復号画像Ｐ＿ＡＬＦを算出するので、データ転送量が削減される。また、参照領域ＲDBについては何らの制約も課さないので、符号化効率の低下を招来しない。

・制約Ｌ：参照領域ＲDB、参照領域ＲD、および参照領域ＲPredのうち、参照領域ＲD、および参照領域ＲPredを垂直方向の画素数が１画素となるように設定する。

本制約を課すことによって、高速なフィルタ処理が可能である。また、また、予測画像Ｐｒｅｄ、および予測残差Ｐ＿ＤＢの何れについても、対象ＬＣＵの上側および下側の画素を参照することなく適応フィルタ済復号画像Ｐ＿ＡＬＦを算出するので、データ転送量が削減される。また、参照領域ＲDBについては何らの制約も課さないので、符号化効率の低下を招来しない。

・制約Ｍ：参照領域ＲDB、参照領域ＲD、および参照領域ＲPredのうち、参照領域ＲD、および参照領域ＲPredを、実施形態１において説明した制約Ａ〜Ｈを満たすように設定する。

本制約を課すことによって、データ転送量が削減される。また、参照領域ＲDBについては何らの制約も課さないので、符号化効率の低下を招来しない。

（フィルタ処理部１６２ｃ’）
フィルタ処理部１６２ｃ’は、内部メモリ１６３’に格納されているデブロック済復号画像Ｐ＿ＤＢ、予測残差Ｄ、および予測画像Ｐｒｅｄに対して、フィルタパラメータＦＰ’に含まれるフィルタ係数群を用いたフィルタ処理を行うことによって、適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。より具体的には、適応フィルタ済復号画像Ｐ＿ＡＬＦの画素値をＳALF（ｘ’、ｙ’）と表し、デブロック済復号画像Ｐ＿ＤＢの画素値をＳPDB（ｘ、ｙ）と表し、予測残差Ｄの画素値をＳD（ｘ、ｙ）と表し、予測画像Ｐｒｅｄの画素値をＳPred（ｘ、ｙ）と表すことにすると、フィルタ処理部１６２ｃ’は、画素値ＳALF（ｘ’、ｙ’）を、以下の数式（３）によって算出する。

ここで、座標（ｘ、ｙ）は座標（ｘ’、ｙ’）と同一の座標としてもよいし、１対１の対応を有していれば、異なった座標としてもよい。また、ａPDB（ｕ、ｖ）は、符号化データ＃１’のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、デブロック済復号画像Ｐ＿ＤＢの画素値ＳPDB（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。

また、ａD（ｕ、ｖ）は、符号化データ＃１’のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、予測残差Ｄの示す画像の画素値ＳD（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。また、ａPred（ｕ、ｖ）は、符号化データ＃１’のフィルタパラメータＦＰ’に含まれるフィルタ係数のうち、予測画像Ｐｒｅｄの示す画像の画素値ＳPred（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数を表している。また、オフセットｏの具体的な値は、フィルタパラメータＦＰ’によって指定される。

また、参照領域ＲDB、参照領域ＲD、および参照領域ＲPredは、参照領域設定部１６２ｂ’によって設定されたものが用いられる。

なお、フィルタ処理部１６２ｃ’は、実施形態１におけるフィルタ処理部１６２ｃと同様に、各参照領域に含まれる各画素に対して、１８０度の回転対称性を有するように、フィルタ係数を割り付ける構成とすることができる。

このように、本実施形態に係る適応フィルタ１６２は、デブロック済復号画像Ｐ＿ＤＢ、予測残差Ｄ、および、予測画像Ｐｒｅｄを参照するので、デブロック済復号画像Ｐ＿ＤＢのみを参照する構成に比べて、予測画像を生成するためにより適切な適応フィルタ済復号画像Ｐ＿ＡＬＦを生成することができる。

（動画像符号化装置２’）
以下では、本実施形態に係る動画像符号化装置２’について、図２４〜図２５を参照して説明する。以下では、既に説明した部分と同じ部分については、同じ符号を付しその説明を省略する。

図２４は、本実施形態に係る動画像符号化装置２’の構成を示すブロック図である。図２４に示すように、動画像符号化装置２’は、実施形態１に係る動画像符号化装置２の備えるループフィルタ２６に代えて、ループフィルタ２６’を備えている。また、ループフィルタ２６’には、復号画像Ｐに加えて、予測画像Ｐｒｅｄ、および、予測残差Ｄが供給される。その他の構成は動画像符号化装置２と同じである。

（ループフィルタ２６’）
図２５は、ループフィルタ２６’の構成を示すブロック図である。図２５に示すように、ループフィルタ２６’は、デブロッキングフィルタ１６１、適応フィルタ２６２’、および、内部メモリ１６３’を備えている。また、適応フィルタ２６２’は、対象画素設定部２６２ａ’、参照領域設定部２６２ｂ’、および、フィルタ処理部２６２ｃ’を備えている。対象画素設定部２６２ａ’、および参照領域設定部２６２ｂ’は、動画像復号装置１’の備える対象画素設定部１６２ａ、および参照領域設定部１６２ｂ’と同様の構成であるため、ここでは説明を省略する。

フィルタ処理部２６２ｃ’は、デブロック済復号画像Ｐ＿ＤＢの画素値ＳPDB（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数ａPDB（ｕ、ｖ）、予測残差Ｄの示す画像の画素値ＳD（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数ａD（ｕ、ｖ）、予測画像Ｐｒｅｄの示す画像の画素値ＳPred（ｘ＋ｕ、ｙ＋ｖ）に乗ぜられるフィルタ係数ａPred（ｕ、ｖ）、および、オフセットｏをフィルタ後の画像と符号化対象画像（原画像）との誤差がより小さくなるように決定する。例えば、以下の数式（４）に示す二乗誤差Ｅ’がより小さくなるように、各フィルタ係数およびオフセットを決定する。

ここで、参照領域ＲDB、参照領域ＲD、および参照領域ＲPredは、参照領域設定部２６２ｂ’によって設定されたものが用いられる。

フィルタ処理部２６２ｃ’は、このようにして決定されたフィルタ係数およびオフセットを用いたフィルタ処理を、デブロック済復号画像Ｐ＿ＤＢ、予測残差Ｄ、および予測画像Ｐｒｅｄに対して行うことによって適応フィルタ済復号画像Ｐ＿ＡＬＦを生成する。また、フィルタ処理部２６２ｃ’は、このようにして決定されたフィルタ係数およびオフセットを、フィルタパラメータＦＰ’に含める。フィルタ処理部２６２ｃ’の行う具体的なフィルタ処理は、フィルタ処理部１６２ｃ’と同様であるので、ここでは説明を省略する。

（実施形態３）
実施形態１および実施形態２においては、各種の制約を満たすようにフィルタ参照領域を設定することによってデータ転送量を削減することのできるループフィルタについて説明を行った。本実施形態においては、対象スライスについての適応フィルタ処理を行う際に、該対象スライスの内部に設定された内部領域に含まれる対象画素についてのみ画素値を算出する構成について説明する。以下では、既に説明した部分については同じ符号を付し、その説明を省略する。また、本実施形態に係る動画像復号装置、および動画像符号化装置の全体の構成は、実施形態１に係る動画像復号装置１、および動画像符号化装置２の構成と同様であるので、その説明を省略する。また、本実施形態に係るループフィルタの参照するフィルタパラメータは、実施形態１に係るフィルタパラメータＦＰと同様の構成である。

図２６は、本実施形態に係るループフィルタ３６の構成例を示すブロック図である。図２６に示すように、ループフィルタ３６は、デブロッキングフィルタ１６１、適応フィルタ３６２、および内部メモリ１６３を備えている。なお、本実施形態において、ループフィルタ３６は、内部メモリを備えない構成としてもよい。そのような構成の場合、デブロッキングフィルタ１６１は、フレームメモリ１５から復号画像Ｐの各画素値を読み出し、デブロック済復号画像Ｐ＿ＤＢをフレームメモリ１５に格納する。また、後述するフィルタ処理部３６２は、フレームメモリ１５からデブロック済復号画像Ｐ＿ＤＢを読み出し、適応フィルタ済復号画像Ｐ＿ＡＬＦをフレームメモリ１５に格納する。

図２６に示すように、ループフィルタ３６２は、対象画素設定部３６２ａ、およびフィルタ処理部３６２ｃを備えている。

対象画素設定部３６２ａは、対象スライスを内部領域と周辺領域とに分割し、内部領域に含まれる各画素を、順次、対象画素に設定する。図２７（ａ）は、対象スライスについて、対象画素設定部３６２ａによって設定された内部領域Ｒ１と外部領域Ｒ２とを示す図である。図２７（ａ）に示すように、内部領域Ｒ１の垂直方向の境界は、対象スライスの垂直方向の境界からＷｘ画素分内側に設定され、内部領域Ｒ１の水平方向の境界は、対象スライスの水平方向の境界からＷｙ画素分内側に設定される。ここで、ＷｘおよびＷｙの具体的な値は、フィルタパラメータＦＰに含まれるタップ数情報によって指定されるタップ数Ｎtapに応じて設定される。例えば、Ｎtap＝５である場合、Ｗｘ＝Ｗｙ＝２であり、Ｎtap＝７である場合、Ｗｘ＝Ｗｙ＝３である。一般に、Ｗｘ＝Ｗｙ＝（Ｎtap−１）／２である。なお、タップ数情報が、水平方向のタップ数Ｎtapxと垂直方向のタップ数Ｎtapyとを独立に指定するものである場合には、Ｗｘ＝（Ｎtapx−１）／２、およびＷｙ＝（Ｎtapy−１）／２ととればよい。

フィルタ処理部３６２ｃは、対象画素設定部３６２ａによって設定された対象画素についての画素値を算出する。フィルタ処理部３６２ｃによる対象画素の算出方法は、実施形態１におけるフィルタ処理部１６２ｃとほぼ同様である。ただし、本実施形態における参照領域Ｒは、フィルタパラメータＦＰに含まれるタップ数情報によって指定されるものをそのまま用いてもよいし、実施形態１のようにＬＣＵ内の対象画素の位置に応じて各種の制約を課したものを用いてもよい。

図２７（ｂ）は、従来の適応フィルタによる処理を説明するための図である。従来の適応フィルタでは、スライスを内部領域と周辺領域とに分割することなく、スライスに含まれる各画素を、順次対象画素に設定していた。したがって、対象画素がスライスの境界付近に設定された場合、フィルタ参照領域がスライスの内部の画素のみならず、スライスの外部の画素（図２７（ｂ）において領域ＯＲに含まれる画素）を含んで設定される場合が生じていた。従来の適応フィルタは、スライスの外部の画素値をパディング処理により生成し利用していた。

一方で、本実施形態に係る適応フィルタ３６２によれば、参照領域が、スライスの外部の画素を含んで設定されることがないので、従来のようなパディング処理が不要となる。したがって、本実施形態に係る適応フィルタ３６２によれば、従来の適応フィルタに比べて処理量を削減することができる。また、対象スライスに隣接するスライスであって、処理順で次のスライスの各画素が参照可能となるまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

なお、適応フィルタ３６２は、動画像符号化装置にも適用することができる。この場合、フィルタ処理部３６２ｃは、フィルタ係数群を、フィルタ後の画像と、符号化対象画像との誤差がより小さくなるように決定する。フィルタ処理部３６２ｃによる具体的な処理はフィルタ処理部１６２ｃとほぼ同様であるので、ここでは説明を省略する。

（実施形態４）
実施形態１係るループフィルタ１６の処理例２においては、第２フィルタ処理単位ＡＬＦ２が、対象ＬＣＵと同じサイズであって、対象ＬＣＵとは異なる位置を有するように設定される場合について説明を行った。本実施形態においては、上述した処理例２とほぼ同様の動作を行うループフィルタであって、フィルタ処理単位ＡＬＦＵが、対象ＬＣＵと同じサイズであって、対象ＬＣＵと同じ位置に設定される場合、すなわち、デブロック処理および適応フィルタ処理がＬＣＵ毎に行われる場合について説明を行う。

本実施形態に係る動画像復号装置および動画像符号化装置の全体構成は、実施形態１に係る動画像復号装置１および動画像符号化装置２の構成と同様であるため説明を省略する。本実施形態に係るループフィルタの構成は、実施形態１に係るループフィルタ１６の構成とほぼ同様であるが、以下の点において異なる。

すなわち、本実施形態に係る参照領域設定部は、対象画素と対象ＬＣＵの右辺との距離がＬ画素以下である場合に、参照領域Ｒの右辺と対象画素との距離がＬ画素以下になるように、参照領域Ｒを設定する。また、対象画素と対象ＬＣＵの下辺との距離がＬ画素以下である場合に、参照領域Ｒの下辺と対象画素との距離がＬ画素以下になるように、参照領域Ｒを設定する。ここで、Ｌの具体的な値としては、上述したＤｄｆ以上の値を用いればよい。図２８に、本実施形態に係る参照領域設定部により設定された参照領域Ｒの例を示す。

このような構成とすることによって、適応フィルタがＬＣＵ単位で処理を行う場合であっても、データ転送量を削減することができる。

また、参照領域設定部が上記のような処理を行う代わりに、対象画素設定部が、対象ＬＣＵの右辺からの距離および対象ＬＣＵの下辺の少なくとも何れかからの距離が、Ｌ画素以上である画素のみを対象画素に設定する構成としてもよい。また、Ｌの具体的な値としては、上述したＤｄｆ以上の値を用いればよい。このような構成とすることによっても、データ転送量を削減することができる。

〔応用例〕
上述した動画像符号化装置及び動画像復号装置は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。

まず、上述した動画像符号化装置及び動画像復号装置を、動画像の送信及び受信に利用できることを、図３０を参照して説明する。

図３０の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図３０の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、及び、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６を更に備えていてもよい。図３０の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図３０の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図３０の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図３０の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

次に、上述した動画像符号化装置及び動画像復号装置を、動画像の記録及び再生に利用できることを、図３１を参照して説明する。

図３１の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図３１の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disk:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、及び、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５を更に備えていてもよい。図３１の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図３１の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３１の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３１の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（付記事項１）
上述した動画像復号装置１、動画像符号化装置２、動画像復号装置１’、および動画像符号化装置２’の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

（付記事項２）
以上のように、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用することによって出力画像を生成するフィルタ手段と、上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じたサイズに縮小する参照領域変更手段とを備えている、ことを特徴としている。

上記画像フィルタ装置が、符号化データを復号し復号画像を生成する復号装置、または、符号化対象画像を符号化し符号化データを生成する符号化装置に用いられる場合、上記画像フィルタ装置の出力画像を参照して予測精度の高い予測画像を生成することができるので、符号化効率が向上する。

また、上記のように構成された画像フィルタ装置によれば、上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じたサイズに縮小するので、高い符号化効率を維持しつつ、出力画像を生成するために参照する画素数を削減することができる。したがって、上記のように構成された画像フィルタ装置によれば、高い符号化効率を維持しつつ、フィルタ処理の際のデータ転送量を削減することができる。

なお、上記単位領域とは、例えば、最大符号化単位ＬＣＵであってもよいし、最大符号化単位ＬＣＵを分割して得られる符号化単位ＣＵであってもよいし、その他の領域であってもよい。

また、上記参照領域変更手段は、対象画素を含む単位領域の上流辺と、該対象画素との距離ＤＵが所定の閾値未満のとき、該対象画素についての参照領域の上流辺の位置を該対象画素との距離がＤＵ以下となるように設定する第１の設定手段、または、対象画素を含む単位領域の下流辺と、該対象画素との距離ＤＬが所定の閾値未満のとき、該対象画素についての参照領域の下流辺の位置を該対象画素との距離がＤＬ以下となるように設定する第２の設定手段、を有していることが好ましい。

上記第１の設定手段は、対象画素を含む単位領域の上流辺と、該対象画素との距離ＤＵが所定の閾値未満のとき、該対象画素についての参照領域の上流辺の位置を該対象画素との距離がＤＵ以下となるように設定するので、上記フィルタ手段は、上記単位領域の上流辺より上流側に位置する画素の画素値を参照することなく、対象画素の画素値を算出する。また、上記第２の設定手段は、対象画素を含む単位領域の下流辺と、該対象画素との距離ＤＬが所定の閾値未満のとき、該対象画素についての参照領域の下流辺の位置を該対象画素との距離がＤＬ以下となるように設定するので、上記フィルタ手段は、上記単位領域の下流辺より下流側に位置する画素の画素値を参照することなく、対象画素の画素値を算出する。したがって、上記の構成によれば、フィルタ処理の際のデータ転送量を削減することができる。

また、上記第１の設定手段は、対象画素を含む単位領域の上流辺と、該対象画素との距離ＤＵが所定の閾値以上のときには、参照領域のタップ数を予め定められたものに設定すればよく、同様に、上記第２の設定手段は、対象画素を含む単位領域の下流辺と、該対象画素との距離ＤＬが所定の閾値以上のときには、参照領域のタップ数を予め定められたものに設定すればよいので、高い符号化効率を維持することができる。

なお、上記上流辺とは、処理がラスタスキャン順に行われる場合には、上辺および左辺の何れか一方を指し、処理がラスタスキャンの逆順に行われる場合には、下辺および右辺の何れか一方を指す。また、上記下流辺とは、処理がラスタスキャン順に行われる場合には、下辺および右辺の何れか一方を指し、処理がラスタスキャンの逆順に行われる場合には、上辺および左辺の何れか一方を指す（以下同様）。

また、本発明に係る画像フィルタ装置は、各単位領域の、処理順で上流側の２辺の少なくとも一方からの距離がＤＢ以下である画素の画素値を平滑化する平滑化手段を更に備え、上記フィルタ手段は、上記複数の単位領域の各々を処理順で上流側にシフトして得られる出力単位毎に出力画像を生成するものであり、上記参照領域変更手段は、対象画素が、該対象画素を含む単位領域に対応する出力単位の下流辺の下流側に位置するとき、該対象画素についての参照領域の上流辺の位置を、該対象画素との距離が、該対象画素と該出力単位の下流辺との距離以下となるように設定する第１の設定手段、対象画素が、該対象画素を含む単位領域に対応する出力単位の下流辺の上流側に位置するとき、該対象画素についての参照領域の下流辺の位置を、該対象画素との距離が、該対象画素と該出力単位の下流辺との距離以下となるように設定する第２の設定手段、または、対象画素が、該対象画素を含む単位領域に対応する出力単位の下流辺の上流側に位置するとき、該対象画素についての参照領域の下流辺の位置を、該対象画素との距離が、該対象画素と該単位領域の下流辺との距離からＤＢを減じて得られる距離以下となるように設定する第３の設定手段、を有している、ことが好ましい。

上記第１の設定手段は、対象画素が、該対象画素を含む単位領域に対応する出力単位の下流辺の下流側に位置するとき、該対象画素についての参照領域の上流辺の位置を、該対象画素との距離が、該対象画素と該出力単位の下流辺との距離以下となるように設定するので、上記フィルタ手段は、上記対象画素を含む出力単位の上流辺よりも上流側の画素の画素値を参照することなく、対象画素の画素値を算出する。また、上記第２の設定手段は、対象画素が、該対象画素を含む単位領域に対応する出力単位の下流辺の上流側に位置するとき、該対象画素についての参照領域の下流辺の位置を、該対象画素との距離が、該対象画素と該出力単位の下流辺との距離以下となるように設定するので、上記フィルタ手段は、上記対象画素を含む出力単位の下流辺よりも下流側の画素の画素値を参照することなく、対象画素の画素値を算出する。したがって、上記の構成によれば、フィルタ処理の際のデータ転送量を削減することができる。

また、上記第３の設定手段は、対象画素が、該対象画素を含む単位領域に対応する出力単位の下流辺の上流側に位置するとき、該対象画素についての参照領域の下流辺の位置を、該対象画素との距離が、該対象画素と該単位領域の下流辺との距離からＤＢを減じて得られる距離以下となるように設定するので、上記フィルタ手段は、上記平滑化手段による平滑化処理が未完了の領域における画素値を参照することなく、対象画素の画素値を算出する。したがって、上記の構成によれば、フィルタ処理の際のデータ転送量を削減することができると共に、対象単位領域の下流側の２辺に対して上記平滑化手段が作用するまで待機することなく、フィルタ処理を行うことができるので、処理時間を削減することができる、
なお、上記「下流辺の下流側」とは、処理がラスタスキャン順に行われる場合には、「下辺の下側」および「右辺の右側」の何れか一方を指し、処理がラスタスキャンの逆順である場合には、「上辺の上側」および「左辺の左側」を指す。

また、上記「下流辺の上流側」とは、処理がラスタスキャン順に行われる場合には、「下辺の上側」および「右辺の左側」の何れか一方を指し、処理がラスタスキャンの逆順である場合には、「上辺の下側」および「左辺の右側」を指す。

また、上記入力画像は予測画像であることが好ましい。

上記の構成によれば、予測画像に対するフィルタ処理を行う際のデータ転送量を削減することができる。なお、上記画像フィルタ装置が、符号化データを復号し復号画像を生成する復号装置、または、符号化対象画像を符号化し符号化データを生成する符号化装置に用いられる場合には、上記予測画像とは、例えば、復号画像を参照して得られる予測画像のことを指す。

また、上記入力画像は、残差画像であることが好ましい。

上記の構成によれば、残差画像に対するフィルタ処理を行う際のデータ転送量を削減することができる。なお、上記画像フィルタ装置が、符号化データを復号し復号画像を生成する復号装置に用いられる場合には、上記残差データとは、例えば、符号化データを復号して得られる残差データのことを指し、上記画像フィルタ装置が、符号化対象画像を符号化し符号化データを生成する符号化装置に用いられる場合には、上記残差画像とは、符号化対象画像と予測画像との差分画像のことを指す。

また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用することによって単位領域毎に出力画像を生成するフィルタ手段と、各単位領域の、処理順で上流側の２辺の少なくとも一方からの距離がＤＢ以下である画素の画素値を平滑化する平滑化手段と、を備え、上記フィルタ手段は、上記平滑化手段が対象単位領域の上流側の２辺に作用した後、処理順で次の単位領域の上流側の２辺に作用する前に、対象単位領域に作用するものである、ことを特徴としている。

上記のように構成された画像フィルタ装置は、上記平滑化手段が上流側の２辺に作用した対象単位領域に対して、上記平滑化手段が処理順で次の単位領域の上流側の２辺に作用する前に、当該対象単位領域に対して作用する。したがって、上記の構成によれば、例えば、対象単位領域およびその周辺の画像をフレームメモリから取得し、ローカルメモリに格納した後、ローカルメモリに格納された画像に対して、上記平滑化手段による平滑化処理と上記フィルタ手段によるフィルタ処理とを連続して行う。このため、上記の構成によれば、平滑化処理およびフィルタ処理の双方の処理においてフレームメモリにアクセスする従来の構成に比べて、データ転送量を削減することができる。

また、上記画像フィルタ装置は、上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じたサイズに縮小する参照領域変更手段であって、対象画素と、該対象画素を含む単位領域の下流側横辺との距離がＤＢ以下であるとき、該対象画素についての参照領域の下流側横辺の位置を、該対象画素との距離がＤＢ以下となるように設定する第１の設定手段、または、対象画素と、該対象画素を含む単位領域の下流側縦辺との距離がＤＢ以下であるとき、該対象画素についての参照領域の下流側縦辺の位置を、該対象画素との距離がＤＢ以下となるように設定する第２の設定手段、を有している参照領域変更手段を更に備えていることが好ましい。

上記第１の設定手段は、対象画素と、該対象画素を含む単位領域の下流側横辺との距離がＤＢ以下であるとき、該対象画素についての参照領域の下流側横辺の位置を、該対象画素との距離がＤＢ以下となるように設定するので、上記フィルタ手段は、上記単位領域の下流側横辺の下流側に位置する画素の画素値を参照することなく、対象画素の画素値を算出する。また、上記第２の設定手段は、対象画素と、該対象画素を含む単位領域の下流側縦辺との距離がＤＢ以下であるとき、該対象画素についての参照領域の下流側縦辺の位置を、該対象画素との距離がＤＢ以下となるように設定するので、上記フィルタ手段は、上記単位領域の下流側縦辺の下流側に位置する画素の画素値を参照することなく、対象画素の画素値を算出する。したがって、上記の構成によれば、データ転送量をさらに削減することができる。

また、上記画像フィルタ装置は、上記フィルタ手段が画素値を算出する各対象画素を、該対象画素を含む単位領域の下流側の２辺の少なくとも何れかからの距離が所定の閾値以上であるものに制限する対象画素制限手段を更に備えている、ことが好ましい。

上記の構成によれば、対象画素の位置が、該対象画素を含む単位領域の下流側の２辺の少なくとも何れかからの距離が所定の閾値以上であるものに制限されるので、上記フィルタ手段が参照する画素数が削減される。したがって、上記の構成によれば、フィルタ処理の際のデータ転送量を削減することができる。

また、本発明に係る画像フィルタ装置は、単位領域毎に生成される予測画像と残差画像とを加算して得られる復号画像について、各単位領域の、処理順で上流側の２辺の少なくとも一方の近傍に位置する画素の画素値を平滑化する平滑化手段と、上記平滑化手段の出力画像に作用する第１のフィルタ手段、上記予測画像に作用する第２のフィルタ手段、および、上記残差画像に作用する第３のフィルタ手段を含む算出手段であって、上記第１から第３のフィルタ手段の出力画像を加算して出力する算出手段と、上記第１から第３のフィルタ手段が各対象画素の画素値を算出するために参照する参照領域を設定する参照領域設定手段であって、参照領域の上下方向の画素数を１に設定する参照領域設定手段と、を備えていることを特徴としている。

上記画像フィルタ装置によれば、上記平滑化手段によって平滑化処理が施された復号画像、予測画像、および、残差画像を参照して出力画像を生成する。したがって、上記画像フィルタ装置を備えた復号装置、および、上記画像フィルタ装置を備えた符号化装置は、上記画像フィルタ装置の出力画像を参照して予測画像を生成することによって、符号化効率が向上する。また、上記参照領域の上下方向の画素数が１に設定されるため、フィルタ処理の処理量、および、データ転送量が削減される。

また、本発明に係る画像フィルタ装置は、１または複数のスライスより構成される入力画像に作用することによって出力画像を生成するフィルタ手段と、上記出力画像における対象画素の画素値を、該対象画素の周辺に設定された参照領域における上記入力画像の各画素値から算出するフィルタ手段と、対象画素の位置を、該対象画素を含む参照領域全体が、該対象画素を含むスライスに包含されるものに制限する対象画素制限手段と、を備えていることを特徴としている。

上記画像フィルタ装置によれば、対象スライスにおける出力画像を、対象スライス内の画素値のみを参照して生成する。換言すれば、対象スライスにおける出力画像を、対象スライスの外部の画素を参照することなく生成する。したがって、上記の構成によれば、出力画像を生成するための処理量が削減される。また、上記の構成によれば、対象スライスに隣接するスライスであって、処理順で次のスライスの各画素が参照可能となるまで待機することなく、フィルタ処理を行うことができるので、処理時間が削減される。

また、上記画像フィルタ装置を備えた復号装置であって、上記画像フィルタ装置を、復号画像に作用させる復号装置、および、上記画像フィルタ装置を備えた符号化装置であって、上記画像フィルタ装置を、局所復号画像に作用させる符号化装置も本発明の範疇に含まれる。また、上記画像フィルタが参照するフィルタ係数群を含んでいる符号化データのデータ構造も本発明の範疇に含まれる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像にフィルタリングを行う画像フィルタ装置に好適に用いることができる。また、符号化データを復号する復号装置、および、符号化データを生成する符号化装置に好適に用いることができる。

１ 動画像復号装置（復号装置）
１２ 予測画像生成部
１５ フレームメモリ
１６ ループフィルタ（画像フィルタ装置）
１６１ デブロッキングフィルタ（平滑化手段）
１６２ 適応フィルタ
１６２ａ 対象画素設定部
１６２ｂ 参照領域設定部（参照領域変更手段）
１６２ｃ フィルタ処理部（フィルタ手段）
１６３ 内部メモリ
２ 動画像符号化装置（符号化装置）
２１ 予測画像生成部
２５ フレームメモリ
２６ ループフィルタ（画像フィルタ装置）
２６２ 適応フィルタ
２６２ａ 対象画素設定部
２６２ｂ 参照領域設定部（参照領域変更手段）
２６２ｃ フィルタ処理部（フィルタ手段）

Claims (4)

1. 複数の単位領域から構成される入力画像に作用することによって出力画像を生成するフィルタ手段と、
   上記フィルタ手段が各対象画素の画素値を算出するために参照する参照領域を、該対象画素を含む単位領域における該対象画素の位置に応じて設定する参照領域設定手段とを備え、
   上記参照領域設定手段は、上記対象画素についての参照領域の上流辺の位置を、上記単位領域の上流辺又は上記単位領域の下流辺から所定の定数だけ上流辺側の位置に設定する第１の設定手段と、上記対象画素についての参照領域の下流辺の位置を、上記単位領域の下流辺又は上記単位領域の下流辺から所定の定数だけ上流辺側の位置に設定する第２の設定手段と、のうち少なくとも１つの設定手段を有していることを特徴とする画像フィルタ装置。
2. 上記第１の設定手段は、上記対象画素を含む単位領域の下流辺と上記対象画素との距離ＤＵが、所定の閾値未満のとき、上記対象画素についての参照領域の上流辺の位置を、単位領域の辺の長さに応じて設定し、
   上記第２の設定手段は、上記対象画素を含む単位領域の上流辺と上記対象画素との距離ＤＬが、所定の閾値未満のとき、上記対象画素についての参照領域の下流辺の位置を、単位領域の辺の長さに応じて設定することを特徴とする請求項１に記載の画像フィルタ装置。
3. 上記第１の設定手段は、上記対象画素を含む単位領域内の左上座標を基準とする上記対象画素の相対座標が、所定の座標以上である場合、上記対象画素についての参照領域の上流辺の位置と上記対象画素との距離が、上記対象画素の正規化単位領域内座標に上記所定の定数を加え、上記単位領域の長さを減じた値以下となるように設定し、
   上記第２の設定手段は、上記相対座標が上記所定の座標未満である場合、上記対象画素についての参照領域の下流辺の位置を、上記対象画素との距離が、上記単位領域の長さから上記対象画素の正規化単位領域内座標を減じ、さらに上記所定の定数を減じた値−１以下となるように設定することを特徴とする請求項１または２に記載の画像フィルタ装置。
4. 上記参照領域設定手段は、上記所定の座標を、上記単位領域の長さから上記所定の定数を減じた座標に設定することを特徴とする請求項３に記載の画像フィルタ装置。

Images