JPWO2011086836A1 - 符号化装置、復号装置、および、データ構造 - Google Patents

符号化装置、復号装置、および、データ構造 Download PDF

Info

Publication number
JPWO2011086836A1
JPWO2011086836A1 JP2011549902A JP2011549902A JPWO2011086836A1 JP WO2011086836 A1 JPWO2011086836 A1 JP WO2011086836A1 JP 2011549902 A JP2011549902 A JP 2011549902A JP 2011549902 A JP2011549902 A JP 2011549902A JP WO2011086836 A1 JPWO2011086836 A1 JP WO2011086836A1
Authority
JP
Japan
Prior art keywords
image
region
filter coefficient
filter
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011549902A
Other languages
English (en)
Inventor
将伸 八杉
将伸 八杉
知宏 猪飼
知宏 猪飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2011086836A1 publication Critical patent/JPWO2011086836A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

入力画像を符号化して再構成することによって得られる参照画像に作用する適応フィルタ（１００）と、第１の予測画像を生成する予測画像生成部（１６ａ）とを備え、予測画像生成部（１６ａ）は、さらに、上記参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成し、適応フィルタ（１００）は、さらに、上記第１の予測画像を複数の領域に分割し、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定する。

Description

本発明は、動画像を符号化し符号化データを生成する動画像符号化装置に関する。また、そのような動画像符号化装置を用いて生成された符号化データを復号する動画像復号装置に関する。
動画像を効率的に伝送または記録するために、動画像符号化装置が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、および、ＶＣＥＧ(Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ)における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式などが挙げられる。
このような符号化方式において、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することより得られるブロックからなる階層構造により管理され、普通、ブロックごとに符号化される。
また、このような符号化方式においては、入力画像と予測画像との差（予測誤差）を符号化する方式が採用されている。すなわち、（１）入力画像と、入力画像を量子化／逆量子化することによって得られる局所復号画像とから動きベクトルを算出し、（２）当該動きベクトルによって動き補償を行うことにより予測画像を生成し、（３）当該予測画像と、入力画像との予測誤差を符号化する。
特許文献１には、入力画像と局所復号画像とから第１の動きベクトルを求め、局所復号画像をフィルタリングして得られる参照画像を第１の動きベクトルによって動き補償して得られる画像と入力画像との間の誤差が最小となるように、局所復号画像に対するフィルタを生成し、当該フィルタによって上記局所復号画像をフィルタリングして上記参照画像を生成し、入力画像と上記参照画像とから第２の動きベクトルを求め、参照画像を第２の動きベクトルによって動き補償して予測画像を生成するという、参照画像に対する適応的なフィルタリング方法が開示されている。
この方法によれば、参照画像を第１の動きベクトルによって動き補償して得られる画像と入力画像との間の誤差が最小となるように適応的にフィルタを生成できるので、固定的なフィルタのみを用いる場合に比べて、予測画像と入力画像との間の予測誤差が小さくなるという傾向がある。
日本国公開特許公報「特開２００６−１３５３７６（２００６年５月２５日公開）」
しかしながら、上記の方法では、上記局所復号画像全体に対してフィルタを生成するため、上記局所復号画像の各領域における画像の特性が一様でない場合には、適切なフィルタリングを行うことが困難であるという問題を有している。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、上記局所復号画像の各領域における画像の特性が一様でない場合であっても、適切なフィルタリングを行うことができるフィルタを備えた符号化装置を実現することにある。
上記の問題を解決するために、本発明に係る符号化装置は、入力画像を符号化して再構成することによって得られる参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、上記参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、上記第１の予測画像と上記入力画像とを複数の領域に分割する分割手段と、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段と、を備え、上記入力画像と上記第２の予測画像との残差データを符号化する、ことを特徴としている。
上記のように構成された本発明に係る符号化装置によれば、上記第１の予測画像と上記入力画像とを複数の領域に分割する分割手段と、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段とを備えているため、上記第１の予測画像の特性が一様でない場合であっても、上記複数の領域毎に上記第２のフィルタのフィルタ係数を適応的に設定することができる。
換言すれば、上記第１の予測画像の参照元である上記参照画像（局所復号画像）の特性が一様でない場合であっても、上記複数の領域毎に上記第２のフィルタのフィルタ係数を適応的に設定することによって、適切なフィルタリングを行うことができるという効果を奏する。
また、本発明に係る他の符号化装置は、入力画像を符号化して再構成することによって得られる複数の参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、上記複数の参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、を備え、上記入力画像と上記第２の予測画像との残差データを符号化する符号化装置であって、上記第２のフィルタは、上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重み以上である場合には、当該第１の参照画像リストに属する参照画像に対して、上記入力画像と上記第１の予測画像との差を最小化するように設定されたフィルタ係数を用いてフィルタリングを行い、上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、第１の参照画像リストとは異なる第２の参照画像リストに属する参照画像に対して、予め定められたフィルタ係数を用いてフィルタリングを行う、ことを特徴としている。
一般に、参照画像の、予測画像に対する寄与の重みが小さくなればなるほど、当該参照画像に対して適応的なフィルタリングを行うメリットも少なくなる。換言すれば、参照画像の、予測画像に対する寄与の重みが小さくなればなるほど、適応的なフィルタリングを行うことによる計算コストおよびフィルタ係数が必要とする符号量の増大というデメリットが、適応的なフィルタリングによる符号化効率の向上というメリットを凌駕してしまう可能性が高まる。
上記の構成によれば、上記第１の予測画像に対する寄与の重みが、予め定められた重み以上である参照画像に対してのみ、適応的なフィルタリングを行い、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい参照画像に対しては、予め定められたフィルタ係数を用いてフィルタリングを行うことができるので、計算コストの増大というデメリットを招来することなく、適切なフィルタリングを行うことができるという効果を奏する。
また、上記の構成によれば、上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、第２の参照画像リストに属する参照画像に対して、予め定められたフィルタ係数を用いてフィルタリングを行うことができる。したがって、参照リスト番号を、適応的に求められたフィルタ係数を用いるのか、非適応的なフィルタ係数を用いるのかを示すフラグとして機能させることができる。したがって、上記の構成によれば、追加のサイド情報によって符号量を増大させることなく、より適切なフィルタリングを行うことができるという効果を奏する。
また、本発明に係る復号装置は、原画像と予測画像との残差データを、フィルタ係数群と共に符号化することによって得られた符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像に対してフィルタリングを行うことによってフィルタ済参照画像を生成するフィルタ手段であって、フィルタ係数が上記参照画像の単位領域毎に切り替え可能なフィルタ手段と、上記フィルタ済参照画像に対し、動き補償を行うことによって上記予測画像を生成する予測画像生成手段と、上記参照画像上の単位領域毎に、上記フィルタ係数群に含まれるフィルタ係数、または、予め定められたフィルタ係数のうち何れかを選択するフィルタ係数選択手段と、を備えていることを特徴としている。
上記のように構成された本発明に係る復号装置によれば、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像に対してフィルタリングを行うことによってフィルタ済参照画像を生成するフィルタ手段であって、フィルタ係数が上記参照画像の単位領域毎に切り替え可能なフィルタ手段と、上記フィルタ済参照画像に対し、動き補償を行うことによって上記予測画像を生成する予測画像生成手段と、上記参照画像上の単位領域毎に、上記フィルタ係数群に含まれるフィルタ係数、または、予め定められたフィルタ係数のうち何れかを選択するフィルタ係数選択手段とを備えているため、上記参照画像上の単位領域毎に、より適切なフィルタ係数を用いてフィルタリングを行うことができるという効果を奏する。
また、本発明に係る符号化データのデータ構造は、原画像と原画像から生成される予測画像との残差データをフィルタ係数群と共に符号化することによって得られた符号化データのデータ構造であって、上記フィルタ係数群は、当該符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像上の単位領域毎に選択されるフィルタ係数を含んでいる、ことを特徴としている。
上記のように構成された符号化データのデータ構造によれば、当該符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像上の単位領域毎に選択されるフィルタ係数を含んでいるため、復号装置において、参照画像上の単位領域毎により適切なフィルタリングを行うことができるという効果を奏する。
以上のように、本発明に係る符号化装置は、入力画像を符号化して再構成することによって得られる参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、上記参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、上記第１の予測画像と上記入力画像とを複数の領域に分割する分割手段と、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段と、を備え、上記入力画像と上記第２の予測画像との残差データを符号化する。
したがって、上記参照画像（局所復号画像）の各領域における画像の特性が一様でない場合であっても、適切なフィルタリングを行うことができる。
本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十分に分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
実施形態に係る符号化装置の構成を示すブロック図である。 実施形態に係る符号化装置におけるインター予測画像生成部の構成を示すブロック図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の流れを示すフローチャートである。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の例を説明するためのものであって、第１の予測画像における第１の領域、および、第２の領域の例を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の例を説明するためのものであって、参照画像における参照画像インデクスが０である参照ピクチャにおける領域、および、参照画像における参照画像インデクスが１である参照ピクチャにおける領域に対して、それぞれフィルタを施す場合を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の例を説明するためのものであって、第１の参照画像のうち参照画像リストＬ０における参照画像インデクス０によって指定される参照ピクチャであって、参照画像リストＬ１における参照画像インデクス１によっても指定される参照ピクチャ上の領域と、参照画像リストＬ０における参照画像インデクス１によって指定される参照ピクチャ上の領域と、参照画像リストＬ１における参照画像インデクス０によって指定される参照ピクチャ上の領域と、に対して、それぞれフィルタを施す場合を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の例を説明するためのものであって、第１の予測画像における第１の領域、および、第２の領域の例を示す図であって、第１の領域の面積が小さい場合を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の例を説明するためのものであって、参照画像における参照画像インデクスが０である参照ピクチャにおける領域、および、参照画像における参照画像インデクスが０である参照ピクチャにおける他の領域に対して、それぞれフィルタを施す場合を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の例を説明するためのものであって、参照画像のうち参照画像リストＬ０における参照画像インデクス０によって指定される参照ピクチャ上の領域と、参照画像リストＬ０における参照画像インデクス１によって指定される参照ピクチャ上の領域と、参照画像リストＬ１における参照画像インデクス０によって指定される参照ピクチャ上の領域と、参照画像リストＬ１における参照画像インデクス１によって指定される参照ピクチャ上の領域と、に対して、それぞれフィルタを施す場合を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の他の例を説明するためのものであって、参照画像のうち参照画像リストＬ０における参照画像インデクス０によって指定される参照ピクチャであって、参照画像リストＬ１における参照画像インデクス１によっても指定される参照ピクチャ上の領域と、参照画像リストＬ０における参照画像インデクス１によって指定される参照ピクチャ上の領域と、参照画像リストＬ１における参照画像インデクス０によって指定される参照ピクチャ上の領域と、に対して、それぞれフィルタを施す場合を示す図である。 実施形態に係る符号化装置におけるインター予測画像生成部の動作の他の例を説明するためのものであって、参照画像のうち参照画像リストＬ０における参照画像インデクス０によって指定される参照ピクチャ上の領域と、参照画像リストＬ０における参照画像インデクス１によって指定される参照ピクチャ上の領域と、参照画像リストＬ１における参照画像インデクス０によって指定される参照ピクチャ上の領域と、参照画像リストＬ１における参照画像インデクス１によって指定される参照ピクチャ上の領域と、に対して、それぞれフィルタを施す場合を示す図である。 実施形態に係る復号装置の構成を示すブロック図である。 実施形態に係る復号装置におけるインター予測画像生成部の構成を示すブロック図である。 実施形態に係る復号装置に入力される符号化データのビットストリームを示す図である。
以下、実施例により、本発明をさらに詳細に説明するが、本発明はこれらにより何ら限定されるものではない。
本実施形態に係る動画像符号化装置１の構成について、図１〜図２を参照して説明する。動画像符号化装置１は、その一部に、Ｈ．２６４／ＡＶＣ規格、および、ＫＴＡソフトウェアに採用されている技術を用いている動画像符号化装置である。
図１は、動画像符号化装置１の構成を示すブロック図である。
図１に示すように、動画像符号化装置１は、変換・量子化部１１、可変長符号化部１２、逆量子化・逆変換部１３、バッファメモリ１４、イントラ予測画像生成部１５、インター予測画像生成部１６、予測方式制御部１８、動きベクトル冗長性削減部１９、加算器２１、および、減算器２２を備えている。
動画像符号化装置１には、隣接する複数の画素から構成されるブロック画像（以下「マクロブロック」と呼ぶ）に分割された入力画像＃１が入力される。
動画像符号化装置１は、入力画像＃１の符号化処理を行い、符号化データ＃２を出力する。
変換・量子化部１１は、マクロブロックに分割された入力画像＃１と、後述する予測方式制御部１８から出力される予測画像＃１８ａとの差分画像＃２２を、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換により、周波数成分へ変換した後、当該周波数成分の量子化を行い、量子化予測残差データ＃１１を生成する。ここで、上記量子化とは、上記周波数成分を整数値に対応付ける演算のことである。また、上記ＤＣＴ変換、および、量子化は、マクロブロックを分割したパーティション単位で行われる。以下では、処理の対象となるマクロブロックを「対象マクロブロック」と呼び、処理の対象となるパーティションを「対象パーティション」と呼ぶ。
逆量子化・逆変換部１３は、量子化予測残差データ＃１１の復号を行い、予測残差＃１３を生成する。具体的には、逆量子化・逆変換部１３は、量子化予測残差データ＃１１の逆量子化、すなわち、量子化予測残差データ＃１１を構成する整数値の周波数成分への対応付け、および、当該周波数成分の逆ＤＣＴ変換、すなわち、当該周波数成分に基づいた対象マクロブロックの画素成分への逆変換を行い、予測残差＃１３を生成する。
加算器２１は、予測残差＃１３と、予測画像＃１８ａとを加算し、復号画像＃２１を生成する。生成された復号画像＃２１は、バッファメモリ１４に供給される。
イントラ予測画像生成部１５は、バッファメモリ１４に格納された復号画像＃２１から局所復号画像＃１４ａ（対象マクロブロックと同じフレームの既復号領域）を抽出し、局所復号画像＃１４ａに基づいてフレーム内予測を行い、イントラ予測画像＃１５を生成する。
インター予測画像生成部１６は、入力画像＃１上の対象パーティションに対し、既にフレーム全体が復号され、バッファメモリ１４に格納された参照画像＃１４ｂを用いて、動きベクトル＃１７を算出し、割り付ける。算出された動きベクトル＃１７は、予測画像生成部１６、動きベクトル冗長性削減部１９に対して出力されると共に、バッファメモリ１４に格納される。また、インター予測画像生成部１６は、参照画像＃１４ｂに対し、パーティションごとに、動きベクトル＃１７に基づいた動き補償を行い、インター予測画像＃１６を生成する。また、インター予測画像生成部１６は、フィルタリング処理に用いたフィルタ係数＃１０１を、可変長符号化部１２に対して出力する。インター予測画像生成部１６の構成の詳細については、後で詳述するため、ここでは説明を省略する。
予測方式制御部１８は、マクロブロック単位で、イントラ予測画像＃１５と、インター予測画像＃１６と、入力画像＃１とを比較し、イントラ予測画像＃１５、または、インター予測画像＃１６のうち、何れか一方を選択し、予測画像＃１８ａとして出力する。また、予測方式制御部１８は、イントラ予測画像＃１５、または、インター予測画像＃１６のうち、何れを選択したのかを表す情報である予測モード＃１８ｂを出力する。予測画像＃１８ａは減算器２２に入力される。
予測モード＃１８ｂは、バッファメモリ１４に格納されると共に、可変長符号化部１２に入力される。
動きベクトル冗長性削減部１９は、インター予測画像生成部１６において上記対象パーティションに動きベクトル＃１７が割り付けられた後、他のパーティションに割り付けられ、バッファメモリ１４に格納された動きベクトル群＃１４ｃに基づいて予測ベクトルを算出する。また、動きベクトル冗長性削減部１９は、当該予測ベクトルと、動きベクトル＃１７との差分をとり、差分動きベクトル＃１９を生成する。生成された差分動きベクトル＃１９は、可変長符号化部１２に出力される。
可変長符号化部１２は、量子化予測残差データ＃１１、差分動きベクトル＃１９、予測モード＃１８ｂ、および、フィルタ係数＃１０１に対して可変長符号化を行い、符号化データ＃２を生成する。
減算器２２は、対象マクロブロックに対し、入力画像＃１と、予測画像＃１８ａとの差分をとり、差分画像＃２２を出力する。
（インター予測画像生成部１６）
次に、インター予測画像生成部１６の構成、および、動作について、図２〜図４を参照して説明する。
図２は、インター予測画像生成部１６の構成を示すブロック図である。
図２に示すように、インター予測画像生成部１６は、予測画像生成部１６ａ、動きベクトル推定部１７、適応フィルタ１００を備えている。
図３は、インター予測画像生成部１６における動作の流れを示すフローチャートである。
以下では、図３〜図４を参照しつつ、インター予測画像生成部１６の各部の動作の例について説明する。
（動作例１）
（ステップ１０１）
バッファメモリ１４に格納された参照画像＃１４ｂが、適応フィルタ１００に入力される。また、後述するステップ１０２において、複数の参照ピクチャが用いられる場合には、参照画像＃１４ｂは、それら複数の参照ピクチャから構成されているものとする。
適応フィルタ１００は、本ステップにおいては、参照画像＃１４ｂに対して、予め定められた規定のフィルタ係数（以下、標準フィルタ係数と呼ぶ）に基づいてフィルタリング処理を行い、第１の出力画像データ＃１００を出力する。
具体的には、適応フィルタ１００は、第１の出力画像データ＃１００の座標（ｘ’、ｙ’）における画素値ＳO（ｘ’、ｙ’）を式（１）によって表される加重線形和によって算出する。なお、適応フィルタ１００は、出力画像データの全体を一度に生成および出力する必要はなく、出力画像データの部分領域を、動きベクトル推定部や予測画像生成部からの要求に基づいて生成および出力するようにしてもよい。
Figure 2011086836
ここで、ＳI（ｘ、ｙ）は、参照画像＃１４ｂの座標（ｘ、ｙ）における画素値を表しており、ｈ（ｉ、ｊ）は、画素値ＳI（ｘ＋ｉ、ｙ＋ｊ）に乗ぜられるフィルタ係数を表している。また、Ｒは、上記加重線形和をとる画素の領域（以下、フィルタ領域と呼ぶ）を表している。より具体的には、Ｒは、上記加重線形和の対象となる相対座標のセットを表している。例えば、座標（ｘ、ｙ）における画素を中心とした３×３タップのフィルタリングを行う場合には、Ｒ＝｛（−１、−１）、（−１、０）、（−１、１）、（０、−１）、（０、０）、（０、１）、（１、−１）、（１、０）、（１、１）｝である。また、ｈoffsetは、画素値に加算するオフセット値を表している。
なお、フィルタ領域Ｒは、一般に、Ｍ×Ｎタップの矩形状の領域であってもよいし、ひし形、円形、又はその他任意の形状の領域であってもよい。
また、参照画像＃１４ｂは、整数座標の画素（以下、整数画素と呼ぶ）の画素値から構成されている画像データである。すなわち、式（１）において、ｘ、および、ｙは、何れも整数値をとる。一方で、ｘ’、および、ｙ’は、整数でない値をとってもよい。すなわち、第１の出力画像データ＃１００は、整数画素の画素値、および、整数画素以下の画素精度の補間信号を含む画像データである。換言すれば、適応フィルタ１００は、整数画素の画素値から、補間によって、整数画素以下の画素精度の補間信号を生成する画像フィルタである。
なお、適応フィルタ１００は、フィルタ処理によって得ようとする画素の座標値によって、フィルタ係数およびオフセットを適宜切り替える。例えば、ｘ’とｙ’それぞれが、整数画素、１／４画素、１／２画素、３／４画素の4種類のいずれかに相当する座標位置の値をとる場合に、ｘ’およびｙ’の座標位置の種類の組合せに応じてフィルタ係数およびオフセットを切り替える。以下では、フィルタ係数ｈ（ｉ，ｊ）、および、オフセットｈoffsetは、ｘ’およびｙ’の座標値の組合せに応じたフィルタ係数およびオフセットを包含するものとし、適宜選択して適用されるものとする。
また、本ステップにおいては、フィルタ係数ｈ（ｉ，ｊ）、および、オフセットｈoffsetは、予め定められた値をとる。
なお、上記標準フィルタ係数の具体的な値は、本発明を限定するものではないが、例えば、Ｈ．２６４／ＡＶＣ規格における補間フィルタに用いられるフィルタ係数を用いればよい。
（ステップ１０２）
動きベクトル推定部１７は、第１の出力画像データ＃１００と、入力画像＃１とに基づいて、動き予測を行い、第１の動きベクトル＃１７’を生成する。なお、本ステップにおける動き予測においては、参照画像＃１４ｂに含まれる複数の参照ピクチャを用いてもよい。
（ステップ１０３）
予測画像生成部１６ａは、第１の出力画像データ＃１００に対して、第１の動きベクトル＃１７’に基づいた動き補償を行うことによって、第１の予測画像＃１６’を生成する。なお、ステップ１０２およびステップ１０３の処理は、予測方法の異なる予測モード毎に試行され、最適な予測モードが用いられるものとする。
（ステップ１０４）
適応フィルタ１００は、第１の予測画像＃１６’を、スキップモードが適用されているマクロブロックから構成される第１の領域ＥＲ1と、スキップモードが適用されていないマクロブロックから構成される第２の領域ＥＲ2とに分割する。
図４は、第１の予測画像＃１６’における第１の領域ＥＲ1、および、第２の領域ＥＲ2の例を示す図である。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ1に対応する領域ＥＲ1’と、上記第２の領域ＥＲ2に対応する領域ＥＲ2’とに分割する。さらにこれらに対応し、参照画像＃１４ｂにおいて領域ＥＲ1’の予測のために参照される領域を領域ＥＲ~1’に設定し、参照画像＃１４ｂにおいて領域ＥＲ2’の予測のために参照される領域を領域ＥＲ~2’に設定する。なお、領域ＥＲ~1’および領域ＥＲ~2’は参照画像＃１４ｂを2分割するとは限らない。すなわち、領域ＥＲ~1’および領域ＥＲ~2’は、互いに重なる場合もある。
（ステップ１０５）
適応フィルタ１００は、参照画像＃１４ｂにおける領域ＥＲ~1’に対して、フィルタ係数ｈ1’（ｉ，ｊ）に基づいて、フィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ~2’に対して、フィルタ係数ｈ2’（ｉ，ｊ）に基づいて、フィルタリングを行う。領域ＥＲ~1’と領域ＥＲ~2’は前述のように参照画像＃１４ｂ上で重なる場合があるが、当該領域を参照している領域が領域ＥＲ1’であるか領域ＥＲ2’であるかにより、領域ＥＲ~1’として参照された領域であるか領域ＥＲ~2’として参照された領域であるかを判別することができる。
ここで、フィルタ係数ｈ1’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ1と、それに対応する入力画像＃１との誤差が最小となるように定められる。また、フィルタ係数ｈ2’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ2と、それに対応する入力画像＃１との誤差が最小となるように定められる。
なお、フィルタ係数ｈ1’（ｉ，ｊ）およびフィルタ係数ｈ2’（ｉ，ｊ）を、前述のように動きベクトルの整数未満の精度の位置に応じて変更できるようにするためには、各フィルタ係数の導出を、動きベクトル＃１７’の整数未満の画素精度の組合せ毎に行えばよい。
また、フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１，２）の具体的な決定には、統計的手法を用いることができる。
例えば、フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１，２）は、以下の式（２）によって与えられる二乗誤差Ｅkを最小とするように決定することができる。
Figure 2011086836
ここで、Ｓ（ｘ，ｙ）は、入力画像＃１の座標（ｘ、ｙ）における画素値を表しており、ＳI（ｘ~＋ｉ、ｙ~＋ｊ）は、第１の予測画像＃１６’の座標（ｘ~＋ｉ、ｙ~＋ｊ）における画素値を表している。また、ｘ~、および、ｙ~は、ｘ~＝ｘ＋ｆ（ｍｖｘ）−ＦＯｘ、ｙ~＝ｙ＋ｆ（ｍｖｙ）−ＦＯｙによって定義されている。ここで、ｍｖｘ、および、ｍｖｙは、それぞれ、第１の動きベクトル＃１７’のｘ成分、および、ｙ成分である。また、ｆ（ｍｖｘ）は、ｍｖｘを、ｍｖｘを超えない最も大きな整数画素にマップするフロア関数である。ｆ（ｍｖｙ）についても同様である。また、ＦＯｘ、および、ＦＯｙは、フィルタオフセットであり、それぞれ、ＦＯｘ＝（ｘ方向のフィルタサイズ）／２−１、および、ＦＯｙ＝（ｙ方向のフィルタサイズ）／２−１である、ここで、例えば、Ｍ×Ｎタップのフィルタリングに対しては、（ｘ方向のフィルタサイズ）＝Ｍ、（ｙ方向のフィルタサイズ）＝Ｎである。
また、式（２）における（ｘ、ｙ）についての和は、第１の予測画像＃１６’における領域ＥＲk（ｋは１または２のうち何れか）に含まれる全ての画素についての和である。
適応フィルタ１００は、以上のように、参照画像＃１４ｂに対し、領域ごとに最適化されたフィルタ係数に基づいたフィルタリング処理を施すことによって、第２の出力画像データ＃１００’を生成し、出力する。
なお、上記の説明では、二乗誤差Ｅkを最小にする場合を例に挙げたが、本発明はこれに限定されるものではない。例えば、上記二乗誤差Ｅにおける２乗演算を絶対値演算に置き換えることによって得られる絶対値誤差を最小にするようにフィルタ係数を決定してもよいし、これらの誤差に重みを加味してフィルタ係数を決定してもよい。
また、フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１，２）は、フィルタ係数＃１０１として、可変長符号化部１２に対して出力される。
なお、本ステップにおける適応フィルタ１００の動作は、以下のように表現することもできる。
すなわち、適応フィルタ１００は、第１の予測画像＃１６’と入力画像＃１との予測誤差を、入力画像＃１の領域であって、第１の予測画像＃１６’においてスキップモードが適用されているマクロブロックに対応する領域に対する予測誤差Ｅ1と、スキップモードが適用されていないマクロブロックに対応する領域に対する予測誤差Ｅ2とに分割し、それぞれの予測誤差を最小にするように、フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１，２）を決定する。
（ステップ１０６）
次に、動きベクトル推定部１７は、第２の出力画像データ＃１００’と、入力画像＃１とに基づいて、第２の動きベクトル＃１７を生成する。なお、本実施例においては、動きベクトル推定部１７は、第２の動きベクトル＃１７として、既に求めた第１の動きベクトル＃１７’と同一の値を出力するものとする。そのようにすることにより、第２の動きベクトル＃１７を求める計算コストを減らすことができる。ただし、第２の動きベクトル＃１７と、第１の動きベクトル＃１７’との関係は、本発明を限定するものではない。
（ステップ１０７）
予測画像生成部１６ａは、第２の出力画像データ＃１００’に対して、第２の動きベクトル＃１７に基づいた動き補償を行うことによって、インター予測画像＃１６を生成し出力する。
以上が、インター予測画像生成部１６における動作の流れである。
一般に、スキップモードが適用されているマクロブロックと、スキップモードが適用されていないマクロブロックとでは、最適なフィルタ係数が異なる。
上述のように、適応フィルタ１００は、第１の予測画像＃１６’を、スキップモードが適用されているマクロブロックから構成される第１の領域ＥＲ1と、スキップモードが適用されていないマクロブロックから構成される第２の領域ＥＲ2とに分割し、領域ＥＲ1と領域ＥＲ2からそれぞれ参照される、参照画像＃１４ｂの領域ごとに上記統計的手法によって最適なフィルタ係数を求めることができる。
したがって、上記の構成によれば、第１の予測画像＃１６’が、スキップモードが適用されているパーティション、および、スキップモードが適用されていないパーティションを含む場合であっても、適切なフィルタリングを行うことができるので、適切な予測画像＃１６、および、適切な第２の動きベクトル＃１７を生成することができる。
なお、インター予測画像生成部１６は、上記のステップ１０４から、ステップ１０７を複数回繰り返すような構成としてもよい。すなわち、ステップ１０７において生成されたインター予測画像＃１６を、スキップモードが適用されているか否かに応じて、２つの領域に分割し、それぞれの領域ごとに、上記統計的手法を用いてフィルタ係数を決定し、それらのフィルタ係数を用いて生成された出力画像データに基づいて更なる動き補償を行ってもよい。このように、領域の分割、および、動き補償、および、フィルタ係数算出を複数回繰り返すことによって、より適切な予測画像、および、動きベクトルを生成することができる（以下同様）。
また、フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１，２）に加えて、オフセットｈoffsetも、上記領域ごとに最適化するような構成としてもよい（以下同様）。
なお、本実施例においては、領域の分割および動き補償を繰り返さず、マクロブロック毎の予測モードについて、第１の予測画像＃１６’とインター予測画像＃１６で同一となるようにするものとする。このようにすることで、計算コストを削減することができる。
以上のように、本実施形態に係る符号化装置（動画像符号化装置１）は、入力画像＃１を符号化して再構成することによって得られる参照画像（参照画像＃１４ｂ）に作用する第１のフィルタ（適応フィルタ１００）と、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像（第１の予測画像＃１６’）を生成する第１の予測手段（予測画像生成部１６ａ）と、上記参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段（予測画像生成部１６ａ）と、上記第１の予測画像（第１の予測画像＃１６’）と入力画像＃１とを複数の領域に分割する分割手段（適応フィルタ１００）と、上記入力画像＃１と上記第１の予測画像（第１の予測画像＃１６’）との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段（適応フィルタ１００）とを備え、上記入力画像と上記第２の予測画像（インター予測画像＃１６）との残差データを符号化する。
換言すれば、本実施形態に係る符号化装置（動画像符号化装置１）は、入力画像＃１を符号化して再構成することによって得られる参照画像（参照画像＃１４ｂ）に作用する第１のフィルタ（適応フィルタ１００）と、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像（第１の予測画像＃１６’）を生成する第１の予測手段（予測画像生成部１６ａ）と、を備え、上記第１の予測手段（予測画像生成部１６ａ）は、さらに、上記参照画像＃１４ｂに作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像（インター予測画像＃１６）を生成し、上記第１のフィルタ（適応フィルタ１００）は、さらに、上記第１の予測画像（第１の予測画像＃１６’）と入力画像＃１とを複数の領域に分割し、上記入力画像＃１と上記第１の予測画像（第１の予測画像＃１６’）との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定する。
上記のように構成された本発明に係る符号化装置によれば、上記第１の予測画像と入力画像とを複数の領域に分割する分割手段と、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段とを備えているため、上記第１の予測画像の生成に用いた参照画像の特性が一様でない場合であっても、上記複数の領域毎に上記第２のフィルタのフィルタ係数を適応的に設定することができる。
換言すれば、上記第１の予測画像の生成に用いた上記参照画像の特性が一様でない場合であっても、上記複数の領域毎に上記第２のフィルタのフィルタ係数を適応的に設定することによって、適切なフィルタリングを行うことができる。
また、上記ステップ１０４、および、ステップ１０５において、適応フィルタ１００は、第１の予測画像＃１６’を、スキップモードが適用されているマクロブロックから構成される第１の領域ＥＲ1と、スキップモードが適用されていないマクロブロックから構成される第２の領域ＥＲ2とに分割し、それぞれに対応する入力画像＃１の領域ＥＲ1’と領域ＥＲ2’に対して、上記統計的手法によって最適なフィルタ係数を求める構成としたが、本発明はこれに限定されるものではなく、様々な条件を用いることによって、第１の予測画像＃１６’を複数の領域に分割し、それぞれに対応する入力画像＃１の領域に対して、上記統計的手法によって最適なフィルタ係数を求めることが可能である。
以下では、インター予測画像生成部１６の他の動作例について、説明する。
（動作例２）
以下では、インター予測画像生成部１６の第２の動作例について図５を参照して説明する。
本動作例においては、上記ステップ１０４、および、上記ステップ１０５は、それぞれ、以下に説明するステップ２０４、および、ステップ２０５に置き換わる。
（ステップ２０４）
適応フィルタ１００は、第１の予測画像＃１６’を、参照画像インデクスｒｅｆ＿ｉｄｘが０であるパーティションから構成される領域ＥＲ21と、それ以外の領域ＥＲ22とに分割する。
また、適応フィルタ１００は、入力画像＃１において、上記領域ＥＲ21に対応する領域を領域ＥＲ21’に設定し、上記領域ＥＲ22に対応する領域を領域ＥＲ22’に設定する。さらにこれらに対応し、参照画像＃１４ｂにおいて領域ＥＲ21’の予測のために参照される領域を領域ＥＲ~21’に設定し、参照画像＃１４ｂにおいて領域ＥＲ22’の予測のために参照される領域を領域ＥＲ~22’に設定する。
（ステップ２０５）
適応フィルタ１００は、参照画像＃１４ｂにおける領域ＥＲ~21’に対して、フィルタ係数ｈ21’（ｉ，ｊ）に基づいてフィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ~22’に対して、フィルタ係数ｈ22’（ｉ，ｊ）に基づいてフィルタリングを行う。
図５は、参照画像＃１４ｂにおける参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＡにおける領域ＥＲ~21’に対して、フィルタ係数ｈ21’を用いたフィルタ１を施し、参照画像＃１４ｂにおける参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャＢにおける領域ＥＲ~22’に対して、フィルタ係数ｈ22’を用いたフィルタ２を施す場合を示す図である。
ここで、フィルタ係数ｈ21’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ21と、それに対応する入力画像＃１における領域ＥＲ21’との誤差が最小となるように定められる。また、フィルタ係数ｈ22’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ22と、それに対応する入力画像＃１における領域ＥＲ22’との誤差が最小となるように定められる。フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝２１，２２）の具体的な決定には、上述した統計的手法を用いればよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
一般に、参照画像インデクスｒｅｆ＿ｉｄｘが異なれば、参照される参照ピクチャも異なるため、異なった参照画像インデクスを有するパーティションに対しては、最適なフィルタ係数も異なる。
上記の構成によれば、適応フィルタ１００は、参照画像インデクスｒｅｆ＿ｉｄｘが０であるパーティションから構成される領域ＥＲ21と、それ以外の領域ＥＲ22とにそれぞれ対応する入力画像＃１における領域ＥＲ21’と領域ＥＲ22’とに対し、領域ごとに最適なフィルタ係数を決定することができる。したがって、上記の構成によれば、第１の予測画像＃１６’が、参照画像インデクスｒｅｆ＿ｉｄｘが０である領域と、参照画像インデクスｒｅｆ＿ｉｄｘが０でない領域とから構成される場合であっても、最適なフィルタ係数を求めることができる。また、そのような場合であっても、適切な予測画像＃１６を生成することができる。
なお、第１の予測画像＃１６’が、双方向予測によって生成されたパーティションを含む場合、すなわち、第１の予測画像＃１６’が、２枚の参照ピクチャが関連付けられているパーティションを含む場合には、例えば、以下の式（３）によって与えられる二乗誤差を最小とするように、フィルタ係数ｈk’（ｉ、ｊ）を求めればよい。
Figure 2011086836
ここで、ＳI1（ｘ~1＋ｉ、ｙ~1＋ｊ）は、上記２枚の参照ピクチャのうち、一方の参照ピクチャを、それに対応する動きベクトルによって動き補償した画像データの、座標（ｘ~1＋ｉ、ｙ~1＋ｊ）における画素値を表しており、ＳI2（ｘ~2＋ｉ、ｙ~2＋ｊ）は、上記２枚の参照ピクチャのうち、他の一方の参照ピクチャを、それに対応する動きベクトルによって動き補償した画像データの、座標（ｘ~2＋ｉ、ｙ~2＋ｊ）における画素値を表している。ここで、ｘ~1、および、ｙ~１は、それぞれ、ｘ~1＝ｘ＋ｆ（ｍｖｘ1）−ＦＯｘ、ｙ~1＝ｙ＋ｆ（ｍｖｙ1）−ＦＯｙによって定義されており、ｘ~2＝ｘ＋ｆ（ｍｖｘ2）−ＦＯｘ、ｙ~2＝ｙ＋ｆ（ｍｖｙ2）−ＦＯｙによって定義されている。また、（ｍｖｘ1、ｍｖｙ1）は、上記一方の参照画像に関連付けられた動きベクトルの成分を表しており、（ｍｖｘ2、ｍｖｙ2）は、上記他の一方の参照画像に関連付けられた動きベクトルの成分を表している。
本例においては、式（３）に示すように、フィルタ係数の算出に際し、上記２枚の参照ピクチャのそれぞれを動き補償した２枚の画像を１／２の重みで寄与させている。
図６は、参照画像インデクスｒｅｆ＿ｉｄｘの最大値が１の場合であり、参照画像＃１４ｂのうち参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャであって、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘ＝１によっても指定される参照ピクチャＡと、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘ＝１によって指定される参照ピクチャＢと、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャＣとを、インター予測画像＃１６と共に示す図である。なお、参照画像リストとは、1枚または複数の参照画像の候補を示すリストである。同一リスト中に含まれる各画像には、識別のための番号（参照画像インデクス）が割り当てられる。
図６に示すように、適応フィルタ１００は、インター予測画像＃１６上の領域ＥＲ２１’’が参照する参照ピクチャＡ上の領域ＥＲ２１’ａ、および、参照ピクチャＣ上の領域ＥＲ２１’ｂに対して、フィルタ係数ｈ21’を用いたフィルタ１を施し、インター予測画像＃１６上の領域ＥＲ２２’’が参照する参照ピクチャＡ上の領域ＥＲ２２’ａ、および、参照ピクチャＢ上の領域ＥＲ２２’ｂに対して、フィルタ係数ｈ22’を用いたフィルタ２を施す。
上記のような構成をとることによって、上記２枚の参照ピクチャのそれぞれを動き補償した２枚の画像の寄与を考慮しつつ、適切なフィルタ係数を算出することができる。
なお、上記の例では、上記２枚の参照ピクチャのそれぞれを動き補償した２枚の画像を１／２の重みで寄与させているが、本発明はこれに限定されるものではなく、上記２枚の参照ピクチャのうち一方の参照ピクチャをより大きな重みで寄与させるような構成としてもよい。また、重みは画像全体で一定である必要はなく、パーティション単位やマクロブロック単位などで変化させてもよい。
以上のように、適応フィルタ１００は、双方向予測によって生成されたパーティションが参照する上記一方の参照ピクチャ、および、上記他の一方の参照ピクチャに対して、上記のように求められたフィルタ係数ｈk’（ｉ、ｊ）を用いてフィルタリングを行えばよい。
なお、本動作例においては、適応フィルタ１００は、第１の予測画像＃１６’を、参照画像インデクスｒｅｆ＿ｉｄｘに応じて３つ以上の領域に分割するような構成としてもよいし、あるいは、第１の予測画像＃１６’を、前方向予測であるか、後方向予測であるかに応じて、２つの領域に分割するような構成としてもよい。さらに、前方向予測／後方向予測と参照画像インデクスを併用して複数の領域に分割するような構成とすることもできる。
（動作例３）
以下では、インター予測画像生成部１６の第３の動作例について説明する。
本動作例においては、適応フィルタ１００は、上述した動作例１に示した動作、および、動作例２に示した動作の双方を行い、より符号化効率の高いインター予測画像、および、フィルタ係数を出力する。
具体的には、本動作例においては、適応フィルタ１００は、動作例１において説明したステップ１０１からステップ１０７までの動作を行うことによって、インター予測画像＃１６ａ（動作例１におけるインター予測画像＃１６に対応）を生成する。
また、適応フィルタ１００は、動作例１のステップ１０４、および、ステップ１０５を動作例２において説明したステップ２０４、および、ステップ２０５に置き換えた動作を行うことによって、インター予測画像＃１６ｂ（動作例２におけるインター予測画像＃１６に対応）を生成する。
また、適応フィルタ１００は、インター予測画像＃１６ａ、および、インター予測画像＃１６ｂのうち、符号化効率の高い予測画像を選択し、出力する。また、適応フィルタ１００は、選択された予測画像の生成に用いられた動きベクトル＃１７、および、フィルタ係数＃１０１を出力する。
また、適応フィルタ１００は、動作例１、および、動作例２のうち、何れの方法によって予測画像を生成したかを示すフラグ＃１０２を出力することが好ましい。また、フラグ＃１０２は、可変長符号化部１２において符号化され、符号化データ＃２の一部として、動画像復号装置に伝送されることが好ましい。
このような符号化データ＃２を受けた動画像復号装置は、動作例１、および、動作例２のうち、適応フィルタ１００によって選択された方法、および、フィルタ係数＃１０１に基づいて、復号画像を生成することができる。
また、適応フィルタ１００は、動作例１における領域ＥＲ1と領域ＥＲ2との面積差と、動作例２における領域ＥＲ21と領域ＥＲ22との面積差を比較し、より面積差の小さい領域を用いた動作例によって生成された予測画像、および、フィルタ係数を出力するような構成としてもよい。
また、適応フィルタ１００は、動作例１における領域ＥＲ1と領域ＥＲ2との面積差と、動作例２における領域ＥＲ21と領域ＥＲ22との面積差を比較し、より面積差の小さい領域を用いた動作例によって生成された予測画像、および、フィルタ係数を出力するような構成としてもよい。あるいは、面積差ではなく、面積比を用いることもできる。その場合、面積比が1に近い領域を用いた動作例によって生成された予測画像、および、フィルタ係数を出力すると良い。
このような場合、動画像復号装置においても、上記面積差を比較することによって、予測画像が何れの動作例によって生成されたかを判別することができるので、適応フィルタ１００は、何れの動作例を選択したかを示すフラグを出力しなくてもよい。しがたって、より少ない符号量の符号化データ＃２によって、画像データを伝送できる。一方、適応フィルタ１００が、何れの動作例を選択したかを示すフラグを出力すれば、動画像復号装置の処理量を低減することができる。
（動作例４）
以下では、インター予測画像生成部１６の第４の動作例について説明する。
本動作例においては、動作例１におけるステップ１０４、および、ステップ１０５は、以下に説明するステップ４０４、および、ステップ４０５に置き換わる。
（ステップ４０４）
適応フィルタ１００は、第１の予測画像＃１６’に含まれる各マクロブロックを、予め定められた判定基準によって、２組に分類する。ここで、予め定められた判定基準とは、判定のためのフラグ等を符号化データに追加することなく、本動作例に対応する動画像復号装置においても、本動作例の動画像符号化装置と同一の判定が可能な基準である。例えば、マクロブロック番号が予め定められた値以上か否かを基準として判定することができる。また、適応フィルタ１００は、第１の予測画像＃１６’を、上記２組のうち一方の組に属するマクロブロックから構成される領域ＥＲ41と、もう一方の組に属するマクロブロックから構成される領域ＥＲ42とに分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ41に対応する領域ＥＲ41’と、上記第２の領域ＥＲ42に対応する領域ＥＲ42’とに分割する。さらにこれらに対応し、参照画像＃１４ｂにおいて領域ＥＲ41’の予測のために参照される領域を領域ＥＲ~41’に設定し、参照画像＃１４ｂにおいて領域ＥＲ42’の予測のために参照される領域を領域ＥＲ~42’に設定する。
また、適応フィルタ１００は、入力画像＃１に含まれる領域が、上記領域ＥＲ41’、または、上記領域ＥＲ42’のうち、何れの領域に属しているかを示すフラグ＃Ｆ１をメモリに格納する。あるいは、フラグ＃Ｆ１をメモリに格納せず、参照される都度導出するようにしてもよい。
（ステップ４０５）
適応フィルタ１００は、フラグ＃Ｆ１を参照して、参照画像＃１４ｂにおける領域ＥＲ~41’に対して、フィルタ係数ｈ41’（ｉ，ｊ）に基づいてフィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ~42’に対して、フィルタ係数ｈ42’（ｉ，ｊ）に基づいてフィルタリングを行う。
ここで、フィルタ係数ｈ41’（ｉ，ｊ）は、入力画像＃１における領域ＥＲ41’と、第１の予測画像＃１６’における領域ＥＲ41との誤差が最小になるように定められる。また、フィルタ係数ｈ42’（ｉ，ｊ）は、入力画像＃１における領域ＥＲ42’と、第１の予測画像＃１６’における領域ＥＲ42との誤差が最小になるように定められる。フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝４１，４２）の具体的な決定には、上述した統計的手法を用いればよい。
また、適応フィルタ１００は、フラグ＃Ｆ１を参照して、参照画像＃１４ｂにおける領域ＥＲ~41’、および、領域ＥＲ~42’に対して、それぞれフィルタ係数ｈ41’（ｉ，ｊ）、および、フィルタ係数ｈ42’（ｉ，ｊ）を用いたフィルタリングを行い、第２の出力画像データ＃１００’を生成し、出力する。
なお、本動作例の場合、符号化データ＃２を復号する動画像復号装置は、上記予め定められた判定基準によって、復号画像を上記のように領域ＥＲ41’と、領域ＥＲ42’とに分割し、それぞれに対して、フィルタ係数ｈ41’（ｉ，ｊ）、および、ｈ42’（ｉ，ｊ）を用いたフィルタリングを行う構成とすればよい。
また、上記予め定められた判定基準は、本発明を限定するものではないが、例えば、適応フィルタ１００は、各マクロブロックを、当該マクロブロックに隣接する複数のマクロブロックのうち、より多くのマクロブロックが属する組に分類するようにすればよい。
また、上記の説明では、マクロブロック毎に２組に分類する場合を例に挙げたが、本動作例はこれに限定されない。すなわち、マクロブロックよりも大きな単位で２組に分類するような構成としてもよいし、マクロブロックよりも小さな単位で２組に分類するような構成としてもよい。さらに、分類する組数も２組には限らず、３組以上として組数だけフィルタ係数を導出することもできる。
（動作例５）
以下では、インター予測画像生成部１６の第５の動作例について説明する。
本動作例においては、動作例１におけるステップ１０４、および、ステップ１０５は、以下に説明するステップ５０４、および、ステップ５０５に置き換わる。
（ステップ５０４）
適応フィルタ１００は、第１の予測画像＃１６’に含まれる各マクロブロックに対応する入力画像＃１の領域における平均画素値が予め定められた閾値以上であるか否かに応じて、各マクロブロックを２組に分類する。また、適応フィルタ１００は、第１の予測画像＃１６’を、上記２組のうち一方の組に属するマクロブロックから構成される領域ＥＲ51と、もう一方の組に属するマクロブロックから構成される領域ＥＲ52とに分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ51に対応する領域ＥＲ51’と、上記第２の領域ＥＲ52に対応する領域ＥＲ52’とに分割する。さらにこれらに対応し、参照画像＃１４ｂにおいて領域ＥＲ51’の予測のために参照される領域を領域ＥＲ~51’に設定し、参照画像＃１４ｂにおいて領域ＥＲ52’の予測のために参照される領域を領域ＥＲ~52’に設定する。
また、適応フィルタ１００は、入力画像＃１に含まれる領域が、上記領域ＥＲ51’、または、上記領域ＥＲ52’のうち、何れの領域に属しているかを示すフラグ＃Ｆ２をメモリに格納する。あるいは、フラグ＃Ｆ２をメモリに格納せず、参照される都度導出するようにしてもよい。
当該フラグ＃Ｆ２は、可変長符号化部１２に送られ、符号化データ＃２として符号化される。
（ステップ５０５）
適応フィルタ１００は、参照画像＃１４ｂにおける領域ＥＲ~51’に対して、フィルタ係数ｈ51’（ｉ，ｊ）に基づいてフィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ~52’に対して、フィルタ係数ｈ52’（ｉ，ｊ）に基づいてフィルタリングを行う。
ここで、フィルタ係数ｈ51’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ51と、それに対応する入力画像＃１における領域ＥＲ51’との誤差が最小となるように定められる。また、フィルタ係数ｈ52’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ52と、それに対応する入力画像＃１における領域ＥＲ52’との誤差が最小となるように定められる。フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝５１，５２）の具体的な決定には、上述した統計的手法を用いればよい。
適応フィルタ１００は、フラグ＃Ｆ２を参照して、参照画像＃１４ｂにおける領域ＥＲ~51’、および、領域ＥＲ~52’に対して、それぞれフィルタ係数ｈ51’（ｉ，ｊ）、および、フィルタ係数ｈ52’（ｉ，ｊ）を用いたフィルタリングを行い、第２の出力画像データ＃１００’を生成し、出力する。
一般に、最適なフィルタ係数は、当該フィルタ係数を用いたフィルタリングの対象となる領域における平均輝度に応じて変わる。したがって、平均輝度のより高い領域と、平均輝度のより低い領域とに対し、各々フィルタ係数を決定することによって、入力画像＃１における各領域の輝度にばらつきがあるような場合であっても、適切なフィルタリングを行うことができる。
なお、本動作例の場合、符号化データ＃２を復号する動画像復号装置は、符号化データ＃２に含まれるフラグ＃Ｆ２を参照して、復号画像を、領域ＥＲ51’と領域ＥＲ52’とに分割し、それぞれが参照する領域に対して、フィルタ係数ｈ51’（ｉ，ｊ）、および、ｈ52’（ｉ，ｊ）を用いたフィルタリングを行う構成とすればよい。
また、上記のステップ５０４は、以下に説明するステップ５０４’に置き換えてもよい。
（ステップ５０４’）
適応フィルタ１００は、第１の予測画像＃１６’に含まれる処理対象マクロブロックの領域と、それに対応する入力画像＃１における領域との誤差が、予め定められた閾値以上である場合には、当該処理対象マクロブロックを第１の組に分類し、そうでない場合には、当該処理対象マクロブロックを第２の組に分類する。
なお、上記誤差としては、具体的には、例えば、式（２）において、領域ＥＲkを、処理対象マクロブロックに含まれる領域ＭＢに置き換えたものを用いればよい。
また、適応フィルタ１００は、第１の予測画像＃１６’を、上記第１の組に属するマクロブロックから構成される領域ＥＲ51と、上記第２の組に属するマクロブロックから構成される領域ＥＲ52とに分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ51に対応する領域ＥＲ51’と、上記第２の領域ＥＲ52に対応する領域ＥＲ52’とに分割する。さらにこれらに対応し、参照画像＃１４ｂにおいて領域ＥＲ51’の予測のために参照される領域を領域ＥＲ~51’に設定し、参照画像＃１４ｂにおいて領域ＥＲ52’の予測のために参照される領域を領域ＥＲ~52’に設定する。
また、適応フィルタ１００は、参照画像＃１４ｂに含まれる領域が、上記領域ＥＲ51’、または、上記領域ＥＲ52’のうち、何れの領域に属しているかを示すフラグ＃Ｆ２をメモリに格納する。
当該フラグ＃Ｆ２は、可変長符号化部１２に送られ、符号化データ＃２として符号化される。
一般に、最適なフィルタ係数は、予測画像（第１の予測画像＃１６’）と、入力画像（入力画像＃１）との誤差（予測誤差）の大小に応じて変わる。
上記の構成によれば、入力画像＃１における当該処理対象マクロブロックごとに、参照画像＃１４ｂにおける被参照領域との誤差が大きく異なるような場合であっても、適切なフィルタリングを行うことができる。
また、上記の説明では、マクロブロックごとに２組に分類する場合を例に挙げたが、本動作例はこれに限定されない。すなわち、マクロブロックよりも大きな単位で２組に分類するような構成としてもよいし、マクロブロックよりも小さな単位で２組に分類するような構成としてもよい。さらに、画素値の違いや誤差の大きさに応じて、３組以上に分類するような構成としてもよい。
（動作例６）
以下では、インター予測画像生成部１６の第６の動作例について図７を参照して説明する。
本動作例においては、適応フィルタ１００は、上述した動作例１〜５、および、後述する動作例において分割された第１の予測画像＃１６’の一方の領域の面積が、第１の予測画像＃１６’の面積に対して占める割合が、予め定められた割合以下である場合に、当該一方の領域から参照される参照画像＃１４ｂの領域に対して、上述した標準フィルタ係数を用いてフィルタリングを行い、他の一方の領域から参照される参照画像＃１４ｂの領域に対して、上述した統計的手法によって算出された最適なフィルタ係数を用いてフィルタリングを行う。
具体的には、例えば、動作例１において説明した第１の領域ＥＲ1の面積が第１の予測画像＃１６’の面積に対して占める割合が予め定められた割合以下である場合に、適応フィルタ１００は、領域ＥＲ1’に対して標準フィルタ係数を用いたフィルタリングを行い、領域ＥＲ2’に対しては、フィルタ係数ｈ2’（ｉ，ｊ）を用いてフィルタリングを行う。
ここで、フィルタ係数ｈ2’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ2と、それに対応する入力画像＃１との誤差が最小となるように定められる。フィルタ係数ｈ2’（ｉ、ｊ）の具体的な決定には、統計的手法を用いることができる。
図７は、第１の予測画像＃１６’における第１の領域ＥＲ1、および第２の領域ＥＲ2の例を示す図である。
このように、本動作例においては、面積比が一定の割合以下の領域に対しては、フィルタ係数を統計的な手法によって決定する工程を行わず、標準フィルタ係数を用いてフィルタリングする。また、他の動作例２〜４に対しても同様である。
一般に、より小さい領域に対しては、上記統計的手法によるフィルタ係数の決定に用いられる予測残差のサンプル数が減少する。すなわち、式（２）において対応する領域ＥＲkに含まれる画素の数は、より少なくなる。したがって、そのような小さい領域に対しては、上記統計的な手法を用いたとしても、予測画像の予測精度を向上することが難しい。また、予測精度の改善ができたとしても、小さい領域では予測精度の改善によって減少するよりも多くの符号量がフィルタ係数に必要となり、符号化効率が低減する可能性がある。また、上記統計的手法を用いることによる計算コストの増大もある。
上記の構成によれば、面積比が一定の割合以下の領域に対しては、標準フィルタ係数を用いたフィルタリングを行うことができるので、上記の符号化効率の低下や計算コストの増大の問題を回避することができる。
また、適応フィルタ１００は、上述した工程において、標準フィルタ係数を用いた領域を示すフラグ＃Ｆ３を出力し、可変長符号化部１２において符号化データ＃２の一部として符号化するような構成としてもよい。このような構成とすることによって、符号化データ＃２を復号する動画像復号装置において、フラグ＃Ｆ３を参照することによって、標準フィルタ係数を適用すべき領域と、適応フィルタ１００において統計的手法によって決定されたフィルタ係数を適用すべき領域とを判別することができる。
また、動画像復号装置が備えるメモリに、上記予め定められた割合の値が記録されているような構成とすれば、当該動画像復号装置は、上記のフラグ＃Ｆ３を参照することなく、標準フィルタを適用すべき領域と、適応フィルタ１００において統計的手法によって決定されたフィルタ係数を適用すべき領域とを判別することができる。したがって、このような場合には、適応フィルタ１００は、上記のフラグ＃Ｆ３を出力しなくてもよい。
また、本動作例においては、分割された第１の予測画像＃１６’の一方の領域の面積が第１の予測画像＃１６’の面積に対して占める割合が、予め定められた割合以下である場合には、分割されない第１の予測画像＃１６’全体に対して、適応的にフィルタ係数を算出するような構成としてもよい。このような場合には、適応フィルタ１００は、複数の適応的フィルタを用いないことを示すフラグを出力することが好ましい。
（動作例７）
以下では、インター予測画像生成部１６の第７の動作例について図８〜図９を参照して説明する。
本動作例においては、上記ステップ１０４、および、上記ステップ１０５は、それぞれ、以下に説明するステップ７０４、および、ステップ７０５に置き換わる。また、本動作例においては、参照画像インデクスｒｅｆ＿ｉｄｘの値は０または１とする。
（ステップ７０４）
適応フィルタ１００は、第１の予測画像＃１６’を、参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャを参照するパーティションから構成される領域ＥＲ71と、参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャを参照するパーティションから構成される領域ＥＲ72とに分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ71に対応する領域ＥＲ71’と、上記第２の領域ＥＲ72に対応する領域ＥＲ72’とに分割する。さらにこれらに対応し、参照画像＃１４ｂにおける参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝０）において、上記領域ＥＲ71’の予測のために参照される領域を領域ＥＲ~71’に設定し、参照画像＃１４ｂにおける参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝１）において、上記領域ＥＲ72’の予測のために参照される領域を領域ＥＲ~72’に設定する。
（ステップ７０５）
適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ71の面積比、および、第１の予測画像＃１６’に対する領域ＥＲ72の面積比が、何れも、予め定められた割合以上である場合には、動作例２において説明した動作と同様の動作を行う。
適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ72の面積比が、予め定められた面積比未満である場合には、参照画像＃１４ｂにおける参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰに対して、フィルタ係数ｈ71’（ｉ，ｊ）を導出および設定する。
ここで、フィルタ係数ｈ71’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ71と入力画像＃１における領域ＥＲ71’との誤差が最小となるように定められる。フィルタ係数ｈ71’（ｉ、ｊ）の具体的な決定には、上述した統計的手法を用いることができる。
また、適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ72の面積比が、予め定められた面積比未満である場合には、フィルタ係数ｈ72’（ｉ，ｊ）を設定すると共に下記のステップ７０５．１の処理を行う。ここで、フィルタ係数ｈ72’（ｉ，ｊ）は、フィルタ係数ｈ71’（ｉ，ｊ）と異なるものであればよく、例えば、エッジ強調効果を有するフィルタが適用できる。
（ステップ７０５．１）
本ステップでは、適応フィルタ１００は、上記フィルタ係数ｈ71’（ｉ，ｊ）およびｈ72’（ｉ，ｊ）を用いて、当該対象フレームに対して第２の出力画像データ＃１００’を生成する。ただし、適応フィルタ１００は、本ステップにおいては、参照画像インデクスｒｅｆ＿ｉｄｘの解釈を変更する。つまり、参照画像インデクスｒｅｆ＿ｉｄｘを０として参照画像＃１４ｂが参照された場合、参照画像＃１４ｂにおける参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝０）を参照してフィルタ係数ｈ71’（ｉ，ｊ）を用いたフィルタリングを行い、参照画像インデクスｒｅｆ＿ｉｄｘを１として参照画像＃１４ｂが参照された場合、通常とは異なり、参照画像＃１４ｂにおける参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝０）を参照し、フィルタ係数ｈ72’（ｉ，ｊ）’を用いたフィルタリングを行う。
通常のフローでは、インター予測画像生成部１６は、参照画像＃１４ｂにおける複数の参照ピクチャのうちから、入力画像＃１との誤差が最小となる参照ピクチャおよび動きベクトルを選択して予測画像を生成し、その際、適応フィルタ１００は、参照ピクチャとして、参照画像インデクスｒｅｆ＿ｉｄｘで指定された通りの参照ピクチャを用いる。しかし本ステップでは、参照画像＃１４ｂにおける参照ピクチャとしては、指定された参照画像インデクスｒｅｆ＿ｉｄｘの値によらず、参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝０）のみを用い、２種類のフィルタのうち入力画像との誤差がより小さいフィルタおよび動きベクトルを、ｒｅｆ＿ｉｄｘを用いて選択して、第２の出力画像データ＃１００’を生成する。
換言すれば、適応フィルタ１００は、予測画像の再生成時に、第１の予測画像＃１６’に対する領域ＥＲ72の面積比が、予め定められた面積比未満である場合には、参照画像インデクスｒｅｆ＿ｉｄｘ＝１によって、参照画像インデクスｒｅｆ＿ｉｄｘ＝０が指定する参照ピクチャと同じ参照ピクチャを参照し、当該参照ピクチャ上の領域ＥＲ722’に対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。
図８は、参照画像インデクスｒｅｆ＿ｉｄｘの最大値が１の場合に、参照画像＃１４ｂにおける参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャＡにおける領域ＥＲ712’に対して、フィルタ係数ｈ71’を用いたフィルタ１を施し、参照画像インデクスｒｅｆ＿ｉｄｘ＝１によっても指定される参照ピクチャＡにおける領域ＥＲ722’に対して、エッジ強調効果を有するフィルタ係数ｈ72’を用いたフィルタ１’を施す場合を示す図である。
なお、上記エッジ強調効果を有するフィルタ係数としては、予め定められた係数を用いればよい。また、上記エッジ強調効果を有するフィルタ係数に代えて、標準フィルタ係数を用いてもよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
このように、本動作例においては、参照画像インデクスｒｅｆ＿ｉｄｘは、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能していることになる。
また、本動作例においては、参照画像インデクスｒｅｆ＿ｉｄｘ＝１がほとんど用いられることがない場合に、参照画像インデクスｒｅｆ＿ｉｄｘを、非適応的なフィルタリングを行うことを示す指標として用いることができるので、追加のサイド情報によって符号量を増加させることなく、適応的フィルタリングと、非適応的フィルタリングとを切り替えることができる。
なお、本動作例のように、パラメータの解釈が途中で変更される場合は、変更前の解釈によるパラメータを用いて導出された第１の動きベクトル＃１７’および予測モードは、再度導出して予測画像を生成することが好ましい。
また、以上の説明では、インター予測画像＃１６が、単方向予測によって生成されるＰスライスである場合、すなわち、インター予測画像＃１６の各パーティションが、１枚の参照ピクチャを参照することによって生成される場合を例に挙げたが、本発明はこれに限定されるものではない。
例えば、インター予測画像＃１６が、双方向予測によって生成されるＢスライスである場合、なわち、インター予測画像＃１６の各パーティションが、２枚の参照ピクチャを参照することによって生成される場合であっても、同様に適用することができる。
このような場合、上記ステップ７０４および、上記ステップ７０５は、それぞれ、以下に説明するステップ７０４’、および、ステップ７０５’に置き換わる。
（ステップ７０４’）
適応フィルタ１００は、第１の予測画像＃１６’を、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャ、および、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャを参照するパーティションから構成される領域ＥＲ81と、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャ、および、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャを参照するパーティションから構成される領域ＥＲ82と、に分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ81に対応する領域ＥＲ81’と、上記第２の領域ＥＲ82に対応する領域ＥＲ82’とに分割する。さらにこれらに対応し、参照画像＃１４ｂにおいて参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰ（Ｌ０、ｒｅｆ＿ｉｄｘ＝０）において、上記領域ＥＲ81’の予測のために参照される領域を領域ＥＲ~81’aに設定し、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰ（Ｌ１、ｒｅｆ＿ｉｄｘ＝０）において、上記領域ＥＲ81’の予測のために参照される領域を領域ＥＲ~81’bに設定する。
また、適応フィルタ１００は、参照画像＃１４ｂにおいて参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャＲＰ（Ｌ０、ｒｅｆ＿ｉｄｘ＝１）において、上記領域ＥＲ82’の予測のために参照される領域を領域ＥＲ~82’aに設定し、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャＲＰ（Ｌ１、ｒｅｆ＿ｉｄｘ＝１）において、上記領域ＥＲ82’の予測のために参照される領域を領域ＥＲ~82’bに設定する。
（ステップ７０５’）
適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ81の面積比、および、第１の予測画像＃１６’に対する領域ＥＲ82の面積比が、何れも、予め定められた面積比以上である場合には、動作例２において説明した動作と同様に、領域ＥＲ~81’a、および、領域ＥＲ~81’bに対して、フィルタ係数ｈ81’（ｉ，ｊ）を用いて適応的なフィルタリングを行うと共に、領域ＥＲ~82’a、および、領域ＥＲ~82’bに対して、フィルタ係数ｈ82’（ｉ，ｊ）を用いて適応的なフィルタリングを行う。フィルタ係数ｈ81’（ｉ，ｊ）、および、フィルタ係数ｈ82’（ｉ，ｊ）の決定には、上述した統計的手法を用いることができる。
一方で、適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ82の面積比が、予め定められた面積比未満である場合には、第１の予測画像＃１６’における領域ＥＲ81と入力画像＃１における領域ＥＲ81’との誤差が最小となるようなフィルタ係数ｈ81’’（ｉ，ｊ）を導出および設定する。また、ｈ81’’（ｉ，ｊ）と異なる、例えばエッジ強調効果を有するフィルタｈ82’’（ｉ，ｊ）を設定する。また、適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ82の面積比が、予め定められた面積比未満である場合には、下記のステップ７０５’．１の処理を行う。
（ステップ７０５’．１）
本ステップでは、上記フィルタ係数ｈ81’’（ｉ，ｊ）およびｈ82’’（ｉ，ｊ）を用いて、当該対象フレームに対して第２の出力画像データ＃１００’を生成する。ただし、適応フィルタ１００は、本ステップにおいては、参照画像リストを問わず、参照画像インデクスｒｅｆ＿ｉｄｘを０として参照画像＃１４ｂが参照された場合、参照画像＃１４ｂにおける参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝０）を参照してフィルタ係数ｈ81’’（ｉ，ｊ）を用いたフィルタリングを行い、参照画像インデクスｒｅｆ＿ｉｄｘとして０でない値で参照画像＃１４ｂが参照された場合、通常とは異なり、参照画像＃１４ｂにおける参照ピクチャＲＰ（ｒｅｆ＿ｉｄｘ＝０）を参照し、フィルタ係数ｈ82’’（ｉ，ｊ）’を用いたフィルタリングを行う。
換言すれば、適応フィルタ１００は、予測画像の再生成時に、第１の予測画像＃１６’に対する領域ＥＲ82の面積比が、予め定められた面積比未満である場合には、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘ＝１によって、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘ＝０が指定する参照ピクチャと同じ参照ピクチャを参照し、当該参照ピクチャ上の領域ＥＲ~822’aに対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。また、適応フィルタ１００は、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘ＝１によって、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘ＝０が指定する参照ピクチャと同じ参照ピクチャを参照し、当該参照ピクチャ上の領域ＥＲ~822’bに対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。
図９は、参照画像＃１４ｂにおいて、参照画像リストＬ０および参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャＡにおける領域ＥＲ~812’a、および、参照画像リストＬ１および参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャＢにおける領域ＥＲ~812’bに対して、フィルタ係数ｈ81’’を用いたフィルタ１を施し、参照画像リストＬ０および参照画像インデクスｒｅｆ＿ｉｄｘ＝１によっても指定される参照ピクチャＡにおける領域ＥＲ~822’a、および、参照画像リストＬ１および参照画像インデクスｒｅｆ＿ｉｄｘ＝１によっても指定される参照ピクチャＢにおける領域ＥＲ~822’bに対して、フィルタ係数ｈ82’’を用いたフィルタ１’を施す場合を示す図である。
なお、上記エッジ強調効果を有するフィルタ係数としては、予め定められた係数を用いればよい。また、上記エッジ強調効果を有するフィルタ係数に代えて、ぼかし効果など他の効果を有するフィルタ係数や、あるいは標準フィルタ係数を用いてもよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
このように、インター予測画像＃１６がＢスライスの場合であっても、参照画像インデクスｒｅｆ＿ｉｄｘは、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能していることになる。
また、以上のように、インター予測画像＃１６がＢスライスの場合であっても、参照画像インデクスｒｅｆ＿ｉｄｘ＝１がほとんど用いられない場合、非適応的なフィルタリングを行うことを示す指標として用いることができるので、追加のサイド情報によって符号量を増加させることなく、パーティション毎に適応的フィルタリングと、非適応的フィルタリングとを切り替えることができる。
なお、符号化データ＃２には、参照画像インデクスｒｅｆ＿ｉｄｘとして格納される値が、本来の意味として参照画像の識別番号を表すのか、あるいはフィルタの選択に用いられることを表すのかを選択するフラグが含むことが好ましい。
（動作例８）
以下では、インター予測画像生成部１６の第８の動作例について図１０〜図１１を参照して説明する。
本動作例においては、上記ステップ１０４、および、上記ステップ１０５は、それぞれ、以下に説明するステップ８０４、および、ステップ８０５に置き換わる。
（ステップ８０４）
適応フィルタ１００は、第１の予測画像＃１６’を、参照画像リストＬ０における参照ピクチャを参照するパーティションから構成される領域ＥＲ91と、参照画像リストＬ１における参照ピクチャを参照するパーティションから構成される領域ＥＲ92と、に分割する。また、入力画像を、上記第１の領域ＥＲ91に対応する領域ＥＲ91’と、上記第２の領域ＥＲ92に対応する領域ＥＲ92’とに分割する。
また、適応フィルタ１００は、参照画像＃１４ｂの参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰ（Ｌ０、ｒｅｆ＿ｉｄｘ＝０）において、上記領域ＥＲ91’の予測のために参照される領域を領域ＥＲ~91’aに設定し、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘが０でない参照ピクチャＲＰ（Ｌ０、ｒｅｆ＿ｉｄｘ＝１）において、上記領域ＥＲ91’の予測のために参照される領域を領域ＥＲ~91’bに設定する。
また、適応フィルタ１００は、参照画像＃１４ｂにおいて参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャＲＰ（Ｌ１、ｒｅｆ＿ｉｄｘ＝０）において、上記領域ＥＲ92’の予測のために参照される領域を領域ＥＲ~92’aに設定し、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘが１である参照ピクチャＲＰ（Ｌ１、ｒｅｆ＿ｉｄｘ＝１）において、上記領域ＥＲ92’の予測のために参照される領域を領域ＥＲ~92’bに設定する。さらに、上記領域ER~91’aおよび領域ER~91’bを総称して領域ER~91’とし、上記領域ER~92’aおよび領域ER~92’bを総称して領域ER~92’とする。
（ステップ８０５）
適応フィルタ１００は、第１の予測画像＃１６’に対する、領域ＥＲ~91’の寄与の重み、および、領域ＥＲ~92’の寄与の重みが何れも、予め定められた重み以上である場合には、領域ＥＲ91’a、および、領域ＥＲ91’bに対して、フィルタ係数ｈ91’（ｉ，ｊ）を用いて適応的なフィルタリングを行うと共に、領域ＥＲ92’a、および、領域ＥＲ92’bに対して、フィルタ係数ｈ92’（ｉ，ｊ）を用いて適応的なフィルタリングを行う。フィルタ係数ｈ91’（ｉ，ｊ）、および、フィルタ係数ｈ92’（ｉ，ｊ）の決定には、上述した統計的手法を用いることができる。
なお、上記寄与の重みとは、例えば、Ｈ．２６４／ＡＶＣ規格における、Ｂピクチャ上の各領域を生成する際に参照する２枚の参照ピクチャの各々の、当該領域に対する輝度の重みと当該領域の面積の積の合計が、全体に占める割合に対応する。なお、寄与の重みの全体は画素数に等しい。また、ある領域が複数回参照される場合は、寄与の重みも複数回算入されるものとする。
図１０は、ｒｅｆ＿ｉｄｘの最大値が１の場合に、参照画像＃１４ｂのうち参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャであって、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘ＝１によっても指定される参照ピクチャＡと、参照画像リストＬ０における参照画像インデクスｒｅｆ＿ｉｄｘ＝１によって指定される参照ピクチャＢと、参照画像リストＬ１における参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャＣとを、インター予測画像＃１６と共に示す図である。
図１０に示すように、適応フィルタ１００は、参照ピクチャＡ上の領域ＥＲ~９１’ａ、および、参照ピクチャＢ上の領域ＥＲ~91’bに対して、フィルタ係数ｈ91’（ｉ，ｊ）を用いたフィルタ１を施し、参照ピクチャＡ上の領域ＥＲ~92’b、および、参照ピクチャＣ上の領域ＥＲ~92’aに対して、フィルタ係数ｈ92’（ｉ，ｊ）を用いたフィルタ２を施す。
一方で、適応フィルタ１００は、全体に対する領域ER~91’の寄与の重みが、予め定められた重みよりも小さい場合には、参照画像リストＬ０およびＬ１を指定する情報の解釈を変更し、下記のステップ８０５．１の処理によって予測画像を再度生成する。
（ステップ８０５．１）
以下では、全体に対する領域ＥＲ92’の寄与の重みが、予め定められた重みよりも小さい場合を例に挙げ、適応フィルタ１００の動作について説明する。
全体に対する領域ＥＲ92’の寄与の重みが、予め定められた重みよりも小さい場合、参照画像リストＬ０およびＬ１を指定する情報の解釈が変更され、新たな解釈に基づいて、第２の出力画像データ＃１００’が生成される。
適応フィルタ以外の処理手順は通常と同じであるが、適応フィルタ１００は、全体に対する領域ＥＲ92’の寄与の重みが、予め定められた重みよりも小さい場合、参照画像リストＬ０を指定して参照された参照ピクチャについては、通常通り参照画像リストＬ０から指定のｒｅｆ＿ｉｄｘの参照ピクチャを取得し、フィルタ係数ｈ91’’（ｉ，ｊ）を用いて適応的なフィルタリングを行う。フィルタ係数ｈ91’’（ｉ，ｊ）は第１の予測画像＃１６’における領域ＥＲ91と、入力画像における領域ＥＲ91’との誤差が最小となるようなフィルタである。
適応フィルタ１００は、参照ピクチャの指定において、参照画像リストＬ１が指定された場合、参照画像リストＬ１に代えて参照画像リストＬ０を用い、フィルタ係数ｈ91’’（ｉ，ｊ）とは異なるフィルタを適用する。例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。また、当該エッジ強調効果を有するフィルタ係数としては、予め定められた係数を用いればよい。また、上記エッジ強調効果を有するフィルタ係数に代えて、ぼかし効果など他の効果を有するフィルタ係数や、あるいは標準フィルタ係数を用いてもよい。
換言すれば、適応フィルタ１００は、第１の予測画像＃１６’に対する領域ＥＲ92’の重みが予め定められた重みより小さい場合には、予測画像の再生成時に、参照画像リスト番号Ｌ１、および、参照画像インデックスｒｅｆ＿ｉｄｘ＝ｎ（ｎ＝０，１）によって、参照画像リスト番号Ｌ０、および、参照画像インデックスｒｅｆ＿ｉｄｘ＝ｎが指定する参照ピクチャと同じ参照ピクチャを参照し、当該参照ピクチャ上の被参照領域に対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。
図１１は、参照画像＃１４ｂにおいて、参照画像リストＬ０および参照画像インデクスｒｅｆ＿ｉｄｘ＝０によって指定される参照ピクチャＡにおける領域ＥＲ~912’a、および、参照画像リストＬ０および参照画像インデクスｒｅｆ＿ｉｄｘ＝１によって指定される参照ピクチャＢにおける領域ＥＲ~922’bに対して、フィルタ係数ｈ91’’を用いた適応的なフィルタ１を施し、参照画像リストＬ１および参照画像インデクスｒｅｆ＿ｉｄｘ＝０によっても指定される参照ピクチャＡにおける領域ＥＲ~912’’b、および、参照画像リストＬ１および参照画像インデクスｒｅｆ＿ｉｄｘ＝１によっても指定される参照ピクチャＢにおける領域ＥＲ~922’’aに対して、エッジ強調効果を有するフィルタ１’を施す場合を示す図である。
なお、上記エッジ強調効果を有するフィルタ係数としては、予め定められた係数を用いればよい。また、上記エッジ強調効果を有するフィルタ係数に代えて、標準フィルタ係数を用いてもよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
このように、本動作例においては、参照画像リスト番号は、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能していることになる。
また、以上のように、参照画像リスト番号Ｌ１が用いられない場合に、非適応的なフィルタリングを行うことを示す指標として用いることができるので、追加のサイド情報によって符号量を増加させることなく、適応的フィルタリングと、非適応的フィルタリングとを切り替えることができる。
なお、本動作例のように、パラメータの解釈が途中で変更される場合は、変更前の解釈によるパラメータを用いて導出された第１の動きベクトル＃１７’および予測モードは、再度導出して予測画像を生成することが好ましい。
なお、上記の説明では、第１の予測画像＃１６’の全体に対する領域ＥＲ92’の寄与の重みが、予め定められた重みよりも小さい場合を例に挙げたが、第１の予測画像＃１６’の全体に対する領域ＥＲ91’の寄与の重みが予め定められた重みよりも小さい場合に対しても同様に適用することができる。
（動作例９）
以下では、インター予測画像生成部１６の第９の動作例について説明する。
本動作例においては、上記ステップ１０４、および、上記ステップ１０５は、それぞれ、以下に説明するステップ９０４、および、ステップ９０５に置き換わる。
（ステップ９０４）
適応フィルタ１００は、第１の予測画像＃１６’を、画像の上半分の領域ＥＲ101と、画像の下半分の領域ＥＲ102とに分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ101に対応する領域ＥＲ101’と、上記第２の領域ＥＲ102に対応する領域ＥＲ102’とに分割する。さらにこれらに対応して、参照画像＃１４ｂにおいて領域ＥＲ101’の予測のために参照される領域を領域ＥＲ~101’に設定し、参照画像＃１４ｂにおいて領域ＥＲ102’の予測のために参照される領域を領域ＥＲ~102’に設定する。
（ステップ９０５）
適応フィルタ１００は、参照画像＃１４ｂにおける領域ＥＲ~101’に対して、フィルタ係数ｈ101’（ｉ，ｊ）に基づいて適応的フィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ~102’に対して、フィルタ係数ｈ102’（ｉ，ｊ）に基づいて適応的フィルタリングを行う。
ここで、フィルタ係数ｈ101’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ101と、それに対応する入力画像＃１における領域ＥＲ101’との誤差が最小となるように定められる。また、フィルタ係数ｈ102’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ102と、それに対応する入力画像＃１における領域ＥＲ102’との誤差が最小となるように定められる。フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１０１，１０２）の具体的な決定には、上述した統計的手法を用いればよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
インター予測画像生成部１６が、上記のような動作をすることによって、画像の上半分から参照される参照画像の領域と、下半分から参照される参照画像の領域とに対して、各々独立に適応的なフィルタリングを行うことができる。
また、一方の領域に対しては、上記適応的なフィルタリングに代えて、予め定められたフィルタ係数によってフィルタリングを行うような構成としてもよい。
また、画像の中央部から参照される参照画像の領域に対してのみ適応的なフィルタリングを行い、それ以外の領域に対しては、予め定められたフィルタ係数によるフィルタリングを行うような構成としてもよい。
一般に、視聴者は、画面の中央部により注目し易いという傾向がある。上記の構成をとることによって、視聴者が注目し易い領域に対して、選択的に適応フィルタリングを行うことができるので、処理コストを抑えつつ、より効果的なフィルタリングを行うことができる。
（動作例１０）
以下では、インター予測画像生成部１６の第１０の動作例について説明する。
本動作例においては、上記ステップ１０４、および、上記ステップ１０５は、それぞれ、以下に説明するステップ１００４、および、ステップ１００５に置き換わる。
（ステップ１００４）
適応フィルタ１００は、第１の予測画像＃１６’を、予め定められたサイズ以上のブロックから構成される領域ＥＲ111と、予め定められたサイズより小さいブロックから構成される領域ＥＲ112とに分割する。
ここで、上記ブロックとは、マクロブロックであってもよいし、マクロブロックよりも小さな単位の領域であってもよい。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ111に対応する領域ＥＲ111’と、上記第２の領域ＥＲ112に対応する領域ＥＲ112’とに分割する。さらにこれらに対応して、参照画像＃１４ｂにおいて領域ＥＲ111’の予測のために参照される領域を領域ＥＲ~111’に設定し、参照画像＃１４ｂにおいて領域ＥＲ112’の予測のために参照される領域を領域ＥＲ~112’に設定する。
（ステップ１００５）
適応フィルタ１００は、参照画像＃１４ｂにおける領域ＥＲ~111’に対して、フィルタ係数ｈ111’（ｉ，ｊ）に基づいて適応的フィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ~112’に対して、フィルタ係数ｈ112’（ｉ，ｊ）に基づいて適応的フィルタリングを行う。
ここで、フィルタ係数ｈ111’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ111と、それに対応する入力画像＃１における領域ＥＲ111’との誤差が最小となるように定められる。また、フィルタ係数ｈ112’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ112と、それに対応する入力画像＃１における領域ＥＲ112’との誤差が最小となるように定められる。フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１１１，１１２）の具体的な決定には、上述した統計的手法を用いればよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
一般に、最適なフィルタ係数は、ブロックのサイズによって異なる。
インター予測画像生成部１６が、上記のような動作をすることによって、上記予め定められたサイズ以上のブロックから構成される領域から参照される参照画像の領域と、上記予め定められたサイズより小さいブロックから構成される領域から参照される参照画像の領域とに対し、各々独立に適応的なフィルタリングを行うことができる。
また、第１の予測画像＃１６’を、パーティションのサイズに応じて、２つまたはそれ以上の領域に分割するような構成としてもよい。
また、上記予め定められたサイズ以上のブロック、または、予め定められたサイズ以上のパーティションから構成される領域から参照される参照画像の領域に対しては、予め定められたフィルタ係数によるフィルタリングを行うような構成としてもよい。
一般に、より大きなサイズのブロック、または、パーティションの画像は、より平坦であるという傾向がある。
上記の構成によれば、上記予め定められたサイズ以上のブロック（または、パーティション）から参照される参照画像の領域に対しては、固定的なフィルタリングを行いつつ、上記予め定められたサイズより小さいブロック（または、パーティション）から参照される参照画像の領域に対しては、適応的なフィルタリングを行うことができる。
したがって、上記の構成によれば、処理コストを抑えつつ、より効果的なフィルタリングを行うことができる。
（動作例１１）
以下では、インター予測画像生成部１６の第１１の動作例について説明する。
本動作例においては、上記ステップ１０４、および、上記ステップ１０５は、それぞれ、以下に説明するステップ１１０４、および、ステップ１１０５に置き換わる。
（ステップ１１０４）
適応フィルタ１００は、第１の予測画像＃１６’を、予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域ＥＲ121と、そうでない動きベクトルが割り付けられたパーティションから構成される領域ＥＲ122とに分割する。
また、適応フィルタ１００は、入力画像＃１を、上記第１の領域ＥＲ121に対応する領域ＥＲ121’と、上記第２の領域ＥＲ122に対応する領域ＥＲ122’とに分割する。さらにこれらに対応して、参照画像＃１４ｂにおいて領域ＥＲ121’の予測のために参照される領域を領域ＥＲ~121’に設定し、参照画像＃１４ｂにおいて領域ＥＲ122’の予測のために参照される領域を領域ＥＲ~122’に設定する。
（ステップ１１０５）
適応フィルタ１００は、参照画像＃１４ｂにおける領域ＥＲ121’に対して、フィルタ係数ｈ121’（ｉ，ｊ）に基づいて適応的フィルタリングを行い、参照画像＃１４ｂにおける領域ＥＲ122’に対して、フィルタ係数ｈ122’（ｉ，ｊ）に基づいて適応的フィルタリングを行う。
ここで、フィルタ係数ｈ121’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ121と、それに対応する入力画像＃１における領域ＥＲ121’との誤差が最小となるように定められる。また、フィルタ係数ｈ122’（ｉ，ｊ）は、第１の予測画像＃１６’における領域ＥＲ122と、それに対応する入力画像＃１における領域ＥＲ122’との誤差が最小となるように定められる。フィルタ係数ｈk’（ｉ、ｊ）（ｋ＝１２１，１２２）の具体的な決定には、上述した統計的手法を用いればよい。
適応フィルタ１００は、以上のようなフィルタリングを行うことによって、第２の出力画像データ＃１００’を生成し、出力する。
一般に、最適なフィルタ係数は、パーティションに割り付けられた動きベクトルの大きさによって異なる。
インター予測画像生成部１６が、上記のような動作をすることによって、上記予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域と、そうでない動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域とに対し、各々独立に適応的なフィルタリングを行うことができる。
また、本動作例においては、上記予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域のみに対し、適応的なフィルタリングを行い、そうでない動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域に対しては、予め定められたフィルタ係数を用いて固定的なフィルタリングを行うようにしてもよい。
一般に、大きさがより大きい動きベクトルが割り付けられたパーティションから参照される参照画像の領域に対しては、適応的なフィルタリングを行うことがより効果的である。
上記のような構成をとることにより、大きさが小さい動きベクトルが割り付けられたパーティションからなる領域から参照される参照画像の領域に対しては、固定的なフィルタリングを行いつつ、大きさが大きい動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域に対しては、適応的なフィルタリングを行うことができるので、処理コストを抑えつつ、より効果的なフィルタリングを行うことができる。
また、本動作例においては、動きベクトルの水平方向の成分が、予め定められた値以上であるか否か、または、動きベクトルの垂直方向の成分が、予め定められた値以上であるか否か、に応じて、２つの領域に分割するような構成としてもよい。
このような構成とすることにより、動きベクトルの成分ごとの大きさに応じて、より適切なフィルタリングを行うことができる。
あるいは、動きベクトル向きに応じて２つの領域に分割するような構成とすることもできる。
（動作例１２）
また、上記の動作例においては、当該マクロブロック、または、当該パーティションに関連付けられた情報（スキップモード、参照インデックスなど）に応じて、当該マクロブロック、または、当該パーティションが複数の領域のうち何れかに分類される場合について説明を行ったが、本発明はこれに限定されるものではない。
すなわち、上記の動作例は、当該マクロブロックの近傍のマクロブロック、または、当該パーティションの近傍のパーティションに関連付けられた情報に応じて、当該マクロブロック、または、当該パーティションが、複数の領域のうち、何れかの領域に分類されるような構成とすることもできる。
特に、適応フィルタ１００は、当該マクロブロックの近傍（隣接も含む）のマクロブロックにおける変換係数の値に応じて、当該マクロブロックを複数の領域のうち、何れかに分類し、それぞれの領域に対応して適応的なフィルタリングを行うような構成としてもよい。
また、適応フィルタ１００は、当該マクロブロックの近傍のマクロブロックにおける変換係数の値が予め定められた値よりも小さい場合に、当該マクロブロックから参照される参照画像の領域を、固定フィルタによってフィルタリングするような構成としてもよい。
一般に、変換係数の符号量が小さいマクロブロックは、マクロブロック内における画像の変化が小さいため、予測し易い領域である。したがって、そのようなマクロブロックの近傍のマクロブロックから参照される参照画像の領域に対しては、固定フィルタを用いつつ、変換係数の符号量が大きいマクロブロックの近傍のマクロブロックから参照される参照画像の領域に対しては、適応フィルタを用いることによって、処理コストを抑えつつ、より適切なフィルタリングを行うことができる。
また、適応フィルタ１００は、当該マクロブロックの近傍のマクロブロックにおける画像の平坦度に応じて、当該マクロブロックを複数の領域のうち、何れかに分類するような構成としてもよい。
一般に、領域の平坦度に応じて、最適なフィルタ係数は異なる。
上記の構成をとることによって、平坦度に応じて分割された複数の領域の各々に対して、独立に適応的にフィルタ係数を求めることができるので、より効率的なフィルタリングを行うことができる。
また、適応フィルタ１００は、当該マクロブロックの近傍のマクロブロックにおける画像の明度や色差に応じて、当該マクロブロックを複数の領域のうち、何れかに分類するような構成としてもよい。
一般に、領域の明度や色差に応じて、最適なフィルタ係数は異なる。
上記の構成をとることによって、明度や色差に応じて分割された複数の領域の各々に対して、独立に適応的にフィルタ係数を求めることができるので、より効率的なフィルタリングを行うことができる。
（動作例１３）
また、適応フィルタ１００は、第１の予測画像＃１６’が参照する参照画像の情報に応じて、第１の予測画像＃１６’を複数の領域に分割するような構成としてもよい。
例えば、適応フィルタ１００は、第１の予測画像＃１６’が参照する参照画像がイントラピクチャ、すなわち、イントラ予測によって生成されたピクチャであるか否かに応じて、第１の予測画像＃１６’を２つの領域に分割するような構成としてもよい。
一般に、参照画像がイントラピクチャであるか否かによって予測方式が異なるため、最適なフィルタ係数は異なる。
上記のような構成をとることによって、参照画像がイントラピクチャである領域と、参照画像がイントラピクチャでない領域とに対して、それぞれ、独立に適応的なフィルタ係数を算出することができる。したがって、第１の予測画像＃１６’が、イントラピクチャを参照する領域と、イントラピクチャを参照しない領域とから構成される場合であっても、適切なフィルタリングを行うことができる。
また、適応フィルタ１００は、第１の予測画像＃１６’が参照する参照ピクチャにおける量子化パラメータＱＰの値に応じて、第１の予測画像＃１６’を複数の領域に分割するような構成としてもよい。
例えば、適応フィルタ１００は、第１の予測画像＃１６’の各マクロブロックが参照する参照ピクチャにおいて当該マクロブロックに対応する領域における量子化パラメータＱＰの平均値が、予め定められた閾値以上であるか否かに応じて、第１の予測画像＃１６’を２つの領域に分割するような構成としてもよい。
一般に、量子化パラメータＱＰの値によって参照画像の画質は変化し、したがって最適なフィルタ係数は異なる。
上記のような構成をとることによって、量子化パラメータＱＰの値に応じて、より適切なフィルタリングを行うことができる。
また、適応フィルタ１００は、第１の予測画像＃１６’が参照する参照画像上の領域における画素値の平均が予め定められた閾値以上であるか否かに応じて、第１の予測画像＃１６’を２つの領域に分割するような構成としてもよい。
一般に、参照画像上の領域が平坦である場合と、平坦でない場合における最適なフィルタ係数は異なる。
上記のような構成をとることによって、参照画像上の領域が平坦である場合と、参照画像上の領域が平坦でない場合とに対して、独立に、適応的なフィルタ係数を決定することができる。
したがって、上記の構成をとることによって、第１の予測画像＃１６’が参照する参照画像が平坦な領域と平坦でない領域とを含む場合であっても、より適切なフィルタリングを行うことができる。
また、適応フィルタ１００は、第１の予測画像＃１６’が参照する参照画像上の領域に含まれるマクロブロックの情報に応じて、第１の予測画像＃１６’を複数の領域に分割するような構成としてもよい。
上記の構成をとることによって、第１の予測画像＃１６’が参照する参照画像上の領域に含まれるマクロブロックの情報に応じて、より適切なフィルタリングを行うことができる。
（符号化データ＃２の構成）
以下では、動画像符号化装置１を用いて生成した符号化データ＃２の構成について、図１４を参照して説明する。
図１４は、動画像符号化装置１を用いて生成し、以下で説明する動画像復号装置２に参照される符号化データ＃２のスライスごとのビットストリーム＃ＢＳを示す図である。図１４に示すように、ビットストリーム＃ＢＳは、フィルタ係数情報ＦＣ、マクロブロック情報ＭＢ１〜ＭＢＮを含んでいる。
フィルタ係数情報ＦＣは、適応フィルタ１００によって生成されたフィルタ係数を含む情報である。
マクロブロック情報ＭＢ１〜ＭＢＮは、当該スライスに含まれるマクロブロックに関する情報であり、マクロブロックの予測モード＃１８ｂ、ブロック分割情報などが含まれている。ここで、Ｎは、当該スライスに含まれるマクロブロックの数を表している。
以下では、上述した各動作例において、動画像符号化装置１が出力する符号化データ＃２の構成について、より具体的に説明する。
（構成例１）
動作例１において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例１においては、動画像符号化装置１は、第１の予測画像＃１６’を、スキップモードが適用されているマクロブロックから構成される第１の領域ＥＲ1と、スキップモードが適用されていないマクロブロックから構成される第２の領域ＥＲ2とに分割し、領域ＥＲ1、および、領域ＥＲ2に対応して、それぞれ、フィルタ係数ｈ1’（ｉ，ｊ）、および、フィルタ係数ｈ2’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出されたフィルタ係数ｈ1’（ｉ，ｊ）、および、フィルタ係数ｈ2’（ｉ，ｊ）が含まれる。
また、符号化データ＃２におけるマクロブロック情報ＭＢ１〜ＭＢＮには、各マクロブロックにスキップモードが適用されているか否かの情報が含まれる。
（構成例２）
動作例２において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例１においては、動画像符号化装置１は、第１の予測画像＃１６’を、参照画像インデクスｒｅｆ＿ｉｄｘが０であるパーティションから構成される領域ＥＲ21と、それ以外の領域ＥＲ22とに分割し、領域ＥＲ21、および、領域ＥＲ22に対応して、それぞれ、フィルタ係数ｈ21’（ｉ，ｊ）、および、フィルタ係数ｈ22’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出されたフィルタ係数ｈ21’（ｉ，ｊ）、および、フィルタ係数ｈ22’（ｉ，ｊ）が含まれる。
また、符号化データ＃２には、各パーティションが参照する参照画像インデクスが含まれる。
（構成例３）
動作例３において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例３においては、適応フィルタ１００は、動作例１において説明した動作によって、インター予測画像＃１６ａを生成し、動作例２において説明した動作によって、インター予測画像＃１６ｂを生成する。また、適応フィルタ１００は、インター予測画像＃１６ａ、および、インター予測画像＃１６ｂのうち、符号化効率の高い予測画像を選択し、出力する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、適応フィルタ１００によって、選択された予測画像を生成するために用いられたフィルタ係数が含まれる。
また、符号化データ＃２は、動作例１、および、動作例２のうち、何れの方法によって予測画像が生成されたのかを示すフラグを含むことが好ましい。すなわち、符号化データ＃２は、自身に含まれるフィルタ係数が、スキップモードを参照して算出されたフィルタ係数であるか、または、参照画像インデクスを参照して算出されたフィルタ係数であるかを示すフラグを含むことが好ましい。
なお、動作例３において説明したように、適応フィルタ１００が、動作例１における領域ＥＲ1と領域ＥＲ2との面積差と、動作例２における領域ＥＲ21と領域ＥＲ22との面積差を参照して、インター予測画像＃１６ａ、または、インター予測画像＃１６ｂを選択するような場合には、符号化データ＃２には、何れの方法によって予測画像を生成したかを示すフラグを含まない構成とすることも可能である。これは、符号化データ＃２を復号する動画像復号装置において、上記面積差を算出することによって、フラグを参照することなく、動作例１、および、動作例２のうち、何れの方法によって予測画像が生成されたのかを識別することができるためである。
（構成例４）
動作例４において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例４においては、適応フィルタ１００は、第１の予測画像＃１６’に含まれる各領域を、予め定められた判定基準によって、領域ＥＲ41と、領域ＥＲ42とに分割し、さらに、入力画像＃１を領域ＥＲ41と領域ＥＲ42とに対応する、領域ＥＲ41’と領域ＥＲ42’とに分割し、領域ＥＲ41’、および、領域ＥＲ42’に対応して、それぞれ、フィルタ係数ｈ41’（ｉ，ｊ）、および、フィルタ係数ｈ42’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出されたフィルタ係数ｈ41’（ｉ，ｊ）、および、フィルタ係数ｈ42’（ｉ，ｊ）が含まれる。
また、符号化データ＃２には、参照画像における各領域が、上記領域ＥＲ41’、または、上記領域ＥＲ42’の何れに対応する領域であるかを示すフラグが含まれる。
例えば、動作例４において、適応フィルタ１００が、第１の予測画像＃１６’に含まれる各マクロブロックを、予め定められた判定基準によって、領域ＥＲ41と、領域ＥＲ42とに分割する場合には、符号化データ＃２におけるマクロブロック情報ＭＢ１〜ＭＢＮには、各マクロブロックが、上記領域ＥＲ41’、および、上記領域ＥＲ42’の何れに属する領域であるかを示すフラグが含まれる。
また、上記予め定められた判定基準が複数存在するような場合には、符号化データ＃２には、動画像符号化装置１が、第１の予測画像＃１６’に含まれる各領域を、何れの判定基準によって分割したかを示すフラグを含むことが好ましい。
（構成例５）
動作例５において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例５においては、例えば、適応フィルタ１００は、第１の予測画像＃１６’に含まれる各マクロブロックに対応する入力画像＃１の領域における平均画素値に応じて、第１の予測画像＃１６’を、領域ＥＲ51と、領域ＥＲ52とに分割し、さらに、入力画像＃１を領域ＥＲ51と領域ＥＲ52とに対応する、領域ＥＲ51’と領域ＥＲ52’とに分割し、領域ＥＲ51’、および、領域ＥＲ52’に対応して、それぞれ、フィルタ係数ｈ51’（ｉ，ｊ）、および、フィルタ係数ｈ52’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出されたフィルタ係数ｈ51’（ｉ，ｊ）、および、フィルタ係数ｈ52’（ｉ，ｊ）が含まれる。
また、符号化データ＃２におけるマクロブロック情報ＭＢ１〜ＭＢＮには、各マクロブロックが、上記領域の何れに属するマクロブロックであるかを示すフラグが含まれる。
また、適応フィルタ１００が、予測誤差を参照して、第１の予測画像＃１６’を分割するような場合についても同様である。
（構成例６）
動作例６において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例６においては、適応フィルタ１００は、上述した動作例１〜５において分割された第１の予測画像＃１６’の一方の領域の面積が、第１の予測画像＃１６’の面積に対して占める割合が、予め定められた割合以下である場合に、当該一方の領域から参照される参照画像＃１４ｂの領域に対して、上述した標準フィルタ係数を用いてフィルタリングを行い、他の一方の領域から参照される参照画像＃１４ｂの領域に対して、上述した統計的手法によって算出された適応的なフィルタ係数を用いてフィルタリングを行う。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出された適応的なフィルタ係数が含まれる。また、符号化データ＃２は、標準フィルタ係数を用いた領域を示すフラグを含むことが好ましい。
また、適応フィルタ１００が、分割された第１の予測画像＃１６’の一方の領域の面積の第１の予測画像＃１６’の面積に対して占める割合が、予め定められた割合以下である場合に、分割前の第１の予測画像＃１６’全体に対して、適応的にフィルタ係数を算出するような構成である場合には、符号化データ＃２は、複数の適応的フィルタを用いないことを示すフラグを含むことが好ましい。
（構成例７）
動作例７において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例７においては、適応フィルタ１００は、参照画像インデクスｒｅｆ＿ｉｄｘが０でない参照ピクチャを参照する領域の、第１の予測画像＃１６’に対する面積比が、予め定められた面積比未満である場合には、参照画像インデクスｒｅｆ＿ｉｄｘが０である参照ピクチャを参照する領域に対して、適応的なフィルタ係数を算出すると共に、参照画像インデクスｒｅｆ＿ｉｄｘが０でない参照ピクチャを参照する領域に対応する領域であって、参照画像インデクスｒｅｆ＿ｉｄｘが０でない参照ピクチャ上の領域に対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。また、当該エッジ強調効果を有するフィルタ係数は、予め定められたものを用いればよい。
符号化データ＃２におけるフィルタ係数情報ＦＣには、上記のように算出された適応的なフィルタ係数が含まれる。
また、符号化データ＃２には、各領域が参照する参照ピクチャの参照画像インデクスが含まれる。
本構成例においては、参照画像インデクスｒｅｆ＿ｉｄｘは、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能する場合がある。
したがって、符号化データ＃２には、参照画像インデクスｒｅｆ＿ｉｄｘとして格納される値が、本来の意味として参照画像の識別番号を表すのか、あるいはフィルタの選択に用いられることを表すのかを選択するフラグを含むことが好ましい。
（構成例８）
動作例８において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例８においては、適応フィルタ１００は、第１の予測画像＃１６’の領域であって、参照画像リスト番号が１である参照画像を参照する領域において、当該参照画像リスト番号が１である参照画像の寄与の重みが、予め定められた重みよりも小さい場合には、参照画像リスト番号が０である参照画像を参照する領域に対して、適応的なフィルタ係数を算出すると共に、参照画像リスト番号が１である参照画像を参照する領域に対応する領域であって、参照画像リスト番号が０である参照画像上の領域に対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行う。また、当該エッジ強調効果を有するフィルタ係数は、予め定められたものを用いればよい。
符号化データ＃２におけるフィルタ係数情報ＦＣには、上記のように算出された適応的なフィルタ係数が含まれる。
また、符号化データ＃２には、各領域が参照する参照画像の参照画像リスト番号が含まれる。
本構成例においては、参照画像リスト番号は、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能する場合がある。
したがって、符号化データ＃２には、参照画像リスト番号として格納される値が、本来の意味として参照画像リストを区別する番号を表すのか、あるいはフィルタの選択に用いられることを表すのかを選択するフラグを含むことが好ましい。
（構成例９）
動作例９において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例９においては、適応フィルタ１００は、入力画像＃１を、画像の上半分の領域ＥＲ101’と、画像の下半分の領域ＥＲ102’とに分割し、領域ＥＲ101’から参照される参照画像＃１４ｂの領域、および、領域ＥＲ102’から参照される参照画像＃１４ｂの領域に対応して、それぞれ、フィルタ係数ｈ101’（ｉ，ｊ）、および、フィルタ係数ｈ102’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、上記のように算出されたフィルタ係数ｈ101’（ｉ，ｊ）、および、フィルタ係数ｈ102’（ｉ，ｊ）が含まれる。
また、適応フィルタ１００が、画像の下半分の領域ＥＲ102’から参照される参照画像＃１４ｂの領域に対しては、上記適応的なフィルタリングに代えて、予め定められたフィルタ係数によってフィルタリングを行うような構成とする場合には、符号化データ＃２におけるフィルタ係数情報ＦＣには、フィルタ係数ｈ101’（ｉ，ｊ）が含まれる。
（構成例１０）
動作例１０において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例１０においては、適応フィルタ１００は、第１の予測画像＃１６’を、予め定められたサイズ以上のブロックから構成される領域ＥＲ111と、予め定められたサイズより小さいブロックから構成される領域ＥＲ112とに分割し、さらに、入力画像＃１を領域ＥＲ111と領域ＥＲ112とに対応する、領域ＥＲ111’と領域ＥＲ112’とに分割し、領域ＥＲ111’、および、領域ＥＲ112’に対応して、それぞれ、フィルタ係数ｈ111’（ｉ，ｊ）、および、フィルタ係数ｈ112’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、上記のように算出されたフィルタ係数ｈ111’（ｉ，ｊ）、および、フィルタ係数ｈ112’（ｉ，ｊ）が含まれる。
また、適応フィルタ１００が、上記予め定められたサイズ以上のブロックから構成される領域ＥＲ111から参照される参照画像＃１４ｂの領域に対して、予め定められたフィルタ係数によるフィルタリングを行うような構成とする場合には、符号化データ＃２におけるフィルタ係数情報ＦＣには、フィルタ係数ｈ112’（ｉ，ｊ）が含まれる。
（構成例１１）
動作例１１において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例１１においては、適応フィルタ１００は、第１の予測画像＃１６’を、予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域ＥＲ121と、そうでない動きベクトルが割り付けられたパーティションから構成される領域ＥＲ122とに分割し、さらに、入力画像＃１を領域ＥＲ121と領域ＥＲ122とに対応する、領域ＥＲ121’と領域ＥＲ122’とに分割し、領域ＥＲ121’、および、領域ＥＲ122’に対応して、それぞれ、フィルタ係数ｈ121’（ｉ，ｊ）、および、フィルタ係数ｈ122’（ｉ，ｊ）を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、上記のように算出されたフィルタ係数ｈ121’（ｉ，ｊ）、および、フィルタ係数ｈ122’（ｉ，ｊ）が含まれる。
また、本動作例においては、上記予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域ＥＲ121から参照される参照画像＃１４ｂの領域のみに対し、適応的なフィルタリングを行い、そうでない動きベクトルが割り付けられたパーティションから構成される領域ＥＲ122から参照される参照画像＃１４ｂの領域に対しては、予め定められたフィルタ係数を用いて固定的なフィルタリングを行う構成とする場合には、符号化データ＃２におけるフィルタ係数情報ＦＣには、フィルタ係数ｈ121’（ｉ，ｊ）が含まれる。
（構成例１２）
動作例１２において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例１２においては、適応フィルタ１００は、当該マクロブロックの近傍（隣接も含む）のマクロブロックにおける変換係数の値に応じて、当該マクロブロックを複数の領域のうち、何れかに分類し、それぞれの領域に対応してフィルタ係数を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出された適応的なフィルタ係数が含まれる。
また、上記複数の領域うち、何れかの領域に対して固定的なフィルタリングを行う場合であって、符号化データ＃２を復号する動画像復号装置に、当該固定的なフィルタリングを行うためのフィルタ係数が格納されている場合には、符号化データ＃２におけるフィルタ係数情報ＦＣは、そのような固定的なフィルタリングを行うためのフィルタ係数を含まなくてもよい。ただし、この場合には、符号化データ＃２は、固定的なフィルタリングを行った領域を示すフラグを含むことが好ましい。
動作例１２において説明したその他の場合についても、ほぼ同様である。
（構成例１３）
動作例１３において動画像符号化装置１が出力する符号化データ＃２の構成は以下の通りである。
すでに説明したように、動作例１３においては、適応フィルタ１００は、第１の予測画像＃１６’が参照する参照画像がイントラピクチャ、すなわち、イントラ予測によって生成されたピクチャであるか否かに応じて、第１の予測画像＃１６’を２つの領域に分割し、それぞれの領域に対応して、フィルタ係数を適応的に算出する。
符号化データ＃２におけるフィルタ係数情報ＦＣには、このように算出された適応的なフィルタ係数が含まれる。
また、適応フィルタ１００が、量子化パラメータＱＰを参照して、第１の予測画像＃１６’を複数の領域に分割する場合についても、ほぼ同様である。
（動画像復号装置２）
以下では、本発明に係る動画像復号装置２について、図１２〜図１３を参照して説明する。
動画像復号装置２は、その一部に、Ｈ．２６４／ＡＶＣ規格、および、ＫＴＡソフトウェアに採用されている技術を用いている動画像復号装置である。
図１２は、動画像復号装置２の構成を示すブロック図である。
図１２に示すように、動画像復号装置２は、可変長符号復号部２３、動きベクトル復元部２４、バッファメモリ２５、インター予測画像生成部２６、イントラ予測画像生成部２７、予測方式決定部２８、逆量子化・逆変換部２９、および、加算器３０を備えている。
動画像復号装置２は、符号化データ＃２を受け、復号画像＃３を出力する。
可変長符号復号部２３は、符号化データ＃２を可変長復号し、差分動きベクトル＃２３ａ、サイド情報＃２３ｂ、量子化予測残差データ＃２３ｃ、および、フィルタ係数情報＃２３ｄを出力する。ここで、フィルタ係数情報＃２３ｄは、上述したフィルタ係数＃１０１に対応する情報が含まれている。
動きベクトル復元部２４は、差分動きベクトル＃２３ａ、および、すでに復号され、バッファメモリ２５に格納された動きベクトル＃２５ａから対象パーティションの動きベクトル＃２４を復号する。
バッファメモリ２５には、復号画像＃３、動きベクトル＃２４、および、サイド情報＃２３ｂが格納される。
インター予測画像生成部２６は、動きベクトル復元部２４によって復号され、バッファメモリ２５を経由した動きベクトル＃２４、および、バッファメモリ２５に格納された参照画像＃２５ｄに基づいて、インター予測画像＃２６を生成する。なお、動きベクトル＃２５ｃは、動きベクトル＃２４と同一の動きベクトルを含む。また、インター予測画像生成部２６には、サイド情報＃２３ｂ、および、フィルタ係数情報＃２３ｄが入力される。
インター予測画像生成部２６の構成については、後で詳述するため、ここでは説明を省略する。
イントラ予測画像生成部２７は、バッファメモリ２５に格納された、対象マクロブロックと同じ画像内の局所復号画像＃２５ｂから、イントラ予測画像＃２７を生成する。
予測方式決定部２８は、サイド情報＃２３ｂに含まれる予測モード情報に基づいて、イントラ予測画像＃２７、または、インター予測画像＃２６のうち、何れか一方を選択し、予測画像＃２８として出力する。
逆量子化・逆変換部２９は、量子化予測残差データ＃２３ｃに対し、逆量子化、および、逆ＤＣＴ変換を行い、予測残差＃２９を出力する。
加算器３０は、予測残差＃２９、および、予測画像＃２８を加算し、復号画像＃３として出力する。また、出力された復号画像＃３は、バッファメモリ＃３に供給される。
（インター予測画像生成部２６）
図１３は、インター予測画像生成部２６の構成を示すブロック図である。図１３に示すように、インター予測画像生成部２６は、予測画像生成部２６ａ、および、適応フィルタ１００’’を備えている。
適応フィルタ１００’’は、バッファメモリ２５に格納された参照画像＃２５ｄに対して、フィルタリングを施すことによって出力画像データ＃１００’’’を生成し、出力する。また、当該フィルタリングは、符号化データ＃２から復号されたフィルタ係数情報＃２３ｄに基づいて行われる。
また、適応フィルタ１００’’には、サイド情報＃２３ｂが入力される。ここで、サイド情報＃２３ｂは、対象ブロックが双方向予測されたブロックであるか、または、単方向予測されたブロックであるかの情報、対象マクロブロックにスキップモードが適用されているか否かの情報、対象マクロブロックがイントラ予測されたマクロブロックであるか、インター予測されたマクロブロックであるかの予測モード情報、対象ブロックに関連付けられた量子化パラメータＱＰを含むものとする。
予測画像生成部２６ａは、出力画像データ＃１００’’’に対し、動きベクトル＃２５ｃを用いた動き補償を行うことによって、インター予測画像＃２６を生成し出力する。
以下では、構成例１〜１３において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作について、より具体的に説明する。
（復号動作例１）
構成例１において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、符号化データ＃２におけるマクロブロック情報ＭＢ１〜ＭＢＮに含まれる情報であって、各マクロブロックにスキップモードが適用されているか否かの情報を参照し、スキップモードが適用されているマクロブロックに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ1’（ｉ，ｊ）を用いてフィルタリングを行い、スキップモードが適用されていないマクロブロックに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ2’（ｉ，ｊ）を用いてフィルタリングを行う。
（復号動作例２）
構成例２において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、符号化データ＃２に含まれる情報であって、各パーティションが参照する参照画像インデクスｒｅｆ＿ｉｄｘについての情報を参照し、参照画像インデクスｒｅｆ＿ｉｄｘが０であるパーティションに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ21’（ｉ，ｊ）を用いてフィルタリングを行い、参照画像インデクスｒｅｆ＿ｉｄｘが０でないパーティションに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ22’（ｉ，ｊ）を用いてフィルタリングを行う。
（復号動作例３）
構成例３において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
まず、適応フィルタ１００’’は、符号化データ＃２に含まれるフラグを参照して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数が、スキップモードを参照して算出されたフィルタ係数であるか、または、参照画像インデクスｒｅｆ＿ｉｄｘを参照して算出されたフィルタ係数であるかを判別する。
符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数がスキップモードを参照して算出されたフィルタ係数である場合には、適応フィルタ１００’’は、スキップモードが適用されているマクロブロックに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ1’（ｉ，ｊ）を用いてフィルタリングを行い、スキップモードが適用されていないマクロブロックに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ2’（ｉ，ｊ）を用いてフィルタリングを行う。
一方で、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数が参照画像インデクスｒｅｆ＿ｉｄｘを参照して算出されたフィルタ係数である場合には、参照画像インデクスｒｅｆ＿ｉｄｘが０であるパーティションに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ21’（ｉ，ｊ）を用いてフィルタリングを行い、参照画像インデクスｒｅｆ＿ｉｄｘが０でないパーティションに対しては、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ22’（ｉ，ｊ）を用いてフィルタリングを行う。
（復号動作例４）
構成例４において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、生成中のインター予測画像＃２６上の領域を、予め定められた判定基準によって、領域ＥＲ41’’に属するものと、領域ＥＲ42’’に属するものとに分類する。また、適応フィルタ１００’’は、領域ＥＲ41’’の予測用に参照される参照画像＃２５ｄの領域を領域ＥＲ~41’’に設定し、領域ＥＲ42’’の予測用に参照される参照画像＃２５ｄの領域を領域ＥＲ~42’’に設定する。
また、適応フィルタ１００’’は、領域ＥＲ~41’’、および、領域ＥＲ~42’’に対して、それぞれ、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ41’（ｉ，ｊ）、および、フィルタ係数ｈ42’（ｉ，ｊ）を用いてフィルタリングを行う。ここで、領域ＥＲ~41’’、および、領域ＥＲ~41’’は、それぞれ、上記動作例４において説明した、領域ＥＲ~41’、および、領域ＥＲ~41’に対応している。
なお、予め定められた判定基準が複数存在するような場合には、適応フィルタ１００’’は、当該予め定められた判定基準のうち、符号化データ＃２に含まれるフラグによって指定される判定基準に基づいて、マクロブロックを分類し、分類されたそれぞれのマクロブロックが参照する領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を分類に応じて選択し、これを用いてフィルタリングを行う。
また、上記予め定められた判定基準は、動画像符号化装置における判定基準と同一であればよく、本発明を限定するものではないが、例えば、適応フィルタ１００’’は、各マクロブロックを、当該マクロブロックに隣接する複数のマクロブロックのうち、より多くのマクロブロックが属する組に分類するようにすればよい。
（復号動作例５）
構成例５において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、符号化データ＃２におけるマクロブロック情報ＭＢ１〜ＭＢＮに含まれるフラグを参照して、生成中のインター予測画像＃２６を、領域ＥＲ51’’と、領域ＥＲ52’’とに分割する。また、適応フィルタ１００’’は、領域ＥＲ51’’の予測用に参照される参照画像＃２５ｄの領域を領域ＥＲ~51’’に設定し、領域ＥＲ52’’の予測用に参照される参照画像＃２５ｄの領域を領域ＥＲ~52’’に設定する。
また、適応フィルタ１００’’は、領域ＥＲ~51’’、および、領域ＥＲ~52’’に対して、それぞれ、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ51’（ｉ，ｊ）、および、フィルタ係数ｈ52’（ｉ，ｊ）を用いてフィルタリングを行う。ここで、領域ＥＲ~51’’および、領域ＥＲ~52’’は、それぞれ、上記動作例５において説明した領域ＥＲ~51’および、領域ＥＲ~52’に対応している。
なお、適応フィルタ１００’’は、予測画像生成のために参照される参照画像＃２５ｄの各領域における平均画素値を用いた条件に応じて、生成中のインター予測画像＃２６を、領域ＥＲ51’’と、領域ＥＲ52’’とに分割し、それぞれの参照する領域ＥＲ~51’’、および、領域ＥＲ~52’’に対して、それぞれ、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ51’（ｉ，ｊ）、および、フィルタ係数ｈ52’（ｉ，ｊ）を用いてフィルタリングを行うような構成としてもよい。この場合には、動画像符号化装置の側で同一の条件を用いれば、符号化データ＃２に、各マクロブロックが何れの領域に属するかを示すフラグが含まれない場合であっても、各領域に対して、適切なフィルタリングを行うことができる。
（復号動作例６）
構成例６において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
まず、適応フィルタ１００’’は、符号化データ＃２に含まれるフラグを参照し、生成中のインター予測画像＃２６を、参照画像＃２５ｄにおいて標準フィルタが適用されるべき領域に対応する領域と、参照画像＃２５ｄにおいて符号化データ＃２に含まれるフィルタ係数が適用されるべき領域に対応する領域とに分割する。
次に、適応フィルタ１００’’は、標準フィルタが適用されるべき領域に対して、標準フィルタを用いてフィルタリングを行い、符号化データ＃２に含まれるフィルタ係数が適用されるべき領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いてフィルタリングを行う。
また、動画像符号化装置１が、分割された第１の予測画像＃１６’の一方の領域の面積の第１の予測画像＃１６’の面積に対して占める割合が、予め定められた割合以下である場合に、分割前の第１の予測画像＃１６’全体に対して、適応的にフィルタ係数を算出するような構成である場合には、適応フィルタ１００’’は、符号化データ＃２に含まれるフラグであって、生成中のインター予測画像＃２６が参照する領域全体に対してフィルタを適用すべきか否かのフラグに応じて、参照される領域全体、または、参照される各領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いてフィルタリングを行う。
なお、適応フィルタ１００’’は、生成中のインター予測画像＃２６上の複数の領域のうち当該生成中のインター予測画像＃２６に対する面積比が予め定められた面積比より大きい領域に対応する参照画像＃２５ｄ上の領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いてフィルタリングを行い、生成中のインター予測画像＃２６上の複数の領域のうち当該生成中のインター予測画像＃２６に対する面積比が予め定められた面積比以下である領域に対応する参照画像＃２５ｄ上の領域に対して、標準フィルタを用いてフィルタリングを行うような構成としてもよい。
このような構成をとることによって、適応フィルタ１００’’は、符号化データ＃２にフラグが含まれていない場合であっても、出力画像データ＃１００’’’を生成し、出力することができる。したがって、符号化データ＃２の符号量を削減しつつ、効果的なフィルタリングを行うことができる。
（復号動作例７）
構成例７において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
本動作例においては、参照画像インデクスｒｅｆ＿ｉｄｘは、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能する場合がある。
まず、適応フィルタ１００’’は、生成中のインター予測画像＃２６のうち、参照画像インデクスとして１を指定する領域の、生成中のインター予測画像＃２６全体に対する面積比が、予め定められた面積比未満であるか否かを判定する。
上記面積比が、上記予め定められた面積比以上である場合には、適応フィルタ１００’’は、参照画像＃２５ｄのうち、参照画像インデクスが０である参照ピクチャ上の領域であって、インター予測画像＃２６が生成される際に参照される領域、および、参照画像インデクスが１である参照ピクチャ上の領域であって、インター予測画像＃２６が生成される際に参照される領域のそれぞれに対し、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれる、それぞれの領域に対応したフィルタ係数を用いてフィルタリングを行う。
上記面積比が、上記予め定められた面積比未満である場合には、適応フィルタ１００’’は、参照画像＃２５ｄのうち、参照画像インデクスが０である参照ピクチャ上の領域であって、インター予測画像＃２６が生成される際に参照される領域に対し、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いてフィルタリングを行う。また、上記予め定められた面積比未満である場合には、適応フィルタ１００’’は、参照画像インデクスとして１を指定して参照された領域に対しては、参照画像インデクスが１である参照ピクチャを用いず、参照画像インデクスが０である参照ピクチャ上の領域に対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行い、当該フィルタリングを行った領域を、インター予測画像＃２６が生成される際に参照されるべき領域として出力する。ここで、上記エッジ強調効果を有するフィルタ係数としては、予め定められたフィルタ係数を用いればよい。
なお、符号化データ＃２が、参照画像インデクスｒｅｆ＿ｉｄｘとして格納された値が本来の意味を示すかどうかのフラグを含む場合には、当該フラグを参照すればよく、上記面積比に関する判定は不要となる。
（復号動作例８）
構成例８において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
本動作例においては、参照画像リスト番号は、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能する場合がある。
まず、適応フィルタ１００’’は、生成中のインター予測画像＃２６のうち、当該参照画像リスト番号が１である参照ピクチャの寄与の重みが、予め定められた重みよりも小さいか否かを判定する。
上記重みが、上記予め定められた重み以上である場合には、適応フィルタ１００’’は、参照画像リスト番号が０である参照ピクチャ上の領域であって、インター予測画像＃２６が生成される際に参照される領域、および、参照画像リスト番号が１である参照ピクチャ上の領域であって、インター予測画像＃２６が生成される際に参照される領域のそれぞれに対し、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれる、それぞれの領域に対応したフィルタ係数を用いてフィルタリングを行う。
上記重みが、上記予め定められた重みより小さい場合には、適応フィルタ１００’’は、参照画像＃２５ｄのうち、参照画像リスト番号が０である参照ピクチャ上の領域であって、インター予測画像＃２６が生成される際に参照される領域に対し、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いてフィルタリングを行う。また、上記重みが、上記予め定められた重みより小さい場合には、適応フィルタ１００’’は、参照画像リスト番号として１を指定して参照された領域に対しては、参照画像リスト番号が１である参照ピクチャを用いず、参照画像リスト番号が０である参照ピクチャ上の領域に対して、例えば、エッジ強調効果を有するフィルタ係数を用いてフィルタリングを行い、当該フィルタリングを行った領域を、インター予測画像＃２６が生成される際に参照されるべき領域として出力する。ここで、上記エッジ強調効果を有するフィルタ係数としては、予め定められたフィルタ係数を用いればよい。
なお、符号化データ＃２が、参照画像リスト番号として格納された値が本来の意味を示すかどうかのフラグを含む場合には、当該フラグを参照すればよく、上記寄与の重みに関する判定は不要である。
（復号動作例９）
構成例９において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、生成中のインター予測画像＃２６を、画像の上半分の領域と、画像の下半分の領域とに分割し、画像の上半分の領域、および、画像の下半分の領域それぞれが参照する参照画像＃２５ｄの領域に対して、それぞれ、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ101’（ｉ，ｊ）、および、フィルタ係数ｈ102’（ｉ，ｊ）を用いてフィルタリングを行う。
また、動画像符号化装置１における適応フィルタ１００が、参照画像＃１４ｂ上の領域であって、画像の下半分の領域から参照される参照画像＃２５ｄの領域に対して、上記適応的なフィルタリングに代えて、予め定められたフィルタ係数によってフィルタリングを行うような構成である場合には、適応フィルタ１００’’は、画像の上半分の領域から参照される参照画像＃２５ｄの領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ101’（ｉ，ｊ）を用いてフィルタリングを行い、画像の下半分の領域から参照される参照画像＃２５ｄの領域に対しては、予め定められたフィルタ係数によってフィルタリングを行う。
（復号動作例１０）
構成例１０において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、予め定められたサイズ以上のマクロブロックから参照される参照画像＃２５ｄの領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ111’（ｉ，ｊ）を用いてフィルタリングを行い、予め定められたサイズより小さいマクロブロックに対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ112’（ｉ，ｊ）を用いてフィルタリングを行う。
また、動画像符号化装置１における適応フィルタ１００が、上記予め定められたサイズ以上のマクロブロックから構成される領域から参照される参照画像＃２５ｄの領域に対して、予め定められたフィルタ係数によるフィルタリングを行うような構成である場合には、適応フィルタ１００’’は、上記予め定められたサイズ以上のマクロブロックから参照される参照画像＃２５ｄの領域に対して、予め定められたフィルタ係数を用いてフィルタリングを行い、上記予め定められたサイズより小さいマクロブロックから参照される参照画像＃２５ｄの領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ112’（ｉ，ｊ）を用いてフィルタリングを行う。
（復号動作例１１）
構成例１１において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから参照される参照画像＃２５ｄの領域に対し、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ121’（ｉ，ｊ）を用いてフィルタリングを行い、予め定められた値より小さい大きさを有する動きベクトルが割り付けられたパーティションから参照される参照画像＃２５ｄの領域に対し、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ122’（ｉ，ｊ）を用いてフィルタリングを行う。
また、動画像符号化装置１における適応フィルタ１００が、上記予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域のみに対し、適応的なフィルタリングを行い、そうでない動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域に対しては、予め定められたフィルタ係数を用いて固定的なフィルタリングを行う構成である場合には、適応フィルタ１００’’は、上記予め定められた値以上の大きさを有する動きベクトルが割り付けられたパーティションから構成される領域から参照される参照画像の領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数ｈ121’（ｉ，ｊ）を用いてフィルタリングを行い、予め定められた値より小さい大きさを有する動きベクトルが割り付けられたパーティションから参照される参照画像の領域に対し、固定的なフィルタ係数を用いたフィルタリングを行う。なお、上記固定的なフィルタ係数としては、予め定められたフィルタ係数を用いればよい。
（復号動作例１２）
構成例１２において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、各マクロブロックの近傍（隣接も含む）のマクロブロックにおける変換係数の値に応じて、各マクロブロックを複数の組に分類し、各マクロブロックの組から参照される参照画像＃２５ｄの領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いたフィルタリングを行う。
また、動画像符号化装置１が、参照画像＃１４ｂ上の、上記複数の領域に対応する領域のうち、何れかの領域に対して固定的なフィルタリングを行う場合であって、動画像復号装置２に、当該固定的なフィルタリングを行うためのフィルタ係数が格納されている場合には、適応フィルタ１００’’は、動画像符号化装置１によって固定的なフィルタリングが行われた領域に対応する領域に対して、固定的なフィルタリングを行い、その他の領域に対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いたフィルタリングを行う。
動作例１２において説明したその他の場合に対しても、ほぼ同様である。
（復号動作例１３）
構成例１２において説明した符号化データ＃２を復号する場合の適応フィルタ１００’’の動作は以下の通りである。
適応フィルタ１００’’は、生成中のインター予測画像＃２６を、各パーティションから参照される領域が属する、参照画像＃２５ｄに含まれる参照ピクチャが、イントラピクチャであるか否かに応じて、２つに分割し、それぞれの領域が参照する参照ピクチャに対して、符号化データ＃２におけるフィルタ係数情報ＦＣに含まれるフィルタ係数を用いてフィルタリングを行う。
また、適応フィルタ１００が、量子化パラメータＱＰを参照して、生成中のインター予測画像＃２６を複数の領域に分割する場合についても、ほぼ同様である。
（その他）
以上のように、本発明に係る符号化装置は、入力画像を符号化して再構成することによって得られる参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、上記参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、上記第１の予測画像と上記入力画像とを複数の領域に分割する分割手段と、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段と、を備え、上記入力画像と上記第２の予測画像との残差データを符号化する、ことを特徴としている。
上記のように構成された本発明に係る符号化装置によれば、上記第１の予測画像と上記入力画像とを複数の領域に分割する分割手段と、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段とを備えているため、上記第１の予測画像の特性が一様でない場合であっても、上記複数の領域毎に上記第２のフィルタのフィルタ係数を適応的に設定することができる。
換言すれば、上記第１の予測画像の参照元である上記参照画像（局所復号画像）の特性が一様でない場合であっても、上記複数の上記複数の領域毎に上記第２のフィルタのフィルタ係数を適応的に設定することによって、適切なフィルタリングを行うことができるという効果を奏する。
また、上記分割手段は、上記第１の予測画像を、スキップモードが適用されたマクロブロックから構成される領域と、スキップモードが適用されていないマクロブロックから構成される領域とに分割する、ことが好ましい。
一般に、スキップモードが適用されたマクロブロックと、スキップモードが適用されていないマクロブロックとでは、最適なフィルタ係数が異なる。
上記の構成によれば、上記第１の予測画像を、スキップモードが適用されたマクロブロックから構成される領域と、スキップモードが適用されていないマクロブロックから構成される領域とに分割し、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定することができる。
したがって、上記第１の予測画像がスキップモードが適用されたマクロブロックと、スキップモードが適用されていないマクロブロックとを含む場合であっても、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記分割手段は、上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される領域とに分割する、ことが好ましい。
一般に、特に動画像として動きがある場合など、参照画像インデクスが異なる参照ピクチャを参照する領域に対しては、最適なフィルタ係数も異なる。
上記の構成によれば、上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される領域とに分割し、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定することができる。
したがって、上記第１の予測画像が参照画像インデクスが０である画像を参照しているパーティションと、参照画像インデクスが０でない画像を参照しているパーティションから構成される領域とを含む場合であっても、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記分割手段は、第１の分割手段、および、第２の分割手段を含み、上記フィルタ係数設定手段は、第１のフィルタ係数設定手段、および、第２のフィルタ係数設定手段を含み、上記第１の分割手段は、上記第１の予測画像を、スキップモードが適用されたマクロブロックから構成される第１の領域と、スキップモードが適用されていないマクロブロックから構成される第２の領域とに分割し、上記第１のフィルタ係数設定手段は、上記第１の領域、および、上記第２の領域のそれぞれについて、上記第１の予測画像と上記入力画像との差を最小化するように第１の予備的フィルタ係数を決定し、上記第２の分割手段は、上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される第３の領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される第４の領域とに分割し、上記第２のフィルタ係数設定手段は、上記第３の領域、および、上記第４の領域のそれぞれについて、上記第１の予測画像と上記入力画像との差を最小化するように第２の予備的フィルタ係数を決定し、上記第１の予備的フィルタ係数、または、上記第２の予備的フィルタ係数のうち、符号化効率の良いフィルタ係数を上記第２のフィルタのフィルタ係数として設定する、ことが好ましい。
一般に、スキップモードが適用されたマクロブロックと、スキップモードが適用されていないマクロブロックとでは、最適なフィルタ係数が異なる。また、一般に、参照画像インデックスが異なる参照ピクチャを参照する領域に対しては、最適なフィルタ係数も異なる。
また、スキップモードが適用されているか否かを参照した適応的なフィルタリングと、参照画像インデクスを参照した適応的なフィルタリングとでは、符号化効率が異なる。
上記の構成によれば、スキップモードが適用された領域であるか否かに応じて適応的に設定された上記第１の予備的フィルタ係数、または、参照画像インデクスに応じて適応的に設定された上記第２の予備的フィルタ係数のうち、符号化効率の良いものを上記第２のフィルタのフィルタ係数として設定することができるので、符号化効率のより良いフィルタリングを行うことができるという更なる効果を奏する。
また、上記分割手段は、上記第１の予測画像上の各単位領域を、該マクロブロックに隣接する複数のマクロブロックのうち、より多くのマクロブロックが属する領域に割り当てることによって、上記第１の予測画像を複数の領域に分割する、ことが好ましい。
上記の構成によれば、上記第１の予測画像上の各単位領域を、該マクロブロックに隣接する複数のマクロブロックのうち、より多くのマクロブロックが属する領域に割り当てることによって、上記第１の予測画像を複数の領域に分割し、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定することができる。
したがって、上記の構成によれば、より適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記分割手段は、上記第１の予測画像を、平均輝度が予め定められた輝度より大きいマクロブロックから構成される領域と、平均輝度が予め定められた輝度以下であるマクロブロックから構成される領域とに分割する、ことが好ましい。
一般に、輝度のより大きい領域と輝度のより小さい領域とでは、最適なフィルタ係数が異なる。
上記の構成によれば、上記第１の予測画像を、平均輝度が予め定められた輝度より大きいマクロブロックから構成される領域と、平均輝度が予め定められた輝度以下であるマクロブロックから構成される領域とに分割し、上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定することができる。
したがって、上記の構成によれば、上記第１の予測画像の輝度が一様でない場合であっても、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記フィルタ係数設定手段は、上記複数の領域のうち、上記第１の予測画像に対する面積比が予め定められた面積比より大きい領域に対して、上記第１の予測画像と上記入力画像との差を最小化するように、上記第２のフィルタのフィルタ係数を設定し、上記複数の領域のうち、上記第１の予測画像に対する面積比が予め定められた面積以下である領域に対して、上記第２のフィルタのフィルタ係数として、予め定められたフィルタ係数を選択する、ことが好ましい。
一般に、より小さい領域に対しては、フィルタ係数の決定に用いられる予測残差（上記差）のサンプル数がより少なくなる。したがって、そのような小さい領域に対しては、上記予測画像の予測精度を向上することが難しい。また、予測精度の改善ができたとしても、適応的なフィルタリングを行うことによる計算コストの増大およびフィルタ係数が必要とする符号量の増大というデメリットが、符号化効率の向上というメリットを凌駕してしまう可能性がある。
上記の構成によれば、上記複数の領域のうち、上記第１の予測画像に対する面積比が予め定められた面積比より大きい領域に対して、上記第１の予測画像と上記入力画像との差を最小化するように、上記第２のフィルタのフィルタ係数を設定し、上記複数の領域のうち、上記第１の予測画像に対する面積比が予め定められた面積以下である領域に対して、上記第２のフィルタのフィルタ係数として、予め定められたフィルタ係数を選択することができるので、計算コストおよびフィルタ係数の符号量の増大という問題を招来することなく、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記分割手段は、上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される第１の領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される第２の領域とに分割し、上記フィルタ係数設定手段は、上記第２の領域の上記第１の予測画像に対する面積比が予め定められた面積比未満である場合には、上記第１の領域について上記第１の予測画像と上記入力画像との差を最小化するように、上記第２のフィルタのフィルタ係数を設定し、上記第２の予測手段は、上記第２の領域の上記第１の予測画像に対する面積比が予め定められた面積比未満である場合には、上記第２の領域に対応する上記参照画像のうち参照インデクスが０である参照ピクチャに対して、予め定められたフィルタ係数を用いてフィルタリングを行う、ことが好ましい。
上記の構成によれば、参照画像インデクスが０でない画像を参照しているパーティションから構成される上記第２の領域の、上記第１の予測画像に対する面積比が予め定められた面積比未満である場合には、参照画像インデクスが０である画像を参照しているパーティションから構成される上記第１の領域に対してのみ、適応的なフィルタリングを行い、上記第２の領域の領域に対しては、予め定められたフィルタ係数を用いてフィルタリングを行うことができるので、計算コストおよびフィルタ係数の符号量を抑えつつ、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記の構成によれば、参照画像インデクスｒｅｆ＿ｉｄｘは、適応的なフィルタリングを行うのか、または、エッジ強調効果を有するフィルタ係数を用いて非適応的なフィルタリングを行うのかを示す指標として機能する。
したがって、参照画像インデクスｒｅｆ＿ｉｄｘ＝１がほとんど用いられていなければ、非適応的なフィルタリングを行うことを示す指標として用いることにより、追加のサイド情報によって符号量を増加させることなく、適応的フィルタリングと、非適応的フィルタリングとを切り替えることができるという更なる効果を奏する。
また、本発明に係る他の符号化装置は、入力画像を符号化して再構成することによって得られる複数の参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、上記複数の参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、を備え、上記入力画像と上記第２の予測画像との残差データを符号化する符号化装置であって、上記第２のフィルタは、上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重み以上である場合には、当該第１の参照画像リストに属する参照画像に対して、上記入力画像と上記第１の予測画像との差を最小化するように設定されたフィルタ係数を用いてフィルタリングを行い、上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、第１の参照画像リストとは異なる第２の参照画像リストに属する参照画像に対して、予め定められたフィルタ係数を用いてフィルタリングを行う、ことを特徴としている。
一般に、参照画像の、予測画像に対する寄与の重みが小さくなればなるほど、当該参照画像に対して適応的なフィルタリングを行うメリットも少なくなる。換言すれば、参照画像の、予測画像に対する寄与の重みが小さくなればなるほど、適応的なフィルタリングを行うことによる計算コストおよびフィルタ係数が必要とする符号量の増大というデメリットが、適応的なフィルタリングによる符号化効率の向上というメリットを凌駕してしまう可能性が高まる。
上記の構成によれば、上記第１の予測画像に対する寄与の重みが、予め定められた重み以上である参照画像に対してのみ、適応的なフィルタリングを行い、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい参照画像に対しては、予め定められたフィルタ係数を用いてフィルタリングを行うことができるので、計算コストの増大というデメリットを招来することなく、適切なフィルタリングを行うことができるという効果を奏する。
また、上記の構成によれば、上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、第２の参照画像リストに属する参照画像に対して、予め定められたフィルタ係数を用いてフィルタリングを行うことができる。したがって、参照リスト番号を、適応的に求められたフィルタ係数を用いるのか、非適応的なフィルタ係数を用いるのかを示すフラグとして機能させることができる。したがって、上記の構成によれば、追加のサイド情報によって符号量を増大させることなく、より適切なフィルタリングを行うことができるという効果を奏する。
また、本発明に係る復号装置は、原画像と予測画像との残差データを、フィルタ係数群と共に符号化することによって得られた符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像に対してフィルタリングを行うことによってフィルタ済参照画像を生成するフィルタ手段であって、フィルタ係数が上記参照画像の単位領域毎に切り替え可能なフィルタ手段と、上記フィルタ済参照画像に対し、動き補償を行うことによって上記予測画像を生成する予測画像生成手段と、上記参照画像上の単位領域毎に、上記フィルタ係数群に含まれるフィルタ係数、または、予め定められたフィルタ係数のうち何れかを選択するフィルタ係数選択手段と、を備えていることを特徴としている。
上記のように構成された本発明に係る復号装置によれば、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像に対してフィルタリングを行うことによってフィルタ済参照画像を生成するフィルタ手段であって、フィルタ係数が上記参照画像の単位領域毎に切り替え可能なフィルタ手段と、上記フィルタ済参照画像に対し、動き補償を行うことによって上記予測画像を生成する予測画像生成手段と、上記参照画像上の単位領域毎に、上記フィルタ係数群に含まれるフィルタ係数、または、予め定められたフィルタ係数のうち何れかを選択するフィルタ係数選択手段とを備えているため、上記参照画像上の単位領域毎に、より適切なフィルタ係数を用いてフィルタリングを行うことができるという効果を奏する。
また、本発明に係る復号装置においては、上記フィルタ係数選択手段は、上記参照画像上の単位領域が、スキップモードが適用されたマクロブロックに属しているか否かに応じて、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択する、ことが好ましい。
一般に、スキップモードが適用されたマクロブロックと、スキップモードが適用されていないマクロブロックとでは、最適なフィルタ係数が異なる。
上記の構成によれば、上記フィルタ係数選択手段は、上記参照画像上の単位領域が、スキップモードが適用されたマクロブロックに属しているか否かに応じて、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択することができるので、上記参照画像がスキップモードが適用されたマクロブロックと、スキップモードが適用されていないマクロブロックとを含む場合であっても、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、本発明に係る復号装置においては、上記フィルタ係数選択手段は、上記参照画像の参照画像インデクスが０であるか否かに応じて、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択する、ことが好ましい。
一般に、参照画像インデックスが異なる参照ピクチャを参照する領域に対しては、最適なフィルタ係数も異なる。
上記の構成によれば、上記フィルタ係数選択手段は、上記参照画像の参照画像インデクスが０であるか否かに応じて、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択することができるので、上記参照画像が参照画像インデクスが０である画像を参照しているパーティションと、参照画像インデクスが０でない画像を参照しているパーティションから構成される領域とを含む場合であっても、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、本発明に係る復号装置においては、上記フィルタ係数選択手段は、生成中の上記予測画像を、予め定められた判定基準に応じて、複数の領域に分割し、当該複数の領域のそれぞれに対応する上記参照画像上の領域に対して、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択する、ことが好ましい。
上記の構成によれば、上記フィルタ係数選択手段は、生成中の上記予測画像を、予め定められた判定基準に応じて、複数の領域に分割し、当該複数の領域のそれぞれに対応する上記参照画像上の領域に対して、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択することができるので、より適切なフィルタリングを行うことができるという更なる効果を奏する。
また、本発明に係る復号装置においては、上記フィルタ係数選択手段は、生成中の上記予測画像上の複数の領域のうち当該生成中の予測画像に対する面積比が予め定められた面積比より大きい領域に対応する上記参照画像上の領域に対して、上記フィルタ係数群に含まれるフィルタ係数を選択し、生成中の上記予測画像上の複数の領域のうち当該生成中の予測画像に対する面積比が予め定められた面積比以下である領域に対応する上記参照画像上の領域に対して、上記予め定められたフィルタ係数を選択する、ことが好ましい。
一般に、より小さい領域に対しては、動画像符号化装置において、フィルタ係数の決定に用いられる予測残差（上記差）のサンプル数はより少なくなる。したがって、そのような小さい領域に対しては、予測画像の予測精度を向上することが難しい。また、予測精度の改善ができたとしても、適応的に求めたフィルタ係数を符号化することによる符号化量の増大というデメリットが、符号化効率の向上というメリットを凌駕してしまう可能性がある。
上記の構成によれば、上記フィルタ係数選択手段は、生成中の上記予測画像上の複数の領域のうち当該生成中の予測画像に対する面積比が予め定められた面積比より大きい領域に対応する上記参照画像上の領域に対して、上記フィルタ係数群に含まれるフィルタ係数を選択し、生成中の上記予測画像上の複数の領域のうち当該生成中の予測画像に対する面積比が予め定められた面積比以下である領域に対応する上記参照画像上の領域に対して、上記予め定められたフィルタ係数を選択することができるため、符号化量の増大という問題を招来することなく、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、本発明に係る復号装置においては、上記参照画像のうち参照画像インデクスが０でない参照画像に対応する上記予測画像上の領域の、上記予測画像に対する面積比が、予め定められた面積比未満である場合には、上記フィルタ手段は、参照画像インデクスが０でない参照画像に対応する上記予測画像上の領域を、参照画像インデクスが０である参照画像上の当該領域に対して、上記予め定められたフィルタ係数を用いてフィルタリングを行うことによって生成する、ことが好ましい。
一般に、より小さい領域に対しては、動画像符号化装置において、フィルタ係数の決定に用いられる予測残差（上記差）のサンプル数はより少なくなる。したがって、そのような小さい領域に対しては、予測画像の予測精度を向上することが難しい。また、予測精度の改善ができたとしても、適応的に求めたフィルタ係数を符号化することによる符号化量の増大というデメリットが、符号化効率の向上というメリットを凌駕してしまう可能性がある。
上記の構成によれば、符号化量の増大という問題を招来することなく、適切なフィルタリングを行うことができるという更なる効果を奏する。
また、上記の構成によれば、０以外の参照画像インデクスｒｅｆ＿ｉｄｘを、適応的なフィルタリングを行うことを示すフラグとして機能させることができる。
したがって、０以外の参照画像インデクスｒｅｆ＿ｉｄｘを、非適応的なフィルタ係数によってフィルタリングを行うことを示す指標として用いることができるので、追加のサイド情報によって符号量を増加させることなく、適応的フィルタリングと、非適応的フィルタリングとを切り替えることができるという更なる効果を奏する。
また、本発明に係る復号装置においては、上記参照画像のうち参照画像リスト番号が０でない参照画像に対応する上記予測画像上の領域の、上記予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、上記フィルタ手段は、参照画像リスト番号が０でない参照画像に対応する上記予測画像上の領域を、参照画像リスト番号が０である参照画像上の当該領域に対して、上記予め定められたフィルタ係数を用いてフィルタリングを行うことによって生成する、ことが好ましい。
一般に、参照画像の、予測画像に対する寄与の重みが小さくなればなるほど、適応的に求めたフィルタ係数を符号化することによる符号化量の増大というデメリットが、符号化効率の向上というメリットを凌駕してしまう可能性が高まる。
上記の構成によれば、上記フィルタ手段は、上記参照画像のうち、参照画像リスト番号が０でない参照画像の、上記予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、予め定められたフィルタ係数を用いてフィルタリングを行うことができるので、符号化量の増大というデメリットを招来することなく、適切なフィルタリングを行うことができるという効果を奏する。
また、上記の構成によれば、参照画像リスト番号を、適応的に求められたフィルタ係数を用いるのか、非適応的なフィルタ係数を用いるのかを示すフラグとして機能させることができる。したがって、上記の構成によれば、追加のサイド情報によって符号量を増大させることなく、より適切なフィルタリングを行うことができるという効果を奏する。
また、本発明に係る復号装置においては、上記フィルタ係数選択手段に代えて、上記符号化データに含まれるフラグを参照して、上記フィルタ係数群に含まれるフィルタ係数のうち何れかのフィルタ係数、および、当該フィルタ係数を適用すべき参照画像上の領域を選択するフィルタ係数選択手段を備えている構成としてもよい。
上記の構成によれば、上記フラグを参照して、上記参照画像上の各領域に対して、上記フィルタ係数群に含まれるフィルタ係数のうち何れかのフィルタ係数を用いたフィルタリングを行うことができるので、領域ごとに適切なフィルタリングを行うことができるという更なる効果を奏する。
また、本発明に係る符号化データのデータ構造は、原画像と原画像から生成される予測画像との残差データをフィルタ係数群と共に符号化することによって得られた符号化データのデータ構造であって、上記フィルタ係数群は、当該符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像上の単位領域毎に選択されるフィルタ係数を含んでいる、ことを特徴としている。
上記のように構成された符号化データのデータ構造によれば、当該符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像上の単位領域毎に選択されるフィルタ係数を含んでいるため、復号装置において、参照画像上の単位領域毎により適切なフィルタリングを行うことができるという効果を奏する。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
発明の詳細な説明の項においてなされた具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項との範囲内で、いろいろと変更して実施することができるものである。
本発明は、動画像を符号化し符号化データを生成する動画像符号化装置、そのような動画像符号化装置を用いて生成された符号化データを復号する動画像復号装置に好適に適用することができる。
１ 動画像符号化装置（符号化装置）
１６ インター予測画像生成部
１６ａ 予測画像生成部（第１の予測手段、第２の予測手段）
１００ 適応フィルタ（分割手段、フィルタ係数設定手段）
１７ 動きベクトル推定部
２ 動画像復号装置（復号装置）
１００’’ 適応フィルタ（フィルタ手段、フィルタ係数選択手段）
２６ａ 予測画像生成部（予測画像生成手段）

Claims (19)

  1. 入力画像を符号化して再構成することによって得られる参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、
    上記参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、
    上記第１の予測画像と上記入力画像とを複数の領域に分割する分割手段と、
    上記入力画像と上記第１の予測画像との差を上記領域毎に最小化するよう、上記第２のフィルタのフィルタ係数を設定するフィルタ係数設定手段と、を備え、
    上記入力画像と上記第２の予測画像との残差データを符号化する、ことを特徴とする符号化装置。
  2. 上記分割手段は、
    上記第１の予測画像を、スキップモードが適用されたマクロブロックから構成される領域と、スキップモードが適用されていないマクロブロックから構成される領域とに分割する、
    ことを特徴とする請求項１に記載の符号化装置。
  3. 上記分割手段は、
    上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される領域とに分割する、
    ことを特徴とする請求項１に記載の符号化装置。
  4. 上記分割手段は、第１の分割手段、および、第２の分割手段を含み、
    上記フィルタ係数設定手段は、第１のフィルタ係数設定手段、および、第２のフィルタ係数設定手段を含み、
    上記第１の分割手段は、
    上記第１の予測画像を、スキップモードが適用されたマクロブロックから構成される第１の領域と、スキップモードが適用されていないマクロブロックから構成される第２の領域とに分割し、
    上記第１のフィルタ係数設定手段は、上記第１の領域、および、上記第２の領域のそれぞれについて、上記第１の予測画像と上記入力画像との差を最小化するように第１の予備的フィルタ係数を決定し、
    上記第２の分割手段は、
    上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される第３の領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される第４の領域とに分割し、
    上記第２のフィルタ係数設定手段は、上記第３の領域、および、上記第４の領域のそれぞれについて、上記第１の予測画像と上記入力画像との差を最小化するように第２の予備的フィルタ係数を決定し、
    上記第１の予備的フィルタ係数、または、上記第２の予備的フィルタ係数のうち、符号化効率の良いフィルタ係数を上記第２のフィルタのフィルタ係数として設定する、
    ことを特徴とする請求項１に記載の符号化装置。
  5. 上記分割手段は、
    上記第１の予測画像上の各単位領域を、該マクロブロックに隣接する複数のマクロブロックのうち、より多くのマクロブロックが属する領域に割り当てることによって、上記第１の予測画像を複数の領域に分割する、
    ことを特徴とする請求項１に記載の符号化装置。
  6. 上記分割手段は、
    上記第１の予測画像を、平均輝度が予め定められた輝度より大きいマクロブロックから構成される領域と、平均輝度が予め定められた輝度以下であるマクロブロックから構成される領域とに分割する、
    ことを特徴とする請求項１に記載の符号化装置。
  7. 上記フィルタ係数設定手段は、
    上記複数の領域のうち、上記第１の予測画像に対する面積比が予め定められた面積比より大きい領域に対して、上記第１の予測画像と上記入力画像との差を最小化するように、上記第２のフィルタのフィルタ係数を設定し、
    上記複数の領域のうち、上記第１の予測画像に対する面積比が予め定められた面積以下である領域に対して、上記第２のフィルタのフィルタ係数として、予め定められたフィルタ係数を選択する、
    ことを特徴とする請求項１に記載の符号化装置。
  8. 上記分割手段は、
    上記第１の予測画像を、参照画像インデクスが０である画像を参照しているパーティションから構成される第１の領域と、参照画像インデクスが０でない画像を参照しているパーティションから構成される第２の領域とに分割し、
    上記フィルタ係数設定手段は、
    上記第２の領域の上記第１の予測画像に対する面積比が予め定められた面積比未満である場合には、上記第１の領域について上記第１の予測画像と上記入力画像との差を最小化するように、上記第２のフィルタのフィルタ係数を設定し、
    上記第２の予測手段は、
    上記第２の領域の上記第１の予測画像に対する面積比が予め定められた面積比未満である場合には、上記第２の領域に対応する上記参照画像のうち参照インデクスが０である参照ピクチャに対して、予め定められたフィルタ係数を用いてフィルタリングを行う、
    ことを特徴とする請求項１に記載の符号化装置。
  9. 上記フィルタ係数設定手段は、上記第２のフィルタのフィルタ係数の二乗誤差が最小となるようにフィルタ係数を決定することを特徴とする請求項１に記載の符号化装置。
  10. 入力画像を符号化して再構成することによって得られる複数の参照画像に作用する第１のフィルタと、上記第１のフィルタの出力画像を参照した動き補償を行うことによって第１の予測画像を生成する第１の予測手段と、
    上記複数の参照画像に作用する第２のフィルタと、上記第２のフィルタの出力画像を参照した動き補償を行うことによって第２の予測画像を生成する第２の予測手段と、
    を備え、
    上記入力画像と上記第２の予測画像との残差データを符号化する符号化装置であって、
    上記第２のフィルタは、
    上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重み以上である場合には、当該第１の参照画像リストに属する参照画像に対して、上記入力画像と上記第１の予測画像との差を最小化するように設定されたフィルタ係数を用いてフィルタリングを行い、
    上記複数の参照画像のうち、第１の参照画像リストに属する参照画像の、上記第１の予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、第１の参照画像リストとは異なる第２の参照画像リストに属する参照画像に対して、予め定められたフィルタ係数を用いてフィルタリングを行う、
    ことを特徴とする符号化装置。
  11. 原画像と予測画像との残差データを、フィルタ係数群と共に符号化することによって得られた符号化データを復号する復号装置であって、
    上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像に対してフィルタリングを行うことによってフィルタ済参照画像を生成するフィルタ手段であって、フィルタ係数が上記参照画像の単位領域毎に切り替え可能なフィルタ手段と、
    上記フィルタ済参照画像に対し、動き補償を行うことによって上記予測画像を生成する予測画像生成手段と、
    上記参照画像上の単位領域毎に、上記フィルタ係数群に含まれるフィルタ係数、または、予め定められたフィルタ係数のうち何れかを選択するフィルタ係数選択手段と、
    を備えていることを特徴とする復号装置。
  12. 上記フィルタ係数選択手段は、上記参照画像上の単位領域が、スキップモードが適用されたマクロブロックに属しているか否かに応じて、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択する、
    ことを特徴とする請求項１１に記載の復号装置。
  13. 上記フィルタ係数選択手段は、上記参照画像の参照画像インデクスが０であるか否かに応じて、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択する、
    ことを特徴とする請求項１１に記載の復号装置。
  14. 上記フィルタ係数選択手段は、生成中の上記予測画像を、予め定められた判定基準に応じて、複数の領域に分割し、当該複数の領域のそれぞれに対応する上記参照画像上の領域に対して、上記フィルタ係数群に含まれるフィルタ係数のうち何れかを選択する、
    ことを特徴とする、
    ことを特徴とする請求項１１に記載の復号装置。
  15. 上記フィルタ係数選択手段は、生成中の上記予測画像上の複数の領域のうち当該生成中の予測画像に対する面積比が予め定められた面積比より大きい領域に対応する上記参照画像上の領域に対して、上記フィルタ係数群に含まれるフィルタ係数を選択し、生成中の上記予測画像上の複数の領域のうち当該生成中の予測画像に対する面積比が予め定められた面積比以下である領域に対応する上記参照画像上の領域に対して、上記予め定められたフィルタ係数を選択する、
    ことを特徴とする請求項１１に記載の復号装置。
  16. 上記参照画像のうち参照画像インデクスが０でない参照画像に対応する上記予測画像上の領域の、上記予測画像に対する面積比が、予め定められた面積比未満である場合には、
    上記フィルタ手段は、参照画像インデクスが０でない参照画像に対応する上記予測画像上の領域を、参照画像インデクスが０である参照画像上の当該領域に対して、上記予め定められたフィルタ係数を用いてフィルタリングを行うことによって生成する、
    ことを特徴とする請求項１１に記載の復号装置。
  17. 上記参照画像のうち参照画像リスト番号が０でない参照画像に対応する上記予測画像上の領域の、上記予測画像に対する寄与の重みが、予め定められた重みより小さい場合には、
    上記フィルタ手段は、参照画像リスト番号が０でない参照画像に対応する上記予測画像上の領域を、参照画像リスト番号が０である参照画像上の当該領域に対して、上記予め定められたフィルタ係数を用いてフィルタリングを行うことによって生成する、
    ことを特徴とする請求項１１に記載の復号装置。
  18. 上記フィルタ係数選択手段に代えて、上記符号化データに含まれるフラグを参照して、上記フィルタ係数群に含まれるフィルタ係数のうち何れかのフィルタ係数、および、当該フィルタ係数を適用すべき参照画像上の領域を選択するフィルタ係数選択手段を備えている、
    ことを特徴とする請求項１１に記載の復号装置。
  19. 原画像と原画像から生成される予測画像との残差データをフィルタ係数群と共に符号化することによって得られた符号化データのデータ構造であって、
    上記フィルタ係数群は、当該符号化データを復号する復号装置において、上記残差データを復号することによって得られる予測残差に基づいて生成される参照画像上の単位領域毎に選択されるフィルタ係数を含んでいる、
    ことを特徴とする符号化データのデータ構造。
JP2011549902A 2010-01-12 2010-12-24 符号化装置、復号装置、および、データ構造 Pending JPWO2011086836A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010004432 2010-01-12
JP2010004432 2010-01-12
PCT/JP2010/073436 WO2011086836A1 (ja) 2010-01-12 2010-12-24 符号化装置、復号装置、および、データ構造

Publications (1)

Publication Number Publication Date
JPWO2011086836A1 true JPWO2011086836A1 (ja) 2013-05-16

Family

ID=44304123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011549902A Pending JPWO2011086836A1 (ja) 2010-01-12 2010-12-24 符号化装置、復号装置、および、データ構造

Country Status (5)

Country Link
US (1) US20120300849A1 (ja)
EP (1) EP2525576A4 (ja)
JP (1) JPWO2011086836A1 (ja)
CN (1) CN102714732A (ja)
WO (1) WO2011086836A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2559238B1 (en) 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
GB2484969B (en) * 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
CN106851270B (zh) 2011-04-25 2020-08-28 Lg电子株式会社 执行帧内预测的编码设备和解码设备
GB2502047B (en) * 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
WO2014050554A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置、および画像符号化装置
CN103916673B (zh) * 2013-01-06 2017-12-22 华为技术有限公司 基于双向预测的编码方法、解码方法和装置
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
KR20180069789A (ko) * 2015-10-16 2018-06-25 엘지전자 주식회사 영상 코딩 시스템에서 예측 향상을 위한 필터링 방법 및 장치
JP6626319B2 (ja) * 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US20190297320A1 (en) * 2016-05-13 2019-09-26 Sharp Kabushiki Kaisha Image decoding device and image encoding device
WO2019065537A1 (ja) * 2017-09-28 2019-04-04 シャープ株式会社 動き補償フィルタ装置、画像復号装置および動画像符号化装置
EP3799694A1 (en) 2018-07-06 2021-04-07 Huawei Technologies Co., Ltd. A picture encoder, a picture decoder and corresponding methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114368A1 (ja) * 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
WO2011074357A1 (ja) * 2009-12-18 2011-06-23 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
WO2011078002A1 (ja) * 2009-12-22 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2012505565A (ja) * 2008-09-23 2012-03-01 クゥアルコム・インコーポレイテッド 切替え補間フィルタにおけるオフセット計算

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591398B1 (en) * 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP4284265B2 (ja) 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
AU2008352118A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
AU2009220567A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding device
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114368A1 (ja) * 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2012505565A (ja) * 2008-09-23 2012-03-01 クゥアルコム・インコーポレイテッド 切替え補間フィルタにおけるオフセット計算
WO2011074357A1 (ja) * 2009-12-18 2011-06-23 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
WO2011078002A1 (ja) * 2009-12-22 2011-06-30 ソニー株式会社 画像処理装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013064744; 大久保 榮 監修、 角野 慎也、菊池 義浩、鈴木 輝彦 共編: 改訂三版 Ｈ．２６４／ＡＶＣ教科書 , 20090101, ｐ．３３０, 株式会社インプレスＲ＆Ｄ *

Also Published As

Publication number Publication date
EP2525576A4 (en) 2015-04-15
EP2525576A1 (en) 2012-11-21
CN102714732A (zh) 2012-10-03
US20120300849A1 (en) 2012-11-29
WO2011086836A1 (ja) 2011-07-21

Similar Documents

Publication Publication Date Title
WO2011086836A1 (ja) 符号化装置、復号装置、および、データ構造
US11889107B2 (en) Image encoding method and image decoding method
JP4913245B2 (ja) インターレース・ビデオの符号化および復号
JP6335365B2 (ja) 復号装置
JP5154635B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP4908180B2 (ja) 動画像符号化装置
JP2014171097A (ja) 符号化装置、符号化方法、復号装置、および、復号方法
JP2023528609A (ja) 符号化・復号方法、装置及びそのデバイス
JPWO2013125171A1 (ja) イントラ予測モード判定装置、イントラ予測モード判定方法、及びイントラ予測モード判定プログラム
CN116636210A (zh) 用于自适应运动矢量差分辨率的内插滤波器
CN117296320A (zh) 使用映射和不同类型的从亮度到色度预测
CN116686287A (zh) 用于联合mvd编码的mvd缩放
WO2011142221A1 (ja) 符号化装置、および、復号装置
JP2007082048A (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150210