JP5570363B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。

非特許文献１には、フレーム間予測を許容する映像圧縮符号化の標準規格が示されている。フレーム間予測では、既に符号化を行った画像から、符号化対象領域の絵柄に類似した絵柄を有する領域を探し、探した領域の画素値を符号化対象領域の予測値とする。以降では、フレーム間予測により予測誤差を求める処理を、動き補償と呼び、符号化対象領域から符号化済みである類似領域までの空間的なベクトルを、動きベクトル（ＭＶ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と呼ぶものとする。

非特許文献１に記載の手法では、類似領域の探索（動き探索）の際に、整数サンプリング位置（整数精度画素）の画素値だけでなく、中間的な位置（小数精度画素）の画素値を補間により生成して、この補間により生成した画素値を予測値とすることもできる。非特許文献１に記載の手法では、１／４精度画素までフレーム間予測が許容される。

一方、非特許文献２には、小数精度の動き探索における補間処理（補間フィルタ係数を用いる処理）について、映像特徴などに適応的に処理する手法（適応的な補間フィルタ係数を用いる手法）が示されている。この非特許文献２に記載の手法によれば、上述の非特許文献１に記載の手法と比べて、高い符号化性能を得ることができる。

Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004. Thomas Wedi, "Adaptive Interpolation Filters and High-Resolution Displacements for Video Coding," IEEE Trans. On Circuits and Systems for Video Technology, Vol.16, No.4, April 2006. G. J. Sullivan, Thomas Wiegand, "Rate-Distortion Optimization for Video Compression," IEEE Signal Processing Magazine, pp.74-90, Nov. 1998.

非特許文献２に記載の手法では、適応的な補間フィルタ係数を、スライスごとに設定することができる。ところが、この適応的な補間フィルタ係数を、各スライスの制御情報に含めることとすると、例えば数十ｋｂｐｓといった情報量が発生してしまう。このため、非特許文献１に示された映像圧縮符号化の標準規格に対して、非特許文献２に記載の手法を適用すると、上述の例えば数十ｋｂｐｓといった情報量の分だけ、情報量が増加してしまっていた。

そこで、本発明は、上述の課題に鑑みてなされたものであり、適応的なフィルタ係数を用いつつ符号量を削減できる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１） 本発明は、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置であって、予め定められた複数種類のフィルタ係数（例えば、図１の動画像符号化装置ＡＡの外部で定められる複数種類のフィルタ係数や、図６の動画像符号化装置ＣＣの内部で定められる複数種類のフィルタ係数に相当）を保持する符号化側フィルタ係数保持手段（例えば、図２の小数位置補間値生成部２１や、図７の小数位置補間値生成部２１Ａに相当）と、前記複数種類のフィルタ係数のそれぞれに固有の識別情報（例えば、後述の第３の情報に含まれる、複数種類の補間フィルタ係数のｎそれぞれに固有の識別情報に相当）を保持する符号化側識別情報保持手段（例えば、図１や図６のエントロピー符号化部６に相当）と、前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から１つを、符号化制御単位（例えば、後述の１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームに相当）ごとに選択する符号化側フィルタ係数選択手段（例えば、図２の小数位置補間値生成部２１や、図７の小数位置補間値生成部２１Ａに相当）と、前記符号化側識別情報保持手段により保持された複数種類の識別情報のうち、前記符号化側フィルタ係数選択手段により選択されたフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択する識別情報選択手段（例えば、図１や図６のエントロピー符号化部６に相当）と、前記識別情報選択手段により選択された識別情報を含む符号化データ（例えば、図１や図６の符号化データｃに相当）を生成する符号化データ生成手段（例えば、図１や図６のエントロピー符号化部６に相当）と、を備えることを特徴とする動画像符号化装置を提案している。

この発明によれば、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置に、符号化側フィルタ係数保持手段、符号化側識別情報保持手段、符号化側フィルタ係数選択手段、識別情報選択手段、および符号化データ生成手段を設けた。そして、符号化側フィルタ係数保持手段により、予め定められた複数種類のフィルタ係数を保持し、符号化側識別情報保持手段により、複数種類のフィルタ係数のそれぞれに固有の識別情報を保持することとした。また、符号化側フィルタ係数選択手段により、符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から１つを、符号化制御単位ごとに選択することとした。また、識別情報選択手段により、符号化側識別情報保持手段により保持された複数種類の識別情報のうち、符号化側フィルタ係数選択手段により選択されたフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択することとした。また、符号化データ生成手段により、識別情報選択手段により選択された識別情報を含む符号化データを生成することとした。

このため、（１）の動画像符号化装置は、予め定められた複数種類のフィルタ係数の中から、符号化制御単位ごとに適応的なフィルタ係数を選択し、選択したフィルタ係数に固有の識別情報を含む符号化データを生成することができる。したがって、符号化制御単位ごとに適応的なフィルタ係数を選択し、選択したフィルタ係数を含む符号化データを生成する場合と比べて、符号化データに含まれる情報量が少なくなる。よって、適応的なフィルタ係数を用いつつ符号量を削減することができる。

（２） 本発明は、（１）の動画像符号化装置について、予め定められた複数種類のフィルタ係数の入力を受付ける入力手段（例えば、図１のインター符号化予測値生成部２に相当）を備え、前記符号化側フィルタ係数保持手段は、前記入力手段により入力を受付けられたフィルタ係数を保持することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置に、予め定められた複数種類のフィルタ係数の入力を受付ける入力手段に設け、符号化側フィルタ係数保持手段により、入力手段により入力を受付けられたフィルタ係数を保持することとした。

このため、（２）の動画像符号化装置は、外部において予め定められた複数種類のフィルタ係数を用いて、符号化データを生成することができる。

（３） 本発明は、（１）の記載の動画像符号化装置について、複数種類のフィルタ係数を決定するフィルタ係数決定手段（例えば、図７のフィルタ係数算出部２３に相当）を備え、前記符号化側フィルタ係数保持手段は、前記フィルタ係数決定手段により決定されたフィルタ係数を保持することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置に、複数種類のフィルタ係数を決定するフィルタ係数決定手段を設け、符号化側フィルタ係数保持手段により、フィルタ係数決定手段により決定されたフィルタ係数を保持することとした。

このため、（３）の動画像符号化装置は、複数種類のフィルタ係数を内部で決定し、これらフィルタ係数を用いて符号化データを生成することができる。

（４） 本発明は、（３）の動画像符号化装置について、前記フィルタ係数決定手段は、前記符号化側フィルタ係数選択手段により符号化制御単位ごとに選択されたフィルタ係数を蓄積する符号化側フィルタ係数蓄積手段（例えば、図６の第３のローカルメモリ９に相当）と、前記符号化側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定する符号化側基準フィルタ係数設定手段（例えば、図７の小数位置補間値生成部２１Ａに相当）と、前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、当該基準のフィルタ係数より通過域の広いものと、当該基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定する符号化側フィルタ係数設定手段（例えば、図７の小数位置補間値生成部２１Ａに相当）と、を備え、前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数と、前記符号化側フィルタ係数設定手段により設定されたフィルタ係数と、を前記複数種類のフィルタ係数として決定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（３）の動画像符号化装置において、フィルタ係数決定手段に、符号化側フィルタ係数蓄積手段、符号化側基準フィルタ係数設定手段、および符号化側フィルタ係数設定手段を設けた。そして、符号化側フィルタ係数蓄積手段により、符号化側フィルタ係数選択手段により符号化制御単位ごとに選択されたフィルタ係数を蓄積し、符号化側基準フィルタ係数設定手段により、符号化側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定することとした。また、符号化側フィルタ係数設定手段により、符号化側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、基準のフィルタ係数より通過域の広いものと、基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定することとした。さらに、フィルタ係数決定手段により、符号化側基準フィルタ係数設定手段により設定されたフィルタ係数と、符号化側フィルタ係数設定手段により設定されたフィルタ係数と、を複数種類のフィルタ係数として決定することとした。

このため、（４）の動画像符号化装置は、符号化制御単位ごとに用いたフィルタ係数を蓄積し、これら蓄積したフィルタ係数に基づいて複数種類のフィルタ係数を決定することができる。

（５） 本発明は、（１）〜（４）のいずれかの動画像符号化装置について、前記符号化制御単位とは、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであることを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（４）のいずれかの動画像符号化装置において、符号化制御単位とは、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであることとした。

このため、（５）の動画像符号化装置は、符号化データの生成に用いるフィルタ係数を、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームごとに決定することができる。

（６） 本発明は、（１）〜（５）のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記符号化データを復号して復号データを求める符号化データ復号手段（例えば、図４の符号化データ解析部１１０に相当）と、前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数を保持する復号側フィルタ係数保持手段（例えば、図４の符号化データ解析部１１０に相当）と、前記符号化側識別情報保持手段により保持された識別情報を保持する復号側識別情報保持手段（例えば、図４の符号化データ解析部１１０に相当）と、前記復号側識別情報保持手段により保持された識別情報に基づいて、前記復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、前記符号化データに含まれる識別情報に対応するものを選択する復号側フィルタ係数選択手段（例えば、図４の符号化データ解析部１１０に相当）と、前記復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像（例えば、図４の復号済み画素値Ａに相当）を生成する予測画像生成手段と、を備えることを特徴とする動画像復号装置を提案している。

この発明によれば、（１）〜（５）のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置に、符号化データ復号手段、復号側フィルタ係数保持手段、復号側識別情報保持手段、復号側フィルタ係数選択手段、および予測画像生成手段を設けた。そして、符号化データ復号手段により、符号化データを復号して復号データを求め、復号側フィルタ係数保持手段により、符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数を保持し、復号側識別情報保持手段により、符号化側識別情報保持手段により保持された識別情報を保持することとした。また、復号側フィルタ係数選択手段により、復号側識別情報保持手段により保持された識別情報に基づいて、復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、符号化データに含まれる識別情報に対応するものを選択することとした。また、予測画像生成手段により、復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像を生成することとした。

このため、（６）の動画像復号装置は、符号化データに含まれる識別情報に基づいて、この符号化データを生成する際に動画像符号化装置において用いられたフィルタ係数を識別し、識別したフィルタ係数を用いて動き補償予測画像を生成する。したがって、符号化制御単位ごとに動画像符号化装置において用いられたフィルタ係数を用いて、動き補償予測画像を生成することができる。

（７） 本発明は、（６）の動画像復号装置について、前記復号データから識別情報を取得する識別情報取得手段（例えば、図４の符号化データ解析部１１０に相当）を備え、前記復号側フィルタ係数選択手段は、前記識別情報取得手段により取得された識別情報に対応するフィルタ係数を、前記符号化データに含まれる識別情報に対応するものとして選択することを特徴とする動画像復号装置を提案している。

この発明によれば、（６）の動画像復号装置に、復号データから識別情報を取得する識別情報取得手段を設け、復号側フィルタ係数選択手段により、識別情報取得手段により取得された識別情報に対応するフィルタ係数を、符号化データに含まれる識別情報に対応するものとして選択することとした。

このため、（７）の動画像復号装置は、符号化データに含まれる識別情報を取得し、取得した識別情報に応じたフィルタ係数を用いて、動き補償予測画像を生成することができる。

（８） 本発明は、（４）の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記符号化データを復号して復号データを求める符号化データ復号手段（例えば、図４の符号化データ解析部１１０に相当）と、複数種類のフィルタ係数を保持する復号側フィルタ係数保持手段（例えば、図４の符号化データ解析部１１０に相当）と、前記符号化側識別情報保持手段により保持された識別情報を保持する復号側識別情報保持手段（例えば、図４の符号化データ解析部１１０に相当）と、前記復号データから識別情報を取得する識別情報取得手段（例えば、図４の符号化データ解析部１１０に相当）と、前記復号側識別情報保持手段により保持された識別情報に基づいて、前記復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、前記識別情報取得手段により取得された識別情報に対応するものを選択する復号側フィルタ係数選択手段（例えば、図４の符号化データ解析部１１０に相当）と、前記復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像（例えば、図４の復号済み画素値Ａに相当）を生成する予測画像生成手段と、前記予測画像生成手段により用いられたフィルタ係数を蓄積する復号側フィルタ係数蓄積手段と、前記復号側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定する復号側基準フィルタ係数設定手段と、前記復号側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、当該基準のフィルタ係数より通過域の広いものと、当該基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定する復号側フィルタ係数設定手段と、を備え、前記復号側フィルタ係数保持手段は、前記復号側基準フィルタ係数設定手段により設定されたフィルタ係数と、前記復号側フィルタ係数設定手段により設定されたフィルタ係数と、を前記複数種類のフィルタ係数として保持することを特徴とする動画像復号装置を提案している。

この発明によれば、（４）の動画像符号化装置において生成された符号化データを復号する動画像復号装置に、符号化データ復号手段、復号側フィルタ係数保持手段、復号側識別情報保持手段、識別情報取得手段、復号側フィルタ係数選択手段、予測画像生成手段、復号側フィルタ係数蓄積手段、復号側基準フィルタ係数設定手段、および復号側フィルタ係数設定手段を設けた。そして、復号側フィルタ係数蓄積手段により、予測画像生成手段により用いられたフィルタ係数を蓄積し、復号側基準フィルタ係数設定手段により、復号側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定することとした。また、復号側フィルタ係数設定手段により、復号側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、基準のフィルタ係数より通過域の広いものと、基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定することとした。さらに、復号側フィルタ係数保持手段により、復号側基準フィルタ係数設定手段により設定されたフィルタ係数と、復号側フィルタ係数設定手段により設定されたフィルタ係数と、を複数種類のフィルタ係数として保持することとした。

このため、（８）の動画像復号装置は、符号化制御単位ごとに用いたフィルタ係数を蓄積し、これら蓄積したフィルタ係数に基づいて複数種類のフィルタ係数を決定する。そして、これら複数種類のフィルタ係数の中から、符号化制御単位ごとに動画像符号化装置において用いられたフィルタ係数を識別し、識別したフィルタ係数を用いて、動き補償予測画像を生成することができる。

（９） 本発明は、（６）〜（８）のいずれかの動画像復号装置について、前記符号化制御単位とは、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであることを特徴とする動画像復号装置を提案している。

この発明によれば、（６）〜（８）のいずれかの動画像復号装置において、符号化制御単位とは、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであることとした。

このため、（９）の動画像復号装置は、動き補償予測画像の生成に用いるフィルタ係数を、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームごとに決定することができる。

（１０） 本発明は、（１）〜（５）のいずれかの動画像符号化装置において生成される符号化データの符号化データ構造であって、各符号化制御単位に対する設定値として、当該符号化制御単位で適用される識別情報を含むことを特徴とする符号化データ構造を提案している。

この発明によれば、（１）〜（５）のいずれかの動画像符号化装置において生成される符号化データの符号化データ構造において、各符号化制御単位に対する設定値として、符号化制御単位で適用される識別情報を含むこととした。

このため、（１０）の符号化データ構造の符号化データを生成する動画像符号化装置は、符号化制御単位ごとに用いたフィルタ係数に応じた識別情報を含む符号化データを生成することができる。また、（１０）の符号化データ構造の符号化データを受信する動画像復号装置は、符号化制御単位ごとに動画像符号化装置において用いられたフィルタ係数を用いて、動き補償予測画像を生成することができる。

（１１） 本発明は、（１０）の符号化データ構造について、複数の符号化制御単位に対する設定値として、前記符号化側フィルタ係数保持手段により保持されるフィルタ係数と、当該フィルタ係数の数と、を含むことを特徴とする符号化データ構造を提案している。

この発明によれば、（１０）の符号化データ構造において、複数の符号化制御単位に対する設定値として、符号化側フィルタ係数保持手段により保持されるフィルタ係数と、フィルタ係数の数と、を含むこととした。

このため、（１１）の符号化データ構造の符号化データを生成する動画像符号化装置は、複数の符号化制御単位ごとに、複数種類のフィルタ係数と、これら複数種類のフィルタ係数の数と、を含む符号化データを生成することができる。また、（１１）の符号化データ構造の符号化データを受信する動画像復号装置は、複数の符号化制御単位ごとに、複数種類のフィルタ係数と、これら複数種類のフィルタ係数の数と、に基づいて、動き補償予測画像を生成する際に用いるフィルタ係数を決定し、このフィルタ係数を用いて動き補償予測画像を生成することができる。

（１２） 本発明は、（１）〜（５）のいずれかの動画像符号化装置について、前記符号化データ生成手段は、（１０）または（１１）の符号化データ構造に従った符号化データを生成することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（５）のいずれかの動画像符号化装置において、符号化データ生成手段により、（１０）または（１１）の符号化データ構造に従った符号化データを生成することとした。

このため、（１２）の動画像符号化装置は、符号化制御単位ごとに用いたフィルタ係数に応じた識別情報を含む符号化データを生成したり、複数の符号化制御単位ごとに、複数種類のフィルタ係数と、これら複数種類のフィルタ係数の数と、を含む符号化データを生成したりすることができる。

（１３） 本発明は、（６）〜（９）のいずれかの動画像復号装置について、前記符号化データ復号手段は、（１０）または（１１）の符号化データ構造に従って生成された符号化データを復号することを特徴とする動画像復号装置を提案している。

この発明によれば、（６）〜（９）のいずれかの動画像復号装置において、符号化データ復号手段により、（１０）または（１１）の符号化データ構造に従って生成された符号化データを復号することとした。

このため、（１３）の動画像復号装置は、符号化制御単位ごとに動画像符号化装置において用いられたフィルタ係数を用いて動き補償予測画像を生成したり、複数の符号化制御単位ごとに、複数種類のフィルタ係数と、これら複数種類のフィルタ係数の数と、に基づいて、動き補償予測画像を生成する際に用いるフィルタ係数を決定し、このフィルタ係数を用いて動き補償予測画像を生成したりすることができる。

（１４） 本発明は、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化方法であって、予め定められた複数種類のフィルタ係数（例えば、図１の動画像符号化装置ＡＡの外部で定められる複数種類のフィルタ係数や、図６の動画像符号化装置ＣＣの内部で定められる複数種類のフィルタ係数に相当）を保持する第１のステップ（例えば、図３のステップＳ２の処理に相当）と、前記複数種類のフィルタ係数のそれぞれに固有の識別情報（例えば、後述の第３の情報に含まれる、複数種類の補間フィルタ係数のｎそれぞれに固有の識別情報に相当）を保持する第２のステップ（例えば、図３のステップＳ３の処理に相当）と、前記第１のステップにおいて保持した複数種類のフィルタ係数の中から１つを、符号化制御単位（例えば、後述の１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームに相当）ごとに選択する第３のステップ（例えば、図３のステップＳ４の処理に相当）と、前記第２のステップにおいて保持した複数種類の識別情報のうち、前記第３のステップにおいて選択したフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択する第４のステップ（例えば、図３のステップＳ４の処理に相当）と、前記第４のステップにおいて選択した識別情報を含む符号化データ（例えば、図１や図６の符号化データｃに相当）を生成する第５のステップと、を備えることを特徴とする動画像符号化方法を提案している。

この発明によれば、まず、予め定められた複数種類のフィルタ係数を保持するとともに、複数種類のフィルタ係数のそれぞれに固有の識別情報を保持する。次に、保持した複数種類のフィルタ係数の中から１つを、符号化制御単位ごとに選択し、保持した複数種類の識別情報のうち、選択したフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択し、選択した識別情報を含む符号化データを生成する。これによれば、上述した効果と同様の効果をそうすることができる。

（１５） 本発明は、（１４）の動画像符号化方法において生成された符号化データを復号する動画像復号方法であって、前記符号化データを復号して復号データを求める第６のステップと、前記第１のステップにおいて保持した複数種類のフィルタ係数を保持する第７のステップと、前記第２のステップにおいて保持した識別情報を保持する第８のステップと、前記第８のステップにおいて保持した識別情報に基づいて、前記第７のステップにおいて保持した複数種類のフィルタ係数の中から、前記符号化データに含まれる識別情報に対応するものを選択する第９のステップと、前記第９のステップにおいて選択したフィルタ係数を用いて、動き補償予測画像を生成する第１０のステップと、を備えることを特徴とする動画像復号方法を提案している。

この発明によれば、（１４）の動画像符号化方法に加えて、まず、符号化データを復号して復号データを求める。次に、（１４）の動画像符号化方法により保持した複数種類のフィルタ係数を保持するとともに、（１４）の動画像符号化方法により保持した識別情報を保持する。次に、保持した識別情報に基づいて、保持した複数種類のフィルタ係数の中から、符号化データに含まれる識別情報に対応するものを選択し、選択したフィルタ係数を用いて、動き補償予測画像を生成する。これによれば、上述した効果と同様の効果をそうすることができる。

（１６） 本発明は、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、予め定められた複数種類のフィルタ係数（例えば、図１の動画像符号化装置ＡＡの外部で定められる複数種類のフィルタ係数や、図６の動画像符号化装置ＣＣの内部で定められる複数種類のフィルタ係数に相当）を保持する第１のステップ（例えば、図３のステップＳ２の処理に相当）と、前記複数種類のフィルタ係数のそれぞれに固有の識別情報（例えば、後述の第３の情報に含まれる、複数種類の補間フィルタ係数のｎそれぞれに固有の識別情報に相当）を保持する第２のステップ（例えば、図３のステップＳ３の処理に相当）と、前記第１のステップにおいて保持した複数種類のフィルタ係数の中から１つを、符号化制御単位（例えば、後述の１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームに相当）ごとに選択する第３のステップ（例えば、図３のステップＳ４の処理に相当）と、前記第２のステップにおいて保持した複数種類の識別情報のうち、前記第３のステップにおいて選択したフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択する第４のステップ（例えば、図３のステップＳ４の処理に相当）と、前記第４のステップにおいて選択した識別情報を含む符号化データ（例えば、図１や図６の符号化データｃに相当）を生成する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、まず、予め定められた複数種類のフィルタ係数を保持するとともに、複数種類のフィルタ係数のそれぞれに固有の識別情報を保持する。次に、保持した複数種類のフィルタ係数の中から１つを、符号化制御単位ごとに選択し、保持した複数種類の識別情報のうち、選択したフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択し、選択した識別情報を含む符号化データを生成する。これによれば、上述した効果と同様の効果をそうすることができる。

（１７） 本発明は、（１６）の動画像符号化方法において生成された符号化データを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記符号化データを復号して復号データを求める第６のステップと、前記第１のステップにおいて保持した複数種類のフィルタ係数を保持する第７のステップと、前記第２のステップにおいて保持した識別情報を保持する第８のステップと、前記第８のステップにおいて保持した識別情報に基づいて、前記第７のステップにおいて保持した複数種類のフィルタ係数の中から、前記符号化データに含まれる識別情報に対応するものを選択する第９のステップと、前記第９のステップにおいて選択したフィルタ係数を用いて、動き補償予測画像を生成する第１０のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、まず、符号化データを復号して復号データを求める。次に、（１６）のプログラムをコンピュータに実行させることで保持した複数種類のフィルタ係数を保持するとともに、（１６）のプログラムをコンピュータに実行させることで保持した識別情報を保持する。次に、保持した識別情報に基づいて、保持した複数種類のフィルタ係数の中から、符号化データに含まれる識別情報に対応するものを選択し、選択したフィルタ係数を用いて、動き補償予測画像を生成する。これによれば、上述した効果と同様の効果をそうすることができる。

本発明によれば、適応的なフィルタ係数を用いつつ符号量を削減することができる。

本発明の第１実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備えるインター符号化予測値生成部の構成を示すブロック図である。 前記動画像符号化装置の動作を示すフローチャートである。 本発明の第１実施形態に係る動画像復号装置の構成を示すブロック図である。 前記動画像復号装置が備えるインター予測値生成部の構成を示すブロック図である。 本発明の第２実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備えるインター符号化予測値生成部の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［動画像符号化装置ＡＡの構成］
図１は、本発明の第１実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、イントラ符号化予測値生成部１、インター符号化予測値生成部２、モード判定制御部３、ＤＣＴ／量子化部４、ＩＤＣＴ／逆量子化部５、エントロピー符号化部６、第１のローカルメモリ７、および第２のローカルメモリ８を備える。

イントラ符号化予測値生成部１は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、を入力とする。このイントラ符号化予測値生成部１は、符号化済みブロックにおける局所復号値ｄに基づいて、予測値を生成し、生成した予測値と入力信号との差分を求めることで、符号化歪みを算出する。そして、算出した符号化歪みと、符号化済みブロックにおける予測方向情報ｅと、に基づいて、符号化に要する符号化コスト値ｈを算出する。そして、イントラ予測値ｆと、イントラ予測情報（動きベクトルを含む）ｇと、符号化コスト値ｈと、を出力する。

インター符号化予測値生成部２は、入力映像ａと、係数情報ｂと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、を入力とする。係数情報ｂには、動画像符号化装置ＡＡの外部で予め定められた複数種類の補間フィルタ係数が含まれる。このインター符号化予測値生成部２は、これら入力に基づいて、インター予測値ｉと、インター予測情報（動きベクトルを含む）ｊと、係数情報ｂと、符号化コスト値ｍと、を出力する。

図２は、インター符号化予測値生成部２の構成を示すブロック図である。インター符号化予測値生成部２は、小数位置補間値生成部２１および動き補償処理部２２を備える。

小数位置補間値生成部２１は、係数情報ｂと、符号化済みブロックにおける局所復号値ｄと、を入力とする。この小数位置補間値生成部２１は、符号化制御単位ごとに、係数情報ｂに含まれる複数種類の補間フィルタ係数の中から適切なものを１つ選択し、符号化済みブロックにおける局所復号値ｄに対して、選択した補間フィルタ係数を用いて小数画素位置における補間値を生成し、局所復号値ｄに関する小数画素位置における補間値ｑとして出力する。なお、本実施形態では、符号化制御単位として、１５枚のピクチャを適用したものとする。また、係数情報ｂに含まれる複数種類の補間フィルタ係数の中から適切なものを１つ選択する際には、例えば、上述の非特許文献３に記載のＲ−Ｄ最適化法を適用できる。

動き補償処理部２２は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、局所復号値ｄに関する小数画素位置における補間値ｑと、を入力とする。この動き補償処理部２２は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、局所復号値ｄに関する小数画素位置における補間値ｑと、に基づいて、この符号化済みブロックにおける動き補償予測を行って動きベクトルを求める。そして、求めた動きベクトルと、符号化済みブロックにおける予測方向情報ｅから求められる予測ベクトルと、の差分を計算し、符号化すべきインター予測情報を求める。また、予測誤差および発生符号量に基づいて、インター符号化におけるコスト値を求める。そして、インター予測値ｉ、インター予測情報（動きベクトルを含む）ｊ、および符号化コスト値ｍとして出力する。

図１に戻って、モード判定制御部３は、イントラ符号化予測値生成部１から出力される符号化コスト値ｈと、インター符号化予測値生成部２から出力される符号化コスト値ｍと、を入力とする。このモード判定制御部３は、これら入力される符号化コスト値ｈ、ｍの比較を行い、処理ブロックに適する符号化モードを選択する。

ＤＣＴ／量子化部４は、入力映像ａと、イントラ予測値ｆおよびインター予測値ｉのうちモード判定制御部３により選択された符号化モードに応じたものと、の差分を入力とする。ここで、イントラ予測値ｆおよびインター予測値ｉのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測値ｆのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測値ｉのことである。このＤＣＴ／量子化部４は、入力される信号に対してＤＣＴ処理および量子化処理を施し、量子化されたＤＣＴ係数（残差信号）ｎとして出力する。

ＩＤＣＴ／逆量子化部５は、量子化されたＤＣＴ係数（残差信号）ｎを入力とする。このＩＤＣＴ／逆量子化部５は、入力される信号に対して逆量子化処理および逆ＤＣＴ処理を施し、逆ＤＣＴされた画素信号ｐとして出力する。

エントロピー符号化部６は、係数情報ｂと、量子化されたＤＣＴ係数（残差信号）ｎと、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたものと、を入力とする。ここで、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測情報ｇのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測情報ｊのことである。このエントロピー符号化部６は、入力される信号に対して後述の補間フィルタ係数情報を記述し、エントロピー符号化を行い、符号化データｃとして出力する。

上述の補間フィルタ係数情報は、１５枚のピクチャに対するパラメータセットに記述される情報と、各スライスに対する制御情報に記述される情報と、に分類される。なお、１５枚のピクチャに対するパラメータセットとは、例えば、非特許文献１に示された標準規格におけるシーケンスパラメータセット（ＳＰＳ；Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やピクチャパラメータセット（ＰＰＳ；Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のことである。また、各スライスに対する制御情報とは、例えば、非特許文献１に示された標準規格におけるスライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）のことである。

１５枚のピクチャに対するパラメータセットに記述される情報としては、以下の３つがある。

第１の情報は、本発明による適応補間フィルタ手法の使用の有無を示す情報である。この情報は、１ｂｉｔのフラグ情報であり、本発明による適応補間フィルタ手法を使用する場合には、以下の第２の情報と、以下の第３の情報と、も記述される。なお、この情報が存在しない場合には、本発明による適応補間フィルタ手法を使用しないことを示し、非特許文献１または非特許文献２に記載の補間フィルタ係数が用いられることとなる。

第２の情報は、動画像符号化装置ＡＡの外部で予め定められた補間フィルタ係数の数を示す情報である。符号化データｃ中では、動画像符号化装置ＡＡの外部で予め定められた補間フィルタ係数の数から１を減算した値が記述される。

第３の情報は、動画像符号化装置ＡＡの外部で予め定められた複数種類の補間フィルタ係数の情報と、これら複数種類の補間フィルタ係数のそれぞれに固有の識別情報と、である。この情報は、各小数画素位置における補間フィルタ係数の情報でもあり、各補間フィルタ係数は、量子化されて符号化される。

一方、各スライスに対する制御情報に記述される情報としては、各スライスで選択された補間フィルタ係数を識別するための識別情報がある。この識別情報は、「０」から、動画像符号化装置ＡＡの外部で予め定められた補間フィルタ係数の数から１を減算した値までの値で示される。

第１のローカルメモリ７は、イントラ予測値ｆおよびインター予測値ｉのうちモード判定制御部３により選択された符号化モードに応じたものと、逆ＤＣＴされた画素信号ｐと、の和をとった信号、すなわち符号化済みブロックにおける局所復号値ｄを入力とする。この第１のローカルメモリ７は、符号化済みブロックにおける局所復号値ｄを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

第２のローカルメモリ８は、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたもの、すなわち符号化済みブロックにおける予測方向情報ｅを入力とする。ここで、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測情報ｇのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測情報ｊのことである。この第２のローカルメモリ８は、符号化済みブロックにおける予測方向情報ｅを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

［動画像符号化装置ＡＡの動作］
図３は、動画像符号化装置ＡＡの動作を示すフローチャートである。

ステップＳ１において、動画像符号化装置ＡＡは、エントロピー符号化部６により、小数位置補間値生成部２１において用いられる補間フィルタ係数の更新タイミングであるか否かを判別する。そして、更新タイミングであると判別した場合、すなわち１５枚のピクチャについて符号化データｃを生成した場合には、ステップＳ２に処理を移す。一方、更新タイミングではないと判別した場合、すなわち１５枚のピクチャについて符号化データｃを生成していない場合には、ステップＳ４に処理を移す。

ステップＳ２において、動画像符号化装置ＡＡは、係数情報ｂに含まれる、動画像符号化装置ＡＡの外部で予め定められた複数種類の補間フィルタ係数を、小数位置補間値生成部２１により蓄積し、ステップＳ３に処理を移す。

ステップＳ３において、動画像符号化装置ＡＡは、エントロピー符号化部６により、１５枚のピクチャに対するパラメータセットに、上述の第１の情報と、上述の第２の情報と、上述の第３の情報と、を記述し、ステップＳ４に処理を移す。

ステップＳ４において、動画像符号化装置ＡＡは、小数位置補間値生成部２１により、ステップＳ３において記述した第１の情報に基づいて、本発明による適応補間フィルタ手法を使用するか否かを判別する。そして、使用すると判別した場合には、ステップＳ２において蓄積した複数種類の補間フィルタ係数の中から適切なものを１つ選択し、使用しないと判別した場合には、非特許文献１または非特許文献２に記載の補間フィルタ係数を１つ選択する。また、動画像符号化装置ＡＡは、エントロピー符号化部６により、スライスヘッダといった各スライスに対する制御情報に、選択した補間フィルタ係数の識別情報を記述する。そして、ステップＳ５に処理を移す。

ステップＳ５において、動画像符号化装置ＡＡは、モード判定制御部３により、処理ブロックに適する符号化モードがインター符号化であるか否かを判別する。そして、インター符号化であると判別した場合には、ステップＳ６に処理を移し、インター符号化ではないと判別した場合には、ステップＳ７に処理を移す。

ステップＳ６において、動画像符号化装置ＡＡは、ステップＳ４において選択した補間フィルタ係数を用いてインター符号化予測値生成部２によりインター符号化を行った結果をエントロピー符号化部６に出力し、ステップＳ８に処理を移す。

ステップＳ７において、動画像符号化装置ＡＡは、イントラ符号化予測値生成部１によりイントラ符号化を行った結果をエントロピー符号化部６に出力し、ステップＳ８に処理を移す。

ステップＳ８において、動画像符号化装置ＡＡは、マクロブロック単位での符号化が完了したか否かを判別する。そして、完了したと判別した場合には、図３の処理を終了し、完了していないと判別した場合には、ステップＳ５に処理を移す。

［動画像復号装置ＢＢの構成］
図４は、本発明の第１実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、符号化データ解析部１１０、予測手法制御部１２０、インター予測値生成部１３０、イントラ予測値生成部１４０、およびメモリ１５０を備え、動画像符号化装置ＡＡにおいて生成された符号化データｃを復号する。

符号化データ解析部１１０は、符号化データｃを入力とする。この符号化データ解析部１１０は、まず、符号化シンタックスに従って、符号化データｃに記載されている内容を解析し、エントロピー復号する。次に、符号化データｃに含まれる上述の補間フィルタ係数に基づいて、１５枚のピクチャに対するパラメータセットに記述される情報を解析する。具体的には、上述の第１の情報に基づいて、本発明による適応補間フィルタ手法を使用するか否かを判別する。そして、使用すると判別すれば、まず、上述の第２の情報および第３の情報を読み取るとともに、各スライスで選択された補間フィルタ係数を識別するための情報を解析し、情報を解析したスライスに応じたフレームで動画像符号化装置ＡＡにおいて適用された補間フィルタ係数の識別情報を、読み取る。次に、第２の情報および第３の情報に基づいて、上述の予め定められた複数種類の補間フィルタ係数の中から、読み取った識別情報に対応するものを選択する。そして、エントロピー復号の結果として得られる、エントロピー復号された残差信号Ｂと、エントロピー復号された予測情報Ｄと、を出力するとともに、上述の選択した補間フィルタ係数を補間フィルタ係数Ｃとして出力する。

予測手法制御部１２０は、エントロピー復号された予測情報Ｄを入力とする。この予測手法制御部１２０は、エントロピー復号された予測情報Ｄが、イントラ予測に関するものであるのか、インター予測に関するものであるのかを識別し、イントラ予測とインター予測とを切り替えるための制御信号Ｅを出力する。

インター予測値生成部１３０には、補間フィルタ係数Ｃが入力されるとともに、制御信号Ｅに応じて、復号済み画素値Ａと、エントロピー復号された予測情報Ｄと、が入力される場合がある。具体的には、復号済み画素値Ａと、エントロピー復号された予測情報Ｄとは、エントロピー復号された予測情報Ｄがインター予測に関するものであると予測手法制御部１２０により識別された場合に、インター予測値生成部１３０に入力される。このインター予測値生成部１３０は、復号済み画素値Ａを元に、エントロピー復号された予測情報Ｄに従ってインター予測値Ｆを生成し、出力する。

図５は、インター予測値生成部１３０の構成を示すブロック図である。インター予測値生成部１３０は、小数位置補間値生成部１３１および動き補償処理部１３２を備える。

小数位置補間値生成部１３１は、復号済み画素値Ａと、補間フィルタ係数Ｃと、を入力とする。そして、復号済み画素値Ａに対して、補間フィルタ係数Ｃに従って、復号済み画素値Ａに関する小数画素位置における補間値Ｈを生成し、出力する。

動き補償処理部１３２は、復号済み画素値Ａと、補間フィルタ係数Ｃと、エントロピー復号された予測情報Ｄと、復号済み画素値Ａに関する小数画素位置における補間値Ｈと、を入力とする。この動き補償処理部１３２は、エントロピー復号された予測情報Ｄから生成される動きベクトルに基づいて、復号済み画素値Ａを参照してインター予測値Ｆを生成し、出力する。

図４に戻って、イントラ予測値生成部１４０には、制御信号Ｅに応じて、復号済み画素値Ａと、エントロピー復号された予測情報Ｄと、が入力される場合がある。具体的には、復号済み画素値Ａと、エントロピー復号された予測情報Ｄとは、エントロピー復号された予測情報Ｄがイントラ予測に関するものであると予測手法制御部１２０により識別された場合に、イントラ予測値生成部１４０に入力される。このイントラ予測値生成部１４０は、復号済み画素値Ａを元に、エントロピー復号された予測情報Ｄに従ってイントラ予測値Ｇを生成し、出力する。

メモリ１５０は、エントロピー復号された残差信号Ｂと、インター予測値Ｆおよびイントラ予測値Ｇのうち制御信号Ｅに応じたものと、の和をとった信号、すなわち復号済み画素値Ａを入力とする。ここで、インター予測値Ｆおよびイントラ予測値Ｇのうち制御信号Ｅに応じたものとは、エントロピー復号された予測情報Ｄがインター予測に関するものであると予測手法制御部１２０により識別された場合には、インター予測値Ｆのことであり、エントロピー復号された予測情報Ｄがイントラ予測に関するものであると予測手法制御部１２０により識別された場合には、イントラ予測値Ｇのことである。メモリ１５０は、入力された復号済み画素値Ａを蓄積し、未復号ブロックの復号処理を行う際に、適宜、インター予測値生成部１３０またはイントラ予測値生成部１４０に供給する。

以上の動画像符号化装置ＡＡによれば、動画像符号化装置ＡＡの外部で予め定められた複数種類の補間フィルタ係数の中から適切なものを１つ選択する。そして、符号化データｃを生成する際には、選択した補間フィルタ係数に固有の識別情報を、各スライスに対する制御情報に記載し、選択した補間フィルタ係数を用いて、この補間フィルタ係数に固有の識別情報を含む符号化データｃを生成する。このため、補間フィルタ係数を含む符号化データｃを生成する場合と比べて、符号化データｃに含まれる情報量が少なくなる。したがって、適応的な補間フィルタ係数を用いつつ、符号化データｃの符号量を削減することができる。なお、例えば、ＷＶＧＡ解像度の映像に対して、ＧＯＰ長を１５とし、４種類の補間フィルタ係数を動画像符号化装置ＡＡの外部で予め定めるものとした場合には、Ｈ．２６４に対して７％程度の符号量を削減することができる。

また、動画像符号化装置ＡＡによれば、動画像符号化装置ＡＡの外部で予め定められた複数種類の補間フィルタ係数を用いて、符号化データｃを生成することができる。

以上の動画像復号装置ＢＢによれば、動画像符号化装置ＡＡで生成された符号化データｃにより、動画像符号化装置ＡＡが適切な補間フィルタ係数を選択する際に候補となった複数種類の補間フィルタ係数と、これら複数種類の補間フィルタ係数のそれぞれに固有の識別情報と、適切であるとして動画像符号化装置ＡＡにおいて選択された補間フィルタ係数に固有の識別情報と、を求める。そして、これらの求めた情報に基づいて、上述の適切であるとして動画像符号化装置ＡＡにおいて選択された補間フィルタ係数、すなわち動画像符号化装置ＡＡにおいて用いられた補間フィルタ係数を識別し、識別した補間フィルタ係数を用いて復号済み画素値Ａを生成する。このため、１５枚のピクチャごとに動画像符号化装置ＡＡにおいて用いられた補間フィルタ係数を用いて、復号済み画素値Ａを生成することができる。

＜第２実施形態＞
［動画像符号化装置ＣＣの構成］
図６は、本発明の第２実施形態に係る動画像符号化装置ＣＣの構成を示すブロック図である。動画像符号化装置ＣＣは、図１に示した本発明の第１実施形態に係る動画像符号化装置ＡＡとは、第３のローカルメモリ９を備える点と、インター符号化予測値生成部２の代わりにインター符号化予測値生成部２Ａを備える点と、適切な補間フィルタ係数を選択する際の候補となる複数種類の補間フィルタ係数の設定手法と、が異なる。具体的には、複数種類の補間フィルタ係数は、動画像符号化装置ＡＡでは、動画像符号化装置ＡＡの外部で予め定められるのに対して、動画像符号化装置ＣＣでは、動画像符号化装置ＣＣの内部で定められる。なお、動画像符号化装置ＣＣにおいて、動画像符号化装置ＡＡと同一構成要件については、同一符号を付し、その説明を省略する。

第３のローカルメモリ９は、係数情報ｂを入力とする。この係数情報ｂには、符号化済みフレームにおける補間フィルタ係数が含まれる。この第３のローカルメモリ９は、符号化済みのピクチャ群（ＧＯＰ；Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位で、各スライスで選択された補間フィルタ係数を蓄積し、直前のＧＯＰにおける補間フィルタ係数を含む係数情報ｂをインター符号化予測値生成部２Ａに供給する。

インター符号化予測値生成部２Ａは、入力映像ａと、直前のＧＯＰにおける補間フィルタ係数を含む係数情報ｂと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、を入力とする。このインター符号化予測値生成部２Ａは、これら入力に基づいて、インター予測値ｉと、インター予測情報（動きベクトルを含む）ｊと、係数情報ｂと、符号化コスト値ｍと、を出力する。

図７は、インター符号化予測値生成部２Ａの構成を示すブロック図である。インター符号化予測値生成部２Ａは、小数位置補間値生成部２１Ａ、動き補償処理部２２、およびフィルタ係数算出部２３を備える。

フィルタ係数算出部２３は、直前のＧＯＰにおける補間フィルタ係数を含む係数情報ｂを入力とする。このフィルタ係数算出部２３は、まず、直前のＧＯＰで適用された補間フィルタ係数の平均的な特性を求め、求めた特性の補間フィルタ係数を取得する。次に、取得した補間フィルタ係数を基準として、この基準の補間フィルタ係数より通過域の広いものと、基準の補間フィルタ係数より通過域の狭いものと、のうち少なくとも１つを求める。次に、上述の基準の補間フィルタ係数と、この基準の補間フィルタ係数を基準として求めた補間フィルタ係数と、を上述の複数種類の補間フィルタ係数として設定する。そして、設定した複数種類の補間フィルタ係数を含む係数情報ｂとして、出力する。

小数位置補間値生成部２１Ａは、複数種類の補間フィルタ係数を含む係数情報ｂと、符号化済みブロックにおける局所復号値ｄと、を入力とする。この小数位置補間値生成部２１Ａは、符号化制御単位ごとに、係数情報ｂに含まれる複数種類の補間フィルタ係数の中から適切なものを１つ選択し、符号化済みブロックにおける局所復号値ｄに対して、選択した補間フィルタ係数を用いて小数画素位置における補間値を生成し、局所復号値ｄに関する小数画素位置における補間値ｑとして出力する。なお、本実施形態では、符号化制御単位として、１５枚のピクチャを適用したものとする。また、係数情報ｂに含まれる複数種類の補間フィルタ係数の中から適切なものを１つ選択する際には、例えば、上述の非特許文献３に記載のＲ−Ｄ最適化法を適用できる。

なお、本実施形態では、動画像符号化装置ＣＣから出力される符号化データｃは、図４に示した本発明の第１実施形態に係る動画像復号装置ＢＢのように、補間フィルタ係数を選択する際の候補となる複数種類の補間フィルタ係数を動画像符号化装置ＣＣから受信する動画像復号装置において、受信されるものとする。

以上の動画像符号化装置ＣＣによれば、動画像符号化装置ＣＣの内部で複数種類の補間フィルタ係数を設定し、これら複数種類の補間フィルタ係数を用いて符号化データｃを生成することができる。

なお、本発明の動画像符号化装置ＡＡ、ＣＣの処理や、動画像復号装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡ、ＣＣや、動画像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の各実施形態において、符号化制御単位として、１５枚のピクチャを適用したが、これに限らず、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであってもよい。

また、上述の第２実施形態において、動画像符号化装置ＣＣから出力される符号化データｃは、図４に示した本発明の第１実施形態に係る動画像復号装置ＢＢのように、補間フィルタ係数を選択するための候補である複数種類の補間フィルタ係数を動画像符号化装置ＣＣから受信する動画像復号装置で受信されるものとしたが、これに限らない。例えば、図７に示したフィルタ係数算出部２３と同様に上述の複数種類の補間フィルタ係数を内部で設定する動画像復号装置で、受信されるものとしてもよい。

また、上述の各実施形態では、動き補償予測におけるフィルタ処理に本発明を適用する場合について説明したが、これに限らず、本発明は、スケーラブル符号化におけるレイヤ間予測や、多視点映像符号化における視差補償予測など、動き補償予測と同様の処理に対しても適用することができる。

なお、本発明は、種々の映像に対して適用することができるが、特に、低解像度に対する低ビットレート符号化条件下において好適である。

ＡＡ、ＣＣ・・・動画像符号化装置
ＢＢ・・・動画像復号装置
１・・・イントラ符号化予測値生成部
２、２Ａ・・・インター符号化予測値生成部
３・・・モード判定制御部
４・・・ＤＣＴ／量子化部
５・・・ＩＤＣＴ／逆量子化部
６・・・エントロピー符号化部
７・・・第１のローカルメモリ
８・・・第２のローカルメモリ
９・・・第３のローカルメモリ
２１、２１Ａ・・・小数位置補間値生成部
２２・・・動き補償処理部
２３・・・フィルタ係数算出部
１１０・・・符号化データ解析部
１２０・・・予測手法制御部
１３０・・・インター予測値生成部
１４０・・・イントラ予測値生成部
１５０・・・メモリ
１３１・・・小数位置補間値生成部
１３２・・・動き補償処理部

Claims (13)

1. フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置であって、
   予め定められた複数種類のフィルタ係数を保持する符号化側フィルタ係数保持手段と、
   前記複数種類のフィルタ係数のそれぞれに固有の識別情報を保持する符号化側識別情報保持手段と、
   前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から１つを、符号化制御単位ごとに選択する符号化側フィルタ係数選択手段と、
   前記符号化側識別情報保持手段により保持された複数種類の識別情報のうち、前記符号化側フィルタ係数選択手段により選択されたフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択する識別情報選択手段と、
   前記識別情報選択手段により選択された識別情報を含む符号化データを生成する符号化データ生成手段と、
   複数種類のフィルタ係数を決定するフィルタ係数決定手段と、を備え、
   前記フィルタ係数決定手段は、
   前記符号化側フィルタ係数選択手段により符号化制御単位ごとに選択されたフィルタ係数を蓄積する符号化側フィルタ係数蓄積手段と、
   前記符号化側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定する符号化側基準フィルタ係数設定手段と、
   前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、当該基準のフィルタ係数より通過域の広いものと、当該基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定する符号化側フィルタ係数設定手段と、を備え、
   前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数と、前記符号化側フィルタ係数設定手段により設定されたフィルタ係数と、を前記複数種類のフィルタ係数として決定し、
   前記符号化側フィルタ係数保持手段は、前記フィルタ係数決定手段により決定されたフィルタ係数を保持することを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   予め定められた複数種類のフィルタ係数の入力を受付ける入力手段を備え、
   前記符号化側フィルタ係数保持手段は、前記入力手段により入力を受付けられたフィルタ係数を保持することを特徴とする動画像符号化装置。
3. 請求項１または２に記載の動画像符号化装置において、
   前記符号化制御単位とは、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであることを特徴とする動画像符号化装置。
4. 請求項１から３のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
   前記符号化データを復号して復号データを求める符号化データ復号手段と、
   前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数を保持する復号側フィルタ係数保持手段と、
   前記符号化側識別情報保持手段により保持された識別情報を保持する復号側識別情報保持手段と、
   前記復号側識別情報保持手段により保持された識別情報に基づいて、前記復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、前記符号化データに含まれる識別情報に対応するものを選択する復号側フィルタ係数選択手段と、
   前記復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像を生成する予測画像生成手段と、を備えることを特徴とする動画像復号装置。
5. 請求項４に記載の動画像復号装置において、
   前記復号データから識別情報を取得する識別情報取得手段を備え、
   前記復号側フィルタ係数選択手段は、前記識別情報取得手段により取得された識別情報に対応するフィルタ係数を、前記符号化データに含まれる識別情報に対応するものとして選択することを特徴とする動画像復号装置。
6. 請求項１から３のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
   前記符号化データを復号して復号データを求める符号化データ復号手段と、
   複数種類のフィルタ係数を保持する復号側フィルタ係数保持手段と、
   前記符号化側識別情報保持手段により保持された識別情報を保持する復号側識別情報保持手段と、
   前記復号データから識別情報を取得する識別情報取得手段と、
   前記復号側識別情報保持手段により保持された識別情報に基づいて、前記復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、前記識別情報取得手段により取得された識別情報に対応するものを選択する復号側フィルタ係数選択手段と、
   前記復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像を生成する予測画像生成手段と、
   前記予測画像生成手段により用いられたフィルタ係数を蓄積する復号側フィルタ係数蓄積手段と、
   前記復号側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定する復号側基準フィルタ係数設定手段と、
   前記復号側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、当該基準のフィルタ係数より通過域の広いものと、当該基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定する復号側フィルタ係数設定手段と、を備え、
   前記復号側フィルタ係数保持手段は、前記復号側基準フィルタ係数設定手段により設定されたフィルタ係数と、前記復号側フィルタ係数設定手段により設定されたフィルタ係数と、を前記複数種類のフィルタ係数として保持することを特徴とする動画像復号装置。
7. 請求項４から６のいずれかに記載の動画像復号装置において、
   前記符号化制御単位とは、１以上のマクロブロック、１以上のスライス、１以上のピクチャ、または、１以上のフレームであることを特徴とする動画像復号装置。
8. 請求項１から３のいずれかに記載の動画像符号化装置において、
   前記符号化データ生成手段は、
   各符号化制御単位に対する設定値として、当該符号化制御単位で適用される識別情報を含む符号化データ構造、または、
   複数の符号化制御単位に対する設定値として、前記符号化側フィルタ係数保持手段により保持されるフィルタ係数と、当該フィルタ係数の数と、を含む符号化データ構造
   に従った符号化データを生成することを特徴とする動画像符号化装置。
9. 請求項４から７のいずれかに記載の動画像復号装置において、
   前記符号化データ復号手段は、
   各符号化制御単位に対する設定値として、当該符号化制御単位で適用される識別情報を含む符号化データ構造、または、
   複数の符号化制御単位に対する設定値として、前記符号化側フィルタ係数保持手段により保持されるフィルタ係数と、当該フィルタ係数の数と、を含む符号化データ構造
   に従って生成された符号化データを復号することを特徴とする動画像復号装置。
10. 符号化側フィルタ係数保持手段、符号化側識別情報保持手段、符号化側フィルタ係数選択手段、識別情報選択手段、符号化データ生成手段、およびフィルタ係数決定手段を備え、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置における動画像符号化方法であって、
    前記フィルタ係数決定手段は、符号化側フィルタ係数蓄積手段、符号化側基準フィルタ係数設定手段、および符号化側フィルタ係数設定手段を備え、
    前記符号化側フィルタ係数保持手段が、予め定められた複数種類のフィルタ係数を保持する第１のステップと、
    前記符号化側識別情報保持手段が、前記複数種類のフィルタ係数のそれぞれに固有の識別情報を保持する第２のステップと、
    前記符号化側フィルタ係数選択手段が、前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から１つを、符号化制御単位ごとに選択する第３のステップと、
    前記識別情報選択手段が、前記符号化側識別情報保持手段により保持された複数種類の識別情報のうち、前記符号化側フィルタ係数選択手段により選択されたフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択する第４のステップと、
    前記符号化データ生成手段が、前記識別情報選択手段により選択された識別情報を含む符号化データを生成する第５のステップと、
    前記フィルタ係数決定手段が、複数種類のフィルタ係数を決定する第６のステップと、を備え、
    前記第６のステップでは、前記フィルタ係数決定手段が、
    前記符号化側フィルタ係数蓄積手段により、前記符号化側フィルタ係数選択手段により符号化制御単位ごとに選択されたフィルタ係数を蓄積する第７のステップと、
    前記符号化側基準フィルタ係数設定手段により、前記符号化側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定する第８のステップと、
    前記符号化側フィルタ係数設定手段により、前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、当該基準のフィルタ係数より通過域の広いものと、当該基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定する第９のステップと、を行い、
    前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数と、前記符号化側フィルタ係数設定手段により設定されたフィルタ係数と、を前記複数種類のフィルタ係数として決定し、前記符号化側フィルタ係数保持手段により保持されている複数種類のフィルタ係数を更新することを特徴とする動画像符号化方法。
11. 符号化データ復号手段、復号側フィルタ係数保持手段、復号側識別情報保持手段、復号側フィルタ係数選択手段、および予測画像生成手段を備え、請求項１０に記載の動画像符号化方法において生成された符号化データを復号する動画像復号装置における動画像復号方法であって、
    前記符号化データ復号手段が、前記符号化データを復号して復号データを求める第１０のステップと、
    前記復号側フィルタ係数保持手段が、前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数を保持する第１１のステップと、
    前記復号側識別情報保持手段が、前記符号化側識別情報保持手段により保持された識別情報を保持する第１２のステップと、
    前記復号側フィルタ係数選択手段が、前記復号側識別情報保持手段により保持された識別情報に基づいて、前記復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、前記符号化データに含まれる識別情報に対応するものを選択する第１３のステップと、
    前記予測画像生成手段が、前記復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像を生成する第１４のステップと、を備えることを特徴とする動画像復号方法。
12. 符号化側フィルタ係数保持手段、符号化側識別情報保持手段、符号化側フィルタ係数選択手段、識別情報選択手段、符号化データ生成手段、およびフィルタ係数決定手段を備え、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記フィルタ係数決定手段は、符号化側フィルタ係数蓄積手段、符号化側基準フィルタ係数設定手段、および符号化側フィルタ係数設定手段を備え、
    前記符号化側フィルタ係数保持手段が、予め定められた複数種類のフィルタ係数を保持する第１のステップと、
    前記符号化側識別情報保持手段が、前記複数種類のフィルタ係数のそれぞれに固有の識別情報を保持する第２のステップと、
    前記符号化側フィルタ係数選択手段が、前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から１つを、符号化制御単位ごとに選択する第３のステップと、
    前記識別情報選択手段が、前記符号化側識別情報保持手段により保持された複数種類の識別情報のうち、前記符号化側フィルタ係数選択手段により選択されたフィルタ係数に固有の識別情報を、符号化制御単位ごとに選択する第４のステップと、
    前記符号化データ生成手段が、前記識別情報選択手段により選択された識別情報を含む符号化データを生成する第５のステップと、
    前記フィルタ係数決定手段が、複数種類のフィルタ係数を決定する第６のステップと、をコンピュータに実行させ、
    前記第６のステップでは、前記フィルタ係数決定手段が、
    前記符号化側フィルタ係数蓄積手段により、前記符号化側フィルタ係数選択手段により符号化制御単位ごとに選択されたフィルタ係数を蓄積する第７のステップと、
    前記符号化側基準フィルタ係数設定手段により、前記符号化側フィルタ係数蓄積手段により蓄積されたフィルタ係数に基づいて、フィルタ係数を１つ設定する第８のステップと、
    前記符号化側フィルタ係数設定手段により、前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数を基準として、当該基準のフィルタ係数より通過域の広いものと、当該基準のフィルタ係数より通過域の狭いものと、のうち少なくとも１つを設定する第９のステップと、を行い、
    前記符号化側基準フィルタ係数設定手段により設定されたフィルタ係数と、前記符号化側フィルタ係数設定手段により設定されたフィルタ係数と、を前記複数種類のフィルタ係数として決定し、前記符号化側フィルタ係数保持手段により保持されている複数種類のフィルタ係数を更新するためのプログラム。
13. 符号化データ復号手段、復号側フィルタ係数保持手段、復号側識別情報保持手段、復号側フィルタ係数選択手段、および予測画像生成手段を備え、請求項１２に記載の動画像符号化方法において生成された符号化データを復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記符号化データ復号手段が、前記符号化データを復号して復号データを求める第１０のステップと、
    前記復号側フィルタ係数保持手段が、前記符号化側フィルタ係数保持手段により保持された複数種類のフィルタ係数を保持する第１１のステップと、
    前記復号側識別情報保持手段が、前記符号化側識別情報保持手段により保持された識別情報を保持する第１２のステップと、
    前記復号側フィルタ係数選択手段が、前記復号側識別情報保持手段により保持された識別情報に基づいて、前記復号側フィルタ係数保持手段により保持された複数種類のフィルタ係数の中から、前記符号化データに含まれる識別情報に対応するものを選択する第１３のステップと、
    前記予測画像生成手段が、前記復号側フィルタ係数選択手段により選択されたフィルタ係数を用いて、動き補償予測画像を生成する第１４のステップと、をコンピュータに実行させるためのプログラム。