WO2003092300A1

WO2003092300A1 - Moving picture coding method and decoding method, and apparatus and program using the same

Info

Publication number: WO2003092300A1
Application number: PCT/JP2003/004797
Authority: WO
Inventors: Keiichi Chono
Original assignee: Nec Corporation
Priority date: 2002-04-24
Filing date: 2003-04-16
Publication date: 2003-11-06
Also published as: EP1499134B1; KR20040096548A; EP1499134A1; CN101686396B; EP3043564B1; EP1499134A4; KR100660358B1; EP3043563A1; US7835440B2; CN101686396A; EP3043564A1; CN100358367C; US20050105617A1; EP3043563B1; CN101175207A; EP3043561B1; CN1625902A; CN101175207B; JP4102973B2; EP3043561A1

Description

明細書動画像の符号化方法および復号化方法、これを用いた装置とプログラム技術分野

本発明は動画像の符号化復号技術に関し、特に、動き補償に用いる小数点画素の補間を、フィルタ係数を適応的に切リ替えて符号化を行う動画像符号化復号プログラム、方法および装置に関する。

背景技術

ディジタル放送システムやサービス等において、多くの動画像信号は圧縮符号化されて伝送 ·蓄積される。

Fig. 1 は、典型的な動画像信号の符号化器の構成を示すブロック図である。 Fig. 1 に示される符号化器は、局所的復号器を含んでおり、周波数変換器 1 1、量子化装置 1 2、可変長符号化器 1 3、逆量子化装置 1 4、逆周波数変換手段器 1 5、フレームメモリ 1 6、動き補償装置 1 7 , および動きべクトル検出装置 1 8より構成されている。入力画像は、符号化器に入力されて複数のブロックに分割される。入力画像にフレーム間予測が行われる場合、それぞれのブロックは、動き補償装置 1 7によって、過去に復号された画像から生成された予測値が減じられる。ここで、フレーム間予測とは、過去に再構築された参照画像を用いて、現在の画像を符号化する方法である。次に、この画像ブロックは、周波数変換器 1 1によって周波数領域に変換される。周波数領域に変換された画像ブロックは、量子化装置 1 2 によって量子化される。上記量子化された画像ブロックは、可変長符号化器 1 3によってエントロピ一符号化されて、蓄積される。局所的復号として、上記量子化された画像ブロックは、逆量子化装置 1 4、逆周波数変換器 1 5により、再びもとの空間領域に戻される。フレーム間予測の場合、上記予測値が画像ブロックに加えられ、再構築画像を形成する。この再構築画像は、次の画像の符号化に用いられるので参照画像と呼ばれる。上記参照画像はフレームメモリ 1 6に格納されて、動きべクトル検出装置 1 8、動き補償装置 1 7に用いられる。動きべクトル検出装置 1 8は、入力画像のブロックと上記参照画像から、動きべクトルを検出する。動き補償装置 1 7は、上記動きべクトルと上記参照画像から予測値を生成する。

Fig. 2は Fig. 1 に示した符号化器に対応する復号器の構成を示すプロック図である。 Fig. 2に示される復号器は、可変長復号化器 1 9、逆量子化装置 2 0、逆周波数変換器 2 1、動き補償装置 2 2、フレームメモリ 2 3で構成されている。逆量子化装置 2 0、逆周波数変換器 2 1、動き補償装置 2 2およびフレームメモリ 2 3の動作は、符号化器の内部復号器の逆量子化装置 1 4、逆周波数変換手段器 1 5、動き補償装置 1 7 およびフレームメモリ 1 6と同じである。復号では、まず、可変長復号化器 1 9により、入力を符号化された表現からもとの表現に戻す。次に、復号された変換係数に、逆量子化、逆周波数変換を行い、変換係数を空間領域の画像ブロックに戻す。フレーム間予測の場合、空間領域に戻された画像ブロックに予測値を加え、再構築画像を形成する。この予測値は、フレームメモリ 2 3に格納された参照画像と可変長復号化器 1 9から供給される動きべクトルによって生成される。再構築画像は、次に復号する画像に利用されるのでフレームメモリ 2 3に格納される。上記の動画像信号の符号化効率を改善する手段として、プレフィルタを用いることや小数点画素精度の動き補償などがある。プレフィルタは. 入力画像の帯域をフィルタによって操作する.ことで符号化効率を改善する。これに対して、小数点画素精度の動き補償は、參照画像に小数精度の動きを作り出すことによって符号化効率を改善する。プレフィルタは、入力画像の帯域制限を行うので、動画像の符号化効率を直接向上させるものではない。また、従来方式における小数点画素精度の動き補償は、小数点画素を固定のフィルタを用いて補間する。このため、動画像の性質、ビットレートに応じた小数点画素の補間ができない。

発明の開示

本発明は上述したような従来技術に鑑みてなされたものであって、動き補償の効果を高め、符号化効率を改善することのできる動画像の符号化 Z復号方法を実現することを目的とする。本発明の第 1形態によれば、小数点精度の動き検出、動画像符号化プログラムあるいは方法あるいは装置であって、参照画像における小数点位置の画素を複数組のフィルタで補間し、最も符号化効率が良いフィルタと動きべクトルの組を検出し、検出されたフィルタと動きべクトルを用いて予測値を生成し、予測値を生成したフィルタ情報と動きべクトルの情報を出力することを特徴とする。上記構成によれば、最も符号化効率が良いフィルタと動きべクトルを検出し、この検出したフィルタと動きベクトルによって生成された予測値を動き補償に用いる。これにより、動画像の符号化効率が改善できる。本発明の第 2形態によれば、小数点精度の動き補償をする動画像復号プログラムあるいは方法あるいは装置であって、入力されたフィルタ情報によってフィルタあるいは参照する補間フレームを切り替え、切り替わったフィルタあるいは参照する補間フレーム、および入力される動きべクトルを用いて予測値を生成することを特徴とする。本発明の第 3形態によれば、第 1形態の動画像符号化プログラムあるいは方法あるいは装置であつて、小数点位置の画素を補間するフィルタに少なくとも位相の異なる複数のフィルタを用いることを特徴とする。第 3実施形態により、動き補償精度が高まリ、符号化効率が改善する。本発明の第 4実態によれば、第 2形態の動画像の動画像復号プログラムあるいは方法あるいは装置であって、小数点位置の画素を補間するフィルタに少なくとも位相の異なる複数のフィルタを用いること特徴とする。本発明の第 5形態によれば、第 1形態の動画像符号化プログラムあるいは方法あるいは装置であつて、上記小数点位置の画素を補間するフィルタに少なくとも帯域の異なる複数のフィルタを用いることを特徴とする。第 5形態により、参照画像の帯域保存あるいは参照画像の雑音減衰が行えるので，符号化効率が改善する。本発明の第 6形態によれば、第 2形態の動画像復号プログラムあるいは方法あるいは装置であつて、上記小数点位置の画素を補間するフィルタに少なくとも帯域の異なる複数のフィルタを用いることを特徴とする。

図面の簡単な説明

Fig. 1 は、従来方式の符号化ブロック図である。

Fig. 2は、従来方式の復号ブロック図である。

Fig. 3は、本発明による第 1実施形態で複数の補間画像記憶を備える場合の構成を表すプロック図である。

Fig. 4は、本発明による第 1実施形態で複数の補間画像記憶を備える場合の動作を表すフローチヤ一トである。

Fig. 5は、本発明による第 2実施形態で 1 つの補間画像記憶を備える場合の構成を表すプロック図である。

Fig. 6は、本発明による第 2実施形態で補間画像記憶を備えない場合の動作を表すフローチヤ一トである。

Fig. 7は、本発明による第 3実施形態で補間画像記憶を備えない場合の構成を表すプロック図である。

Fig. 8は、本発明による第 3実施形態で複数の補間画像記憶を備える場合の動作を表すフローチヤ一トである。

Fig. 9は、本発明による第 4実施形態で複数の補間画像記憶を備える場合の構成を表すプロック図である。

Fig. 10は、本発明による第 4実施形態で複数の補間画像記憶を備える場合の動作を表すフローチヤ一トである。 Fig. 1 1 は、小数点画素の補間ステップを示す図である。

Fig. 12は、位相をずらさず小数点画素を補間した場合の図である。

Fig. 13は、位相をずらして小数点画素を補間した場合の図である。

Fig. 14は、 2分の 1画素を補間するフィルタと 4分の 1画素を補間するフィルタの違いを示す図である。

F i g · 15は、帯域の広いフィルタで補間をおこなうことでエッジが保存されることを示す図である。

Fig. 16は、帯域の広いフィルタがノィズも保存してしまうことを示す図である。

Fig. 17は、本発明による動画像符号化復号装置をインプリメン卜した情報処理システムの一般的な概略的ブロック構成図である。発明を実施するための最良の形態

次に、本発明の実施形態について図面を参照して詳細に説明する。第 1実施形態

Fig. 3は本発明による第 1実施形態の構成を示すブロック図である。本実施形態は、制御装置、記憶装置、入力装置および表示装置からなる —般的なコンピュータシステムを用いて構成されるものであり、 Fig. 3 にはその要部となる部分のみが示されている。フィルタ Z補間画像記憶装置 1 0 1、動きべクトルノフィルタ係数検出装置 1 0 2、予測値生成装置 1 0 3を含む。これらは、 Fig. 1 に示した符号化方式のフレームメモリ Z動き補償部動きべクトル検出に相当するものであり、これら以外の構成は Fig. 1 に示した符号化器と同じ構成とされている。このため、以下の説明では Fig. 1 も参照して本実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕があり、補間画像を複数格納できる場合に構築されるものであり、以下にその構成と動作を説明する。フィルタ補間画像記憶装置 1 0 1は、フィルタ 1 0 1 1 と補間画像記憶装置 1 0 2 1 とが組合わされた複数の組と、各組の補間画像記憶装置 1 0 2 1 出力を入力し、いずれかを選択的に動きべク卜ルノフィルタ検出装置 1 0 2および予測値生成装置 1 0 3へ出力するスィッチ 1 0 1 3とで構成される。各フィルタ 1 0 1 1 はそれぞれ異なるフィルタ特性を有するもので、入力される再構築画像から小数点位置補間画像を生成し、補間画像記憶装置 1 0 2 1 に供給する。補間画像記憶装置 1 0 2 1は、フィルタ 1 0 1 1から供給される補間画像を格納する。なお、再構築画像を記憶する手段を別途に設け、必要に応じて逐次読み出す構成とする場合には、補間画像記憶装置 1 0 2 1 を設けることなく、フィルタ 1 0 1 1で逐次計算された結果を出力することとしてもよい。動きべク卜ルフィルタ検出装置 1 0 2は、動きべクトル検出装置 1 0 2 1 とフィルタ検出装置 1 0 2 2で構成される。この動きべクトルフィルタ検出装置 1 0 2は、スィッチ 1 0 1 3を操作可能に構成されており、入力画像と補間画像から、最も符号化効率の良い動きべクトルとフィルタの組を検出し、予測値生成装置 1 0 3および可変長符号化器 1 3 ( Fig. 1参照）へ供給する。動きベクトル検出装置 1 0 2 1は、画像を入力し、また、スィッチ 1 0 1 3を操作可能に構成されており、スィッチ 1 0 1 3を順次切り替えて各補間画像記憶装置 1 0 1 2に格納されている各補間画像を入力して参照し、参照した補間画像と入力画像から、後述するブロックコストを求め、最もブロックコストの小さな動きべクトルと予測誤差の組をフィルタ検出装置 1 0 2 2へ供給する。なお、予測誤差とは、入力画像と再構築画像の差分である。フィルタ検出装置 1 0 2 2は、動きべクトル検出装置 1 0 2 1 力ヽら供給される各補間画像記憶装置 1 0 1 2に格納されている各補間画像の動きベクトルと予測誤差、および、フィルタ情報を用いて後述する符号化コストを求め、最も符号化コス卜の小さな画像を生成したフィルタ 1 0 1 1 を検出する。また、検出された動きべクトルとフィルタの組を予測値生成 1 0 3および可変長符号化器.1 3へ供給する。ここで、動きべクトル検出 1 0 2 1 とフィルタ検出 1 0 2 2を一体化し、ブロックコス卜および符号化コス卜の最も小さな動きベクトルとフィルタの組を検出するように構成してもよい。予測値生成装置 1 0 3は動きべクトル検出装置 1 0 2 1 と同様に、スイッチ 1 0 1 3を操作可能に構成されており、動きべクトルフィルタ検出装置 1 0 2より供給される動きべクトルとフィルタを用いて予測値を生成する。具体的には、フィルタに対応する補間画像をスィッチ 1 0 1 3の切り替えにより参照し、動きべクトルを用いて補間画像から予測値を読み出す。なお、動きベクトル Zフィルタ検出装置 1 0 2に予測値を記憶する機能を設け、動きべクトルフィルタ検出装置 1 0 2が、予測値を直接生成できるように構成してもよい。次に、本実施形態の動作について、 Fig. 4を参照して説明する。 Fig. 4 は本実施形態の動作を示すフローチヤ一トである。ステップ S 1 0 1 では、再構築画像にフィルタ補間画像記憶装置 1 0 1 を用いて複数の小数点位置補間画像を生成し、複数の補間画像を格納する。画像を構成する画素を x ( ί , j ) 、画像のサイズを W X Η，補間フィルタ係数（ f 1 , f 2, f 3 , f 4) とすると、 x ( i , j ) と x ( ί + 1 , j )の中間に位置する 2分の 1画素は、以下の数式で補間される。

Λ:(ί+1/2₎; ¹

■ ■ ■ (式 1 ) 式 1 を画像の横方向、縦方向に適応させることで 2分の 1画素の補間が完了する。 2分の 1小数点位置の補間画像のサイズは 4 xWx Ηとなる。 4分の 1画素、 8分の 1画素は、上記を繰り返すことで得られ、それぞれの補間画像サイズは 1 6 xWx H、 64 xWx Hとなる。また、 n分の 1画素の補間を行う場合に一般的な、補間精度と小数点画素位置に応じたフィルタを用いて直接補間することとしてもよい。続くステップ S 1 02では、ステップ S 1 0 1 で得られた各補間画像から、動きべクトルノフィルタ検出装置 1 02を用いて各補間画像別にブロックコス卜が最も小さな動きべクトルと予測誤差の組を求める。ブロックコスト（Block cost) は、動きべクトル検出装置 1 02 1 により算出され、入力画像を構成する画素を s ( i , j ) , 補間された再構築画像を構成する画素を s ( ί , j ) , ブロックのサイズを Μ χ Ν、動きベクトルを（ v x , v y ) 、動きベクトル予測を（ p x , p y ) 、ベクトル符号量を求める関数を V F ( X , y ) 、をベクトル符号量の重みづけパラメータとすると以下の数式で示される。

MJf

Block cost= - (i - vx,j - yy)| + dxVF(vx- px,vy - py) . . . (式 2 ) 続くステップ S 1 03では、ステップ S 1 02で得られた動きべクトルと予測誤差の組と補間画像を特定するフィルタ係数を用いて、フィルタ検出 1 0 2 2により、符号化コスト（Encode cost) を求める。予測誤差の符号量を E , フィルタ係数を coeff 1 、フィルタ係数の符号量を求める関数を F F (coeff) とすると、このフィルタ係数に対する符号化コストは、以下で与えられる

Encode cost _{coeff l} = E_{coeff l} + d x VF(yx - px,vy - py)_{coeff l} + F (coeff 1)

• · ' (式 3— 1 ) なお、式 3— 1 における第 1 項の予測誤差符号量を求める演算量を削減しょうとする場合には、符号化コストは、ブロックコストを再利用して、

Encode cost _coeJ^i = Block cost _coe^-₁ +F(coejfl) · · · (式 3— 2 ) としてもよい。もし、フィルタを、サイズのブロック P個の単位で切リ替える場合（フレームはブロックの集合でもある）、フィルタ係数 coeff l に対する符号化コス卜は、

P

Encode cost _coeガ (Block cost

+ F (coeffl) · · ' (式 3 3 ) で与えられる。ブロックコストには、当然ながら予測誤差の符号量を用いることができる。ただしブロックの集合単位で、フィルタ係数の切り替えを行う場合、ブロックの個数だけ、動きべクトルと予測誤差およびブロックコストを記憶しておくことが必要となり、フィルタ検出装置 1 0 2 2はこれらを記憶する機能を備えている。続くステップ S 1 0 4では、ステップ S 1 0 3で得られた最も符号化コス卜の小さなフィルタ係数と動きべクトルの組を、可変長符号化器 1 3および予測値生成装置 1 0 3に供給する。続くステップ S 1 0 5では、ステップ S 1 0 4により得られたフィルタ係数と動きべクトルを用いた予測値生成装置 1 0 3による予測値の生成が行なわれる。予測値の生成において予測値生成装置 1 0 3は、フィルタ係数に応じてスィッチ 1 0 1 3を切り替えて参照する補間画像を選択し、動きべクトルを用いて予測値を読出して生成する。以上のステップは、予め求められたフィルタ係数をどのようにして選択するかについて述べている力フィルタ係数そのものを見積もるアルゴリズムと用意に組み合わせることが可能なことは言うまでもない。第 2実施形態次に、本発明の第 2の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕がなく、補間画像を複数格納できない場合に構築されるものであり、以下にその構成と動作を説明する。

Fig. 5は本発明の第 2の実施形態の要部構成を示すブロック図である, 本実施形態は、フィルタ補間画像蓄積 1 0 1 b、動きべクトル Zフィルタ係数検出 1 0 2 b、予測値生成 1 0 3 bとを備えている。 Fig. 3 に示した実施形態の構成要素と比較すると、フィルタ補間画像蓄積装置 1 0 1 bはフィルタ補間画像蓄積装置 1 0 1 、動きベクトルフィルタ係数検出装置 1 0 2 bは動きべクトルノフィルタ係数検出装置 1 0 2、予測値生成装置 1 0 3 bは予測値生成装置 1 0 3と同様の動作を行う。これらの相違点は、フィルタノ補間画像蓄積装置 1 0 1 bを構成するフィルタ 1 0 1 1 bと補間画像記憶装置 1 0 1 2 bがー組しかなく、動きべクトル Zフィルタ検出装置 1 0 2 bおよび予測値生成装置 1 0 3 bがフィルタ係数を更新する信号線を備えていることである。また. フィルタ 1 0 1 1 bと補間画像記憶装置 1 0 1 2 bが一組しかないことからスィッチ 1 0 1 3は設けられていない。

Fig. 6は、 Fig. 5に示した実施形態の動作を示すフローチヤ一トである。 Fig.6に示されるフローチャートはステップ S 1 0 1 b〜S 1 07 b から構成されるが、 Fig.4に示した第 1 の実施形態のフローチヤ一卜と比較すると、ステップ S 1 0 1 bはステップ S 1 0 1 , ステップ S 1 0 2 bはステップ S 1 0 2, ステップ S 1 03 bはステップ S 1 03 , ステツプ S 1 04 bはステップ S 1 04, ステップ S 1 05 bはステップ S 1 0 1 , ステップ S 1 0 6 bはステップ S 1 05と同様の処理を行う。本実施形態と第 1 の実施形態とが動作において大きく異なる点は、ステツプ S 1 0 1 bにて行なわれる小数点画素補間、ステップ S 1 0 2 b にて行なわれる動きべクトル検出、ステップ S 1 03 bにて行なわれるコスト比較において、補間画像記憶装置 1 0 1 2 bに格納された補間画像を上書きしながら最適なフィルタと動きべクトルの組を検出する点で異なリ、さらに、ステップ S 1 04 bの後に、予測生成装置 1 03 b が参照したい補間画像が補間画像記憶装置 1 0 1 2 bに格納されているかの確認を行い、補間画像が補間画像記憶装置 1 0 1 2 bに格納されていない場合には、ステップ S 1 05にて再度小数点画素の補間を行つてから、ステップ S 1 06にて予測値生成を行う点である。本実施形態の構成は、主記憶に余裕が無いときに有効である。ただし、参照したい補間画像が補間画像記憶 1 0 1 2 bに残っていない場合には、再度フィルタで補間画像を生成する必要があるので、第 1の実施形態の構成よりも演算量が増加する。第 3実施形態次に、本発明の第 3の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に復号において余裕がなく、小数点位置補間画像を格納できない場合に構築されるものであり、以下にその構成と動作を説明する。 Fig. 7は本実施形態の要部構成を示すプロック図である。本実施形態は、フィルタ切替装置 2 0 1 、予測値生成装置 2 0 2を含む。これらは、 Fig. 1 に示した符号化方式のフレームメモリ動き補償部 Z動きべクトル検出に相当するものであり、これら以外の構成は Fig. 1 に示した符号化器と同じ構成とされている。このため、以下の説明では Fig. 1 も参照して本実施形態について説明する。フィルタ切替装置 2 0 1 は、可変長復号から供給されるフィルタ係数情報に応じて、予測値生成装置 2 0 2のフィルタ係数を切り替える。予測値生成装置 2 0 2は、整数画素読出し装置 2 0 2 1 、フィルタ 2 0 2 2、予測値読出し装置 2 0 2 3で構成されており、可変長復号から供給される動きべクトルを用いて、再構築画像から整数画素を読出し、フィルタリングを行い、予測値を生成する。整数画素読み出し装置 2 0 2 1 は、可変長復号から供給される動きべクトルを用いて、予測値を含む整数画素を再構築画像から読み込む。読み込んだ整数画素は、フィルタ 2 0 2 2に供給される。フィルタ 2 0 2 2は、フィルタ切替装置 2 0 1 によって切り替えられたフィルタ係数を用いて、整数画素読出し装置 2 0 2 1から供給される整数画素に小数点画素を補間する。もちろん、フィルタ係数が、可変長復号から供給されるフィルタ係数情報によつて直接切リ替え可能なことは言うまでもない。予測値読出し装置 2 0 2 3は、フィルタ 2 0 2 2から供給される補間画素と可変長復号から供給される動きべクトルを用いて、予測値ブロックを読み出す。

Fig. 8は、 Fig. 7に示した実施形態の動作を示すフローチヤ一卜である。ステップ S 2 0 1 では、可変長復号よリ供給される動きべクトルを用いて、整数画素読み出し装置 2 0 2 1 によって、再構築画像から整数画素ブロックを読み出す。ステップ S 2 0 2では、可変長復号よリ供給されるフィルタ係数情報を用いて、フィルタ切替装置 2 0 1 により、フィルタ 2 0 2 2のフィルタ係数を切り替える。ステップ S 2 0 3では、整数画素読み出し装置 2 0 1から供給される整数画素を、ステップ S 2 0 2によって切り替えられたフィルタ係数を用いて、フィルタ 2 0 2 2により小数点画素を補間する。ステップ S 2 0 4では、ステツプ S 2 0 3で得られた補間画像から、可変長復号より供給される動きべクトルを用いて、予測値読出し装置 2 0 2 3によリ予測値を読み出す。第 4実施形態次に、本発明の第 4の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕があリ、複数の小数点位置補間画像を格納できる場合に構築されるものであり、以下にその構成と動作を説明する。

Fig. 9は本発明の第 4の実施形態の要部構成を示すブロック図である ₍

Fig. 9に示されるように、本実施形態は、選択補間画像切替装置 2 0 1 b、予測値生成装置 2 0 2 bを含む。選択補間画像切替装置 2 0 1 b は、可変長復号から供給されるフィルタ係数情報によって、予測値生成装置 2 0 2 bが、参照する補間画像を切り替える。予測値生成装置 2 0 2は、複数の組のフィルタ 2 0 2 1 bと補間画像記憶装置 2 0 2 2 b、予測値読出し装置 2 0 2 3 bで構成される。フィルタ 2 0 2 1 bと補間画像蓄積 2 0 2 2 bは、フィルタ計算を行つて小数点画素補間画像を格納する。予測値読出し装置 2 0 2 3 bは、選択補間画像切替装置 2 0 1 bによって選択された、補間画像を参照し, 可変長復号から供給される動きべクトルを用いて予測値を読み出す。

Fig. 10は、 Fig. 9に示した実施形態の動作を示すフローチヤ一トである。ステップ S 2 0 1 bでは、複数組のフィルタ 2 0 2 1 bと補間画像記憶 2 0 2 2 bによって、再構築画像から複数の小数点位置補間画像を生成し、格納する。ステップ S 2 0 2 bでは、可変長復号から供給されるフィルタ係数情報を用いて選択補間画像切替装置 2 0 1 bによって、予測値読出し装置 2 0 3 bが参照する補間画像を選択する。ステップ S 2 0 3 bでは、可変長復号から供給される動きべクトルと選択補間画像切り替え装置 2 0 1 bが選択する補間画像記憶 2 0 2 2 bに格納された補間画像を用いて、予測値生成装置 2 0 2 3 bによって. 予測値を読み出す。上記の構成は、領域、ブロック、あるいは、画素単位での小数点位置補間画像フィルタの切り替えが不要になる。よって、プロセッサのァーキテクチャが、フィルタ係数切り替えのオーバーヘッドを嫌い、かつ、主記憶を大量にもつ場合に有効である。第 5実施形態次に、本発明の第 5の実施形態について説明する。本実施形態の要部構成は Fig. 3に示した第 1 の実施形態、または、 Fig. 5に示した第 2の実施形態と同様であるため、構成については図示省略する。本実施形態は、第 1 または第 2の実施形態におけるフィルタ 1 0 1 1 ， 1 0 1 1 bで用いるフィルタ係数として、少なくとも位相の異なる複数のフィルタ係数を用いることを特徴とするもので、動作は第 i実施形態または第 2の実施形態と同様である。本実施形態の効果について、まず、フィルタの位相をずらすことによる効果について説明する。まず、従来行なわれている 4分の 1画素補間の動作について説明する ₍ 小数点画素の補間は、 Fig. 1 1 に示すようにフィルタ 1 を用いる 1段目の処理により整数画素から 2分の 1画素を生成し、フィルタ 2を用いる 2 段目の処理で 2分の 1画素から 4分の 1画素を生成するといつたように 2段階の処理により行われる。上記の 2段階の処理により、 Fig. 12 ( a ) 〜（ c ) に示すように中間位置の補間を繰り返す。補間により、横方向に並んだ整数画素と整数画素の間には、 3つの小数点画素が作り出される。ここで、 Fig. 13 ( a ) 〜（c ) に示すように、故意に 1段目の補間フィルタだけを右方向に 4分の 1だけずらすと、見かけ上は 4分の 1刻みだが、 2段目の補間で 1 8 , 5 Z 8画素を作り出すことができる。また、 Fig, 13 ( d ) 〜（ f ) に示すように、左方向に 4分の 1だけずらした場合には、 2段目の補間で 3 8 , 7 8画素を作り出すことができる。上記のように左右に 4分の 1ずれたフィルタによって、見かけ上 4分の 1画素精度の動き補償でも、整数画素と整数画素の間に補間される 3 つの小数点画素が、 8分の 1刻みの値をとることができる。もちろん、位相のずらしかたにより、 1 6分の 1 、 3 2分の 1画素刻みの値をとれることは言うまでも無い。次に、本実施形態で行なわれる位相をずらす方法について説明する。 Fig. 14 ( a ) , ( b ) は、 1 2画素を補間するフィルタおよび 1 4画素を補間するフィルタのフィルタ係数をそれぞれ示している。各図において、破線は理想フィルタを示し、実線は破線を 1 2または 1 4画素ずらしたフィルタを示している。 Fig. 14 ( a ) に示す例では、 1ノ 2画素位置の画素値を求めるフィルタ係数を示しており、このフィルタ係数 (a,b,c,c，b，a)は、理想フィルタを 1ノ 2ずらすことによって得られる。 P(i)を画素値とすると、 1/2位置の画素値 P(1/2)は、以下の式によって求められる。

P

Encode cost coej^- F(coeffX) · · ' 、式 3— 3

た 2〉 (Block cost _coeffi(k)) +

=1

Fig. 14 (b) に示す例では、 1 4画素位置の画素値を求めるフィルタ係数を示しており、このフィルタ係数，㊀，りは、理想フィルタを 1 4ずらすことによって得られる。 1/2位置の場合と同様に、 1/4位置の画素値 P(1/4)は、以下の式によって求められる。

P(l / 4) = X (-2) + exP(-l) + /x (0) + gxP(l) + hx (2) + i x (3)) /(d +e + f + g +h + i) • · · (式 4一 2 )

補間された小数点位置の画素を右に 4分の 1ずらすには、 1ノ 2位置に 1 2画素を補間するフィルタ Aの代わりに、同じ 1 2位置に 1 Z 4画素を補間するフィルタ Bを用いる。つまり、フィルタ係数そのものを切り替えることで、位相を操作することができる。本実施形態における各フィルタ 1 0 1 1または 1 0 1 1 bは上記のように位相が異なるフィルタ係数とされており、これらを用いて補間を行なうことにより、第 1または第 2の実施形態の効果に加えて、細かな精度の動き補償が可能となり、符号化効率が改善されたものとなる。第 6実施形態次に、本発明の第 6の実施形態について説明する。本実施形態の要部構成は Fig. 7に示した第 3の実施形態、または、 Fig. 9に示した第 4の実施形態と同様であるため、構成については図示省略する。本実施形態は、第 3または第 4の実施形態におけるフィルタ 2 0 2 1 , 2 0 2 1 bで用いるフィルタ係数として、少なくとも位相の異なる複数のフィルタ係数を用いることを特徴とするもので、動作は第 3実施形態または第 4の実施形態と同様である。また、位相の異なるフィルタは、第 5の実施形態で示したフィルタと同じであるため、詳細な説明は省略する。本実施形態においては、第 3または第 4の実施形態の効果に加えて、細かな精度の動き補償が可能となり、符号化効率が改善されたものとなる。第 7実施形態次に、本発明の第 7の実施形態について説明する。本実施形態の要部構成は Fig. 3に示した第 1の実施形態、または、 Fig. 5に示した第 2の実施形態と同様であるため、構成については図示省略する。本実施形態は、第 1 または第 2の実施形態におけるフィルタ 1 0 1 1 , 1 0 1 1 bとして、少なくとも帯域の異なるフィルタ係数のものを用いることを特徴とするもので、動作は第 1実施形態または第 2の実施形態と同様である。本実施形態の効果について、まず、フィルタ帯域を変えることで得られる効果について説明する。

Fig. 15は広帯域なフィルタで小数点画素を補間した場合と、狭帯域なフィルタで小数点画素を補間した場合を示す図である。 Fig. 15 ( a ) に示す画像を Fig. 15 ( b ) に示される広帯域な振幅特性のフィルタと狭帯域な振幅特性のフィルタを用いることにより、 Fig. 15 ( c ) , ( d ) に示す補間画像が得られる。広帯域なフィルタで小数点画素を補間した方が、エッジ情報を保存できることが Fig. 15 ( c ) からわかる。エッジが多い、つまり、高域成分が多い画像は、広帯域なフィルタを使うことでエッジ情報が保存され、動き補償の効果が改善される。ただし、低ビットレー卜で量子化雑音が、偽エッジとして多く生じる場合、広帯域なフィルタを用いて小数点画素の補間を行うと雑音までも保存されてしまう。 Fig. 16 ( a ) 〜（ d ) はこのような保存状態を示す図である。このため、動き補償の効果が悪くなる。よって低ビットレー卜では、狭帯域なフィルタ係数を用いて小数点画素補間することで符号化効率が改善できる。次に、小数点画素が保存する帯域を変更の方法を示す。

Fig. 15および Fig. 16に示した広帯域フィルタの係数を A , 狭帯域フィルタの係数を Bとする。フィルタ係数を Aから Bへ切り替えることで. 狭帯域なフィルタで小数点補間することができ、フィルタ係数を Bから Aへ切り替えることで、広帯域なフィルタで小数点補間することができる。つまり、各帯域特性に対応するフィルタ係数を切り替えて、内挿を行うことで小数点画素が保存する帯域を変えることができる。第 8実施形態次に、本発明の第 8の実施形態について説明する。本実施形態の要部構成は Fig. 7に示した第 3の実施形態、または、 Fig. 9に示した第 4の実施形態と同様であるため、構成については図示省略する。本実施形態は、第 3または第 4の実施形態におけるフィルタ 2 0 2 1 ， 2 0 2 1 bとして、少なくとも帯域の異なるフィルタ係数のものを用いることを特徴とするもので、動作は第 3実施形態または第 4の実施形態と同様である。また、帯域の異なるフィルタは、第 7実施形態で示したフィルタと同じであるため、詳細な説明は省略する。本実施形態においては、第 3または第 4の実施形態の効果に加えて、小数点画素が保存する帯域を変えることができる。

Fig. 17は、本発明による動画像符号化復号装置をインプリメントした情報処理システムの一例の概略構成を示すブロック図である。本発明による動画像符号化ノ復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

Fig. 2に示す情報処理システムは、プロセッサ 3 0 1 , プログラムメモリ 3 0 2 , 記憶媒体 3 0 3および 3 0 4からなる。記憶媒体 3 0 3および 3 0 4は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。本発明により、動画像の性質ゃビットレー卜に応じた小数点位置補間するフィルタ係数を切り替えることで、動画像の符号化効率を改善できる。このフィルタ係数の切り替えは、フィルタ選択と見積もりを含む。フィルタ選択は、帯域および位相の異なるフィルタ係数を予め用意しておき、用意しておいたフィルタ係数から最適なフィルタ係数を選択することを意味する。一方のフィルタ見積もりは、フィルタ係数を適応アルゴリズム等によって算出し、算出されたフィルタ係数を切り替えに用いることを意味する。フィルタの位相を操作することで、細かい精度の動き補償が可能となリ、符号化効率が改善し、フィルタの帯域操作によって、画像の高域成分および量子化雑音をコントロールできるので、動き補償の効果が高まリ符号化効率が改善する。また、フィルタ係数を画像ブロック単位以上で切り替える場合、フィルタリングの演算量は変わらず、切り替えによるオーバーへッド演算量も小さいので、復号の演算量増加も小さい。

Claims

請求の範囲

1 . 小数点精度の動き検出、小数点精度の動き補償をする動画像符号化をコンピュータに実行させる動画像符号化プログラムであって、参照画像における小数点位置の画素を複数組のフィルタで補間するステップと、最も符号化効率が良いフィルタと動きべクトルの組を検出するステップと、検出されたフィルタと動きべクトルを用いて予測値を生成するステップと、予測値を生成したフィルタ情報と動きべクトルの情報を出力するステツプとを有することを特徴とする動画像符号化プログラム。

2 . 小数点精度の動き補償をする動画像復号をコンピュータに実行させる動画像復号プログラムであって、入力されたフィルタ情報によってフィルタあるいは参照する補間フレームを選択するステップと、切り替わったフィルタあるいは参照する補間フレーム、および入力される動きべクトルを用いて予測値を生成するステップとを有することを特徴とする動画像復号プログラム。

3 . 請求項 1記載の動画像の符号化コンピュータプログラムにおいて参照画像における小数点位置の画素を複数組のフィルタで補間するステップにて、少なくとも位相の異なる複数のフィルタを用いることを特徴とする動画像符号化プログラム。

4 . 請求項 2の動画像復号プログラムにおいて、入力されたフィルタ情報によってフィルタあるいは参照する補間フレームを選択するステップにて、少なくとも位相の異なる複数のフィルタを用いることを特徴とする動画像復号プログラム。

5 . 請求項 1記載の動画像の符号化コンピュータプログラムにおいて, 参照画像における小数点位置の画素を複数組のフィルタで補間するステップにて、少なくとも帯域の異なる複数のフィルタを用いることを特徴とする動画像符号化プログラム。

6 . 請求項 2記載の動画像復号プログラムにおいて、入力されたフィルタ情報によってフィルタあるいは参照する補間フレームを選択するステップにて、少なくとも帯域の異なる複数のフィルタを用いることを特徴とする動画像復号プログラム。

7 . 小数点精度の動き検出、小数点精度の動き補償をする動画像符号化方法であって、参照画像における小数点位置の画素を複数組のフィルタで補間し、最も符号化効率が良いフィルタと動きべクトルの組を検出し、検出されたフィルタと動きべクトルを用いて予測値を生成し、予測値を生成したフィルタ情報と動きべクトルの情報を出力することを特徴とする動画像符号化方法。

8 . 小数点精度の動き補償をする動画像復号方法であって、入力されたフィルタ情報によってフィルタあるいは参照する補間フレームを選択し、切り替わったフィルタあるいは参照する補間フレーム、および入力される動きべクトルを用いて予測値を生成することを特徴とする動画像復号方法。

9 . 請求項 7記載の動画像の符号化方法において、小点位置の画素を補間するフィルタとして少なくとも位相の異なる複数のフィルタを用いることを特徴とする動画像符号化方法。

1 0 . 請求項 8記載の動画像復号方法において、フィルタとして少なくとも位相の異なる複数のフィルタを用いることを特徴とする動画像復号方法。

1 1 . 請求項 7記載の動画像の符号化方法において、小数点位置の画素を補間するフィルタとして少なくとも帯域の異なる複数のフィルタを用いることを特徴とする動画像符号化方法。

1 2 . 請求項 8記載の動画像復号化方法において、フィルタとして少なくとも帯域の異なる複数のフィルタを用いることを特徴とする動画像復号方法。

1 3 . 小数点精度の動き検出、小数点精度の動き補償をする動画像符号化装置であって、参照画像における小数点位置の画素を複数組のフィルタで補間する手段と、最も符号化効率が良いフィルタと動きべクトルの組を検出する手段

検出されたフィルタと動きべクトルを用いて予測値を生成する手段予測値を生成したフィルタ情報と動きべクトルの情報を出力する手段とを有することを特徴とする動画像符号化装置。

1 . 小数点精度の動き補償をする動画像復号化装置であって、入力されたフィルタ情報によってフィルタあるいは參照する補間フレームを選択する手段と、切り替わったフィルタあるいは参照する補間フレーム、および入力される動きべクトルを用いて予測値を生成する手段とを有することを特徴とする動画像復号化装置。

1 5 . 請求項 1 3記載の動画像の符号化装置において、小数点位置の画素を補間する手段は少なくとも位相の異なる複数のフィルタを用いることを特徴とする動画像符号化装置。

1 6 . 請求項 1 4記載の動画像復号化装置において、予測値を生成する手段は少なくとも位相の異なる複数のフィルタを用いることを特徴とする動画像復号化装置。

1 7 . 請求項 1 3記載の動画像符号化装置において、小数点位置の画素を補間する手段は少なくとも帯域の異なる複数のフィルタを用いることを特徴とする動画像符号化装置。

1 8 . 請求項 1 4記載の動画像復号化装置において、予測値を生成する手段は少なくとも帯域の異なる複数のフィルタを用いることを特徴とする動画像復号化装置。