WO2007004678A1

WO2007004678A1 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Info

Publication number: WO2007004678A1
Application number: PCT/JP2006/313416
Authority: WO
Inventors: Yoshinori Suzuki; Choong Seng Boon; Mitsuru Kobayashi
Original assignee: Ntt Docomo, Inc.
Priority date: 2005-07-05
Filing date: 2006-07-05
Publication date: 2007-01-11
Also published as: KR20120138248A; KR20080019294A; EP1919223A4; EP2475175A3; EP1919223A1; CN103024382A; JP2007043651A; RU2391794C2; EP2627091B1; KR20120030585A; US20120320976A1; US8369628B2; CN103024382B; US20090116759A1; RU2008104131A; KR20100019541A; RU2009149744A; US9282340B2; EP2475175A2; EP2627091A1

Abstract

　動画像データの符号化において、動きベクトルを用いることなく予測信号を決定することができ効率的な符号化を可能とする。　動画像符号化装置１００は、動画像データを構成するフレーム画像を符号化の対象となる領域として複数の領域に分割する領域分割部１０１と、各領域の画像を符号化する符号化部１０４と、符号化された画像の再生画像を生成する逆変換部１０５及び加算部１０６と、再生画像を記憶する記憶部１０７と、符号化対象の画像の領域に対して所定の位置関係で隣接すると共に再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、再生画像から探索して、探索された領域と上記位置関係とに基づいて予測信号を決定する予測生成部１０８と、予測信号と符号化対象画像との差分信号を符号化のための信号として生成する減算部１０２とを備える。

Description

明細書

動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

技術分野

[0001] 本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムに関する。

背景技術

[0002] 動画像データの符号ィ匕には、例えば ITU—T (国際電気通信連合電気通信標準化部門)勧告の国際標準規格である H. 264動画像符号化方式が用いられる。 H. 2 64動画像符号ィ匕方式に関する技術は、例えば、下記非特許文献 1等に開示されている。

[0003] 上記の H. 264動画像符号ィ匕方式においては、動き補償を行い動きベクトルを符号ィ匕することで動画像フレーム間の冗長を削減し、情報量を削減している。この手法においては、一つの動きベクトルによって動き補償できる領域を小さくすることにより細かな動きにも対応できフレーム間予測の予測精度が高まる。その反面、動きべタトルの数が増え情報量が膨大になるため、これを抑制する必要がある。従来から、動きベクトルの数を減らしつつ予測精度を上げる方法として、下記特許文献 1に記載されたような手法が提案されて、る。

特許文献 1：特開平 2— 62180号公報

非特許文献 1 :角野他，「H. 264ZAVC教科書インプレス標準教科書シリーズ」，発明の開示

発明が解決しょうとする課題

[0004] し力しながら、上記特許文献 1に記載された手法にお!、ても、動きベクトルが必要であることには変わりなぐ動きベクトルを符号ィ匕することを余儀なくされていた。このような状況から、更に圧縮効率を向上させた動画像データの符号ィ匕方法が求められて [0005] 本発明は、上記事情に鑑みてなされたものであり、動きベクトルを用いてフレーム間予測を行って符号ィ匕を行う場合よりも更に効率的な符号ィ匕を可能とする動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムを提供することを可能とする。

課題を解決するための手段

[0006] 本発明に係る動画像符号ィ匕装置は、動画像データをブロック単位で符号ィ匕する動画像符号化装置であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号ィ匕対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、符号化手段は、符号ィ匕対象ブロックから予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0007] 本発明に係る動画像符号化装置では、符号化対象ブロックと所定の位置関係で隣接すると共に再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、符号ィ匕対象ブロックの予測信号である予測ブロックが生成される。この予測ブロックを用いて符号ィ匕を行う。即ち、本発明に係る動画像符号化装置によれば、動きベクトルを用いることなく予測信号である予測ブロックを生成することができ効率的な符号ィ匕を可能とする。

[0008] 本発明に係る動画像符号ィ匕装置は、動画像データをブロック単位で符号ィ匕する動画像符号化装置であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号ィ匕対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、符号化対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段と、を備え、符号化手段は、符号化対象ブロック力予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。この構成によれば、テンプレートと相関が高い画素群を再生済み動画像データから探索して、探索された画素群と、上記の所定の位置関係とに基づいて予測ブロックが決定される。従って、確実に予測ブロックを決定することができ、確実に本発明を実施することができる。

[0009] 動画像符号化装置は、テンプレートと記憶手段により記憶された再生済み動画像データとを比較して、当該比較結果に基づき符号ィ匕対象ブロックの画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づ V、て、符号化対象ブロックを更に分割して当該分割された符号化対象ブロックを新たな符号化対象ブロックとして設定すると共に当該新たな符号化対象ブロックに対するテンプレートを設定する設定手段と、を更に備えることが好ましい。この構成によれば、予測ブロックのサイズを再生画像データの空間的連続性をもとに適切に選択することが可能になるので、動き量の変化の激しい動画像データの符号ィ匕においても符号化効率が向上する。また、テンプレート領域と予測領域の形状とサイズを信号の特長に応じて変更することにより、予測信号の予測性能が向上する。

[0010] 本発明に係る動画像復号装置は、動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号ィ匕データ力復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0011] 本発明に係る動画像復号装置では、上記の動画像符号化装置と同様に予測プロックを生成して、動画像を復号することができる。即ち、本発明に係る動画像復号装置によれば、上記の動画像符号ィ匕装置により効率的な符号化がされた動画像データを正しく復号することができる。

[0012] 本発明に係る動画像復号装置は、動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号ィ匕データ力復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段と、を備え、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。この構成によれば、上記の動画像符号化装置により符号化された動画像データを正しく復号することができる。

[0013] 動画像復号装置は、テンプレートと記憶手段により記憶された再生済み動画像デ一タとを比較して、当該比較結果に基づき復号対象ブロックの画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づいて、復号対象ブロックを更に分割して当該分割された復号対象ブロックを新たな復号対象ブロックとして設定すると共に当該新たな復号対象ブロックに対するテンプレートを設定する設定手段と、を更に備えることが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号化された動画像データを正しく復号することができる。

[0014] 符号化手段は、差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックとして生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、ことが好ましい。この構成によれば、符号ィ匕対象の縮小差分ブロックを画素数の少ないものにできるので、強 Vヽ特徴を持つ領域に対して予測性能が低、平坦領域につ!、て、画質を低下させずに予測信号の符号量を効率よく低減できる。

[0015] 復号手段は、符号化データを復号することにより、差分ブロックよりも画素数の少なぃ復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロック力復号ブロックを生成する、ことが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画像データを正しく復号することができる。

[0016] 本発明に係る動画像符号ィ匕装置は、動画像データをブロック単位で符号ィ匕する動画像符号化装置であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、符号化対象プロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により符号ィヒ対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、符号化手段は、符号ィ匕対象ブロックから予測ブロックを画素単位で減算した当該符号ィ匕対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増力 tlさせる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

[0017] 本発明に係る動画像符号ィ匕装置では、符号ィ匕対象ブロックと所定の位置関係で隣接すると共に再生済み動画像データに属する再生信号から、符号ィ匕対象ブロックの予測信号である予測ブロックが生成される。更に、予測ブロックから、上記の差分プロックよりも画素数の少ない符号化対象の縮小差分ブロックを生成する。即ち、本発明に係る動画像符号化装置によれば、符号化対象の縮小差分ブロックを画素数の少な、ものにできるので、強、特徴を持つ領域に対して予測性能が低、平坦領域につ Vヽて、画質を低下させずに予測信号の符号量を効率よく低減できる。

[0018] 本発明に係る動画像復号装置は、動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号ィ匕データ力復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、復号手段は、符号化データを復号することにより、復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で増力！]させる拡大処理により、復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。この構成によれば、上記の動画像符号ィ匕装置により符号化された動画像データを正しく復号することがでさる。

[0019] 符号化手段は、符号化対象ブロック及び予測ブロックに縮小処理を適用してそれぞれ縮小ブロック及び縮小予測ブロックとして、当該縮小ブロック力当該縮小予測ブロックを画素単位で減算して縮小差分ブロックを生成し、再生画像生成手段は、符号ィ匕手段により符号化された縮小差分ブロックの再生信号である復号縮小差分プロックを生成して、当該復号縮小差分ブロックと縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成する、ことが好ましい。この構成によれば、符号化対象の縮小差分プロックを確実に生成することができるので、本発明を確実に実施することができる。

[0020] 符号化手段は、差分ブロックに対して縮小処理を適用することにより縮小差分プロックを生成し、再生画像生成手段は、符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと予測プロックとを画素単位で加算して復号ブロックを生成する、ことが好ましい。この構成によれば、符号ィ匕対象の縮小差分ブロックを確実に生成することができるので、本発明を確実に実施することができる。

[0021] 再生画像生成手段は、予測ブロックに縮小処理を適用して縮小予測ブロックとし、復号縮小差分ブロックと当該縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画像データを正しく復号することができる。

[0022] 再生画像生成手段は、復号縮小差分ブロックに拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと予測ブロックとを画素単位で加算して復号ブロックを生成することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号化された動画像データを正しく復号することができる。

[0023] 予測信号決定手段は、形状の異なる複数のテンプレートから 1つのテンプレートを選択することが好ましい。この構成によれば、効率的に予測ブロックを生成することができ、符号ィ匕処理の効率を向上させることができる。

[0024] 予測信号決定手段は、記憶手段により記憶された再生済み動画像データの再生信号又は当該再生信号に関する情報を参照して、 1つのテンプレートを選択することが好ましい。この構成によれば、適切にテンプレートを選択することができる。

[0025] 符号化手段は、予測信号決定手段により選択されたテンプレートを特定する情報を符号ィ匕することが好ましい。この構成によれば、動画像復号装置におけるテンプレートの選択を容易にして、より効率的な復号を行わせることができる。

[0026] 予測信号決定手段は、形状の異なる複数のテンプレートから 1つのテンプレートを選択することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画像データを正しく復号することができる。

[0027] 予測信号決定手段は、記憶手段により記憶された再生済み動画像データの再生信号又は当該再生信号に関する情報を参照して、 1つのテンプレートを選択することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画像データを正しく復号することができる。

[0028] 復号手段は、選択されるテンプレートを特定する情報を復号して、予測信号決定手段は、復号手段により復号された選択されるテンプレートを特定する情報を参照して、形状の異なる複数のテンプレートから 1つのテンプレートを選択することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画像データを正しく復号することができる。

[0029] ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明として記述できる他に、以下のように動画像符号ィ匕方法、動画像符号ィ匕プログラム、動画像復号方法及び動画像復号プログラムの発明としても記述することができる。これはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

[0030] 本発明に係る動画像符号化方法は、動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号ィ匕方法であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、符号化ステップにおいて、符号ィ匕対象ブロックから予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成ステップにお、て、符号化ステップにお、て符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0031] 本発明に係る動画像符号化方法は、動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号ィ匕方法であって、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶ステップにおいて記憶された再生済み動画像データから探索する探索ステップと、探索ステップにおいて探索された画素群と所定の位置関係とに基づいて、符号化対象ブロックの予測信号である予測ブロックを、記憶ステップにお、て記憶された再生済み動画像データ力も決定する予測信号決定ステップと、を有し、符号化ステップにおいて、符号化対象プロックから予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成ステップにお V、て、符号化ステップにお、て符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0032] 本発明に係る動画像復号方法は、動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であつて、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、復号ステップにおヽて復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力生成される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、復号ステップにおヽて、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成ステップにおいて、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0033] 本発明に係る動画像復号方法は、動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であつて、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、復号ステップにおヽて復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力生成される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号力も生成されるテンプレートと相関が高い画素群を、記憶ステップにおいて記憶された再生済み動画像データ力探索する探索ステップと、探索ステップにおいて探索された画素群と所定の位置関係とに基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶ステップにお、て記憶された再生済み動画像データ力も決定する予測信号決定ステップと、を有し、復号ステップにおいて、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成ステツプにおいて、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブ口ックを生成する、ことを特徴とする。

[0034] 本発明に係る動画像符号化方法は、動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号ィ匕方法であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力生成される再生済み動画像データを記憶する記憶ステップと、符号ィ匕対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から、予め定められた手法により符号ィ匕対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、符号化ステップにお、て、符号ィ匕対象ブロックカゝら予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な、縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成ステップにおいて、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロック力復号ブロックを生成する、ことを特徴とする。

[0035] 本発明に係る動画像復号方法は、動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であつて、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステップと、復号ステップにおヽて復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力生成される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から、予め定められた手法により復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、復号ステップにおいて、符号化データを復号することにより、復号対象ブロックの差分信号である差分ブロックよりも画素数の少な、復号縮小差分ブロックを生成して、再生画像生成ステップにおいて、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロック力復号ブロックを生成する、ことを特徴とする。

[0036] 本発明に係る動画像符号ィ匕プログラムは、動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置を制御する動画像符号ィ匕プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号力も生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、符号化手段は、符号ィ匕対象ブロックから予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号ィ匕手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0037] 本発明に係る動画像符号ィ匕プログラムは、動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置を制御する動画像符号ィ匕プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号力も生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、符号ィ匕対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段として機能させ、符号化手段は、符号化対象ブロックから予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0038] 本発明に係る動画像復号プログラムは、動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0039] 本発明に係る動画像復号プログラムは、動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、探索手段により探索された画素群と所定の位置関係とに基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像デ一タカ決定する予測信号決定手段として機能させ、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分プロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。

[0040] 本発明に係る動画像符号ィ匕プログラムは、動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置を制御する動画像符号ィ匕プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、符号化手段は、符号ィ匕対象ブロックから予測ブロックを画素単位で減算した当該符号ィ匕対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少なヽ縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロック力復号ブロックを生成する、ことを特徴とする。

[0041] 本発明に係る動画像復号プログラムは、動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により復号された符号化データから復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により復号対象プロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、復号手段は、符号化データを復号することにより、復号対象ブロックの差分信号である差分ブロックよりも画素数の少な、復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。

[0042] 本発明に係る動画像符号ィ匕装置は、動画像データを符号化する動画像符号化装置であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割手段と、分割手段により分割された各領域の画像を符号化する符号化手段と、符号化手段により符号化された画像の再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された再生画像を記憶する記憶手段と、符号ィヒ手段による符号ィヒの対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、符号ィ匕の対象となる領域の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手段と、を備え、符号化手段は、予測信号決定手段により決定された予測信号と符号ィ匕の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。

[0043] 本発明に係る動画像符号化装置では、まず、符号化対象となる画像の領域と所定の位置関係で隣接したテンプレート領域の再生画像と相関が高い画像の領域を、再生画像から探索する。続いて、探索された領域と上記所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を再生画像から決定する。この予測信号を用いて符号ィ匕を行う。即ち、本発明に係る動画像符号化装置によれば、動きベクトルを用いることなく予測信号を決定することができ効率的な符号ィ匕を可能とする。

[0044] 本発明に係る動画像復号装置は、複数の領域に分割されたフレーム画像が符号ィ匕された動画像データを復号する動画像復号装置であって、符号化された各領域のデータを復号する復号手段と、復号手段により復号された画像から再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された画像を記憶する記憶手段と、復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像力探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、復号の対象となる領域の予測信号を、記憶手段により記憶された再生画像力決定する予測信号決定手段と、を備え、再生画像生成手段は、予測信号決定手段により決定された予測信号と復号手段により復号された画像との和信号を生成することにより再生画像とする、ことを特徴とする。

[0045] 本発明に係る動画像復号装置では、上記の動画像符号化装置と同様に予測信号を決定して、動画像を復号することができる。即ち、本発明に係る動画像復号装置によれば、上記の動画像符号ィ匕装置により効率的な符号化がされた動画像データを正しく復号することができる。

[0046] また、動画像符号化装置は、テンプレート領域の再生画像と記憶手段により記憶された再生画像とを比較して、当該比較結果に基づき符号化の対象となる領域の画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づ！/、て、符号化の対象となる領域を更に分割して当該分割された領域を新たな符号化対象の領域として設定すると共に当該新たな符号化対象の領域に対するテンプレート領域を設定する設定手段と、を更に備えることが好ましい。この構成によれば、予測信号の領域のサイズを再生画像の空間的連続性をもとに適切に選択することが可能になるので、動き量の変化の激しい動画像データの符号ィ匕においても符号化効率が向上する。

[0047] また、動画像復号装置は、テンプレート領域の再生画像と記憶手段により記憶された再生画像とを比較して、当該比較結果に基づき復号の対象となる領域の画像の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づヽて、復号の対象となる領域を更に分割して当該分割された領域を新たな復号対象の領域として設定すると共に当該新たな復号対象の領域に対するテンプレート領域を設定する設定手段と、を更に備えることが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号化された動画像データを正しく復号することができる。

[0048] ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明として記述できる他に、以下のように動画像符号ィ匕方法、動画像符号ィ匕プログラム、動画像復号方法及び動画像復号プログラムの発明としても記述することができる。これはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。 [0049] 本発明に係る動画像符号化方法は、動画像データを符号化する動画像符号化装置における動画像符号ィ匕方法であって、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割ステップと、分割ステップにお!/、て分割された各領域の画像を符号化する符号化ステップと、符号化ステップにお!/ヽて符号化された画像の再生画像を生成する再生画像生成ステップと、再生画像生成ステップにお、て生成された再生画像を記憶する記憶ステップと、符号化ステツプにおいて符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高!ヽ画像の領域を、記憶ステップにお！ヽて記憶された再生画像から探索する探索ステップと、探索ステップにお!、て探索された領域と所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を、記憶ステップにおいて記憶された再生画像カゝら決定する予測信号決定ステップと、を有し、符号化ステップにおいて、予測信号決定ステップにおヽて決定された予測信号と符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。

[0050] 本発明に係る動画像符号ィ匕プログラムは、動画像データを符号化する動画像符号化装置を制御する動画像符号ィ匕プログラムであって、動画像符号化装置を、動画像データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分割する分割手段と、分割手段により分割された各領域の画像を符号ィヒする符号ィ匕手段と、符号化手段により符号化された画像の再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された再生画像を記憶する記憶手段と、符号ィ匕手段による符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、符号化の対象となる領域の予測信号を、記憶手段により記憶された再生画像力決定する予測信号決定手段として機能させ、符号化手段は、予測信号決定手段により決定された予測信号と符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。 [0051] 本発明に係る動画像復号方法は、複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動画像復号装置における動画像復号方法であつて、符号化された各領域のデータを復号する復号ステップと、復号ステップにおいて復号された画像から再生画像を生成する再生画像生成ステップと、再生画像生成ステツプにお、て生成された画像を記憶する記憶ステップと、復号ステップによる復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶ステップにぉ、て記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高ヽ画像の領域を、記憶ステップにおヽて記憶された再生画像力も探索する探索ステツプと、探索ステップにおいて探索された領域と所定の位置関係とに基づいて、復号の対象となる領域の予測信号を、記憶ステップにおヽて記憶された再生画像から決定する予測信号決定ステップと、を有し、再生画像生成ステップにおいて、予測信号決定ステップにお、て決定された予測信号と復号ステップにお、て復号された画像との和信号を生成することにより再生画像とする、ことを特徴とする。

[0052] 本発明に係る動画像復号プログラムは、複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動画像復号装置を制御する動画像復号プログラムであって、動画像復号装置を、符号化された各領域のデータを復号する復号手段と、復号手段により復号された画像から再生画像を生成する再生画像生成手段と、再生画像生成手段により生成された画像を記憶する記憶手段と、復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、復号の対象となる領域の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手段として機能させ、再生画像生成手段は、予測信号決定手段により決定された予測信号と復号手段により復号された画像との和信号を生成することにより再生画像とする、ことを特徴とする。

発明の効果

[0053] 本発明によれば、符号化対象となる画像の領域と所定の位置関係で隣接したテンプレート領域と相関が高い再生領域を探索して当該探索された領域と上記の位置関係とに基づいて予測信号を決定するので、動きベクトルを用いることなく効率的な符号化を可能とする。

図面の簡単な説明

[図 1]本発明の第 1実施形態に係る動画像符号ィ匕装置の構成を示す図である。

[図 2]動画像符号ィ匕装置における予測生成部の構成を示す図である。

[図 3]テンプレート領域と予測対象領域との位置関係を示す図である。

[図 4]テンプレートマッチングによる予測信号の決定の詳細な動作を説明するための図である。

[図 5]本発明の第 1実施形態に係る動画像符号ィ匕装置で実行される処理を示すフロ一チャートである。

[図 6]本発明の第 1実施形態に係る動画像復号装置の構成を示す図である。

[図 7]本発明の第 1実施形態に係る動画像復号装置で実行される処理を示すフローチャートである。

[図 8]第 2実施形態における予測生成部の構成を示す図である。

[図 9]第 2実施形態において分割された予測対象領域を示す図である。

[図 10]本発明の第 2実施形態に係る動画像符号化装置で実行される処理を示すフロ一チャートである。

[図 11]本発明の第 2実施形態に係る動画像復号装置で実行される処理を示すフローチャートである。

[図 12]符号ィ匕順序を示す図である。

[図 13]符号ィ匕順序に応じたテンプレート領域と予測対象領域との位置関係の例を示す図である。

[図 14]第 2実施形態において、判断部の機能を説明するための図である。

[図 15]第 2実施形態において、判断部の機能を説明するための図である。

[図 16]本発明の実施形態に係る動画像符号ィ匕プログラムの構成を示す図である。

[図 17]本発明の実施形態に係る動画像復号プログラムの構成を示す図である。

[図 18]第 1実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。圆 19]第 1実施形態に係る動画像復号装置の変形例の構成を示す図である。

圆 20]第 1実施形態に係る予測生成部の変形例の構成を示す図である。

圆 21]本発明の第 3実施形態に係る動画像符号ィ匕装置の構成を示す図である。圆 22]本発明の第 3実施形態に係る動画像復号装置の構成を示す図である。

[図 23]第 3実施形態におけるブロックの縮小'拡大処理を示す図である。

[図 24]本発明の第 3実施形態に係る動画像符号化装置で実行される処理を示すフロ一チャートである。

圆 25]本発明の第 3実施形態に係る動画像復号装置で実行される処理を示すフローチャートである。

圆 26]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。圆 27]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。

[図 28]第 3実施形態におけるブロックの縮小'拡大処理の別の例を示す図である。

[図 29]第 3実施形態におけるブロックの縮小'拡大処理の別の例を示す図である。圆 30]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。圆 31]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。

圆 32]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。圆 33]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。

圆 34]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。圆 35]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。

圆 36]第 3実施形態に係る予測生成部の変形例の構成を示す図である。

圆 37]第 3実施形態おける予測処理の例を示す図である。

符号の説明

100, 1800, 2100, 2600, 3000, 3200, 3400· ··動画像符号ィ匕装置、 600, 19 00, 2200, 2700, 3100, 3300, 3500· ··動画像復号装置、 101· ··領域分割部、 1 02, 2102· ··減算部、 103, 2103· ··変換部、 104, 2104, 3004· ··符号ィ匕部、 105 , 602, 2105, 2202· ··逆変換部、 106, 603, 2106, 2203· ··カロ算部、 107, 604 …記憶部、 108, 605, 800, 1108, 3408, 3505, 3608· ··予測生成部、 201, 80 2, 3602· ··テンプレー卜領域決定部、 202· ··マッチング部、 203, 3603· ··補填部、 6 01 , 2201, 3101 · · ·復号部、 801 · · ·判断部、 109, 2612, 3012· · ·選択部、 204· · · 信号生成 § 、 2110, 2207, ^^丄 …縮ヽィ匕杳^ 2111, 2208, 3211, 3308· · ·拡大部、 2613, 2709, 3109· · ·切り替え部、 3013, 3110· · ·スィッチ、 1600, 1700· · · 記録媒体、 1600a, 1700a…プログラム格納領域、 1601…動画像符号ィ匕プロダラム、 1701 · · ·動画像復号プログラム、 1601a, 1701a…メインモジュール、 1601b" . 領域分割モジュール、 1601c…減算モジュール、 1601d…変換モジュール、 1601e …符号ィ匕モジユーノレ、 1601f, 1701c…逆変換モジユーノレ、 1601g, 1701d…カロ算モジュール、 1601h, 1701e…記憶モジュール、 1601i, 1701f…予測生成モジュール、 1601j, 1701g…テンプレート領域決定モジュール、 1601k, 1701h…マツチングモジュール、 1601m, 170 li…補填モジュール、 170 lb…復号モジュール。発明を実施するための最良の形態

[0056] 以下、図面とともに本発明に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

[0057] [第 1実施形態]

図 1に、第 1実施形態の動画像符号ィ匕装置 100を示す。動画像符号化装置 100は、動画像データをブロック単位で符号ィ匕する装置である。動画像符号化装置 100は、動画像データを構成するフレーム画像を入力として当該フレーム画像を順次符号化することにより、動画像データを符号化する。動画像符号ィ匕装置 100は、 CPU (Ce ntral Processing Unit)、フレームメモリ、ハードディスク等を備える情報処理装置等のハードウェアにより実現される。動画像符号ィ匕装置 100は、上記のハードウェア的な構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。

[0058] 図 1に示すように、動画像符号ィ匕装置 100は、領域分割部 101と、減算部 102と、変換部 103と、符号化部 104と、逆変換部 105と、加算部 106と、記憶部 107と、予測生成部 108とを備えて構成されている。以下、各部の機能について説明する。

[0059] 領域分割部 101は、入力された動画像データを構成するフレーム画像を、符号ィ匕の対象となる領域として複数の領域に分割する分割手段である。即ち、領域分割部 1 01は、入力された動画像データを構成するフレーム画像を、複数の符号化対象プロックに分割する分割手段である。具体的には、領域分割部 101は、予め定められた所定の大きさのブロック (例えば 8画素 X 8画素、符号化対象ブロック）に分割する。分割された原画像は、符号ィ匕を行う順序で出力され減算部 102に入力される。出力される順序としては、図 12 (a)に示すようにフレーム画像の左上力右下への順であるラスタスキャン順でもよいし、図 12 (b)に示すようにフレーム画像の左端力右端への順と右端力左端への順とを一段ずつ交互に上力繰り返すジグザグ順としてもよい。なお、出力する順序は、予め領域分割部 101に記憶させておく。

[0060] 減算部 102は、上記の符号化対象ブロックの原信号と、後に説明する予測信号との間の差分信号を生成して出力する、符号化手段の一構成要素である。差分信号は、領域分割部 101から出力された符号ィ匕対象ブロックの原信号から、予測生成部 108から出力された符号ィ匕対象ブロックの予測信号を画素単位で減算することにより生成される。出力される差分信号は、符号ィ匕の対象となる信号であり、符号化のために変換部 103に入力される。

[0061] 変換部 103は、減算部 102から入力された差分信号を予め定められた変換方法に基づき変換して、変換係数データを出力する変換手段である。変換には例えば、離散コサイン変換（DCT: Discrete Cosine Transform)に代表される直交変換が利用できる。変換のための関係式等は予め変換部 103に記憶させておく。この変換は、可逆的なものであっても非可逆的なものであってもよい。この変換は、この後行われる符号ィ匕をより効率的に行わせるものである。出力された変換係数データは、符号ィ匕部 104及び逆変換部 105に入力される。なお、情報量圧縮のため、直交変換後の係数に対して量子化を行ってもょ、。

[0062] 符号ィ匕部 104は、変換部 103から入力された変換係数データを、エントロピー符号化する、符号化手段の一構成要素である。符号化されたデータは、動画像符号化装置 100の出力となる。エントロピー符号ィ匕としては、ハフマン符号ィ匕のような可変長符号ィ匕方式や、 CABAC (Context-based Adaptive Binary Arithmetic Coding)に代表される算術符号ィ匕方式が利用可能である。どちらも変換係数データの発生確率の偏りに基づいて変換方法を変更することにより、情報量を圧縮できる。 [0063] 逆変換部 105は、再生画像生成のために用いられる差分信号を生成する、再生画像生成手段の一構成要素である。差分信号は、変換部 103から入力された変換係数データを変換部 103においてなされた変換処理の逆処理を行うことにより生成される。逆変換のための関係式等は予め逆変換部 105に記憶させておく。逆変換部 105 におヽて生成された差分信号は、加算部 106に入力される。

[0064] 加算部 106は、後に説明する予測生成部 108から出力された予測信号 (減算部 10 2に入力される予測信号と同じものである）と、逆変換部 105により生成された差分信号とを足し合わせて和信号とし再生信号を生成する、再生画像生成手段の一構成要素である。ここで、再生信号は再生画像を構成するものである。加算部 106により生成される再生信号は、復号装置において生成される再生信号と同じものである。加算部 106により生成された再生信号は、記憶部 107に入力される。

[0065] 記憶部 107は、加算部 106から入力された再生信号を再生済み動画像データとして、フレームメモリ等の動画像符号化装置 100に備えられる記憶装置に記憶して蓄積する記憶手段である。再生信号は、動画像データの符号化が全て終了するまで、全て蓄積しておく。このように再生済み動画像データは逐次蓄積される。

[0066] 予測生成部 108は、本発明の特徴となる部分であり、記憶部 107により蓄積された再生画像を読み出して、再生信号を元に予測対象 (符号化対象)のブロックの予測信号の生成を行う。以下、予測生成部 108の詳細な動きについて説明する。図 2に予測生成部 108の機能をより詳細化した機能ブロックを示す。図 2に示すように予測生成部 108は、テンプレート領域決定部 201と、マッチング部 202と、補填部 203とを備えて構成される。

[0067] テンプレート領域決定部 201は、記憶部 107からの入力に基づいて、予測信号を生成するために用いるテンプレート領域及びその領域の信号 (テンプレート）を決定する、探索手段の一構成要素である。即ち、テンプレート領域決定部 201は、符号ィ匕対象ブロックに対して所定の位置関係で隣接すると共に記憶部 17により記憶された再生済み動画像データに属する再生信号力もテンプレートを生成する、探索手段の一構成要素である。また、テンプレート領域決定部 201は、テンプレートを用いて、符号ィ匕対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段の一構成要素でもある。図 3に示すように、テンプレート領域 301とは符号ィ匕の対象となる画像の領域 302に対して所定の位置関係で隣接すると共に記憶部 107により記憶された再生画像の領域、つまり再生済み動画像データの再生信号から構成される画素領域である。具体的には、テンプレート領域には、記憶部 107に記憶された予測対象ブロックと同一フレームの再生済み領域であって、予測対象ブロックと空間的に隣接する位置に存在する画素領域を含んだ所定の大きさの画素群が当てられる。このため、テンプレート領域の位置は、ブロックの符号ィ匕順序 (領域分割部 101から出力され符号化処理される順序）に依存する。テンプレート領域決定部 201には、テンプレート領域を決定するための以下に説明するような条件を予め記憶させておく。

[0068] 図 13に、テンプレート領域と予測対象領域の位置関係の一例を示す。図 13 (a)のように、符号ィ匕順序をラスタスキャン順に行っていれば、テンプレート領域 1301は、予測対象ブロック 1302の左及び上側に位置する領域となる。図 13 (a)に示すように、予測対象ブロック 1302の左及び上側に位置する領域 1303は、記憶部 107に再生画像が蓄積されている領域である。また、符号ィ匕順序がジグザグ順であれば、符号ィ匕の進行度合によって、テンプレート領域の位置は変わりうる。図 13 (b)のように画面の左力も右に符号ィ匕が進行中のときは、予測対象ブロック 1304は、予測対象プロック 1305の右及び上側に位置する領域となる。図 13 (c)のように画面の右力左に符号化が進行中のときは、予測対象ブロック 1304は、予測対象ブロック 1305の左及び上側に位置する領域となる。

[0069] マッチング部 202は、テンプレート領域決定部 201により決定されたテンプレート領域の再生信号を用いて、記憶部 107により蓄積された再生画像を探索領域としてテンプレートマッチングを実施し、探索領域内にてテンプレート領域の再生信号との相関が最も高くなる領域を探索 (検出)する探索手段である。即ち、マッチング部 202は、テンプレート領域決定部 201により決定されたテンプレートと相関が高い画素群を、記憶部 107により記憶された再生済み動画像データ力も探索する探索手段である。また、マッチング部 202は、テンプレートを用いて、符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段の一構成要素でもある。テンプレートマッチングについては、より詳細に後述する。 [0070] 補填部 203は、マッチング部 202により探索された領域 (高相関領域)、及び予測対象ブロックとテンプレート領域との間の位置関係とに基づ、て、予測対象ブロックと同サイズの予測信号を再生画像から設定して決定する予測信号決定手段である。即ち、補填部 203は、マッチング部 202により探索された画素群と、上記位置関係とに基づいて、符号ィ匕対象ブロックの予測信号である予測ブロックを、記憶部 107により記憶された再生済み動画像データから決定する予測信号決定手段である。また、補填部 203は、テンプレートを用いて、符号ィ匕対象ブロックの予測信号である予測プロックを生成する予測信号生成手段の一構成要素でもある。探索された高相関領域と予測信号とする画像の領域との間の位置関係は、テンプレート領域と予測対象プロックとの間の位置関係と同一となる。例えば、ブロックの符号ィ匕順序がラスタスキャン順であれば、高相関領域の右及び下側に隣接する領域が予測信号の領域となる。決定された予測信号は、予測生成部 108からの出力として減算部 102と加算部 106 とに入力される。

[0071] マッチング部 202と補填部 203とにおけるテンプレートマッチングによる予測信号の決定の詳細な動作について図 4を用いて説明する。マッチング部 202は、テンプレート領域 401の画像と類似した箇所を探索範囲 403, 404内力も探索するテンプレートマッチングを行う。探索範囲には、テンプレート領域 401及び予測対象領域 402を含むフレーム（予測対象フレーム）における再生済み画素領域 403と、それ以外の再生済のフレームの画像 404とを含む。まず、テンプレート領域 401の信号と探索範囲内の任意の場所にあるテンプレート領域 401と同形状の画素群の信号との相関を測定する。このときの相関を示す指標値としては、差分信号の絶対値和を表す SAD (sum of absolute difference)や差分信号の自乗誤差平均を表す MSE (mean square error )等を用いることが可能である。探索範囲内で取り得る全ての画素群について相関の指標値を取得し、指標値が最も小さい画素群 (但し、テンプレート領域 401の画像自身は除く）を示す情報 (アドレス)を探索結果として出力する。

[0072] 補填部 203は、テンプレートマッチングにより探索された高相関領域に隣接した画素群を予測信号として設定する。テンプレート領域と相関が高い場所では、テンプレート領域に隣接している領域も相関が高くなる可能性が高いため、予測信号として用いることができる。このため、本方法による予測方法が成立する。

[0073] 引き続いて、図 5のフローチャートを用いて、本実施形態の動画像符号化装置 100 における符号化処理 (動画像符号化方法)を説明する。

[0074] まず、符号化対象の動画像データが動画像符号化装置 100に入力されると、動画像を構成するフレーム画像毎に領域分割部 101に入力される。入力されたフレーム画像は、領域分割部 101により所定の大きさの複数のブロックに分割される（S501、分割ステップ)。以降の処理は全てブロック単位で行われる。ブロックは、符号化対象の領域の画像として減算部 102に入力される。

[0075] 次に、以下のように予測生成部 108により符号化対象のブロックの予測信号が生成される。なお、予測生成部 108は、動画像符号ィ匕装置 100において符号ィ匕処理を統括して、るコントローラ（図示せず)力もブロックの符号ィ匕順序を通知されて、る。あるいは、予測生成部 108は、ブロックの符号ィ匕順序を予め記憶している。まず、テンプレート領域決定部 201によりブロックに隣接する再生画像上にテンプレート領域が決定される（S502、探索ステップ)。次に、マッチング部 202により、符号化対象のプロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の再生信号と相関の高い領域が探索される（S503、探索ステツプ)。次に、補填部 203により、テンプレートマッチングにより得られた高相関領域と所定の位置関係（図 4の例では、右及び下側)で隣接して、る符号化対象ブロックと同じ大きさの領域が、予測信号として設定される（S504、予測信号決定ステップ)。設定された予測信号は、減算部 102と加算部 106とに入力される。

[0076] 次に、減算部 102により、領域分割部 101から入力された原画像から、予測生成部 108 (補填部 203)力も入力された予測信号を、画素領域で引くことによって差分信号が生成される（S505、符号化ステップ)。生成された差分信号は変換部 103に入力され、変換部 103により変換される（S506)。変換された差分信号は符号化部 104 と逆変換部 105とに入力される。符号ィ匕部 104に入力された変換後の差分信号は符号ィ匕部 104によりエントロピー符号化され、圧縮符号化データが生成される（S507、符号化ステップ)。

[0077] 逆変換部 105に入力された変換後の差分信号は、逆変換部 105により逆変換が行われ、逆変換後の差分信号が生成される（S508、再生画像生成ステップ)。逆変換後の差分信号は加算部 106に入力され、加算部 106により、予測生成部 108 (補填部 203)力入力された予測信号と足し合わされ和信号とされ、再生信号が生成される（S509、再生画像生成ステップ)。生成された再生信号は記憶部 107に入力され、記憶部 107により、フレームメモリ等における符号ィ匕対象となるフレームに応じた所定のアドレスに保存される（S510、記憶ステップ)。

[0078] 続いて、フレーム画像の全てのブロックで上記の処理（S502〜S510)が終了している力否かが判断される（S511)。終了していた場合は、このフレームでの処理を終了し、符号ィ匕部 104によるエントロピー符号ィ匕後の圧縮符号ィ匕データを出力し、次のフレームの処理に遷移する。まだ、未処理のブロックが残っているならば、次のブロックの処理に移行する。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像符号ィ匕装置 100における符号ィ匕処理を統括する手段を設けてそれに行わせてもよ、。

[0079] なお、上述した処理では、記憶部 107に記憶される再生信号は、変換部 103により変換されて逆変換部 105により逆変換された差分信号を基にしている。これは、符号化部 104による符号ィ匕が可逆的であることを想定している力もであって、上記の処理で復号装置において再生される再生画像が得られるためである。

[0080] 上述した処理では、予測をテンプレートマッチングによる補填のみで行う例を挙げた力これ以外の処理が入っていてもよい。例えば、フレーム画像の上端や両端の符号化の際には、再生済みの隣接画素が存在しない場合があり、本手法を用いるためには隣接画素を予め仮定しておく必要がある。このような部分においては、従来のように動きベクトルを用いた予測を行う方が、符号化効率が良くなる場合がある。また、画面端に限らず本方法での予測よりも動きベクトルによる予測の符号ィ匕効率が高くなる場合では、動きベクトルによる予測を用いるようにしてもよい。その場合、例えば、新たにブロック情報のヘッダに予測を本方式か動きベクトルによるものかどちらの手法を用いたかを示す情報と、動きベクトル値とを付与しておくことにより、両方式を効率的に使、分けることができる。

[0081] 上述したように、本実施形態の動画像符号ィ匕装置 100によれば、フレーム間予測を行う際に、符号ィ匕済の再生画像を用いることで動きベクトルを用いることなくフレーム間予測ができ、効率的な符号ィ匕を可能とする。即ち、本実施形態の動画像符号化装置 100により符号化されたデータは、実質的には変換された差分信号のみが符号ィ匕されたものであり従来の符号ィ匕方法と比較して動きベクトルを削除したものである。また、それに加え、予測信号の決定をする際に、その時点で再生済みの領域のみを用いるため、常に動画像データのスキャン順に符号ィ匕することができる。

[0082] 次に、本実施形態の動画像復号装置を説明する。図 6に、本実施形態の動画像復号装置 600を示す。動画像復号装置 600は、動画像符号ィ匕装置 100により符号化された動画像データを復号して、再生済み動画像データを生成する装置である。動画像復号装置 600は、 CPU (Central Processing Unit)、フレームメモリ、ハードディスク等を備える情報処理装置等のハードウアにより実現される。動画像復号装置 600 は、上記のハードウア的な構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。

[0083] 図 6に示すように、動画像復号装置 600は、復号部 601と、逆変換部 602と、加算部 603と、記憶部 604と、予測生成部 605とを備えて構成されている。以下、各部の機能について説明する。

[0084] 復号部 601は、入力された圧縮符号化データを復号する復号手段である。圧縮符号ィ匕データは、上述したように、本実施形態に係る動画像符号化装置 100により符号化されたものであり、フレーム画像が複数の領域の信号 (符号化対象ブロック）に分割されて符号化されたもの (復号対象ブロック）である。復号部 601における復号方式は、動画像符号ィ匕装置 100によるエントロピー符号ィ匕方式に対応するものであり、復号するための情報が復号部 601により予め記憶されている。また、復号部 601における復号及び出力は、符号ィ匕された単位 (ブロック単位)で行われ、符号化された順序で行われる。復号されたデータは、逆変換部 602に入力される。

[0085] 逆変換部 602は、復号部 601から入力されたデータを、動画像符号化装置 100〖こよりなされた変換処理の逆処理を行うことにより、再生済み画像生成のために用いられる差分信号を生成する、再生画像生成手段の一構成要素である。逆変換部 602 は、動画像符号ィ匕装置 100における逆変換部 105に対応している。逆変換のための関係式等は予め逆変換部 602に記憶させておく。逆変換部 602において生成された差分信号は、加算部 603に入力される。

[0086] 加算部 603は、後に説明する予測生成部 605から出力された予測信号と、逆変換部 602により生成された差分信号とを足し合わせて和信号とし再生信号を生成する、再生画像生成手段の一構成要素である。加算部 603は、動画像符号化装置 100〖こおける加算部 106に対応している。加算部 106により生成された再生信号は、記憶部 604に入力されると共に動画像復号装置 600の出力となる。

[0087] 記憶部 604は、加算部 603から入力された復号ブロック (復号された符号化対象ブロック）である再生信号を再生済み動画像データとして、フレームメモリ等の動画像復号装置 600に備えられる記憶装置に記憶して蓄積する記憶手段である。記憶部 604 は、動画像符号ィ匕装置 100における記憶部 107に対応している。復号ブロックは、動画像データの復号が全て終了するまで、全て蓄積しておく。このように再生済み動画像データは逐次蓄積される。

[0088] 予測生成部 605は、記憶部 604により蓄積された再生画像を読み出して、再生画像を基に予測対象 (復号対象)のブロックの予測信号の生成を行う。予測生成部 605 は、動画像符号ィ匕装置 100における予測生成部 108に対応しており、同一の機能を有しているため、ここでは説明を省略する。

[0089] 引き続いて、図 7のフローチャートを用いて、本実施形態の動画像復号装置 600における復号処理 (動画像復号方法)を説明する。動画像復号装置 600により復号される圧縮符号化データは、動画像符号ィ匕装置 100により符号化されたものであるとする。

[0090] まず、復号対象の圧縮符号化データが動画像復号装置 600に入力されると、復号部 601により復号が行われる（S701、復号ステップ)。復号されると、ブロック単位での変換データが取り出される。この変換データは、復号部 601により逆変換部 602に入力される。また、復号対象のブロックのフレームにおける位置情報力動画像復号装置 600にお、て復号処理を統括して!/、るコントローラ（図示せず)から予測生成部 605に入力される。なお、復号対象のブロックの位置は、符号化順序に依存する。

[0091] 次に、以下のように予測生成部 605により復号対象のブロックの予測信号が生成される。まず、テンプレート領域決定部 201によりブロックに隣接する再生画像上にテンプレート領域が設定される（S702、探索ステップ)。次に、マッチング部 202により、符号ィ匕対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の再生信号と相関の高い領域が探索される（S703、探索ステップ)。次に、補填部 203により、テンプレートマッチングにより得られた高相関領域と所定の位置関係（図 4の例では、右及び下側)で隣接している符号ィ匕対象ブロックと同じ大きさの領域が、予測信号として設定される (S704、予測信号決定ステップ)。設定された予測信号は、加算部 603に入力される。

[0092] 次に、逆変換部 602により、復号部 601から入力された変換データが逆変換されて、差分信号が生成される（S705、再生画像生成ステップ)。なお、 S702〜S704の一連の処理と、 S705の処理とは、以下に説明する S706以降の処理の前に行われて！、ればよ、ので、順序が逆になつて、てもよ！/、。

[0093] 次に、加算部 603により、逆変換部 602から入力された差分信号と、予測生成部 6 05 (補填部 203)力入力された予測信号とが足し合わされ和信号とされ、再生信号である復号ブロックが生成される（S706、再生画像生成ステップ)。生成された復号ブロックは、記憶部 604に入力され、記憶部 604により、フレームメモリ等における復号対象となるフレームに応じた所定のアドレスに保存される（S707、記憶ステップ)。

[0094] 続いて、フレーム画像の全てのブロックで上記の処理（S701〜S707)が終了している力否かが判断される（S708)。終了しており、再生されたフレーム画像が完成している場合は、再生されたフレーム画像を、スクリーン等の表示手段（図示せず）に出力する。また、別の表示用の装置に出力してもよい。まだ、未処理のブロックが残っているならば、次のブロックの処理に移行する。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像復号装置 600における符号ィ匕処理を統括する手段を設けてそれに行わせてもよ、。

[0095] 上述したように、本実施形態の動画像復号装置 600によれば、動画像符号化装置 100と同様に予測信号を決定して、動画像を復号することができる。即ち、本実施形態の動画像復号装置 600によれば、上記の動画像符号化装置 100により効率的な符号化がされた動画像データを正しく復号して再生画像を生成することができる。 [0096] なお、本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符号化装置及び動画像復号装置について説明したものであるが、動画像符号ィ匕処理及び動画像復号処理にっヽても同様に実施可能である。

[0097] (1)探索範囲

ここまでは、テンプレートマッチングの対象である探索範囲を符号ィ匕対象フレーム内の再生済み領域 (403)と再生済みフレームの再生画像 404として!/、るが、フレーム単位でいずれかを選択しても良い。例えば、再生済み領域 403に限定すれば、フレーム内の再生信号のみを予測対象とするイントラフレームにも本発明は適用できる。同様に再生画像 404のみを探索対象に限定することにより、フレーム間の予測を伴うインターフレームの復号時の演算量を低減できるという効果がある。更に、再生済み領域 403をテンプレートマッチングの探索対象とする予測モード (イントラテンプレートマッチング予測）と、再生画像 404をテンプレートマッチングの探索対象とする予測モード (インターテンプレートマッチング予測）を用意し、ブロック単位で選択するという方法も復号時の演算量の削減に繋がるので効果的である。この際、図 5の説明にて示したとおり、非特許文献 1に記載されて、るような複数の予測モードと組み合わせて用いることも可能である。なお、各画像内の探索範囲を予め設定した小領域とすることも演算量の低減につながるので効果的である。

[0098] (2)複数フレーム

ここまでは、テンプレートマッチングの対象とする再生済みフレームの枚数につ！、ては、特に述べていないが、複数枚を対象とすることは予測性能を高めるため有効である。この際、符号ィ匕対象フレーム内の再生画像領域を含んでもよい。以下、これらのテンプレートマッチング対象となる再生済みフレームの再生画像及び符号ィ匕対象フレームの再生画像領域を総称として参照フレームの参照画像と呼ぶことにする。この際、参照画像は、整数画素のみならず、フィルタ処理により生成した実数画素も含んだ解像度の高い画像としてもよい。実数画素の生成方法は、例えば、非特許文献 1 に記載されて、る。選択する参照フレーム番号はブロック単位ある、はフレーム単位で符号ィ匕してもよ、し、 SADなどの指標値により付加情報なしで選択することも可能である。明示的に符号化する場合には、（符号化対象ブロックにおける）予測対象領域の原信号と、複数の参照フレームの参照画像力生成される (符号化対象ブロックにおける）予測対象領域の予測信号を比較し、 1枚の参照フレームを選択する。

[0099] この符号化処理は図 18に示すように図 1に示す動画像符号ィ匕装置 100にお、て予測生成部 108と減算部 102との間に選択部 109を追加することにより実施できる。選択部 109は、予測生成部 108が複数の参照フレームを対象として生成した予測信号について、符号ィ匕対象ブロックの原信号との間の指標値 (SADや MSEなど）を計算し、指標値が最小となる参照フレームを選択する。選択した参照フレーム番号は、符号ィ匕部 104にてエントロピー符号ィ匕される。なお、選択部 109の処理は、予測生成部 108に含まれていても同様の結果が得られるので、この構成でも本変形例は実施できる。復号処理では図 19に示すように、予測生成部 606が復号部 601にて復号された参照フレーム番号に対応する参照フレームを利用して予測信号を生成する。

[0100] また、 1枚の参照フレームを選択して符号ィ匕対象ブロックの予測信号を生成する（1 フレーム選択処理）のではなぐ 2枚の参照フレームを選択し、選択した参照フレームから得られる符号化対象ブロックの予測信号を画素単位で平均化して最終的な予測信号を算出（平均化処理)しても良い。この際、符号ィ匕対象ブロックの予測信号の選択候補を、同じ参照フレームから取得することも考えられる。 1画素（あるいは 1Z2画素や 1Z4画素)ずれた位置の予測信号を同じ参照フレーム力 2つ選択すれば、内挿処理により探索する動きベクトルの精度を高める効果もある。なお、平滑化処理は予測誤差信号の雑音成分をする効果があるため、一般に、変換符号化との相性が良い。

[0101] 2枚の参照フレームを選択する場合、単純な平均化ではなぐ画素毎の重みづけ平均化処理にて、予測対象領域の最終的な予測信号を算出する (重みづけ平均化処理)ことも可能である。重みづけ係数は、ブロック内で一定値とする方法や画素単位で変更する方法がある。重みづけ係数の設定の方法や符号ィ匕方法にっ、ては、特に限定しないが、非特許文献 1に記されるような方法が適用できる。

[0102] 更に、奇数枚の参照フレームを選択し、画素単位で予測対象領域の予測信号の中央値を選択する方法もある（中央値予測処理)。また、 4枚以上の偶数枚のフレームから画素単位で予測対象領域の予測信号の中央の 2値を選択し、平均化または重みづけ平均化により予測値を算出する方法も実施可能である。このような中央値を利用した予測方法は、平均的な予測誤差を小さくする効果がある。

[0103] これらの平均化処理、重み付け平均化処理、中央値予測処理は図 20に示すように図 2に示す予測生成部 108に信号生成部 204を追加した予測生成部 1108により実現できる（図 1の予測生成部 108と図 6の予測生成部 605に適用）。信号生成部 204 では、複数フレームにより生成される予測対象領域の予測信号を入力として、上記に示した処理方法により最終的な予測信号を生成する。信号生成部 204の処理は、再生画像や (再生画像に関するデータである）再生画像に属する特徴データ (動きべクトルなど)力も導出される情報を用いて実施できるため、復号側でも同じ処理が実施できる。

[0104] 1フレーム選択処理、平均化処理、重みづけ平均化処理、中央値予測処理などから複数の処理手法を用意し、ブロック単位やフレーム単位で処理手法を選択する方法も考えられる。復号値により構成されるテンプレートを用いる予測処理では、指標値が最適となる動きが予測誤差信号を最小化する保証はない。そのため、予測対象領域の予測信号の特性が異なる複数の処理手法から、適切な手法を選択する方法は有効である。

[0105] 処理手法の選択方法としては、まず予測対象領域の予測誤差絶対値和 (または予測誤差二乗和)を最小とする方法を符号ィ匕側で選択して（図 18の選択部 109)、復号側に伝送する方法が考えられる。この選択手法は、図 18の予測生成部 108と図 1 9の予測生成部 606を図 20の予測生成部 1108に置き換えることにより実現できる。なお、ここでは、図 18の選択部 109は、選択した参照フレーム番号の替わりに、選択した処理手法の情報を符号ィ匕部 104に出力する。選択部 109の処理が予測生成部 1108に含まれる構成でも同様の結果が得られるので、この構成でも実施可能である

[0106] また、それぞれの処理手法に基づ、てテンプレート領域の予測信号を生成し、テンプレート領域の生成信号との間で指標値 (SADや MSEなど)を計算することで自動的に処理手法を選択する方法も考えられる。例えば、平均化処理では、テンプレート領域の 2つの予測信号の候補を画素単位で平均化して予測信号を計算し、計算した予測信号とテンプレート領域の再生信号との間で指標値を計算する。この方法によれば再生画像や再生画像に属する特徴データ (動きベクトルなど)から導出される情報を用いて処理手法を一意に決めることができるため、処理手法の情報を符号ィ匕する必要がない。

[0107] また、テンプレート領域内の信号の分散値 (TaV)と複数参照フレームに対する指標値の分散値 (EvV)の組み合わせにより、 4つの条件を設定し、 TaVと EvVが共に閾値より小さい場合には平均化処理、 TaVのみが閾値より小さい場合には重みづけ平均化処理、 EvVのみが閾値より小さい場合には中央値予測処理、 TaVと EvVが共に閾値より大きい場合には 1フレーム選択処理とするような手法も考えられる。この場合、テンプレート領域の再生信号の分散によりテンプレートの空間方向の特徴の強さを評価し、指標値の分散によりテンプレート領域の時間方向の特徴の強さを評価する。この手法では、分散値が小さいほど、予測対象領域の予測信号における複数候補の差が小さぐ平滑化による予測誤差信号の雑音を除去する効果が高いという仮定に基づ、て処理手法の選択を実施して!/、る。このような自動的な選択方法は、図 18の予測生成部 108を図 20の予測生成部 1108に置き換えると共に、図 18の選択部 109に上記で示した選択方法を導入することで実現できる。この選択方法においても、再生画像や再生画像に属する特徴データ (分散値など)力も導出される情報を用いて処理手法を一意に決めることができるため、処理手法の情報を符号ィ匕する必要がない。そのため、選択部 109から符号ィ匕部 104への出力は省略される。

[0108] この際、上記に示した分散値を用いる選択方法では、選択部 109への入力を符号化対象ブロックの原信号力テンプレート領域の再生信号に置き換え、予測生成部 1 108から選択部 109への入力に複数参照フレームの指標値を追加することが必要となる。なお、選択部 109の処理を予測生成部 1108が含む構成でも同じ結果が得られるので、この構成でも実施可能である。復号側の処理は、符号化処理に合わせて、図 6の予測生成部 605を図 20の予測生成部 1108と図 18選択部 109の組み合わせに置き換えることにより実現できる。なお、自動的な選択方法は、ここで記載した方法に限定されず、再生画像や再生画像に属する特徴データから導出される情報のみを利用する方法であれば実現できる。 [0109] (3)予測生成部の構成

予測生成部 108はテンプレート領域決定部 201、マッチング部 202、補填部 203により構成されている力本発明はこの構成に限定されずに実現できる。例えば、テンプレート領域の再生信号を予め定めた手順により符号ィヒ対象フレームの再生信号から直接入力される構成とすれば、テンプレート領域決定部 201は不要である。また、マッチング部 201にて、参照フレーム力テンプレート領域の予測信号を取得する際に、予測対象領域の予測信号を同時に取得するように構成すれば、補填部がなくとも予測信号は生成できる。

[0110] (4)符号ィ匕対象ブロックのサイズ

本実施例では符号ィ匕対象ブロックのサイズを 8画素 X 8画素としている力本発明は他のブロックサイズでも実施できるため、このサイズには限定されない。また、テンプレート領域のサイズについても、限定されない。例えば、 8画素 X 8画素ではテンプレート領域と予測対象領域を合わせて 12画素 X 12画素とする場合や、テンプレート領域のサイズをその半分とする 10画素 X 10画素など様々である。また、ブロック単位やフレーム単位で、符号ィ匕対象ブロックのサイズとテンプレート領域のサイズを変更することも有効である。非特許文献 1に示されているように、異なるサイズの符号化対象ブロックとテンプレート領域の組を用意することは、画像内の異なる絵柄に対応できるので有効である。また、イントラテンプレートマッチング予測とインターテンプレートマッチング予測を考えた場合、テンプレート領域と探索範囲の冗長性が一般的に低いイントラテンプレートマッチング予測のブロックサイズを小さくすると予測効率の向上が期待できる。

[0111] また、予測対象ブロックと符号ィ匕対象ブロックとは異なるブロックサイズでも本発明の予測は実施可能である。

[0112] (5)テンプレート領域の再生信号

ここまではテンプレート領域の再生信号を符号ィヒ対象フレームの再生済み画素から構成している力その他の参照フレーム上の再生済み画素も復号側に既知であるため利用できる。例えば、 8画素 X 8画素ブロックの予測対象領域を 4画素 X 4画素ブロックに分割して、 4 X 4ブロック単位で予測信号を生成する場合を考える。テンプレート領域と予測対象領域を合わせて 6画素 X 6画素ブロックとすると、 8 X 8ブロックの左上の 4 X 4ブロックのテンプレート領域につ!、ては、符号化対象フレームの再生済み画素にて構成できる。しかしながら 8 X 8ブロックの右上の 4 X 4ブロックのテンプレート領域では、ブロック上部の 6 X 2画素は符号ィヒ対象フレームの再生済み画素で構成できる力ブロック左部の 2 X 2画素はまだ符号ィ匕されていないため、左上の 4 X 4ブロックの予測信号にて代用する。同様に 8 X 8ブロックの左下の 4 X 4ブロックではブロック上部の 2 X 2画素、右下の 4 X 4ブロックではテンプレート領域の全画素については、符号化対象フレームの再生済み画素が符号化されて、な、ため予測信号にて代用する。

更に、ここまではテンプレート領域の再生信号を、符号化対象ブロックに隣接するブロックの再生済み画素を取得して構成して、るが、再生済み信号にノイズを除去するフィルタ等を施してテンプレート領域の再生信号を生成してもよい。例えば、雑音が多、画像では、テンプレート領域の再生信号及び参照画像にフィルタ処理を施すことにより、雑音に影響されない動き検出が可能となる。

[0113] (6)指標値について

ここまでは、テンプレートマッチングにて対象領域内の予測信号を生成する際の指標値を、テンプレート領域における予測信号と対象信号の差分絶対値和 (SAD)や平均二乗誤差 (MSE)としていた力これに限定されることはない。例えば、 T. Wiega nd et. ai., 'Rate—し onstrained Coder Control andし ompanson of Video Coding Stan daras , IEEE Trans. Circuits and Systems for Video Technology, vol. 13, No. 7, July 2003, 688-703. (非特許文献 2)に記載されるように差分動きベクトルの大きさを考慮した値も本発明の指標値に適用可能である。

[0114] 更に、各画素の差分絶対値あるいは二乗誤差に重みをかけることも有効である。例えば、 SADを評価値とする場合、テンプレート領域と予測領域の境界画素の差分絶対値に 4、境界から離れることに 3, 2, 1と重みを小さくしていくという方法が考えられる。このように境界に近い画素を優先することにより予測性能の向上が期待できる。

[0115] (7)逆変換部の構成

図 1では、逆変換部 105の入力は変換部 103からの出力となっている力符号化部 104からの出力でもよい。この場合、逆変換部 105の処理の前に、図 6の復号部 601 の処理が実施される。また、動画像符号化装置と動画像復号装置の処理を統一化する実装方法でも本発明は実施できる。つまり、符号ィ匕部 104の出力を、図 6の復号部 601にて処理し、復号画像を記憶部 107に入力するという構成も考えられる。

[0116] [第 2実施形態]

第 2実施形態における動画像符号化装置及び動画像復号装置の装置構成は、第 1実施形態における装置構成と、予測生成部の詳細な構成を除いて同一である。以下、本実施形態における予測生成部と、第 1実施形態における予測生成部 108, 60 5との相違点について説明する。

[0117] 図 8に示すように、本実施形態の予測生成部 800は、判断部 801と、テンプレート領域決定部 802と、マッチング部 803と、補填部 804とを備えて構成される。

[0118] 判断部 801は、テンプレート領域の再生信号と記憶部 107, 604により記憶された再生画像とを比較して、当該比較結果に基づき符号化又は復号の対象となる領域（予測対象ブロック)の信号の空間的連続性を推定する推定手段である。なお、空間的連続性とは、ある空間内における動きの方向 '大きさなどの特徴がどの程度一致しているかを示す指標である。即ち、ある領域内において、その領域の上半分と下半分とで動きの特徴が異なっていた場合、空間性連続性は無い。また、判断部 801は、推定された画像の空間的連続性に基づいて、符号化又は復号の対象となる領域を更に分割して当該分割された領域を新たな符号化又は復号対象の領域 (予測対象領域、補填領域)として設定すると共に当該新たな符号化又は復号対象の領域に対するテンプレート領域を設定する設定手段である。判断部 801は、記憶部 107, 604 により記憶された再生画像を分析して、テンプレート領域のサイズ及び予測対象領域のサイズを含む予測パラメータを決定して、その情報をテンプレート領域決定部 802 と、補填部 804とに出力する。予測パラメータの具体的決定方法は、後述する。

[0119] テンプレート領域決定部 802は、判断部 801から入力されたテンプレート領域のサィズの情報に基づ、て、予測信号を生成するために用いるテンプレート領域及びその領域の画像を設定する、探索手段の一構成要素である。テンプレート領域決定部 802は、第 1実施形態におけるテンプレート領域決定部 201に対応し、同様の機能を有する。

[0120] マッチング部 803は、テンプレート領域決定部 802により設定されたテンプレート領域の画像を用いて、記憶部 107, 604により蓄積された再生画像を探索領域としてテンプレートマッチングを実施し、探索領域内にてテンプレート領域の画素群との相関が最も高くなる領域を探索する探索手段である。マッチング部 803は、第 1実施形態におけるマッチング部 202に対応し、同様の機能を有する。

[0121] 補填部 804は、マッチング部 803により探索された領域 (高相関領域）、及び予測対象ブロックとテンプレート領域との間の位置関係とに基づ、て、予測対象ブロックと同サイズの予測信号を再生画像力設定して決定する予測信号決定手段である。このときの予測対象ブロックのサイズは、判断部 801により設定されたものである。補填部 804は、第 1実施形態における補填部 203に対応し、同様の機能を有する。

[0122] ここで、判断部 801におけるテンプレート領域のサイズ及び予測対象領域のサイズの決定方法を図 14及び図 15を用いて説明する。テンプレート領域のサイズ及び予測対象領域のサイズの決定には、予測対象ブロックに隣接する再生済み画素を利用する。図 14は、予測対象ブロック 1401の画素とその周辺の再生済み画素 1402とを示した図である。まず、図 14 (a)及び (b)に示すように、予測対象ブロック 1401に隣接する領域 1402を全てカバーする領域 A、及び領域 1402を分割してそれぞれ及び領域 1402の一部をカバーする領域 B, C, D (領域 B, C, Dはそれぞれ重なり合わず、足し合わせると領域 1402となる）の 4つの領域を用意する。

[0123] 次に、領域 A, B, C, Dをテンプレート領域とした、記憶部により蓄積された再生画像に対するテンプレートマッチングを実施し、相関の高い領域をそれぞれ求める。ここで、相関値としては、例えば SADを用いるとする。それぞれの領域 A, B, C, Dに対する SADを、 SAD 、 SAD、 SAD、 SADとし、 SADと（SAD +SAD +SA

A B C D A B C

D )とを比較する。 SAD の方が非常に大き力つた場合、領域 A内で空間的連続性

D A

がなぐ予測対象ブロック 1401においても空間的連続性がないと推定する。即ち、図 15に示すように、再生済の画像の領域 1501において、領域 Aと相関が高い領域 15 Olaと、領域 B, C, Dと相関が高い領域 1501b, 1501c, 1501dとが別々に位置している状態であると推定する。この推定に基づき、空間 Aによるテンプレートマツチングでは予測がうまく!/ヽかな!、 (決定された予測信号と符号ィ匕及び復号対象画像との乖離が大きくなる）と判断する。 SADの方が非常に大きいとの判断は、閾値を予め

A

決めておく等により行うことができる。このように判断したら、テンプレート領域のサイズ及び予測対象領域のサイズを、ブロックを更に分割して、ブロックのサイズよりも小さく設定する。このときの予測対象領域のサイズは、例えば、領域 B, C, Dの分割に応じたようなサイズとすることができる。また、テンプレート領域はその予測対象領域のサイズに応じたサイズとする。

[0124] 逆に SAD と（SAD +SAD +SAD )とにあまり差がなかった場合には、領域 A

A B C D

内で空間的連続性があり、予測対象ブロック 1401においても空間的連続性があると推定する。この推定に基づき、領域 Aによるテンプレートマッチングが有効であると判断して、予測対象領域はブロックのサイズとする（予測対象領域を、ブロックが分割されていない領域とする）。なお、上記の判断に用いる予測対象ブロック 1401に隣接する領域 1402を分割した領域は、図 14 (b)に示すような領域 B, C, Dのようなパターンだけでなぐ図 14 (c)のように、更に細分ィ匕してもよい。

[0125] 本発明のようなテンプレートマッチングによる予測では、動きベクトルによる予測とは異なり、正確な予測とはなりえない。このため誤予測をなるベく避ける必要がある。そして誤予測は、一般的にはテンプレート領域のサイズが小さいときに発生しやすくなると考えられる。反面、動きが細力べ空間的な連続性が無い部分においては、テンプレート領域や予測対象領域が大きいと、細かい動きに対応できず、予測誤差が増加することになる。従って、本発明による手法のようにテンプレート領域のサイズ及び予測対象領域のサイズを小さくして細かい動きに適合する確率を上げることが有効となる。

[0126] テンプレート領域のサイズ及び予測対象領域のサイズが変更されたときの予測の推移について図 9を用いて説明する。予測対象ブロック 901に隣接する領域に空間的連続性が存在し、予測対象領域のサイズが予測対象ブロック 901全域であった場合は、第 1実施形態と同様に 1度のテンプレートマッチングにて処理を行う。例えば、図 9【こ示すよう【こ、予 ¾J対象ブロック 901を領域 901a, 901b, 901c, 901dの 4つの領域に分割して、予測対象領域サイズを小さくして、テンプレート領域のサイズもあわせて小さくした場合で説明する。なお、予測対象ブロック 901の左及び上側の領域は、再生済である画像の領域であるものとする。

[0127] まず、図 9 (a)〖こ示すように、予測対象ブロック 901の左上の領域 901aに対して、左及び上側の領域 902aをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図 9 (b)に示すように、領域 901aの右側の領域 901bに対して、上側の領域 902bをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図 9 (c)に示すように、最初に予測信号の設定を行つた領域 901aの下側の領域 901cに対して、左側の領域 902cをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図 9 (d)に示すよう【こ、残りの領域である右下の領域 901d【こ対して、領域 901a, 901b, 901cを含む左及び上側の領域 902dをテンプレート領域に設定し、予測信号をテンプレート領域の対象信号としてテンプレートマッチングによる予測信号の設定を行う。これにより、予測対象ブロック 901の全ての領域に対して予測信号を設定することになり、符号化及び復号が可能になる。

[0128] なお、テンプレート領域のサイズ及び予測対象領域のサイズの変更の仕方としては、図 9 (a)〜（d)のように縦横の両方向に分割するだけでなぐ図 9 (e) (f)のように、縦横何れかの方向のみ分割するようにしてもよい。例えば、図 14 (b)において、領域 A における高相関領域に領域 B, C, D, Eにおける高相関領域が含まれ、領域 Fにおける高相関領域のみが含まれない場合に図 9 (e) (f)のように縦方向に分割するのがよい。このような場合、予測対象ブロックの上半分と下半分とで空間的連続性が切れると判断できるためである。

[0129] この場合、まず、図 9 (e)に示すように、予測対象ブロック 901の上半分の領域 901 eに対して、左及び上側の領域 902eをテンプレート領域に設定し、テンプレートマツチングによる予測信号の設定を行う。次に、図 9 (f)に示すように、領域 901eの下側の領域 901fに対して、左側の領域 902fをテンプレート領域に設定し、テンプレートマッチングによる予測信号の設定を行う。これにより、予測対象ブロック 901の全ての領域に対して予測信号を設定することになり、符号ィ匕及び復号が可能になる。

[0130] 引き続いて、図 10のフローチャートを用いて、本実施形態の動画像符号化装置における符号化処理 (動画像符号化方法)を説明する。

[0131] まず、符号化対象の動画像データが動画像符号化装置に入力されると、動画像を構成するフレーム画像毎に領域分割部 101に入力される。入力されたフレーム画像は、領域分割部 101により所定の大きさの複数のブロックに分割される（S1001)。以降の処理は全てブロック単位で行われる。ブロックは、符号化対象の領域の画素として予測生成部 800と減算部 102とに入力される。

[0132] 次に、以下のように予測生成部 800により符号ィ匕対象のブロックの予測信号が生成される。まず、上述したように判断部 801により符号ィ匕対象ブロックに隣接する再生済み画素を用いて、当該符号ィ匕対象ブロックに用いる予測パラメータを決定する（S10 02、推定ステップ及び判断ステップ)。決定された予測パラメータは、テンプレート領域決定部 802に入力される。次に、テンプレート領域決定部 802により、設定した予測パラメータに基づいて、符号化対象の領域を設定して当該領域に対して隣接する再生済み画素群を再生済画素領域 (テンプレート領域)上にテンプレートとして設定する（S1003)。なお、ここで設定される符号化対象の領域は、上述したように符号ィ匕対象ブロックを分割したものである場合がある。次に、マッチング部 803により、符号化対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマツチングが行われ、テンプレート領域の画素群と相関の高い領域が探索される (S10 04)。次に、補填部 804により、テンプレートマッチングにより得られた高相関領域と所定の位置関係で隣接している符号ィ匕対象の領域と同じ大きさの領域が、予測信号として設定される（S 1005)。

[0133] 次に、符号ィ匕対象のブロックの全ての領域で予測信号が設定された力否かが判断される（S 1006)。全ての領域で予測信号が設定されていない場合、 S1003〜S100 5の一連の処理を、符号ィ匕対象のブロックの全ての領域で予測信号が設定されるまで繰り返す。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよいし、動画像符号化装置における符号化処理を統括する手段を設けてそれに行わせてもよい。

[0134] 以降の処理（S1007〜S1013)の処理は、第 1実施形態における対応する処理（S 505〜S511)と同一である。 [0135] 上述したように、本実施形態の動画像符号化装置によれば、第 1実施形態と同様に、フレーム間予測を行う際に、符号ィ匕済の再生画像を用いることで動きベクトルを用いることなくフレーム間予測ができ、効率的な符号ィ匕を可能とする。また、予測信号の領域のサイズを再生済み信号の空間的連続性をもとに適切に選択することが可能になるので、動き量の変化の激、動画像データの符号化にお!、ても符号化効率が向上する。

[0136] 引き続いて、図 11のフローチャートを用いて、本実施形態の動画像復号装置における復号処理 (動画像復号方法)を説明する。本実施形態の動画像復号装置により復号される圧縮符号化データは、上記の本実施形態の動画像符号装置により符号化されたものであるとする。

[0137] まず、復号対象の圧縮符号化データが動画像復号装置に入力されると、復号部 60 1により復号が行われる（S 1101)。復号されると、ブロック単位での変換データが取り出される。この変換データは、復号部 601により逆変換部 602に入力される。また、復号対象のブロックのフレームにおける位置情報力復号部 601により予測生成部 80 0に入力される。なお、復号対象のブロックの位置は、符号化順序に依存する。

[0138] 次に、以下のように予測生成部 800により復号対象のブロックの予測信号が生成される。まず、上述したように判断部 801により復号対象ブロックに隣接する再生画像を用いて、当該復号対象ブロックに用いる予測パラメータを決定する（S1102、推定ステップ及び判断ステップ)。決定された予測パラメータは、テンプレート領域決定部 802に入力される。次に、テンプレート領域決定部 802により、設定した予測パラメ一タに基づいて、復号対象の領域を設定して当該領域に対して隣接する再生済み画素群をテンプレートとして設定する（S1103)。なお、ここで設定される復号対象の領域は、上述したように復号対象ブロックを分割したものである場合がある。次に、マツチング部 803により、復号対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行われ、テンプレート領域の画素群と相関の高い領域が探索される（S 1104)。次に、補填部 804により、テンプレートマッチングにより得られた高相関領域と所定の位置関係で隣接している復号対象の領域と同じ大きさの領域が、予測信号として設定される (S 1105)。 [0139] 次に、復号対象のブロックの全ての領域で予測信号が設定された力否かが判断される（S 1106)。全ての領域で予測信号が設定されていない場合、 S1103〜S1105 の一連の処理を、復号対象のブロックの全ての領域で予測信号が設定されるまで繰り返す。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよ V、し、動画像復号装置における復号処理を統括する手段を設けてそれに行わせてもよい。

[0140] 以降の処理（S1107〜S1110)の処理は、第 1実施形態における対応する処理（S 705〜S708)と同一である。なお、第 1実施形態と同様に、 S1102〜S1106の一連の処理と、 S1107の処理とは、 S1108以降の処理の前に行われていればよいので、順序が逆になつて、てもよ、。

[0141] 上述したように、本実施形態の動画像復号装置によれば、本実施形態の動画像符号化装置と同様に予測信号を決定して、動画像を復号することができる。即ち、本実施形態の動画像復号装置によれば、本実施形態の上記の動画像符号化装置により効率的な符号化がされた動画像データを正しく復号して再生画像を生成することができる。

[0142] なお、本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符号化装置及び動画像復号装置について説明したものであるが、動画像符号ィ匕処理及び動画像復号処理にっヽても同様に実施可能である。

[0143] (1)テンプレート領域と予測対象領域の分離

上記では、図 8の判断部 801にて予測対象領域とテンプレート領域のサイズや形状を同時に決定している力一方のサイズと形状を固定してもよい。したがって、予測対象領域のサイズと形状を固定とし、テンプレート領域のサイズあるいは形状を適応的に切り替えたい場合にも本発明は適用できる。この場合、判断部 801から補填部 80 4への出力は不要である。例えば、図 14において、予測対象領域 1401に対するテンプレートを、図 14 (a) (b)の領域 A、領域 B、領域 C、領域 Dから選択するという方法が考えられる。予測対象領域 1401のテンプレートとしては、予測対象領域 1401と間に絵柄の連続性があり、かつそれを構成する画素数は多い方が良い。そのため、通常は領域 Aが好ましいが、ある方向に絵柄の連続性が無い場合には、小さいサイズのテンプレートを用いた方が良い。なお、判断部 801における判定処理は上記に示した手法には限定されない。例えば、テンプレート領域の予測信号を実際にその領域の画素を符号ィ匕した時の予測信号と比較し、平均差分絶対値が小さ、テンプレート形状とサイズを選択すると、う方法が考えられる。符号化した時の予測信号ではなぐその領域が属する符号化対象ブロックの再生信号を用いて再度予測信号を生成しなおしても良い。また、テンプレート領域の予測信号と対象信号 (再生信号)の平均差分絶対値が小さいテンプレート形状とサイズを選択するという方法も考えられる。

[0144] 一方で、絵柄ではなく動きの連続性を確保する方法も有効である。例えば、領域 A をテンプレート領域として検出した動きベクトルと、隣接ブロックの動きベクトルあるいは隣接ブロックから算出される予測動きべ外ルの差を計算する。そして差分の動きベクトルが予め定めた閾値より小さい場合には検出した動きベクトルを予測領域の動きベクトルとする。一方、差分の動きベクトルが予め定めた閾値より大きい場合には、異なるテンプレート形状 (例えば、図 14 (b)の領域 B, C, Dや図 14 (c)の領域 B, D, F等）について動きベクトルを検出する。そして、それぞれのテンプレート領域について、その領域内の画素を符号ィ匕したときの動きベクトルと検出した動きベクトルを比較し、差が小さ、動きベクトルを予測対象領域の動きベクトルとして選択すると、う方法も考えられる。その領域内の画素を符号ィ匕したときの動きベクトルの替わりに、その領域が属する符号ィ匕対象ブロックの再生信号を用いて、再度動きベクトルを検出しなおしても良い。いずれに方法においても、再生信号や (再生信号に関する情報である）再生信号に属する特徴データ (動きベクトルなど)力も導出される情報を用いて実施可能である。また、複数のテンプレート形状にて検出した動きベクトルの大きさを比較してテンプレート形状や予測領域のサイズを決めることも可能である。同様に隣接ブロックの動きベクトルの大きさを比較して、テンプレート形状や予測領域のサイズを決めることも可能である。

[0145] 候補となるテンプレートの形状とサイズは図 14のようにテンプレートの分割に限定されるものではない。例えば、 8画素 X 8画素ではテンプレート領域と予測対象領域を合わせたサイズを 12画素 X 12画素、 10画素 X 10画素及び 14画素 X 14画素から選択するような場合も本変形例に含まれる。 [0146] (2)テンプレート領域と予測対象領域のサイズ決定

上記では、図 8の判断部 801にてテンプレート領域と予測対象領域のサイズや形状を計算により決定しているが、予測対象領域の原信号 (符号化対象ブロック)を利用して、最適なサイズや形状の情報を符号ィ匕しても良い。この決定方法は、例えば、図 18のように予測生成部 108が複数種のテンプレートを用いて生成した予測対象領域の予測信号を出力し、選択部にて指標値 (SADや MSEなど）を最小とするテンプレートサイズと形状を選択し、その情報を符号ィ匕部 104にてエントロピー符号ィ匕することにより実施可能となる。選択部 109の処理が予測生成部 108に含まれている構成でち実施でさる。

[0147] また、予測対象領域の位置によっては、テンプレート領域の対象信号が存在しなヽ場合がある。その場合には、存在する対象信号のみでテンプレートを生成する。例えば、画像の左端では図 14 (b)に示す領域 C、画像の上端では領域 Dをテンプレート領域とする。

[0148] [第 3実施形態]

再生信号により構成されるテンプレートを用いる本発明の動き予測では、テンプレート領域の対象信号と予測信号力算出される差分信号の指標値が最小となる動きを探索範囲力検出する。したがって、テンプレート領域の対象信号に際立った特徴がある場合には、その特徴に基づいて適切な動き予測が実施できる。しかしながら、平坦な領域のように、テンプレート領域の対象信号に際立った特徴が表れな、場合には、指標値は最小であっても、実際とは異なる動きを検出する可能性が高くなる。この場合、予測対象領域の予測信号と対象信号との差分が大きければ、その符号量も増えてしまう。その一方で、際立った特徴のない平坦な領域は信号に含まれる高周波成分が少なぐ解像度を落とした信号と元の信号との空間相似性は高い。そのため、予測対象領域の対象信号の解像度を落として符号化し、復号側にて解像度を落とした再生信号を簡単な手法で拡張しても、元の信号力の劣化を抑えることができる。そこで、本実施形態では、平坦な領域に適した差分符号化手法として、予測対象領域の対象信号と予測信号の解像度を落とし、その低解像度差分信号を符号化する手法 (符号ィ匕対象ブロックと予測ブロックを縮小化し、その縮小差分ブロックを符号化する手法）について示す。

[0149] なお、本実施形態では、便宜上、予測信号にて構成されるブロックを予測ブロック、差分信号にて構成されるブロックを差分ブロック、再生信号にて構成されるブロックを復号ブロックと呼ぶことにする。そして、符号化対象ブロックは動画像データの符号化対象フレームの原信号にて構成されるブロックを符号化対象ブロックと呼ぶ。

[0150] 図 21に、第 3の実施形態を実施する動画像符号化装置 2100を示す。図 1の動画像符号化装置 100に、縮小化部 2110 (縮小化部 2110— 1及び縮小化部 2110— 2 の総称)と拡大部 2111を設けることにより実現できる。なお、減算部 2102、変換部 2 103、符号ィ匕部 2104、逆変換部 2105、加算部 2106の機能は、扱うブロックサイズ力、さくなる（例えば 4画素 X 4画素)だけで、それぞれ、図 1の減算部 102、変換部 1 03、符号化部 104、逆変換部 105、加算部 106の機能と同じである。なお、変換部 2 103及び逆変換部 2015については、図 1の変換部 103及び逆変換部 105でも非特許文献 1に示されるように、 4画素 X 4画素単位で扱うことが可能である。この場合、図 1の変換部 103及び逆変換部 105と、図 21の変換部 2103及び逆変換部 2105の違いは、処理するブロックの数力個から 1個に減ることを意味する。

[0151] 縮小化部 2110— 1と縮小化部 2110— 2とは、それぞれ、領域分割部 108から得られる符号ィ匕対象ブロックと予測生成部 108から得られる予測ブロックをそれぞれ、縮小符号ィ匕対象ブロックと縮小予測ブロックに縮小して、減算部 2102に出力する。減算部 2102では、 2つの縮小ブロックの差分を画素単位で計算し、縮小差分ブロックを変換部 2103に出力する。変換部 2103では、変換 (及び量子化)処理を実施し、変換データ（量子化データ）は符号ィ匕部 2104にて符号化される。同時に、変換データ（量子化データ）は、逆変換部にて (逆量子化及び)逆変換処理を実施し、復号縮小差分ブロックを加算部 2106に出力する。加算部 2106では、復号縮小差分ブロックと縮小予測ブロックを画素単位で加算し、復号縮小ブロックを生成する。拡大部 21 11は、復号縮小ブロックを符号ィ匕対象ブロックと同じサイズの復号ブロックまで拡大し、記録部 107に出力する。縮小化部 2110と拡大部 2111の処理は図 23を用いて後述する。

[0152] 図 22に、第 3の実施形態を実施する動画像復号装置 2200を示す。図 6の動画像復号装置 600に、縮小化部 2207と拡大部 2208を設けることにより実現できる。縮小化部 2207と拡大部 2208の処理は、それぞれ図 21における縮小化部 2110と拡大部 2111と同じ機能を持つ。なお、減復号部 2201、逆変換部 2202、加算部 2203の機能は、扱うブロックサイズが小さくなる（例えば 4画素 X 4画素）だけで、それぞれ、図 6の復号部 601、逆変換部 602、加算部 603の機能と同じである。なお、逆変換部については、図 1の符号ィ匕装置と同様に図 6の逆変換部 602においても非特許文献 1に示されるように、 4画素 X 4画素単位で扱うことが可能である。この場合、図 6の逆変換部 602と、図 22の逆変換部 2202の違いは、処理するブロックの数が 4個から 1 個に減ることを意味する。

[0153] 縮小化部 2207は、予測生成部 605から得られる予測ブロックを縮小予測ブロックに縮小して、加算部 2203に出力する。加算部 2203では、復号部 2201と逆変換部 2202の処理により復号された復号縮小ブロックと、縮小予測ブロックを画素単位で加算し、復号縮小ブロックを生成する。図 22の符号ィ匕装置と同様に、逆変換部 2202 は量子化処理を含んでも良い。拡大部 2208は、復号縮小ブロックを復号ブロックと同じサイズの復号ブロックまで拡大し、記録部 604に出力する。

[0154] 図 23に縮小化部 2110, 2207と拡大部 2111, 2208における縮小'拡大処理を示す。ブロック 2301は縮小される前のブロックを示している。処理 2304が縮小処理における縮小ブロック上の画素生成手法を説明している。画素；!, k, m, nがブロック 23 01上の画素、画素 Pが生成される縮小ブロック上の画素を示している。処理 2304では、 4画素単位で画素の平均化処理を実施し、縮小ブロック上の画素を算出する。ブロック 2302が縮小処理により得られた縮小ブロックを示している。

[0155] 処理 2305が拡大処理における拡大ブロック上の画素生成手法を示している。画素 A〜Dがブロック 2302上の画素、画素 a〜iが拡大画像上の画素を示している。処理 2305では、画素位置に応じて異なる方法で画素の内挿 '外挿処理を実施する。画素 aは、隣接する縮小ブロック上の画素が Aのみであるため、画素 Aを画素 aとしてそのまま用いる。同様に、ブロック 2303の白丸で示した画素は、縮小ブロック上の隣接画素をコピーする方法により算出する。画素 b〜eについては、隣接する縮小ブロック上の画素が 2画素存在する。そこで、これらの画素は、縮小ブロック上の隣接 2画素を用いた外挿処理により算出する。同様に、ブロック 2303の黒四角で示した画素は、縮小ブロック上の隣接 2画素を用いた外挿処理により算出する。画素 f〜iについては、隣接する縮小ブロック上の画素が 4画素存在する。そこで、これらの画素は、縮小ブロック上の隣接 4画素を用いた線形内挿処理により算出する。同様に、ブロック 2 303の黒丸で示した画素は、縮小ブロック上の隣接 4画素を用いた線形内挿処理により算出する。

[0156] 図 24と図 25とはそれぞれ第 3の実施形態を実現する動画像符号化処理及び動画像復号処理を示している。図 24と図 25は第 1の実施形態における図 5と図 7にそれぞれ対応する。図 24と図 25では、図 5と図 7におけるテンプレート領域決定処理（S5 02, S702)、テンプレートマッチング処理（S503, S703)、予測信号決定処理（S5 04)、予測信号生成処理（S704)を、予測信号生成処理（S2404, S2504)としてまとめて記載している。また、図 24における S2401, S2405, S2406, S2407, S240 8, S2410, S2411は、図 5における S501, S505, S506, S507, S508, S510, S511にそれぞれ対応する。これらの処理は扱うブロックサイズが異なるだけで、同様の処理を実施するため、ここでの説明は省略する。更に、図 25における S2501, S2 505, S2507, S2508は、図 7における S701, S705, S707, S708にそれぞれ対応する。これらの処理も扱うブロックサイズが異なるだけで、同様の処理を実施するため、ここでの説明は省略する。

[0157] 図 24の処理 S2412の符号化ブロック縮小化処理では、縮小化部 2110— 1にて、領域分割部 101入力される符号ィ匕対象ブロックを縮小符号ィ匕対象ブロックに縮小し、縮小したブロックを減算部 2102に出力する。処理 S2313の予測ブロック縮小化処理では、縮小化部 2110— 2にて、予測生成部 108から入力される予測ブロックを縮小予測ブロックに縮小し、縮小したブロックを減算部 2102及び加算部 2106に出力する。以下処理 S2405〜処理 S2408により、縮小差分ブロックの符号化、復号処理を実施し、復号縮小差分ブロックが生成される。処理 S2409の復号縮小ブロック生成処理では、加算部 2106にて、縮小予測ブロックと復号縮小差分ブロックを画素単位で加算し、復号縮小ブロックを生成する。処理 S2414の拡大処理では、拡大部 21 11にて、復号縮小ブロックを復号ブロックに拡大する。 [0158] 図 25の処理 S2509の予測ブロック縮小化処理では、縮小化部 2207にて、予測生成部 605から入力される予測ブロックを縮小予測ブロックに縮小し、縮小したブロックを加算部 2203に出力する。処理 S2505では、縮小差分ブロックの復号処理が実施され、復号縮小差分ブロックが生成される。処理 S2506の復号縮小ブロック生成処理では、加算部 2203にて、縮小予測ブロックと復号縮小差分ブロックを画素単位で加算し、復号縮小ブロックを生成する。処理 S2510の拡大処理では、拡大部 2208 にて、復号縮小ブロックを復号ブロックに拡大する。

[0159] 本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符号化装置及び動画像復号装置について説明したものであるが、動画像符号化処理及び動画像復号処理につ！ヽても同様に実施可能である。

[0160] (1)テンプレートマッチングを用いた予測方法

本実施形態では、予測生成部におけるテンプレートマッチングの方法は、図 2の方法に限定されるものではない。すなわち、本実施形態及び変形例においても、第 1実施形態、第 2実施形態及びそれらの変形例にて示したテンプレートマッチングを用いた予測信号生成方法は適用可能である。図 18、図 19のように、選択部を追加することもでき、予測生成部 108, 605を図 20に示した予測生成部 1108に置き換えることも可能である。また、予測生成部 108, 605を図 8に示した予測生成部 800に置き換えることも、信号の入出力の流れは変わらないため、そのまま適用できる。

[0161] ここまでは、テンプレートマッチングを用いた予測方法として、テンプレートを用いて、記憶部 107, 604に保存されている再生済み動画像データから予測ブロックを生成する方法を採用していた。し力ながら、非特許文献 1に記載されているイントラ予測のように、テンプレートの再生信号力所定の方法により予測信号を生成する方法もある。この方法においても、本実施形態の縮小'拡大処理を用いた符号化 '復号処理は符号量を削減する効果があるため有効である。

[0162] この変形例における予測生成部の構成を図 36に示す。図は、テンプレートの信号から予測信号を生成するイントラ予測の例である。テンプレートの再生信号から予測信号を生成する方法は、図 21と図 22の予測生成部 108を図 36の予測生成部 3608 に置き換えることにより実施できる。テンプレート領域決定部 3602では、符号化対象ブロックに隣接する 13個の再生済み画素にてテンプレートを構成する。補填部 3603 では、図 37に示す処理 3711に示すような方法で、テンプレート内の画素から予測ブロックを生成する。なお、図 37には、 9種類の補填方法が提示されているが、本発明は、このうち少なくとも 1種類を予め定義しておくことにより実施できる。また、補填部内にて複数の補填方法から 1種類を選択し、選択した補填方法により生成した予測ブロックを出力してもよい。この際、補填方法の選択手法は本発明では限定されない。選択した補填方法の情報を伝送してもよいし、エンコーダ (動画像符号化装置)とデコーダ (動画像復号装置）が共有するデータのみを用いて決める方法でもよい。

[0163] また、テンプレートの形状は図 37に示したものに限定されない。ブロック境界の画素だけでなぐ符号化対象ブロックが属するフレームの再生済み領域の画素であれば、ブロック境界力離れた画素から構成されるテンプレートであっても本発明は実現可能である。

[0164] (2)縮小'拡大処理の構成

図 21に示す動画像符号ィ匕装置 2100と図 22に示す動画像復号装置 2200では、符号ィ匕対象ブロックと予測ブロックを縮小化し、復号された縮小ブロックを拡大することにより復号ブロックを生成している。し力しながら、縮小、拡大処理を用いた符号量の削減は、異なる構成においても実現可能であり、この方法には限定されない。図 3 2と図 34とに動画像符号化装置の別例、図 33と図 35とに動画像復号装置の別例を示す。

[0165] 図 32の動画像符号ィ匕装置 3200では、予測ブロックではなぐ符号化対象ブロック力予測ブロックを画素単位で減算することにより生成した差分ブロックを縮小化部 3 210にて縮小化する。そして、復号した復号縮小差分ブロックを拡大部 3211にて拡大し、拡大ブロックと予測ブロックを画素単位で加算し、復号ブロックとする。

[0166] 図 33の動画像復号装置 3300は、図 32に示す動画像符号化装置 3200に対応する復号装置である。この方法では、予測ブロックの縮小化は実施せず、復号した復号縮小差分ブロックを拡大部 3308にて拡大し、拡大ブロックと予測ブロックを画素単位で加算し、復号ブロックとする。

[0167] 図 34の動画像符号ィ匕装置 3400は、図 21における縮小化部 2110— 2の機能が予測生成部 3408内の補填部に含まれる構成である。同様に図 35の動画像復号装置 3500は、図 22における縮小化部 2207が予測生成部の補填部に含まれる構成である。この際、補填部は、縮小予測ブロックを直接生成するように縮小化処理と補填処理を組み合わせることも可能である。図 2、図 8あるいは図 20に示す補填部 203において、補填部 203の有するメモリサイズが縮小予測ブロックは保存できる力予測ブロックを保存できない大きさであり、記憶部 107内の再生済み動画像データ力も直接必要な情報のみを取得し、縮小予測ブロックを生成する。この場合には、テンプレート領域決定部とマッチング部は、上記に示したようにテンプレート領域内の全画素を記憶部 107内の再生済み動画像データから取得しても良いし、テンプレート領域にも縮小化を実施し、必要な情報のみを取得してマッチング処理を実施しても良い。一方、図 35に示す動画像復号装置 3500においては、テンプレート領域決定部も、記憶部 604内の再生済み動画像データから直接必要な情報のみを取得すればよい。

[0168] なお、上記の動画像符号化装置 3200, 3400及び動画像復号装置 3300, 3500 における予測生成部の構成は、図 2に示すものでも図 36に示すものでも実現可能である。また、図 18、図 19に示す動画像符号ィ匕装置 1800及び動画像復号装置 1900 のように、選択部を伴う場合も、選択部を追加することにより実現できるため、図 2や図 20に示した予測生成部に置き換えることも可能である。更に、図 2を図 8に示した予測生成部に置き換えることも、信号の入出力の流れは変わらないため、そのまま適用できる。

[0169] 更に、図 21にて復号縮小ブロックの拡大処理を実施せずに、そのままフレームメモリに保存しても良い。また、別のフレームでは、復号縮小ブロックを統合することにより得られる縮小画像にてテンプレートマッチングを行、、縮小予測ブロックを生成する。そして、縮小符号ィ匕対象ブロックと縮小予測ブロックの差分符号ィ匕を行なう。または、縮小予測ブロックを拡大し、符号化対象ブロックとの差分符号化を行なってもよヽ。同様に図 22では復号縮小ブロックの拡大処理を実施せずに、そのままフレームメモリに保存しても良い。別のフレームでは、縮小ブロックを統合することにより得られる縮小画像にてテンプレートマッチングを行い、縮小予測ブロックを生成する。そして、復号した縮小差分ブロックと縮小予測ブロックを加算して縮小ブロックを再生する。または、縮小予測ブロックを拡大し、復号した差分ブロックと拡大したブロックを加算して復号ブロックを再生してもよい。このように、縮小処理と拡大処理の適用方法を変更しても、符号量を削減する効果は得られる。

[0170] 縮小化処理と拡大処理の方法は図 23に示した方法でも良いし、後述する別例でもよい。

[0171] (3)TMP— E、 TMP— Lの選択方法

図 21及び図 22に示す動画像符号ィ匕装置 2100及び動画像復号装置 2200は、テンプレート領域の絵柄がすべて平坦な場合を仮定して、ブロックの縮小 ·拡大処理を伴う装置の構成を示している。実用的には、画像の絵柄には、平坦な部分と特徴のある部分が混在するため、第 1実施形態にて説明したブロックの縮小'拡大処理を実施しない構成と組み合わせて実施する。図 26に、図 1及び図 21に示す動画像符号化装置 100, 2100を組み合わせた動画像符号ィ匕装置 2600を、図 27に、図 6及び図 22に示す動画像復号装置 600, 2200を組み合わせた動画像復号装置 2700を示す。図内で図 1、図 6、図 21、図 22と同じ番号のブロックは同じ機能を示すため、ここでは詳細な説明を省略する。

[0172] 図 26では、領域分割部 101にて分割された符号ィ匕対象ブロックがそれぞれ、減算部 102と縮小化部 2110— 1に入力される。符号化対象ブロックは 2通りの予測符号化方法 (TMP— Eモード；図 1に示す動画像符号化装置 100の符号化方式、 TMP Lモード；図 21に示す動画像符号化装置 2100の符号化方式)で符号化処理され、変換部 103と変換部 2103から 2種類の変換データ（量子化データ）が切り替え部 2 613に出力される。また、 2通りの手法で局部復号された 2種類の復号ブロックが選択部 2612に出力される。選択部 2612では、その 2種類の復号ブロックから 1種類を選択し、その選択情報を切り替え部 2613と符号ィ匕部 2604に出力する。切り替え部 26 13は選択情報に従って、変換データ (量子化データ)を符号ィ匕部 2604に出力する。符号ィ匕部は選択情報と変換データ (量子化データ）を併せてエントロピー符号ィ匕する

[0173] 選択部 2612における TMP— Eと TMP— Lモードの選択方法としては、例えば、別途入力される符号化対象ブロックと 2種類の復号ブロックの差分信号を比較し、差分の自乗和が小さいほうを選択する方法が挙げられる。但し、この方法では符号量が換算されていないため、符号化効率の高い符号化手法が選択されない。符号化効率を考慮した選択方法としては、例えば、非特許文献 2に記載したような方法が挙げられる。この方法によれば、 2種類の予測符号ィ匕手法により生成された変換データ (量子化データ）をそれぞれ仮想的に符号化する。そして、復号ブロックと符号化対象プロックとの間のトータル歪 (例えば差分の二乗和）と符号量の重みづけ指標値をそれぞれ計算し、指標値の小さい符号ィ匕方法を選択する。この方法であれば、符号化効率の高い予測符号ィ匕方法が選択できる。なお、変換データ (量子化データ)の符号ィ匕は、選択部 2612にこれらを入力し、選択部 2612にて実施してもよいし、符号化部 2 604にて実施し、符号量の情報を選択部に入力しても良!、。

[0174] 図 27に示す動画像復号装置 2700では、復号部 2701にて、 TMP— Eモードと T MP— Lモードの選択情報と選択された予測符号ィ匕方法による変換データ (量子化データ）がエントロピー復号される。切り替え部 2709は選択情報に基づいて、選択情報が TMP—Eを示すときには変換データ（量子化データ）を逆変換部 602に出力し、選択情報が TMP— Lモードを示すときには変換データ (量子化データ)を逆変換部 2202に出力する。変換データ (量子化データ）は、選択情報が示す復号方法により復号される。

[0175] 上記では、 TMP— Eと TMP— Lとを異なる予測符号ィ匕方法として扱い、符号化側にてその選択情報を符号ィ匕している。し力しながら、 2種類の予測符号ィ匕方法を 1種類として扱！ヽ、符号化側と復号側が共有する復号情報 (再生画像や再生画像に属する特徴データ力導出される情報)を用いて自動的に選択することも可能である。特徴データとしてはテンプレート領域の対象信号が利用できる。例えば、テンプレート領域の対象信号の分散を用いる方法がある。予め閾値を設定し、分散値が閾値より大きければ TMP— E、小さければ TMP— Lとする方法が考えられる。また、分散値以外にも、テンプレート領域の対象信号の画素勾配 (隣接画素間の差分値)を計算し、差分値が閾値を超える画素数が予め定めた数より多ければ TMP— E、少なければ TMP— Lとするような方法も考えられる。更に、テンプレートマッチングにて検出した動きベクトルと、テンプレート領域の画素群を復号した際の動きベクトル (復号プロックの信号を利用して再検索しても良い)を比較し、その差が予め定めたしきい値より小さい場合には TMP— E、大きい場合には TMP— Lとすることも可能である。検出した動きベクトルの大きさや隣接ブロックの動きベクトルを基準として選択してもよ、。これら、分散値、画素勾配、動きベクトルによる選択を組み合わせても良い。それぞれで選択した方法が異なる場合には、多数決で最終的な選択を行ってもよいし、選択した方法が異なる場合のみ選択情報を伝送するという方法も実現可能であり、安定した選択結果が得られる。

[0176] この場合、図 27の動画像復号装置 2700では、選択情報が復号されないため別途選択部を設ける必要がある。この選択部は符号ィ匕装置の選択部と同じ動作をし、選択情報を切り替え部 2709に出力する。

[0177] 図 26及び図 27に示す各装置 2600, 2700における予測生成部は、上記の変形例（1)に示したように図 2に示す構成には限定されない。図 8、図 20及び図 36に示す構成を適用することも可能である。

[0178] なお、図 36に示す予測生成部 3608では、予め定めた補填方法の場合のみ TMP

Lのような縮小化'拡大処理を適用し、他の補填方法では TMP— Eのように差分符号ィ匕のみを適用することも可能である。また、補填部にて選択した補填方法にて生成した予測ブロックに対して、 TMP— Lと TMP— Eのような符号ィ匕方法を適用し、適応的に選択する方法も実施可能である。

[0179] (4)従来の予測符号化方法との適応

上記で示した予測符号ィ匕方法 TMP— Eと TMP— Lとは、非特許文献 1に記載されて、るような複数の予測符号ィ匕方法 (動きベクトルを符号ィ匕するインター予測モードやイントラ予測モード）と組み合わせて選択的に使用することが可能である。この際、それぞれの予測符号化方法について、複数のブロックサイズを用意してもよい。予測符号ィヒ方法とブロックサイズの最適な選択は、例えば非特許文献 2に示したような方法にて実現できる。図 26と図 27とに示す各装置 2600, 2700 (予測生成方法は変形例（1)に示すような変形が可能である）に従来の予測符号ィ匕方法を組み合わせ、選択部を拡張することにより実現できる。また、 TMP— Lのみを従来の予測符号化方法と適応することも可能である。この場合、図 21及び図 22に示す各装置 2100, 220 0と、図 32及び図 33に示す各装置 3200, 3300、図 34と図 35に示す各装置 3400 , 3500とのいずれかに従来の予測符号ィ匕方法を組み合わせればよい。

[0180] (5)縮小'拡大処理

縮小化部によるブロック縮小処理及び拡大部におけるブロック拡大処理の方法は図 23の方法に限定されるものではない。別例を図 28と図 29に示す。

[0181] 図 28では、ブロック 2801は縮小される前のブロック、ブロック 2802が縮小ブロックを示している。この例では、処理 2304のようなフィルタ処理を伴わない単純な画素サンプリングにより縮小ブロックを生成する。処理 2805が拡大処理における拡大ブロック上の画素生成手法を示している。画素 A〜Dがブロック 2802上の画素、画素 a〜c が拡大画像上の画素を示している。画素 A〜Dは、もともと縮小処理前の画素であるため、そのまま拡大ブロック 2803にコピーされる。縮小処理にて除外された画素については、処理 2305の画素 a〜cのように、単純な線形内挿処理により算出する。ブロック 2803の四角で示した画素は、同様に隣接する画素を用いた線形内挿処理により算出する。なお、拡大ブロック 2803の上端と左端の黒四角の画素については、丸で示した隣接画素が 1つまたは 2つしか存在しない。この場合には、画素群 2806に示した隣接ブロックの復号済み画素を利用する。なお、画素群 2806は記憶部に蓄積されているため、この処理を実現するためには、図 21、図 22、図 26、図 27に示す各装置において記憶部力拡大部への入力パスが必要となる。

[0182] 図 29では、ブロック 2901は縮小される前のブロック、ブロック 2902が縮小ブロックを示しており、処理 2904にて縮小処理の方法を説明する。この縮小方法では、処理 2904【こ示すよう【こ画素 p【こ隨接する 8画素 (j, k, 1, m, n, o, q, r)を禾 lj用したフィノレタ処理により縮小ブロック上の画素 Pを生成する。処理 2905が拡大処理における拡大ブロック 2903上の画素生成手法を示している。この処理は図 28の 2805と同様であるため、説明を省略する。この場合にも、画素郡 2906は記憶部に蓄積されているため、この処理を実現するためには、図 21、図 22、図 26、図 27において記憶部から拡大部への入力パスが必要となる。

[0183] これらの例では、縮小ブロックのサイズが縦 ·横の縮小率がそれぞれ 1Z2となっているが、縮小率はこれに限定されない。例えば、縮小率が 1Z4でもよいし、縦'横の縮小率が異なっても良い。

[0184] 縮小'拡大方法を 1種類に限定せず、複数の方法力選択しても良い。選択方法としては、符号ィ匕誤差の絶対値和や二乗和が最小となる方法を符号ィ匕側でフレーム単位やブロック単位で選択して、選択情報を符号ィ匕しても良いし、複数の復号ブロック候補から自動的に決定しても良い。決定方法としては、再生画像や再生画像に属する特徴データ力導出される情報を用いていれば良ぐ例えば、画素単位で平均値を計算する方法や、画素単位で中央値を選択する方法などが考えられる。

[0185] なお、符号ィ匕対象ブロックに対する縮小方法については、復号装置では限定されない。そのため、縮小ブロックの画素数が同じであれば、予測ブロックと符号化対象ブロックには異なる縮小方法を適用してもよい。また、復号装置及び復号処理では、符号化対象ブロックの縮小方法を規定しなヽ。

[0186] (6)拡大ブロックの再符号ィ匕

図 26及び図 27【こ示す各装置 2600, 2700で ίま、拡大咅 2111, 2208【こより拡大されたブロックは復号ブロックの候補として、るが、これを予測ブロックの候補として扱い、予測生成部 108, 605により生成される予測ブロックと適応選択することも可能である。拡大部により拡大したブロックは、フィルタ処理により高周波成分が制限されているため、これを再符号化することにより、画質が向上するという効果がある。

[0187] 図 30と図 31とにそれぞれ、本変形例を実施する動画像符号化装置 3000及び動画像復号装置 3100を示す。

[0188] 図 30の動画像符号ィ匕装置 3000では、図 26と比較して、選択部 3012と符号化部 3004の機能、及び変換部 2103から出力される変換データ（量子化データ）の扱いが異なる。図 26の選択部 2612では、 2種類の復号ブロックの候補が入力されるが、本変形例の選択部 3012では、予測生成部 108と拡大部 2111から 2種類の予測ブロックの候補が入力される。選択方法としては図 26の説明にて示した方法が利用できる。但し、非特許文献 2の方法を利用する場合には、トータル歪と符号量の算出のため、 2種類の予測ブロックの候補を仮想的に符号化'復号する必要がある。また、 Τ MP— Lについては、変換部 2103から出力される変換データ（量子化データ)も仮想的に符号化し、符号量に換算する必要がある。選択された予測ブロックは、加算部 1 06と減算部 102に出力され、変換'符号化される。選択部にて TMP— Lを選択した場合には、スィッチ 3013をオンとし、変換部 2103からの出力される変換データ（量子化データ）を符号ィ匕部 3004に出力する。符号ィ匕部 3004では、変換部 103、変換部 2103 (TMP—Lの場合）、及び選択部（必要の場合)からのデータをまとめて符号化する。

[0189] なお、変換部 103, 2103にて量子化を実施する場合、変換部 2103の量子化精度を変換部 103の量子化精度より高く設定すると符号ィ匕効率が向上する。縮小ブロックは符号ィ匕対象ブロックよりも少ない符号量で符号ィ匕できるため、量子化精度を高くしても符号量は増大しない。そのため、符号ィ匕効率を劣化させずに画質を向上できるという効果がある。

[0190] 図 31の動画像復号装置 3001では、図 27と比較して、復号部 3101と切り替え部 3 109の機能、及び予測生成部 605から出力される予測ブロックの扱いが異なる。復号部 3101では、まず選択情報をエントロピー復号する。予測符号ィ匕方法が TMP-L モードのときは、縮小ブロックの変換データ（量子化データ）をエントロピー復号する。縮小ブロックの変換データ（量子化データ）は切り替え部 3109の制御により逆変換部 2202に出力される。拡大ブロックの変換データ（量子化データ）をエントロピー復号し、切り替え部 3109の制御により逆変換部 602に出力される。また、選択情報に基づくスィッチ 3110の制御により、予測生成部 605にてテンプレートマッチングにより生成された予測ブロックは縮小化部 2207に出力される。加算部 603は、逆変換部 602から得られる差分ブロックと拡大部 2208から得られる予測ブロックを加算して復号ブロックを生成する。一方、予測符号ィ匕方法が TMP— Eモードのときは、ェントロピー復号された変換データ（量子化データ）は、切り替え部 3109の制御により逆変換部 602に出力される。また、選択情報に基づくスィッチ 3110の制御により、予測生成部 605にてテンプレートマッチングにより生成された予測ブロックは加算部 603に出力される。加算部 603では、逆変換部 602から得られる差分ブロックと、スィッチ 31 10を通して予測生成部 605から得られた予測ブロックを加算して復号ブロックを生成する。

[0191] なお、この変形例にお!、ても、本実施形態の変形例（1)に示したテンプレート予測方法及び変形例（3)や (4)に示したモード選択方法を適用することは可能である。

[0192] ここで、上述した一連の符号ィ匕処理を動画像符号ィ匕装置に実行させるための動画像符号ィ匕プログラムについて説明する。図 16に示すように、動画像符号化プログラム 1601は、動画像符号化装置により読取可能、又は備えられる記録媒体 1600に形成されたプログラム格納領域 1600a内に格納される。

[0193] 動画像符号ィ匕プログラム 1601は、動画像符号化処理を統括的に制御するメインモジュール 1601aと、領域分割モジュール 1601bと、減算モジュール 1601cと、変換モジュール 1601dと、符号化モジュール 1601eと、逆変換モジュール 1601fと、加算モジュール 1601gと、記憶モジュール 1601hと、予測生成モジュール 1601iとを備えて構成されている。また、予測生成モジュール 1601iは、テンプレート領域決定モジユール 1601jと、マッチングモジュール 1601kと、補填モジュール 1601mとを備えている。

[0194] 上記各モジュールが実行されることにより実現される機能は、上述した動画像符号化装置 100の各構成要素の機能と同様である。即ち、領域分割モジュール 1601bと、減算モジュール 1601cと、変換モジュール 1601dと、符号化モジュール 1601eと、逆変換モジュール 1601fと、カロ算モジュール 1601gと、記憶モジュール 1601hと、予測生成モジュール 1601iの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像符号化装置 100における、領域分割部 101と、減算部 10 2と、変換部 103と、符号化部 104と、逆変換部 105と、加算部 106と、記憶部 107と、予測生成部 108の機能と同様である。また、テンプレート領域決定モジュール 160 ljと、マッチングモジュール 1601kと、補填モジュール 1601mの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像符号化装置 100における、テンプレート領域決定部 201と、マッチング部 202と、補填部 203の機能と同様である。

[0195] 続いて、上述した一連の復号処理を動画像復号装置に実行させるための動画像復号プログラムについて説明する。図 17に示すように、動画像復号プログラム 1701 は、動画像復号装置により読取可能、又は備えられる記録媒体 1700に形成されたプログラム格納領域 1700a内に格納される。 [0196] 動画像復号プログラム 1701は、動画像復号処理を統括的に制御するメインモジュール 1701aと、復号モジュール 1701bと、逆変換モジュール 1701cと、加算モジュール 1701dと、記憶モジュール 1701eと、予測生成モジュール 1701fとを備えて構成されている。また、予測生成モジュール 1701fは、テンプレート領域決定モジユール 1701gと、マッチングモジュール 1701hと、補填モジュール 1701iとを備えている

[0197] 上記各モジュールが実行されることにより実現される機能は、上述した動画像復号装置 600の各構成要素の機能と同様である。即ち、復号モジュール 1701bと、逆変換モジュール 1701cと、カロ算モジュール 1701dと、記憶モジュール 1701eと、予測生成モジュール 1701fの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像復号装置 600における、復号部 601と、逆変換部 602と、加算部 603と、記憶部 604と、予測生成部 605の機能と同様である。また、テンプレート領域決定モジュール 1701gと、マッチングモジュール 1701hと、補填モジュール 170 liの各モジュールを実行させることによって実現する機能は、上記の実施形態の動画像符号ィ匕装置 100又は動画像復号装置 600における、テンプレート領域決定部 2 01と、マッチング部 202と、補填部 203の機能と同様である。

[0198] なお、動画像符号ィ匕プログラム 1601及び動画像復号プログラム 1701は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録 (インストールを含む）される構成としてもよ!/、。

[0199] ここでは、第 1の実施形態に示した図 1と図 6とに記載の動画像符号化装置 100、動画像復号装置 600に対応する動画像符号化プログラム 1601と動画像復号プログラム 1701について説明したが、第 1実施形態の変形例、第 2及び第 3実施形態、並びにその変形例についても、動画像符号化装置、動画像復号装置の機能を実施するモジュールを用意するこことにより、動画像符号ィ匕プログラムならびに動画像復号プログラムを構成できるため、本発明に含まれる。

Claims

請求の範囲

[1] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置であって、

前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割手段と、

前記符号化対象ブロックを符号化する符号化手段と、

前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、

前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号ィ匕し、

前記再生画像生成手段は、前記符号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、

ことを特徴とする動画像符号化装置。

[2] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置であって、

前記符号化対象ブロックを符号化する符号化手段と、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データから探索する探索手段と、

前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記符号化対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段と、を備え、

ことを特徴とする動画像符号化装置。

[3] 前記テンプレートと前記記憶手段により記憶された再生済み動画像データとを比較して、当該比較結果に基づき前記符号ィ匕対象ブロックの画像の空間的連続性を推定する推定手段と、

前記推定手段により推定された画像の空間的連続性に基づいて、前記符号化対象ブロックを更に分割して当該分割された符号化対象ブロックを新たな符号化対象ブロックとして設定すると共に当該新たな符号化対象ブロックに対するテンプレートを設定する設定手段と、

を更に備える請求項 2に記載の動画像符号ィヒ装置。

[4] 動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、

復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手段と、

前記復号手段により復号された符号ィヒデータ力前記復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、

前記復号手段は、前記復号対象ブロックの差分信号である復号差分ブロックを生成し、

前記再生画像生成手段は、前記復号差分ブロックと前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、

ことを特徴とする動画像復号装置。

[5] 動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する動画像復号装置であって、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データから探索する探索手段と、

前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記復号対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段と、を備え、

ことを特徴とする動画像復号装置。

[6] 前記テンプレートと前記記憶手段により記憶された再生済み動画像データとを比較して、当該比較結果に基づき前記復号対象ブロックの画像の空間的連続性を推定する推定手段と、

前記推定手段により推定された画像の空間的連続性に基づいて、前記復号対象ブロックを更に分割して当該分割された前記復号対象ブロックを新たな復号対象プロックとして設定すると共に当該新たな復号対象ブロックに対するテンプレートを設定する設定手段と、

を更に備える請求項 5に記載の動画像復号装置。

[7] 前記符号化手段は、前記差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックとして生成して、当該縮小差分ブロックを符号化し、

前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロック力復号ブロックを生成する、

ことを特徴とする請求項 1〜3のいずれか一項に記載の動画像符号ィ匕装置。

[8] 前記復号手段は、前記符号化データを復号することにより、前記差分ブロックよりも画素数の少なヽ復号縮小差分ブロックを生成して、

前記再生画像生成手段は、画素数を前記所定の方法で増加させる拡大処理により、前記復号縮小差分ブロックから復号ブロックを生成する、

ことを特徴とする請求項 4〜6のいずれか一項に記載の動画像復号装置。

[9] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置であって、

前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として複数の符号化対象ブロックに分割する分割手段と、

前記符号化対象ブロックを符号化する符号化手段と、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、

前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な、縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、

ことを特徴とする動画像符号化装置。

[10] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置であって、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を備え、

前記復号手段は、前記符号化データを復号することにより、前記復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、

前記再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、前記復号縮小差分ブロック力復号ブロックを生成する、

ことを特徴とする動画像復号装置。

[11] 前記符号化手段は、前記符号化対象ブロック及び前記予測ブロックに前記縮小処理を適用してそれぞれ縮小ブロック及び縮小予測ブロックとして、当該縮小ブロック力当該縮小予測ブロックを画素単位で減算して縮小差分ブロックを生成し、前記再生画像生成手段は、前記符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、当該復号縮小差分ブロックと前記縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成する、

ことを特徴とする請求項 7又は 9に記載の動画像符号ィ匕装置。

[12] 前記符号化手段は、前記差分ブロックに対して前記縮小処理を適用することにより縮小差分ブロックを生成し、

前記再生画像生成手段は、前記符号化手段により符号化された縮小差分ブロックの再生信号である復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して復号ブロックを生成する、

[13] 前記再生画像生成手段は、前記予測ブロックに前記縮小処理を適用して縮小予測ブロックとし、前記復号縮小差分ブロックと当該縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成することを特徴とする請求項 8又は 10に記載の動画像復号装置

[14] 前記再生画像生成手段は、前記復号縮小差分ブロックに前記拡大処理を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して復号ブロックを生成することを特徴とする請求項 8又は 10に記載の動画像復号装置。

[15] 前記予測信号決定手段は、形状の異なる複数の前記テンプレートから 1つのテンプレートを選択することを特徴とする請求項 2, 3, 7, 11, 12のいずれか一項に記載の動画像符号化装置。

[16] 前記予測信号決定手段は、前記記憶手段により記憶された再生済み動画像データの再生信号又は当該再生信号に関する情報を参照して、前記 1つのテンプレートを選択することを特徴とする請求項 15に記載の動画像符号化装置。

[17] 前記符号化手段は、前記予測信号決定手段により選択されたテンプレートを特定する情報を符号化することを特徴とする請求項 15に記載の動画像符号化装置。

[18] 前記予測信号決定手段は、形状の異なる複数の前記テンプレートから 1つのテンプレートを選択することを特徴とする請求項 5, 6, 8, 13, 14のいずれか一項に記載の動画像復号装置。

[19] 前記予測信号決定手段は、前記記憶手段により記憶された再生済み動画像データの再生信号又は当該再生信号に関する情報を参照して、前記 1つのテンプレートを選択することを特徴とする請求項 18に記載の動画像復号装置。

[20] 前記復号手段は、選択されるテンプレートを特定する情報を復号して、

前記予測信号決定手段は、前記復号手段により復号された選択されるテンプレートを特定する情報を参照して、形状の異なる複数の前記テンプレートから 1つのテンプレートを選択することを特徴とする請求項 18に記載の動画像復号装置。

[21] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号化方法であって、

前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割する分割ステップと、

前記符号化対象ブロックを符号化する符号化ステップと、

前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、

前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、前記符号ィヒ対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、

前記符号化ステップにおヽて、前記符号化対象ブロックから前記予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、前記再生画像生成ステップにお、て、前記符号化ステップにお、て符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、

ことを特徴とする動画像符号化方法。

[22] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号化方法であって、

前記符号化対象ブロックを符号化する符号化ステップと、

前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、前記符号ィヒ対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素群を、前記記憶ステップにおいて記憶された再生済み動画像データから探索する探索ステップと、

前記探索ステップにおいて探索された画素群と前記所定の位置関係とに基づいて、前記符号化対象ブロックの予測信号である予測ブロックを、前記記憶ステップにお V、て記憶された再生済み動画像データ力決定する予測信号決定ステップと、を有し、

前記符号化ステップにおヽて、前記符号化対象ブロックから前記予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、

前記再生画像生成ステップにお、て、前記符号化ステップにお、て符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、

ことを特徴とする動画像符号化方法。

[23] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、

復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステツプと、

前記復号ステップにおいて復号された符号ィ匕データ力前記復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成ステップと、

前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステツプにおいて記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、

前記復号ステップにお!ヽて、前記復号対象ブロックの差分信号である復号差分ブロックを生成し、

前記再生画像生成ステップにお、て、前記復号差分ブロックと前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、

ことを特徴とする動画像復号方法。

動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、

前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステツプにおいて記憶された再生済み動画像データに属する再生信号力生成されるテンプレートと相関が高い画素群を、前記記憶ステップにおいて記憶された再生済み動画像データ力探索する探索ステップと、

前記探索ステップにおいて探索された画素群と前記所定の位置関係とに基づいて、前記復号対象ブロックの予測信号である予測ブロックを、前記記憶ステップにおいて記憶された再生済み動画像データ力決定する予測信号決定ステップと、を有し、前記復号ステップにお!ヽて、前記復号対象ブロックの差分信号である復号差分ブロックを生成し、

ことを特徴とする動画像復号方法。

[25] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号化方法であって、

前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として複数の符号化対象ブロックに分割する分割ステップと、

前記符号化対象ブロックを符号化する符号化ステップと、

前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、前記符号ィヒ対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステップにおいて記憶された再生済み動画像データに属する再生信号から、予め定められた手法により前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、

前記符号化ステップにおヽて、前記符号化対象ブロックから前記予測ブロックを画素単位で減算した当該符号ィ匕対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な V、縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、

前記再生画像生成ステップにお、て、前記縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロックから復号ブロックを生成する、

ことを特徴とする動画像符号化方法。

[26] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置における動画像復号方法であって、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ステツプと、

前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステツプにおいて記憶された再生済み動画像データに属する再生信号から、予め定められた手法により前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、

前記復号ステップにおいて、前記符号化データを復号することにより、前記復号対象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成して、

前記再生画像生成ステップにお、て、画素数を所定の方法で増加させる拡大処理により、前記復号縮小差分ブロック力も復号ブロックを生成する、

ことを特徴とする動画像復号方法。

動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符号化プログラムであって、

前記動画像符号化装置を、

前記符号化対象ブロックを符号化する符号化手段と、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号力生成されるテンプレートを用いて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号ィ匕し、

ことを特徴とする動画像符号化プログラム。

前記動画像符号化装置を、

前記符号化対象ブロックを符号化する符号化手段と、

前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記符号化対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段として機能させ、

ことを特徴とする動画像符号化プログラム。

[29] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、

前記動画像復号装置を、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から生成されるテンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、

ことを特徴とする動画像復号プログラム。

[30] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、

前記動画像復号装置を、

前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記復号対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶された再生済み動画像データから決定する予測信号決定手段として機能させ、

ことを特徴とする動画像復号プログラム。

前記動画像符号化装置を、

前記符号化対象ブロックを符号化する符号化手段と、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、

前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な、縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号縮小差分ブロック力復号ブロックを生成する、

ことを特徴とする動画像符号化プログラム。

[32] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プログラムであって、

前記動画像復号装置を、

前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定められた手法により前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、

ことを特徴とする動画像復号プログラム。

[33] 動画像データを符号化する動画像符号化装置であって、

前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として複数の領域に分割する分割手段と、

前記分割手段により分割された各領域の画像を符号ィ匕する符号ィ匕手段と、前記符号化手段により符号化された画像の再生画像を生成する再生画像生成手段と、前記再生画像生成手段により生成された再生画像を記憶する記憶手段と、前記符号化手段による符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、前記記憶手段により記憶された再生画像から探索する探索手段と、

前記探索手段により探索された領域と前記所定の位置関係とに基づいて、前記符号化の対象となる領域の予測信号を、前記記憶手段により記憶された再生画像から決定する予測信号決定手段と、を備え、

前記符号化手段は、前記予測信号決定手段により決定された予測信号と前記符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする動画像符号化装置。

複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動画像復号装置であって、

前記符号化された前記各領域のデータを復号する復号手段と、

前記復号手段により復号された画像力再生画像を生成する再生画像生成手段と前記再生画像生成手段により生成された画像を記憶する記憶手段と、

前記復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に前記記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、前記記憶手段により記憶された再生画像から探索する探索手段と、

前記探索手段により探索された領域と前記所定の位置関係とに基づいて、前記復号の対象となる領域の予測信号を、前記記憶手段により記憶された再生画像から決定する予測信号決定手段と、を備え、

前記再生画像生成手段は、前記予測信号決定手段により決定された予測信号と前記復号手段により復号された画像との和信号を生成することにより再生画像とすることを特徴とする動画像復号装置,