JP5011138B2 - 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法 - Google Patents

Description

本発明は、画像符号化方法、画像復号化方法及びこれらの方法に係る装置に関するものである。

画像符号化、復号化処理において、動きベクトルの補助情報を復号側へ送り、復号側で解像度拡張処理を実施する方式が知られている（特許文献１参照。）
特開２００６-１７４４１５号公報

特許文献１に記載の画像符号化、復号化処理においては、復号側で解像度拡張処理を実施することが記載されているのみであり、符号化処理時に画像データ量を低減することについては開示がなく、より小さいデータ量で効率よく映像信号を圧縮することについては十分な効果が得られないという課題があった。

本発明は、上記課題を鑑みてなされたものであり、その目的は、より小さいデータ量で効率よく映像信号を圧縮・伝送するための画像符号化方法、画像復号方法およびこれらの方法を行う装置を提供することである。

上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。

本発明によれば、より小さいデータ量で効率よく映像信号を圧縮することが可能となる。

以下に、本発明の実施の形態を説明する。

図1に本発明の実施例１に係る画像符号化装置の構成の一例を示す。101は入力画像を記憶する原画像メモリである。102は入力画像と予測画像データとの差分を取る減算器である。103は、減算器102で演算された原画像と予測画像の差分画像を縮小する縮小画像生成部である。104は103にて縮小された縮小画像を空間周波数領域に変換する直交変換部である。105は、104で直交変換されたデータを量子化する量子化部である。106は105で量子化されたデータを可変長符号化する可変長符号化部である。107は105で量子化されたデータを逆量子化する逆量子化部である。108は107で逆量子化されたデータを逆直交変換する逆直交変換部である。109は、108にて逆直交変換されたデータを格納するフレームメモリである。110は、逆直交変換部108にて逆直交変換されたデータと過去にフレームメモリ109に格納されているデータを用いて動き検出処理を実施し、動きベクトルを生成する動き検出部である。111はフレームメモリ109に格納されている複数の画像データと動き検出部110にて生成された動きベクトルを用いて元の画像サイズに高解像化する高解像画像生成部である。112は高解像画像生成部111にて高解像度化されたデータと過去にフレームメモリ113に格納されたデータを加算して予測画像を生成する加算器である。113は、加算器112によって生成されたデータを格納するフレームメモリである。114は、画面内予測を実施する画面内予測部である。

次に、本実施例における符号化処理の流れを説明する。まず、入力画像を原画像メモリに格納し、減算器102にて予測画像115との差分を取る。原画像メモリには、入力画像を1フレーム分格納しても良いし、複数の画素ブロックに分割してその画素ブロック単位で格納しても良い。

次に減算器102にて演算された差分画像を縮小画像生成部103にて縮小する。当該縮小画像生成部103における処理について、図2を用いて説明する。図2は、本発明の実施例１に係る縮小画像生成部103の処理の一例を示すフローチャートである。縮小画像生成部103では、減算器102にて演算された原画像と予測画像の差分値が0か否かの判定を実施する（S201）。原画像と予測画像の差分値が0の場合には、フレーム間の動きがないと判定して静止画像判定フラグ1を立てる(S203)。この場合、画素間引き処理は行わずに処理を終了する。

一方、静止画像判定フラグが0の場合には、上記差分画像の画素を間引いて画像サイズを縮小（S204）し、処理を終了する。画素を間引く間隔が大きいほど、縮小倍率は大きくなる。このとき縮小画像生成部103の画像縮小処理における縮小倍率を、後述する可変長符号化処理部106においてストリームに付加すれば復号側で高解像度化する際に拡大倍率を判定することができる。

なお、画像縮小処理(S204)に伴うフィルタ処理は、従来技術を用いればよい。

すなわち、本実施例に係る縮小画像生成部103においては、静止画像判定フラグが１の場合に、間引き処理・フィルタ処理(S204)を省略することが可能となり、処理量を低減することが可能となる。

なお、後述する可変長符号化処理部106は、静止画像判定フラグ情報をストリームに付加する。当該静止画像判定フラグを用いて復号側において、復号に係る処理量を低減することが可能である。すなわち、静止画像判定フラグが1であれば前フレームと同じデータをコピーすることにより画像を復号できる。

縮小画像生成部103にて縮小されたデータは、直交変換処理部104にてDCT(Discrete Cosine Transform)等の直交変換を用いて周波数領域に変換する。直交変換はDCT以外にもHadamard変換、やフーリエ変換などでもよい。複数の直交変換を使用する場合には、ストリームに直交変換の種類を識別するための情報を付加すればよい。また、直交変換のブロックサイズは、例えば8×8画素単位のような縦、横のサイズが同じでも16×8画素のように、縦と横のサイズが異なってもよく、その際には、ストリームに直交変換のブロックサイズ情報を付加すればよい。

直交変換部104にて周波数変換されたデータは、量子化部105にて量子化する。本実施例に係る量子化処理は、従来のMPEG規格もしくはＨ.264規格に基づく手法を用いれば良い。量子化部105にて量子化されたデータは、可変長符号化部106にて符号化する。可変長符号化の方法は、H.264/AVC規格等で採用されているCABAC(Context-Adaptive Binary Arithmetic Coding)やCAVLC(Context-Adaptive Variable Length Coding)等の手法を用いれば良い。

なお、縮小画像生成部103が生成した静止画像判定フラグが１である場合は、縮小画像生成部103、直交変換部104の処理も省略することが可能である。原画像と予測画像の差分値が0であるので、静止画像判定フラグを出力すれば、差分データがなくとも復号処理を行うことが可能だからである。

次に、逆量子化部107にて、逆量子化を実施する。逆量子化の手法も従来のMPEG規格もしくはＨ.264規格に基づく手法を用いれば良い。逆量子化部107にて演算されたデータは、逆直交変換部108にて逆直交変換する。逆直交変換部108では、直交変換部104にて実施した直交変換ブロックサイズや直交変換種類を用いて、周波数領域から空間領域への逆変換を行う。逆直交変換したデータをフレームメモリ109に格納する。

次に、動き検出部110にて画素単位での動き検出処理を行う。動き検出処理は従来の符号化処理で用いられてきた手法を用いれば良い。高解像画像生成部111は、動き検出部110で検出された動きベクトルとフレームメモリ109に格納されている複数の画像データを用いて高解像度化する。

まず、図３を用いて本発明の実施例１に係る高解像度化処理の概要を説明する。高解像度生成部111は、フレームメモリ109に格納されている複数の画像データ301と、動き検出部110が検出した当該複数の画像データ301間の動きベクトルを用いて、複数の画像データ301の各画素の位置あわせをおこない、位置あわせ後の複数の画像の各画素に画素値に所定の係数を乗じて合成することにより、高解像度302を生成する。なお、静止画像判定フラグが１である場合には、画像は縮小画像生成部103において縮小されていないため、高解像度化処理は必要ない。よって高解像度生成部111は、静止画像判定フラグを判定し、静止画像判定フラグが１である場合は、高解像度化処理を省略する。

以下に当該高解像度化処理の詳細を説明する。高解像度生成部111は、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

図１２に、この高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(1201)、フレーム#2(1202)、フレーム#3(1203)が入力され、これらを合成して出力フレーム(1206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(1204)した場合を考え、水平線(1205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(1202)とフレーム#1(1201)では、被写体の移動(1204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(1202)を動き補償(1207)するとともに、各フレームの画素(1208)のサンプリング位相(1209)(1210)の間の位相差θ(1211)を求める。この位相差θ(1211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(1208)のちょうど中間(位相差θ=π)の位置に新規画素(1212)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。

このとき、高解像度生成部111の第一の構成例は、参考文献１、参考文献２、参考文献３に記載の高解像度処理を行う構成とすることである。この場合、上記(3)の加重和を行う際に、図１３に示すように、少なくとも３枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。
〔参考文献１〕特開平８−３３６０４６号公報
〔参考文献２〕特開平９−６９７５５号公報
〔参考文献３〕青木伸 “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
ここで、図１３をもちいて、高解像度生成部111の第一の構成例における高解像度化処理ついて説明する。図１３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。

上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図１３(a)に示すように、各フレームの原成分(1301)(1302)(1303)の位相はすべて一致し、折返し成分(1304)(1305)(1306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。

ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(1304)(1305)(1306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(1304)(1305)(1306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、少なくとも３枚のフレーム画像の信号を用いることにより、2倍の高解像度化を実現すること、すなわち１個の折返し成分を除去することができる。

次に、図11に高解像度生成部111の第二の構成例を示した図である。この場合、少なくとも２枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。以下に詳細を説明する。

まず、フレームメモリ109から入力部1100に映像信号中の複数のフレームが入力される。

まず位置推定部1101により、入力部1100に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ1102を求める。次に、動き補償・アップレート部1115のアップレート器1103,1104により、位相差θ1102の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部1116では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器1106,1108を用いることができる。また、π/2位相シフト器1106,1108で生じる遅延を補償するために、遅延器1105,1107により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部1117では、遅延器1105,1107とヒルベルト変換器1106,1108の各出力信号に対して、係数決定器1109にて位相差θ1102をもとに生成した係数C0,C2,C1,C3を乗算器1110,1111,1112,1113にてそれぞれ乗算し、加算器(1114)にてこれらの信号を加算して出力を得る。この出力は、出力部1118から出力される。

なお、位置推定部1101は、上記従来技術をそのまま用いて実現することができる。アップレート器1103,1104、π/2位相シフト器1106,1108、折返し成分除去部1117の各詳細については後述する。

図１４に、図11に高解像度生成部111の第二の構成例における動作を示す。同図は、図１１に示した遅延器1105,1107とπ/2位相シフト器1106,1108の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器1105,1107から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分1401,1402と、元のサンプリング周波数(fs)から折り返された折返し成分1405,1406を加えた信号となる。このとき、折返し成分1406は上述の位相差θ1102だけ位相が回転している。一方、π/2位相シフト器1106,1108から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分1403,1404と、π/2位相シフト後の折返し成分1407,1408を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。

図1５に、図11に高解像度生成部111の第二の構成例に用いるアップレート器1103,1104の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器1103,1104の「周波数-利得」特性を示している。ここで、アップレート器1103,1104では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。

図１６に、図11に高解像度生成部111の第二の構成例に用いるアップレート器1103,1104の具体例を示す。同図は、図１５に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ1102を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器1103では、位相差θ1102を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器1103,1104のフィルタを用いてもよい。

図１７に、図11に高解像度生成部111の第二の構成例に用いるπ/2位相シフト器1106,1108の動作例を示す。π/2位相シフト器1106,1108として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。

図１８に図11に高解像度生成部111の第二の構成例に用いるπ/2位相シフト器1106,1108をヒルベルト変換器で構成した例を示す。同図は、図１７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。

なお、本発明の第1の実施例に用いるπ/2位相シフト器1106,1108は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。

図1９に、図11に高解像度生成部111の第二の構成例に用いる係数決定器(109)の動作と具体例を示す。同図(a)に示すように、図1４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図1４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器1106の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器1107の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器1106の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図19(a)の条件を満たすようにすると、図14(b)および図14(c)に示した各成分の位相関係から、図19(b)に示す連立方程式を得ることができ、これを解くと図19(c)に示す結果を導くことができる。係数決定器1109は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ1102をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図19(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。

なお、アップレート器1103,1104およびπ/2位相シフト器1106,1107は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。

以上説明したように、図１の高解像度生成部111の構成を図１１乃至図１９において説明した構成とすることにより、複数のフレームから高解像度化したフレームを生成することが可能となる。

特に、図１１に示した高解像度生成部111の第二の構成によれば、２枚のフレームから１枚の高解像フレームを生成することが可能となる。

なお、上記のような動きベクトルと複数の画像データを用いる高解像度生成部111の高解像度化処理においては、動きベクトルが示す位置が整数画素精度の場合には高解像度化処理ができない。このため、動き検出位置が整数画素精度の場合には線形補間、Cubic Spline補間等の画素補間処理を用いて画像を拡大する。

次に、高解像画像生成部111にて高解像度化されたデータとフレームメモリ113に格納されたデータを加算器112により加算し、予測画像を生成する。

なお、縮小画像生成部103が生成した静止画像判定フラグが１である場合は、逆量子化部107、逆直交変換処理部108、動き検出部110、高解像度画像生成部111の処理も省略することが可能である。原画像と予測画像の差分値が0であるので、加算器112において、フレームメモリ113に格納されたデータに加算処理を行わず、そのまま予測画像として生成可能だからである。

また、当該静止画像判定フラグを符号化ストリームに含めて送信することにより、復号側において、逆量子化処理、逆直交変換処理、動き検出処理、高解像度画像生成処理を省略することが可能である。

なお、予測画像は、画面内予測部114にて生成した予測画像を用いることもできる。ここで、画面内予測部114は従来の画面内予測処理により、予測画像を生成すればよい。

以上の処理を入力映像の各フレームに対して繰り返し行うことにより、入力映像を縮小して符号化ストリームとして出力することが可能となる。

以上説明した上記の実施例１に係る画像符号化装置およびその画像符号化方法によれば、画像を縮小することにより、より小さいデータ量で効率よく映像信号を圧縮することが可能となる。

また、以上説明した上記の実施例１に係る画像符号化装置およびその画像符号化方法によれば、直交変換処理、量子化処理、逆量子化処理、逆直交変換処理、動き検出処理の各処理を、入力画像よりもサイズの小さい縮小画像データに対して実施すればよいので、符号化処理量を削減することが可能となる。

また、以上説明した上記の実施例１に係る画像符号化装置およびその画像符号化方法によれば、縮小画像の生成時に原画像と予測画像の差分を判定し、差分値が0である場合に、画像縮小処理、直交変換処理、量子化処理、逆量子化処理、逆直交変換処理、動き検出処理を省略することが可能となり、符号化処理量を削減することが可能となる。

なお、上記の実施例１に係る画像符号化装置において、動き検出部110から送られる動きベクトルが整数画素の場合には整数画素位置判定フラグとして1を生成し、小数画素の場合には整数画素位置判定フラグとして0を生成することも可能である。この場合、動き検出部110が生成したフラグを可変長符号化部106において上記整数画素位置判定フラグをストリームに付加して出力することにより、復号側にて、動きベクトルと複数の画像データを用いた高解像化を行うか、画素補間処理による画像拡大を行うかの判定を当該フラグを用いて行うことが可能となる。

図4に本発明の実施例２に係る画像符号化装置の構成の一例を示す。本実施例において、図１と同じ機能を持つブロックは同じ番号を付し説明を省略する。フレームメモリ401は、原画像と予測画像の差分画像を格納するためのメモリである。本実施例における符号化処理の流れを説明する。

まず、入力映像を原画像メモリ101に格納し、減算器102にて予測画像115との差分を取る。原画像メモリには、入力画像を1フレーム分格納しても良いし、複数の画素ブロックに分割してその画素ブロック単位で格納しても良い。上記原画像と予測画像の差分画像は、フレームメモリ401に格納され、動き検出部110にて動き検出処理を実施する。

次に、縮小画像生成部402が動き検出部110の動き検出処理の結果である動きベクトルと、減算器102からの差分データを用いて、画像縮小処理およびフィルタ処理を行う。詳細を以下に説明する。

図5は、本発明の実施例２に係る動き検出部110の処理の一例を示すフローチャートである。最初に、画素単位の動き検出処理を実施する(S501)。次に、フレーム間で動きがあるか否かの判定を行う(S502)。動きの判定には、動きベクトルを用いて動きベクトルの値が0か否かで判定すれば良い。動きがある場合には静止画像判定フラグ1を立て(S503)、動きがない場合には静止画像判定フラグを0とする(S504)。前記静止画像判定フラグは縮小画像生成部103に送られる。

次に、動き検出位置が整数画素位置であるか否かの判定を行う(S505)。動き検出位置が整数画素位置である場合、すなわち、動き検出の結果、画像縮小の対象方向（垂直方向または水平方向）のフレーム間の動きベクトルが整数画素単位である場合には、整数画素位置判定フラグ１を立てる(S506)。

一方、動き検出位置が整数画素位置でない場合には、整数画素位置判定フラグを0とする(S507)。また、動き検出部110にて動き検出処理により検出された水平、垂直方向の動き量をメモリに格納(S508)して処理を終了する。

上記動き量は縮小画像生成部103および量子化部403に送信される。動き検出部110での処理が終了した後、減算器102にて演算された原画像と予測画像の差分画像を、縮小画像生成部102において縮小する。

図6は、本発明の実施例２に係る縮小画像生成部402の処理の一例を示すフローチャートである。縮小画像生成部402では、最初に、原画像と予測画像の差分画像に対して動きかあるか否かまたは動きベクトルが整数画素単位を示していないかの判定を行う(S601)。動きの判定には、動き検出部110より送信された静止画像判定フラグが１であるか否かまたは整数画素位置判定フラグが１であるか否かで判定すればよい。動きがないまたは動きベクトルが整数画素単位を示していると判定した場合には、実施例1と同様に、可変長符号化部106においてストリームに静止画像判定フラグ１または整数画素位置判定フラグ１を付加して、縮小画像生成処理を終了する。

一方、動きがあると判定した場合には、原画像と予測画像の差分画像の画素を間引いて縮小画像を生成する（S602）。画素を間引く割合は任意に決定することができる。次にフィルタ処理を実施するか否かを決定する（S603）。フィルタ処理を実施する場合には、フィルタ実施フラグ1を立てる（S604）。このとき使用したフィルタタップ数やタップ係数は、量子化部403へ送る。一方、フィルタ処理を実施しない場合には、フィルタ実施フラグを0とする(S605)。上記フィルタ実施フラグは量子化部403へ送られる。次に、直交変換部104にて上記縮小画像生成部402にて縮小された原画像と予測画像との差分データを周波数変換する。直交変換部104では、実施例1と同様の処理を実施すればよい。次に、直交変換部104にて直交変換されたデータを量子化部403にて量子化する。

図7は、本発明の実施例２に係る量子化部の処理の一例を示すフローチャートである。最初に、動き検出部110から送られた動きベクトルに基づいて動き方向を解析する（S701）。次に、縮小画像生成部402から送られたフィルタ処理実施フラグの判定を行う(S702)。フィルタ処理実施フラグが0の場合には、量子化関係値決定処理に進む（S704）。量子化関係値については、後述する。一方、フィルタ処理実施フラグが1の場合には、縮小画像生成部402から送られるフィルタ情報から周波数特性を解析する（S703）。このとき、動き方向と水平、垂直方向のフィルタの周波数特性を算出する。

次に、上記動き方向とフィルタの周波数特性の関係に基づいて量子化関係値を決定する。本実施例において、量子化関係値とは、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数をいう。ここで量子化関係値の決定とは、具体的には、動き方向に対して垂直な方向の周波数成分に対して量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数を小さくする。また、動き方向の周波数成分には、折り返し歪みをより高分解能で残すように量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数を大きくする。

ここで、動き方向の折返し歪みは、高解像度生成部111の高解像度化処理の効果を高めるために必要である。よって、上記のように動き方向の折り返し歪みをより高分解能で残すことにより、高解像度生成部111の高解像度化処理の効果を高めることが可能となる。

また、復号側において高解像度生成部111の高解像度化処理と同様の処理を行う場合に、より高画質な画像を復号することが可能となる。

上記の量子化関係値の詳細な例を図8を用いて説明する。

図8は、本発明の実施例２に係る量子化部で決定される量子化関係値のマトリクスの一例を示した図である。図8の例では、８×８の画素ブロックを周波数変換した後のデータに対して、量子化処理に用いる量子化関係値のマトリクスを示している。左上が低周波成分、右下が高周波成分を示す。

図8の例では、Ａ、Ｂ、Ｃ・・・、Ｊ、Ｋとアルファベットが進む毎に、数値が大きくなる。図8に示す数値が小さくなればなるほど、量子化ステップ値が小さくなり、当該周波数成分はより細かいステップで量子化される。この場合、符号化データ量は大きくなるが、より正確にその周波数成分が保存される。また、図8に示す数値が大きくなればなるほど、量子化ステップ値が大きくなり、当該周波数成分はより間隔の大きいステップで量子化される。この場合、その周波数成分の保存の正確性は下がるが、符号化データ量を低減することができる。

ここで、図8の例では、動き検出部110から送られた動きベクトルに基づいて動き方向を算出し、その動き方向に応じて量子化関係値を変化させる。

具体的には、動きのない場合は、図８(a)のような、左上から右下方向の直線に対して対象となるマトリクスを使用する。これに対し、動きベクトルが示す動き方向が水平方向である場合には、図８(ｂ)や(ｃ)のように、動き方向である水平方向に比べて、動き方向に対して垂直な垂直方向において、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数を大きくしたマトリクスを用いる。これにより、動き方向の折返し歪みを高分解能で残しながら、符号化データ量を低減することが可能となる。

この場合、上述のとおり、動き方向（水平方向）の折返し歪みを高分解能に残すことにより、高解像画像生成部１１１における高解像度化処理や、復号側での高解像度化処理の効果を高めることが可能となる。

同様に、動きベクトルが示す動き方向が垂直方向である場合には、図８(ｄ)や(e)のように、動き方向である垂直方向に比べて、動き方向に対して垂直な水平方向において、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数を大きくしたマトリクスを用いる。これにより、動き方向の折返し歪みを高分解能に残しながら、符号化データ量を低減することが可能となる。

この場合も、動き方向（垂直方向）の折返し歪みを高分解能に残すことにより、高解像画像生成部111における高解像度化処理や、復号側での高解像度化処理の効果を高めることが可能となる。

なお、図8に示す複数のマトリクスの情報は、本発明の実施例２に係る符号化装置のみならず、および復号側の復号化装置にも保持すればよい。この場合、実施例２に係る符号化装置の可変長符号化部106において、符号化処理で用いたマトリクスの番号をストリームに付加する。これにより、データ量の小さい番号データの送付のみで、番号復号化装置において符号化処理で用いたマトリクスを判別し、符号化時のマトリクス処理に対応するマトリクスの情報を用いて、符号化時の量子化処理に対応する逆量子化処理を行うことが可能となる。

以上のように量子化部403にて量子化されたデータは、可変長符号化部106に送られ可変長符号化される。可変長符号化の方法は、実施例1と同様である。

また、量子化部403にて量子化されたデータは逆量子化部404にて逆量子化される。当該逆量子化は、量子化部403における量子化と逆の処理を行えばよい。逆量子化部404にて演算されたデータを逆直交変換部108にて逆直交変換する。逆直交変換部108も実施例１と同様の手法を用いればよい。逆直交変換したデータをフレームメモリ109に格納する。

次に、高解像画像生成部111にて、動き検出部で検出された動きベクトルとフレームメモリ109に格納されている複数のデータを用いて実施例1と同様の手法を用いて高解像度化する。ただし、実施例2において、静止画像判定フラグが１または整数画素位置判定フラグが１である場合は、画像は縮小画像生成部402において縮小されていないため、高解像度化処理は必要ない。よって高解像度生成部111は、静止画像判定フラグまたは整数画素位置判定フラグを判定し、静止画像判定フラグが１または整数画素位置判定フラグが１である場合は、高解像度化処理を省略する。
最後に、高解像画像生成部111にて高解像度化されたデータとフレームメモリ113に格納されたデータを加算器112により加算し、予測画像を生成する。なお、予測画像は、画面内予測部114にて生成された予測画像を用いることもできる。以上の処理を各入力映像フレームに対して繰り返し実施する。

以上説明した上記の実施例２に係る画像符号化装置およびその画像符号化方法によれば、実施例１に係る画像符号化装置およびその画像符号化方法の効果に加え、映像信号中の動き方向に応じて、量子化処理に用いる量子化に関する値を変えることにより、符号化処理中の高解像度化処理や、復号側での高解像度化処理の効果を高めることが可能である。

また、同じく映像信号中の動き方向に応じて、量子化処理に用いる量子化に関する値を変えることにより、復号側での高解像度化処理の効果を高めながら、符号化データ量を低減することが可能となる。

図9に本発明の実施例３に係る画像復号化装置の構成の一例を示す。

本発明の実施例３に係る画像復号化装置は、例えば、符号化側から送られた符号化データを復号する可変長復号部901、復号されたデータの構文を解析する構文解析部902、量子化データを逆量子化する逆量子化部903、逆量子化されたデータを逆直交変換する逆直行変換部904、逆直交変換部904にて逆直交変換されたデータを格納するフレームメモリ905、フレームメモリ905に格納された複数のデータと構文解析部902から送られる動きベクトルに基づいて高解像度画像を生成する高解像画像生成部906、高解像画像生成部906にて高解像度化されたデータとフレームメモリ908に格納されているデータとを加算する加算器907、フレームメモリ908に格納されているデータを表示する映像表示装置909から構成される。本発明の実施例３に係る画像復号化装置は、実施例１または実施例２で説明した画像符号化装置によって符号化されたストリームを復号することができる。以下に当該画像復号化装置における詳細な画像復号方法を説明する。

まず、本発明の実施例３に係る画像復号化装置で復号される符号化ストリームの構造について図10を用いて説明する。図10に示す符号化ストリームは、例えば、実施例１または実施例２で説明した画像符号化装置によって符号化される。図10においてデータ領域1001には、例えば、縮小画像生成部103または縮小画像生成部402にて生成される静止画像判定フラグ1007、縮小倍率1008、フィルタ実施フラグ1009が格納される。また、例えば、データ領域1002には、動き検出部110にて生成される動き情報ベクトル情報は水平方向の動きベクトル、静止画像判定フラグ、整数画素位置判定フラグが格納される。データ領域1003には、量子化部105または量子化部403にて生成された量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数または符号化処理で用いたマトリクスの番号の情報が格納される。データ領域1004には、直行変換部104にて生成される直交変換の種類、ブロックサイズが格納される。データ領域1005には、高解像度画像生成部111にて生成される高解像度化手法の種類の情報、データ領域1006には原画像と予測画像の差分画像を直交変換、量子化後の係数が格納される。

図9において、上記図10に示す符号化ストリームは、可変長復号部901に入力される。可変長復号部901は、当該符号化ストリームに可変長復号処理を行い、ストリーム解析部902に送る。次に、構文解析部902にて上記復号されたストリームのデータの構文分けを行う。すなわち、図10に示す符号化ストリームの各データ領域のデータの種類を判別し、各フラグや各データ情報を、それぞれ逆量子化部903、逆直交変換部904、フレームメモリ905、高解像画像生成部906の各処理部へ送る。

次に、逆量子化部903では、構文解析部902から送られた、データを用いて逆量子化処理を行う。

ここで、符号化ストリームが本発明の実施例１に係る画像符号化装置において符号化された符号化ストリームである場合は、逆量子化部903における逆量子化処理は、図１の量子化部105の処理と逆処理を行えばよい。これは、図１の逆量子化部107の処理と同様の処理であり、従来の復号化技術に用いる逆量子化技術である。

また、符号化ストリームが本発明の実施例２に係る画像符号化装置において符号化された符号化ストリームである場合は、逆量子化部903における逆量子化処理は、図４の量子化部403の処理と逆処理を行えばよい。これは、図４の逆量子化部404の処理と同様の処理である。すなわち、逆量子化部903における逆量子化処理は、符号化ストリームに格納された量子化関係値を用いて逆量子化を行う。これにより、図８に示す、実施例２に係る量子化部403が行う映像信号中の動き方向に応じた量子化関係値の変更処理に対応した逆量子化を行うことができる。当該量子化を行うことにより、後述する高解像画像生成部906における高解像度化処理の効果を高めることが可能である。

また、逆量子化部903が、実施例２に係る量子化部403の量子化処理において用いたマトリクスの番号の情報に対応するマトリクスの情報を保持する構成とすれば、符号化ストリームに格納されるマトリクスの番号の情報に基づき、逆量子化処理に用いる量子化関係値のマトリクスを決定することができる。例えば、逆量子化部903は、図８(a)から図８(e)までに示されるマトリクスのいずれのマトリクスを用いるかを決定し、決定したマトリクスを用いて逆量子化処理を行う。この場合、データ量の小さい番号データのみを格納した符号化ストリームに対しても、マトリクスを用いた逆量子化処理を行うことが可能となる。

次に、逆量子化部903において逆量子化されたデータに対して、逆直交変換部904が逆直交変換処理を実施する。このとき、逆直交変換部904は、構文解析部902から送られる直交変換の種類や直交変換ブロックサイズ情報を用いて逆直交変換処理を行う。当該逆直交変換処理は、従来の画像復号化技術における技術を用いればよい。

次に、フレームメモリ905は、逆直交変換処理後のデータを格納する。

また、高解像画像生成部906は、フレームメモリ905に格納されている画像データと構文解析部902から取得する動きベクトルと縮小倍率を用いて高解像度化処理を行う。このとき高解像画像生成部906は、実施例1における高解像画像生成部111と同様に動きベクトルと複数の画像データを用い高解像度化処理をおこなう。当該高解像度化処理の内容は、実施例１の高解像画像生成部111について説明した内容と同様であるため、説明を省略する。

実施例３に係る高解像画像生成部906は、実施例１の高解像画像生成部111について説明した、動きベクトルと複数の画像とこれらの折返しひずみを用いた高解像度処理を行う。これにより、実施例１の縮小画像生成部103また実施例２の縮小画像生成部402において縮小された画像を高精細化または拡大することが可能となる。

なお、構文解析部902から送られる静止画像判定フラグが１または整数画素位置判定フラグが１である場合には、高解像画像生成部906に入力される復号対象画像は、実施例１の縮小画像生成部103また実施例２の縮小画像生成部402において画像縮小処理が行われていない。そのため、高解像生成部906は、構文解析部902から送られる静止画像判定フラグまたは整数画素位置判定フラグを判定し、静止画像判定フラグが１または整数画素位置判定フラグが１である場合には、高解像度化処理を省略する。

このように、高解像画像生成部906は、静止画像判定フラグまたは整数画素位置判定フラグを判定して、高解像度化処理を実行するか否かを決定することにより、符号化処理時の画像縮小処理に対応した適切な画像高解像度化処理を行うことが可能となる。

次に、高解像画像生成部906にて高解像度化された画像データとフレームメモリ908に格納された画像データとを加算して復号画像を生成する。上記復号画像は、例えば、映像表示装置909などに出力される。

以上説明した実施例３に係る画像復号化装置およびその画像復号化方法は、実施例１または実施例２に係る画像符号化装置およびその画像符号化方法において画像を縮小し、データ量を小さくして符号化された画像を、高解像度復号画像として復元することが可能となる。

また、実施例３に係る画像復号化装置およびその画像復号化方法によれば、符号化ストリームに格納された量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数を用いて逆量子化を行う。すなわち、実施例２に係る画像符号化装置およびその画像符号化方法における、映像信号中の動き方向に応じた量子化関係値の変更処理に対応した逆量子化を行うことができる。これにより、高解像度化処理の効果を高めることが可能である。

また、実施例３に係る画像復号化装置およびその画像復号化方法によれば、符号化ストリームに格納されるマトリクス番号情報を判別することにより、画像符号化処理の量子化処理と同様のマトリクスを用いた逆量子化処理を行うことができる。これにより、データ量の小さい符号化ストリームに対しても、映像信号中の動き方向に応じた量子化関係値の変更処理を伴う逆量子化を行うことが可能となる。

また、実施例３に係る画像復号化装置およびその画像復号化方法によれば、符号化ストリームに格納される静止画像判定フラグまたは整数画素位置判定フラグを判定することにより、符号化処理における画像縮小処理の有無を判定する。これにより、符号化処理における画像縮小処理の有無に対応した、適切な画像復号処理を行うことが可能となる。

上記実施例における符号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なおこのような符号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。

また、以上説明した各実施例ではMPEG規格もしくはＨ.264規格による画像符号化装置、画像復号化装置を例に挙げて説明してきたが、本発明の適用はこれに限定されるものではなく、様々な規格をベースとする画像符号化装置、画像復号化装置等にも用いることができる。

本発明の実施例１に係る画像復号化装置の構成の一例のブロック図である。 本発明の実施例１に係る縮小画像生成部の処理の一例を示すフロー図である。 本発明の実施例１に係る高解像度化処理の概要を示した図である。 本発明の実施例２に係る画像復号化装置の構成の一例のブロック図である。 本発明の実施例２に係る動き検出部の処理の一例を示すフロー図である。 本発明の実施例２に係る縮小画像生成部の処理の一例を示すフロー図である。 本発明の実施例２に係る量子化部の処理の一例を示すフローチャートである。 本発明の実施例２に係る量子化部で決定される量子化関係値の一例である。 本発明の実施例３に係る画像復号化装置の構成の一例のブロック図である。 本発明の実施例３に係るビットストリームの一例を示した図である。

符号の説明

101・・・原画像メモリ；
102・・・減算器；
103、402・・・縮小画像生成部；
104・・・直交変換部；
105、403・・・量子化部；
106・・・可変長符号化部；
107、404、903・・・逆量子化部；
108、904・・・逆直行変換部；
109、113、401、908・・・フレームメモリ；
110・・・動き検出部；
111、906・・・高解像画像生成部;
112、907・・・加算器;
901・・・可変長復号部
902・・・構文解析部
909・・・映像表示装置

Claims (14)

1. 予測画像を保持する記憶部と、
   入力画像と前記予測画像の差分を算出する差分器と、
   前記差分器が算出した差分画像を縮小する縮小画像生成部と、
   前記縮小画像生成部が生成した縮小画像に対して直交変換する直交変換部と、
   前記直交変換部が直交変換処理を行ったデータを量子化する量子化部と、
   前記量子化部が量子化したデータを可変長符号化し、符号化ストリームを生成する可変長符号化部と、
   前記量子化部が量子化したデータを逆量子化する逆量子化部と、
   前記逆量化部が逆量子化したデータを逆直交変換して画像データを生成する逆直交変換部と、
   前記逆直交変換部が逆直交変換した画像データに対して動き検出を行い、動きベクトル情報を算出する動き検出部と、
   前記動き検出部が算出した動きベクトル情報と、前記逆直交変換部が生成した画像データを用いて高解像画像を生成する高解像画像生成部と、
   前記記憶部が保持する予測画像と前記高解像画像生成部が生成した高解像画像を加算して新たな予測画像を生成する加算部とを備え、
   前記縮小画像生成部は、前記差分器が算出した差分画像の差分値がゼロであるか否かに基づいて、前記差分画像を縮小するか否かを選択することを特徴とする画像符号化装置。
2. 予測画像を保持する記憶部と、
   入力画像と前記予測画像の差分を算出する差分器と、
   前記差分器が算出した差分画像に対して動き検出を行う動き検出部と、
   前記差分器が算出した差分画像を縮小する縮小画像生成部と、
   前記縮小画像生成部が生成した縮小画像に対して直交変換する直交変換部と、
   前記直交変換部が直交変換処理を行ったデータを量子化する量子化部と、
   前記量子化部が量子化したデータを可変長符号化する可変調符号化部と、
   前記量子化部が量子化したデータを逆量子化する逆量子化部と、
   前記逆量化部が逆量子化したデータを逆直交変換して画像データを生成する逆直交変換部と、
   前記動き検出部が検出した動きベクトル情報と、前記逆直交変換部が生成した画像データを用いて高解像画像を生成する高解像画像生成部と、
   前記記憶部が保持する予測画像と前記高解像画像生成部が生成した高解像画像を加算して新たな予測画像を生成する加算部とを備え、
   前記量子化部は、前記動き検出部が検出した映像信号中の動き方向に応じて量子化処理に用いる量子化関係値もしくは量子化関係値のマトリックスを変更することを特徴とする画像符号化装置。
3. 前記量子化関係値は、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数であることを特徴とする請求項２に記載の画像符号化装置。
4. 前記縮小画像生成部は、前記動き検出が検出した動きベクトルが示す位置が整数画素位置であるか否かに基づいて、前記差分画像を縮小するか否かを選択することを特徴とする請求項２に記載の画像符号化装置。
5. 符号化ストリームに可変長復号処理を行う可変長復号部と、
   前記可変長復号部が復号したデータを逆量子化する逆量子化部と、
   前記逆量子化部が逆量子化したデータを逆直交変換して画像データを復号する逆直交変換部と、
   前記逆直交変換部が逆直交変換した画像データと前記符号化ストリームに含まれる動きベクトル情報とを用いて高解像画像を生成する高解像画像生成部と、
   既に復号した画像と前記高解像画像生成部が生成した高解像画像とを合成して新たな予測画像を生成する加算器とを備え、
   前記逆量子化部は、
   前記符号化ストリームに含まれる動きベクトルが示す方向に応じて逆量子化処理に用いる量子化関係値もしくは量子化関係値のマトリックスを変更することを特徴とする画像復号化装置。
6. 前記量子化関係値は、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数であることを特徴とする請求項５に記載の画像復号化装置。
7. 符号化ストリームに可変長復号処理を行う可変長復号部と、
   前記可変長復号部が復号したデータを逆量子化する逆量子化部と、
   前記逆量子化部が逆量子化したデータを逆直交変換して画像データを復号する逆直交変換部と、
   前記逆直交変換部が逆直交変換した画像データと前記符号化ストリームに含まれる動きベクトル情報とを用いて高解像画像を生成する高解像画像生成部と、
   既に復号した画像と前記高解像画像生成部が生成した高解像画像とを合成して新たな予測画像を生成する加算器とを備え、
   前記高解像画像生成部は、前記符号化ストリームに含まれ、復号化対象画像の差分画像の差分値がゼロであるか否かを示すフラグまたは動きベクトルが示す位置が整数画素位置であるか否かを示すフラグに基づいて、画像高解像度化処理を行うか否かを選択することを特徴とする画像復号化装置。
8. 予測画像を記憶する記憶ステップと、
   入力画像と前記予測画像の差分を算出する差分算出ステップと、
   前記差分算出ステップにて算出した差分画像を縮小する縮小画像生成ステップと、
   前記縮小画像生成ステップにて生成した縮小画像に対して直交変換する直交変換処理ステップと、
   前記直交変換処理ステップにて直交変換処理を行ったデータを量子化する量子化処理ステップと、
   前記量子化処理ステップにて量子化したデータを可変長符号化し、符号化ストリームを生成する可変長符号化処理ステップと、
   前記量子化処理ステップにて量子化したデータを逆量子化する逆量子化処理ステップと、
   前記逆量子化処理ステップにて逆量子化したデータを逆直交変換して画像データを生成する逆直交変換処理ステップと、
   前記逆直交変換処理ステップにて逆直交変換した画像データに対して動き検出を行い、動きベクトル情報を算出する動き検出ステップと、
   前記動き検出ステップにて算出した動きベクトル情報と、前記逆直交変換処理ステップにて生成した画像データを用いて高解像画像を生成する高解像画像生成ステップと、
   前記記憶ステップにて保持する予測画像と前記高解像画像生成ステップにて生成した高解像画像を加算して新たな予測画像を生成する加算ステップとを備え、
   前記縮小画像生成ステップでは、前記差分算出ステップにて算出した差分画像の差分値がゼロであるか否かに基づいて、前記差分画像を縮小するか否かを選択することを特徴とする画像符号化方法。
9. 予測画像を記憶する記憶ステップと、
   入力画像と前記予測画像の差分を算出する差分算出ステップと、
   前記差分算出ステップにて算出した差分画像に対して動き検出を行う動き検出ステップと、
   前記差分算出ステップにて算出した差分画像を縮小する縮小画像生成ステップと、
   前記縮小画像生成ステップにて生成した縮小画像に対して直交変換する直交変換処理ステップと、
   前記直交変換処理ステップにて直交変換処理を行ったデータを量子化する量子化処理ステップと、
   前記量子化処理ステップにて量子化したデータを可変長符号化する可変調符号化処理ステップと、
   前記量子化処理ステップにて量子化したデータを逆量子化する逆量子化処理ステップと、
   前記逆量子化処理ステップが逆量子化したデータを逆直交変換して画像データを生成する逆直交変換処理ステップと、
   前記動き検出ステップにて検出した動きベクトル情報と、前記逆直交変換ステップにて生成した画像データを用いて高解像画像を生成する高解像画像生成ステップと、
   前記記憶ステップにて記憶する予測画像と前記高解像画像生成ステップにて生成した高解像画像を加算して新たな予測画像を生成する加算ステップとを備え、
   前記量子化処理ステップでは、前記動き検出ステップにて検出した映像信号中の動き方向に応じて量子化処理に用いる量子化関係値もしくは量子化関係値のマトリックスを変更することを特徴とする画像符号化方法。
10. 前記量子化関係値は、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数であることを特徴とする請求項９に記載の画像符号化方法。
11. 前記縮小画像生成ステップでは、前記動き検出ステップにて検出した動きベクトルが示す位置が整数画素位置であるか否かに基づいて、前記差分画像を縮小するか否かを選択することを特徴とする請求項９に記載の画像符号化方法。
12. 符号化ストリームに可変長復号を行う可変長復号処理ステップと、
    前記可変長復号処理ステップにて復号したデータを逆量子化する逆量子化処理ステップと、
    前記逆量子化処理ステップにて逆量子化したデータを逆直交変換して画像データを復号する逆直交変換処理ステップと、
    前記逆直交変換処理ステップにて逆直交変換した画像データと前記符号化ストリームに含まれる動きベクトル情報とを用いて高解像画像を生成する高解像画像生成ステップと、
    既に復号した画像と前記高解像画像生成ステップにて生成した高解像画像とを合成して新たな予測画像を生成する加算ステップとを備え、
    前記逆量子化処理ステップでは、前記符号化ストリームに含まれる動きベクトルが示す方向に応じて逆量子化処理に用いる量子化関係値もしくは量子化関係値のマトリックスを変更することを特徴とする画像復号化方法。
13. 前記量子化関係値は、量子化パラメータ、量子化ステップもしくはこれらに乗ずる係数であることを特徴とする請求項１２に記載の画像復号化方法。
14. 符号化ストリームに可変長復号を行う可変長復号処理ステップと、
    前記可変長復号処理ステップにて復号したデータを逆量子化する逆量子化処理ステップと、
    前記逆量子化処理ステップにて逆量子化したデータを逆直交変換して画像データを復号する逆直交変換処理ステップと、
    前記逆直交変換処理ステップにて逆直交変換した画像データと前記符号化ストリームに含まれる動きベクトル情報とを用いて高解像画像を生成する高解像画像生成ステップと、 既に復号した画像と前記高解像画像生成ステップにて生成した高解像画像とを合成して新たな予測画像を生成する加算ステップとを備え、
    前記高解像画像生成ステップでは、前記符号化ストリームに含まれ、復号化対象画像の差分画像の差分値がゼロであるか否かを示すフラグまたは動きベクトルが示す位置が整数画素位置であるか否かを示すフラグに基づいて、画像高解像度化処理を行うか否かを選択することを特徴とする画像復号化方法。

Images