JP3386142B2 - 画像復号装置および画像復号方法 - Google Patents

Description

【発明の詳細な説明】 技術分野 この発明は、画像の高能率符号化あるいは復号におい
て、既存の画像から符号化すべき画像もしくは復号すべ
き画像の動き補償予測を行い、予測誤差を符号化する、
もしくは予測誤差と参照画像データとの加算により復号
を行う装置とシステムのうち、特に画像復号装置および
画像復号方法に関するものである。

背景技術 画像の高能率符号化における動き補償予測方式の従来
技術を説明する。

従来の動き補償予測方式の第１の例として、平行移動
によるブロックマッチングを用いた動き補償予測方式が
ある。例えばISO/IEC11172−２（MPEG1ビデオ規格）で
は、ブロックマッチングを用いた前方向／後方向／内挿
動き補償予測方式について解説している。また、従来の
動き補償予測方式の第２の例として、アフィン変換を用
いた動き補償がある。例えば、「アフィン変換を用いた
動き補償予測に関する検討」（電子情報通信学会技術報
告IE94−36）では、画像の任意形状領域の動き量をアフ
ィン動きパラメータでモデル化し、そのパラメータを検
出することにより動き補償予測を行う方式について解説
している。

以下、これらの解説を基にして従来の平行移動による
動き補償方式及びアフィン変換を用いた動き補償方式に
ついて説明する。

ブロックマッチングによる動き補償予測の概念を図42
に示す。

同図において、 ｉは、動き補償予測の単位となるブロックの画面内位
置、 fi（x,y,t）は、画面内位置ｉ、時間ｔにおけるブロ
ックの位置（x,y）における画素値、 Ｒは、動きベクトル探索範囲、 ｖは、動きベクトル（∈Ｒ） である。ブロックマッチングは、同図のように参照画像
201の探索範囲Ｒの中で、被予測画像202中の予測対象の
ブロックｉの画素値fi（x,y,t）に最も近いブロック、
即ち式（１）に示す誤差電力Dvを最小化するブロックfi
＋ｖ（x,y,t−１）を見つける処理に相当する。

Dvを最小にするｖの値が動きベクトルとなる。図中、
参照画像中の実標本点である実画素だけを用いて適合す
るブロックを探索する方法を整数画素精度探索、整数画
素に加えて整数画素の中間の半画素も用いる探索方法を
半画素精度探索と呼ぶ。一般に、同一探索範囲の条件下
では半画素精度探索の方が整数画素精度探索より探索点
が多くなり、予測効率が高まる。

図43は、例えば、MPEG1ビデオ規格などで採用されて
いる動き補償予測方式を用いる画像符号化装置の動き補
償予測部（ブロックマッチング部）の構成例を示す図で
ある。

図において、207は水平方向移動量カウンタ、208は垂
直方向平行移動量カウンタ、211はメモリ読み出しアド
レス生成部、213はパターンマッチング部、216は最小予
測誤差電力判定部である。また、203は水平方向平行移
動量探索範囲指示信号、204は垂直方向平行移動量探索
範囲指示信号、205は被予測ブロックデータ、206は被予
測ブロックの画像内位置信号、209は水平方向平行移動
量探索点データ、210は垂直方向平行移動量探索点デー
タ、212は読み出しアドレス、214は読み出し画像デー
タ、215は予測誤差電力信号、217は動きベクトル、218
は最小予測誤差電力信号である。219は参照画像を記憶
するフレームメモリである。

一方、図44は、上記図43に示す構成の動き補償予測部
の動作を表す動作フローチャートである。

図において、 dxは、水平方向平行移動量探索点、 dyは、垂直方向平行移動量探索点、 range_h_minは、水平方向平行移動量探索範囲下限
値、 range_h_maxは、水平方向平行移動量探索範囲上限
値、 range_v_minは、垂直方向平行移動量探索範囲下限
値、 range_v_maxは、垂直方向平行移動量探索範囲上限
値、 D_minは、最小予測誤差電力、 （x,y）は、マクロブロック内画素位置を表す座標、 Ｄ（dx,dy）は、dx,dy探索時の予測誤差電力、 ｆ（x,y）は、被予測画像の画素（x,y）の値、 fr（x,y）は、参照画像の画素（x,y）の値、 Ｄ（x,y）は、dx,dy探索時の（x,y）における予測誤
差、 MV_hは、動きベクトル（平行移動量）水平成分、 MV_vは、動きベクトル（平行移動量）垂直成分 である。

以下、図43、図44をもとに、ブロックマッチングの動
作について詳しく説明する。

１）動きベクトル探索範囲の設定 水平方向平行移動量探索範囲指示信号203及び垂直方
向平行移動量探索範囲指示信号204より、水平方向移動
量カウンタ207にrange_h_min/range_h_maxを、垂直方向
平行移動量カウンタ208にrange_v_min/range_v_maxを設
定する。また、カウンタ初期値をそれぞれdx＝range_h_
min、dy＝range_v_minにセットする。最小予測誤差電力
判定部216において最小予測誤差電力D_minを最大の値MA
XINT（例えば0xFFFFFFFF）にセットする。これは、図44
のS201に相当する。

２）予測画像候補画像の読み出し 被予測マクロブロックの画素位置（x,y）から（dx,d
y）だけ離れた位置にある参照画像中の位置（ｘ＋dx,y
＋dy）の画素を、フレームメモリから取り出す。図43に
おけるメモリ読み出しアドレス生成部211が水平方向移
動量カウンタ207からdxの値を、垂直方向平行移動量カ
ウンタ208からdyの値を受け取り、フレームメモリ中の
アドレスを生成する。

３）予測誤差電力の算出 まず、動きベクトルが（dx,dy）の時の予測誤差電力
Ｄ（dx,dy）をゼロに初期化する。これは、図44のS202
に相当する。２）で読み出された画素値と、被予測マク
ロブロック内の位置（x,y）の画素値との差をとり、そ
の絶対値をＤ（dx,dy）に累積していく。この処理をｘ
＝ｙ＝16になるまで繰り返し、（dx,dy）時の予測誤差
電力Ｄ（dx,dy）、即ち式（１）におけるDvを得る。こ
の処理は、図43におけるパターンマッチング部213が行
い、パターンマッチング部213はＤ（dx,dy）を予測誤差
電力信号215によって、最小予測誤差電力判定部216に受
け渡す。ここでの処理は、図44におけるS203〜S209の処
理に相当する。

４）最小予測誤差電力値の更新 ３）の結果得られたＤ（dx,dy）が、それまでの探索
結果の中で最小の誤差電力を与えるかどうかを判定す
る。判定は、図43における最小予測誤差電力判定部216
が行う。また、図44におけるS210がこの判定処理に相当
する。最小予測誤差電力判定部216は、内部に持つ最小
予測誤差電力D_minの値と、予測誤差電力信号215によっ
て受け渡されるＤ（dx,dy）の大小を比較し、Ｄ（dx,d
y）の方が小さいときに限りD_minの値をＤ（dx,dy）で
更新する。また、そのときの（dx,dy）の値を動きベク
トル候補（MV_h,MV_v）として保持しておく。これらの
更新処理は、図44におけるS211に相当する。

５）動きベクトル値の決定 上記２）〜４）を動きベクトル探索範囲Ｒ中のすべて
の（dx,dy）について繰り返し（図44のS212〜S215）、
最終的に最小予測誤差電力判定部216内に保持されてい
る計算値（MV_h,MV_v）を動きベクトル217として出力す
る。

図45は、MPEG1ビデオ規格で採用されている動き補償
予測方式の概要を示した図である。

MPEG1ビデオ規格では動画像の１枚１枚のフレームを
ピクチャと呼び、ピクチャをマクロブロックという16×
16画素（色差信号は８×８画素）のブロックに分割し
て、各マクロブロックについてブロックマッチングによ
る動き補償予測を行う。その結果得られる動きベクトル
と予測誤差信号とを符号化する。

MPEG1ビデオ規格では異なるピクチャごとに動き補償
の方式が変えられるようになっており、図中Ｉピクチャ
では動き補償予測を行わずにピクチャ内で閉じた符号化
を行うが、Ｐピクチャでは時間的に前に表示される画像
から予測を行う前方向動き補償予測を行い、Ｂピクチャ
では前方向動き補償予測のほか、時間的に後に表示され
る画像から予測を行う後方向動き補償予測と、前方向動
き補償予測及び後方向動き補償予測から得られる２つの
予測画像の加算平均によって予測を行う内挿動き補償予
測が許される。ただし、前方向／後方向／内挿の各動き
補償予測は、予測に用いる参照画像の違いだけで、基本
的にすべてブロックマッチングによる動き補償予測であ
る。

ブロックマッチングは上述のごとく、現在のビデオ符
号化方式における動き補償予測の主たる実現手法として
確立されている。しかしながら、ブロックマッチングの
処理は「輝度の同じ領域は同一物体である」という等輝
度仮定に立脚して、マクロブロックの様な正方ブロック
単位に物体の平行移動量を求めていることに相当する。
よって、正方ブロック形状方向への移動以外の動きを検
出することは原理上不可能であり、回転や拡大、縮小、
カメラのズーミング、３次元的な物体の動きなど、平行
移動で十分に説明できない動きが発生する領域では予測
精度が落ちる。

このようなブロックマッチングによる動き検出の問題
点を解消し、より正確な動き量を検出することを目指し
て、平行移動量だけでなく、回転やスケーリングといっ
た動き量を含めて精度の高い動き補償予測を行おうとい
うのが、アフィン変換を用いた動き補償予測である。こ
の方式では、予測対象の画素値（x,y）が以下の式
（２）に示すアフィン変換によって参照画像中の画素値
（x',y'）に変換されるという仮定に基づき、アフィン
変換の各パラメータを動きパラメータとして検出する。
「アフィン変換を用いた動き補償予測に関する検討」
（電子情報通信学会技術報告IE94−36）では、任意の形
状の予測画像領域に対してアフィン動きパラメータを検
出し、動き補償予測を行う手法を提案している。

ここで、θ、（Cx,Cy）、（tx,ty）の定義は下記に示
す。

図46は、アフィン変換を用いた動き補償予測処理の概
念を示したものである。

同図において、 ｉは、動き補償予測の単位となる領域の画面内位置、 fi（x,y,t）は、画面内位置ｉ、時間ｔとして領域の
位置（x,y）における画素値、 Rvは、平行移動量探索範囲、 Rrot,scaleは、回転／スケール量探索範囲、 ｖは、平行移動パラメータ（＝（tx,ty））を含む動
きベクトル、 rotは、回転パラメータ（＝回転角θ）、 scaleは、スケールパラメータ（＝（Cx,Cy）） である。アフィン動き補償予測では、動きベクトルに相
当する平行移動パラメータ（tx,ty）に加え、回転角
θ、スケール（Cx,Cy）の計５パラメータから成るアフ
ィン動きパラメータを検出しなければならない。最適解
は全パラメータの全探索で与えられるが非常に膨大な演
算量となるため、ここでは平行移動量が支配的であると
の仮定に基づき、２段階の探索アルゴリズムを採用して
いる。まず、第１段階では領域の平行移動量（tx,ty）
を探索する。第２段階では、第１段階で決定された（t
x,ty）の近傍で回転角θ、スケール（Cx,Cy）の探索を
行い、さらに平行移動量の微調整を行うという手順を踏
む。探索候補中、最小の予測誤差電力を与える予測領域
と現在の領域との差分をとり、予測誤差を符号化する。
アフィン変換方式の予測誤差電力は、以下の式（３）で
示される。

図47は、アフィン変換を用いた動き補償予測部の構成
例を示す図である。

同図において、220は平行移動微調整量探索範囲指示
信号、221は回転量探索範囲指示信号、222はスケール量
探索範囲指示信号、223は平行移動量探索範囲指示信
号、224は被予測領域画面内位置信号、225は被予測領域
データ、226は水平方向平行移動量カウンタ、227は垂直
方向平行移動量カウンタ、228は平行移動量加算部、229
は第１段最小予測誤差電力判定部、230はメモリ読み出
しアドレス生成部、231は補間演算部、232は半画素生成
部、233は回転量カウンタ、234はスケール量カウンタ、
235は平行移動／回転／スケール量加算部、236は第２段
最小予測誤差電力判定部、237は平行移動微調整量カウ
ンタ、238は平行移動微調整量加算部、239は最終最小予
測誤差電力判定部である。

図48は、従来の装置のその動作フローチャートであ
る。また、図49は、図48中のS224で示されるアフィン動
きパラメータ検出行程の詳細を示すフローチャートであ
る。

これらの図において、 MV_h［４］は、動きベクトル水平成分（４候補）、 MV_v［４］は、動きベクトル垂直成分（４候補）、 D_minは、最小予測誤差電力、 θは、回転量［radian］、 Cx,Cyは、スケール量、 tx,tyは、動きベクトル微調整量で、 更に、Ｄ（θ［ｉ］,Cx［ｉ］,Cy［ｉ］,tx［ｉ］,ty
［ｉ］）は、MV_h［ｉ］,MV_v［ｉ］選択時におけるア
フィン動きパラメータ検出の結果得られる最小予測誤差
電力、 ｄθは、回転量探索点、 dCxは、水平方向スケール量探索点、 dCyは、垂直方向スケール量探索点、 dtxは、水平方向平行移動微調整量探索点、 dtyは、垂直方向平行移動微調整量探索点、 range_radian_minは、回転量探索範囲下限値、 range_radian_maxは、回転量探索範囲上限値、 range_scale_minは、スケール量探索範囲下限値、 range_scale_maxは、スケール量探索範囲上限値、 range_t_h_minは、水平方向平行移動微調整量探索範
囲下限値、 range_t_h_maxは、水平方向平行移動微調整量探索範
囲上限値、 range_t_v_minは、垂直方向平行移動微調整量探索範
囲下限値、 range_t_v_maxは、垂直方向平行移動微調整量探索範
囲上限値、 D_minは、最小予測誤差電力、 （x,y）は、被予測領域内画素位置、 ｆ（x,y）は、被予測画像の画素（x,y）の値、 fr（x,y）は、参照画像の画素（x,y）の値、 axは、水平方向アフィン変換値、 ayは、垂直方向アフィン変換値、 Ｄ（ax,ay）は、ax,ay探索時の予測誤差電力、 Ｄ（x,y）は、ax,ay探索時の（x,y）における予測誤
差である。

以下、図47〜図49をもとに、アフィン変換を用いた動
き補償予測処理の動作について詳しく説明する。

これらの図において、前記の図と同一の符号を付した
要素もしくはステップについては、同一の動作もしくは
処理を行うものとする。

１）第１段階 第１段階として、従来のものでは、まず、前述のブロ
ックマッチング相当の処理により、領域ごとに与えられ
た探索範囲内で平行移動パラメータ（＝動きベクトル）
の検出を行う。

図47において、平行移動量探索範囲指示信号223よ
り、水平方向移動量カウンタ226及び垂直方向平行移動
量カウンタ227に探索範囲を設定し、探索点を変化させ
ていく。平行移動量加算部228で、このカウント値に被
予測画像領域における現在の領域位置を加算し、その結
果がメモリ読み出しアドレス生成部230に渡され、予測
画像候補の画素値がフレームメモリ219から読み出され
る。読み出された画素値はパターンマッチング部213に
渡され、ブロックマッチングと同様の誤差計算がなされ
る。このマッチング結果が第１段最小予測誤差電力判定
部229に送られ、予測誤差の小さい方から４候補の平行
移動パラメータを得る。これらをMV_h［４］（水平成
分）及びMV_v［４］（垂直成分）と表記する。第１段最
小予測誤差電力判定部229の動作は、最小予測誤差電力
判定部216と同様である。この処理過程は、図48のS22
1、S222に相当する。

２）第２段階 ２−１）準備（探索範囲の設定、最小予測誤差電力値の
初期化） 各MV_h［ｉ］/MV_v［ｉ］（０≦ｉ≦３）について、
その近傍の微小空間において回転量／スケール量を探索
する。これは、図48のS224に相当し、図49に詳細な処理
過程を示す。図47の装置の動作と関連付けながら動作を
説明する。

まず、回転量探索範囲指示信号221及びスケール量探
索範囲指示信号222より、回転量カウンタ233、スケール
量カウンタ234にそれぞれ探索範囲を設定する。また、
平行移動微調整量探索範囲指示信号220より平行移動微
調整量カウンタ237にも探索範囲の設定を行う。第２段
最小予測誤差電力判定部236は、内部に持つ最小予測誤
差電力D_minの値をMAXINTに設定する。これは、図49のS
229に相当する。

２−２）回転量の探索 以下、各MV_h［ｉ］/MV_v［ｉ］（０≦ｉ≦３）につ
いて同じ処理を繰り返すため、MV_h［０］/MV_v［０］
のケースについてのみ説明する。スケール量Cx,Cy及び
平行移動微調整量tx,tyの値を固定し、回転量θの値を
探索範囲内で変化させ、以下のアフィン変換値ax,ayを
得る。

参照画像中の（ax,ay）における画素値fr（ax,ay）と
ｆ（x,y）との差分絶対値を求め、これをＤ（ax,ay）に
累積していく。

以上の処理は、図47において、スケール量カウンタ23
4及び平行移動微調整量カウンタ237のカウント値を固定
し、回転量カウンタ233のカウント値に応じて平行移動
／回転／スケール量加算部235で式（４）のax,ayを求
め、メモリ読み出しアドレス生成部230を介してfr（ax,
ay）を算出するために必要な画素をフレームメモリ219
から読み出し、次いで補間演算部231において、これら
の画素からfr（ax,ay）を算出して、パターンマッチン
グ部213において被予測画素値ｆ（x,y）との差分絶対値
を求める動作によって実行される。図49では、S231〜S2
34に相当する。

以上の処理を回転量探索範囲全域に渡って行い、第２
段最小予測誤差電力判定部236において、回転量探索範
囲内での最小予測誤差を与える回転量θが決定される。

２−３）スケール量の探索 回転量の探索と同様、平行移動微調整量カウンタ237
のカウント値を固定し、回転量として２−２）で決定さ
れた回転量θを式（４）に代入して、スケール量Cx,Cy
の値を探索範囲内で変化させ、式（４）のアフィン変換
値ax,ayを得る。

以下、回転量の探索と同様の処理を行って、Ｄ（ax,a
y）を最小にするスケール量Cx,Cyを得る。スケール量探
索点のカウントは、スケール量カウンタ234が行う。

２−４）平行移動微調整量の探索 ２−２）及び２−３）で決定された回転量θ／スケー
ル量Cx,Cyを用いて、平行移動微調整量tx,tyの値を探索
範囲内で変化させ、式（４）のアフィン変換値ax,ayを
得る。

以下、回転量／スケール量の探索と同様の処理を行
う。平行移動微調整量探索点のカウントは、平行移動微
調整量カウンタ237が行う。ただし、tx,tyは半画素精度
で探索されるので、パターンマッチング部213に送られ
る前に必要に応じて半画素生成部232において半画素値
が計算される。半画素値の計算は、図50に示すように、
整数画素との空間的な位置関係に基づいて以下の式
（５）のように計算される。ただし、x,yは共に０から
計数し、整数画素位置は共にEVENとする。

（x,y）＝［Ｉ（xp,yp）＋Ｉ（xp＋1,yp） ＋Ｉ（xp,yp＋１）＋Ｉ（xp＋1,yp＋１）］ /4;x,y:ODD ［Ｉ（xp,yp）＋Ｉ（xp＋1,yp）］/2; x:ODD,y:EVEN ［Ｉ（xp,yp）＋Ｉ（xp,yp＋１）］/2; x:EVEN,y:ODD （５） 以上で、図49の処理フローを終了する。

２−５）最終アフィン動きパラメータの決定 すべてのMV_h［ｉ］/MV_v［ｉ］について、上記２−
２）から２−４）のパラメータ探索を行った結果得られ
るθ［ｉ］,Cx［ｉ］,Cy［ｉ］,tx［ｉ］,ty［ｉ］を用
いて得られる予測画像との予測誤差を求め、最も小さい
誤差値を与える領域位置ｉと、そのパラメータセットを
最終的な探索結果とする。これは図48におけるS225〜S2
28に相当する。

以上のように、アフィン動きパラメータ探索は非常に
多くの処理過程を要するだけでなく、探索の際の演算負
荷も大きい。

図51は、回転量及びスケール量を探索する過程で生じ
る非整数画素値の算出方法、即ち補間演算部231におけ
るfr（ax,ay）の算出方法を示す図である。

図において、○は画像の実標本点、●は演算によって
生成する画素値である。fr（ax,ay）は、参照画像上で
計算した、以下の式（６）のＩハット（x,y）（ただ
し、ｘ＝ax,y＝ay）の値で表わされる。

即ち、アフィン動きパラメータ探索では、画素間マッ
チングをとり誤差電力最小のものを選ぶため、上記５パ
ラメータを変化させるたびに予測画像候補となる画像領
域を再度、生成しなければならない。回転やスケーリン
グは非整数画素値を発生させるので、式（６）の演算が
探索処理中何度も繰り返される。これにより、アフィン
動きパラメータ探索処理は非常に負荷が大きく、時間も
かかるものとなる。

単純な拡大または縮小画像に対してマッチングを行っ
て動き補償を得る方法として、特開平６−153185号公報
に示された動き補償装置及びこれを用いた符号化装置が
開示されている。これは参照画像となるフレームメモリ
中の画像を、間引き回路または補間回路を設けて、画像
を縮小または拡大した後、動きベクトルを検出する構成
となっている。この構成では、アフィン変換のような複
雑な演算はしないが、参照画像から固定ブロックを取り
出して補間または間引き演算をしている。つまり、固定
の画面領域を切り出し、予め設定した処理を施して後、
入力画像と比較するので、処理の内容が固定的で事実上
単純な拡大、縮小等に限定される。

従来の画像符号化装置の動き予測方式は、以上のよう
に構成され動作する。

従って、第１の従来例においては、予測画像領域の形
成は参照画面の切り出し領域を平行移動して行うので単
純な、平行移動の動きしか予測できず、回転や拡大、縮
小、カメラのズーミングなど、平行移動以外の移動の場
合には、性能劣化が激しいという課題がある。

一方、第２の例においては、予測画像の生成をアフィ
ン変換によって行っているため、回転など、予測可能対
象の種類は多くなるが、演算の処理が複雑になり、装置
規模が大きくなるという課題がある。

以上、処理を単純化すれば予測しきれない場合が多
く、アフィン変換を用いれば予測できる場合が増えるも
のの、処理が大変になるというジレンマがあった。

復号処理については、従来装置の構成を保ちながら複
雑な処理を行うものの具体的な提案がなかった。

発明の開示 この発明は、上記のような課題を解消するためになさ
れたもので、比較的簡単な符号化処理に対応する復号を
行うと共に、同様構成で精密でよりスムーズな動きを再
現する画像復号装置および画像復号方法を得ることを目
的とする。

この目的を達成するため、本発明では、フレーム間の
動き検出による動き補償予測符号を含む入力情報の画像
圧縮符号を伸長再生する画像復号装置において、上記入
力情報の画像圧縮符号に含まれる動きパラメータに基づ
いて予測画像サンプル位置の座標を変形に必要な変換式
で算出し、上記入力情報に含まれる丸め込み精度を指示
する内挿処理精度指示情報に従って上記座標を丸め込
み、この丸め込んだ座標を用いて記憶している参照画像
中の部分画像から予測画像出力を得る動き補償部、を備
えた画像復号装置である。

特に、入力情報には、変換式を直接識別するビット若
しくは動きベクトルの本数を表現するビットである変形
パターン情報が含まれ、動き補償部は、上記変形パター
ン情報に対応して変換式を得て予測画像サンプル位置の
座標を算出し、その後に内挿処理指示情報に基づいて内
挿処理を行うようにした画像復号装置であることを特徴
とする。

また、内挿処理精度指示情報は、予測画像サンプル位
置の精度として半画素精度か、または整数画素の1/4画
素精度を指定するようにした画像復号装置である。

また、フレーム間の動き検出による動き補償予測符号
を含む入力情報の画像圧縮符号を伸張再生する画像復号
方法において、上記入力情報の画像圧縮符号に含まれる
動きパラメータに基づいて予測画像サンプル位置の座標
を変形に必要な変換式で算出し、上記入力情報に含まれ
る丸め込み精度を指示する処理指示情報に従って上記座
標を丸め込み、この丸め込んだ座標を用いて記憶してい
る参照画像中の部分画像から予測画像出力を得る動き補
償ステップ、を備えた画像復号方法である。

また、フレーム間の動き検出による動き補償予測符号
を含む入力情報の画像圧縮符号を伸長再生する画像復号
装置において、上記入力画像圧縮符号に含まれる動きパ
ラメータに基づいて変形に必要な変換式で座標指定する
とともに、記憶している参照画像中の部分画像を抽出
し、整数画素及びその中点の半画素からなる上記参照画
像の部分領域を、上記入力情報の画像圧縮符号に含まれ
た丸め情報により丸めた座標指定によって変形、抽出し
て動き予測画像を得る動き補償部を備えて、上記変形し
抽出して得られた上記動き予測画像を用いて復号画像を
得る画像復号装置である。

特に、座標指定は、変形に必要な変換式で演算された
座標によって行われる画像復号装置である。

図面の簡単な説明 図１は、本発明の画像符号化装置の基本構成図であ
る。

図２は、図１中の動き検出部８の内部構成図である。

図３は、図２の構成による動き検出部８の動作を表す
フローチャート図である。

図４は、実施の形態１における変形ブロックマッチン
グ部21における動作の概要を説明する図である。

図５は、変形ブロックマッチング部21の内部構成図で
ある。

図６は、変形ブロックマッチング部21の動作を表すフ
ローチャート図である。

図７は、図１中の動き補償部９の内部構成図である。

図８は、動き補償部９の動作の様子を表すフローチャ
ート図である。

図９は、前処理部２による画像オブジェクトの分離動
作を説明する図である。

図10は、実施の形態２における動き検出部8bの別の内
部構成図である。

図11は、実施の形態３における動き検出部8cの内部構
成図である。

図12は、変形ブロックマッチング部42における動作の
概要を説明する図である。

図13は、変形ブロックマッチング部42の内部構成図で
ある。

図14は、変形ブロックマッチング部42の動作を表すフ
ローチャート図である。

図15は、実施の形態４における変形ブロックマッチン
グ部42bの動作の概要を説明する図である。

図16は、実施の形態４における変形ブロックマッチン
グ部42bの内部構成図である。

図17は、変形ブロックマッチング部42bの動作を表す
フローチャート図である。

図18は、実施の形態４における他の変形ブロックマッ
チングを説明する図である。

図19は、実施の形態４における他の変形ブロックマッ
チングを説明する図である。

図20は、実施の形態５における対応点決定部34の別の
内部構成図である。

図21は、実施の形態６における変形ブロックマッチン
グを説明する図である。

図22は、実施の形態６における予測画像を構成する整
数画素に対して施すフィルタリングの例を示した図であ
る。

図23は、変形ブロックマッチング部42cの動作の概要
を説明する図である。

図24は、変形ブロックマッチング部42cの内部構成図
である。

図25は、変形ブロックマッチング部42cの動作を表す
フローチャート図である。

図26は、実施の形態６における動き補償部9bの内部構
成図である。

図27は、実施の形態６における動き補償部9bの動作を
表すフローチャート図である。

図28は、実施の形態７における画像復号装置の構成を
示した図である。

図29は、実施の形態７における動き補償部９の内部構
成図である。

図30は、図29の動き補償部９の動作を表すフローチャ
ート図である。

図31は、図29の動き補償部９が行う座標点移動動作を
説明する図である。

図32は、図29の動き補償部９が行う変形処理の例を説
明する図である。

図33は、座標点演算が半画素を求める演算を示す図で
ある。

図34は、変形処理が回転拡大である場合の動作を説明
する図である。

図35は、実施の形態８における画像復号装置の構成を
示す図である。

図36は、実施の形態８における動き補償部90の内部構
成図である。

図37は、図36の動き補償部90の動作を表すフローチャ
ート図である。

図38は、図36の動き補償部90が行う変形処理の例を説
明する図である。

図39は、図36の動き補償部90が行う座標点演算の例を
示す図である。

図40は、実施の形態９における動き補償部中の対応点
決定部37cの動作を表すフローチャート図である。

図41は、実施の形態９における動き補償部が行う変形
処理の例を説明する図である。

図42は、従来例１のブロックマッチングによる動き補
償予測の概念を説明する図である。

図43は、従来例１の画像符号化装置の動き補償予測部
（ブロックマッチング部）の構成を示す図である。

図44は、従来例１の動き補償予測部の動作を表すフロ
ーチャート図である。

図45は、MPEG1ビデオ規格で採用されている動き補償
予測方式の概要を示した図である。

図46は、従来例２のアフィン変換を用いた動き補償予
測の概念を説明する図である。

図47は、従来例２のアフィン変換を用いた動き補償予
測部の構成を示す図である。

図48は、従来例２の動き補償予測部の動作を表すフロ
ーチャート図である。

図49は、図48中のアフィン動きパラメータ検出ステッ
プの詳細を示すフローチャート図である。

図50は、半画素生成部232における半画素値の計算方
法を説明する図である。

図51は、補間演算部231における回転／スケール量の
探索ステップで生じる非整数画素値の算出方法を説明す
る図である。

発明を実施するための最良の形態 なお、請求の範囲に記載された発明は、以下に説明す
る実施の形態8,9に対応している。

実施の形態1. 本発明の符号化装置、復号装置は、具体的には衛星や
地上波、優先通信網を介して行うディジタル画像伝送シ
ステム、ディジタル画像記録装置、ディジタル画像蓄積
データベースと検索・閲覧システムなどに使用される。

図１は、画像符号化装置の基本構成図である。

図において、１は入力ディジタル画像信号、２は前処
理部、３及び13はイントラ（フレーム内）／インター
（フレーム間）符号化選択部、４は直交変換部、５は量
子化部、６は逆量子化部、７は逆直交変換部、８は動き
検出部、９は動き補償部、10はフレームメモリ（参照画
像）、11は動きベクトルを含む動きパラメータ、12は予
測画像データ、14は符号化制御部、15は強制モード指示
フラグ、16はイントラ／インター符号化指示フラグ、17
は量子化ステップ・パラメータ、18はエントロピー符号
化部、19は圧縮画像データである。本発明の重要な要素
は動き検出部８及び動き補償部９である。

以下、発明の実施の形態１における画像符号化装置の
動作を説明する。

本装置は、カラー動画像系列の構成要素である各フレ
ームの画像信号１を入力とし、入力画像信号１はディジ
タル化されて、前処理部２において前処理とフォーマッ
ト変換、ブロックデータへの切り出しを行う。本実施形
態では、ここで切り出されるブロックデータは輝度信号
成分及びそれに空間的に対応する色差信号成分のペアか
ら構成されるものとし、以降、輝度成分を輝度ブロッ
ク、色差成分を色差ブロックと呼ぶ。

次いで、各ブロックデータをフレーム内符号化するか
フレーム間符号化するかをイントラ／インター符号化選
択部３において決定する。イントラ（フレーム内）符号
化が選択された場合は、前処理部２から出力された原画
像データから構成されるブロックデータを直交変換部４
に入力し、インター（フレーム間）符号化が選択された
場合は、前処理部２から出力された原画像データと動き
補償部９から出力される予測画像データ12との差分から
構成される予測誤差ブロックデータを直交変換部４に入
力する。このイントラ／インター・フレーム符号化の選
択は、符号化制御部14からの強制モード指示フラグ15に
よって強制的に行われることもある。選択された符号化
モードは、イントラ／インター符号化指示フラグ16とし
てエントロピー符号化部18に送られ、圧縮画像データで
ある符号化ビットストリーム19に多重化される。

直交変換部４には、例えば、離散コサイン変換（DC
T）などが用いられる。直交変換係数は、量子化部５に
おいて符号化制御部14で算出された量子化ステップ・パ
ラメータ17を用いて量子化され、量子化後の直交変換係
数はエントロピー符号化部18で冗長度を削減した後、符
号化ビットストリーム19に多重化される。同時に、逆量
子化部６で逆量子化され、さらに逆直交変換部７で逆直
交変換されて予測誤差信号が復元される。ここに動き補
償部９から出力される予測画像データ12を加算して、局
所復号画像が生成される。ただし、イントラ／インター
符号化指示フラグ16がイントラモードの場合は、符号化
選択部13で０信号が選択され、予測誤差信号の加算は行
われない。局所復号画像は、次フレーム以降の動き補償
予測の参照画像として用いるため、その内容がフレーム
メモリ10に書き込まれる。

以下、本実施の形態の装置の最も重要な要素の１つで
ある動き補償予測の動作について説明する。

本実施形態においては、前処理部２において切り出さ
れるブロックを動き補償予測における被予測ブロックと
する。動き補償予測処理は、動き検出部８及び動き補償
部９において行われ、動き検出部８において被予測ブロ
ックの動きベクトルを含む動きパラメータ11が検出さ
れ、動き補償部９が動きパラメータ11を用いてフレーム
メモリ10から予測画像データ12を取り出す。動き検出処
理は、輝度ブロックを用いて行い、色差ブロックの動き
補償予測は輝度ブロックの動き検出結果を利用する。以
下では、輝度ブロックの動き補償予測の動作に限定して
説明する。

まず、動き検出処理から説明する。

動き検出処理は、動き検出部８で行われる。動き検出
部８は、参照画像中の所定の範囲内で被予測ブロックの
輝度ブロックに最も類似する領域を探索し、被予測ブロ
ックの画面内位置からの変化を表すパラメータを検出す
る。従来例で述べたブロックマッチングでは、被予測ブ
ロックの輝度ブロックに最も類似するブロックを探索
し、被予測ブロックの画面内位置からの平行移動量を動
きベクトルとして検出する。

本実施形態の動き検出部８は、従来の正方ブロックに
基づくブロックマッチングと、後述する変形ブロックを
用いたブロックマッチングの両方を実行し、より予測精
度の高い方を選択する構成をとる。

以下、本実施の形態における動き検出部８の動作を説
明する。

図２は、図１中の動き検出部８の詳細構成図、図３
は、その動作の様子を示すフローチャートである。

図２において、20はブロックマッチング部、21は変形
ブロックマッチング部、22は動き補償予測モード判定
部、23は変形ブロックマッチングによる動きベクトル、
24は変形ブロックマッチングによる最小予測誤差値、25
は最終動きベクトル、26は動き補償予測モード信号であ
る。最終動きベクトル25及び動き補償予測モード信号26
をひとまとめで表現したものが動きパラメータ11である
とする。

ブロックマッチング部20の内部構成及び動作フローチ
ャートは、従来例で示した図43及び図44と同様である。
また、図３において、D_BMはブロックマッチングによる
最小予測誤差電力の値、D_DEFは変形ブロックマッチン
グによる最小予測誤差電力の値を表す。

図４は、本発明の最重要部位である変形ブロックマッ
チング部21における動作の概要説明図、図５は、変形ブ
ロックマッチング部21の詳細な内部構成図、図６は、変
形ブロックマッチング部21の動作を示すフローチャート
である。

図５において、29は水平方向平行移動量探索範囲指示
信号、30は垂直方向平行移動量探索範囲指示信号、31は
水平方向移動量カウンタ、32は垂直方向移動量カウン
タ、33は新要素である回転量カウンタ、34は同じく新要
素である対応点決定部、35はメモリ読み出しアドレス生
成部である。パターンマッチング部213、最小予測誤差
電力判定部216は、図47に示す構成の対応要素と同一の
動作を行う。

また、図６において、 dxは、水平方向平行移動量探索点、 dyは、水平方向平行移動量探索点、 range_h_minは、水平方向探索範囲下限値、 range_h_maxは、水平方向探索範囲上限値、 range_v_minは、垂直方向探索範囲下限値、 range_v_maxは、垂直方向探索範囲上限値、 D_minは、最小予測誤差電力、 Ｄ（dx,dy）は、dx,dy探索時の予測誤差電力 （x,y）は、被予測ブロック内画素位置、 （rx,ry）は、（x,y）に対する参照画像中の対応点、 （rdx,rdy）は、回転パラメータ、 Ｄ（dx,dy）は、dx,dy探索時の（x,y）における予測
誤差、 ｆ（x,y）は、被予測画像中の画素（x,y）の値、 fr（x,y）は、参照画像中の画素（x,y）の値、 MV_hは、動きベクトル水平成分、 MV_vは、動きベクトル垂直成分、 ixは、水平方向オフセット値（定数）、 iyは、垂直方向オフセット値（定数）、 block_sizeは、被予測ブロックサイズ である。

１）ブロックマッチングによる動きベクトルの検出 ブロックマッチング部20において、従来例で示した手
順と動作で被予測ブロックに対する動きベクトルを求め
る。この結果、動きベクトル217、ブロックマッチング
部20における最小予測誤差電力D_BM218を得る。これ
は、図３におけるS1に相当する。

２）変形ブロックマッチングによる動きベクトルの検出 次いで、変形ブロックマッチング部21において、変形
ブロックマッチングの処理を行う（図３のS2）。

以下、この動作についてさらに詳しく説明する。な
お、以下の説明においては、整数画素を単位とする８×
８画素ブロックを被予測ブロックとして説明を進める。

２−１）処理概要 変形ブロックマッチング部21における処理の概要を図
４に示す。

同図において、被予測画像27は、動き補償予測によっ
て符号化される。例えば、前処理部２中にあるフレーム
（ピクチャ）、参照画像28は、被予測画像27より以前に
符号化されてフレームメモリ10に蓄えられている局所復
号フレーム（ピクチャ）画像とする。各画像内の○は、
フレーム内に実際に存在する輝度信号の実標本点である
整数画素を、×は実標本点間の中点画素である半画素を
示す。被予測画像27の８×８（整数画素）からなる部分
領域を被予測ブロック（の輝度ブロック部分）とし、参
照画像28の□の画素からなるグループが予測画像候補の
変形ブロックを構成するものとする。即ち、図１、図２
の（）表示のフレームメモリ10出力と前処理部２出力の
一部が切り出されて、動き検出部８内の変形ブロックマ
ッチング部21で比較される。

本実施の形態では、参照画像の輝度ブロックを右もし
くは左45度に回転させ、各辺のスケールを した、つまり、参照画像の大きさは被予測画像（入力画
像）と比較する際は、 の距離として、フレームの入力ディジタル画像１の水平
垂直方向の標本点距離と合致させた領域を変形ブロック
として定義する。この領域は、参照画像28の整数画素間
隔の画素点のみから構成されることに特徴がある。即
ち、本実施形態における変形ブロックマッチングは、与
えられた探索範囲内で、図４に示す８×８整数画素から
なる被予測ブロックの輝度ブロックに、最も類似した同
図の変形ブロック領域を参照画像28中から見つける処理
に相当する。

２−２）初期設定（探索範囲の設定、初期値の設定） 被予測ブロックと予測画像候補領域の形状とが異なる
ため、探索に際しては、検出される動きベクトルがどこ
を起点としているかを特定する必要がある。即ち、あら
かじめ被予測ブロックの輝度ブロックの各構成点と予測
画像候補領域の変形ブロックの各構成点とを１対１に対
応させる。

以下では、図４の点線矢印に示すように、あらかじめ
被予測ブロックの左上隅の画素位置と、変形ブロックの
左側頂点とを対応させるものとする。つまり、予測画像
候補画像は参照画像28中の変形ブロックを右45度回転さ
せ、各辺を の長さに修正した部分画像ということになる。この対応
付けを変えれば、回転の方向が変わることになる。この
ように取り決めておくことにより、他の各構成点は一意
に対応がとれる。被予測ブロックの各構成点と予測画像
候補の各構成点が１対１に対応付けられているので、動
き検出はブロックマッチングと同様に実行することがで
きる。

即ち、図４の参照画像28の比較のための部分領域の取
り出し型をパターン化してアドレッシング（座標）で指
定しておき、しかもこの場合には、整数画素が選ばれる
よう指示しておき、このアドレッシング指示された画素
と対応する被予測画像27である原画像データ中の画素と
の誤差を累積して、最小誤差電力を判定している。従っ
て、アドレッシングの指示だけで演算を伴わないので高
速の比較ができ、しかもアドレッシング（座標指定）の
仕方で単純な拡大、縮小だけでなくて回転も、また、回
転と拡大、縮小の同時処理等、フレキシブルな抽出指示
ができる。

具体的には、水平方向平行移動量探索範囲指示信号29
及び垂直方向平行移動量探索範囲指示信号30より、水平
方向移動量カウンタ31及び垂直方向移動量カウンタ32に
対して変形ブロックマッチングの探索範囲を設定する。
最小予測誤差電力判定部216において、最小予測誤差電
力D_minを最大値のMAXINT（例えば、0xFFFFFFFF）にセ
ットする。これは、図６のS4に相当する。

２−３）ブロック変形パラメータの設定 本実施の形態においては、ブロック変形パラメータと
して、図６のS6,S8に示すrdx,rdyを用いる。このパラメ
ータの設定は、回転量カウンタ33が行う。つまり、図４
の参照画像を45度右回転させる関係を定義する。これら
の初期値としてｙの値を与え、以下、ｘがインクリメン
トされるたびにrdxをインクリメント、rdyをデクリメン
トする。これらの処理は、図６におけるS6〜S8に相当す
る。なお、この設定は右回転の設定であり、S6でrdy＝
−ｙ、S8でry＝iy＋（rdy＋＋）と設定すると、左回転
の変形を意味する。なお、S8は、rx＝ix＋（rdx＋
１）、ry＝iy＋（rdy−１）とも表現される。

即ち、S8では、参照画像28から抽出する画素のアドレ
ッシングを指示しており、次の画素であるrx,ryのアド
レスが45度右下方向の次の整数画素を指示している。こ
れをS12でｘのブロックサイズまで繰り返し、S14でｙの
ブロックサイズまで繰り返していることである。このよ
うに、S8のアドレッシングによる抽出画素をS9で誤差比
較し、S10で累積しているので、図６の動作フローにお
いては、一切の演算をしておらず、高速動作ができる。
なお、S10も、Ｄ（dx,dy）＝Ｄ（dx,dy）＋Ｄ（x,y）と
も表現される。同様に、S11,S13,S17,S19は、ｘ＝ｘ＋
１、ｙ＝ｙ＋１とも表現される。これは、以後のフロー
チャートでも同様である。

２−４）予測画像候補画像の読み出し まず、被予測ブロックの輝度ブロック内の位置（x,
y）に対応する参照画像中の対応点rx,ryを決定する。つ
まり、図４の最初の位置間の対応付けを行う。これは対
応点決定部34で行われる。図６のS8に示すように、rx,r
yは、あらかじめ与えられるオフセット値ix,iyに、２−
３）で得られたrdx,rdyを加算することによって得られ
る。次いで、参照画像から（rx＋dx,ry＋dy）だけ離れ
た位置にある参照画像中の画素をフレームメモリから取
り出す。図５におけるメモリ読み出しアドレス生成部35
が水平方向移動量カウンタ31からdxの値を、垂直方向移
動量カウンタ32からdyの値を、対応点決定部34からrx,r
yを受け取り、フレームメモリ中のアドレスを生成す
る。

２−５）予測誤差電力の算出 まず、動きベクトルが（dx,dy）の時の予測誤差電力
Ｄ（dx,dy）をゼロに初期化する。これは、図６のS5に
相当する。２−４）で読み出された画素値と、被予測ブ
ロックの輝度ブロックの対応する位置の画素値との差を
とり、その絶対値をＤ（dx,dy）に累積していく。この
処理をｘ＝ｙ＝block_size（ここでは、block_size＝
８）になるまで繰り返し、（dx,dy）時の予測誤差電力
Ｄ（dx,dy）を得る。この処理は、図５におけるパター
ンマッチング部213が行い、パターンマッチング部213
は、Ｄ（dx,dy）を予測誤差電力信号215によって最小予
測誤差電力判定部216に受け渡す。

以上の処理は、図６におけるS9〜S14の処理に相当す
る。

２−６）最小予測誤差電力値の更新 ２−５）の結果得られたＤ（dx,dy）が、それまでの
探索結果の中で最小の誤差電力を与えるかどうかを判定
する。判定は、図５における最小予測誤差電力判定部21
6が行う。また、図６におけるS15がこの判定処理に相当
する。最小予測誤差電力判定部216は、内部に持つ最小
予測誤差電力D_minの値と、予測誤差電力信号215によっ
て受け渡されるＤ（dx,dy）の大小を比較し、Ｄ（dx,d
y）の方が小さいときに限りD_minの値をＤ（dx,dy）で
更新する。また、そのときの（dx,dy）の値を動きベク
トル候補（MV_h,MV_v）として保持しておく。これらの
更新処理は、図６におけるS16に相当する。

２−７）動きベクトル値の決定 上記２−２）〜２−６）を探索範囲中のすべての（d
x,dy）について繰り返し（図６のS17〜S20）、最終的に
最小予測誤差電力判定部216内に保持されている（MV_h,
MV_v）を動きベクトル23として出力する。

以上のようにして、被予測ブロックに誤差電力最小の
意味で最も類似した予測画像を探し出す。探索の結果、
選ばれた予測画像の起点からの偏移量が変形ブロックマ
ッチングの結果としての動きベクトル23として得られ、
その時の予測誤差電力D_DEF24も保持される。

３）最終動き補償予測モードの判定 次に、動き補償予測モード判定部22において、ブロッ
クマッチング部20で得られた最小予測誤差電力D_BM218
と、変形ブロックマッチング部21で得られた最小予測誤
差電力D_DEF24とを比較し、ブロックマッチングが変形
ブロックマッチングかいずれか小さいほうを最終的な動
き補償モードとして選択する。これは、図３のS3に相当
する。

動き補償予測モード判定部22は、最終的に選択した動
き補償予測モード信号26及び最終動きベクトル25を動き
パラメータ11として動き補償部９及びエントロピー符号
化部18に送る。

次に、動き補償処理について説明する。

動き補償処理は、動き補償部９で行われる。動き補償
部９は、動き検出部８において得られた動きパラメータ
11に基づいて、参照画像中から予測画像を抽出する。本
実施形態の動き補償部９は、従来の正方ブロックに基づ
くブロックマッチングと、特定の変形ブロックを用いた
ブロックマッチングのいずれの動き補償処理もサポート
し、動きパラメータ11中の動き補償予測モードによって
これらの処理を切り替える構成をとる。

以下、本実施の形態における動き補償部９の動作を説
明する。

図７は、図１中の動き補償部９の構成図、図８は、そ
の動作の様子を示すフローチャートである。

図７において、37は新要素である対応点決定部、38は
メモリ読み出しアドレス生成部である。

１）対応点の決定 図８のS21に相当する処理で、被予測ブロックの画面
内位置指示信号206と動き検出部８から送られてくる動
きパラメータ11とから、参照画像28中の予測画像に対応
する標本点を決定する。この処理は、図７における対応
点決定部37において行われる。動きパラメータ11に含ま
れる動き補償予測モードがブロックマッチングを示して
いる時は、対応点は被予測ブロックの画面内位置信号20
6から動きベクトルで指示される量だけ平行移動させた
領域に含まれる標本点となる。この処理は図44における
S204で、（dx,dy）を動きベクトルとした時の参照画像2
8中の位置（ｘ＋dx,y＋dy）を決定する動作に相当す
る。動きパラメータ11に含まれる動き補償予測モードが
変形ブロックマッチングを示している時は、動き検出部
８の説明における２−４）で述べたように、被予測ブロ
ックの画面内位置信号206に各画素位置に応じた回転量
分を加算した後、動きベクトルで指示される量だけ平行
移動させた標本点となる。この処理は図６におけるS9
で、（dx,dy）を動きベクトルとした時の参照画像28中
の位置（rx＋dx,ry＋dy）を決定する動作に相当する。

２）予測画像データの読み出し 図８のS22〜S25に相当する処理で、対応点決定部34の
結果を受けて、メモリ読み出しアドレス生成部38がフレ
ームメモリ10に蓄積される参照画像28中の予測画像位置
を特定するメモリアドレスを生成し、予測画像を読み出
す。

この場合に、予測画像が半画素精度の画素を含んでい
ると、動き補償部９から出力される前に半画素生成部23
2によって半画素値が生成される。これは、図８のS23、
S24に相当する処理で、予測画像が半画素精度の画素を
含むか否かは、対応点決定部37が動きパラメータ11中の
動きベクトル値をもとに識別し、選択スイッチ36に知ら
せる。

図５の変形ブロックマッチング部21の構成では、図４
の説明に対応するように実標本点のみの対応点を生成し
た。しかし、半画素がある場合の構成は、後に説明する
ように図13の半画素生成部232を持つ変形ブロックマッ
チング部42となる。

以上の処理過程を経て、最終的な予測画像データ12が
出力される。なお、上記実施の形態での変形ブロックマ
ッチングとしての回転は、45度の例を説明したが、90
度、135度、180度などは勿論、dxとdyのとり方で他の回
転も実現できる。

また、本実施の形態では、画像フレームを単位とする
画像符号化装置を説明したが、前処理部２において入力
ディジタル画像系列を画像オブジェクト（動きや絵柄な
どの特徴を同じくする部分領域、一つの被写体など）に
分離する処理を行わせ、各画像オブジェクトをそれを包
含するブロック群として定義するようにしておけば、画
像オブジェクトを単位として符号化する装置であっても
この発明を適用することができる。

例えば、図９に示すように、静止した背景の前に人物
像が存在するようなシーンにおいて、人物像を画像オブ
ジェクトとして、図のようにそれを取り囲む外接四角形
内の領域を小ブロックに分割し、画像オブジェクトを含
むブロックを有効ブロックとして符号化するような場合
が考えられる。この場合は、これら有効ブロックに対
し、上記実施の形態で述べた変形ブックマッチングと動
き補償に関して同様の処理を適用する。これは、以下の
実施の形態においても同様である。

本実施形態では、直交変換符号化による符号化装置を
説明したが、動き補償予測誤差信号を別の符号化方式を
用いて符号化する装置であってもこの発明を適用するこ
とができるのは言うまでもない。これは、以下の実施の
形態においても同様である。

実施の形態2. 平行移動による動きベクトルの値から、変形ブロック
マッチング処理の対象となる部分領域の大まかな移動量
が把握できる。変形ブロックマッチングの部分領域の設
定先を、ブロックマッチング部20の探索結果である動き
ベクトル217が示す領域情報を受け、この付近に限定し
て変形して比較すると、処理ステップ及び処理時間を短
縮することができる。本実施の形態では、この構成につ
いて説明する。なお、このことは、以後の他の実施の形
態においても同様である。

本実施の形態は動き検出部８の別の実施形態を示すも
のである。

図10は、本実施形態における動き検出部8bの内部構成
図で、39は変形ブロックマッチング部、40は加算部、41
は探索初期位置指示信号である。なお、変形ブロックマ
ッチング部39は入力206の代わりに探索初期位置指示信
号41を用いるだけで、その他の動作は実施の形態１にお
ける変形ブロックマッチング部21と全く同じである。

大まかな値を得る装置の具体回路を図10に示す。

図10において、変形ブロックマッチング部39に、被予
測ブロックの画面内位置信号206の代わりに、被予測ブ
ロックデータ205にブロックマッチング部20の結果得ら
れた動きベクトル217を加算部40によって加算し、その
加算結果を探索初期位置指示信号41として入力する。ま
た、水平方向平行移動量探索範囲指示信号29及び垂直方
向平行移動量探索範囲指示信号30から設定する探索範囲
は実施の形態１よりも小さめに設定しておく。これによ
り、図６におけるS17〜S20における反復処理を短縮する
ことができる。

実施の形態3. 先の実施の形態では、変形ブロック領域が参照画像28
中の整数画素間隔の画素点のみから構成される場合を説
明した。本実施の形態では、変形ブロック領域が参照画
像28中の半画素間隔の画素点をも含めて構成される場合
を説明する。

本実施形態では、図１における動き検出部８及び動き
補償部９の内部構成が実施の形態１と異なる。また、動
作が異なるのは、動き検出部中の変形ブロックマッチン
グ部及び動き補償部中の対応点決定部だけであり、その
他の部材及び動作は実施の形態１と全く同じである。よ
って以下では、変形ブロックマッチング部の動作とそれ
に対応する動き補償部の動作についてのみ詳しく説明す
る。実施の形態１と同様、動き検出部8cと動き補償部９
とに分けて動作を説明する。

図11は、本実施形態における動き検出部8cの内部構成
図、図12は、本発明の最重要部位の１つである変形ブロ
ックマッチング部42における動作の概要説明図、図13
は、変形ブロックマッチング部42の詳細な内部構成図、
図14は、変形ブロックマッチング部42の動作を示すフロ
ーチャートである。

これらの図において、前記までの図面と同一の番号を
付した要素、ステップは同一の要素、動作を意味するも
のとする。

まず、変形ブロックマッチング部42の動作について説
明する。

１）処理概要 変形ブロックマッチング部42における処理の概要を図
12に示す。

同図において、被予測画像27及び参照画像28は実施の
形態１で定義した通りである。各画像内の○はフレーム
の輝度信号の実標本点（整数画素）を、×は実標本点間
の中点画素（半画素）を示す。被予測画像27の８×８
（整数画素）からなる部分領域を被予測ブロック（の輝
度ブロック部分）とし、参照画像28の□の画素からなる
グループが予測画像候補の変形ブロックを構成するもの
とする。

本実施の形態では、輝度ブロックを右もしくは左45度
に回転させ、各辺のスケールを した、つまり、参照画像の大きさは の距離としてフレームの入力ディジタル画像１の水平垂
直方向の標本点距離と合致させた領域を変形ブロックと
して定義する。この領域は、参照画像28の半画素間隔の
画素点をも含んで構成されることに特徴がある。即ち、
本実施形態における変形ブロックマッチングは、与えら
れた探索範囲内で、図12に示す８×８サンプル（以下サ
ンプルは、整数画素または半画素の意味である）からな
る被予測ブロックの輝度ブロックに最も類似した同図の
変形ブロック領域を参照画像28中から見つける処理に相
当する。

２）初期設定（探索範囲の設定、初期値の設定） 実施の形態１と同様の論理で、あらかじめ被予測ブロ
ックの輝度ブロックの各構成点と予測画像候補領域の変
形ブロックの各構成点とを１対１に対応させる。以下で
は、図12の点線矢印に示すように、あらかじめ被予測ブ
ロックの左上隅の画素位置と、変形ブロックの左側頂点
とを対応させるものとする。同図では、変形ブロック側
の左側頂点が半画素位置にのっているが、これは動きベ
クトルが半画素成分を含む場合を示している。つまり、
予測画像候補画像は参照画像28中の変形ブロックを右45
度回転させ、各辺を の長さに修正した部分画像ということになる。この対応
付けを変えれば回転の方向が変わることになる。このよ
うに取り決めておくことにより、他の各構成点は一意に
対応がとれる。被予測ブロックの各構成点と予測画像候
補の各構成点が１対１に対応付けられているので、動き
検出はブロックマッチングと同様に実行することができ
る。実際の装置における探索範囲の設定の動作は、実施
の形態１と同じで、図13における必要な要素を用いて設
定する。この動作は、図14ではS26のステップに相当す
る。

３）ブロック変形パラメータの設定 本実施形態においては、実施の形態１と同様、ブロッ
ク変形パラメータとして図14に示すrdx,rdyを用いる。
このパラメータの設定は、回転量カウンタ45が行う。こ
れらの初期値としてｙの値を与え、以下ｘが１ずつイン
クリメントされるたびに、rdxを0.5ずつインクリメン
ト、rdyを0.5ずつデクリメントする。これらの処理は、
図14におけるS28〜S30に相当する。この設定は右回転の
設定となり、S28でrdy＝−ｙ、S30でry＝iy＋（rdy＋＝
0.5）と設定すると、左回転の変形を意味する。

４）予測画像候補画像の読み出し まず、被予測ブロックの輝度ブロック内の位置（x,
y）に対応する参照画像中の対応点rx,ryを決定する。こ
れは、対応点決定部46で行われる。図14のS30に示すよ
うに、rx,ryはあらかじめ与えられるオフセット値ix,iy
に３）で得られたrdx,rdyを加算することによって得ら
れる。

次いで、参照画像から（rx＋dx,ry＋dy）だけ離れた
位置にある参照画像中の画素をフレームメモリから取り
出す。図13におけるメモリ読み出しアドレス生成部47が
水平方向移動量カウンタ31からdxの値を、垂直方向平行
移動量カウンタ32からdyの値を、対応点決定部46からr
x,ryを受け取り、フレームメモリ中のアドレスを生成す
る。また、図14のS31において読み出されたデータは、
必要に応じて半画素生成部232において半画素値を生成
するために使用される。

５）予測誤差電力の算出 まず、動きベクトルが（dx,dy）の時の予測誤差電力
Ｄ（dx,dy）をゼロに初期化する。これは、図14のS27に
相当する。４）で読み出された画素値と、被予測ブロッ
クの輝度ブロックの対応する位置の画素値との差をと
り、その絶対値をＤ（dx,dy）に累積していく。この処
理をｘ＝ｙ＝block_size（ここではblock_size＝８）に
なるまで繰り返し、（dx,dy）時の予測誤差電力Ｄ（dx,
dy）を得る。この処理は、図13におけるパターンマッチ
ング部213が行い、パターンマッチング部213はＤ（dx,d
y）を予測誤差電力信号215によって最小予測誤差電力判
定部216に受け渡す。ここでの処理は、図14におけるS32
〜S37の処理に相当する。

６）最小予測誤差電力値の更新 ５）の結果得られたＤ（dx,dy）が、それまでの探索
結果の中で最小の誤差電力を与えるかどうかを判定す
る。判定は、図13における最小予測誤差電力判定部216
が行う。また、図14におけるS38がこの判定処理に相当
する。判定処理は実施の形態１と全く同じであり、その
ときの（dx,dy）の値を動きベクトル候補（MV_h,MV_v）
として保持しておく。この更新処理は、図14におけるS3
9に相当する。

７）動きベクトル値の決定 上記２）〜６）を探索範囲中のすべての（dx,dy）に
ついて繰り返し（図14のS40〜S43）、最終的に最小予測
誤差電力判定部216内に保持されている（MV_h,MV_v）を
動きベクトル43として出力する。

以上のようにして、被予測ブロックに誤差電力最小の
意味で最も類似した予測画像を探し出す。探索の結果、
選ばれた予測画像の起点からの偏移量が変形ブロックマ
ッチングの結果としての動きベクトル43として得られ、
その時の予測誤差電力D_DEF44も保持される。

上記動きベクトル43、予測誤差電力D_DEF44が最終的
な動き補償モード判定に用いられ、最終的な動き補償モ
ードが決定される。この決定方法は、実施の形態１と全
く同じである。

次に、動き補償処理について説明する。

動き補償処理は、動き補償部９で行われる。本実施の
形態では、対応点決定部37の動作のみが実施の形態１と
異なるので、その部分だけを説明する。動き補償の全体
的なフローチャートは、図８に準じる。

本実施形態においては、対応点の決定は以下のように
行う。

動きパラメータ11に含まれる動き補償予測モードがブ
ロックマッチングを示している時は、対応点は被予測ブ
ロックの画面内位置信号206から動きベクトルで指示さ
れる量だけ平行移動させた領域に含まれる標本点とな
る。この処理は、図44におけるS204で、（dx,dy）を動
きベクトルとした時の参照画像28中の位置（ｘ＋dx,y＋
dy）を決定する動作に相当する。

動きパラメータ11に含まれる動き補償予測モードが変
形ブロックマッチングを示している時は、動き検出部８
の説明における４）で述べたように、被予測ブロックの
画面内位置信号206に各画素位置に応じた回転量分を加
算した後、動きベクトルで指示される量だけ平行移動さ
せた領域に含まれる標本点となる。この処理は、図14に
おけるS32で、（dx,dy）を動きベクトルとした時の参照
画像28中の位置（rx＋dx,ry＋dy）を決定する動作に相
当する。

以下の予測画像データの読み出し、予測画像の生成に
ついては、実施の形態１に準ずる。

実施の形態4. 本実施の形態は、被予測ブロックの面積が単純に縮小
される変形ブロックを用いる場合について説明する。ま
た、説明は省略するが単純な拡大も同じである。こうし
て、より単純な変形ブロックマッチングと動き補償につ
いて述べる。

以下では、上記実施形態と動作の異なる動き検出部中
の変形ブロックマッチング部42b及び動き補償部中の対
応点決定部の動作についてのみ、図16を参照しながら詳
しく説明する。なお、説明の混乱を避けるため、変形ブ
ロックマッチング部42bは、図13における変形ブロック
マッチング部42のバリエーションであるとし、その入力
は全く同じであり、出力は動きベクトル43ならびに予測
誤差電力44のバリエーションであるものとする。また、
動き補償部９中の対応点決定部についても、図７におけ
る対応点決定部37のバリエーションであるものとする。
よって、以下では、本実施形態の変形ブロックマッチン
グ部の番号は42bとして、対応点決定部の番号は37とし
て説明を進める。

図15は、本実施の形態における変形ブロックマッチン
グ部42bにおける動作の概要説明図、図16は、変形ブロ
ックマッチング部42bの詳細な内部構成図、図17は、変
形ブロックマッチング部42bの動作を示すフローチャー
トである。

これらの図において、前記までの図面と同一の番号を
付した要素、ステップは同一の要素、動作を意味するも
のとする。

まず、変形ブロックマッチング部42bの動作について
説明する。

１）処理概要 変形ブロックマッチング部42bにおける処理の概要を
図15に示す。被予測画像27及び参照画像28、各画像内の
印の説明は前述の通りである。本実施の形態では、輝度
ブロックの各辺を単純に1/2倍した縮小領域を変形ブロ
ックとして定義する。本実施の形態における変形ブロッ
クマッチングは、与えられた探索範囲内で、図15に示す
８×８サンプルからなる被予測ブロックの輝度ブロック
に最も類似した同図の変形ブロック領域を参照画像28中
から見つける処理に相当する。

２）初期設定（探索範囲の設定、初期値の設定） 実施の形態１と同様の論理で、あらかじめ被予測ブロ
ックの輝度ブロックの各構成点と予測画像候補領域の変
形ブロックの各構成点とを１対１に対応させる。本実施
形態では、図15の点線矢印に示すように、あらかじめ被
予測ブロックの左上隅の画素位置と、変形ブロックの左
上隅の画素位置とを対応させる。被予測ブロックの各構
成点と予測画像候補の各構成点が１対１に対応付けられ
ているので、動き検出はブロックマッチングと同様に実
行することができる。実際の装置における探索範囲の設
定の動作は実施の形態１と同じで、図16における必要な
要素を用いて設定する。この動作は、図17では、S44の
ステップに相当する。

３）予測画像候補画像の読み出し 本実施の形態においては、特定のブロック変形パラメ
ータは用いず、図17のS47に示すように、水平垂直各成
分のオフセット値ix,iyに、x/2,y/2の値を加算すること
によってx,yの対応点sx,syを得る。この対応点は対応点
決定部48で行われる。次いで、参照画像から（sx＋dx,s
y＋dy）だけ離れた位置にある参照画像中の画素をフレ
ームメモリから取り出す。図16におけるメモリ読み出し
アドレス生成部49が水平方向移動量カウンタ31からdxの
値を、垂直方向平行移動量カウンタ32からdyの値を、対
応点決定部48からsx,syを受け取り、フレームメモリ中
のアドレスを生成する。また、図17のS48で読み出され
たデータは必要に応じて半画素生成部232において半画
素値を生成するために使用される。

４）予測誤差電力の算出 まず、動きベクトルが（dx,dy）の時の予測誤差電力
Ｄ（dx,dy）をゼロに初期化する。これは図17のS45に相
当する。３）で読み出された画素値と、被予測ブロック
の輝度ブロックの対応する位置の画素値との差をとり、
その絶対値をS50でＤ（dx,dy）に累積していく。この処
理をｘ＝ｙ＝block_size（ここでは、block_size＝８）
になるまでS52,S54で繰り返し、（dx,dy）時の予測誤差
電力Ｄ（dx,dy）を得る。この処理は、図16におけるパ
ターンマッチング部213が行い、パターンマッチング部2
13は、Ｄ（dx,dy）を予測誤差電力信号215によって最小
予測誤差電力判定部216に受け渡す。ここでの処理は、
図17におけるS49〜S54の処理に相当する。

５）最小予測誤差電力値の更新 ４）の結果得られたＤ（dx,dy）が、それまでの探索
結果の中で最小の誤差電力を与えるかどうかを判定す
る。判定は、図16における最小予測誤差電力判定部216
が行う。また、図17におけるS55がこの判定処理に相当
する。判定処理は、実施の形態１と全く同じであり、そ
のときの（dx,dy）の値を動きベクトル候補として保持
しておく。この更新処理は、図17におけるS56に相当す
る。

６）動きベクトル値の決定 上記２）〜５）を図17のS57〜S60で探索範囲中のすべ
ての（dx,dy）について繰り返し、最終的に最小予測誤
差電力判定部216内に保持されている（dx,dy）を動きベ
クトル43として出力する。

以上のようにして、被予測ブロックに誤差電力最小の
意味で最も類似した予測画像を探し出す。探索の結果、
選ばれた予測画像の起点からの偏移量が変形ブロックマ
ッチングの結果としての動きベクトル43として得られ、
その時の予測誤差電力D_DEF44も保持される。

上記動きベクトル43、予測誤差電力D_DEF44が最終的
な動き補償モード判定に用いられ、最終的な動き補償モ
ードが決定される。この決定方法は、実施の形態１と全
く同じである。

次に、動き補償処理について説明する。

動き補償処理は動き補償部９で行われる。本実施形態
では、対応点決定部37の動作のみが実施の形態１と異な
るので、その部分だけを説明する。動き補償の全体的な
フローチャートは、図８に準ずる。

本実施形態においては、対応点の決定は以下のように
行う。

動きパラメータ11に含まれる動き補償予測モードがブ
ロックマッチングを示している時は、対応点は被予測ブ
ロックの画面内位置信号206から動きベクトルで指示さ
れる量だけ平行移動させた領域に含まれる標本点とな
る。この処理は、図44におけるS204で、（dx,dy）を動
きベクトルとした時の参照画像28中の位置（ｘ＋dx,y＋
dy）を決定する動作に相当する。

動きパラメータ11に含まれる動き補償予測モードが変
形ブロックマッチングを示している時は、被予測ブロッ
クの画面内位置信号206に各画素位置に応じた編移量分
を加算した後、動きベクトルで指示される量だけ平行移
動させた領域に含まれる標本点となる。この処理は、図
17におけるS47で、（dx,dy）を動きベクトルとした時の
参照画像28中の位置（sx＋dx,sy＋dy）を決定する動作
に相当する。以下の予測画像データの読み出し、予測画
像の生成については、実施の形態１に準ずる。

上記各実施の形態における変形ブロックは、１）被予
測ブロックと予測画像の各構成画素位置の１対１の対応
付けが行われている、２）参照画像側の対応画素点が整
数画素間隔で構成されるという２つの前提のもとであれ
ば、どのような形状をもとり得る。例えば、図18や図19
に示すような形状を考えることもできる。更に、片方の
み半分に縮小というだけでなく、それぞれの辺を独立に
任意の比率で縮小、拡大すれば各種の形状に変形してブ
ロックマッチングができる。こうして、あらかじめ様々
な形状を定義しておくことにより、最も良好な予測結果
が得られる変形ブロックを選択するように構成すること
ができる。このときは、選択された変形ブロックの種類
を動きパラメータ11の中に含めてエントロピー符号化部
18に送ればよい。

上記各実施の形態によれば、半画素精度の補間画素値
の生成だけで、アフィン変換のように複雑な演算による
補間画素値を生成することなく回転及び縮小スケーリン
グを含む動き補償を行うことができ、平行移動量である
動きベクトルだけでなく予測誤差を最小にできない、つ
まり、予測がうまく的中しないような部分画像について
も、良好な予測を行うことができる。

なお、上記の各実施の形態では、予め用意される固定
点として、整数画素、または半画素の場合を説明した
が、例えば、1:3等、他の割合の中間点の画素を比較対
象用として用意してもよい。この場合でも、従来のアフ
ィン変換の場合と異なり、比較処理動作中の補間処理が
不要であり、それだけ処理規模を小さくでき、高速処理
が可能となる。

実施の形態5. 上記各実施の形態においては、画素ごとにブロック変
形パラメータのカウント処理、もしくはそれに相当する
座標変換処理を行う構成となっていたが、この画素ごと
の座標変換値をあらかじめROMなどの変形パターンテー
ブルとして用意しておき、被予測ブロックの各画素位置
に応じてテーブルから引き出した変換値をもとに対応点
を決定する構成をとることもできる。こうすることで、
演算式では表現しにくい任意の対応関係を持つ変形ブロ
ックマッチングと動き補償が効果的にできる。

例えば、実施の形態１を例にとる。

図20は、図５における対応点決定部34の別の内部構成
図であり、本実施の形態を実現する構成（対応点決定部
34b）を示している。実施の形態１の具体的な動作を示
す図６におけるS8で、パラメータrdx,rdyの値をインク
リメントあるいはデクリメント演算する代わりに、x,y
に対応するrdx,rdyの値をROMとして持っておき、そこか
らx,yの値に応じて対応点rx,ryを引き出すことによって
求めることができる。この場合、図５における回転量カ
ウンタ33は不要となり、図20に示すように、対応点決定
部34b内にROMテーブル（変形パターンテーブル100）を
持たせる構成で実現できる。対応点決定部34bは、被予
測ブロックの各画素位置（x,y）によって変形パターン
テーブル100から変形パラメータrdx,rdyの値を引き出
し、これを加算部110で加算することによって対応点を
決定する。そして、メモリ読み出しアドレス生成部35に
向けて出力する。これは、上記の他の実施の形態でも同
様である。こうして、若干のROMメモリ（変形パターン
テーブル100）への追加だけで、対応点の演算処理を行
う要素を削除して回路を簡略化し、かつ対応点演算処理
量を削減することができる。また、図21に示すような簡
単な数式では表現できない変形をサポートすることも可
能になり、より豊富な変形パターンライブラリが考えら
れることになる。

実施の形態6. 本実施の形態では、上記各実施の形態で示したような
方法によって変形ブロックとして切り出される予測画像
中の周波数特性を均一にし、被予測ブロックの予測を行
う際のミスマッチを低減する符号化装置について説明す
る。

予測画像が整数画素空間及び半画素空間に存在する画
素値から構成される場合、整数画素と半画素では空間周
波数特性が異なる。一方、被予測ブロックはすべて整数
画素空間の画素から構成されているので、この特性の違
いが予測時のミスマッチの要因になることが考えられ
る。そこで本実施の形態では、上記各実施の形態で述べ
た変形ブロックの定義と同様の定義を行った後、整数画
素空間上の画素に対してフィルタリングを行う。

半画素空間上の画素は、周辺の整数画素に対して［1/
2、1/2］のフィルタリングを行うことによって生成され
る。即ち、cos（ωt/2）の特性を持つローパスフィルタ
が施されることになる。上記各実施の形態で定義した予
測画像は、フィルタの施されていない整数画素と、上記
フィルタリングによって生成される半画素精度の画素と
が混在しており、予測画像内の空間周波数特性にばらつ
きがある。このばらつきが原因で予測精度が落ちる場合
には、以下に述べるように、整数画素に対しても同等の
特性を持つフィルタを施せば効果的である。

図22は、フィルタリングの例を示したもので、ここで
は整数画素について式（７）に示す、［1/8、6/8、1/
8］のローパスフィルタＦを施す例を示している。

（x,y）＝F_y［F_x［Ｉ（x,y）］］ Ｆ［Ｉ（ｎ）］＝（Ｉ（ｎ−１）＋６＊Ｉ（ｎ） ＋Ｉ（ｎ＋１））/8 （７） このフィルタの特性は｛cos（ωt/2）｝２であり、予
測画像内の空間周波数特性のばらつきが緩和される。こ
のようなフィルタ処理の後、上記各実施の形態と同様、
被予測ブロックの各点と予測画像の各点との１対対応付
け、探索、動きベクトルの決定、モード判定を行う。

具体的な装置構成と動作について説明する。

本実施の形態では、これまでの実施形態とは、変形ブ
ロックマッチング部と動き補償部が異なる。以下では、
変形ブロックの定義は実施の形態４に基づく単純縮小パ
ターンとし、変形ブロックマッチング部の内部構成は動
き検出部8cの中の変形ブロックマッチング部42のバリエ
ーション、動き補償部も動き補償部９のバリエーション
として考える。したがって、以下の説明においては、変
形ブロックマッチングの番号は42cとし、動き補償部の
番号は9bとして説明を進める。

図23は、本実施形態における変形ブロックマッチング
部42cの動作の概要説明図、図24は、変形ブロックマッ
チング部42cの詳細な内部構成図、図25は、本実施の形
態における変形ブロックマッチング部42cの動作を示す
フローチャートである。

これらの図において、前記までの図面と同一の番号を
付した要素、ステップは同一要素、動作を意味するもの
とする。

まず、変形ブロックマッチング部42cの動作について
説明する。実施の形態４と同じ動作の記述は省略する。

１）処理概要 変形ブロックの定義については実施の形態４と全く同
じであるが、本実施の形態では、整数画素位置の画素に
対してフィルタリングを行うことが異なる。即ち、図23
のように、参照画像中にフィルタ処理対象画素として△
の画素が定義されており、変形ブロックは△及び□で示
す画素から構成される。

２）初期設定（探索範囲の設定、初期値の設定） 実施の形態４と全く同じである。

３）予測画像候補画像の読み出し 被予測ブロック内の位置x,yの画素に対応する対応点s
x,syを得る方法は、実施の形態４と全く同じである。次
いで、参照画像から（sx＋dx,sy＋dy）だけ離れた位置
にある参照画像中の画素をフレームメモリから取り出
す。この際、sx＋dx,sy＋dyに対応する画素位置が整数
画素空間上にあるか半画素空間上にあるかを判定する。
これは、単にsx＋dx,sy＋dyがそれぞれ半画素成分を持
つかどうかで判定できる。この判定は、図24における対
応点決定部48において行う。図25では、S61のステップ
に相当する。ここで、半画素空間にあると判定された場
合は、半画素生成部232において半画素値が生成され
る。また、整数画素空間にあると判定された場合は、フ
ィルタ部50において図22に示したフィルタリングを施
す。これは、図25におけるS62のステップに相当する。

４）予測誤差電力の算出 ５）最小予測誤差電力値の更新 ６）動きベクトル値の決定 実施の形態４と全く同じである。

次に、動き補償処理について説明する。

動き補償処理は動き補償部9bで行われる。

図26は、本実施形態における動き補償部9bの内部構成
図、図27は、本実施の形態における動き補償部9bの動作
を示すフローチャートである。

本実施の形態では、図７に示す動き補償部９に比べ、
フィルタ部50が加えられていることに特徴がある。対応
点決定部37は、実施の形態４で示したものと全く同じ動
作をする。動きパラメータ11に含まれる動き補償予測モ
ードがブロックマッチングを示している時は、対応点は
被予測ブロックの画面内位置信号206から動きベクトル
で指示される量だけ平行移動させた領域に含まれる標本
点とする。この処理は、図44におけるS204で、（dx,d
y）を動きベクトルとした時の参照画像28中の位置（ｘ
＋dx,y＋dy）を決定する動作に相当する。

動きパラメータ11に含まれる動き補償予測モードが変
形ブロックマッチングを示している時は、被予測ブロッ
クの画面内位置信号206に各画素位置に応じた編移量分
を加算した後、動きベクトルで指示される量だけ平行移
動させた領域に含まれる標本点となる。この処理は、図
17におけるS47で、（dx,dy）を動きベクトルとした時の
参照画像28中の位置（sx＋dx,sy＋dy）を決定する動作
に相当する。いずれの場合でも、各画素ごとに半画素空
間上にあるか否かを判定し、整数画素空間上にある画素
については、上述の変形ブロックマッチング部の予測画
像生成処理と全く同じように、図22に示すフィルタリン
グを施す。フィルタリングは、フィルタ部で行う。以下
の予測画像データの読み出し、予測画像の生成について
は、実施の形態１に準ずる。

本実施の形態における変形ブロックマッチング部42c
は、フィルタを施さない場合の予測画像、及びフィルタ
Ｆを施した場合の予測画像のそれぞれの場合について独
立に探索を行って、その結果を動き補償予測モード判定
部22に送ってもよいし、フィルタＦを施さない場合のみ
探索を行い、その結果だけに対してフィルタＦを施して
良好な結果を選択するようにしてもよい。

このように、フィルタＦを適応的にON/OFFする機構を
設ける場合は、動きパラメータ11の中にフィルタON/OFF
の情報も含める。

本実施の形態によれば、整数画素値へのフィルタリン
グだけで予測画像内の空間周波数のばらつきを除くこと
ができ、平行移動量である動きベクトルだけでは予測誤
差を最小にできない、つまり、予測がうまく的中しない
ような部分画像についても、良好な予測を行うことがで
きる。

実施の形態7. 図28は、この実施の形態における画像の予測方式を用
いて圧縮符号化されたディジタル画像を伸長再生する画
像復号装置の構成を示したものである。ここでは、実施
の形態１に示す画像符号化装置によって生成される圧縮
画像データ（以下、ビットストリーム）19を受信して伸
長再生を行う画像復号装置として説明する。

図28において、51はエントロピー復号部、６は逆量子
化部、７は逆直交変換部、53は復号加算部、54はフレー
ムメモリ、56は表示制御部である。

本発明の復号装置は、動き補償部９の構成と動作に特
徴があり、動き補償部９以外の上記の各要素について構
成とその動作は既に知られているので、詳細説明は省略
する。動き補償部９は、図１における動き補償部９と同
一であることを示す。つまり、その内部構成図は、図７
に示した内部構成図と同一であり、その動作フローチャ
ートは、図８に示した動作フローチャートと同一であ
る。

以下、上記構成の装置の動作を説明する。

まず、エントロピー復号部51においてビットストリー
ムが解析され、個々の符号化データに切り分けられる。
量子化直交変換係数52は逆量子化部６に送られ、量子化
ステップ・パラメータ17を用いて逆量子化される。この
結果が逆直交変換部７において逆直交変換され、復号加
算部53に送られる。逆直交変換部は、DCT等、符号化装
置で用いるものと同じものを用いる。

動き補償部９には、動きパラメータ11として、次の３
種の情報が送られる。即ち、エントロピー復号部51でビ
ットストリームから復号された動きベクトル25、変形パ
ターン情報26aと、被予測画像領域（本実施の形態で
は、固定サイズブロック）の画面内位置を示す情報27a
が入力される。この際、動きベクトル25、被予測画像領
域の画面内位置27aは、被予測画像領域毎に固有の値で
あるが、変形パターン情報26aは、被予測画像領域毎に
固有の値であっても、被予測画像領域を複数まとめたよ
り大きな画像（例えば、画像フレームやISO/IEC JTC1/
SC29/WG11に開示されるVOPなど）毎に符号化されてい
て、その単位に含まれる全ての被予測画像領域について
同じ変形パターン情報を用いるように符号化されていて
もよい。動き補償部９は、これらの３種類の情報に従っ
てフレームメモリ54中の参照画像から予測画像データ12
を取り出す。予測画像生成の処理については、動き補償
部９の動作説明の箇所で述べる。

動き補償部９には、エントロピー復号部51で復号され
た動きパラメータ11が送られる。

動き補償部９は、これらの動きパラメータ11にしたが
ってフレームメモリ54中の参照画像から予測画像データ
12を取り出す。この発明による画像の予測方式は、被予
測ブロックを構成する画素と予測画像を構成する画素が
１対１に対応しているので、従来のブロックマッチング
における動き補償と同様、動きパラメータ11によって予
測画像領域が一意に決定される。

復号加算部53は、イントラ／インター符号化指示フラ
グ16の値に基づいて、イントラ符号化ブロックならば、
逆直交変換部の出力をそのまま復号画像55として出力
し、インター符号化ブロックなら、逆直交変換部の出力
に予測画像データ12を加算して復号画像55として出力す
る。復号画像55は表示制御部56に送られ、図示していな
い表示デバイスに出力されるともに、以降のフレームの
復号処理において参照画像として用いるために、フレー
ムメモリ54に書き込まれる。

次に、動き補償部９における予測画像生成処理につい
て説明する。

本実施の形態では、画像の予測方式は、被予測画像領
域を構成する画素と予測画像を構成する画素の位置の対
応が予め変形パターン情報26aによって規定されている
ので、動きベクトル25による変位と変形パターン情報26
aによる位置補正に基づく簡単なアドレス計算と内挿処
理とによって予測画像が生成される。

動き補償部９の内部構成を図29に示す。

同図において、37は対応点決定部、38はメモリ読み出
しアドレス生成部である。

また、図30は、その動作を示すフローチャートであ
る。

また、図31は、動きベクトルにより参照画像から切り
出されて指定された量だけ、被予測画像の座標位置に移
動する動きを説明する図、図32は、移動先で更に指定さ
れた変形パターンでアドレッシングを行う動作を説明す
る図である。

いずれの図においても、○は整数画素、×は半画素の
位置を示すものとする。

以下、図29及び図30をもとに、本実施の形態における
動き補償部９の動作を説明する。

１）対応点の決定 まず、対応点決定部37において、入力される動きベク
トル25、変形パターン情報26aに基づき、被予測画像領
域内の各画素に対応する予測画像のサンプル位置を算出
する。まず、動きベクトル25に基づき、被予測画像の現
在位置に対する予測画像の基準位置を決定する。この処
理は、図31に示すように、被予測画像の画面内位置27a
を（i,j）、動きベクトル25を（dx,dy）としたとき、
（i',j'）＝（ｉ＋dx,j＋dy）を定めることに相当する
（図30のS71）。

次いで、変形パターン情報26aに基づいて座標点（i',
j'）を補正し、最終的な予測画像のサンプル位置を求め
る。図32は、変形パターン情報26aが「縦横1/2縮小」を
示す場合の例を示している。この変形パターンによれ
ば、予測画像の実効面積は、被予測画像領域の画面中に
占める実効面積の1/4になる。つまり、予測画像が被予
測画像領域に対して縮小される形となり、これにより、
画面中で拡大を伴う動きなどの予測を効率化できる。具
体的な位置補正の処理しては、参照画像中の位置（i',
j'）に対応する補正位置（i",j"）を求める。これは、
次の演算で実現できる（図30のS72）。

なお、図32では、block_width＝block_height＝４の
場合、つまり、画素数が４×４を１ブロックとした場合
を示しているが、これらは任意の正の整数、つまり、任
意の画素数の高さと幅のブロックを取り得る。

以上によって求めた座標点（i",j"）が、（i,j）に対
応する予測画像サンプル位置として出力される。

２）予測画像生成用データの読み出し 対応点決定部37から出力される予測画像サンプル位置
をもとに、メモリ読み出しアドレス生成部38がフレーム
メモリ54に蓄積されている参照画像中の予測画像生成に
必要な画像データの位置を特定するメモリアドレスを生
成し、予測画像生成用データを読み出す。

３）予測画像の生成 予測画像を生成する画素の内、整数画素位置の座標値
のみをアドレッシングする場合は、予測画像生成用デー
タがそのまま予測画像構成画素となる。一方、半画素精
度の位置の座標値がアドレッシングされた場合、半画素
生成部232によって予測画像生成用データの内挿処理が
されて、半画素値が生成される。具体的に、半画素値の
生成は、図33による。図33の方法は、単に加算２分演算
であり、符号化装置の実施の形態１で説明した半画素生
成部232のフロー図である図８のS24を、再び説明したも
のである。

なお、上記図32による動き補償部９の動作を説明した
が、変形パターン情報が図32とは異なる内容を含んでい
る場合には、変形処理が異なってくる。

他の変形パターンの例として、図34の場合を説明す
る。この場合、変形後の（i",j"）は、以下のようにし
て求められる。

このように、変形パターン情報が変形ブロックをどの
ように切り出すかを取り決めておけば、それに基づいて
簡単なアドレッシングで変形処理した動き補償を行った
復号ができる。

以上のように、本実施の形態の画像復号装置によれ
ば、予め変形パターンを用意しておき、対応するモード
情報に従って簡単なサンプル位置の計算を行うだけで、
平行移動では追跡しきれない複雑な動きを効率よく予測
して符号化されたビットストリームから再生画像を得る
ことができる。

本実施の形態では、直交変換符号化以外の別の符号化
方式によって予測誤差信号を符号化したビットストリー
ムであっても、動き補償部９以外の予測誤差信号復号処
理のための要素を変更することで、同様の効果を得るこ
とができる。

また、本実施の形態では、固定サイズブロックを単位
として復号処理を行う例について述べたが、これは通常
のテレビ信号のフレームを単位とする復号装置に適用で
きるだけでなく、固定サイズブロックから構成される任
意形状画像オブジェクト（例:ISO/IEC JTCI/SC29/WG11
/N1796で開示されるVideo Object Planeなど）を単位
とする復号装置にも適用可能である。例えば、実施の形
態１で述べた図９に示すように、静止した背景の前に人
物像が存在するようなシーンにおいて、人物像を１つの
画像オブジェクトとして、それを取り囲む外接四角形内
の領域を小ブロックに分割し、画像オブジェクトを含む
ブロックを有効ブロックとして符号化されたビットスト
リームを復号する場合が考えられる。この場合は、これ
ら有効ブロックに対して同様の処理を適用すればよい。

実施の形態8. 実施の形態７の画像復号装置は、実施の形態１ないし
６の画像符号化装置に対応した整数画素又は半画素のみ
を用いてアドレッシング（座標指定）するだけで、予め
決められた変形処理をして動き補償を行う装置を説明し
た。本実施の形態では、アドレッシングの際に、半画素
生成以外の演算を行って、より精密な動き補償を行う画
像復号装置を説明する。

図35は、本実施の形態における圧縮符号化されたディ
ジタル画像を伸長再生する画像復号装置の構成を示した
ものである。

同図において、90は動き補償部、25bは０〜４本の動
きベクトル、60は内挿処理精度指示情報である。

また、図36は、動き補償部90の内部構成図である。

図において、37bは動きパラメータとして、図35に示
された動きベクトル25b、変形パターン情報26a、被予測
画像領域の画面内位置27a及び内挿処理精度指示情報60
を入力として対応点を決める対応点決定部であり、232b
は演算によって内挿した座標位置を求める内挿処理部で
ある。この際、被予測画像領域の画面内位置27aは、被
予測画像領域毎に固有の値であるが、動きベクトル25b
と変形パターン情報26aは、被予測画像領域毎に固有の
値であっても、被予測画像領域を複数まとめたより大き
な画像（例えば、画像フレームやISO/IEC JTC1/SC29/W
G11に開示されるVOPなど）毎に符号化されていて、その
単位に含まれる全ての被予測画像領域について同じ動き
ベクトルと変形パターン情報を用いるように符号化され
ていてもよい。

また、図37は、図36の動き補償部の動作フローチャー
ト、図38は、同じく動作を説明する図である。

以下、上記構成の装置の動作を説明する。

本実施の形態においては、従来の動きベクトルが該当
ブロックを代表する１本のみであったのに対して、参照
画像のブロックの四角の頂点４本までが入力され、それ
に対応して、まず、座標位置が後に対応点の決定の動作
で説明する演算で求められる。更に、その求まった座標
位置を内挿処理指示情報で丸め込んで座標位置を確定す
る。

動き補償部90以外の部分の動作は、実施の形態７の装
置と同様である。即ち、エントロピー復号部51におい
て、ビットストリームが解析され、個々の符号化データ
に切り分けられる。量子化直交変換係数52は、量子化ス
テップ・パラメータ17を用いて逆量子化部６、逆直交変
換部７で復号処理され、復号加算部53に送られる。復号
加算部53は、イントラ／インター符号化指示フラグ16の
値に基づいて、イントラ符号化ブロック、インター符号
化ブロックの区別に応じて予測画像データ12をそのまま
又は加算して復号画像55として出力する。復号画像55
は、表示制御部56に送られ、表示デバイスに出力され、
また、参照画像としてフレームメモリ54に書き込まれ
る。

以下、動き補償部90における予測画像生成処理につい
て説明する。

本実施の形態では、変形パターン情報26aに従って、
必要な本数の動きベクトル25bを用いて変形に必要な変
換式を得て、その変換式によって被予測画像領域の各画
素に対応する予測画像構成画素のサンプル位置を決定し
た後、内挿処理精度指示情報で定められた画素精度に従
った簡単な内挿処理によって予測画像が生成される。

以下、図36ないし図38をもとに、本実施の形態におけ
る動き補償部90の動作を説明する。

１）対応点の決定 対応点決定部37bにおいて、入力される動きベクトル2
5b、変形パターン情報26aに基づき、被予測画像領域内
の各画素に対応する予測画像のサンプルすべき座標位置
を算出する。図38のように、ここでは動きベクトル25b
は、被予測画像領域の外接四角形の各頂点の４つの動き
ベクトルとする。まず、変形パターン情報26aに対応し
て変形に必要な変換式を得る。例えば、以下のような変
換式を用いる。

１−１）動きがなく、静止状態（必要な動きベクトルの
本数:0本） （i',j'）＝（i,j） （９） １−２）平行移動（必要な動きベクトルの本数:1本） （i',j'）＝（ｉ＋dx0,j＋dy0） （10） １−３）等方変換（必要な動きベクトルの本数:2本） 但し、 （x0,y0）：被予測画像領域の外接四角形の左上隅頂
点座標 （x1,y1）：被予測画像領域の外接四角形の右上隅頂
点座標 （x0',y0'）：第１の動きベクトル（dx0,dy0）によっ
て（x0,y0）を変位させた座標 （x1',y1'）：第２の動きベクトル（dx1,dy1）によっ
て（x1,y1）を変位させた座標 W:x1−x0 １−４）アフィン変換（必要な動きベクトルの本数:3
本） 但し、 （x0,y0）：被予測画像領域の外接四角形の左上隅頂
点座標 （x1,y1）：被予測画像領域の外接四角形の右上隅頂
点座標 （x2,y2）：被予測画像領域の外接四角形の左下隅頂
点座標 （x0',y0'）：第１の動きベクトル（dx0,dy0）によっ
て（x0,y0）を変位させた座標 （x1',y1'）：第２の動きベクトル（dx1,dy1）によっ
て（x1,y1）を変位させた座標 （x2',y2'）：第３の動きベクトル（dx2,dy2）によっ
て（x2,y2）を変位させた座標 W:x1−x0 H:y2−y0 １−５）透視変換（必要なベクトルの本数:4本） 但し、 （x0,y0）：被予測画像領域の外接四角形の左上隅頂
点座標 （x1,y1）：被予測画像領域の外接四角形の右上隅頂
点座標 （x2,y2）：被予測画像領域の外接四角形の左下隅頂
点座標 （x3,y3）：被予測画像領域の外接四角形の右下隅頂
点座標 （x0',y0'）：第１の動きベクトル（dx0,dy0）によっ
て（x0,y0）を変位させた座標 （x1',y1'）：第２の動きベクトル（dx1,dy1）によっ
て（x1,y1）を変位させた座標 （x2',y2'）：第３の動きベクトル（dx2,dy2）によっ
て（x2,y2）を変位させた座標 （x3',y3'）：第４の動きベクトル（dx3,dy3）によっ
て（x3,y3）を変位させた座標 W:x1−x0 H:y2−y0 変形パターン情報26aの形式としては、上記の変換式
である式（９）ないし式（13）を直接識別するビットで
もよいし、各変換が動きベクトルと本数に対応している
ことから、動きベクトルの本数を表現するビットでもよ
い。以上の変換式によって、被予測画像領域の点（i,
j）が参照画像中の（i',j'）に対応付けられる。また、
対応点位置計算の際に、予測画像のサンプル位置は、内
挿処理精度指示情報60で定められる精度の値まで取り得
るようにする。例えば、半画素精度までに丸め込むとす
れば、上記変換式によって得られた（i',j'）は、半画
素精度の値に丸められる。1/4画素情報までとすれば、
（i',j'）は、1/4画素精度の値に丸め込められる。この
サンプル位置精度を表す情報は、ビットストリーム中か
ら抽出する。

以上のように、本実施の形態では、動きベクトル25b
からダイレクトに対応点決定ルールを定め、これに基づ
いて予測画像のサンプル位置を決定する。

２）予測画像生成用データの読み出し 対応点決定部37bから出力される予測画像サンプル位
置をもとに、メモリ読み出しアドレス生成部38bがフレ
ームメモリ54に蓄積されている参照画像中の予測画像生
成に必要な画像データの位置を特定するメモリアドレス
を生成し、予測画像生成用データを読み出す。

３）予測画像の生成 予測画像を構成する画素の内、整数画素位置の座標値
のみをアドレッシングする場合は、予測画像生成用デー
タがそのまま予測画像構成画素となる。本実施の形態で
は、予測画像をアドレッシングしてサンプルする位置
は、上記のように予め定められた精度、例えば、半画
素、1/4画素の値を取り得る。実数精度の位置の画素の
場合は、内挿処理部232bにおいて、内挿処理精度指示情
報60で定められる整数精度とする指示に基づき、予測画
像の整数画素値が生成される。本実施の形態では、対応
点決定部において、既に最終的なサンプル位置を内挿処
理精度指示情報60で指定される精度で丸めるが、内挿処
理は、図39のように、次の式（15）の処理をする。な
お、半画素精度の位置であれば、実施の形態１に述べた
半画素生成部232と全く同じ処理となる。

以上のように、本実施の形態の画像復号装置によれ
ば、ゼロ又は複数本の動きベクトルを用いて簡単なサン
プル位置計算を行うことで、複雑度の異なる動きを効率
よく予測して符号化されたビットストリームから再生画
像を得ることができる。

実施の形態１ないし実施の形態６における画像符号化
装置及び実施の形態７における画像復号装置は、整数画
素及び半画素のアドレッシングのみで変形処理した動き
補償を用いて高速で複雑な画像符号化、復号を行ってい
る。

これに対して、本実施の形態における画像復号装置
は、同様の構成を用いて、しかし、対応点決定の演算を
参照画像と被予測画像の対象ブロックがよりマッチング
し、従って、より適切な動きを得るため強化したもので
ある。これにより、よりスムーズな動きを得ることがで
きる。

本実施の形態では、直交変換符号化以外の別の符号化
方式によって予測誤差信号を符号化したビットストリー
ムであっても、動き補償部90以外の予測誤差信号復号処
理のための要素を変更することで、同様の効果を得るこ
とができるのは、実施の形態７と同じである。

また、本実施の形態では、固定サイズブロックを単位
として復号処理を行う例について述べたが、これは通常
のテレビ信号のフレームを単位とする復号装置に適用で
きるだけでなく、固定サイズブロックから構成される任
意形状画像オブジェクト（Video Object Planeなど）
を単位とする復号装置にも適用可能であるのも、実施の
形態７と同じである。

実施の形態9. 上記各実施の形態では、動きを検出する被予測画像の
１ブロックを構成する画素数については言及しなかっ
た。言い換えれば、任意の高さ（Ｈ）と幅（Ｗ）の画素
を対象と考えてきた。本実施の形態では、このＨとＷの
画素数を２のべき乗に制限して座標演算を簡略化する場
合を説明する。こうすることで、対応点決定部の負荷が
減り、演算を高速化できる。

本実施の形態では、図36に示した実施の形態８におけ
る動き補償部90の内、37cとして対応点決定部の動作の
みが異なるので、対応点決定部の動作についてのみ説明
する。

図40は、対応点決定部37cの動作の様子を示すフロー
チャートである。

また、図41は、対応点決定部37cの動作を説明する図
である。

以下、図40をもとに、本実施の形態における対応点決
定部37cの動作を説明する。

本実施の形態における対応点決定部37cは、動きベク
トル25b、変形パターン情報26a、内挿処理精度指示情報
60、被予測画像領域の画面内位置27aを入力とし、被予
測画像領域内の各画素に対応する予測画像のサンプル位
置を以下の式に基づいて算出して出力する。この際、被
予測画像領域の画面内位置27aは、被予測画像領域毎に
固有の値であるが、動きベクトル25bと変形パターン情
報26aは、被予測画像領域毎に固有の値であっても、被
予測画像領域を複数まとめたより大きな画像（例えば、
画像フレームやISO/IEC JTC1/SC29/WG11に開示されるV
OPなど）毎に符号化されていて、その単位に含まれる全
ての被予測画像領域について同じ動きベクトルと変形パ
ターン情報を用いるように符号化されていてもよい。以
下では、動きベクトルを最大３本使用する場合の例につ
いて説明する。

動きベクトル25bは、（x0,y0）と、図41のように、被
予測画像領域の外接四角形の、左上隅の頂点から上辺に
沿って延長した線上の２のべき乗で表現可能な距離の点
（x0＋W',y0）（W'≧W,W'＝2^m）及び左辺に沿って延長
した線上の２のべき乗で表現可能な距離の点（x0,y0＋
H'）（H'≧H,H'＝2ⁿ）の動きベクトルであるとする。こ
れらの動きベクトルに基づいて、変形パターン情報26a
に対応して、以下の変形に必要な変換式である式（16）
ないし式（19）を得る。

１−１）動きなし（必要なベクトルの本数:0本） （i',j'）＝（i,j） （16） １−２）平行移動（必要なベクトルの本数:1本） （i',j'）＝（ｉ＋dx0,j＋dy0） （17） １−３）等方変換（必要なベクトルの本数:2本） 但し、 （x0,y0）：被予測画像領域の外接四角形の左上隅頂
点座標 （x1,y1）：被予測画像領域の外接四角形の右上隅頂
点座標 （x0',y0'）：第１の動きベクトル（dx0,dy0）によっ
て（x0,y0）の変位させた座標 （x1',y1'）：第２の動きベクトル（dx1,dy1）によっ
て（x0＋W',y0）を変位させた座標 １−４）アフィン変換（必要な動きベクトルの本数:3
本） 但し、 （x0,y0）：被予測画像領域の外接四角形の左上隅頂
点座標 （x1,y1）：被予測画像領域の外接四角形の右上隅頂
点座標 （x2,y2）：被予測画像領域の外接四角形の左下隅頂
点座標 （x0',y0'）：第１の動きベクトル（dx0,dy0）によっ
て（x0,y0）を変位させた座標 （x1",y1"）：第２の動きベクトル（dx1,dy1）によっ
て（x0＋W',y0）を変位させた座標 （x2",y2"）：第３の動きベクトル（dx2,dy2）によっ
て（x0,y0＋H'）を変位させた座標 変形パターン情報26aの形式としては、上記の変換式
である式（16）ないし式（19）を直接識別するために表
記した複数のビットで構成されたビット列でもよいし、
各変換が動きベクトルの本数に対応していることから、
動きベクトルの本数を表現するビットでもよい。

以上の変換式によって、被予測画像領域の点（i,j）
が参照画像中の（i',j'）に対応付けられる。また、対
応点位置計算の際に、予測画像のサンプル位置は、ある
定められた精度の値まで取り得るようにする。例えば、
半画素精度までに丸め込むとすれば、上記変換式によっ
て得られる（i',j'）は、半画素精度の値となり、1/4画
素精度に丸め込む指示とすれば、（i',j'）は、1/4画素
精度の値となる。このサンプル位置精度を表す情報は、
ビットストリーム中から抽出する。

以上のように、本実施の形態では、動きベクトル25b
からダイレクトに対応点決定ルールを定め、これに基づ
いて予測画像のサンプル位置を決定する。

２）予測画像生成用データの読み出し ３）予測画像の生成 に関しては、実施の形態８と全く同じ動作をするので、
詳細記述は省略する。

以上のように、本実施の形態の画像復号装置によれ
ば、ゼロ又は複数本の動きベクトルを用いてサンプル位
置計算を行う際に、W'又はH'による除算演算を全てビッ
トシフト演算に置き換えて計算できるので、より高速に
サンプル位置の決定を行うことができるとともに、複雑
度の異なる動きを効率よく予測して符号化されたビット
ストリームから再生画像を得ることができる。

本実施の形態の動き補償を、他の符号化方式に基づく
画像復号装置に用いる場合も、対応する要素を変更する
ことで同様の効果を得ることができる。また、固定サイ
ズブロックから構成される任意形状画像オブジェクト
（Video Object Planeなど）を単位とする復号装置に
も適用可能であることは、実施の形態７と同じである。

なお、本発明の画像符号化装置と、画像復号装置は、
組にして特徴のある画像符号化復号システムを構成す
る。

また、各動作フローチャートで表される動作を行うこ
とにより、即ち、変形ブロックマッチングステップと、
対応点決定ステップと動き補償画像生成ステップと復号
加算ステップを備えることにより、特徴ある画像符号化
方法、画像復号方法を得ることができる。

産業上の利用可能性 以上のように、この発明によれば、実標本点の整数画
素またはその中間の半画素を用いて、座標指定のみで得
られる変形ブロックで画像の動きの予測を行うため、動
きベクトルのような平行移動量だけでは予測がうまくい
かない部分画像でも、アフィン変換のような複雑な演算
なしに効率よく予測できる効果がある。また、回転やス
ケーリングなどの数式で記述可能な変形だけでなく、数
式で簡単に記述できない、即ち、演算による実現が困難
な変形にも対応できる効果がある。対応復号装置でも、
効率よく優れた画像を実現できる効果がある。

また更に、アフィン変換のような複雑な画素補間演算
を行うことなく、対応点の決定による座標指定のみによ
って回転と縮小または拡大を組合せた動きをうまく予測
できる効果がある。

また更に、平行移動によるブロックマッチングの動き
ベクトルを利用することで、変形ブロックマッチングの
探索範囲を効果的に削減することができ、動き補償予測
全体の演算量を低減できる効果がある。

また更に、アフィン変換のような複雑な画素補間演算
を行うことなく、座標指定のみによって単純縮小または
拡大スケーリングによる動きを効率良く予測できる効果
がある。

また更に、変形パターンテーブルを参照するだけで対
応点が決定できるので、アフィン変換のような簡単な数
式では表現できないような任意の変形に伴う動きもうま
く予測できる効果がある。

また更に、フィルタを用いて変形ブロック内の空間周
波数特性をフラットにすることができ、予測のミスマッ
チを低減できる効果がある。

画像符号化装置の変形ブロックマッチングと動き予測
に対応した復号装置を構成したので、高速で最適な動き
予測を行った画像データを復号再生できる効果がある。

また更に、画像復号装置のアドレッシングにおいて、
自由度が高い動き予測を復号できるので、動きのスムー
ズな画像を再生できる効果がある。

フロントページの続き (72)発明者 村上 篤道 東京都千代田区丸の内２丁目２番３号 三菱電機株式会社内 (72)発明者 西川 博文 東京都千代田区丸の内２丁目２番３号 三菱電機株式会社内 (72)発明者 黒田 慎一 東京都千代田区丸の内２丁目２番３号 三菱電機株式会社内 (72)発明者 井須 芳美 東京都千代田区丸の内２丁目２番３号 三菱電機株式会社内 (72)発明者 長谷川 由里 東京都千代田区丸の内２丁目２番３号 三菱電機株式会社内 (56)参考文献 特開 平５−219498（ＪＰ，Ａ) 特開 平６−153185（ＪＰ，Ａ) 特開 平５−244585（ＪＰ，Ａ) 特開 平７−50773（ＪＰ，Ａ) 実開 平４−8585（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】フレーム間の動き検出による動き補償予測
   符号を含む入力情報の画像圧縮符号を伸長再生する画像
   復号装置において、 上記入力情報の画像圧縮符号に含まれる動きパラメータ
   に基づいて予測画像サンプル位置の座標を変形に必要な
   変換式で算出し、上記入力情報に含まれる丸め込み精度
   を指示する内挿処理精度指示情報に従って上記座標を丸
   め込み、この丸め込んだ座標を用いて記憶している参照
   画像中の部分画像から予測画像出力を得る動き補償部、
   を備えたことを特徴とする画像復号装置。
2. 【請求項２】入力情報には、変換式を直接識別するビッ
   ト若しくは動きベクトルの本数を表現するビットである
   変形パターン情報が含まれ、動き補償部は、上記変形パ
   ターン情報に対応して変換式を得て予測画像サンプル位
   置の座標を算出し、その後に内挿処理指示情報に基づい
   て内挿処理を行うようにしたことを特徴とする請求項１
   記載の画像復号装置。
3. 【請求項３】内挿処理精度指示情報は、予測画像サンプ
   ル位置の精度として半画素精度か、または整数画素の1/
   4画素精度を指定するようにしたことを特徴とする請求
   項２記載の画像復号装置。
4. 【請求項４】フレーム間の動き検出による動き補償予測
   符号を含む入力情報の画像圧縮符号を伸張再生する画像
   復号方法において、 上記入力情報の画像圧縮符号に含まれる動きパラメータ
   に基づいて予測画像サンプル位置の座標を変形に必要な
   変換式で算出し、上記入力情報に含まれる丸め込み精度
   を指示する処理指示情報に従って上記座標を丸め込み、
   その丸め込んだ座標を用いて記憶している参照画像中の
   部分画像から予測画像出力を得る動き補償ステップ、を
   備えたことを特徴とする画像復号方法。
5. 【請求項５】フレーム間の動き検出による動き補償予測
   符号を含む入力情報の画像圧縮符号を伸長再生する画像
   復号装置において、 上記入力画像圧縮符号に含まれる動きパラメータに基づ
   いて変形に必要な変換式で座標指定するとともに、記憶
   している参照画像中の部分画像を抽出し、整数画素及び
   その中点の半画素からなる上記参照画像の部分領域を、
   上記入力情報の画像圧縮符号に含まれた丸め情報により
   丸めた座標指定によって変形、抽出して動き予測画像を
   得る動き補償部を備えて、 上記変形し抽出して得られた上記動き予測画像を用いて
   復号画像を得る画像復号装置。
6. 【請求項６】座標指定は、変形に必要な変換式で演算さ
   れた座標によって行われることを特徴とする請求項５に
   記載の画像復号装置。