JPH1098729A - フレーム間予測画像の合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像をパッチに分割し、各パッチに対してア
フィン変換や共１次変換などによる変形を加えるワーピ
ング予測の処理における演算を簡略化する方法を提供す
る。 【解決手段】 格子点２０２、２０３、２０４からなる
パッチ２０１に対し、空間的な間隔が特別な特徴をもつ
複数の代表点（仮想格子点）２０５、２０６、２０７の
動きベクトルを求め、これを予測画像の合成に活用す
る。 【効果】 ワーピング予測において予測画像を合成する
際の除算をシフト演算に置き換えることができるため、
計算機または専用ハードウェアによる処理を簡略化する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像をパッチに分
割し、それぞれのパッチに対してアフィン変換または共
１次変換に基づく変形を加える動き補償方式に関するも
のである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。動き補
償の処理を数式を用いて表現すると以下のようになる。
符号化しようとしているフレーム（現フレーム）の予測
画像をＰ(ｘ, ｙ)、参照画像（Ｐと時間的に近接してお
り、既に符号化が終了しているフレームの復号画像）を
Ｒ(ｘ, ｙ)とする。また、ｘとｙは整数であるとして、
ＰとＲでは座標値が整数である点に画素が存在すると仮
定する。このとき、ＰとＲの関係は、

【０００３】

【数１】

【０００４】で表される。ただし、画像はＮ個の小領域
（パッチ）に分割されるとして（Ｎは正の整数）、Ｐｉ
は画像のｉ番目のパッチに含まれる画素を表している。
また、変換関数ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)は現フレーム
の画像と参照画像との間の空間的な対応を表現してい
る。ここで、Ｐi内の画素(ｘ, ｙ)の動きベクトルは、
予測画像における画素の座標を出発点、参照画像におけ
る対応点の座標を終点として、(ｆi(ｘ, ｙ)−ｘ, ｇi
(ｘ, ｙ)−ｙ)で表すことができる。現在の動画像符号
化方式の国際標準のＨ．２６１、ＭＰＥＧ１、ＭＰＥＧ
２などでは、ｆi(ｘ,ｙ)−ｘとｇi(ｘ, ｙ)−ｙがｘと
ｙに関係のない定数であるブロックマッチングとよばれ
る方式が採用されている。しかし、これらの標準符号化
方式より高い情報圧縮率を達成するには、より高度な動
き補償方式を採用することが要求される。このような新
しい動き補償方式として、ｆi(ｘ, ｙ)−ｘとｇi(ｘ,
ｙ)−ｙが定数ではなく、同一パッチ内の画素が異なる
動きベクトルを持つことを許容する動き補償方式が最近
提案されている。これらの方式における変換関数として
は、アフィン変換

【０００５】

【数２】

【０００６】を用いた例（中屋他、「３角形パッチに基
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03）や、共１次変換

【０００７】

【数３】

【０００８】を用いた例（ G. J. Sullivan and R. L.
Baker, "Motion compensation for video compression
using control grid interpolation", Proc. ICASSP '
91 , M9.1, pp.2713-2716, 1991-05）などがすでに報告
されている。ここでａij、ｂijはパッチごとに推定され
る動きパラメータである。変換関数の値が整数でない場
合には、座標値が整数ではなく、参照画像において実際
には画素が存在しない点の輝度値を求めることが必要と
なる。この場合の処理としては、周辺４画素を用いた共
１次内挿が使われることが多い。この内挿方式を数式で
記述すると、０≦ξ, η＜１として、Ｒ(ｘ＋ξ, ｙ＋
η)は、

【０００９】

【数４】

【００１０】で表される。本明細書では、上記数２や数
３の変換関数を用いる動き補償方式のことをワーピング
予測と呼ぶこととする。

【００１１】動き情報の伝送の際には、画像符号化装置
は何らかの形で変換関数の動きパラメータが特定できる
情報を受信側に伝送すればよい。例えば、変換関数にア
フィン変換を用い、パッチの形状が３角形であるとす
る。この場合は、６個の動きパラメータを直接伝送して
も、パッチの３個の頂点の動きベクトルを伝送しても、
受信側で６個の動きパラメータａi1〜ａi6を再生するこ
とができる。

【００１２】３角形のパッチを使用し、パッチの頂点
（格子点）の動きベクトルを伝送する動き補償方式の例
を図１に示す。この図は、参照画像１０１を用いて現フ
レームの原画像１０２の予測画像を合成する処理を示し
たものである。まず現フレームは複数の多角形のパッチ
に分割され、パッチ分割された画像１０８となる。パッ
チの頂点は格子点とよばれ、各格子点は複数のパッチに
共有される。例えば、パッチ１０９は、格子点１１０、
１１１、１１２から構成され、これらの格子点は他のパ
ッチの頂点を兼ねている。このように画像を複数のパッ
チに分割した後に、動き推定が行なわれる。ここに示す
例では、動き推定は各格子点を対象として参照画像との
間で行なわれる。この結果、動き推定後の参照画像１０
３で各パッチは変形されたものとなる。例えば、パッチ
１０９は、変形されたパッチ１０４に対応している。こ
れは、動き推定の結果、格子点１０５、１０６、１０７
がそれぞれ１１０、１１１、１１２に対応していると推
定されたためである。この例では、格子点１１１、１１
０、１１２の座標を（Ｉ，Ｊ）、（Ｉ＋ｒ，Ｊ）、
（Ｉ，Ｊ＋ｓ）として（Ｉ、Ｊ、ｒ、ｓは整数）、それ
ぞれの動きベクトルを（Ｕ1，Ｖ1）、（Ｕ2，Ｖ2）、
（Ｕ3，Ｖ3）とすると、パッチ内の点（ｘ，ｙ）におけ
る動きベクトル（ｕa（ｘ，ｙ），ｖa（ｘ，ｙ））は、
数２の関係から、

【００１３】

【数５】

【００１４】で表すことができる。この関係を利用する
ことによって画素ごとの動きベクトルを求め、予測画像
を合成することができる。

【００１５】一方、４角形のパッチを用いて共１次変換
によってパッチを変形させる場合には、格子点の座標を
（Ｉ，Ｊ）、（Ｉ＋ｒ，Ｊ）、（Ｉ，Ｊ＋ｓ）、（Ｉ＋
ｒ，Ｊ＋ｓ）、それぞれの動きベクトルを（Ｕ1，Ｖ
1）、（Ｕ2，Ｖ2）、（Ｕ3，Ｖ3）、（Ｕ4，Ｖ4）とす
れば、パッチ内の点（ｘ，ｙ）における動きベクトル
（ｕb（ｘ，ｙ），ｖb（ｘ，ｙ））は、数３の関係か
ら、

【００１６】

【数６】

【００１７】で表すことができる。

【００１８】以上述べたワーピング予測を導入すること
により、動画像の動きベクトル場をより正確に近似する
ことが可能となり、高い情報圧縮率が実現できる。しか
し、その一方で符号化および復号化における処理量は従
来の方式と比較して増加する。特に数５および６に見ら
れる除算は、処理を複雑にする大きな要因となってしま
う。

【００１９】

【発明が解決しようとする課題】アフィン変換や共１次
変換を用いるワーピング予測では、予測画像の合成のた
めの処理量が多くなる問題が発生する。本発明の目的
は、ワーピング予測における除算の処理を２進数のシフ
ト演算に置き換えることにより、演算量を減少させるこ
とにある。

【００２０】

【課題を解決するための手段】仮想的な格子点（代表
点）の動きベクトルを求めてこれを利用することによ
り、除算処理をシフト演算で実現できるようにする。

【００２１】

【発明の実施の形態】以下の議論では、画素のサンプリ
ング間隔が水平・垂直方向共に１であるとして、座標の
水平・垂直成分が共に整数である点に画素が存在してい
るとする。また、本発明は、グローバル動き補償におけ
る演算の高速化方法に関する発明（特願平08-060572）
をワーピング予測に応用したものである。

【００２２】アフィン変換または共１次変換を用いたワ
ーピング予測を行う際には、画素ごとの動きベクトルに
対して量子化を行うと、ミスマッチの防止や演算の簡略
化などの効果を得ることができる（特願平06-193970、
特願平07-278627）。以下では、画素の動きベクトルの
水平・垂直成分が１／ｍ（ｍは正の整数）の整数倍の値
に量子化されるとする。また、「従来の技術」で説明し
た格子点の動きベクトルを伝送するワーピング予測を行
い、各格子点の動きベクトルの水平・垂直成分は１／ｎ
（ｎは正の整数）の整数倍の値に量子化されて伝送され
るとする。このとき、図２に示すパッチ２０１の頂点
（Ｉ，Ｊ）、（Ｉ＋ｒ，Ｊ）、（Ｉ，Ｊ＋ｓ）に位置す
る（Ｉ、Ｊ、ｒ、ｓは整数）格子点２０２、２０３、２
０４の動きベクトルの水平・垂直成分をｎ倍したものを
それぞれ（ｕ00，ｖ00）、（ｕ01，ｖ01）、（ｕ02，ｖ
02）とすると（ｕ00、ｖ00、ｕ01、ｖ01、ｕ02、ｖ02は
整数）、これらの格子点が構成するパッチ内の画素の動
きベクトルの水平・垂直成分をｍ倍したものである（ｕ
（ｘ，ｙ），ｖ（ｘ，ｙ））は、数５から以下の式で表
すことができる（ｕ（ｘ，ｙ）とｖ（ｘ，ｙ）は整
数）。

【００２３】

【数７】

【００２４】ただし、「//」は実数の除算による演算結
果が整数ではない場合にこれを近隣の整数に丸め込む除
算で、演算子としての優先順位は乗除算と同等である。
演算誤差を小さくするためには、非整数値は最も近い整
数に丸め込まれることが望ましい。このとき整数に１／
２を加えた値の丸め込み方法は、(1) ０に近づける方向
に丸め込む、(2) ０から遠ざける方向に丸め込む、(3)
被除数が負の場合は０に近づける方向、正の場合は０か
ら遠ざける方向に丸め込む（除数は常に正であるとす
る）、(4) 被除数が負の場合は０から遠ざける方向、正
の場合は０に近づける方向に丸め込む（除数は常に正で
あるとする）、などが考えられる。これらの中で(3)と
(4)は、被除数の正負に関わらず丸め込みの方向が変化
しないため、正負判定が必要ない分だけ処理量の点で有
利である。例えば、(3)を用いた高速処理は以下の式に
よって実現することができる。

【００２５】

【数８】

【００２６】ただし、「#」は小数点以下を０の方向に
切り捨てる正の整数同士の除算であり、一般に計算機で
は最も実現しやすい形式の除算である。ここで、ＬとＭ
は除算の被除数を常に正に保つための数で、十分に大き
な正の整数である。また、（ｒ・ｓ・ｎ＃２）の項は、
除算結果を最も近い整数に丸め込むために用いられる。

【００２７】数８を用いることにより、アフィン変換を
用いるワーピング予測の処理は、整数演算のみによって
実現することができる。しかも、もしｒ・ｓ・ｎの値が
２の正の整数乗の値であれば、除算を２進数のシフト演
算に置き換えることが可能となり、大幅に演算を簡略化
することができる。しかし、これを実現するためには、
ｒ、ｓ、ｎが３個とも２の正の整数乗でなければならな
い。

【００２８】以下では、ｒとｓとｎの少なくとも１つが
２の正の整数乗ではない場合でも、除算をシフト演算で
置き換える方法に関して説明する。数７によって記述さ
れる動きベクトル場を拡張し、図２に示す（Ｉ’、
Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，Ｊ’＋ｑ）に
（Ｉ’、Ｊ’、ｐ、ｑは整数）仮想的な格子点（代表
点）２０５、２０６、２０７を配置する（この例では格
子点２０２と代表点２０５の座標は一致しているが、
「格子点２０２」と「代表点２０５」は異なる意味を持
つ）。これらの代表点により仮想的なパッチを構成し、
この仮想パッチを用いて動きベクトルの演算を行う。各
代表点の動きベクトルの水平・垂直成分は１／ｋ（ｋは
正の整数）の整数倍の値に量子化されるとする。代表点
２０５、２０６、２０７の動きベクトルの水平・垂直成
分をｋ倍したものをそれぞれ（ｕ0，ｖ0）、（ｕ1，ｖ
1）、（ｕ2，ｖ2）とすると（ｕ0、ｖ0、ｕ1、ｖ1、ｕ
2、ｖ2は整数）これらの値は、

【００２９】

【数９】

【００３０】

【数１０】

【００３１】と表すことができる（ただし、ｕ’（ｘ，
ｙ）、ｖ’（ｘ，ｙ）は整数であり、「///」は実数の
除算による演算結果が整数ではない場合にこれを近隣の
整数に丸め込む除算で、演算子としての優先順位は乗除
算と同等）。

【００３２】これらの代表点の動きベクトルを利用し、
仮想パッチ内の画素の動きベクトルの水平・垂直成分を
ｍ倍したものである（ｕ’’（ｘ，ｙ），ｖ’’（ｘ，
ｙ））を（ｕ’’（ｘ，ｙ）とｖ’’（ｘ，ｙ）は整
数）、

【００３３】

【数１１】

【００３４】とすることにより、数７の良い近似を得る
ことができる。ここで、ｐ、ｑ、ｋの値を共に２の正の
整数乗とすれば、数１１の除算はシフト演算に置き換え
ることができ、演算を大幅に簡略化することができる。

【００３５】ワーピング予測において、パッチの大きさ
は符号化特性を決める重要なパラメータである。一般的
にパッチを小さくすると動き補償予測の予測精度は向上
するが、その分動きパラメータの数が増え、伝送される
動き情報の量が多くなってしまう。逆にパッチを大きく
すると動き情報の量は減少するが、その分予測特性が劣
化してしまう。したがって、上の例では、最も良い符号
化特性が得られるｒとｓの値が必ずしも２の正の整数乗
であるとは限らない。ｒまたはｓが２の正の整数乗とは
ならない場合には、上で述べた仮想パッチを用いる方法
を適用することにより、ｒとｓが２の正の整数乗である
場合と同様に高速の演算を実行することができる。

【００３６】仮想パッチを用いる方法は、共１次変換を
用いるワーピング予測にも適用することができる。以下
では、上と同様に画素の動きベクトル、格子点の動きベ
クトル、代表点の動きベクトルの水平・垂直成分はそれ
ぞれ１／ｍ、１／ｎ、１／ｋの整数倍の値に量子化され
ているとする（ｍ、ｎ、ｋは正の整数）。また、「/
/」、「///」の定義も上と同様である。図３に示すパッ
チ３０１において、（Ｉ，Ｊ）、（Ｉ＋ｒ，Ｊ）、
（Ｉ，Ｊ＋ｓ）、（Ｉ，Ｊ＋ｓ）に位置する（Ｉ、Ｊ、
ｒ、ｓは整数）格子点３０２、３０３、３０４、３０５
の動きベクトルの水平・垂直成分をｎ倍したものをそれ
ぞれ（ｕ00，ｖ00）、（ｕ01，ｖ01）、（ｕ02，ｖ0
2）、（ｕ03，ｖ03）とすると（ｕ00、ｖ00、ｕ01、ｖ0
1、ｕ02、ｖ02、ｕ03、ｖ03は整数）、これらの格子点
が構成するパッチ内の画素の動きベクトルの水平・垂直
成分をｍ倍したものである（ｕ（ｘ，ｙ），ｖ（ｘ，
ｙ））は、数６から以下の式で表すことができる（ｕ
（ｘ，ｙ）、ｖ（ｘ，ｙ）は整数）。

【００３７】

【数１２】

【００３８】この式よって記述される動きベクトル場を
拡張し、図３に示す（Ｉ’，Ｊ’）、（Ｉ’＋ｐ，
Ｊ’）、（Ｉ’，Ｊ’＋ｑ）、（Ｉ’＋ｐ，Ｊ’＋ｑ）
に（Ｉ’、Ｊ’、ｐ、ｑは整数）代表点３０６、３０
７、３０８、３０９を配置する（この例では格子点３０
２と代表点３０６の座標は一致しているが、「格子点３
０２」と「代表点３０６」は異なる意味を持つ）。こら
の代表点により仮想的なパッチを構成し、この仮想パッ
チを用いて動きベクトルの演算を行う。代表点３０６、
３０７、３０８、３０９の動きベクトルの水平・垂直成
分をｋ倍したものをそれぞれ（ｕ0，ｖ0）、（ｕ1，ｖ
1）、（ｕ2，ｖ2）、（ｕ3，ｖ3）とすると（ｕ0、ｖ
0、ｕ1、ｖ1、ｕ2、ｖ2、ｕ3、ｖ3は整数）、これらの
値は、

【００３９】

【数１３】

【００４０】

【数１４】

【００４１】と表すことができる（ただし、ｕ’（ｘ，
ｙ）、ｖ’（ｘ，ｙ）は整数であり、「///」の定義は
上と同様）。

【００４２】これらの代表点の動きベクトルを利用し、
仮想パッチ内の画素の動きベクトルの水平・垂直成分を
ｍ倍したものである（ｕ’’（ｘ，ｙ），ｖ’’（ｘ，
ｙ））を（ｕ’’（ｘ，ｙ）とｖ’’（ｘ，ｙ）は整
数）、

【００４３】

【数１５】

【００４４】とすることにより、数１２の良い近似を得
ることができる。ここで、ｐ、ｑ、ｋの値を共に２の正
の整数乗とすれば、数１５の除算はシフト演算に置き換
えることができ、演算を大幅に簡略化することができ
る。

【００４５】仮想パッチを用いるワーピング予測を行う
際には、伝送情報として、（i）格子点の動きベクト
ル、（ii）代表点の動きベクトル、（iii）動きパラメ
ータ、を伝送する方法を考えることができる。（ii）の
方法は復号化器で代表点の動きベクトルを求める計算を
行わない点で有利であるが、図１のように１個の格子点
が複数のパッチに共有されているような場合には（i）
の方法が有利となる。また、（i）の方法では、パッチ
内の画素の動きベクトルに対して一定の制限範囲（例え
ば±３２画素以内の範囲）を設けた場合に、伝送される
格子点の動きベクトルが必ずこの制限範囲内に収まると
いう特徴をもっている。この性質は伝送される動きベク
トルの符号語を設計したり、演算に必要な桁数を決定す
る際に便利である。ただし、（i）の方法で格子点の動
きベクトルから代表点の動きベクトルを求める演算（数
９、１０、１３、１４）を行う際には注意が必要であ
る。整数への丸め込みに起因する誤差の影響で、数１１
や１５で求まる動きベクトルが設定した制限範囲内から
出る可能性を考慮する必要がある。特に代表点がパッチ
の内側に位置するような場合には注意が必要である。こ
れは、代表点が囲む３角形や長方形の外側に位置する画
素に関しては数１１や１５において外挿によって動きベ
クトルが求められることから、代表点の動きベクトルを
求めた際の丸め込み誤差が増幅される可能性があるため
である。この観点からは、代表点はパッチの外側に位置
する方が望ましい。ただし、仮想パッチを大きくする
と、代表点の動きベクトルの取り得る値の範囲が広くな
り、演算に要する桁数が増加する。したがって、仮想パ
ッチは大きければ大きい程良いわけではない。以上の考
察から、仮想パッチの大きさとしては、元のパッチを内
部に含むものの中でなるべく小さいものが望ましい。

【００４６】（iii）の方法では、例えば数２の動きパ
ラメータａijが伝送される。このとき、このパラメータ
から代表点の動きベクトルを求め、数１１を用いてパッ
チ内の画素の動きベクトルを計算することができる。こ
のとき、伝送される動きパラメータとしては、数２のａ
ijや数３のｂij以外にも、拡大・縮小率、回転角度など
を表すパラメータ使用しても良い。

【００４７】

【発明の効果】本発明により、ワーピング予測の予測画
像合成処理における除算の処理をシフト演算で代用する
ことが可能となり、ソフトウェアや専用ハードウェアに
よる処理を簡略化することが可能となる。

【図面の簡単な説明】

【図１】アフィン変換に基づくワーピング予測の処理に
おける参照画像と原画像の例を示した図である。

【図２】アフィン変換に基づくワーピング予測における
パッチ、格子点、代表点の例を示した図である。

【図３】共１次変換に基づくワーピング予測におけるパ
ッチ、格子点、代表点の例を示した図である。

【符号の説明】

１０１…参照画像、１０２…現フレームの原画像、１０
３…動き推定後の参照画像のパッチと格子点、１０４、
１０９、２０１、３０１…パッチ、１０５〜１０７、１
１０〜１１２、２０２〜２０４、３０２〜３０５…格子
点、１０８…現フレームの原画像のパッチと格子点、２
０５〜２０７、３０６〜３０９…代表点（仮想格子
点）。

Claims (25)

【特許請求の範囲】
1. 【請求項１】画像をＮ個の（Ｎは正の整数）パッチに分
   割し、アフィン変換によってパッチを変形させる動き補
   償方法において、 画素のサンプリング間隔が、水平・垂直方向共に１であ
   りかつサンプリング点は座標の水平・垂直成分が共に整
   数である点の上に存在しているとして、 少なくとも１個のパッチＰaにおいては座標が（Ｉ’，
   Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，Ｊ’＋ｑ）で表
   される３個の代表点の動きベクトルを一旦求めた後に、 これを利用してパッチ内の各画素の動きベクトルを計算
   し（Ｉ’、Ｊ’、ｐ、ｑは整数）、 かつパッチＰaにおいてｐと−ｐのいずれかが２のα乗
   と等しく（αは正の整数）、 かつパッチＰaにおいてｑと−ｑのいずれかが２のβ乗
   と等しく（βは正の整数）、 かつパッチＰaにおいて３個の代表点により構成される
   ３角形とパッチの形状が一致しないことを特徴とするフ
   レーム間予測画像の合成方法。
2. 【請求項２】画像をＮ個の（Ｎは正の整数）パッチに分
   割し、共１次変換によってパッチを変形させる動き補償
   方法において、画素のサンプリング間隔が、水平・垂直
   方向共に１でありかつサンプリング点は座標の水平・垂
   直成分が共に整数である点の上に存在しているとして、 少なくとも１個のパッチＰbにおいては座標が（Ｉ’，
   Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，Ｊ’＋ｑ）、
   （Ｉ’＋ｐ，Ｊ’＋ｑ）で表される４個の代表点の動き
   ベクトルを一旦求めた後に、 これを利用してパッチ内の各画素の動きベクトルを計算
   し（Ｉ’、Ｊ’、ｐ、ｑは整数）、 かつパッチＰbにおいてｐと−ｐのいずれかが２のα乗
   と等しく（αは正の整数）、 かつパッチＰbにおいてｑと−ｑのいずれかが２のβ乗
   と等しく（βは正の整数）、 かつパッチＰbにおいて４個の代表点により構成される
   長方形とパッチの形状が一致しないことを特徴とするフ
   レーム間予測画像の合成方法。
3. 【請求項３】パッチＰaにおいて、 代表点（Ｉ’，Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，
   Ｊ’＋ｑ）における動きベクトルの水平・垂直成分が、
   １／ｋの整数倍の値のみをとり（ただし、ｋは２のｈ0
   乗、かつｈ0は負ではない整数）、 かつ各画素の動きベクトルの水平・垂直成分が１／ｍの
   整数倍の値のみをとる（ただし、ｍは正の整数）とき
   に、 代表点（Ｉ’，Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，
   Ｊ’＋ｑ）における動きベクトルの水平・垂直成分をｋ
   倍したものである（ｕ0，ｖ0）、（ｕ1，ｖ1）、（ｕ
   2，ｖ2）を用いて（ただし、ｕ0、ｖ0、ｕ1、ｖ1、ｕ
   2、ｖ2は整数）、パッチＰa内の画素（ｘ、ｙ）の動き
   ベクトルの水平・垂直成分をｍ倍したものである（ｕ
   （ｘ，ｙ），ｖ（ｘ，ｙ））が（ただし、ｘ、ｙ、ｕ
   （ｘ，ｙ）、ｖ（ｘ，ｙ）は整数）、 ｕ（ｘ，ｙ）＝（ｕ0・ｐ・ｑ＋（ｕ1−ｕ0）（ｘ−
   Ｉ’）・ｑ＋（ｕ2−ｕ0）（ｙ−Ｊ’）・ｐ）ｍ//（ｐ
   ・ｑ・ｋ） ｖ（ｘ，ｙ）＝（ｖ0・ｐ・ｑ＋（ｖ1−ｖ0）（ｘ−
   Ｉ’）・ｑ＋（ｖ2−ｖ0）（ｙ−Ｊ’）・ｐ）ｍ//（ｐ
   ・ｑ・ｋ） によって表される（ただし、「//」は実数の除算による
   演算結果が整数ではない場合にこれを近隣の整数に丸め
   込む除算で、演算子としての優先順位は乗除算と同等）
   ことを特徴とする請求項１に記載のフレーム間予測画像
   の合成方法。
4. 【請求項４】パッチＰbにおいて、代表点（Ｉ’，
   Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，Ｊ’＋ｑ）、
   （Ｉ’＋ｐ，Ｊ’＋ｑ）における動きベクトルの水平・
   垂直成分が、１／ｋの整数倍の値のみをとり（ただし、
   ｋは２のｈ0乗、かつｈ0は負ではない整数）、かつ各画
   素の動きベクトルの水平・垂直成分が１／ｍの整数倍の
   値のみをとる（ただし、ｍは正の整数）ときに、 代表点（Ｉ’，Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、（Ｉ’，
   Ｊ’＋ｑ）、（Ｉ’＋ｐ，Ｊ’＋ｑ）における動きベク
   トルの水平・垂直成分をｋ倍したものである（ ｕ0，ｖ0）、（ｕ1，ｖ1）、（ｕ2，ｖ2）、（ｕ3，ｖ
   3）を用いて（ただし、ｕ0、ｖ0、ｕ1、ｖ1、ｕ2、ｖ
   2、ｕ3、ｖ3は整数）、パッチＰb内の画素（ｘ、ｙ）の
   動きベクトルの水平・垂直成分をｍ倍したものである
   （ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））が（ただし、ｘ、ｙ、
   ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）は整数）、 ｕ（ｘ，ｙ）＝（（ｕ0（Ｉ’＋ｐ−ｘ）＋ｕ1（ｘ−
   Ｉ’））（Ｊ’＋ｑ−ｙ）＋（ｕ2（Ｉ’＋ｐ−ｘ）＋
   ｕ3（ｘ−Ｉ’））（ｙ−Ｊ’））ｍ//（ｐ・ｑ・ｋ） ｖ（ｘ，ｙ）＝（（ｖ0（Ｉ’＋ｐ−ｘ）＋ｖ1（ｘ−
   Ｉ’））（Ｊ’＋ｑ−ｙ）＋（ｖ2（Ｉ’＋ｐ−ｘ）＋
   ｖ3（ｘ−Ｉ’））（ｙ−Ｊ’））ｍ//（ｐ・ｑ・ｋ） によって表される（ただし、「//」は実数の除算による
   演算結果が整数ではない場合にこれを近隣の整数に丸め
   込む除算で、演算子としての優先順位は乗除算と同等）
   ことを特徴とする請求項２に記載のフレーム間予測画像
   の合成方法。
5. 【請求項５】パッチＰaが３角形であり、 かつパッチＰaの頂点上に格子点が存在し、 かつそれぞれの格子点の座標が（Ｉ，Ｊ）、（Ｉ＋ｒ，
   Ｊ）、（Ｉ，Ｊ＋ｓ）で表すことができ（ただし、Ｉ、
   Ｊ、ｒ、ｓは整数）、 かつこれらの格子点における動きベクトルの水平・垂直
   成分が１／ｎの整数倍の値をとり（ただし、ｎは正の整
   数）、 かつそれぞれの格子点の動きベクトルの水平・垂直成分
   をｎ倍したものである（ｕ00，ｖ00）、（ｕ01，ｖ0
   1）、（ｕ02，ｖ02）を用いて（ただし、ｕ00、ｖ00、
   ｕ01、ｖ01、ｕ02、ｖ02は整数）、 ｕ’（ｘ，ｙ）＝（ｕ00・ｒ・ｓ＋（ｕ01−ｕ00）（ｘ
   −Ｉ）・ｓ＋（ｕ02−ｕ00）（ｙ−Ｊ）・ｒ）ｋ///
   （ｒ・ｓ・ｎ）、 ｖ’（ｘ，ｙ）＝（ｖ00・ｒ・ｓ＋（ｖ01−ｖ00）（ｘ
   −Ｉ）・ｓ＋（ｖ02−ｖ00）（ｙ−Ｊ）・ｒ）ｋ///
   （ｒ・ｓ・ｎ）、 ｕ0＝ｕ’（Ｉ’，Ｊ’）、 ｖ0＝ｖ’（Ｉ’，Ｊ’）、 ｕ1＝ｕ’（Ｉ’＋ｐ，Ｊ’）、 ｖ1＝ｖ’（Ｉ’＋ｐ，Ｊ’）、 ｕ2＝ｕ’（Ｉ’，Ｊ’＋ｑ）、 ｖ2＝ｖ’（Ｉ’，Ｊ’＋ｑ）、 で表される（ｕ0，ｖ0）、（ｕ1，ｖ1）、（ｕ2，ｖ2）
   を（ただし、「///」は実数の除算による演算結果が整
   数ではない場合にこれを近隣の整数に丸め込む除算で、
   演算子としての優先順位は乗除算と同等）、パッチＰa
   の代表点（Ｉ’，Ｊ’）、（Ｉ’＋ｐ，Ｊ’）、
   （Ｉ’，Ｊ’＋ｑ）の動きベクトルの水平・垂直成分を
   ｋ倍したものとして使用することを特徴とする請求項１
   または３に記載のフレーム間予測画像の合成方法。
6. 【請求項６】パッチＰbが長方形であり、 かつパッチＰbの頂点上に格子点が存在し、 かつそれぞれの格子点の座標が（Ｉ，Ｊ）、（Ｉ＋ｒ，
   Ｊ）、（Ｉ，Ｊ＋ｓ）、（Ｉ＋ｒ，Ｊ＋ｓ）で表すこと
   ができ（ただし、Ｉ、Ｊ、ｒ、ｓは整数）、 かつこれらの格子点の動きベクトルの水平・垂直成分が
   １／ｎの整数倍の値をとり（ただし、ｎは正の整数）、 かつそれぞれの格子点の動きベクトルの水平・垂直成分
   をｎ倍したものである（ｕ00，ｖ00）、（ｕ01，ｖ0
   1）、（ｕ02，ｖ02）、（ｕ03，ｖ03）を用いて（ただ
   し、ｕ00、ｖ00、ｕ01、ｖ01、ｕ02、ｖ02、ｕ03、ｖ03
   は整数）、 ｕ’（ｘ，ｙ）＝（（Ｊ＋ｓ−ｙ）（ｕ00・（Ｉ＋ｒ−
   ｘ）＋ｕ01・（ｘ−Ｉ））＋（ｙ−Ｊ）（ｕ02・（Ｉ＋
   ｒ−ｘ）＋ｕ03・（ｘ−Ｉ）））ｋ///（ｒ・ｓ・
   ｎ）、 ｖ’（ｘ，ｙ）＝（（Ｊ＋ｓ−ｙ）（ｖ00・（Ｉ＋ｒ−
   ｘ）＋ｖ01・（ｘ−Ｉ））＋（ｙ−Ｊ）（ｖ02・（Ｉ＋
   ｒ−ｘ）＋ｖ03・（ｘ−Ｉ）））ｋ///（ｒ・ｓ・
   ｎ）、 ｕ0＝ｕ’（Ｉ’，Ｊ’）、 ｖ0＝ｖ’（Ｉ’，Ｊ’）、 ｕ1＝ｕ’（Ｉ’＋ｐ，Ｊ’）、 ｖ1＝ｖ’（Ｉ’＋ｐ，Ｊ’）、 ｕ2＝ｕ’（Ｉ’，Ｊ’＋ｑ）、 ｖ2＝ｖ’（Ｉ’，Ｊ’＋ｑ）、 ｕ3＝ｕ’（Ｉ’＋ｐ，Ｊ’＋ｑ）、 ｖ3＝ｖ’（Ｉ’＋ｐ，Ｊ’＋ｑ）、 で表される（ｕ0，ｖ0）、（ｕ1，ｖ1）、（ｕ2，ｖ
   2）、（ｕ3，ｖ3）を（ただし、「///」は実数の除算に
   よる演算結果が整数ではない場合にこれを近隣の整数に
   丸め込む除算で、演算子としての優先順位は乗除算と同
   等）、パッチＰbの代表点（Ｉ’，Ｊ’）、（Ｉ’＋
   ｐ，Ｊ’）、（Ｉ’，Ｊ’＋ｑ）、（Ｉ’＋ｐ，Ｊ’＋
   ｑ）の動きベクトルの水平・垂直成分をｋ倍したものと
   して使用することを特徴とする請求項２または４に記載
   のフレーム間予測画像の合成方法。
7. 【請求項７】「///」が実数の除算による演算結果を、
   最も近い整数に丸め込む演算として定義されることを特
   徴とする請求項５または６に記載のフレーム間予測画像
   の合成方法。
8. 【請求項８】「///」が実数の除算による演算結果が整
   数に１／２を加えた値である場合に、この値を０に近づ
   ける方向に丸め込む演算として定義されることを特徴と
   する請求項７に記載のフレーム間予測画像の合成方法。
9. 【請求項９】「///」が実数の除算による演算結果が整
   数に１／２を加えた値である場合に、この値を０から遠
   ざける方向に丸め込む演算として定義されることを特徴
   とする請求項７に記載のフレーム間予測画像の合成方
   法。
10. 【請求項１０】ｐ／２の絶対値はｒの絶対値より小さ
    く、かつｐの絶対値はｒの絶対値以上であり、かつｑ／
    ２の絶対値はｓの絶対値より小さく、かつｑの絶対値は
    ｓの絶対値以上であることを特徴とする請求項５ないし
    ９に記載のフレーム間予測画像の合成方法。
11. 【請求項１１】ｐの絶対値はｒの絶対値以下であり、か
    つ２ｐの絶対値はｒの絶対値より大きく、かつｑの絶対
    値はｓの絶対値以下であり、かつ２ｑの絶対値はｓの絶
    対値より大きいことを特徴とする請求項５ないし９に記
    載のフレーム間予測画像の合成方法。
12. 【請求項１２】代表点によって囲まれる３角形はパッチ
    Ｐaのすべての画素を含むが、ｐおよびｑの値を１／２
    にしてしまうと、代表点によって囲まれる３角形がパッ
    チＰaのすべての画素を含まなくなることを特徴とする
    請求項１または３または５に記載のフレーム間予測画像
    の合成方法。
13. 【請求項１３】代表点によって囲まれる長方形はパッチ
    Ｐbのすべての画素を含むが、ｐおよびｑの値を１／２
    にしてしまうと、代表点によって囲まれる長方形がパッ
    チＰbのすべての画素を含まなくなることを特徴とする
    請求項２または４または６に記載のフレーム間予測画像
    の合成方法。
14. 【請求項１４】「//」が実数の除算による演算結果を、
    最も近い整数に丸め込む演算として定義されることを特
    徴とする請求項３ないし１１に記載のフレーム間予測画
    像の合成方法。
15. 【請求項１５】「//」が実数の除算による演算結果が整
    数に１／２を加えた値である場合に、この値を０に近づ
    ける方向に丸め込む演算として定義されることを特徴と
    する請求項１４に記載のフレーム間予測画像の合成方
    法。
16. 【請求項１６】「//」が実数の除算による演算結果が整
    数に１／２を加えた値である場合に、この値を０から遠
    ざける方向に丸め込む演算として定義されることを特徴
    とする請求項１４に記載のフレーム間予測画像の合成方
    法。
17. 【請求項１７】「//」が実数の除算による演算結果が整
    数に１／２を加えた値である場合に、被除数が負の場合
    は０に近づける方向、正の場合は０から遠ざける方向に
    丸め込む演算として定義されることを特徴とする請求項
    １４に記載のフレーム間予測画像の合成方法。
18. 【請求項１８】「//」が実数の除算による演算結果が整
    数に１／２を加えた値である場合に、被除数が負の場合
    は０から遠ざける方向、正の場合は０に近づける方向に
    丸め込む演算として定義されることを特徴とする請求項
    １４に記載のフレーム間予測画像の合成方法。
19. 【請求項１９】請求項１ないし１８に記載のフレーム間
    予測画像の合成方法を用いる画像の符号化方法。
20. 【請求項２０】請求項１ないし１８に記載のフレーム間
    予測画像の合成方法を用いる画像の復号化方法。
21. 【請求項２１】格子点の動きベクトルに関する情報を直
    接符号化することを特徴とする、請求項５ないし９に記
    載のフレーム間予測画像の合成方法を用いる画像の符号
    化方法。
22. 【請求項２２】符号化データとして直接符号化されてい
    る格子点の動きベクトルに関する情報を再生して用いる
    ことを特徴とする、請求項５ないし９に記載のフレーム
    間予測画像の合成方法を用いる画像の復号化方法。
23. 【請求項２３】代表点の動きベクトルに関する情報を直
    接符号化することを特徴とする、請求項１ないし４に記
    載のフレーム間予測画像の合成方法を用いる画像の符号
    化方法。
24. 【請求項２４】符号化データとして直接符号化されてい
    る代表点の動きベクトルに関する情報を再生して用いる
    ことを特徴とする、請求項１ないし４に記載のフレーム
    間予測画像の合成方法を用いる画像の復号化方法。
25. 【請求項２５】請求項１９または２１または２３に記載
    の画像符号化方法を用いて符号化された符号化画像デー
    タを記録した蓄積メディア。