JPH11266461A

JPH11266461A - 画像符号化装置

Info

Publication number: JPH11266461A
Application number: JP11004948A
Authority: JP
Inventors: Yuichiro Nakaya; 雄一郎中屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-01-12
Filing date: 1999-01-12
Publication date: 1999-09-28
Anticipated expiration: 2016-03-18
Also published as: JP3183277B2

Abstract

(57)【要約】【課題】画像全体の動きベクトル場を少ないパラメータ
によって近似するグローバル動き補償の処理における演
算を簡略化する方法を提供する。【解決手段】空間的な間隔が特別な特徴をもつ複数の代
表点６０２，６０３，６０４の動きベクトルを内・外挿
することによってグローバル動き補償における動きベク
トルを求める。【効果】グローバル動き補償において予測画像を合成す
る際の除算がすべてシフト演算によって代用できるた
め、計算機または専用ハードウェアによる処理を簡略化
することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像全体に対して
線形内・外挿または共１次内・外挿に基づくグローバル
動き補償を適用する画像符号化および復号化方法に関す
るものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。現在の
画像符号化技術の主流となっている動き補償方式は、動
画像符号化方式の国際標準であるＨ.２６１，ＭＰＥＧ
１，ＭＰＥＧ２に採用されているブロックマッチングで
ある。この方式では、符号化しようとする画像を多数の
ブロックに分割し、ブロックごとにその動きベクトルを
求める。

【０００３】図１にＨ.２６１の符号化器の構成例１０
０を示す。Ｈ.２６１は、符号化方式として、ブロック
マッチングとＤＣＴ（離散コサイン変換）を組み合わせ
たハイブリッド符号化方式（フレーム間／フレーム内適
応符号化方式）を採用している。減算器１０２は入力画
像（現フレームの原画像）１０１とフレーム間／フレー
ム内符号化切り換えスイッチ１１９の出力画像１１３
（後述）との差を計算し、誤差画像１０３を出力する。
この誤差画像は、ＤＣＴ変換器１０４でＤＣＴ係数に変
換された後に量子化器１０５で量子化され、量子化ＤＣ
Ｔ係数１０６となる。この量子化ＤＣＴ計数は伝送情報
として通信路に出力されると同時に、符号化器内でもフ
レーム間予測画像を合成するために使用される。以下に
予測画像合成の手順を説明する。上述の量子化ＤＣＴ係
数１０６は、逆量子化器１０８と逆ＤＣＴ変換器１０９
を経て復号誤差画像１１０（受信側で再生される誤差画
像と同じ画像）となる。これに、加算器１１１において
フレーム間／フレーム内符号化切り換えスイッチ１１９
の出力画像１１３（後述）が加えられ、現フレームの復
号画像１１２（受信側で再生される現フレームの復号画
像と同じ画像）を得る。この画像は一旦フレームメモリ
１１４に蓄えられ、１フレーム分の時間だけ遅延され
る。したがって、現時点では、フレームメモリ１１４は
前フレームの復号画像１１５を出力している。この前フ
レームの復号画像と現フレームの入力画像１０１がブロ
ックマッチング部１１６に入力され、ブロックマッチン
グの処理が行われる。ブロックマッチングでは、画像を
複数のブロックに分割し、各ブロックごとに現フレーム
の原画像に最も似た部分を前フレームの復号画像から取
り出すことにより、現フレームの予測画像１１７が合成
される。このときに、各ブロックが前フレームと現フレ
ームの間でどれだけ移動したかを検出する処理（動き推
定処理）を行う必要がある。動き推定処理によって検出
された各ブロックごとの動きベクトルは、動き情報１２
０として受信側へ伝送される。受信側は、この動き情報
と前フレームの復号画像から、独自に送信側で得られる
ものと同じ予測画像を合成することができる。予測画像
１１７は、「０」信号１１８と共にフレーム間／フレー
ム内符号化切り換えスイッチ１１９に入力される。この
スイッチは、両入力のいずれかを選択することにより、
フレーム間符号化とフレーム内符号化を切り換える。予
測画像１１７が選択された場合（図２はこの場合を表し
ている）には、フレーム間符号化が行われる。一方、
「０」信号が選択された場合には、入力画像がそのまま
ＤＣＴ符号化されて通信路に出力されるため、フレーム
内符号化が行われることになる。受信側が正しく復号化
画像を得るためには、送信側でフレーム間符号化が行わ
れたかフレーム内符号化が行われたかを知る必要があ
る。このため、識別フラグ１２１が通信路へ出力され
る。最終的なＨ.２６１符号化ビットストリーム１２３
は多重化器１２２で量子化ＤＣＴ係数，動きベクトル，
フレーム内／フレーム間識別フラグの情報を多重化する
ことによって得られる。

【０００４】図２に図１の符号化器が出力した符号化ビ
ットストリームを受信する復号化器２００の構成例を示
す。受信したＨ.２６１ビットストリーム２１７は、分
離器２１６で量子化ＤＣＴ係数２０１，動きベクトル２
０２，フレーム内／フレーム間識別フラグ２０３に分離
される。量子化ＤＣＴ係数２０１は逆量子化器２０４と
逆ＤＣＴ変換器２０５を経て復号化された誤差画像２０
６となる。この誤差画像は加算器２０７でフレーム間／
フレーム内符号化切り換えスイッチ２１４の出力画像２
１５を加算され、復号化画像２０８として出力される。
フレーム間／フレーム内符号化切り換えスイッチはフレ
ーム間／フレーム内符号化識別フラグ２０３に従って、
出力を切り換える。フレーム間符号化を行う場合に用い
る予測画像２１２は、予測画像合成部２１１において合
成される。ここでは、フレームメモリ２０９に蓄えられ
ている前フレームの復号画像２１０に対して、受信した
動きベクトル２０２に従ってブロックごとに位置を移動
させる処理が行われる。一方フレーム内符号化の場合、
フレーム間／フレーム内符号化切り換えスイッチは、
「０」信号２１３をそのまま出力する。

【０００５】ブロックマッチングは現在最も広く利用さ
れている動き補償方式であるが、画像全体が拡大・縮小
・回転している場合には、すべてのブロックに対して動
きベクトルを伝送しなければならず、符号化効率が悪く
なる問題が発生する。この問題に対し、画像全体の動き
ベクトル場を少ないパラメータを用いて表現するグロー
バル動き補償（例えば、M.Hotter, "Differential esti
mation of the globalmotion parameters zoom and pa
n", Signal Processing, vol. 16, no. 3, pp.249-265,
Mar. 1989）が提案されている。これは、画像内の画素
（ｘ,ｙ）の動きベクトル（ｕg(ｘ,ｙ),ｖg(ｘ,ｙ)）
を、

【０００６】

【数１】

【０００７】や、

【０００８】

【数２】

【０００９】の形式で表し、この動きベクトルを利用し
て動き補償を行う方式である。ここでａ0〜ａ5，ｂ0〜
ｂ7 は動きパラメータである。動き補償を行う際には、
送信側と受信側で同じ予測画像が得られなければならな
い。このために、送信側は受信側へａ0〜ａ5 または
ｂ0〜ｂ7 の値を直接伝送しても良いが、代わりにいく
つかの代表点の動きベクトルを伝送する方法もある。い
ま、画像の左上端，右上端，左下端，右下端の画素の座
標がそれぞれ（０,０)，(ｒ,０)，(０,ｓ)，(ｒ,ｓ）で
表されるとする（ただし、ｒとｓは正の整数）。このと
き、代表点（０,０)，(ｒ,０)，(０,ｓ）の動きベクト
ルの水平，垂直成分をそれぞれ（ｕa,ｖa)，(ｕb,ｖ
b)，(ｕc,ｖc）とすると、(数１) は

【００１０】

【数３】

【００１１】と書き換えることができる。このことは
ａ0〜ａ5 を伝送する代わりにｕa，ｖa，ｕb，ｖb，ｕ
c，ｖc を伝送しても同様の機能が実現できることを意
味する。この様子を図３に示す。現フレームの原画像３
０２と参照画像３０１の間でグローバル動き補償が行わ
れたとして、動きパラメータの代わりに代表点３０３，
３０４，３０５の動きベクトル３０６，３０７，３０８
（このとき、動きベクトルは現フレームの原画像の点を
出発点として、参照画像内の対応する点を終点とするも
のとして定義する）を伝送しても良い。これと同じよう
に、４個の代表点（０,０)，(ｒ,０)，(０,ｓ)，(ｒ,
ｓ）の動きベクトルの水平，垂直成分（ｕa,ｖa)，(ｕ
b,ｖb)，(ｕc,ｖc)，(ｕd,ｖd）を用いて (数２) は、

【００１２】

【数４】

【００１３】と書き換えることができる。したがって、
ｂ0〜ｂ7 を伝送する代わりにｕa，ｖa，ｕb，ｖb，ｕ
c，ｖc，ｕd，ｖd を伝送しても同様の機能が実現でき
る。本明細書では (数１) を用いる方式を線形内・外挿
に基づくグローバル動き補償，(数２) を用いる方式を
共１次内・外挿に基づくグローバル動き補償とよぶこと
とする。

【００１４】代表点の動きベクトルを伝送する線形内・
外挿に基づくグローバル動き補償方式を採用した画像符
号化器の動き補償処理部４０１の構成例を図４に示す。
図１と同じ番号は同じものを指すとする。図１のブロッ
クマッチング部１１６をこの動き補償処理部４０１に入
れ替えることにより、グローバル動き補償を行う画像符
号化装置を構成することができる。グローバル動き補償
部４０２で前フレームの復号画像１１５と現フレームの
原画像１０１との間でグローバル動き補償に関する動き
推定が行われ、上記ｕa，ｖa，ｕb，ｖb，ｕc，ｖc の
値が推定される。これらの値に関する情報４０３は動き
情報１２０の一部として伝送される。グローバル動き補
償の予測画像４０４は数３を用いて合成され、ブロック
マッチング部４０５に供給される。ここでは、グローバ
ル動き補償の予測画像と現フレームの原画像との間でブ
ロックマッチングによる動き補償が行われ、ブロックの
動きベクトル情報４０６と最終的な予測画像１１７が得
られる。この動きベクトル情報は動きパラメータ情報と
多重化部４０７において多重化され、動き情報１２０と
して出力される。

【００１５】図４とは異なる動き補償処理部５０１の構
成例を図５に示す。図１と同じ番号は同じものを指すと
する。図１のブロックマッチング部１１６をこの動き補
償処理部５０１に入れ替えることにより、グローバル動
き補償を行う画像符号化装置を構成することができる。
この例では、グローバル動き補償の予測画像にブロック
マッチングを適用するのではなく、各ブロックに関して
グローバル動き補償かブロックマッチングのいずれかが
適用される。前フレームの復号画像１１５と現フレーム
の原画像１０１との間で、グローバル動き補償部５０２
とブロックマッチング部５０５でそれぞれグローバル動
き補償とブロックマッチングが並列に行われる。選択ス
イッチ５０８は、グローバル動き補償による予測画像５
０３とブロックマッチングによる予測画像５０６の間で
ブロックごとに最適な方式を選択する。代表点の動きベ
クトル５０４，ブロックごとの動きベクトル５０７，グ
ローバル動き補償／ブロックマッチングの選択情報５０
９は多重化部５１０で多重化され、動き情報１２０とし
て出力される。

【００１６】以上述べたグローバル動き補償を導入する
ことにより、画像の大局的な動きを少ないパラメータを
用いて表現することが可能となり、より高い情報圧縮率
が実現できる。しかし、その一方で符号化および復号化
における処理量は従来の方式と比較して増加する。特に
(数３) および (数４) に見られる除算は、処理を複雑
にする大きな要因となってしまう。

【００１７】

【発明が解決しようとする課題】画像全体の動きベクト
ル場を少ないパラメータによって近似するグローバル動
き補償では、予測画像の合成のための処理量が多くなる
問題が発生する。本発明の目的は、グローバル動き補償
における除算の処理を２進数のシフト演算に置き換える
ことにより、演算量を減少させることにある。

【００１８】

【課題を解決するための手段】グローバル動き補償を行
う際の代表点の座標をうまく選択することにより、除算
処理をシフト演算で実現できるようにする。

【００１９】

【発明の実施の形態】以下の議論では、画素のサンプリ
ング間隔を水平，垂直方向共に１とし、画像の左上端，
右上端，左下端，右下端の画素の座標がそれぞれ（０,
０)，(ｒ,０)，(０,ｓ)，(ｒ,ｓ）で表されるとする
（ただし、ｒとｓは正の整数）。

【００２０】線形内・外挿（アフィン変換）または共１
次内・外挿（共１次変換）を用いた動き補償を行う際に
は、画素ごとの動きベクトルに対して量子化を行うと、
ミスマッチの防止や演算の簡略化などの効果を得ること
ができる（特願平06-193970）。以下では、画素の動き
ベクトルの水平成分と垂直成分が１／ｍ（ｍは正の整
数）の整数倍であるとする。また、「従来の技術」で説
明した代表点の動きベクトルを用いるグローバル動き補
償を行うと仮定し、各代表点の動きベクトルは１／ｋ
（ｋは正の整数）の整数倍であるとする。なお、本明細
書では、「画素の動きベクトル」はグローバル動き補償
を行う際に、実際に予測画像を合成するために用いる動
きベクトルのことを指す。一方、「代表点の動きベクト
ル」は画素の動きベクトルを計算するために用いるパラ
メータを意味している。したがって、量子化ステップサ
イズの違いなどが原因で、同じ座標上に存在していても
画素の動きベクトルと代表点の動きベクトルが一致しな
い場合も起こり得る。

【００２１】まず線形内・外挿を用いる場合について図
６を用いて説明する。このとき、「従来の技術」で述べ
たように代表点を画像６０１の隅に位置する点とはせ
ず、（ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ）に位置する点
６０２，６０３，６０４とする（ｉ，ｊ，ｐ，ｑは整
数）。このとき、点６０２，６０３，６０４は画像の内
部に存在していても外部に存在していても良い。代表点
の動きベクトルの水平，垂直成分をｋ倍したものをそれ
ぞれ（ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2）とすると（ｕ
0，ｖ0，ｕ1，ｖ1，ｕ2，ｖ2 は整数）、画素（ｘ,ｙ）
の動きベクトルの水平，垂直成分をｍ倍したもの（ｕ
(ｘ,ｙ),ｖ(ｘ,ｙ)）は以下の式で表すことができる
（ただし、ｘ，ｙ，ｕ(ｘ,ｙ)，ｖ(ｘ,ｙ）は整数）。

【００２２】

【数５】

【００２３】ただし、「//」は通常の除算による演算結
果が整数ではない場合にこれを近隣の整数に丸め込む除
算で、演算子としての優先順位は乗除算と同等である。
演算誤差を小さくするためには、非整数値は最も近い整
数に丸め込まれることが望ましい。このとき整数に１／
２を加えた値の丸め込み方法は、(1) ０に近づける方向
に丸め込む、(2) ０から遠ざける方向に丸め込む、(3)
被除数が負の場合は０に近づける方向，正の場合は０か
ら遠ざける方向に丸め込む（除数は常に正であるとす
る）、(4) 被除数が負の場合は０から遠ざける方向，正
の場合は０に近づける方向に丸め込む（除数は常に正で
あるとする）、などが考えられる。これらの中で（3）
と（4）は、被除数の正負に関わらず丸め込みの方向が
変化しないため、正負判定が必要ない分だけ処理量の点
で有利である。(3）を用いた高速処理は以下の式によっ
て実現される。

【００２４】

【数６】

【００２５】ただし、「＃」は小数点以下を０の方向に
切り捨てる整数の除算であり、一般に計算機では最も実
現しやすい形式の除算である。ここで、ＬとＭは除算の
被除数を常に正に保つための数で、十分に大きな正の整
数である。また、(ｐｑｋ＃２）の項は、除算結果を最
も近い整数に丸め込むために用いられる。

【００２６】処理を整数化することはそれ自体処理量の
低減に貢献するが、ここでｐ，ｑ，ｋをそれぞれ２の
α，β，ｈ0 乗（α，βは正の整数、ｈ0は負ではない
整数）とすると、(数５) の除算は α＋β＋ｈ0 ビット
のシフト演算で実現できるため、計算機や専用ハードウ
ェアにおける処理量を大きく減らすことができる。さら
にｍを２のｈ1乗とすれば（ｈ1は負ではない整数、ｈ1
＜α＋β＋ｈ0）、(数６) は、

【００２７】

【数７】

【００２８】と書き換えることができ（「ｘ<<α」はｘ
をαビット左にシフトして下位αビットに０を入れる、
「ｘ>>α」はｘをαビット右にシフトして上位αビット
に０または１を入れる（ｘが２の補数表現の場合、ｘの
最上位ビットが１のときは１，０のときは０を入れる）
ことを意味し、これらの演算子の優先順位は加減算と乗
除算の中間であるとする）、さらに演算を簡略化するこ
とができる。

【００２９】線形内・外挿を用いた場合、さらに（ｉ+
ｐ,ｊ+ｑ）に位置する代表点の動きベクトルの水平，垂
直成分をｋ倍したものを（ｕ3,ｖ3）として、(数５) は
（ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ+ｐ,ｊ+ｑ）を代表点とすれ
ば、

【００３０】

【数８】

【００３１】（ｉ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ）を
代表点とすれば、

【００３２】

【数９】

【００３３】（ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+
ｑ）を代表点とすれば、

【００３４】

【数１０】

【００３５】と書き換えられ、ｐ，ｑ，ｋ，ｍの値を
２の正の整数乗とすることによって同様に処理量を減ら
すことができる。

【００３６】共１次内・外挿を用いた場合には、代表点
（ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ）そ
れぞれの動きベクトルの水平，垂直成分をｋ倍したもの
である（ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3）
を用いて（ｕ(ｘ,ｙ),ｖ(ｘ,ｙ)）は以下の式で表すこ
とができる。

【００３７】

【数１１】

【００３８】この式もｐ，ｑ，ｋ，ｍの値をそれぞれ
２の α，β，ｈ0，ｈ1 乗とすることによって、

【００３９】

【数１２】

【００４０】と書き換えることができ、上と同様に処理
量を減らすことができる。

【００４１】送信側と受信側で同じグローバル動き補償
予測画像を得るためには、代表点の動きベクトルに関す
る情報を何らかの形で受信側に伝える必要がある。代表
点の動きベクトルそのまま伝送する方法もあるが、画像
の隅の点の動きベクトルを伝送し、この値から代表点の
動きベクトルを計算する方法もある。この方法に関し、
以下に説明する。

【００４２】まずは線形内・外挿が使用される場合につ
いて説明する。画像の隅の３個の点（０,０)，(ｒ,
０)，(０,ｓ）の動きベクトルが１／ｎ整数倍の値のみ
とれるとして、これらの水平，垂直成分をｎ倍した（ｕ
00,ｖ00)，(ｕ01,ｖ01)，(ｕ02,ｖ02）が伝送されると
する。このとき、点（ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+
ｑ)，(ｉ+ｐ,ｊ+ｑ）それぞれの動きベクトルの水平，
垂直成分をｋ倍したものである（ｕ0,ｖ0)，(ｕ1,ｖ
1)，(ｕ2,ｖ2)，(ｕ3,ｖ3）を、

【００４３】

【数１３】

【００４４】と定義する。ただし、ｕ'(ｘ,ｙ)，ｖ'
(ｘ,ｙ）は、(数５) を変形して、

【００４５】

【数１４】

【００４６】と定義する。このとき、「///」は通常の除
算による演算結果が整数ではない場合にこれを近隣の整
数に丸め込む除算で、演算子としての優先順位は乗除算
と同等である。(ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ
3,ｖ3）の中から３点を選び、それらを代表点とするグ
ローバル動き補償を行えば、(０,０)，(ｒ,０)，(０,
ｓ）を代表点とするグローバル動き補償を近似すること
ができる。もちろんこのときにｐとｑを２の正の整数乗
とすれば、上で述べたように処理を簡略化することが可
能となる。なお、演算誤差を小さくするためには、「//
/」は非整数値を最も近い整数に丸め込むことが望まし
い。このとき整数に１／２を加えた値の丸め込み方法と
しては、上で述べた（1）〜（4）の方法が考えられる。
ただし、(数５)（画素ごとに計算）の場合と比較して、
(数１４) （１枚の画像で３回のみ計算）は演算が実行
される回数が少ないため、(1）または（2）の方法を選
んだとしても全体の演算量に大きな影響は与えない。

【００４７】画像の隅の点として (数１３) の例とは異
なる３点が選ばれた場合も数８〜１０を変形することに
よって同様の処理を実現することができる。上記の例に
加え、さらに画像の隅の点（ｒ,ｓ）の動きベクトルの
水平，垂直成分をｎ倍したものを（ｕ03,ｖ03）とすれ
ば、(数１４) は、（ｕ00,ｖ00)，(ｕ01,ｖ01)，(ｕ03,
ｖ03）が伝送される場合には、

【００４８】

【数１５】

【００４９】と、(ｕ00,ｖ00)，(ｕ02,ｖ02)，(ｕ03,ｖ
03）が伝送される場合には、

【００５０】

【数１６】

【００５１】と、(ｕ01,ｖ01)，(ｕ02,ｖ02)，(ｕ03,ｖ
03）が伝送される場合には、

【００５２】

【数１７】

【００５３】と書き換えられる。

【００５４】共１次内・外挿が行われる場合も同様であ
る。上と同様に画像の隅の４個の代表点（０,０)，(ｒ,
０)，(０,ｓ)，(ｒ,ｓ）の動きベクトルが１／ｎ整数倍
の値のみとれるとして、これらの水平，垂直成分をｎ倍
した（ｕ00,ｖ00)，(ｕ01,ｖ01)，(ｕ02,ｖ02)，(ｕ03,
ｖ03）が伝送されるとする。このときの代表点（ｉ,
ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ）それぞ
れの動きベクトルの水平，垂直成分をｋ倍したものであ
る（ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3）は上
と同様、(数１３) で与えられる。ただし、ｕ'(ｘ,
ｙ)，ｖ'(ｘ,ｙ）は、(数１１) を変形して、

【００５５】

【数１８】

【００５６】と定義される。

【００５７】画像の隅の点の動きベクトルを伝送し、こ
れに対して内・外挿を行うことによって代表点の動きベ
クトルを求める方式の長所は、画素ごとの動きベクトル
の範囲を限定しやすい点である。例えば、(数４) で与
えられる共１次内・外挿では、(ｘ,ｙ）が画像内の点で
あるとき、ｕg(ｘ,ｙ）の値はｕa，ｕb，ｕc，ｕdの最
大値を超えることも、最小値を下まわることもない。し
たがって、グローバル動き推定のときにｕa，ｕb，ｕ
c，ｕd の値がある制限範囲内（例えば±３２画素以内
の範囲）に収まるような制約条件を加えれば、全ての画
素に関してｕg(ｘ,ｙ）の値を同じ制限範囲内入れてお
くことができる（もちろんこれはｖg(x,ｙ）に関して
も成立する）。こうすると演算に必要な桁数を明確にす
ることができ、ソフトウェアまたはハードウェアを設計
する上で便利である。ただし、以上の議論は計算がすべ
て浮動小数点演算で行われた場合の議論なので、実際の
処理では注意が必要である。画像の隅の点の動きベクト
ルから代表点の動きベクトルを求める演算 (数１８) に
は整数への丸め込みが存在するため、計算誤差の影響で
(数１２) で求まる動きベクトルが上で述べた制限範囲
内から出る可能性を考慮する必要がある。特に代表点が
画像の内側に位置するような場合には注意が必要であ
る。これは、代表点が囲む長方形の外側に位置する画素
に関しては外挿によって動きベクトルが求められるた
め、丸め込み誤差が増幅される可能性があるためであ
る。外挿によって動きベクトルが求まる例を図７に示
す。画像７０１に対し、代表点７０２，７０３，７０
４，７０５を用いてグローバル動き補償を行うと、画像
内の斜線で示された部分は外挿により動きベクトルが計
算されることになる。これは、斜線部が代表点が囲む長
方形７０６の外にあるためである。

【００５８】この問題への対策としては、４個の代表点
を、代表点が囲む長方形が画像全体を含むように配置す
る方法が有効である。この例を図８に示す。代表点８０
２，８０３，８０４，８０５が囲む長方形８０６は、画
像８０１を含んでいる。こうすれば、全ての画素の動き
ベクトルは代表点からの内挿により求められるため、代
表点における丸め込み誤差の影響は画像内では増幅され
ない。したがって、代表点の丸め込み誤差より大きな誤
差が画像内で発生することはなく、誤差の上限が明確に
なる。ただし、代表点が囲む長方形を大きくし過ぎる
と、代表点の動きベクトルがとり得る値の範囲が広くな
るため、演算に必要な桁数が増加し、実装する上では不
利となる。

【００５９】以上の議論から、丸め込み誤差の影響を小
さくするため、ｐの値はｒ以上であり、ｑの値はｓ以上
であるが望ましい。ｐ，ｑはそれぞれｒ，ｓより小
さい場合にも、なるべく大きな値をとることが望まし
い。また、ｉ，ｊの値は、画像内のできるだけ広い部
分が代表点により囲まれる領域に入るような値とするこ
とが望ましい。

【００６０】上で述べたように、グローバル動き補償に
共１次内・外挿を用いた場合には、４個の代表点が囲む
長方形に含まれる画素の動きベクトルの各成分は、代表
点の動きベクトルの各成分の最大値と最小値の間の値し
かとれないという性質がある。これに対し、線形内・外
挿が使用された場合には、３個の代表点が囲む３角形内
の画素の動きベクトルが同様の性質を持つ。したがっ
て、線形内・外挿を用いるグローバル動き補償を行う場
合には、画像の四隅の点の動きベクトルを伝送し、画像
の対角線によって分割される２個の直角３角形に対して
それぞれ独立にグローバル動き補償を行う方法が有効で
ある。こうすることにより、４隅の点に対する動きベク
トルの範囲に関する制約が、そのまま画像内のすべての
画素の動きベクトルに適用できる。このとき、ｉ，ｊ，
ｐ，ｑの値は、２個の直角３角形の間で異なっていて
も良い。また、演算誤差の観点から言えば、外挿によっ
て画素の動きベクトルを計算するケースを避けるため、
代表点の囲む３角形が、グローバル動き補償の対象とな
る直角３角形を含むことが望ましい。この例を図９に示
す。画像９０１の４隅である点９０９，９０３，９０
８，９１０の動きベクトルが伝送され、点９０９，９０
３，９１０によって構成される直角３角形と、点９０
９，９１０，９０８によって構成される直角３角形それ
ぞれに対し、独立にグローバル動き補償が行われる。し
たがって、頂点の動きベクトルの範囲に関して制約を設
ければ、画像内の全ての画素の動きベクトルもこの制約
範囲内に入ることになる。点９０９，９０３，９１０に
よって構成される直角３角形は代表点として点９０２，
９０３，９０４を使用し、点９０９，９１０，９０８に
よって構成される直角３角形は代表点として点９０６，
９０７，９０８を使用する。代表点によって構成される
３角形は、それぞれグローバル動き補償の対象となる直
角３角形を中に含んでいる。このため、代表点の動きベ
クトルの丸め込み誤差の影響は、画像内の点において増
幅されることはない。なお、この例では代表点が構成す
る２個の三角形は相似となっているが、必ずしもそうで
ある必要はない。

【００６１】

【発明の効果】本発明により、グローバル動き補償の予
測画像合成処理における除算の処理をシフト演算で代用
することが可能となり、ソフトウェアや専用ハードウェ
アによる処理を簡略化することが可能となる。

【図面の簡単な説明】

【図１】Ｈ.２６１の画像符号化器の構成例を示した図
である。

【図２】Ｈ.２６１の画像復号化器の構成例を示した図
である。

【図３】代表点の動きベクトルを伝送するグローバル動
き補償の例を示した図である。

【図４】グローバル動き補償の予測画像に対してブロッ
クマッチングを行う画像符号化器の動き補償処理部を示
した図である。

【図５】ブロックごとにグローバル動き補償とブロック
マッチングを選択する画像符号化器の動き補償処理部を
示した図である。

【図６】高速な処理を行うための代表点の配置の例を示
した図である。

【図７】画像内において、外挿によって動きベクトルを
求める領域を示した図である。

【図８】画像内のすべての画素の動きベクトルが、代表
点の動きベクトルからの内挿によって求められる場合を
示した図である。

【図９】画像を２個の直角３角形に分割し、それぞれに
対して代表点の動きベクトルからの内挿によるグローバ
ル動き補償を適用した例を示した図である。

【符号の説明】

１００…画像符号化器、１０１…入力画像、１０２…減
算器、１０３…誤差画像、１０４…ＤＣＴ変換器、１０
５…ＤＣＴ係数量子化器、１０６，２０１…量子化ＤＣ
Ｔ係数、１０８，２０４…ＤＣＴ係数逆量子化器、１０
９，２０５…逆ＤＣＴ変換器、１１０，２０６…復号誤
差画像、１１１，２０７…加算器、１１２…現フレーム
の復号画像、１１３，２１５…フレーム間／フレーム内
符号化切り換えスイッチの出力画像、１１４，２０９…
フレームメモリ、１１５，２１０…前フレームの復号画
像、１１６，４０５，５０５…ブロックマッチング部、
１１７，２１２…現フレームの予測画像、１１８，２１
３…「０」信号、１１９，２１４…フレーム間／フレー
ム内符号化切り換えスイッチ、１２０，２０２，４０
６，５０７…動きベクトル情報、１２１，２０３…フレ
ーム間／フレーム内識別フラグ、１２２，４０７，５１
０…多重化器、１２３…伝送ビットストリーム、２００
…画像復号化器、２０８…出力画像、２１１…予測画像
合成部、２１６…分離器、３０１…参照画像、３０２…
現フレームの原画像、３０３，３０４，３０５，６０
２，６０３，６０４，７０２，７０３，７０４，７０
５，８０２，８０３，８０４，８０５，９０２，９０
４，９０６，９０７…代表点、３０６，３０７，３０８
…代表点の動きベクトル、４０１，５０１…グローバル
動き補償を行う動き補償処理部、４０２，５０２…グロ
ーバル動き補償部、４０３，５０４…動きパラメータ、
４０４，５０３…グローバル動き補償の予測画像、５０
６…ブロックマッチングによる予測画像、５０８…ブロ
ックマッチング／グローバル動き補償切り換えスイッ
チ、５０９…ブロックマッチング／グローバル動き補償
の選択情報、６０１，７０１，８０１，９０１…グロー
バル動き補償の対象となる画像、７０６…代表点が囲む
長方形、９０３，９０８…画像の隅の点と代表点を兼用
する点、９０９，９１０…画像の隅の点。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年１月１８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】発明の名称

【補正方法】変更

【補正内容】

【発明の名称】画像符号化装置

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００２２

【補正方法】変更

【補正内容】

【００２２】

【数５】

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３０

【補正方法】変更

【補正内容】

【００３０】

【数８】

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】

【数９】

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００３４

【補正方法】変更

【補正内容】

【００３４】

【数１０】

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】

【数１１】

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正内容】

【００４５】

【数１４】

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正内容】

【００４８】

【数１５】

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００５０

【補正方法】変更

【補正内容】

【００５０】

【数１６】

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００５２

【補正方法】変更

【補正内容】

【００５２】

【数１７】

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正内容】

【００５５】

【数１８】

Claims

【特許請求の範囲】

【請求項１】３個の代表点における動きベクトルに対
し、線形内・外挿を行うことによって画像内のすべての
画素に対する動きベクトルを計算する際に、画素のサンプリング間隔が水平，垂直方向共に１であ
り、かつ、サンプリング点は座標の水平，垂直成分が共
に整数である点の上に存在しているとして、座標が (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+
ｑ) で表される４点の中から３点を代表点として使用し
(ｉとｊは整数、ｐとｑは正の整数)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするグローバル動き補償
方法。
【請求項２】４個の代表点における動きベクトルに対
し、共１次内・外挿を行うことによって画像内のすべて
の画素に対する動きベクトルを計算する際に、画素のサンプリング間隔が水平，垂直方向共に１であ
り、かつ、サンプリング点は座標の水平，垂直成分が共
に整数である点の上に存在しているとして、上記４個の代表点の座標が (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,
ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ) で表すことができ (ｉとｊは整
数)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするグローバル動き補償
方法。
【請求項３】画像における画素のサンプリング間隔が水
平，垂直方向共に１であり、かつ、サンプリング点は座標の水平，垂直成分が共に整
数である点の上に存在しており、かつ、代表点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ) にお
ける動きベクトルの水平・垂直成分が１／ｋの整数倍の
値のみをとり(ただし、ｉ，ｊは整数、ｐ，ｑは正の整
数、ｋは２のｈ0乗、かつ、ｈ0は負ではない整数)、かつ、各画素の動きベクトルの水平・垂直成分が１／ｍ
の整数倍の値のみをとる(ただし、ｍは２のｈ1乗、か
つ、ｈ1は負ではない整数)ときに、代表点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ) における動
きベクトルの水平・垂直成分をｋ倍したものである (ｕ
0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2) を用いて (ただし、ｕ
0，ｖ0，ｕ1，ｖ1，ｕ2，ｖ2は整数)、画素 (ｘ,ｙ) の動きベクトルの水平・垂直成分をｍ倍
したものである (ｕ(ｘ,ｙ),ｖ(ｘ,ｙ)) が (ただし、
ｘ，ｙ，ｕ(ｘ,ｙ)，ｖ(ｘ,ｙ) は整数)、 u(x,y)=(u0・p・q+(u1-u0)(x-i)・q+(u2-u0)(y-j)・p)m//(p
・q・k) v(x,y)=(v0・p・q+(v1-v0)(x-i)・q+(v2-v0)(y-j)・p)m//(p
・q・k) によって表され (ただし、「//」は通常の除算による演
算結果が整数ではない場合にこれを近隣の整数に丸め込
む除算で、演算子としての優先順位は乗除算と同等)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするフレーム間予測画像
の合成方法。
【請求項４】画像における画素のサンプリング間隔が水
平，垂直方向共に１であり、かつ、サンプリング点は座標の水平，垂直成分が共に整
数である点の上に存在しており、かつ、代表点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ+ｐ,ｊ+ｑ) に
おける動きベクトルの水平・垂直成分が１／ｋの整数倍
の値のみをとり (ただし、ｉ，ｊは整数、ｐ，ｑは正の
整数、ｋは２のｈ0乗、かつ、ｈ0は負ではない整数)、かつ、各画素の動きベクトルの水平・垂直成分が１／ｍ
の整数倍の値のみをとる (ただし、ｍは２のｈ1乗、か
つ、ｈ1は負ではない整数) ときに、代表点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ+ｐ,ｊ+ｑ) における
動きベクトルの水平・垂直成分をｋ倍したものである
(ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ3,ｖ3) を用いて (ただし、
ｕ0，ｖ0，ｕ1，ｖ1，ｕ3，ｖ3は整数)、画素 (ｘ,ｙ) の動きベクトルの水平・垂直成分をｍ倍し
たものである (ｕ(ｘ,ｙ),ｖ(ｘ,ｙ)) が (ただし、
ｘ，ｙ，ｕ(ｘ,ｙ)，ｖ(ｘ,ｙ) は整数)、ｕ（ｘ，ｙ）＝（ｕ０・ｐ・ｑ＋（ｕ１−ｕ０）（ｘ−
ｉ）・ｑ＋（ｕ３−ｕ１）（ｙ−ｊ）・ｐ）ｍ／／（ｐ
・ｑ・ｋ）ｖ（ｘ，ｙ）＝（ｖ０・ｐ・ｑ＋（ｖ１−ｖ０）（ｘ−
ｉ）・ｑ＋（ｖ３−ｖ１）（ｙ−ｊ）・ｐ）ｍ／／（ｐ
・ｑ・ｋ）によって表され（ただし、「//」は通常の除算による
演算結果が整数ではない場合にこれを近隣の整数に丸め
込む除算で、演算子としての優先順位は乗除算と同
等)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするフレーム間予測画像
の合成方法。
【請求項５】画像における画素のサンプリング間隔が水
平，垂直方向共に１であり、かつ、サンプリング点は座標の水平，垂直成分が共に整
数である点の上に存在しており、かつ、代表点 (ｉ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ) に
おける動きベクトルの水平・垂直成分が１／ｋの整数倍
の値のみをとり (ただし、ｉ，ｊは整数、ｐ，ｑは正の
整数、ｋは２のｈ0乗、かつ、ｈ0は負ではない整数)、かつ、各画素の動きベクトルの水平・垂直成分が１／ｍ
の整数倍の値のみをとる (ただし、ｍは２のｈ1乗、か
つ、ｈ1は負ではない整数) ときに、代表点 (ｉ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ) における
動きベクトルの水平・垂直成分をｋ倍したものである
(ｕ0,ｖ0)，(ｕ2,ｖ2)，(ｕ3,ｖ3) を用いて (ただし、
ｕ0，ｖ0，ｕ2，ｖ2，ｕ3，ｖ3は整数)、画素 (ｘ,ｙ) の動きベクトルの水平・垂直成分をｍ倍し
たものである (ｕ(ｘ,ｙ),ｖ(ｘ,ｙ)) が (ただし、
ｘ，ｙ，ｕ(ｘ,ｙ)，ｖ(ｘ,ｙ) は整数)、 u(x,y)=(u0・p・q+(u3-u2)(x-i)・q+(u2-u0)(y-j)・p)m//(p
・q・k) v(x,y)=(v0・p・q+(v3-v2)(x-i)・q+(v2-v0)(y-j)・p)m//(p
・q・k) によって表され (ただし、「//」は通常の除算による演
算結果が整数ではない場合にこれを近隣の整数に丸め込
む除算で、演算子としての優先順位は乗除算と同等)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするフレーム間予測画像
の合成方法。
【請求項６】画像における画素のサンプリング間隔が水
平，垂直方向共に１であり、かつ、サンプリング点は座標の水平，垂直成分が共に整
数である点の上に存在しており、かつ、代表点 (ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ)
における動きベクトルの水平・垂直成分が１／ｋの整数
倍の値のみをとり (ただし、ｉ，ｊは整数、ｐ，ｑは正
の整数、ｋは２のｈ0乗、かつ、ｈ0は負ではない整
数)、かつ、各画素の動きベクトルの水平・垂直成分が１／ｍ
の整数倍の値のみをとる (ただし、ｍは２のｈ1乗、か
つ、ｈ1は負ではない整数) ときに、代表点 (ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ) にお
ける動きベクトルの水平・垂直成分をｋ倍したものであ
る (ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3) を用いて(ただ
し、ｕ1，ｖ1，ｕ2，ｖ2，ｕ3，ｖ3は整数)、画素 (ｘ,ｙ) の動きベクトルの水平・垂直成分をｍ倍し
たものである (ｕ(ｘ,ｙ),ｖ(ｘ,ｙ)) が (ただし、
ｘ，ｙ，ｕ(ｘ,ｙ)，ｖ(ｘ,ｙ) は整数)、 u(x,y)=(u3・p・q+(u2-u3)(p-x+i)・q+(u1-u3)(q-y+j)・p)m
//(p・q・k) v(x,y)=(v0・p・q+(v2-v3)(p-x+i)・q+(v1-v3)(q-y+j)・p)m
//(p・q・k) によって表され (ただし、「//」は通常の除算による演
算結果が整数ではない場合にこれを近隣の整数に丸め込
む除算で、演算子としての優先順位は乗除算と同等)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするフレーム間予測画像
の合成方法。
【請求項７】画像における画素のサンプリング間隔が水
平，垂直方向共に１であり、かつ、サンプリング点は座標の水平，垂直成分が共に整
数である点の上に存在しており、かつ、代表点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+
ｐ,ｊ+ｑ) における動きベクトルの水平・垂直成分が１
／ｋの整数倍の値のみをとり (ただし、ｉ，ｊは整数、
ｐ，ｑは正の整数、ｋは２のｈ0乗、かつ、ｈ0は負では
ない整数)、かつ、各画素の動きベクトルの水平・垂直成分が１／ｍ
の整数倍の値のみをとる (ただし、ｍは２のｈ1乗、か
つ、ｈ1は負ではない整数) ときに、代表点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+
ｑ) における動きベクトルの水平・垂直成分をｋ倍した
ものである (ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2),(ｕ3,ｖ
3) を用いて (ただし、ｕ0，ｖ0，ｕ1，ｖ1，ｕ2，ｖ
2，ｕ3，ｖ3は整数)、画素 (ｘ,ｙ) の動きベクトルの水平・垂直成分をｍ倍し
たものである (ｕ(ｘ,ｙ),ｖ(ｘ,ｙ)) が (ただし、
ｘ，ｙ，ｕ(ｘ,ｙ)，ｖ(ｘ,ｙ) は整数)、 u(x,y)=((u0(p-x+i)+u1(x-i))(q-y+j)+(u2(p-x+i)+u3(x
-i))(y-j))m//(p・q・k) v(x,y)=((v0(p-x+i)+v1(x-i))(q-y+j)+(v2(p-x+i)+v3(x
-i))(y-j))m//(p・q・k) によって表され (ただし、「//」は通常の除算による演
算結果が整数ではない場合にこれを近隣の整数に丸め込
む除算で、演算子としての優先順位は乗除算と同等)、かつ、ｐとｑがそれぞれ２のα乗と２のβ乗 (α，βは
正の整数) であることを特徴とするフレーム間予測画像
の合成方法。
【請求項８】画像の左上端，右上端，左下端，右下端の
画素の座標がそれぞれ (０,０)，(ｒ,０)，(０,ｓ)，
(ｒ,ｓ) で表されるとき (ただし、ｒとｓは正の整
数)、画像の隅の点 (０,０)，(ｒ,０)，(０,ｓ) における動
きベクトルの水平・垂直成分が１／ｎの整数倍の値をと
るとして (ただし、ｎは正の整数)、これらの動きベク
トルをｎ倍したものである (ｕ00,ｖ00)，(ｕ01,ｖ0
1)，(ｕ02,ｖ02) (ただし、ｕ00，ｖ00，ｕ01，ｖ01，
ｕ02，ｖ02は整数) を用いて、点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ)
の動きベクトルの水平・垂直成分をｋ倍したものである
(ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3)が、 u'(x,y)=(u00・r・s+(u01-u00)x・s+(u02-u00)y・r)k///(r・
s・n) v'(x,y)=(v00・r・s+(v01-v00)x・s+(v02-v00)y・r)k///(r・
s・n) u0=u'(i,j) v0=v'(i,j) u1=u'(i+p,j) v1=v'(i+p,j) u2=u'(i,j+q) v2=v'(i,j+q) u3=u'(i+p,j+q) v3=v'(i+p,j+q) によって与えられ (ただし、「///」は通常の除算による
演算結果が整数ではない場合にこれを近隣の整数に丸め
込む除算で、演算子としての優先順位は乗除算と同
等)、これら４点の中の３点とその動きベクトルを、代
表点とその動きベクトルして使用することを特徴とする
請求項１または３ないし６に記載のフレーム間予測画像
の合成方法。
【請求項９】画像の左上端，右上端，左下端，右下端の
画素の座標がそれぞれ (０,０)，(ｒ,０)，(０,ｓ)，
(ｒ,ｓ) で表されるとき (ただし、ｒとｓは正の整
数)、画像の隅の点 (０,０)，(ｒ,０)，(ｒ,ｓ) における動
きベクトルの水平・垂直成分が１／ｎの整数倍の値をと
るとして (ただし、ｎは正の整数)、これらの動きベク
トルをｎ倍したものである (ｕ00,ｖ00)，(ｕ01,ｖ0
1)，(ｕ03,ｖ03) (ただし、ｕ00，ｖ00，ｕ01，ｖ01，
ｕ03，ｖ03は整数) を用いて、点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ)
の動きベクトルの水平・垂直成分をｋ倍したものである
(ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3)が、 u'(x,y)=(u00・r・s+(u01-u00)x・s+(u03-u01)y・r)k///(r・
s・n) v'(x,y)=(v00・r・s+(v01-v00)x・s+(v03-v01)y・r)k///(r・
s・n) u0=u'(i,j) v0=v'(i,j) u1=u'(i+p,j) v1=v'(i+p,j) u2=u'(i,j+q) v2=v'(i,j+q) u3=u'(i+p,j+q) v3=v'(i+p,j+q) によって与えられ (ただし、「///」は通常の除算による
演算結果が整数ではない場合にこれを近隣の整数に丸め
込む除算で、演算子としての優先順位は乗除算と同
等)、これら４点の中の３点とその動きベクトルを、代
表点とその動きベクトルして使用することを特徴とする
請求項１または３ないし６に記載のフレーム間予測画像
の合成方法。
【請求項１０】画像の左上端，右上端，左下端，右下端
の画素の座標がそれぞれ (０,０)，(ｒ,０)，(０,ｓ)，
(ｒ,ｓ) で表されるとき (ただし、ｒとｓは正の整
数)、点 (０,０)，(０,ｓ)，(ｒ,ｓ) における動きベクトル
の水平・垂直成分が１／ｎの整数倍の値をとるとして
(ただし、ｎは正の整数)、これらの動きベクトルをｎ倍
したものである (ｕ00,ｖ00)，(ｕ02,ｖ02)，(ｕ03,ｖ0
3) (ただし、ｕ00，ｖ00，ｕ02，ｖ02，ｕ03，ｖ03は整
数) を用いて、点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ)
の動きベクトルの水平・垂直成分をｋ倍したものである
(ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3)が、 u'(x,y)=(u00・r・s+(u03-u02)x・s+(u02-u00)y・r)k///(r・
s・n) v'(x,y)=(v00・r・s+(v03-v02)x・s+(v02-v00)y・r)k///(r・
s・n) u0=u'(i,j) v0=v'(i,j) u1=u'(i+p,j) v1=v'(i+p,j) u2=u'(i,j+q) v2=v'(i,j+q) u3=u'(i+p,j+q) v3=v'(i+p,j+q) によって与えられ (ただし、「///」は通常の除算による
演算結果が整数ではない場合にこれを近隣の整数に丸め
込む除算で、演算子としての優先順位は乗除算と同
等)、これら４点の中の３点とその動きベクトルを、代
表点とその動きベクトルして使用することを特徴とする
請求項１または３ないし６に記載のフレーム間予測画像
の合成方法。
【請求項１１】画像の左上端，右上端，左下端，右下端
の画素の座標がそれぞれ (０,０)，(ｒ,０)，(０,ｓ)，
(ｒ,ｓ) で表されるとき (ただし、ｒとｓは正の整
数)、点 (ｒ,０)，(０,ｓ)，(ｒ,ｓ) における動きベクトル
の水平・垂直成分が１／ｎの整数倍の値をとるとして
(ただし、ｎは正の整数)、これらの動きベクトルをｎ倍
したものである (ｕ01,ｖ01)，(ｕ02,ｖ02)，(ｕ03,ｖ0
3) (ただし、ｕ01，ｖ01，ｕ02，ｖ02，ｕ03，ｖ03は整
数) を用いて、点 (ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ)
の動きベクトルの水平・垂直成分をｋ倍したものである
(ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,ｖ3)が、 u'(x,y)=(u03・r・s+(u01-u03)(r-x)・s+(u02-u03)(s-y)・
r)k///(r・s・n) v'(x,y)=(v03・r・s+(v01-v03)(r-x)・s+(v02-v03)(s-y)・
r)k///(r・s・n) u0=u'(i,j) v0=v'(i,j) u1=u'(i+p,j) v1=v'(i+p,j) u2=u'(i,j+q) v2=v'(i,j+q) u3=u'(i+p,j+q) v3=v'(i+p,j+q) によって与えられ (ただし、「///」は通常の除算による
演算結果が整数ではない場合にこれを近隣の整数に丸め
込む除算で、演算子としての優先順位は乗除算と同
等)、これら４点の中の３点とその動きベクトルを、代
表点とその動きベクトルして使用することを特徴とする
請求項１または３ないし６に記載のフレーム間予測画像
の合成方法。
【請求項１２】画像の左上端，右上端，左下端，右下端
の画素の座標がそれぞれ (０,０)，(ｒ,０)，(０,ｓ)，
(ｒ,ｓ) で表されるとき (ただし、ｒとｓは正の整
数)、点 (０,０)，(ｒ,０)，(０,ｓ)，(ｒ,ｓ) における動き
ベクトルの水平・垂直成分が１／ｎの整数倍の値をとる
として (ただし、ｎは正の整数)、これらの動きベクト
ルをｎ倍したものである (ｕ00,ｖ00)，(ｕ01,ｖ01)，
(ｕ02,ｖ02)，(ｕ03,ｖ03) (ただし、ｕ00，ｖ00，ｕ0
1，ｖ01，ｕ02，ｖ02，ｕ03，ｖ03は整数) を用いて、 u'(x,y)=((s-y)(u00・(r-x)+u01・x)+y(u02・(r-x)+u03・
x))k///(r・s・n) v'(x,y)=((s-y)(v00・(r-x)+v01・x)+y(v02・(r-x)+v03・
x))k///(r・s・n) u0=u'(i,j) v0=v'(i,j) u1=u'(i+p,j) v1=v'(i+p,j) u2=u'(i,j+q) v2=v'(i,j+q) u3=u'(i+p,j+q) v3=v'(i+p,j+q) で表される (ｕ0,ｖ0)，(ｕ1,ｖ1)，(ｕ2,ｖ2)，(ｕ3,
ｖ3) を(ただし、「///」は通常の除算による演算結果が
整数ではない場合にこれを近隣の整数に丸め込む除算
で、演算子としての優先順位は乗除算と同等)、代表点
(ｉ,ｊ)，(ｉ+ｐ,ｊ)，(ｉ,ｊ+ｑ)，(ｉ+ｐ,ｊ+ｑ) の
動きベクトルの水平・垂直成分をｋ倍したものとして使
用することを特徴とする請求項２または７に記載のフレ
ーム間予測画像の合成方法。
【請求項１３】画像をその対角線によって分割される２
個の直角３角形に分割し、それぞれに含まれる画素に対
して独立に線形内・外挿に基づくグローバル動き補償を
行うことを特徴とする請求項１または３ないし６または
８ないし１１に記載のフレーム間予測画像の合成方法。
【請求項１４】「///」が通常の除算による演算結果
を、最も近い整数に丸め込む演算として定義されること
を特徴とする請求項８ないし１２に記載のフレーム間予
測画像の合成方法。
【請求項１５】「///」が通常の除算による演算結果が
整数に１／２を加えた値である場合に、この値を０に近
づける方向に丸め込む演算として定義されることを特徴
とする請求項１４に記載のフレーム間予測画像の合成方
法。
【請求項１６】「///」が通常の除算による演算結果が
整数に１／２を加えた値である場合に、この値を０から
遠ざける方向に丸め込む演算として定義されることを特
徴とする請求項１４に記載のフレーム間予測画像の合成
方法。
【請求項１７】「//」が通常の除算による演算結果を、
最も近い整数に丸め込む演算として定義されることを特
徴とする請求項１ないし１６に記載のフレーム間予測画
像の合成方法。
【請求項１８】「//」が通常の除算による演算結果が整
数に１／２を加えた値である場合に、この値を０に近づ
ける方向に丸め込む演算として定義されることを特徴と
する請求項１７に記載のフレーム間予測画像の合成方
法。
【請求項１９】「//」が通常の除算による演算結果が整
数に１／２を加えた値である場合に、この値を０から遠
ざける方向に丸め込む演算として定義されることを特徴
とする請求項１７に記載のフレーム間予測画像の合成方
法。
【請求項２０】「//」が通常の除算による演算結果が整
数に１／２を加えた値である場合に、被除数が負の場合
は０に近づける方向，正の場合は０から遠ざける方向に
丸め込む演算として定義されることを特徴とする請求項
１７に記載のフレーム間予測画像の合成方法。
【請求項２１】「//」が通常の除算による演算結果が整
数に１／２を加えた値である場合に、被除数が負の場合
は０から遠ざける方向，正の場合は０に近づける方向に
丸め込む演算として定義されることを特徴とする請求項
１７に記載のフレーム間予測画像の合成方法。
【請求項２２】ｒを画像の横の長さ，ｓを画像の縦の長
さとして、ｐはｒ以下であり、かつ、２ｐはｒより大き
く、かつ、ｑはｓ以下であり、かつ、２ｑはｓより大き
いことを特徴とする請求項１ないし２１に記載のフレー
ム間予測画像の合成方法。
【請求項２３】ｒを画像の横の長さ，ｓを画像の縦の長
さとして、ｐ／２はｒより小さく、かつ、ｐはｒ以上
で、かつ、ｑ／２はｓより小さく、かつ、ｑはｓ以上で
あることを特徴とする請求項１ないし２１に記載のフレ
ーム間予測画像の合成方法。
【請求項２４】請求項１ないし２３に記載のフレーム間
予測画像の合成方法を用いる画像の符号化方法および復
号化方法。
【請求項２５】代表点の動きベクトルに関する情報を直
接符号化することを特徴とする、請求項１ないし７に記
載のフレーム間予測画像の合成方法を用いる画像の符号
化方法。
【請求項２６】符号化データとして直接符号化されてい
る代表点の動きベクトルに関する情報を再生して用いる
ことを特徴とする、請求項１ないし７に記載のフレーム
間予測画像の合成方法を用いる画像の復号化方法。
【請求項２７】画像の隅の点の動きベクトルに関する情
報を直接符号化することを特徴とする、請求項８ないし
１２または１４ないし１６に記載のフレーム間予測画像
の合成方法を用いる画像の符号化方法。
【請求項２８】符号化データとして直接符号化されてい
る画像の隅の点の動きベクトルに関する情報を再生して
用いることを特徴とする、請求項８ないし１２または１
４ないし１６に記載のフレーム間予測画像の合成方法を
用いる画像の復号化方法。