JPH09121353A

JPH09121353A - 画像符号化装置

Info

Publication number: JPH09121353A
Application number: JP27862795A
Authority: JP
Inventors: Yuichiro Nakaya; 雄一郎中屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-10-26
Filing date: 1995-10-26
Publication date: 1997-05-06

Abstract

(57)【要約】【課題】画像を複数のパッチに分割し、パッチごとに
アフィン変換または共１次変換に基づくテキスチャマッ
ピングを行う動き補償を実行する画像符号化装置または
画像復号化装置に関し、変換関数の演算を簡略化する方
法を提供する。【解決手段】パッチが特定の形状である時には演算方
法を工夫することにより、大部分の画素に関しては４０
３および４０７における２回ずつの整数加算と整数除算
のみによって変換関数の計算ができる。【効果】変換関数にアフィン変換を採用してパッチが
直角３角形である場合、または共１次変換を採用してパ
ッチが長方形である場合のテキスチャマッピングの処理
を簡略化することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を複数のパッ
チに分割し、パッチごとにアフィン変換または共１次変
換に基づくテキスチャマッピングを行う動き補償を実行
する画像符号化および復号化装置に関するものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。現在の
画像符号化技術の主流となっている動き補償方式は、動
画像符号化方式の国際標準であるＭＰＥＧ１およびＭＰ
ＥＧ２にも採用されている半画素精度のブロックマッチ
ングである。この方式では、符号化しようとする画像を
多数のブロックに分割し、ブロックごとにその動きベク
トルを水平・垂直方向に隣接画素間距離の半分の長さを
最小単位として求める。この処理を数式を用いて表現す
ると以下のようになる。符号化しようとするフレーム
（現フレーム）の予測画像をＰ(ｘ, ｙ)、参照画像（Ｐ
と時間的に近接しており、既に符号化が完了しているフ
レームの復号画像）をＲ(ｘ, ｙ)とする。また、ｘとｙ
は整数であるとして、ＰとＲでは座標値が整数である点
に画素が存在すると仮定する。このとき、ＰとＲの関係
は、

【０００３】

【数１】

【０００４】で表される。ただし、画像はｎ個のブロッ
クに分割されるとして、Ｂiは画像のｉ番目のブロック
に含まれる画素、(ｕi, ｖi)はｉ番目のブロックの動き
ベクトルを表している。動きベクトル(ｕi, ｖi)の推定
方式として最も一般的に用いられているのは、(ｕi, ｖ
i)に一定の探索範囲を設け（例えば-15≦ｕi, ｖi≦1
5）、その中でブロック内の予測誤差Ｅi(ｕi, ｖi)を最
小化するものを探索するという方式である。予測誤差の
評価基準として平均絶対誤差を用いた場合、Ｅi(ｕi,
ｖi)は、符号化しようとしているフレームの原画像をＩ
(ｘ, ｙ)として、

【０００５】

【数２】

【０００６】で表される。ただし、Ｎiはｉ番目のブロ
ックに含まれる画素の数である。このように、異なる動
きベクトルについてそれぞれ予測誤差を評価し、この誤
差が最も小さい動きベクトルを探索する処理をマッチン
グ処理とよぶ。一定の探索範囲の中ですべての(ｕi, ｖ
i)についてＥi(ｕi, ｖi)を計算し、その最小値を探索
することを全探索とよぶ。

【０００７】半画素精度のブロックマッチングでは、ｕ
iとｖiはそれぞれ画素間距離の半分、つまりこの場合は
１／２を最小単位として求められることになる。したが
って、座標値が整数ではなく、参照画像において実際に
は画素が存在しない点（以後、このような点を内挿点と
よぶ）の輝度値を求めることが必要となる。この際の処
理としては、周辺４画素を用いた共１次内挿が使われる
ことが多い。この内挿方式を数式で記述すると、座標値
の小数成分をαとβ（０≦α, β＜１）として、参照画
像の内挿点(ｘ＋α, ｙ＋β)における輝度値Ｒ(ｘ＋α,
ｙ＋β)は、

【０００８】

【数３】

【０００９】で表される。

【００１０】半画素精度のブロックマッチングは上で述
べた通り、現在広く用いられているが、ＭＰＥＧ１やＭ
ＰＥＧ２より高い情報圧縮率が必要となるアプリケーシ
ョンではさらに高度な動き補償方式が要求される。ブロ
ックマッチングの欠点はブロック内のすべての画素が同
一の動きベクトルを持たなければならない点にある。そ
こでこの問題を解決するために、隣接する画素が異なる
動きベクトルを持つことを許容する動き補償方式が最近
提案されている。以下にこの方式の一例である空間変換
に基づく動き補償に関して簡単に説明する。

【００１１】空間変換に基づく動き補償では、予測画像
Ｐと参照画像Ｒの関係は、

【００１２】

【数４】

【００１３】で表される。ただし、画像はｎ個の小領域
（パッチ）に分割されるとして、Ｐiは画像のｉ番目の
パッチに含まれる画素を表している。また、変換関数ｆ
i(ｘ, ｙ)とｇi(ｘ, ｙ)は現フレームの画像と参照画像
との間の空間的な対応を表現している。このとき、Ｐi
内の画素(ｘ, ｙ)の動きベクトルは、(ｘ−ｆi(ｘ,
ｙ), ｙ−ｇi(ｘ, ｙ))で表すことができる。ところ
で、ブロックマッチングは変換関数が定数である方式と
して、空間変換に基づく動き補償の特殊な例として解釈
することもできる。しかし、本明細書で空間変換に基づ
く動き補償という言葉を用いるときには、ブロックマッ
チングはその中に含まないこととする。

【００１４】変換関数の形としては、アフィン変換

【００１５】

【数５】

【００１６】を用いた例（中屋他、「３角形パッチに基
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03参照）、共１次変換

【００１７】

【数６】

【００１８】を用いた例（ G. J. Sullivan and R. L.
Baker, "Motion compensation forvideo compression u
sing control grid interpolation", Proc. ICASSP '91
,M9.1, pp.2713-2716, 1991-05）などが報告されてい
る。ここでａij、ｂijはパッチごとに推定される動きパ
ラメータである。実際の画像符号化を行う場合には、ａ
ij、ｂijを直接伝送するのではなく、パッチの頂点の動
きベクトルが伝送される。例えば変換関数としてアフィ
ン変換を採用し、３角形のパッチを用いればパッチの３
個の頂点の動きベクトルから動きパラメータａijを計算
することができる。したがって、受信側では受信した頂
点の動きベクトルから送信側と同じ変換関数を構成する
ことが可能となる。一方、変換関数として共１次変換を
用いた場合には、長方形のパッチを用いてそのパッチの
４個の頂点の動きベクトルを伝送すれば同様の処理を実
現することができる。以下では、変換関数にアフィン変
換を用いた場合に関して説明するが、この説明は共１次
変換を用いた場合についても、ほぼそのまま適用するこ
とができる。

【００１９】変換関数が確定しても空間変換に基づく動
き補償には様々なバリエーションを考えることができる
が、その一例を図１に示す。この例では、パッチの境界
において動きベクトルが連続的に変化するように制約さ
れている。以下では、参照画像１０１を用いて現フレー
ムの原画像１０２の予測画像を合成することを考える。
このために、まず現フレームは複数の多角形のパッチに
分割され、パッチ分割された画像１０８となる。パッチ
の頂点は格子点とよばれ、各格子点は複数のパッチに共
有される。例えば、パッチ１０９は、格子点１１０、１
１１、１１２から構成され、これらの格子点は他のパッ
チの頂点を兼ねている。こうして画像を複数のパッチに
分割した後に、動き推定が行なわれる。ここに示す例で
は、動き推定は各格子点を対象として参照画像との間で
を行なわれる。この結果、動き推定後の参照画像１０３
で各パッチは変形されたものとなる。例えば、パッチ１
０９は、変形されたパッチ１０４に対応している。これ
は、動き推定の結果、格子点１０５、１０６、１０７が
それぞれ１１０、１１１、１１２に移動したと推定され
たためである。予測画像はパッチ内の各画素に関して変
換関数を計算し、数４にしたがって参照画像の中から対
応する点の輝度値を求めることにより合成される。この
ように一方の画像の一部に変形操作を加えて他の画像に
貼り付ける処理のことをテキスチャマッピング、または
イメージワーピングとよぶ。これは、上で述べた通り３
個の頂点の動きベクトルから数５の６個の動きパラメー
タを計算し、画素ごとに数５を計算することにより実現
することができる。

【００２０】空間変換に基づく動き補償においてもブロ
ックマッチングと同様に、マッチングに基づく動き推定
が有効であることが指摘されている。マッチングに基づ
く動き補償のアルゴリズムの一例を以下に示す。この方
式は６角マッチングとよばれ、上の例のようにパッチの
境界で動きベクトルが連続的に変化する場合に有効であ
る。この方式は、以下の２つの処理により構成されてい
る。

【００２１】（１）ブロックマッチングによる格子点の
大まかな動き推定（２）修正アルゴリズムによる動きベクトルの修正（１）の処理では、格子点を含むブロック（大きさは任
意）に対してブロックマッチングを適用し、このブロッ
クの動きベクトルを格子点の大まかな動きベクトルとす
る。この処理の目的はあくまで格子点の大まかな動きベ
クトルを求めることであって、必ずブロックマッチング
を用いなければならないわけではない。（２）の処理の
様子は図２に示す。この図は参照画像におけるパッチと
格子点の一部を示したもの（図１の画像１０３に相当す
る）である。したがって、この図の中で格子点の位置を
変化させることは、その格子点の動きベクトルを変化さ
せることを意味する。格子点２０１の動きベクトルを修
正する場合、まずこの格子点が関与するすべてのパッチ
によって構成される多角形２０２の頂点にあたる、格子
点２０３〜２０８の動きベクトルを固定する。こうして
格子点２０１の動きベクトルを一定の範囲内で変化させ
る（例えば格子点２０１を格子点２０９の位置に移動さ
せる）と、その結果多角形２０２が含むパッチ内の予測
誤差も変化する。そして、探索範囲内で多角形２０２内
の予測誤差を最小にした動きベクトルが、格子点２０１
の修正された動きベクトルとして登録される。こうして
格子点２０１の修正が終了し、他の格子点に移動してか
ら同様の修正を続ける。一旦すべての格子点に対して修
正を行なった後に、もう一度最初の格子点から繰り返し
修正を行なえば、さらに予測誤差を小さくすることがで
きる。この繰り返しの回数としては、２〜３回が適当で
あることが報告されている。

【００２２】修正アルゴリズムにおける典型的な探索範
囲は縦横±３画素である。この場合、１個の格子点につ
いて１回の修正で４９回のマッチングが多角形２０２内
で行なわれる。一方で、１個のパッチは３個の格子点の
修正アルゴリズムに関与するため、パッチ内の各画素に
対して合計で１４７回予測誤差の評価が行なわれること
になる。さらにこの修正が繰り返し行なわれれば、その
たびに誤差評価の回数はさらに増えることになる。この
結果、誤差評価が行なわれるたびに対象となる画素に対
して内挿の計算が行なわれ、演算量が膨大となる。

【００２３】この問題に対応するため、特願平06-19397
1では、動き推定処理の前に、参照画像においてｘ座標
とｙ座標がそれぞれ1/mxと1/myの整数倍である点（mxと
myは正の整数）の輝度値を内挿により求めた高精細参照
画像を用意する方法が示されている。この高精細参照画
像においては、ｘ座標とｙ座標がそれぞれ1/mxと1/myの
整数倍である点に画素が存在することになる。動き推定
処理において、座標値が整数でない位置における参照画
像の輝度値が必要となった場合には、高精細参照画像の
中でこの座標に最も近い位置に存在する画素の輝度値で
近似することにより、内挿演算の回数を減らす目的は達
成される。また、特願平06-193971ではさらに、上記高
精細参照画像を活用することにより、整数演算のみで空
間変換に基づく動き補償を実現する方法が示されてい
る。

【００２４】以上は画像符号化において、動き推定にお
けるマッチング処理の際に行われるテキスチャマッピン
グに関する議論であった。一方、画像情報の復号化の際
にも画素ごとの動きベクトルに対して量子化を行うと、
ミスマッチの防止や演算の簡略化などの効果を得ること
ができる（特願平06-193970）。具体的には、動きベク
トルの水平成分、垂直成分がそれぞれ1/dx、1/dy（dxと
dyは正の整数）の整数倍に制約するなどの方法がとられ
る。

【００２５】

【発明が解決しようとする課題】アフィン変換または共
１次変換に基づく動き補償においてマッチングに基づく
動き推定を行なう場合、テキスチャマッピングにおける
対応点の計算に要する処理量が多くなる問題が発生す
る。本発明の目的は、この処理を整数を用いた簡単な演
算のみによってを実現し、かつ除算を可能な限り２進数
のシフト演算によりすることにある。

【００２６】

【課題を解決するための手段】隣接する画素間での変換
関数の差分値を利用することにより、積算の回数を減少
させる。パッチの形状がある条件に一致するときには、
この演算はさらに簡略化することができる。また、高精
細参照画像を活用することにより、これらの演算はすべ
て整数演算によって実現することが可能である。

【００２７】

【発明の実施の形態】以下の議論では、「従来の技術」
で述べた高精細参照画像においてサンプリング間隔が水
平、垂直方向に共に１であって座標の水平、垂直成分が
共に整数である点に画素が存在すると仮定する。したが
って、現フレームの原画像においてはサンプリング間隔
が水平、垂直方向にそれぞれmx、myであって座標が（整
数×mx，整数×my）で表される点に画素が存在している
ことになる。これは「従来の技術」で行った説明に対し
て座標軸のスケーリングのみを行ったことに相当し、本
質的な内容に変化をもたらすものではない。

【００２８】いま、変換関数としてアフィン変換を採用
し、３角形のパッチを用いて動き補償の処理を行うとす
る。このとき、現フレームの原画像におけるある３角形
パッチSの頂点A、B、Cの座標、およびA、B、Cの上記高
精細参照画像における対応点の座標A'、B'、C'が、座標
軸の方向および原点の位置を操作することによって以下
の２条件を満たすようにできるとする。

【００２９】条件１：A、B、Cの座標が、それぞれ（r×
mx，s×my）、（(r＋w)×mx，(s+h)×my）、（r×mx，
(s＋h)×my）で表すことができる。ただし、r、s、w、h
はすべて整数であり、かつwとhは正の数であり、座標値
はすべて負でない数である。

【００３０】条件２：A'、B'、C'の座標が、それぞれ
（(r+ua)×mx，(s + va)×my）、（(r+w+ub)×mx，(s+v
b)×my）、（(r+w+uc)×mx，(s+h+vc)×my）で表せる。
ただし、ua、va、ub、vb、uc、vcは整数であり、座標値
はすべて負でない数である。

【００３１】この条件に合う例を図３に示す。３０３、
３０６、３０９、３１２は現フレームの原画像における
パッチであり、３０２、３０５、３０８、３１１は高精
細参照画像におけるパッチである。(a)、(b)、(c)、(d)
すべての場合について、座標系を、３０１、３０４、３
０７、３１０に示したように設定すれば上の２条件は満
たすことができる。

【００３２】上で述べた定義に従えば、頂点A、B、Cの
動きベクトルはそれぞれ(-ua×mx, -vb×my)、(-ub×m
x, -vb×my)、(-uc×mx, -vc×my)である。このときテ
キスチャマッピングを行う際のパッチS内の画素(x×mx,
y×my)に対応する高精細参照画像内の点の座標(p(x,
y), q(x, y))を

【００３３】

【数７】

【００３４】で表せば、実数を使って変換関数を計算し
た場合の良い近似を得ることができる。ただし、

【００３５】

【数８】

【００３６】であり、かつox = w//2、oy = h//2であ
り、かつ「//」は整数同士の割り算を表しており、小数
成分は切り捨てられるとする。oxとoyは、整数除算を行
った際でも小数点以下を四捨五入したことと同等の結果
を得るために使用される。したがって、高精細参照画像
の座標(p(x, y), q(x, y))に位置する画素の輝度値を座
標(x×mx, y×my)における輝度の予測値とすることによ
って、実数の座標値を用いて空間変換に基づく動き補償
を行った場合に近い予測特性を得ることができる。

【００３７】数式７および８を用いてパッチSにおける
変換関数の近似演算を行う際のさらに簡単な方法を以下
に示す。処理は整数の変数mfxo、mgxo、mfx、mgx、tx、
tyを用いて以下の手順で行われる。

【００３８】(1-i) 数式８に従ってdpdx、dqdx、dpdx、
dpdy、F(r,s)、G(r,s)の値を計算する。さらに、txに
r、tyにsを代入し、mfxとmfxoにF(r,s)を、mgxとmgxoに
G(r,s)を代入する。(1-ii)に進む。

【００３９】(1-ii) もし(tx×mx,ty×my)がパッチSに
含まれれば、p(tx,ty)=mfx//w、q(tx,ty)=mgx//hとして
(tx×mx,ty×my)における輝度の予測値を求める。(1-ii
i)に進む。

【００４０】(1-iii) もし((tx+1)×mx,ty×my)がパッ
チSに含まれれば(1-iv)に進む。そうでなければ、もし
垂直座標が(ty+1)×myであるラインの一部がパッチSに
含まれれば(1-v)に進む。そうでなければ処理終わり。

【００４１】(1-iv) mfxにmfx+dpdxを代入し、mgxにmgx
+dqdxを、txにtx+1を代入する。(1-ii)に進む。

【００４２】(1-v) mfxとmfxoにmfxo+dpdyを、mgxとmgx
oにmgxo+dqdyを、txにrを、tyにty+1を代入する。(1-i
i)に進む。

【００４３】図４にこのアルゴリズムの処理の流れを示
す。処理項目４０１が上記(1-i)に、４０２と４０３が
(1-ii)に、４０４と４０６と４０８が(1-iii)に、４０
５が(1-iv)に、４０７が(1-v)に対応している。以上の
処理によってパッチS内のすべての画素に関して輝度の
予測値を求める処理を行うことができる。座標系を設定
する際にすべての座標値が正の値をとるようにした理由
は、上記(1-ii)で除算の処理を行う際にmfxまたはmgxに
関して符号の反転が起こらないようにするためである。
符号の反転が起こると、四捨五入を実現するためのパラ
メータoxとoyの符号も反転させる必要が生じるため、余
分な処理が必要となってしまう。

【００４４】上で示したアルゴリズムにおいて、大部分
の画素に関しては変換関数を計算する際に算術的な演算
として２回の加算と２回の整数除算のみが必要であり、
演算を簡略化することが可能である。また、除算の処理
はwとhがそれぞれ２のpw乗と２のph乗（pw、phは正の整
数）である場合には２進数のシフト演算で代用すること
ができ、さらに処理を簡略化することが可能となる。

【００４５】上で示したアルゴリズムの他のバリエーシ
ョンとして、以下のアルゴリズムを考えることができ
る。上の例とはラインを処理する順番が逆になってい
る。処理は整数の変数mfxo、mgxo、mfx、mgx、tx、tyを
用いて以下の手順で行われる。

【００４６】(2-i) 数式８に従ってdpdx、dqdx、dpdx、
dpdy、F(r,s+h)、G(r,s+h)の値を計算する。さらに、tx
にr、tyにs+hを代入し、mfxとmfxoにF(r,s+h)を、mgxと
mgxoにG(r,s+h)を代入する。(2-ii)に進む。

【００４７】(2-ii) もし(tx×mx,ty×my)がパッチSに
含まれれば、p(tx,ty)=mfx//w、q(tx,ty)=mgx//hとして
(tx×mx,ty×my)における輝度の予測値を求める。(2-ii
i)に進む。

【００４８】(2-iii) もし((tx+1)×mx,ty×my)がパッ
チSに含まれれば(2-iv)に進む。そうでなければ、もし
垂直座標が(ty-1)×myであるラインの一部がパッチSに
含まれれば(2-v)に進む。そうでなければ処理終わり。

【００４９】(2-iv) mfxにmfx+dpdxを代入し、mgxにmgx
+dqdxを、txにtx+1を代入する。(2-ii)に進む。

【００５０】(2-v) mfxとmfxoにmfxo-dpdyを、mgxとmgx
oにmgxo-dqdyを、txにrを、tyにty-1を代入する。(2-i
i)に進む。

【００５１】図５にこのアルゴリズムの処理の流れを示
す。処理項目５０１が上記(2-i)に、５０２と５０３が
(2-ii)に、５０４と５０６と５０８が(2-iii)に、５０
５が(2-iv)に、５０７が(2-v)に対応している。上で示
したアルゴリズムには、この他にも直角３角形であるパ
ッチの向き、座標系のとり方、パッチ内での画素の走査
の方法（画素を処理する順番）等に応じて様々なバリエ
ーションを考えることができる。しかし、大部分の画素
に関して２回ずつの整数加算と整数除算のみによって変
換関数の計算ができることと、高精細参照画像を導入す
ることによって輝度の予測値を求める度ごとに輝度値の
内挿演算を行わない点ではこれらのアルゴリズムは本質
的に同一のものである。

【００５２】次に長方形のパッチを用い、変換関数とし
て共１次変換を採用した場合について説明する。現フレ
ームの原画像におけるある長方形パッチSの頂点A、B、
C、Dの座標、およびA、B、C、Dの上記高精細参照画像に
おける対応点の座標A'、B'、C'、D'が、座標軸の方向お
よび原点の位置を操作することによって以下の２条件を
満たすようにできるとする。

【００５３】条件１：A、B、C、Dの座標が、それぞれ
（r×mx，s×my）、（(r+w)×mx，s×my）、（(r＋w)×
mx，(s+h)×my）、（r×mx，(s＋h)×my）で表すことが
できる。ただし、r、s、w、hはすべて整数であり、かつ
wとhは正の数であり、座標値はすべて負でない数であ
る。

【００５４】条件２：A'、B'、C'、D'の座標が、それぞ
れ（(r+ua)×mx，(s + va)×my）、（(r+w+ub)×mx，(s
+vb)×my）、（(r+w+uc)×mx，(s+h+vc)×my）、（(r+u
d)×mx，(s+h+vd)×my）で表せる。ただし、ua、va、u
b、vb、uc、vc、ud、vdは整数であり、座標値はすべて
負でない数である。

【００５５】このときテキスチャマッピングを行う際の
パッチS内の画素(x×mx, y×my)に対応する高精細参照
画像内の点の座標(p(x, y), q(x, y))を

【００５６】

【数９】

【００５７】で表せば、実数を使って変換関数を計算し
た場合の良い近似を得ることができる。ただし、

【００５８】

【数１０】

【００５９】であり、かつox = (w×h) // 2、oy = (w
×h) // 2である。したがって、高精細参照画像の座標
(p(x, y), q(x, y))に位置する画素の輝度値を座標(x×
mx,y×my)における輝度の予測値とすることによって、
実数の座標値を用いて空間変換に基づく動き補償を行っ
た場合に近い予測特性を得ることができる。

【００６０】数式９および１０を用いてパッチSにおけ
る変換関数の近似演算を行う際のさらに簡単な方法を以
下に示す。処理は整数の変数mfxo、mgxo、mfx、mgx、t
x、ty、mpx、mqxを用いて以下の手順で行われる。

【００６１】(3-i) 数式１０に従ってdpdx(s)、dqdx
(s)、dpdy(r)、dqdy(r)、F(r, s)、G(r, s)の値を計算
する。また、

【００６２】

【数１１】

【００６３】の値を計算する。さらに、txにr、tyにs
を、mfxとmfxoにF(r,s)を、mgxとmgxoにG(r,s)を、mpx
にdpdx(s)を、mqxにdqdx(s)を代入する。(3-ii)に進
む。

【００６４】(3-ii) もし(tx×mx,ty×my)がパッチSに
含まれれば、p(tx,ty)=mfx//(w×h)、q(tx,ty)=mgx//(w
×h)として(tx×mx,ty×my)における輝度の予測値を求
める。(3-iii)に進む。

【００６５】(3-iii) もし((tx+1)×mx,ty×my)がパッ
チSに含まれれば(3-iv)に進む。そうでなければ、もし
垂直座標が(ty+1)×myであるラインの一部がパッチSに
含まれれば(3-v)に進む。そうでなければ処理終わり。

【００６６】(3-iv) mfxにmfx+mpxを、mgxにmgx+mqx
を、txにtx+1を代入する。(3-ii)に進む。(3-v) mfxとm
fxoにmfxo+dpdy(r)を、mgxとmgxoにmgxo+dqdy(r)を、mp
xにmpx+dpdxdyを、mqxにmqx+dqdxdyを、txにrを、tyにt
y+1を代入する。(3-ii)に進む。

【００６７】図６にこのアルゴリズムの処理の流れを示
す。処理項目６０１が上記(3-i)に、６０２と６０３が
(3-ii)に、６０４と６０６と６０８が(3-iii)に、６０
５が(3-iv)に、６０７が(3-v)に対応している。このと
き、大部分の画素に関しては変換関数を計算する際に算
術的な演算として２回の加算と２回の整数除算のみが必
要であり、演算を簡略化することが可能である。また、
除算の処理はwとhがそれぞれ２のpw乗と２のph乗（pw、
phは正の整数）である場合には２進数のシフト演算で代
用することができ、さらに処理を簡略化することが可能
となる。

【００６８】上で示したアルゴリズムには、この他にも
長方形であるパッチの向き、座標系のとり方、パッチ内
での画素の走査の方法（画素を処理する順番）等に応じ
て様々なバリエーションを考えることができる。しか
し、大部分の画素に関して２回ずつの整数加算と整数除
算のみによって変換関数の計算ができることと、高精細
参照画像を導入することによって輝度の予測値を求める
度ごとに輝度値の内挿演算を行わない点ではこれらのア
ルゴリズムは本質的に同一のものである。

【００６９】以上は符号化装置における動き推定の方法
に関する議論であったが、復号化装置におけるテキスチ
ャマッピングに関しても、画素ごとの動きベクトルが量
子化されている場合に同様の工夫により演算を簡略化す
ることができる。例えば動きベクトルの水平、垂直成分
の量子化ステップサイズがそれぞれ1/dx、1/dyであると
きは上で述べたアルゴリズムにおいて、mxの代わりにd
x、myの代わりにdyを用いることによって同様の高速化
を実現することができる。ただし、復号化の際にはマッ
チング処理の場合ほどは輝度値の内挿演算が繰り返され
ないため、高精細参照画像は使用されない場合がある。
この場合は、変換関数が計算される度ごとに輝度の予測
値を求めるための内挿演算が行われることになる。ただ
し、以下の場合は例外である。動き補償を行う動画像の
符号化器はその内部に復号化器を持っているが、その際
にdx=mx、dy=myであれば、符号化の時に使用した高精細
参照画像が復号化器でも使用できる。

【００７０】

【発明の効果】本発明により、画像を複数のパッチに分
割し、パッチごとにアフィン変換または共１次変換に基
づくテキスチャマッピングを行う動き補償を実行する画
像符号化装置または画像復号化装置において、パッチが
直角３角形または長方形である場合の処理を簡略化する
ことができる。

【図面の簡単な説明】

【図１】空間変換に基づく動き補償の処理の例を示した
図である。

【図２】空間変換に基づく動き補償における動き推定処
理の例として、６角マッチングとよばれる方式の処理を
示した図である。

【図３】直角３角形であるパッチの形状に応じた座標軸
のとり方を示した図である。

【図４】直角３角形のパッチを用い、変換関数としてア
フィン変換を採用した場合のテキスチャマッピングの高
速アルゴリズムにおける処理の流れを示した図である。

【図５】図４と同じ条件で動作するが、図４に示したも
のとは異なる高速アルゴリズムの処理の流れを示した図
である。

【図６】長方形のパッチを用い、変換関数として共１変
換を採用した場合のテキスチャマッピングの高速アルゴ
リズムにおける処理の流れを示した図である。

【符号の説明】

１０１…参照画像、１０２…現フレームの原画像、１０
３…動き推定後の参照画像のパッチと格子点、１０４、
１０９…パッチ、１０５〜１０７、１１０〜１１２、２
０１、２０３〜２０９…格子点、１０８…現フレームの
原画像のパッチと格子点、２０２…修正処理におけるマ
ッチングの対象となる多角形、３０１、３０４、３０
７、３１０…座標軸、３０２、３０５、３０８、３１１
…動き推定後の参照画像のパッチ、３０３、３０６、３
０９、３１２…現フレームの原画像のパッチ、４０１〜
４０８、５０１〜５０８、６０１〜６０８…処理項目。

Claims

【特許請求の範囲】

【請求項１】画像を複数の３角形のパッチに分割し、パ
ッチごとにアフィン変換に基づくテキスチャマッピング
を行う動き補償を実行する手段と、参照画像において画
素の存在しない点の輝度値を内挿により求めることによ
って画素の密度を水平、垂直方向にそれぞれmx、my倍
（mx、myは正の整数）とした高精細参照画像HRを合成す
る手段と、上記高精細参照画像HRのすべてまたは一部を
格納するメモリと、整数を格納するメモリMFXとMGXを具
備し、符号化処理を行っている画像Iにおける水平、垂
直方向の画素のサンプリング間隔をそれぞれmx、myとし
て、上記I内に幅w×mx、高さh×myの直角３角形である
パッチSが存在し（wとhは正の整数）、かつ上記画像I内
の画素Xに関して上記高精細参照画像HR内での対応点X'
の座標を求める処理を行った後に、上記画素Xと水平方
向に隣接し、かつ上記パッチSに含まれる画素XNに関し
て同様に上記高精細参照画像HR内の対応点XN'の座標を
求める処理を行う際に、MFXに記録された値に整数dpdx
を加えて得られた値をMFXに記録する処理と、MFXに記録
された値をwで割って（このとき小数成分は切り捨てら
れる）整数値cxを得る処理と、MGXに記録された値に整
数dqdxを加えて得られた値をMGXに記録する処理と、MGX
に記録された値をhで割って（このとき小数成分は切り
捨てられる）整数値cyを得る処理とを行い、かつ(cx, c
y)が上記高精細参照画像HRの水平、垂直方向の画素のサ
ンプリング間隔を共に１としたときの上記対応点XN'の
座標を表す情報であり、かつ上記高精細参照画像HR内の
上記対応点XN'に位置する画素の輝度値が上記画素XNの
輝度の予測値であり、かつパッチS内の画素に関して上
記処理を行っている間は上記dpdxおよびdqdxの値が変化
しないことを特徴とする画像符号化装置。
【請求項２】画像を複数の３角形のパッチに分割し、パ
ッチごとにアフィン変換に基づくテキスチャマッピング
を行う動き補償を実行する手段と、参照画像において画
素の存在しない点の輝度値を内挿により求めることによ
って画素の密度を水平、垂直方向にそれぞれmx、my倍
（mx、myは正の整数）とした高精細参照画像HRを合成す
る手段と、上記高精細参照画像HRのすべてまたは一部を
格納するメモリと、整数を格納するメモリMFYとMGYを具
備し、符号化処理を行っている画像Iにおける水平、垂
直方向の画素のサンプリング間隔をそれぞれmx、myとし
て、上記I内に幅w×mx、高さh×myの直角３角形である
パッチSが存在し（wとhは正の整数）、かつ上記画像I内
の画素Yに関して上記高精細参照画像HR内での対応点Y'
の座標を求める処理を行った後に、上記画素Yと垂直方
向に隣接し、かつ上記パッチSに含まれる画素YNに関し
て同様に上記高精細参照画像HR内の対応点YN'の座標を
求める処理を行う際に、MFYに記録された値に整数dpdy
を加えて得られた値をMFYに記録する処理と、MFYに記録
された値をwで割って（このとき小数成分は切り捨てら
れる）整数値cxを得る処理と、MGYに記録された値に整
数dqdyを加えて得られた値をMGYに記録する処理と、MGY
に記録された値をhで割って（このとき小数成分は切り
捨てられる）整数値cyを得る処理とを行い、かつ(cx, c
y)が上記高精細参照画像HRの水平、垂直方向の画素のサ
ンプリング間隔を共に１としたときの上記対応点YN'の
座標を表す情報であり、かつ上記高精細参照画像HR内の
上記対応点YN'に位置する画素の輝度値が上記画素YNの
輝度の予測値であり、かつパッチS内の画素に関して上
記処理を行っている間は上記dpdyおよびdqdyの値が変化
しないことを特徴とする画像符号化装置。
【請求項３】画像を複数の長方形のパッチに分割し、パ
ッチごとに共１次変換に基づくテキスチャマッピングを
行う動き補償を実行する手段と、参照画像において画素
の存在しない点の輝度値を内挿により求めることによっ
て画素の密度を水平、垂直方向にそれぞれmx、my倍（m
x、myは正の整数）とした高精細参照画像HRを合成する
手段と、上記高精細参照画像HRのすべてまたは一部を格
納するメモリと、整数を格納するメモリMFXとMGXを具備
し、符号化処理を行っている画像Iにおける水平、垂直
方向の画素のサンプリング間隔をそれぞれmx、myとし
て、上記I内に幅w×mx、高さh×myの長方形であるパッ
チSが存在し（wとhは正の整数）、かつ上記画像I内の画
素Xに関して上記高精細参照画像HR内での対応点X'の座
標を求める処理を行った後に、上記画素Xと水平方向に
隣接し、かつ上記パッチSに含まれる画素XNに関して同
様に上記高精細参照画像HR内の対応点XN'の座標を求め
る処理を行う際に、MFXに記録された値に整数dpdxを加
えて得られた値をMFXに記録する処理と、MFXに記録され
た値をw×hで割って（このとき小数成分は切り捨てられ
る）整数値cxを得る処理と、MGXに記録された値に整数d
qdxを加えて得られた値をMGXに記録する処理と、MGXに
記録された値をw×hで割って（このとき小数成分は切り
捨てられる）整数値cyを得る処理とを行い、かつ(cx, c
y)が上記高精細参照画像HRの水平、垂直方向の画素のサ
ンプリング間隔を共に１としたときの上記対応点XN'の
座標を表す情報であり、かつ上記高精細参照画像HR内の
上記対応点XN'に位置する画素の輝度値が上記画素XNの
輝度の予測値であり、かつパッチS内の同一ラインに含
まれる画素（座標値の垂直成分が共通の画素）に関して
上記処理を行っているとき上記dpdxおよびdqdxの値が変
化しないことを特徴とする画像符号化装置。
【請求項４】画像を複数の長方形のパッチに分割し、パ
ッチごとに共１次変換に基づくテキスチャマッピングを
行う動き補償を実行する手段と、参照画像において画素
の存在しない点の輝度値を内挿により求めることによっ
て画素の密度を水平、垂直方向にそれぞれmx、my倍（m
x、myは正の整数）とした高精細参照画像HRを合成する
手段と、上記高精細参照画像HRのすべてまたは一部を格
納するメモリと、整数を格納するメモリMFYとMGYを具備
し、符号化処理を行っている画像Iにおける水平、垂直
方向の画素のサンプリング間隔をそれぞれmx、myとし
て、上記I内に幅w×mx、高さh×myの長方形であるパッ
チSが存在し（wとhは正の整数）、かつ上記画像I内の画
素Yに関して上記高精細参照画像HR内での対応点Y'の座
標を求める処理を行った後に、上記画素Yと垂直方向に
隣接し、かつ上記パッチSに含まれる画素YNに関して同
様に上記高精細参照画像HR内の対応点YN'の座標を求め
る処理を行う際に、MFYに記録された値に整数dpdyを加
えて得られた値をMFYに記録する処理と、MFYに記録され
た値をw×hで割って（このとき小数成分は切り捨てられ
る）整数値cxを得る処理と、MGYに記録された値に整数d
qdyを加えて得られた値をMGYに記録する処理と、MGYに
記録された値をw×hで割って（このとき小数成分は切り
捨てられる）整数値cyを得る処理とを行い、かつ(cx, c
y)が上記高精細参照画像HRの水平、垂直方向の画素のサ
ンプリング間隔を共に１としたときの上記対応点YN'の
座標を表す情報であり、かつ上記高精細参照画像HR内の
上記対応点YN'に位置する画素の輝度値が上記画素YNの
輝度の予測値であり、かつパッチS内の同一カラムの画
素（座標値の水平成分が共通の画素）に関して上記処理
を行っているときは上記dpdyおよびdqdyの値が変化しな
いことを特徴とする画像符号化装置。
【請求項５】上記wとhがそれぞれ２のpw乗と２のph乗
（pw、phは正の整数）であり、かつテキスチャマッピン
グにおける対応点の計算の際に行われるwまたはhによる
整数の除算の処理を２進数のシフト演算により実現して
いることを特徴とする請求項１または２に記載の画像符
号化装置。
【請求項６】上記wとhがそれぞれ２のpw乗と２のph乗
（pw、phは正の整数）であり、かつテキスチャマッピン
グにおける対応点の計算の際に行われるw×hによる整数
の除算の処理を２進数のシフト演算により実現している
ことを特徴とする請求項３または４に記載の画像符号化
装置。
【請求項７】画像を複数の３角形のパッチに分割し、パ
ッチごとにアフィン変換に基づくテキスチャマッピング
を行う動き補償を実行する手段と、画素ごとの動きベク
トルの水平、垂直成分をそれぞれ水平方向の画素のサン
プリング間隔の1/dxの整数倍、垂直方向の画素のサンプ
リング間隔の1/dyの整数倍に制約する手段と（dx、dyは
正の整数）、参照画像Rのすべてまたは一部を格納する
メモリと、整数を格納するメモリMFXとMGXを具備し、復
号化処理を行っている画像Iにおける水平、垂直方向の
画素のサンプリング間隔をそれぞれdx、dyとして、上記
I内に幅w×dx、高さh×dyの直角３角形であるパッチSが
存在し（w、hは正の整数）、かつ上記画像I内の画素Xに
関して上記参照画像R内での対応点X'の座標を求める処
理を行った後に、上記画素Xと水平方向に隣接し、かつ
上記パッチSに含まれる画素XNに関して同様に上記参照
画像R内の対応点XN'の座標を求める処理を行う際に、MF
Xに記録された値に整数dpdxを加えて得られた値をMFXに
記録する処理と、MFXに記録された値をwで割って（この
とき小数成分は切り捨てられる）整数値cxを得る処理
と、MGXに記録された値に整数dqdxを加えて得られた値
をMGXに記録する処理と、MGXに記録された値をhで割っ
て（このとき小数成分は切り捨てられる）整数値cyを得
る処理とを行い、かつ(cx, cy)が上記参照画像Rの水
平、垂直方向の画素のサンプリング間隔をそれぞれdx、
dyとしたときの上記対応点XN'の座標を表す情報であ
り、かつ上記参照画像R内の上記対応点XN'における画素
の輝度値または画素からの内挿により求められた輝度値
が上記画素XNの輝度の予測値であり、かつパッチS内の
画素に関して上記処理を行っている間は上記dpdxおよび
dqdxの値が変化しないことを特徴とする画像復号化装置
または画像符号化装置。
【請求項８】画像を複数の３角形のパッチに分割し、パ
ッチごとにアフィン変換に基づくテキスチャマッピング
を行う動き補償を実行する手段と、画素ごとの動きベク
トルの水平、垂直成分をそれぞれ水平方向の画素のサン
プリング間隔の1/dxの整数倍、垂直方向の画素のサンプ
リング間隔の1/dyの整数倍に制約する手段と（dx、dyは
正の整数）、参照画像Rのすべてまたは一部を格納する
メモリと、整数を格納するメモリMFYとMGYを具備し、復
号化処理を行っている画像Iにおける水平、垂直方向の
画素のサンプリング間隔をそれぞれdx、dyとして、上記
I内に幅w×dx、高さh×dyの直角３角形であるパッチSが
存在し（w、hは正の整数）、かつ上記画像I内の画素Yに
関して上記参照画像R内での対応点Y'の座標を求める処
理を行った後に、上記画素Yと垂直方向に隣接し、かつ
上記パッチSに含まれる画素YNに関して同様に上記参照
画像R内の対応点YN'の座標を求める処理を行う際に、MF
Yに記録された値に整数dpdyを加えて得られた値をMFYに
記録する処理と、MFYに記録された値をwで割って（この
とき小数成分は切り捨てられる）整数値cxを得る処理
と、MGYに記録された値に整数dqdyを加えて得られた値
をMGYに記録する処理と、MGYに記録された値をhで割っ
て（このとき小数成分は切り捨てられる）整数値cyを得
る処理とを行い、かつ(cx, cy)が上記参照画像Rの水
平、垂直方向の画素のサンプリング間隔をそれぞれdx、
dyとしたときの上記対応点YN'の座標を表す情報であ
り、かつ上記参照画像R内の上記対応点YN'における画素
の輝度値または画素からの内挿により求められた輝度値
が上記画素YNの輝度の予測値であり、かつパッチS内の
画素に関して上記処理を行っている間は上記dpdyおよび
dqdyの値が変化しないことを特徴とする画像復号化装置
または画像符号化装置。
【請求項９】画像を複数の長方形のパッチに分割し、パ
ッチごとに共１次変換に基づくテキスチャマッピングを
行う動き補償を実行する手段と、画素ごとの動きベクト
ルの水平、垂直成分をそれぞれ水平方向の画素のサンプ
リング間隔の1/dxの整数倍、垂直方向の画素のサンプリ
ング間隔の1/dyの整数倍に制約する手段と（dx、dyは正
の整数）、参照画像において画素の存在しない点の輝度
値を内挿により求めることによって参照画像Rのすべて
または一部を格納するメモリと、整数を格納するメモリ
MFXとMGXを具備し、復号化処理を行っている画像Iにお
ける水平、垂直方向の画素のサンプリング間隔をそれぞ
れdx、dyとして、上記I内に幅w×dx、高さh×dyの長方
形であるパッチSが存在し（w、hは正の整数）、かつ上
記画像I内の画素Xに関して上記参照画像R内での対応点
X'の座標を求める処理を行った後に、上記画素Xと水平
方向に隣接し、かつ上記パッチSに含まれる画素XNに関
して同様に上記参照画像R内の対応点XN'の座標を求める
処理を行う際に、MFXに記録された値に整数dpdxを加え
て得られた値をMFXに記録する処理と、MFXに記録された
値をw×hで割って（このとき小数成分は切り捨てられ
る）整数値cxを得る処理と、MGXに記録された値に整数d
qdxを加えて得られた値をMGXに記録する処理と、MGXに
記録された値をw×hで割って（このとき小数成分は切り
捨てられる）整数値cyを得る処理とを行い、かつ(cx, c
y)が上記参照画像Rの水平、垂直方向の画素のサンプリ
ング間隔をそれぞれdx、dyとしたときの上記対応点XN'
の座標を表す情報であり、かつ上記参照画像R内の上記
対応点XN'における画素の輝度値または画素からの内挿
により求められた輝度値が上記画素XNの輝度の予測値で
あり、かつパッチS内の同一ラインに含まれる画素（座
標値の垂直成分が共通の画素）に関して上記処理を行っ
ているとき上記dpdxおよびdqdxの値が変化しないことを
特徴とする画像復号化装置または画像符号化装置。
【請求項１０】画像を複数の長方形のパッチに分割し、
パッチごとに共１次変換に基づくテキスチャマッピング
を行う動き補償を実行する手段と、画素ごとの動きベク
トルの水平、垂直成分をそれぞれ水平方向の画素のサン
プリング間隔の1/dxの整数倍、垂直方向の画素のサンプ
リング間隔の1/dyの整数倍に制約する手段と（dx、dyは
正の整数）、参照画像Rのすべてまたは一部を格納する
メモリと、整数を格納するメモリMFYとMGYを具備し、復
号化処理を行っている画像Iにおける水平、垂直方向の
画素のサンプリング間隔をそれぞれdx、dyとして、上記
I内に幅w×dx、高さh×dyの長方形であるパッチSが存在
し（w、hは正の整数）、かつ上記画像I内の画素Yに関し
て上記参照画像R内での対応点Y'の座標を求める処理を
行った後に、上記画素Yと垂直方向に隣接し、かつ上記
パッチSに含まれる画素YNに関して同様に上記参照画像R
内の対応点YN'の座標を求める処理を行う際に、MFYに記
録された値に整数dpdyを加えて得られた値をMFYに記録
する処理と、MFYに記録された値をw×hで割って（この
とき小数成分は切り捨てられる）整数値cxを得る処理
と、MGYに記録された値に整数dqdyを加えて得られた値
をMGYに記録する処理と、MGYに記録された値をw×hで割
って（このとき小数成分は切り捨てられる）整数値cyを
得る処理とを行い、かつ(cx, cy)が上記参照画像Rの水
平、垂直方向の画素のサンプリング間隔をそれぞれdx、
dyとしたときの上記対応点YN'の座標を表す情報であ
り、かつ上記参照画像R内の上記対応点YN'における画素
の輝度値または画素からの内挿により求められた輝度値
が上記画素YNの輝度の予測値であり、かつパッチS内の
同一カラムの画素（座標値の水平成分が共通の画素）に
関して上記処理を行っているときは上記dpdyおよびdqdy
の値が変化しないことを特徴とする画像復号化装置また
は画像符号化装置。
【請求項１１】上記wとhがそれぞれ２のpw乗と２のph乗
（pw、phは正の整数）であり、かつテキスチャマッピン
グにおける対応点の計算の際に行われるwまたはhによる
整数の除算の処理を２進数のシフト演算により実現して
いることを特徴とする請求項７または８に記載の画像復
号化装置または画像符号化装置。
【請求項１２】上記wとhがそれぞれ２のpw乗と２のph乗
（pw、phは正の整数）であり、かつテキスチャマッピン
グにおける対応点の計算の際に行われるw×hによる整数
の除算の処理を２進数のシフト演算により実現している
ことを特徴とする請求項９または１０に記載の画像復号
化装置または画像符号化装置。