JPH11122619A - 動画像符号化および復号化方法 - Google Patents
動画像符号化および復号化方法Info
- Publication number
- JPH11122619A JPH11122619A JP28489297A JP28489297A JPH11122619A JP H11122619 A JPH11122619 A JP H11122619A JP 28489297 A JP28489297 A JP 28489297A JP 28489297 A JP28489297 A JP 28489297A JP H11122619 A JPH11122619 A JP H11122619A
- Authority
- JP
- Japan
- Prior art keywords
- motion compensation
- information
- block
- prediction
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像全体の動きを補償するグローバル動き補
償と画像上の局所的な動きを補償するローカル動き補償
をブロック毎に選択する符号化方式では、その選択のた
めに各符号化マクロブロック毎に1ビットの付加情報が
必要となる。 【解決手段】 グローバル動き補償/ローカル動き補償
の選択に要するフラグ(GMCSEL)と各符号化マクロブロッ
クの符号化を行うか否かを示すフラグ(COD)の組み合わ
せを既に符号化または復号化されているデータから予測
する。そして、その予測結果と実際の組み合わせとの相
違の程度を1ビットのフラグまたは可変長符号として符
号化することにより、グローバル動き補償/ローカル動
き補償の選択に必要となる付加情報を削減する。 【効果】 グローバル動き補償/ローカル動き補償の選
択に要する情報付加情報を削減できる。
償と画像上の局所的な動きを補償するローカル動き補償
をブロック毎に選択する符号化方式では、その選択のた
めに各符号化マクロブロック毎に1ビットの付加情報が
必要となる。 【解決手段】 グローバル動き補償/ローカル動き補償
の選択に要するフラグ(GMCSEL)と各符号化マクロブロッ
クの符号化を行うか否かを示すフラグ(COD)の組み合わ
せを既に符号化または復号化されているデータから予測
する。そして、その予測結果と実際の組み合わせとの相
違の程度を1ビットのフラグまたは可変長符号として符
号化することにより、グローバル動き補償/ローカル動
き補償の選択に必要となる付加情報を削減する。 【効果】 グローバル動き補償/ローカル動き補償の選
択に要する情報付加情報を削減できる。
Description
【0001】
【発明の属する技術分野】本発明は、ディジタル動画像
符号化技術に属するものである。
符号化技術に属するものである。
【0002】
【従来の技術】ディジタル動画像の高能率符号化におい
て、時間的に隣接するフレーム間の相関を利用する動き
補償(Motion Compensation:MC)方法は大きな圧縮効果
を生むことが知られている。このため、動画像符号化方
式の国際標準MPEG1とMPEG2でも半画素精度のブロックマ
ッチングの技術が用いられている。この方式では、符号
化しようとする画像を多数のブロックに分割し、ブロッ
ク毎にその動きベクトルを水平・垂直方向に隣接画素間
距離の半分の長さを最小単位として求めている。この処
理を数式を用いて表現すると次のようになる。符号化し
ようとするフレーム(現フレーム)の予測画像をP(x,
y)、参照画像(Pと時間的に近接しており、既に符号化
が完了しているフレームの復号画像)をR(x,y)とす
る。またx、yは整数であるとして、PとRでは座標値が整
数である点に画素が存在すると仮定する。このとき、P
とRの関係は、次式(数1)で表される。
て、時間的に隣接するフレーム間の相関を利用する動き
補償(Motion Compensation:MC)方法は大きな圧縮効果
を生むことが知られている。このため、動画像符号化方
式の国際標準MPEG1とMPEG2でも半画素精度のブロックマ
ッチングの技術が用いられている。この方式では、符号
化しようとする画像を多数のブロックに分割し、ブロッ
ク毎にその動きベクトルを水平・垂直方向に隣接画素間
距離の半分の長さを最小単位として求めている。この処
理を数式を用いて表現すると次のようになる。符号化し
ようとするフレーム(現フレーム)の予測画像をP(x,
y)、参照画像(Pと時間的に近接しており、既に符号化
が完了しているフレームの復号画像)をR(x,y)とす
る。またx、yは整数であるとして、PとRでは座標値が整
数である点に画素が存在すると仮定する。このとき、P
とRの関係は、次式(数1)で表される。
【0003】
【数1】
【0004】ただし、画像はa個のブロックに分割され
るとして、Biは画像のi番目のブロックに含まれる画
素、(ui,vi)はi番目のブロックの動きベクトルを表して
いる。
るとして、Biは画像のi番目のブロックに含まれる画
素、(ui,vi)はi番目のブロックの動きベクトルを表して
いる。
【0005】半画素精度のブロックマッチングでは、ui
とviはそれぞれ画素間距離の半分、つまりこの場合は1
/2を最小単位として求められることになる。従って、
座標値が整数ではなく、参照画像において実際には画像
が存在しない点(以後、このような点を内挿点とよぶ)
の輝度値を求めることが必要となる。この際の処理とし
ては、周辺4画素を用いた共1次内挿が使われることが
多い。この内挿方式を数式で記述すると、座標値の少数
部分をαとβ(0≦α,β<1)として、参照画像の内
挿点(x+α,y+β)における輝度値R(x+α,y+β)は、次
式(数2)で表される。
とviはそれぞれ画素間距離の半分、つまりこの場合は1
/2を最小単位として求められることになる。従って、
座標値が整数ではなく、参照画像において実際には画像
が存在しない点(以後、このような点を内挿点とよぶ)
の輝度値を求めることが必要となる。この際の処理とし
ては、周辺4画素を用いた共1次内挿が使われることが
多い。この内挿方式を数式で記述すると、座標値の少数
部分をαとβ(0≦α,β<1)として、参照画像の内
挿点(x+α,y+β)における輝度値R(x+α,y+β)は、次
式(数2)で表される。
【0006】
【数2】
【0007】なお、ブロックマッチングのようにブロッ
ク毎に動きベクトルの検出を行う動き補償方法を局所的
な動きを検出するという意味から、以後纏めてローカル
動き補償と呼ぶことにする。
ク毎に動きベクトルの検出を行う動き補償方法を局所的
な動きを検出するという意味から、以後纏めてローカル
動き補償と呼ぶことにする。
【0008】これに対して、拡大・縮小・回転等、画像
全体または画像の大部分が1個の動きモデルに従ってい
る画像では、すべてのブロックに対して動きベクトルを
伝送するのではなく、画像全体の動きベクトル場を少な
いパラメータを用いて表現するグローバル動き補償(Gl
obal Motion Compensation:GMC,例えば、M.Hotter,"D
ifferential estimation of the global motion parame
ters zoom and pan",Signal Processing, vol. 16, no.
3, pp. 249-265, Mar. 1989)が有効であることが知ら
れている。これは、画像内の画素(x,y)の動きベク
トル(ug(x,y),vg(x,y))を、例えば、次
式(数3)や(数4)などの形式で表し、この動きベク
トルを利用して動き補償を行う方式である。
全体または画像の大部分が1個の動きモデルに従ってい
る画像では、すべてのブロックに対して動きベクトルを
伝送するのではなく、画像全体の動きベクトル場を少な
いパラメータを用いて表現するグローバル動き補償(Gl
obal Motion Compensation:GMC,例えば、M.Hotter,"D
ifferential estimation of the global motion parame
ters zoom and pan",Signal Processing, vol. 16, no.
3, pp. 249-265, Mar. 1989)が有効であることが知ら
れている。これは、画像内の画素(x,y)の動きベク
トル(ug(x,y),vg(x,y))を、例えば、次
式(数3)や(数4)などの形式で表し、この動きベク
トルを利用して動き補償を行う方式である。
【0009】
【数3】
【0010】
【数4】
【0011】ここでa0〜a5、b0〜b7は動きパラメー
タであり、前者をアフィン変換モデル、後者を共一次変
換モデルと呼ぶ。動き補償を行う際には、送信側と受信
側で同じ予測画像が得られなければならない。このため
に、送信側は受信側へa0〜a5またはb0〜b7の値を直
接伝送しても良いが、代わりにいくつかの代表点の動き
ベクトルを伝送する方法もある。いま、画像の左上端、
右上端、左下端、右下端の画素の座標がそれぞれ(0,
0)、(r,0)、(0,s)、(r,s)で表される
とする(ただし、rとsは正の整数)。このとき、代表
点(0,0)、(r,0)、(0,s)の動きベクトル
の水平・垂直成分をそれぞれ(ua,va)、(ub,v
b)、(uc,vc)とすると、(数3)は次式(数5)
のように書き換えることができる。
タであり、前者をアフィン変換モデル、後者を共一次変
換モデルと呼ぶ。動き補償を行う際には、送信側と受信
側で同じ予測画像が得られなければならない。このため
に、送信側は受信側へa0〜a5またはb0〜b7の値を直
接伝送しても良いが、代わりにいくつかの代表点の動き
ベクトルを伝送する方法もある。いま、画像の左上端、
右上端、左下端、右下端の画素の座標がそれぞれ(0,
0)、(r,0)、(0,s)、(r,s)で表される
とする(ただし、rとsは正の整数)。このとき、代表
点(0,0)、(r,0)、(0,s)の動きベクトル
の水平・垂直成分をそれぞれ(ua,va)、(ub,v
b)、(uc,vc)とすると、(数3)は次式(数5)
のように書き換えることができる。
【0012】
【数5】
【0013】このことはa0〜a5を伝送する代わりにu
a、va、ub、vb、uc、vcを伝送しても同様の機能が
実現できることを意味する。この様子を図2に示す。現
フレームの原画像202と参照画像201の間でグロー
バル動き補償が行われたとして、動きパラメータの代わ
りに代表点203、204、205の動きベクトル20
6、207、208(このとき、動きベクトルは現フレ
ームの原画像の点を出発点として、参照画像内の対応す
る点を終点とするものとして定義する)を伝送しても良
い。これと同じように、4個の代表点(0,0)、
(r,0)、(0,s)、(r,s)の動きベクトルの
水平・垂直成分(ua,va)、(ub,vb)、(uc,
vc)、(ud,vd)を用いて(数4)は、次式(数
6)のように書き換えることができる。
a、va、ub、vb、uc、vcを伝送しても同様の機能が
実現できることを意味する。この様子を図2に示す。現
フレームの原画像202と参照画像201の間でグロー
バル動き補償が行われたとして、動きパラメータの代わ
りに代表点203、204、205の動きベクトル20
6、207、208(このとき、動きベクトルは現フレ
ームの原画像の点を出発点として、参照画像内の対応す
る点を終点とするものとして定義する)を伝送しても良
い。これと同じように、4個の代表点(0,0)、
(r,0)、(0,s)、(r,s)の動きベクトルの
水平・垂直成分(ua,va)、(ub,vb)、(uc,
vc)、(ud,vd)を用いて(数4)は、次式(数
6)のように書き換えることができる。
【0014】
【数6】
【0015】したがって、b0〜b7を伝送する代わりに
ua、va、ub、vb、uc、vc、ud、vdを伝送しても
同様の機能が実現できる。
ua、va、ub、vb、uc、vc、ud、vdを伝送しても
同様の機能が実現できる。
【0016】なお、上記の2モデル以外にも、背景が静
止しているモデル(動きベクトルは伝送する必要がな
い)や平行移動のみのモデル(1個の代表点の動きベク
トルを伝送する)、更にコンピュータグラフィックスの
分野で用いられている透視変換モデル等もグローバル動
き補償を実現するための動きモデルに含まれる。
止しているモデル(動きベクトルは伝送する必要がな
い)や平行移動のみのモデル(1個の代表点の動きベク
トルを伝送する)、更にコンピュータグラフィックスの
分野で用いられている透視変換モデル等もグローバル動
き補償を実現するための動きモデルに含まれる。
【0017】上記で説明したグローバル動き補償は画像
全体が1個の動きのみで表現できる場合に有効な方法で
あるが、自然画像では2個以上の動きが含まれているこ
とが普通である。そのため、一般的にはグローバル動き
補償は先に説明したローカル動き補償と組み合わせて用
いられる。ローカル動き補償を使用した符号化方式とし
ては、低レート符号化を目的とした動画像符号化国際標
準方式H.263が挙げられる。そこで次に、H.263にグロー
バル動き補償を組み合わせた符号化方式を考える。
全体が1個の動きのみで表現できる場合に有効な方法で
あるが、自然画像では2個以上の動きが含まれているこ
とが普通である。そのため、一般的にはグローバル動き
補償は先に説明したローカル動き補償と組み合わせて用
いられる。ローカル動き補償を使用した符号化方式とし
ては、低レート符号化を目的とした動画像符号化国際標
準方式H.263が挙げられる。そこで次に、H.263にグロー
バル動き補償を組み合わせた符号化方式を考える。
【0018】まず、H.263符号化方式について説明す
る。H.263の詳細なアルゴリズムは「DRAFT ITU-T Recom
mendation H.263, 1995.12.5」に述べられているが、こ
こでは簡単のため、時間的に順方向の既符号化フレーム
のみを予測のための参照画像するPピクチャについての
み説明する。また、H.263に採用されている各種オプシ
ョン機能の説明も省略する。H.263符号化方式は、ブロ
ックマッチングを用いたローカル動き補償とDCTを組み
合わせたハイブリッド符号化方式(フレーム間/フレー
ム内適応符号化方式)を採用している。このハイブリッ
ド符号化方式ではマクロブロック毎にブロックマッチン
グ、離散コサイン変換(DCT)とそのDCT係数の量子
化が行われ、符号化される。マクロブロックとは、8画
素×8画素の4個の輝度信号ブロックとそれと空間的に
対応する8画素×8画素の2個の色差信号ブロックで構
成される符号化ブロックのことである。ブロックマッチ
ングは16画素×16画素のY信号ブロック毎(16×16M
C)、または4個の8画素×8画素ブロック毎(8×8MC)に
行われる。前者ではマクロブロックに1個、後者ではマ
クロブロックに4個の動きベクトルを持つ。そのためH.
263には3種類の予測タイプがあり、マクロブロック単
位で選択される。具体的な予測タイプは以下の通りであ
る。
る。H.263の詳細なアルゴリズムは「DRAFT ITU-T Recom
mendation H.263, 1995.12.5」に述べられているが、こ
こでは簡単のため、時間的に順方向の既符号化フレーム
のみを予測のための参照画像するPピクチャについての
み説明する。また、H.263に採用されている各種オプシ
ョン機能の説明も省略する。H.263符号化方式は、ブロ
ックマッチングを用いたローカル動き補償とDCTを組み
合わせたハイブリッド符号化方式(フレーム間/フレー
ム内適応符号化方式)を採用している。このハイブリッ
ド符号化方式ではマクロブロック毎にブロックマッチン
グ、離散コサイン変換(DCT)とそのDCT係数の量子
化が行われ、符号化される。マクロブロックとは、8画
素×8画素の4個の輝度信号ブロックとそれと空間的に
対応する8画素×8画素の2個の色差信号ブロックで構
成される符号化ブロックのことである。ブロックマッチ
ングは16画素×16画素のY信号ブロック毎(16×16M
C)、または4個の8画素×8画素ブロック毎(8×8MC)に
行われる。前者ではマクロブロックに1個、後者ではマ
クロブロックに4個の動きベクトルを持つ。そのためH.
263には3種類の予測タイプがあり、マクロブロック単
位で選択される。具体的な予測タイプは以下の通りであ
る。
【0019】P−1.動き予測を行わず、原画像上のブ
ロック内の画素に直接DCTを施すINTRAモード。
ロック内の画素に直接DCTを施すINTRAモード。
【0020】P−2.16画素×16画素の輝度ブロッ
クでブロックマッチングを行い(16×16MC)、1個の動き
ベクトルの符号化を伴うINTERモード。
クでブロックマッチングを行い(16×16MC)、1個の動き
ベクトルの符号化を伴うINTERモード。
【0021】P−3.8画素×8画素の輝度ブロック毎
にブロックマッチングを行い(8×8MC)、4個の動きベク
トルの符号化を伴うINTER4Vモード。
にブロックマッチングを行い(8×8MC)、4個の動きベク
トルの符号化を伴うINTER4Vモード。
【0022】DCTは6個の8画素×8画素ブロック単
位で行われる。DCT係数の量子化に適用される量子化精
度はP-1とP-2の場合のみマクロブロック単位で変更する
ことが可能である。変更する場合には、INTRA,INTERモ
ードはそれぞれINTRA+Q,INTER+Qモードとして符号化さ
れ、量子化精度の変更値が付加情報として加えられる。
従って、マクロブロックの予測モードはINTRA,INTRA+
Q,INTER,INTER+Q,INTER4Vの5種類となる。なお、こ
の予測モードの選択はマクロブロック単位で行い、一般
的には、原画像上のブロック画像と予測画像上のブロッ
ク画像間の各画素値の絶対値差分和(INTER,INTER4V)な
らびに原画像上のブロック画像内の画素の平均値と各画
素値との絶対値差分和(INTRA)を用い、その差分和が最
小となるモードが選択される。
位で行われる。DCT係数の量子化に適用される量子化精
度はP-1とP-2の場合のみマクロブロック単位で変更する
ことが可能である。変更する場合には、INTRA,INTERモ
ードはそれぞれINTRA+Q,INTER+Qモードとして符号化さ
れ、量子化精度の変更値が付加情報として加えられる。
従って、マクロブロックの予測モードはINTRA,INTRA+
Q,INTER,INTER+Q,INTER4Vの5種類となる。なお、こ
の予測モードの選択はマクロブロック単位で行い、一般
的には、原画像上のブロック画像と予測画像上のブロッ
ク画像間の各画素値の絶対値差分和(INTER,INTER4V)な
らびに原画像上のブロック画像内の画素の平均値と各画
素値との絶対値差分和(INTRA)を用い、その差分和が最
小となるモードが選択される。
【0023】図3にH.263の符号化器の構成例を示す。
減算器302は入力画像301(現フレームの原画像)
とフレーム間/フレーム内符号化切り換えスイッチ31
8の出力画像312(後述)との差を計算し、誤差画像
303を出力する。この誤差画像は、DCT変換器304
でDCT係数に変換された後、制御装置300から受けた
量子化パラメータ情報321に基づいて量子化器205
で量子化され、量子化DCT係数306となる。なお、量
子化パラメータ情報は1から31までの正の整数で記述
される。量子化DCT係数306は多重化器322に渡さ
れると共に逆量子器307へ送られ逆量子化される。逆
量子化されたDCT係数は逆DCT変換器308を経て復号誤
差画像309(受信側で復号される誤差画像と同じ画
像)となる。これに加算器310においてフレーム間/
フレーム内符号化切り換えスイッチ318の出力画像3
12(後述)が加えられ、局部復号画像すなわち現フレ
ームの復号画像311(受信側で再生される現フレーム
の復号画像と同じ画像)を得る。この画像は一旦フレー
ムメモリ313に蓄えられ、1フレーム分時間遅延され
た後、前フレームの復号画像314としてフレームメモ
リ313から出力される。次に、この前フレームの復号
画像314と現フレームの入力画像301が動き補償処
理部315に入力され、動き補償が行われる。具体的に
は、現フレームの入力画像301の輝度信号を16×1
6画素のブロックに分割した後、画像314との間でP
−2またはP−3のブロックマッチングが行われる。こ
こで検出された動きベクトルと選択された予測タイプ情
報は多重化された後、動き情報317として多重化器3
22へ渡される。受信側は、この動き情報と前フレーム
の復号画像から、独自に送信側で得られるものと同じ予
測画像を合成することができる。一方、動き補償処理部
315で生成された予測画像316は「0」信号319
と共にフレーム間/フレーム内符号化切り換えスイッチ
318に入力される。このスイッチは、入力画像301
のアクティビティー等から制御装置300が選択したフ
レーム間/フレーム内選択情報320に従って、マクロ
ブロック単位で切り換えられる。予測画像が選択された
場合には、フレーム間符号化(INTERまたはINTER+Qまた
はINTER4V)が行われる。一方、「0」が選択された場合
には、入力画像がそのままDCT符号化されて通信路に出
力されるため、フレーム内符号化(INTRAまたはINTRA+Q)
が行われることになる。受信側が正しく復号画像を得る
ためには、送信側でフレーム内符号化が行われたかフレ
ーム間符号化が行われたかを知る必要がある。このた
め、フレーム間/フレーム内選択情報320が通信路へ
出力される。最終的なH.263ビットストリームは多重化
器322で量子化DCT係数、量子化パラメータ、動きベ
クトルおよび予測タイプ選択情報、フレーム間/フレー
ム内選択情報等を多重化することによって得られる。な
お、多重化の方法については以下に説明するH.263にグ
ローバル動き補償を組み合わせた方式の中で詳しく説明
する。
減算器302は入力画像301(現フレームの原画像)
とフレーム間/フレーム内符号化切り換えスイッチ31
8の出力画像312(後述)との差を計算し、誤差画像
303を出力する。この誤差画像は、DCT変換器304
でDCT係数に変換された後、制御装置300から受けた
量子化パラメータ情報321に基づいて量子化器205
で量子化され、量子化DCT係数306となる。なお、量
子化パラメータ情報は1から31までの正の整数で記述
される。量子化DCT係数306は多重化器322に渡さ
れると共に逆量子器307へ送られ逆量子化される。逆
量子化されたDCT係数は逆DCT変換器308を経て復号誤
差画像309(受信側で復号される誤差画像と同じ画
像)となる。これに加算器310においてフレーム間/
フレーム内符号化切り換えスイッチ318の出力画像3
12(後述)が加えられ、局部復号画像すなわち現フレ
ームの復号画像311(受信側で再生される現フレーム
の復号画像と同じ画像)を得る。この画像は一旦フレー
ムメモリ313に蓄えられ、1フレーム分時間遅延され
た後、前フレームの復号画像314としてフレームメモ
リ313から出力される。次に、この前フレームの復号
画像314と現フレームの入力画像301が動き補償処
理部315に入力され、動き補償が行われる。具体的に
は、現フレームの入力画像301の輝度信号を16×1
6画素のブロックに分割した後、画像314との間でP
−2またはP−3のブロックマッチングが行われる。こ
こで検出された動きベクトルと選択された予測タイプ情
報は多重化された後、動き情報317として多重化器3
22へ渡される。受信側は、この動き情報と前フレーム
の復号画像から、独自に送信側で得られるものと同じ予
測画像を合成することができる。一方、動き補償処理部
315で生成された予測画像316は「0」信号319
と共にフレーム間/フレーム内符号化切り換えスイッチ
318に入力される。このスイッチは、入力画像301
のアクティビティー等から制御装置300が選択したフ
レーム間/フレーム内選択情報320に従って、マクロ
ブロック単位で切り換えられる。予測画像が選択された
場合には、フレーム間符号化(INTERまたはINTER+Qまた
はINTER4V)が行われる。一方、「0」が選択された場合
には、入力画像がそのままDCT符号化されて通信路に出
力されるため、フレーム内符号化(INTRAまたはINTRA+Q)
が行われることになる。受信側が正しく復号画像を得る
ためには、送信側でフレーム内符号化が行われたかフレ
ーム間符号化が行われたかを知る必要がある。このた
め、フレーム間/フレーム内選択情報320が通信路へ
出力される。最終的なH.263ビットストリームは多重化
器322で量子化DCT係数、量子化パラメータ、動きベ
クトルおよび予測タイプ選択情報、フレーム間/フレー
ム内選択情報等を多重化することによって得られる。な
お、多重化の方法については以下に説明するH.263にグ
ローバル動き補償を組み合わせた方式の中で詳しく説明
する。
【0024】次に、上記のH.263にグローバル動き補償
(Global Motion Compensation:GMC)を組み合わせた符
号化方式の例を説明する。一般的な方法では、グローバ
ルな動きを持たない時間領域にも対応するためにグロー
バル動き補償の使用の可否のフラグをフレーム単位に伝
送するという処理が施される。従って、グローバル動き
補償に必要な動きベクトルはグローバル動き補償の使用
を可とするフレームについてのみ伝送される。この動き
ベクトルも上記のグローバル動き補償の可否フラグと同
様、マクロブロックの情報が送られる前にフレーム単位
で伝送される。グローバル動き補償を使用しないフレー
ムのマクロブロック処理はH.263と同様となるため、以
後フレーム単位で伝送されるグローバル動き補償の使用
の可否を示すフラグがグローバル動き補償を使用するこ
とを示している場合を考える。この場合には、予測モー
ドはINTRA,INTRA+Q,INTER,INTER+Q,INTER4Vにグロ
ーバル動き補償を適用するGLOBAL,GLOBAL+Qを加えた計
7種類となる。しかし、この7種類をそのまま予測モー
ドの候補として採用した場合、グローバル動き補償を使
用しないフレームにおいて、GLOBAL,GLOBAL+Qのコード
ポイントが無駄になる。従って、一般的には、GLOBALを
INTERに、GLOBAL+QをINTER+Qに統合させる方法が用いら
れる。そして、その識別はINTERまたはINTER+Qのモード
を選択したマクロブロックについてのみ、GMCを使用す
るか否かの判定フラグ(グローバル動き補償オン/オフ
情報、ここではGMCSELと名付ける)を付加することでそ
の識別を行う。即ち、GMCSELがGMCの使用を表す場合に
は、INTERおよびINTER+QをそれぞれGLOBALおよびGLOBAL
+Qに置き換える。なおGMCSELがグローバル動き補償を使
用することを示している場合には、マクロブロック毎の
動きベクトル情報は伝送されない。なお、この予測モー
ドの選択はマクロブロック単位で行い、一般的には、原
画像上のブロック画像と予測画像上のブロック画像間の
各画素値の絶対値差分和(INTER,INTER4V,GLOBAL)なら
びに原画像上のブロック画像内の画素の平均値と各画素
値との絶対値差分和(INTRA)を用い、その差分和が最小
となるモードが選択される。
(Global Motion Compensation:GMC)を組み合わせた符
号化方式の例を説明する。一般的な方法では、グローバ
ルな動きを持たない時間領域にも対応するためにグロー
バル動き補償の使用の可否のフラグをフレーム単位に伝
送するという処理が施される。従って、グローバル動き
補償に必要な動きベクトルはグローバル動き補償の使用
を可とするフレームについてのみ伝送される。この動き
ベクトルも上記のグローバル動き補償の可否フラグと同
様、マクロブロックの情報が送られる前にフレーム単位
で伝送される。グローバル動き補償を使用しないフレー
ムのマクロブロック処理はH.263と同様となるため、以
後フレーム単位で伝送されるグローバル動き補償の使用
の可否を示すフラグがグローバル動き補償を使用するこ
とを示している場合を考える。この場合には、予測モー
ドはINTRA,INTRA+Q,INTER,INTER+Q,INTER4Vにグロ
ーバル動き補償を適用するGLOBAL,GLOBAL+Qを加えた計
7種類となる。しかし、この7種類をそのまま予測モー
ドの候補として採用した場合、グローバル動き補償を使
用しないフレームにおいて、GLOBAL,GLOBAL+Qのコード
ポイントが無駄になる。従って、一般的には、GLOBALを
INTERに、GLOBAL+QをINTER+Qに統合させる方法が用いら
れる。そして、その識別はINTERまたはINTER+Qのモード
を選択したマクロブロックについてのみ、GMCを使用す
るか否かの判定フラグ(グローバル動き補償オン/オフ
情報、ここではGMCSELと名付ける)を付加することでそ
の識別を行う。即ち、GMCSELがGMCの使用を表す場合に
は、INTERおよびINTER+QをそれぞれGLOBALおよびGLOBAL
+Qに置き換える。なおGMCSELがグローバル動き補償を使
用することを示している場合には、マクロブロック毎の
動きベクトル情報は伝送されない。なお、この予測モー
ドの選択はマクロブロック単位で行い、一般的には、原
画像上のブロック画像と予測画像上のブロック画像間の
各画素値の絶対値差分和(INTER,INTER4V,GLOBAL)なら
びに原画像上のブロック画像内の画素の平均値と各画素
値との絶対値差分和(INTRA)を用い、その差分和が最小
となるモードが選択される。
【0025】図4は、代表点の動きベクトルを伝送する
グローバル動き補償方式を採用した動き補償処理部の構
成例である。図3と同じ番号は同じものを指すとする。
図3の動き補償処理部315をこの動き補償部400に
入れ替えることにより、グローバル動き補償を行う画像
符号化装置を構成することができる。この例では、各マ
クロブロックに関してグローバル動き補償かローカル動
き補償(16×16MCまたは8×8MC)のいずれかが適用され
る。現フレームの原画像301における動き補償時の参
照画像を前フレームの復号画像314として、グローバ
ル動き補償部401とローカル動き補償部404でそれ
ぞれグローバル動き補償とローカル動き補償が並列に行
われる。グローバル動き補償では、例えばアフィン変換
モデルを適用した場合には(数5)に示したua、va、
ub、vb、uc、vcの値が推定される。このグローバル
動きベクトル情報403は動き情報317の一部として
伝送される。グローバル動き補償/ローカル動き補償選
択スイッチ407は、グローバル動き補償による予測画
像402とローカル動き補償による予測画像405の間
でマクロブロックごとに最適な方式を選択する。代表点
の動きベクトル(グローバル動きベクトル)403、マ
クロブロックごとの動きベクトル406、グローバル動
き補償/ローカル動き補償選択情報408は多重化部4
09で多重化され、動き情報317として出力される。
グローバル動き補償方式を採用した動き補償処理部の構
成例である。図3と同じ番号は同じものを指すとする。
図3の動き補償処理部315をこの動き補償部400に
入れ替えることにより、グローバル動き補償を行う画像
符号化装置を構成することができる。この例では、各マ
クロブロックに関してグローバル動き補償かローカル動
き補償(16×16MCまたは8×8MC)のいずれかが適用され
る。現フレームの原画像301における動き補償時の参
照画像を前フレームの復号画像314として、グローバ
ル動き補償部401とローカル動き補償部404でそれ
ぞれグローバル動き補償とローカル動き補償が並列に行
われる。グローバル動き補償では、例えばアフィン変換
モデルを適用した場合には(数5)に示したua、va、
ub、vb、uc、vcの値が推定される。このグローバル
動きベクトル情報403は動き情報317の一部として
伝送される。グローバル動き補償/ローカル動き補償選
択スイッチ407は、グローバル動き補償による予測画
像402とローカル動き補償による予測画像405の間
でマクロブロックごとに最適な方式を選択する。代表点
の動きベクトル(グローバル動きベクトル)403、マ
クロブロックごとの動きベクトル406、グローバル動
き補償/ローカル動き補償選択情報408は多重化部4
09で多重化され、動き情報317として出力される。
【0026】最後に、H.263にグローバル動き補償(GMC)
を組み合わせた方式について、マクロブロックデータの
符号化および復号化の方法を図5を用いて説明する。図
5は1個のマクロブロックにおける符号化/復号化処理
の手順であり、符号化の観点では、ビットストリームの
作成ならびにフレームメモリに蓄積される局部復号画像
の作成方法を示しており、復号側の観点では、ビットス
トリームの解読ならびに再生画像の作成方法を示してい
る。まず、図上で用いている記号の意味を説明する。
を組み合わせた方式について、マクロブロックデータの
符号化および復号化の方法を図5を用いて説明する。図
5は1個のマクロブロックにおける符号化/復号化処理
の手順であり、符号化の観点では、ビットストリームの
作成ならびにフレームメモリに蓄積される局部復号画像
の作成方法を示しており、復号側の観点では、ビットス
トリームの解読ならびに再生画像の作成方法を示してい
る。まず、図上で用いている記号の意味を説明する。
【0027】COD:符号化モード、即ちマクロブロック
上の各画素を再生するための符号化データがこのコード
以降に存在するか否かを示すフラグ。存在する場合は"
0"、存在しない場合は"1"となる。"1"の場合、GMCの使
用が許可されているフレームではGMCにより生成される
予測画像から切り出した予測ブロック画像を再生画像上
のブロックとし、許可されていないフレームではINTER
モードの16×16MCを動きベクトルを0ベクトルとして行
った際に生成される予測ブロック画像を再生画像上のブ
ロックとする。なお、GMCを組み合わせない通常のH.263
符号化方式では後者の16×16MCの場合が適用されてい
る。
上の各画素を再生するための符号化データがこのコード
以降に存在するか否かを示すフラグ。存在する場合は"
0"、存在しない場合は"1"となる。"1"の場合、GMCの使
用が許可されているフレームではGMCにより生成される
予測画像から切り出した予測ブロック画像を再生画像上
のブロックとし、許可されていないフレームではINTER
モードの16×16MCを動きベクトルを0ベクトルとして行
った際に生成される予測ブロック画像を再生画像上のブ
ロックとする。なお、GMCを組み合わせない通常のH.263
符号化方式では後者の16×16MCの場合が適用されてい
る。
【0028】MCBPC:予測モード(INTRA,INTRA+Q,INTE
RまたはGLOBAL,INTER+QまたはGLOBAL+Q,INTER4V)とマ
クロブロック内の2個の各色差信号ブロックに有意なDC
T係数の量子化値(0以外の値)が存在するか否かの情報
を併せて示す可変長符号。
RまたはGLOBAL,INTER+QまたはGLOBAL+Q,INTER4V)とマ
クロブロック内の2個の各色差信号ブロックに有意なDC
T係数の量子化値(0以外の値)が存在するか否かの情報
を併せて示す可変長符号。
【0029】GMCSEL:グローバル動き補償オン/オフ情
報、即ちGMCと16×16MCの何れを適用するかを示すフラ
グ。GMCを適用する場合には"1"、適用しない場合には"
0"となる。MCBPCで予測モードがINTERまたはINTER+Qの
場合にのみ存在し、INTRA,INTRA+Q,INTER4Vの場合に
はGMCSELは必ず"0"となるため伝送されない。
報、即ちGMCと16×16MCの何れを適用するかを示すフラ
グ。GMCを適用する場合には"1"、適用しない場合には"
0"となる。MCBPCで予測モードがINTERまたはINTER+Qの
場合にのみ存在し、INTRA,INTRA+Q,INTER4Vの場合に
はGMCSELは必ず"0"となるため伝送されない。
【0030】CBPY:マクロブロック内の4個の各輝度信
号ブロックに有意なDCT係数の量子化値(0以外の値)が
存在するか否かを示す可変長符号。
号ブロックに有意なDCT係数の量子化値(0以外の値)が
存在するか否かを示す可変長符号。
【0031】DQUANT:INTRA+QまたはINTER+Q(GLOBAL+Q)
の場合にのみ存在する。量子値パラメータの値を決める
可変長符号。
の場合にのみ存在する。量子値パラメータの値を決める
可変長符号。
【0032】MV1-MV4:マクロブロック単位の動きベク
トルを示す可変長符号。1〜4は4個の8×8ブロックに
対応しており、16×16MCではMV1のみを使用し、MV2-MV4
はMV1と同一の値とする。なお、GLOBALとGLOBAL+Qの場
合には、GMCに必要な動きベクトルがマクロブロック情
報の前に復号されるフレーム情報(ピクチャ情報)に含ま
れているため、MV1-MV4は必要としない。
トルを示す可変長符号。1〜4は4個の8×8ブロックに
対応しており、16×16MCではMV1のみを使用し、MV2-MV4
はMV1と同一の値とする。なお、GLOBALとGLOBAL+Qの場
合には、GMCに必要な動きベクトルがマクロブロック情
報の前に復号されるフレーム情報(ピクチャ情報)に含ま
れているため、MV1-MV4は必要としない。
【0033】それでは、GMCを適用するフレームにおけ
る各マクロブロックの符号化処理を図5により説明す
る。まず501でCODのデータの符号化を行う。一般的
には、マクロブロック上のDCT係数の量子化値が全て0
であり、予測モードがGLOBAL(GMCが許可されているフレ
ームの場合)または予測モードがINTERで動きベクトル
が0ベクトル(GMCが許可されていないフレームの場合)
となる時に、そのマクロブロックのCODを"1"とし、それ
以外の場合で"0"とする。ここで、CODが"1"の場合には
503に示すようにGMCSEL=1とし、GMCによる予測ブロ
ック画像を局部復号画像上にそのままま張り付ける。一
方、CODが"0"の場合には504に進みMCPBCのデータを
符号化する。それ以降の処理は予測モードにより異な
る。
る各マクロブロックの符号化処理を図5により説明す
る。まず501でCODのデータの符号化を行う。一般的
には、マクロブロック上のDCT係数の量子化値が全て0
であり、予測モードがGLOBAL(GMCが許可されているフレ
ームの場合)または予測モードがINTERで動きベクトル
が0ベクトル(GMCが許可されていないフレームの場合)
となる時に、そのマクロブロックのCODを"1"とし、それ
以外の場合で"0"とする。ここで、CODが"1"の場合には
503に示すようにGMCSEL=1とし、GMCによる予測ブロ
ック画像を局部復号画像上にそのままま張り付ける。一
方、CODが"0"の場合には504に進みMCPBCのデータを
符号化する。それ以降の処理は予測モードにより異な
る。
【0034】・予測モードがINTER4Vの場合:506に
示すようにGMCSEL=0とした後、CBPY,MV1〜MV4のデータ
を符号化する。その後、このMV1〜MV4により8×8MCを行
い予測ブロック画像を生成。512の逆量子化および逆
DCTの処理に進む。
示すようにGMCSEL=0とした後、CBPY,MV1〜MV4のデータ
を符号化する。その後、このMV1〜MV4により8×8MCを行
い予測ブロック画像を生成。512の逆量子化および逆
DCTの処理に進む。
【0035】・予測モードがINTRAまたはINTRA+Qの場
合:507に示すようにGMCSEL=0とした後、CBPYとDQUA
NT(INTRA+Qの場合のみ)のデータを符号化する。その
後、512の逆量子化および逆DCTの処理に進む。
合:507に示すようにGMCSEL=0とした後、CBPYとDQUA
NT(INTRA+Qの場合のみ)のデータを符号化する。その
後、512の逆量子化および逆DCTの処理に進む。
【0036】・予測モードがINTERまたはINTER+Qの場
合:まず508でGMCSELのデータの符号化を行う。以降
の処理はGMCSELの値に応じて509に示すように場合分
けされる。GMCSELが"1"の場合には、510でCBPYとDQU
ANT(INTER+Qの場合のみ)のデータを符号化した後、先に
フレーム情報として符号化されたグローバル動きベクト
ルを用いてマクロブロック内の画素に関するGMCを行い
予測ブロック画像を生成。その後、512の逆量子化お
よび逆DCTの処理に進む。一方、GMCSELが"0"の場合に
は、511でCBPY,MV1およびDQUANT(INTER+Qの場合の
み)のデータを符号化し、このMV1により16×16MCを行い
予測ブロック画像を生成。その後、512の逆量子化お
よび逆DCTの処理に進む。
合:まず508でGMCSELのデータの符号化を行う。以降
の処理はGMCSELの値に応じて509に示すように場合分
けされる。GMCSELが"1"の場合には、510でCBPYとDQU
ANT(INTER+Qの場合のみ)のデータを符号化した後、先に
フレーム情報として符号化されたグローバル動きベクト
ルを用いてマクロブロック内の画素に関するGMCを行い
予測ブロック画像を生成。その後、512の逆量子化お
よび逆DCTの処理に進む。一方、GMCSELが"0"の場合に
は、511でCBPY,MV1およびDQUANT(INTER+Qの場合の
み)のデータを符号化し、このMV1により16×16MCを行い
予測ブロック画像を生成。その後、512の逆量子化お
よび逆DCTの処理に進む。
【0037】以上の処理を行った後、512において量
子化データから逆量子化ならびに逆DCTの処理を経て、
誤差ブロック画像が生成される。この誤差ブロック画像
と予測ブロック画像を合成することでマクロブロックに
関する局部復号ブロック画像が生成される。
子化データから逆量子化ならびに逆DCTの処理を経て、
誤差ブロック画像が生成される。この誤差ブロック画像
と予測ブロック画像を合成することでマクロブロックに
関する局部復号ブロック画像が生成される。
【0038】復号側では、これと同様の手順でビットス
トリームの解読ならびに復号画像の作成を行う。まず5
01でCODのデータを復号し、502でその場合分けを
行う。CODが"1"の場合には503に示すようにGMCSEL=1
となり、GMCによる予測ブロック画像がそのまま再生画
像上のに張り付けられる。一方、CODが"0"の場合には5
04に進みMCPBCのデータを復号する。以降の処理は予
測モードに応じて505に示すように場合分けされる。
トリームの解読ならびに復号画像の作成を行う。まず5
01でCODのデータを復号し、502でその場合分けを
行う。CODが"1"の場合には503に示すようにGMCSEL=1
となり、GMCによる予測ブロック画像がそのまま再生画
像上のに張り付けられる。一方、CODが"0"の場合には5
04に進みMCPBCのデータを復号する。以降の処理は予
測モードに応じて505に示すように場合分けされる。
【0039】・予測モードがINTER4Vの場合:506に
示すようにGMCSEL=0とした後、CBPY,MV1〜MV4のデータ
を復号する。その後、8×8MCにより予測ブロック画像を
生成し、512の逆量子化および逆DCTの処理に進む。
示すようにGMCSEL=0とした後、CBPY,MV1〜MV4のデータ
を復号する。その後、8×8MCにより予測ブロック画像を
生成し、512の逆量子化および逆DCTの処理に進む。
【0040】・予測モードがINTRAまたはINTRA+Qの場
合:507に示すようにGMCSEL=0とした後、CBPYとDQUA
NT(INTRA+Qの場合のみ)のデータを復号する。その後、
512の逆量子化および逆DCTの処理に進む。
合:507に示すようにGMCSEL=0とした後、CBPYとDQUA
NT(INTRA+Qの場合のみ)のデータを復号する。その後、
512の逆量子化および逆DCTの処理に進む。
【0041】・予測モードがINTERまたはINTER+Qの場
合:まず508でGMCSELのデータを復号し、509でそ
の場合分けを行う。GMCSELが"1"の場合には、510でC
BPYとDQUANT(INTER+Qの場合のみ)のデータを復号し、GM
Cにより予測ブロック画像を生成し、512の逆量子化
および逆DCTの処理に進む。一方、GMCSELが"0"の場合に
は、511でCBPY,MV1およびDQUANT(INTER+Qの場合の
み)のデータを復号する。その後、16×16MCにより予測
ブロック画像を生成し、512の逆量子化および逆DCT
の処理に進む。
合:まず508でGMCSELのデータを復号し、509でそ
の場合分けを行う。GMCSELが"1"の場合には、510でC
BPYとDQUANT(INTER+Qの場合のみ)のデータを復号し、GM
Cにより予測ブロック画像を生成し、512の逆量子化
および逆DCTの処理に進む。一方、GMCSELが"0"の場合に
は、511でCBPY,MV1およびDQUANT(INTER+Qの場合の
み)のデータを復号する。その後、16×16MCにより予測
ブロック画像を生成し、512の逆量子化および逆DCT
の処理に進む。
【0042】以上の処理を行った後、512において量
子化データの復号から逆量子化ならびに逆DCTの処理を
経て、誤差ブロック画像が生成される。この誤差ブロッ
ク画像と予測ブロック画像を合成することでマクロブロ
ックに関する再生ブロック画像が生成される。
子化データの復号から逆量子化ならびに逆DCTの処理を
経て、誤差ブロック画像が生成される。この誤差ブロッ
ク画像と予測ブロック画像を合成することでマクロブロ
ックに関する再生ブロック画像が生成される。
【0043】
【発明が解決しようとする課題】画像全体の動きを補償
するグローバル動き補償と画像上の局所的な動きを補償
するローカル動き補償をブロック毎に選択する符号化方
式では、その選択のために各符号化マクロブロック毎に
1ビットの付加情報が必要となる。
するグローバル動き補償と画像上の局所的な動きを補償
するローカル動き補償をブロック毎に選択する符号化方
式では、その選択のために各符号化マクロブロック毎に
1ビットの付加情報が必要となる。
【0044】
【課題を解決するための手段】グローバル動き補償/ロ
ーカル動き補償の選択に要するフラグ(GMCSEL)と各符号
化マクロブロックの符号化を行うか否かを示す符号化モ
ードを示すフラグ(COD)の組み合わせを既に符号化また
は復号化されている周辺ブロックのデータから予測す
る。そして、その予測結果と実際の組み合わせとの相違
の程度を1ビットのフラグまたは可変長符号として符号
化することにより、グローバル動き補償/ローカル動き
補償の選択に必要となる付加情報を削減する。
ーカル動き補償の選択に要するフラグ(GMCSEL)と各符号
化マクロブロックの符号化を行うか否かを示す符号化モ
ードを示すフラグ(COD)の組み合わせを既に符号化また
は復号化されている周辺ブロックのデータから予測す
る。そして、その予測結果と実際の組み合わせとの相違
の程度を1ビットのフラグまたは可変長符号として符号
化することにより、グローバル動き補償/ローカル動き
補償の選択に必要となる付加情報を削減する。
【0045】
【発明の実施の形態】従来例に示したように、グローバ
ル動き補償とローカル動き補償と組み合わせて用いる符
号化方式ではGMCSELのようなグローバル動き補償/ロー
カル動き補償選択情報がマクロブロック毎に必要とな
る。このようなマクロブロック毎に必要となる付加情報
の存在は、特に低レートの符号化を行う場合に符号化効
率の低下を招く原因になる。従来例において、CODが"1"
となる時の動き補償方式をGMCと16×16MC(動きベクトル
は0ベクトル)から選択するのではなく、GMCに限定して
いる理由も、選択に伴う付加情報の発生を避けるためで
ある。
ル動き補償とローカル動き補償と組み合わせて用いる符
号化方式ではGMCSELのようなグローバル動き補償/ロー
カル動き補償選択情報がマクロブロック毎に必要とな
る。このようなマクロブロック毎に必要となる付加情報
の存在は、特に低レートの符号化を行う場合に符号化効
率の低下を招く原因になる。従来例において、CODが"1"
となる時の動き補償方式をGMCと16×16MC(動きベクトル
は0ベクトル)から選択するのではなく、GMCに限定して
いる理由も、選択に伴う付加情報の発生を避けるためで
ある。
【0046】しかし、GMCは画像上の1個の物体の動き
(例えば、背景画像)にのみ対応するため、一般にGMC
が適用されるブロックは画像上で隣接して存在する。ま
た、符号化ならびに復号化を行わないブロック、即ちCO
Dが"1"となるブロックも1個の動きにのみ対応するもの
であり、GMCと同様に隣接して存在する傾向がある。そ
こで、この2個の付加情報(CODとGMCSEL)の組み合わ
せを周囲のブロックの情報から予測し、その予測結果と
実際との相違の程度を符号化する方法が有効と考えられ
る。なお、この2個の付加情報の組み合わせとしては全
部で4通り存在するが、そのうち何通りが有効であるか
はその符号化方式によって異なる。本明細書では、代表
的な2つの方式(3通りの場合と4通りの場合)につい
て、その適用例を示す。
(例えば、背景画像)にのみ対応するため、一般にGMC
が適用されるブロックは画像上で隣接して存在する。ま
た、符号化ならびに復号化を行わないブロック、即ちCO
Dが"1"となるブロックも1個の動きにのみ対応するもの
であり、GMCと同様に隣接して存在する傾向がある。そ
こで、この2個の付加情報(CODとGMCSEL)の組み合わ
せを周囲のブロックの情報から予測し、その予測結果と
実際との相違の程度を符号化する方法が有効と考えられ
る。なお、この2個の付加情報の組み合わせとしては全
部で4通り存在するが、そのうち何通りが有効であるか
はその符号化方式によって異なる。本明細書では、代表
的な2つの方式(3通りの場合と4通りの場合)につい
て、その適用例を示す。
【0047】1つ目の適用例として、符号化モード(CO
D)とグローバル動き補償オン/オフ情報(GMCSEL)に関す
る組み合わせの候補が、符号化を行わず動き補償として
グローバル動き補償を採用する場合(COD=1,GMCSEL=1)
と、符号化を行い動き補償としてグローバル動き補償を
採用する場合(COD=0,GMCSEL=1)と、符号化を行い動き
補償としてグローバル動き補償を採用しない場合(COD=
0,GMCSEL=0)の3通りである方式を考える。最初に、CO
DとGMCSELの予測値(それぞれPCOD、PGMCSELと記述す
る)を求める際の予測方法について図6を用いて説明す
る。本実施例では、図6に示すように予測対象ブロック
601の直左ブロック602と直上ブロック603と直上右ブ
ロック604を予測候補ブロックとし、それらの予測ブ
ロックに関するCODとGMCSELの実値からPCODならびにPGM
CSELの値を求める。具体的にはまずPGMCSELを上記3個
の予測候補ブロックのGMCSELから多数決により求める。
例えば図6(a)の場合にはPGMCSEL=0、(b)の場合にはPGM
CSEL=1となる。次にPCODの値を求める。この際、PGMCSE
Lが0の場合には必然的にPCODは0となる。図6(a)がその
例である。これに対して、PGMCSELが1の場合には、60
2、603、604の3個の予測候補ブロック全てを用いるの
ではなく、GMCSELの実値が先に求めたPGMCSELの値と一
致するブロック、即ちGMCSEL=1であるブロックのみを対
象として、多数決の手段によりPCODを求める。このと
き、3個の予測候補ブロックに関するGMCSELの実値が全
て1である場合と、2個の予測候補ブロックに関するGMC
SELの実値のみが1であり、かつその2個の予測候補ブロ
ックのCODの実値が一致する場合には多数決によりPCOD
の値は決定する。しかし、それ以外の場合、すなわち2
個の予測候補ブロックに関するGMCSELの実値のみが1で
あり、かつその2個の予測候補ブロックのCODの実値が
一致しない場合には、上記の予測手段によりPCODの値を
一意に決定することができない。図6(b)がその例であ
る。この場合には図6に示す様にPCOD=1を優先的に選択
する。なお、符号化対象ブロックが画像の端のブロック
である等の理由により、3個の周辺ブロックが揃わない
場合もあるが、その際には、存在するブロックのみを用
いて予測を行うことにする。但し、存在する予測候補ブ
ロックが2個であり、かつそのブロックに関するGMCSEL
の実値が相異なる場合には、予測候補ブロックの中にGM
CSEL=1かつCOD=1であるブロックがあればPCOD=1,PGMCS
EL=1とし、なければPCOD=0,PGMCSEL=0とする。また、
予測候補ブロックが0個の場合も、PCOD=0,PGMCSEL=0
とする。なお、ここで示した予測方法は、既に符号化済
みのブロックの情報のみを用いているため、復号側でも
同様に再現できる。
D)とグローバル動き補償オン/オフ情報(GMCSEL)に関す
る組み合わせの候補が、符号化を行わず動き補償として
グローバル動き補償を採用する場合(COD=1,GMCSEL=1)
と、符号化を行い動き補償としてグローバル動き補償を
採用する場合(COD=0,GMCSEL=1)と、符号化を行い動き
補償としてグローバル動き補償を採用しない場合(COD=
0,GMCSEL=0)の3通りである方式を考える。最初に、CO
DとGMCSELの予測値(それぞれPCOD、PGMCSELと記述す
る)を求める際の予測方法について図6を用いて説明す
る。本実施例では、図6に示すように予測対象ブロック
601の直左ブロック602と直上ブロック603と直上右ブ
ロック604を予測候補ブロックとし、それらの予測ブ
ロックに関するCODとGMCSELの実値からPCODならびにPGM
CSELの値を求める。具体的にはまずPGMCSELを上記3個
の予測候補ブロックのGMCSELから多数決により求める。
例えば図6(a)の場合にはPGMCSEL=0、(b)の場合にはPGM
CSEL=1となる。次にPCODの値を求める。この際、PGMCSE
Lが0の場合には必然的にPCODは0となる。図6(a)がその
例である。これに対して、PGMCSELが1の場合には、60
2、603、604の3個の予測候補ブロック全てを用いるの
ではなく、GMCSELの実値が先に求めたPGMCSELの値と一
致するブロック、即ちGMCSEL=1であるブロックのみを対
象として、多数決の手段によりPCODを求める。このと
き、3個の予測候補ブロックに関するGMCSELの実値が全
て1である場合と、2個の予測候補ブロックに関するGMC
SELの実値のみが1であり、かつその2個の予測候補ブロ
ックのCODの実値が一致する場合には多数決によりPCOD
の値は決定する。しかし、それ以外の場合、すなわち2
個の予測候補ブロックに関するGMCSELの実値のみが1で
あり、かつその2個の予測候補ブロックのCODの実値が
一致しない場合には、上記の予測手段によりPCODの値を
一意に決定することができない。図6(b)がその例であ
る。この場合には図6に示す様にPCOD=1を優先的に選択
する。なお、符号化対象ブロックが画像の端のブロック
である等の理由により、3個の周辺ブロックが揃わない
場合もあるが、その際には、存在するブロックのみを用
いて予測を行うことにする。但し、存在する予測候補ブ
ロックが2個であり、かつそのブロックに関するGMCSEL
の実値が相異なる場合には、予測候補ブロックの中にGM
CSEL=1かつCOD=1であるブロックがあればPCOD=1,PGMCS
EL=1とし、なければPCOD=0,PGMCSEL=0とする。また、
予測候補ブロックが0個の場合も、PCOD=0,PGMCSEL=0
とする。なお、ここで示した予測方法は、既に符号化済
みのブロックの情報のみを用いているため、復号側でも
同様に再現できる。
【0048】次に、H.263にグローバル動き補償(GMC)を
組み合わせた方式(従来例の図3に図4の動き補償を組
み込んだ方式)にこの第1の適用例を活用した場合につ
いて、マクロブロックデータの符号化/復号化の方法を
説明する。この方式を実現するためには、従来例で説明
した図5の501を図7(a)の701に、508を図7(b)の70
8に置き換えれば良く、それが1個のマクロブロックに
おける符号化/復号化処理の手順となる。これは符号化
の観点からは、ビットストリームの作成ならびにフレー
ムメモリに蓄積される局部復号画像の作成方法を、復号
化の観点からは、ビットストリームの解読ならびに再生
画像の作成方法を示している。なお、ここでは図7
(a)、図7(b)についてのみ説明し、図5については
従来例のところで説明しているため割愛する。
組み合わせた方式(従来例の図3に図4の動き補償を組
み込んだ方式)にこの第1の適用例を活用した場合につ
いて、マクロブロックデータの符号化/復号化の方法を
説明する。この方式を実現するためには、従来例で説明
した図5の501を図7(a)の701に、508を図7(b)の70
8に置き換えれば良く、それが1個のマクロブロックに
おける符号化/復号化処理の手順となる。これは符号化
の観点からは、ビットストリームの作成ならびにフレー
ムメモリに蓄積される局部復号画像の作成方法を、復号
化の観点からは、ビットストリームの解読ならびに再生
画像の作成方法を示している。なお、ここでは図7
(a)、図7(b)についてのみ説明し、図5については
従来例のところで説明しているため割愛する。
【0049】まず、図上で用いている記号の意味のう
ち、図5にない記号の意味を述べる。
ち、図5にない記号の意味を述べる。
【0050】JCAM:符号モードCODとグローバル動き補
償オン/オフ情報GMCSELに関する予測値(PCODとPGMCSE
L)の組み合わせと実際の値との相違の程度を示すフラ
グ。予測モードがINTER,INTER+Q,GLOBAL,GLOBAL+Qの
何れかであるときには、2値の予測がいずれも当たって
いる場合には"1"、少なくとも何れか一方の予測が外れ
ている場合には"0"となる。予測モードがINTRA、INTRA+
Q、INTER4Vの何れかであるときには、GMCSELは符号化さ
れず、0に固定される。従って、JCAMは実値のCODとPCOD
が一致している場合には1、一致していない場合には0と
なる。なお、予測値の確定には符号側と復号側で同一の
手順を用いる。
償オン/オフ情報GMCSELに関する予測値(PCODとPGMCSE
L)の組み合わせと実際の値との相違の程度を示すフラ
グ。予測モードがINTER,INTER+Q,GLOBAL,GLOBAL+Qの
何れかであるときには、2値の予測がいずれも当たって
いる場合には"1"、少なくとも何れか一方の予測が外れ
ている場合には"0"となる。予測モードがINTRA、INTRA+
Q、INTER4Vの何れかであるときには、GMCSELは符号化さ
れず、0に固定される。従って、JCAMは実値のCODとPCOD
が一致している場合には1、一致していない場合には0と
なる。なお、予測値の確定には符号側と復号側で同一の
手順を用いる。
【0051】PCOD:CODの予測値。符号化側と復号側で
予測が完全に一致することが規定される。
予測が完全に一致することが規定される。
【0052】PGMCSEL:GMCSELの予測値。符号化側と復
号側で予測が完全に一致することが規定される。
号側で予測が完全に一致することが規定される。
【0053】まず符号化側の観点から図7(a)(b)の処理
を説明する。図7(a)では、まず実際のCOD、GMCSELの値
と予測により求めたPCOD、PGMCSELの値を比較し、その
相違の程度を示すJCAMを711で符号化する。符号化するJ
CAMの値はマクロブロックの予測モードにより場合分け
して決められる。具体的には、予測モードがINTER,INT
ER+Q,GLOBAL,GLOBAL+Qの何れかであるときには、2値
が何れも一致する場合にはJCAM="1"、何れか一方でも一
致しない場合にはJCAM="0"とする。予測モードがINTR
A、INTRA+Q、INTER4Vの何れかであるときには、実値のC
ODとPCODが一致している場合には1、一致していない場
合には0とする。このJCAMの符号化の後、JCAM="0"かつ
PCOD="0"の場合のみ716によりCODを符号化する。それ
以外の場合には、CODの値を復号側で一意に決定できる
ため、符号化する必要はない。図7(b)では、721でJCAM
の値が"0"と符号化され、かつ722でCODとPCODの値が一
致しない場合のみGMCSELデータを符号化することが示さ
れている。それ以外の場合には、GMCSELの値を復号側で
一意に決定できるため、符号化する必要はない。
を説明する。図7(a)では、まず実際のCOD、GMCSELの値
と予測により求めたPCOD、PGMCSELの値を比較し、その
相違の程度を示すJCAMを711で符号化する。符号化するJ
CAMの値はマクロブロックの予測モードにより場合分け
して決められる。具体的には、予測モードがINTER,INT
ER+Q,GLOBAL,GLOBAL+Qの何れかであるときには、2値
が何れも一致する場合にはJCAM="1"、何れか一方でも一
致しない場合にはJCAM="0"とする。予測モードがINTR
A、INTRA+Q、INTER4Vの何れかであるときには、実値のC
ODとPCODが一致している場合には1、一致していない場
合には0とする。このJCAMの符号化の後、JCAM="0"かつ
PCOD="0"の場合のみ716によりCODを符号化する。それ
以外の場合には、CODの値を復号側で一意に決定できる
ため、符号化する必要はない。図7(b)では、721でJCAM
の値が"0"と符号化され、かつ722でCODとPCODの値が一
致しない場合のみGMCSELデータを符号化することが示さ
れている。それ以外の場合には、GMCSELの値を復号側で
一意に決定できるため、符号化する必要はない。
【0054】次に復号側の観点から図7(a)(b)の処理を
説明する。図7(a)では、まず最初に711でJCAMのデータ
を復号し、713でその場合分けを行う。JCAMが"1"の場合
には712に示すようにCOD=PCOD、GMCSEL=PGMCSELとす
る。一方、JCAMが"0"の場合にはPCODの値に応じて、714
に示すように以降の処理を場合分けする。まず、PCOD
が"1"の場合には必ずCODは"0"となるためCODデータの復
号は行わず、715によりCODに"0"を代入する。これに対
してPCODが"0"の場合には、716でCODデータの復号を行
う。この701に含まれる一連の処理により、少なくともC
ODの値は確定する。従って、図5の502の処理に進むこ
とが可能となる。図7(b)に示した708の処理は図5の50
5でMCPBCがINTERまたはINTER+Qと復号された場合に行わ
れる。まず、JCAMの値が"1"の場合には、図7(a)の712
で示したようにGMCSEL=PGMCSELと一意に決定できる。一
方、JCAMの値が"0"の場合には、722によりCODとPCODの
比較を行う。ここで、CODとPCODが一致する場合には、G
MCSELがPGMCSELと一致しないことが一意に確定する。従
って723に示すとおりPGMCSELの否定値がGMCSELの値とな
る。逆にCODとPCODが一致しない場合には、GMCSELのデ
ータをビットストリーム等から読み込み復号する。
説明する。図7(a)では、まず最初に711でJCAMのデータ
を復号し、713でその場合分けを行う。JCAMが"1"の場合
には712に示すようにCOD=PCOD、GMCSEL=PGMCSELとす
る。一方、JCAMが"0"の場合にはPCODの値に応じて、714
に示すように以降の処理を場合分けする。まず、PCOD
が"1"の場合には必ずCODは"0"となるためCODデータの復
号は行わず、715によりCODに"0"を代入する。これに対
してPCODが"0"の場合には、716でCODデータの復号を行
う。この701に含まれる一連の処理により、少なくともC
ODの値は確定する。従って、図5の502の処理に進むこ
とが可能となる。図7(b)に示した708の処理は図5の50
5でMCPBCがINTERまたはINTER+Qと復号された場合に行わ
れる。まず、JCAMの値が"1"の場合には、図7(a)の712
で示したようにGMCSEL=PGMCSELと一意に決定できる。一
方、JCAMの値が"0"の場合には、722によりCODとPCODの
比較を行う。ここで、CODとPCODが一致する場合には、G
MCSELがPGMCSELと一致しないことが一意に確定する。従
って723に示すとおりPGMCSELの否定値がGMCSELの値とな
る。逆にCODとPCODが一致しない場合には、GMCSELのデ
ータをビットストリーム等から読み込み復号する。
【0055】2つ目の適用例として、符号化モード(CO
D)とグローバル動き補償オン/オフ情報(GMCSEL)に関す
る組み合わせの候補が、符号化を行わず動き補償として
グローバル動き補償を採用する場合(COD=1,GMCSEL=1)
と、符号化を行わず動き補償として動きベクトルを0ベ
クトルとするINTERモードの動き補償を採用する場合(CO
D=1,GMCSEL=0)と、符号化を行い動き補償としてグロー
バル動き補償を採用する場合(COD=0,GMCSEL=1)と、符
号化を行い動き補償としてグローバル動き補償を採用し
ない場合(COD=0,GMCSEL=0)の4通りである方式を考え
る。最初に、CODとGMCSELの予測方法について説明す
る。基本的な方法は適用例1の図6と同様であり、先に
PGMCSELを上記3個の予測候補ブロックのGMCSELから多
数決により求める。適用例1と異なるのは、ここでPGMC
SELが0となった場合でもPCOD=1という選択肢が考えられ
る点である。図8にその例を示す。図8の(a),(b)は共
にPGMCSELが0となるケースである。図6同様、予測対象
ブロックを601、その直左ブロックを602、直上ブロック
を603、直上右ブロックを604とする。適用例2ではPGMC
SELが0となる場合でも、602、603、604の3個の予測候
補ブロックの中から、GMCSELの実値が先に求めたPGMCSE
Lの値と一致するブロックのみを対象として多数決を行
う。このとき、3個の予測候補ブロックのGMCSELの実値
が全て0である場合と、2個の予測候補ブロックのGMCSE
Lの実値が0であり、かつその2個の予測候補ブロックに
関するCODの実値が一致している場合には多数決によりP
CODの値は一意に決定する。図8(a)はこの後者に従う例
であり、PCODは"1"となる。図8(b)はこのいずれにも
反するケース、すなわち2個の予測候補ブロックのGMCS
ELの実値が0であり、かつその2個の予測候補ブロック
に関するCODの実値が相異なるケースである。このよう
に、GMCSELが0である周辺ブロックが2個であり、かつC
ODの値が異なっている場合には、PCOD=1を優先的に選
択する。なお、PGMCSELが"1"となった場合のPCODの予測
方法および符号化対象ブロックが画像の端のブロックで
ある等の理由により、3個の周辺ブロックが揃わない場
合の処理は適用例1と同様であるためここでの説明は割
愛する。また、ここで示した予測方法は既に符号化済み
のブロックの情報のみを用いているため、復号側でも同
様に再現できる。
D)とグローバル動き補償オン/オフ情報(GMCSEL)に関す
る組み合わせの候補が、符号化を行わず動き補償として
グローバル動き補償を採用する場合(COD=1,GMCSEL=1)
と、符号化を行わず動き補償として動きベクトルを0ベ
クトルとするINTERモードの動き補償を採用する場合(CO
D=1,GMCSEL=0)と、符号化を行い動き補償としてグロー
バル動き補償を採用する場合(COD=0,GMCSEL=1)と、符
号化を行い動き補償としてグローバル動き補償を採用し
ない場合(COD=0,GMCSEL=0)の4通りである方式を考え
る。最初に、CODとGMCSELの予測方法について説明す
る。基本的な方法は適用例1の図6と同様であり、先に
PGMCSELを上記3個の予測候補ブロックのGMCSELから多
数決により求める。適用例1と異なるのは、ここでPGMC
SELが0となった場合でもPCOD=1という選択肢が考えられ
る点である。図8にその例を示す。図8の(a),(b)は共
にPGMCSELが0となるケースである。図6同様、予測対象
ブロックを601、その直左ブロックを602、直上ブロック
を603、直上右ブロックを604とする。適用例2ではPGMC
SELが0となる場合でも、602、603、604の3個の予測候
補ブロックの中から、GMCSELの実値が先に求めたPGMCSE
Lの値と一致するブロックのみを対象として多数決を行
う。このとき、3個の予測候補ブロックのGMCSELの実値
が全て0である場合と、2個の予測候補ブロックのGMCSE
Lの実値が0であり、かつその2個の予測候補ブロックに
関するCODの実値が一致している場合には多数決によりP
CODの値は一意に決定する。図8(a)はこの後者に従う例
であり、PCODは"1"となる。図8(b)はこのいずれにも
反するケース、すなわち2個の予測候補ブロックのGMCS
ELの実値が0であり、かつその2個の予測候補ブロック
に関するCODの実値が相異なるケースである。このよう
に、GMCSELが0である周辺ブロックが2個であり、かつC
ODの値が異なっている場合には、PCOD=1を優先的に選
択する。なお、PGMCSELが"1"となった場合のPCODの予測
方法および符号化対象ブロックが画像の端のブロックで
ある等の理由により、3個の周辺ブロックが揃わない場
合の処理は適用例1と同様であるためここでの説明は割
愛する。また、ここで示した予測方法は既に符号化済み
のブロックの情報のみを用いているため、復号側でも同
様に再現できる。
【0056】次に、H.263にグローバル動き補償(GMC)を
組み合わせた方式(従来例の図3に図4の動き補償を組
み込んだ方式)にこの第2の適用例を活用した場合につ
いて、マクロブロックデータの符号化/復号化の方法を
説明する。この方式を実現するためには、従来例で説明
した図5の501を図1(a)の101に、508を図1(b)の10
8に、そして503を図1(c)の103に置き換えれば良
く、それが1個のマクロブロックにおける符号化/復号
化処理の手順となる。これは符号化の観点では、ビット
ストリームの作成ならびにフレームメモリに蓄積される
局部復号画像の作成方法、復号の観点では、ビットスト
リームの解読ならびに再生画像の作成方法を示してい
る。なお、ここでは図1(a)、(b)、(c)についてのみ説
明し、図5については従来例のところで説明しているた
め割愛する。
組み合わせた方式(従来例の図3に図4の動き補償を組
み込んだ方式)にこの第2の適用例を活用した場合につ
いて、マクロブロックデータの符号化/復号化の方法を
説明する。この方式を実現するためには、従来例で説明
した図5の501を図1(a)の101に、508を図1(b)の10
8に、そして503を図1(c)の103に置き換えれば良
く、それが1個のマクロブロックにおける符号化/復号
化処理の手順となる。これは符号化の観点では、ビット
ストリームの作成ならびにフレームメモリに蓄積される
局部復号画像の作成方法、復号の観点では、ビットスト
リームの解読ならびに再生画像の作成方法を示してい
る。なお、ここでは図1(a)、(b)、(c)についてのみ説
明し、図5については従来例のところで説明しているた
め割愛する。
【0057】まず、図上で用いている記号のうち、図5
にない記号の意味を述べる。
にない記号の意味を述べる。
【0058】JCAM:符号モードCODとグローバル動き補
償オン/オフ情報GMCSELに関する予測値(PCODとPGMCSE
L)の組み合わせと実際の値との相違の程度を示すフラ
グ。予測モードがINTER,INTER+Q,GLOBAL,GLOBAL+Qの
何れかであるときには、2値の予測がいずれも当たって
いる場合には"1"、CODの予測のみ当たっている場合に
は"01"、少なくともCODの予測は外れている場合には"0
0"となる。予測モードがINTRA、INTRA+Q、INTER4Vの何
れかであるときには、GMCSELは符号化されず、0に固定
される。従って、JCAMは実値のCODとPCODが一致してい
る場合には1、一致していない場合には00となる。な
お、予測値の確定には符号側と復号側で同一の手順を用
いる。
償オン/オフ情報GMCSELに関する予測値(PCODとPGMCSE
L)の組み合わせと実際の値との相違の程度を示すフラ
グ。予測モードがINTER,INTER+Q,GLOBAL,GLOBAL+Qの
何れかであるときには、2値の予測がいずれも当たって
いる場合には"1"、CODの予測のみ当たっている場合に
は"01"、少なくともCODの予測は外れている場合には"0
0"となる。予測モードがINTRA、INTRA+Q、INTER4Vの何
れかであるときには、GMCSELは符号化されず、0に固定
される。従って、JCAMは実値のCODとPCODが一致してい
る場合には1、一致していない場合には00となる。な
お、予測値の確定には符号側と復号側で同一の手順を用
いる。
【0059】PCOD:CODの予測値。符号化側と復号側で
予測が完全に一致することが規定される。
予測が完全に一致することが規定される。
【0060】PGMCSEL:GMCSELの予測値。符号化側と復
号側で予測が完全に一致することが規定される。
号側で予測が完全に一致することが規定される。
【0061】まず符号化側の観点から図1(a)(b)(c)の
処理を説明する。図1(a)では、まず実際のCOD、GMCSEL
の値とその予測値PCOD、PGMCSELを比較し、その相違の
程度を示すJCAMを111で符号化する。符号化するJCAMの
値はマクロブロックの予測モードにより場合分けして決
められる。具体的には、予測モードがINTER,INTER+Q,
GLOBAL,GLOBAL+Qの何れかであるときには、2値の予測
がいずれも当たっている場合には"1"、CODの予測のみ当
たっている場合には"01"、少なくともCODの予測は外れ
ている場合には"00"とする。予測モードがINTRA、INTRA
+Q、INTER4Vの何れかであるときには、JCAMは実値のCOD
とPCODが一致している場合には1、一致していない場合
には00とする。なお適用例2では、このJCAMによりCOD
の値を復号側で一意に決定できるため、CODを別途符号
化する必要はない。図1(b)は、121でJCAMの値が"00"と
識別された場合のみGMCSELデータの符号化を行うことを
示している。それ以外の場合には、GMCSELの値を復号側
で一意に決定できるため、符号化する必要はない。ま
た、この適用例2では、CODが"1"の場合の予測タイプが
2通り考えられるため、図5の503のようにGMCSEL="1"
と一意に確定することができない。従って503は図1(c)
の103の処理に入れ替わる。103では、まず図1(b)の108
と同様の処理が行われ、GMCSELの値が確定する。そし
て、GMCSELが"0"の場合には前フレームの局部復号画像
から空間的に同一位置のマクロブロック画像を切りだ
し、そのまま局部復号ブロック画像とする。GMCSELが"
1"の場合には前フレームにグローバル動き補償を施した
後の画像から空間的に同一位置のマクロブロック画像を
切りだし、そのまま局部復号ブロック画像とする。
処理を説明する。図1(a)では、まず実際のCOD、GMCSEL
の値とその予測値PCOD、PGMCSELを比較し、その相違の
程度を示すJCAMを111で符号化する。符号化するJCAMの
値はマクロブロックの予測モードにより場合分けして決
められる。具体的には、予測モードがINTER,INTER+Q,
GLOBAL,GLOBAL+Qの何れかであるときには、2値の予測
がいずれも当たっている場合には"1"、CODの予測のみ当
たっている場合には"01"、少なくともCODの予測は外れ
ている場合には"00"とする。予測モードがINTRA、INTRA
+Q、INTER4Vの何れかであるときには、JCAMは実値のCOD
とPCODが一致している場合には1、一致していない場合
には00とする。なお適用例2では、このJCAMによりCOD
の値を復号側で一意に決定できるため、CODを別途符号
化する必要はない。図1(b)は、121でJCAMの値が"00"と
識別された場合のみGMCSELデータの符号化を行うことを
示している。それ以外の場合には、GMCSELの値を復号側
で一意に決定できるため、符号化する必要はない。ま
た、この適用例2では、CODが"1"の場合の予測タイプが
2通り考えられるため、図5の503のようにGMCSEL="1"
と一意に確定することができない。従って503は図1(c)
の103の処理に入れ替わる。103では、まず図1(b)の108
と同様の処理が行われ、GMCSELの値が確定する。そし
て、GMCSELが"0"の場合には前フレームの局部復号画像
から空間的に同一位置のマクロブロック画像を切りだ
し、そのまま局部復号ブロック画像とする。GMCSELが"
1"の場合には前フレームにグローバル動き補償を施した
後の画像から空間的に同一位置のマクロブロック画像を
切りだし、そのまま局部復号ブロック画像とする。
【0062】次に復号側の観点から図1(a)(b)(c)の処
理を説明する。図1(a)では最初に111でJCAMのデータを
復号し、112でその場合分けを行う。JCAMが"1"の場合に
は115に示すようにCOD=PCOD、GMCSEL=PGMCSELとする。J
CAMが"01"の場合には113に示すようにCOD=PCODとする。
JCAMが"00"の場合にはCODがPCODと一致しないことが一
意に確定されため、114に示すようにPCODの否定値をCOD
の値とする。この101に含まれる一連の処理により、少
なくともCODの値は確定する。従って、図5の502の処理
に進むことが可能となる。図1(b)に示す108の処理は図
5の505でMCPBCがINTERまたはINTER+Qと復号された場合
に行われる。まず、JCAMの値が"1"の場合には、図1(a)
の115で示したようにGMCSEL=PGMCSELと一意に決定す
る。JCAMの値が"01"の場合には、GMCSELがPGMCSELと一
致しないことが一意に確定されるため、122に示すとお
りPGMCSELの否定値をGMCSELの値とする。JCAMの値が"0
0"の場合にはGMCSELのデータをビットストリーム等から
読み込み復号する。また、この適用例2では、CODが"1"
の場合の予測タイプが2通り考えられるため、図5の50
3のようにGMCSEL="1"と一意に確定することができな
い。従って503は図1(c)の103の処理に入れ替わる。103
では、まず図1(b)と同じ処理108を行いGMCSELの値を確
定する。そして、GMCSELが"0"の場合には前フレームの
再生画像から空間的に同一位置のマクロブロック画像を
切りだし、そのまま再生ブロック画像とする。GMCSEL
が"1"の場合には前フレームのグローバル動き補償後の
画像から空間的に同一位置のマクロブロック画像を切り
だし、そのまま再生ブロック画像とする。
理を説明する。図1(a)では最初に111でJCAMのデータを
復号し、112でその場合分けを行う。JCAMが"1"の場合に
は115に示すようにCOD=PCOD、GMCSEL=PGMCSELとする。J
CAMが"01"の場合には113に示すようにCOD=PCODとする。
JCAMが"00"の場合にはCODがPCODと一致しないことが一
意に確定されため、114に示すようにPCODの否定値をCOD
の値とする。この101に含まれる一連の処理により、少
なくともCODの値は確定する。従って、図5の502の処理
に進むことが可能となる。図1(b)に示す108の処理は図
5の505でMCPBCがINTERまたはINTER+Qと復号された場合
に行われる。まず、JCAMの値が"1"の場合には、図1(a)
の115で示したようにGMCSEL=PGMCSELと一意に決定す
る。JCAMの値が"01"の場合には、GMCSELがPGMCSELと一
致しないことが一意に確定されるため、122に示すとお
りPGMCSELの否定値をGMCSELの値とする。JCAMの値が"0
0"の場合にはGMCSELのデータをビットストリーム等から
読み込み復号する。また、この適用例2では、CODが"1"
の場合の予測タイプが2通り考えられるため、図5の50
3のようにGMCSEL="1"と一意に確定することができな
い。従って503は図1(c)の103の処理に入れ替わる。103
では、まず図1(b)と同じ処理108を行いGMCSELの値を確
定する。そして、GMCSELが"0"の場合には前フレームの
再生画像から空間的に同一位置のマクロブロック画像を
切りだし、そのまま再生ブロック画像とする。GMCSEL
が"1"の場合には前フレームのグローバル動き補償後の
画像から空間的に同一位置のマクロブロック画像を切り
だし、そのまま再生ブロック画像とする。
【0063】なお、本発明には次のような場合も含まれ
る。
る。
【0064】(1)上記実施例に示した適応例1におい
て、COD="1"の場合の予測方式はグローバル動き補償に
は規定されない。例えば、ある特定の動きベクトル(0
ベクトルが一般的)に固定したブロックマッチング等が
考えられる。また適用例2のCOD="1"かつGMCSEL="0"の
場合に関しても、符号化側と復号側で予め決められてい
れば他の予測方法でも良い。
て、COD="1"の場合の予測方式はグローバル動き補償に
は規定されない。例えば、ある特定の動きベクトル(0
ベクトルが一般的)に固定したブロックマッチング等が
考えられる。また適用例2のCOD="1"かつGMCSEL="0"の
場合に関しても、符号化側と復号側で予め決められてい
れば他の予測方法でも良い。
【0065】(2)CODおよびGMCSELの予測の方法は符
号化側と復号側で一意に確定可能であれば如何なる方法
でも良い。例えば、上記の実施例では、符号化対象ブロ
ックの周囲3ブロックによる多数決で予測値を決定して
いるが、このブロック数は1個以上であればいくつで良
い。また単純な多数決ではなく、ある予測に重みをつけ
る方法なども考えられる。また、CODとGMCSELの予測を
独立に行う方法ではなく、組み合わせの候補を対象に多
数決の手段を用いる方法も考えられる。例えば、組み合
わせの候補の中から最も数の多いものを選択する方法が
有効である。この際、最も数の多い組み合わせが2個以
上存在する場合には、予め定めておいた優先順位に従っ
て優先順位の高いものを選択すればよい。
号化側と復号側で一意に確定可能であれば如何なる方法
でも良い。例えば、上記の実施例では、符号化対象ブロ
ックの周囲3ブロックによる多数決で予測値を決定して
いるが、このブロック数は1個以上であればいくつで良
い。また単純な多数決ではなく、ある予測に重みをつけ
る方法なども考えられる。また、CODとGMCSELの予測を
独立に行う方法ではなく、組み合わせの候補を対象に多
数決の手段を用いる方法も考えられる。例えば、組み合
わせの候補の中から最も数の多いものを選択する方法が
有効である。この際、最も数の多い組み合わせが2個以
上存在する場合には、予め定めておいた優先順位に従っ
て優先順位の高いものを選択すればよい。
【0066】更に、規定数の周辺ブロックが揃わない場
合や予測が一意に確定しない場合のデフォルトの予測値
も符号化側と復号側での取り決めがなされていれば上記
の実施例に示す限りではない。
合や予測が一意に確定しない場合のデフォルトの予測値
も符号化側と復号側での取り決めがなされていれば上記
の実施例に示す限りではない。
【0067】(3)予測の相違を表す符号(上記の実施
例ではJCAM)作る際の情報量と符号の構成は上記の実施
例には規定されない。例えばCODとGMCSELの予測の合否
のパターンを全て含んだ可変長符号を構成する場合に関
しても本発明に含まれる。また予測の相違を表す情報が
可変長符号ではなく算術符号等により符号化されてる場
合も本発明に含まれる。
例ではJCAM)作る際の情報量と符号の構成は上記の実施
例には規定されない。例えばCODとGMCSELの予測の合否
のパターンを全て含んだ可変長符号を構成する場合に関
しても本発明に含まれる。また予測の相違を表す情報が
可変長符号ではなく算術符号等により符号化されてる場
合も本発明に含まれる。
【0068】(4)本発明ではグローバル動き推定およ
びグローバル動き補償の方法については規定しない。従
ってアフィン変換モデルや共一次変換モデルを用いた方
法以外に、例えば静止モデルや透視変換モデルでグロー
バル動き補償を行う場合等も本発明に含まれる。
びグローバル動き補償の方法については規定しない。従
ってアフィン変換モデルや共一次変換モデルを用いた方
法以外に、例えば静止モデルや透視変換モデルでグロー
バル動き補償を行う場合等も本発明に含まれる。
【0069】(7)上記の実施例ではH.263符号化
方式を例にとって説明してきたが、各ブロックの符号化
ならびに復号化を行うか否かを表す情報と、グローバル
動き補償を用いて動きの予測を行うか否かを表す情報が
符号化側と復号側で共に必要となる符号化/復号化方式
であれば本発明は適用できる。
方式を例にとって説明してきたが、各ブロックの符号化
ならびに復号化を行うか否かを表す情報と、グローバル
動き補償を用いて動きの予測を行うか否かを表す情報が
符号化側と復号側で共に必要となる符号化/復号化方式
であれば本発明は適用できる。
【0070】(8)本発明ではグローバル動き補償を含
む2種類以上がブロック毎の動き補償の候補に含まれて
いれば、動き補償の予測タイプはいくつあっても良い。
む2種類以上がブロック毎の動き補償の候補に含まれて
いれば、動き補償の予測タイプはいくつあっても良い。
【0071】(9)本発明の予測タイプ選択処理は、正
方形ブロックのみではなく、長方形ブロックや任意形状
ブロックを含むフレームにおいても実現可能である。従
ってその場合も本発明に含まれる。
方形ブロックのみではなく、長方形ブロックや任意形状
ブロックを含むフレームにおいても実現可能である。従
ってその場合も本発明に含まれる。
【0072】
【発明の効果】本発明により、グローバル動き補償/ロ
ーカル動き補償の選択に要する付加情報を削減できる。
ーカル動き補償の選択に要する付加情報を削減できる。
【図1】本発明に特徴づけられるマクロブロックシンタ
ックスを示した図である。
ックスを示した図である。
【図2】アフィン変換を用いたグローバル動き補償の例
を示した図である。
を示した図である。
【図3】H.263符号化方式の符号化ブロックダイヤ
グラムを示した図である。
グラムを示した図である。
【図4】H.263符号化方式にグローバル動き補償を
適用した場合における動き補償処理部構成の例を示した
図である。
適用した場合における動き補償処理部構成の例を示した
図である。
【図5】H.263符号化方式にグローバル動き補償を
適用した場合におけるマクロブロックシンタックスの例
を示した図である
適用した場合におけるマクロブロックシンタックスの例
を示した図である
【図6】本発明における符号化モードとグローバル動き
補償オン/オフ情報の組み合わせ予測の方法の例を示し
た図である。
補償オン/オフ情報の組み合わせ予測の方法の例を示し
た図である。
【図7】本発明に特徴づけられるマクロブロックシンタ
ックスを示した図である。
ックスを示した図である。
【図8】本発明における符号化モードとグローバル動き
補償オン/オフ情報の組み合わせ予測の方法の例を示し
た図である。
補償オン/オフ情報の組み合わせ予測の方法の例を示し
た図である。
101、711…JCAMの符号化/復号化およびCOD情報
決定処理、103…COD="1"の場合の局部復号画像/再
生画像作成処理、108…GMCSEL情報決定処理、11
1、501、716…CODデータの符号化/復号化、1
12、121、713、721…JCAMデータスイッチ、
113、114、715…COD情報保存処理、115、
712…CODならびにGMCSEL情報保存処理、122、7
23…GMCSEL情報保存処理、123、508、724…
GMCSELデータの符号化/復号化、131、509…GMCS
ELデータスイッチ、132…COD="1"かつGMCSEL="0"の
場合の局部復号画像/再生画像作成処理、133、50
3…COD="1"かつGMCSEL="1"の場合の局部復号画像/再
生画像作成処理、201…参照画像、202…現フレー
ムの原画像、203〜205…現フレームの原画像の格
子点、206〜208…グローバル動きベクトル、30
0…制御装置、302…差分器、304…DCTユニッ
ト、305…量子化器、307…逆量子化器、308…
逆DCTユニット、310…加算器、312…予測画
像、313…フレームメモリ、314…前フレームの局
部復号画像、315…動き補償処理部、316…動き補
償画像、317、403、406…動き情報、318…
フレーム内/フレーム間符号化切り換えスイッチ、32
0…フレーム内/フレーム間符号化選択情報、321…
量子化パラメータ、322、409…多重化装置、40
0…グローバル動き補償/ローカル動き補償処理部、4
01…グローバル動き補償処理部、404…ローカル動
き補償処理部、407…グローバル動き補償オン/オフ
切り換えスイッチ、408…グローバル動き補償オン/
オフ情報、502…CODデータスイッチ、504…MCBPC
データの符号化/復号化、505…MCBPCデータスイッ
チ、506…INTER4Vモードの場合のCBPYおよび動きベ
クトル情報の符号化/復号化、507…INTRA/INTRA+Q
モードの場合のCBPY,DQUAN情報の符号化/復号化、5
10…GLOBAL/GLOBAL+Qモードの場合のCBPYおよびDQUAN
情報の符号化/復号化、511…INTER/INTRA+Qモード
の場合のCBPY,DQUANTおよび動きベクトル情報の符号化
/復号化、512…量子化データの符号化/復号化、逆
量子化、逆DCTならびに再生画像の生成処理、601
…予測対象マクロブロック、602〜604…予測候補
ブロック、714…COD予測値のデータスイッチ、72
2…実値のCODと予測CODの比較判定スイッチ。
決定処理、103…COD="1"の場合の局部復号画像/再
生画像作成処理、108…GMCSEL情報決定処理、11
1、501、716…CODデータの符号化/復号化、1
12、121、713、721…JCAMデータスイッチ、
113、114、715…COD情報保存処理、115、
712…CODならびにGMCSEL情報保存処理、122、7
23…GMCSEL情報保存処理、123、508、724…
GMCSELデータの符号化/復号化、131、509…GMCS
ELデータスイッチ、132…COD="1"かつGMCSEL="0"の
場合の局部復号画像/再生画像作成処理、133、50
3…COD="1"かつGMCSEL="1"の場合の局部復号画像/再
生画像作成処理、201…参照画像、202…現フレー
ムの原画像、203〜205…現フレームの原画像の格
子点、206〜208…グローバル動きベクトル、30
0…制御装置、302…差分器、304…DCTユニッ
ト、305…量子化器、307…逆量子化器、308…
逆DCTユニット、310…加算器、312…予測画
像、313…フレームメモリ、314…前フレームの局
部復号画像、315…動き補償処理部、316…動き補
償画像、317、403、406…動き情報、318…
フレーム内/フレーム間符号化切り換えスイッチ、32
0…フレーム内/フレーム間符号化選択情報、321…
量子化パラメータ、322、409…多重化装置、40
0…グローバル動き補償/ローカル動き補償処理部、4
01…グローバル動き補償処理部、404…ローカル動
き補償処理部、407…グローバル動き補償オン/オフ
切り換えスイッチ、408…グローバル動き補償オン/
オフ情報、502…CODデータスイッチ、504…MCBPC
データの符号化/復号化、505…MCBPCデータスイッ
チ、506…INTER4Vモードの場合のCBPYおよび動きベ
クトル情報の符号化/復号化、507…INTRA/INTRA+Q
モードの場合のCBPY,DQUAN情報の符号化/復号化、5
10…GLOBAL/GLOBAL+Qモードの場合のCBPYおよびDQUAN
情報の符号化/復号化、511…INTER/INTRA+Qモード
の場合のCBPY,DQUANTおよび動きベクトル情報の符号化
/復号化、512…量子化データの符号化/復号化、逆
量子化、逆DCTならびに再生画像の生成処理、601
…予測対象マクロブロック、602〜604…予測候補
ブロック、714…COD予測値のデータスイッチ、72
2…実値のCODと予測CODの比較判定スイッチ。
Claims (27)
- 【請求項1】画像を小ブロックに分割し、そのブロック
毎に動き補償と予測誤差信号あるいは原画像信号の情報
量圧縮を行う動画像符号化方法において、各ブロックに
適用可能な上記動き補償の候補にはグローバル動き補償
を含む2種類以上の予測方法があり、各ブロックの符号
化モードとして、符号化を行うモードと、符号化を行わ
ず符号化側と復号側で一意に識別可能な動き補償方法に
より生成される予測ブロック画像をそのブロックの再生
ブロック画像とするモードが存在し、その符号化モード
と動き補償としてグローバル動き補償を採用したか否か
を示すグローバル動き補償オン/オフ情報をブロック毎
に復号側へ伝える必要がある場合、符号化モードとグロ
ーバル動き補償オン/オフ情報の組み合わせを、既に符
号化済みの周辺ブロックの情報から各ブロック毎に予測
し、その予測結果と実際の組み合わせとの相違の程度を
各ブロックのデータの最初あるいは復号化のために少な
くとも必要となる数個の情報を符号化した後に符号化す
ることを特徴とする動画像符号化方法。 - 【請求項2】画像を小ブロックに分割し、そのブロック
毎に動き補償と予測誤差信号あるいは原画像信号の情報
量圧縮を行う動画像符号化方法において、各ブロックに
適用可能な上記動き補償の候補にはグローバル動き補償
を含む2種類以上の予測方法があり、各ブロックの符号
化モードとして、符号化を行うモードと、符号化を行わ
ず符号化側と復号側で一意に識別可能な動き補償方法に
より生成される予測ブロック画像をそのブロックの再生
ブロック画像とするモードが存在し、その符号化側と復
号側で一意に識別可能な動き補償方法はグローバル動き
補償とそれ以外の第2の動き補償との間で選択すること
が可能であり、符号化モードと動き補償としてグローバ
ル動き補償を採用したか否かを示すグローバル動き補償
オン/オフ情報をブロック毎に復号側へ伝える必要があ
る場合、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせを、既に符号化済みの周辺ブロックの
情報から各ブロック毎に予測し、その予測結果と実際の
組み合わせとの相違の程度を各ブロックのデータの最初
あるいは復号化のために少なくとも必要となる数個の情
報を符号化した後に符号化することを特徴とする動画像
符号化方法。 - 【請求項3】請求項1,2に記載の動画像符号化方法に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度を表わす候補を、2個の情報の予測が何
れも当たっている場合と少なくともその何れかの予測が
外れている場合の2種類とし、それを1ビットで符号化
することを特徴とする動画像符号化方法。 - 【請求項4】請求項1,2に記載の動画像符号化方法に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度を表わす候補を、2個の情報の予測が何
れも当たっている場合と符号化モードのみ当たっている
場合と少なくとも符号化モードは外れている場合の3種
類とし、それを予測が何れも当たっている場合を1ビッ
トとする可変長符号により符号化することを特徴とする
動画像符号化方法。 - 【請求項5】請求項1,2に記載の動画像符号化方法に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度を表わす候補を、2個の情報の予測が何
れも当たっている場合と符号化モードのみ当たっている
場合とグローバル動き補償オン/オフ情報のみ当たって
いる場合といずれも外れている場合の4種類とし、それ
を予測が何れも当たっている場合を1ビットとする可変
長符号により符号化することを特徴とする動画像符号化
方法。 - 【請求項6】請求項1〜5に記載の動画像符号化方法に
おいて、グローバル動き補償を当該ブロックには適用し
ないことが一意に識別できる別の情報がグローバル動き
補償オン/オフ情報より先に送られる場合、その別の情
報によりグローバル動き補償を適用しないことが確定す
るブロックについては、グローバル動き補償オン/オフ
情報に関する予測は当たっていることを前提として、符
号化モードに関する予測結果のみを用いて予測の相違の
程度の判定を行うことを特徴とする動画像符号化方法。 - 【請求項7】請求項3,6に記載の動画像符号化方式に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度が、予測が何れも当たっていると符号化
された場合には符号化モードとグローバル動き補償オン
/オフ情報はいずれも符号化を行わず、少なくともその
何れかが外れているものとして符号化された場合にはグ
ローバル動き補償オン/オフ情報より先に符号化モード
の符号化を行い、符号化された符号化モードが符号化モ
ードの予測結果と一致すればグローバル動き補償オン/
オフ情報の符号化は行なわないことを特徴とする動画像
符号化方法。 - 【請求項8】請求項4,6に記載の動画像符号化方式に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度が、予測が何れも当たっていると符号化
された場合と符号化モードのみ当たっていると符号化さ
れた場合には符号化モードとグローバル動き補償オン/
オフ情報はいずれも符号化を行わず、少なくとも符号化
モードは外れていると符号化された場合には符号化モー
ドの符号化は行わないことを特徴とする動画像符号化方
法。 - 【請求項9】請求項1〜8に記載の動画像符号化方法に
おいて、各ブロックにおける符号化モードとグローバル
動き補償オン/オフ情報の組み合わせに関する予測結果
を既に符号化済みの直左ブロックの組み合わせとし、直
左ブロックが存在しないブロックに関しては、直上ブロ
ックの組み合わせまたは符号化側と復号側で予め定めた
組み合わせを予測結果とすることを特徴とする動画像符
号化方法。 - 【請求項10】請求項1〜8に記載の動画像符号化方法
において、各ブロックにおける符号化モードとグローバ
ル動き補償オン/オフ情報の組み合わせに関する予測に
は既に符号化済みの2個以上の周辺ブロックの情報を用
いることとし、このとき予測に用いる周辺ブロックの中
に画像内の輝度並びに色信号が全く存在しないブロック
がある場合にはその存在しないブロックを予測候補から
除外するかあるいは存在しないブロックに符号化側と復
号側で予め定めた組み合わせを割り当てた仮想ブロック
を設けることとし、その予測方法は符号化モードとグロ
ーバル動き補償オン/オフ情報の組み合わせの候補に対
する多数決で行うことを特徴とし、更にこの時点で予測
結果が一意に決定しない場合には符号化側と復号側で予
め定めた予測結果を適用することを特徴とする動画像符
号化方法。 - 【請求項11】請求項1〜8に記載の動画像符号化方法
において、各ブロックにおける符号化モードとグローバ
ル動き補償オン/オフ情報の組み合わせに関する予測に
は既に符号化済みの直上、直左、直上右の3ブロックの
情報を用いることとし、このとき予測に用いる周辺3ブ
ロックの中に画像内の輝度並びに色信号が全く存在しな
いブロックがある場合にはその存在しないブロックを予
測候補から除外するかあるいは存在しないブロックに符
号化側と復号側で予め定めた組み合わせを割り当てた仮
想ブロックを設けることとし、その予測を符号化モード
とグローバル動き補償オン/オフ情報の組み合わせの候
補に対する多数決で行うことを特徴とし、更にこの時点
で予測結果が一意に決定しない場合には符号化側と復号
側で予め定めた予測結果を適用することを特徴とする動
画像符号化方法。 - 【請求項12】請求項1〜8に記載の動画像符号化方法
において、各ブロックにおける符号化モードとグローバ
ル動き補償オン/オフ情報の組み合わせに関する予測に
は既に符号化済みの2個以上の周辺ブロックの情報を用
いることとし、このとき予測に用いる周辺ブロックの中
に画像内の輝度並びに色信号が全く存在しないブロック
がある場合にはその存在しないブロックを予測候補から
除外するかあるいは存在しないブロックに符号化側と復
号側で予め定めた組み合わせを割り当てた仮想ブロック
を設けることとし、その予測方法は、先にグローバル動
き補償オン/オフ情報の予測を上記の周辺ブロックを対
象とする多数決で行い、この時点でグローバル動き補償
オン/オフ情報の予測結果が一意に決定しない場合には
符号化側と復号側で予め定めた予測結果を適用し、次に
符号化モードの予測を、上記の周辺ブロックのうちその
ブロックに関するグローバル動き補償オン/オフ情報の
実値が先に求めたグローバル動き補償オン/オフ情報の
予測結果と一致しているブロックのみを対象とする多数
決で行い、この時点で符号化モードの予測結果が一意に
決定しない場合には符号化側と復号側で予め定めた予測
結果を適用し、その予測結果を組み合わせることにより
符号化モードとグローバル動き補償オン/オフ情報の組
み合わせの予測結果とすることを特徴とする動画像符号
化方法。 - 【請求項13】請求項1〜8に記載の動画像符号化方法
において、各ブロックにおける符号化モードとグローバ
ル動き補償オン/オフ情報の組み合わせに関する予測に
は既に符号化済みの2個以上の周辺ブロックの情報を用
いることとし、このとき予測に用いる周辺ブロックの中
に画像内の輝度並びに色信号が全く存在しないブロック
がある場合にはその存在しないブロックを予測候補から
除外するかあるいは存在しないブロックに符号化側と復
号側で予め定めた組み合わせを割り当てた仮想ブロック
を設けることとし、その予測方法は、先にグローバル動
き補償オン/オフ情報の予測を上記の周辺ブロックを対
象とする多数決で行い、この時点でグローバル動き補償
オン/オフ情報の予測結果が一意に決定しない場合には
符号化側と復号側で予め定めた予測結果を適用し、次に
符号化モードの予測を、上記の周辺ブロックのうちその
ブロックに関するグローバル動き補償オン/オフ情報の
実値が先に求めたグローバル動き補償オン/オフ情報の
予測結果と一致しているブロックのみを対象とする多数
決で行い、この時点で符号化モードの予測結果が一意に
決定しない場合には符号化を行わないモードを予測結果
として適用し、その予測結果を組み合わせることにより
符号化モードとグローバル動き補償オン/オフ情報の組
み合わせの予測結果とすることを特徴とする動画像符号
化方法。 - 【請求項14】請求項1〜8に記載の動画像符号化方法
において、各ブロックにおける符号化モードとグローバ
ル動き補償オン/オフ情報の組み合わせに関する予測に
は既に符号化済みの直上、直左、直上右の3ブロックの
情報を用いることとし、このとき予測に用いる周辺3ブ
ロックの中に画像内の輝度並びに色信号が全く存在しな
いブロックがある場合にはその存在しないブロックを予
測候補から除外するかあるいは存在しないブロックに符
号化側と復号側で予め定めた組み合わせを割り当てた仮
想ブロックを設けることとし、その予測方法は、先にグ
ローバル動き補償オン/オフ情報の予測を上記のブロッ
クを対象とする多数決で行い、この時点でグローバル動
き補償オン/オフ情報の予測結果が一意に決定しない場
合には符号化側と復号側で予め定めた予測結果を適用
し、次に符号化モードを、上記の周辺ブロックのうちそ
のブロックに関するグローバル動き補償オン/オフ情報
の実値が先に求めたグローバル動き補償オン/オフ情報
の予測結果と一致しているブロックのみを対象とする多
数決で行い、この時点で符号化モードの予測結果が一意
に決定しない場合には符号化側と復号側で予め定めた予
測結果を適用し、その予測結果を組み合わせることによ
り符号化モードとグローバル動き補償オン/オフ情報の
組み合わせの予測結果とすることを特徴とする動画像符
号化方法。 - 【請求項15】請求項1〜8に記載の動画像符号化方法
において、各ブロックにおける符号化モードとグローバ
ル動き補償オン/オフ情報の組み合わせに関する予測に
は既に符号化済みの直上、直左、直上右の3ブロックの
情報を用いることとし、このとき予測に用いる周辺3ブ
ロックの中に画像内の輝度並びに色信号が全く存在しな
いブロックがある場合にはその存在しないブロックを予
測候補から除外するかあるいは存在しないブロックに符
号化側と復号側で予め定めた組み合わせを割り当てた仮
想ブロックを設けることとし、その予測方法は、先にグ
ローバル動き補償オン/オフ情報の予測を上記のブロッ
クを対象とする多数決で行い、この時点でグローバル動
き補償オン/オフ情報の予測結果が一意に決定しない場
合には符号化側と復号側で予め定めた予測結果を適用
し、次に符号化モードの予測を上記の周辺ブロックのう
ちそのブロックに関するグローバル動き補償オン/オフ
情報の実値が先に求めたグローバル動き補償オン/オフ
情報の予測結果と一致しているブロックのみを対象とす
る多数決で行い、この時点で符号化モードの予測結果が
一意に決定しない場合には符号化を行わないモードを予
測結果として適用し、その予測結果を組み合わせること
により符号化モードとグローバル動き補償オン/オフ情
報の組み合わせの予測結果とすることを特徴とする動画
像符号化方法。 - 【請求項16】請求項12〜15に記載の動画像符号化
方法において、符号化モードとグローバル動き補償オン
/オフ情報の組み合わせに関する予測の結果が符号化対
象外の組み合わせであった場合、符号化側と復号側の予
めの取り決めにより、その予測結果を符号化対象に含ま
れる組み合わせに変更することを特徴とする動画像符号
化方法。 - 【請求項17】請求項9〜16に記載の動画像符号化方
法において、予測が一意に決定しない場合に適用する符
号化側と復号側で予め定めた予測結果を、予測に用いる
周辺ブロックの中にグローバル動き補償オンと符号化を
行わないモードの組み合わせを実値とするブロックが存
在する場合にはこれを予測結果とし、それ以外の場合に
はグローバル動き補償オフ情報と符号化を行うモードの
組み合わせを予測結果とすることを特徴とする動画像符
号化方法。 - 【請求項18】画像を小ブロックに分割し、そのブロッ
ク毎に動き補償に伴う動きパラメータと予測誤差信号あ
るいは原画像信号の圧縮データが含まれるビットストリ
ームを復号する動画像復号化方法において、各ブロック
に適用可能な上記動き補償の候補にはグローバル動き補
償を含む2種類以上の予測方法があり、各ブロックの符
号化モードとして、符号化を行うモードと、符号化を行
わず符号化側と復号側で一意に識別可能な動き補償方法
により生成される予測ブロック画像をそのブロックの再
生ブロック画像とするモードが存在し、そのモードと動
き補償としてグローバル動き補償を採用したか否かのオ
ン/オフ情報をブロック毎に符号化側から受信する必要
がある場合、符号化モードとグローバル動き補償オン/
オフ情報の組み合わせに関する予測を、符号化側で行わ
れている方法と同様の方法を用いてブロック単位で行う
と共に、ビットストリーム上の各ブロックの先頭の情報
の復号を行った後あるいは各ブロックに少なくとも必要
となる数個の情報の復号を行った後に、符号化モードと
グローバル動き補償オン/オフ情報の組み合わせに関す
る予測結果と実際の組み合わせとの相違の程度を示すコ
ードを復号化することを特徴とする動画像復号化方法。 - 【請求項19】画像を小ブロックに分割し、そのブロッ
ク毎に動き補償に伴う動きパラメータと予測誤差信号あ
るいは原画像信号の圧縮データが含まれるビットストリ
ームを復号する動画像復号化方法において、各ブロック
に適用可能な上記動き補償の候補にはグローバル動き補
償を含む2種類以上の予測方法があり、各ブロックの符
号化モードとして、符号化を行うモードと、符号化を行
わず符号化側と復号側で一意に識別可能な動き補償方法
により生成される予測ブロック画像をそのブロックの再
生ブロック画像とするモードが存在し、その符号化側と
復号側で一意に識別可能な動き補償方法はグローバル動
き補償とそれ以外の第2の動き補償との間で選択するこ
とが可能であり、その符号化モードと動き補償としてグ
ローバル動き補償を採用したか否かを示すグローバル動
き補償オン/オフ情報をブロック毎を符号化側から受信
する必要がある場合、符号化モードとグローバル動き補
償オン/オフ情報の組み合わせに関する予測を、符号化
側で行われている方法と同様の方法を用いてブロック単
位で行うと共に、ビットストリーム上の各ブロックの先
頭の情報の復号を行った後あるいは各ブロックに少なく
とも必要となる数個の情報の復号を行った後に、符号化
モードとグローバル動き補償オン/オフ情報の組み合わ
せに関する予測結果と実際の組み合わせとの相違の程度
を示すコードを復号することを特徴とする動画像復号化
方法。 - 【請求項20】請求項18,19に記載の動画像復号化
方法において、ビットストリーム上に含まれている符号
化モードとグローバル動き補償オン/オフ情報の組み合
わせに関する予測結果と実際の組み合わせとの相違の程
度が、請求項3に記載されている予測が何れも当たって
いる場合と少なくともその何れかの予測が外れている場
合の2種類に場合分けされていることを特徴とする動画
像復号化方法。 - 【請求項21】請求項18,19に記載の動画像復号化
方法において、ビットストリーム上の各ブロックの先頭
に含まれている符号化モードとグローバル動き補償オン
/オフ情報の組み合わせに関する予測結果と実際の組み
合わせとの相違の程度が、請求項4に記載されている予
測が何れも当たっている場合と符号化モードのみ当たっ
ている場合と少なくとも符号化モードは外れている場合
の3種類に場合分けされていることを特徴とする動画像
復号化方法。 - 【請求項22】請求項18,19に記載の動画像復号化
方法において、ビットストリーム上に含まれている符号
化モードとグローバル動き補償オン/オフ情報の組み合
わせに関する予測結果と実際の組み合わせとの相違の程
度が、請求項5に記載されている予測が何れも当たって
いる場合と符号化モードのみ当たっている場合とグロー
バル動き補償オン/オフ情報のみ当たっている場合とい
すれも外れている場合の4種類に場合分けされているこ
とを特徴とする動画像復号化方法。 - 【請求項23】請求項20に記載の動画像復号化方法に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度が、予測が何れも当たっていると復号さ
れた場合には予測結果を各情報の再生値とし、少なくと
もその何れかの予測が外れていると復号された場合に
は、符号化モードをビットストリームから復号し、その
復号値が予測結果と一致する場合には、グローバル動き
補償オン/オフ情報の予測結果の否定値をグローバル動
き補償オン/オフ情報の再生値とすることを特徴とする
動画像復号化方法。 - 【請求項24】請求項21に記載の動画像復号化方法に
おいて、符号化モードとグローバル動き補償オン/オフ
情報の組み合わせに関する予測結果と実際の組み合わせ
との相違の程度が、予測が何れも当たっていると復号さ
れた場合には予測結果を各情報の再生値とし、符号化モ
ードのみ当たっている復号された場合には、符号化モー
ドの予測結果を符号化モードの再生値とすると共にグロ
ーバル動き補償オン/オフ情報の予測結果の否定値をグ
ローバル動き補償オン/オフ情報の再生値とし、少なく
とも符号化モードは外れていると復号された場合には符
号化モードの予測結果の否定値を符号化モードの再生値
とすることを特徴とする動画像復号化方法。 - 【請求項25】請求項18,19に記載の動画像復号化
方法において、符号化モードとグローバル動き補償オン
/オフ情報の組み合わせの予測を請求項9または10ま
たは11または12または13または14または15ま
たは16または17に記載されている予測方法を用いて
行うことを特徴とする動画像復号化方法。 - 【請求項26】請求項1〜17に記載の動画像符号化方
法を実現可能な動画像符号化装置。 - 【請求項27】請求項18〜25に記載の動画像復号化
方法を実現可能な動画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28489297A JPH11122619A (ja) | 1997-10-17 | 1997-10-17 | 動画像符号化および復号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28489297A JPH11122619A (ja) | 1997-10-17 | 1997-10-17 | 動画像符号化および復号化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11122619A true JPH11122619A (ja) | 1999-04-30 |
Family
ID=17684398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28489297A Pending JPH11122619A (ja) | 1997-10-17 | 1997-10-17 | 動画像符号化および復号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11122619A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285871A (ja) * | 2000-03-15 | 2001-10-12 | Thomson Multimedia Sa | ビデオ画像を符号化する処理方法及びその装置 |
US6785333B2 (en) | 2000-05-24 | 2004-08-31 | Samsung Electronics Co., Ltd. | Motion vector coding method |
JP2011501533A (ja) * | 2007-10-12 | 2011-01-06 | クゥアルコム・インコーポレイテッド | ビデオブロックヘッダ情報の適応可能なコーディング |
JP2012513141A (ja) * | 2008-12-19 | 2012-06-07 | トムソン ライセンシング | ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置 |
US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
-
1997
- 1997-10-17 JP JP28489297A patent/JPH11122619A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285871A (ja) * | 2000-03-15 | 2001-10-12 | Thomson Multimedia Sa | ビデオ画像を符号化する処理方法及びその装置 |
US6785333B2 (en) | 2000-05-24 | 2004-08-31 | Samsung Electronics Co., Ltd. | Motion vector coding method |
JP2011501533A (ja) * | 2007-10-12 | 2011-01-06 | クゥアルコム・インコーポレイテッド | ビデオブロックヘッダ情報の適応可能なコーディング |
US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
US9386316B2 (en) | 2007-10-12 | 2016-07-05 | Qualcomm Incorporated | Adaptive coding of video block header information |
JP2012513141A (ja) * | 2008-12-19 | 2012-06-07 | トムソン ライセンシング | ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5081305B2 (ja) | フレーム間予測符号化の方法および装置 | |
JP4369090B2 (ja) | ビデオ情報を符号化し復号化する方法、動き補償ビデオ符号器及び対応する復号器 | |
RU2307478C2 (ru) | Компенсация глобального движения для видеоизображений | |
US7075989B2 (en) | Motion compensating apparatus, moving image coding apparatus and method | |
US9066096B2 (en) | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs | |
US6625215B1 (en) | Methods and apparatus for context-based inter/intra coding mode selection | |
RU2444856C2 (ru) | Способ кодирования видеосигнала и способ декодирования, устройства для этого и носители хранения информации, которые хранят программы для этого | |
WO1998042135A1 (en) | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system | |
JP2008178149A (ja) | 運動ベクトルフィールドを圧縮するための装置及び方法 | |
JP2866222B2 (ja) | 動き補償予測方式 | |
JPH09252470A (ja) | 画像符号化および復号化方法 | |
JPH09121358A (ja) | 画像符号化及び復号化装置と方法 | |
JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
JPH10276439A (ja) | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
JPH1188888A (ja) | 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体 | |
CN113709498A (zh) | 帧间预测方法、编码器、解码器以及计算机存储介质 | |
JPH09121359A (ja) | 画像符号化方法および画像復号化方法 | |
JPH11122619A (ja) | 動画像符号化および復号化方法 | |
JP2014514808A (ja) | 画像ブロックを再構成および符号化する方法 | |
JP2001016594A (ja) | 動画像の動き補償方法 | |
JP2007517437A (ja) | 直接符号化モードでの参照画像ブロックの確定方法 | |
JP3872076B2 (ja) | 動き補償装置 | |
JPH07336695A (ja) | 動画像の符号化及び復号化方法 | |
KR20050098292A (ko) | 코딩된 잔류 모션 벡터 데이터의 존재를 통지하는 플래그를포함한 모션 벡터들의 예측 인코딩 | |
JP2001224036A (ja) | 動画像符号化装置 |