JPH09322175A - 動画像復号化方法及び装置 - Google Patents

動画像復号化方法及び装置

Info

Publication number
JPH09322175A
JPH09322175A JP13721496A JP13721496A JPH09322175A JP H09322175 A JPH09322175 A JP H09322175A JP 13721496 A JP13721496 A JP 13721496A JP 13721496 A JP13721496 A JP 13721496A JP H09322175 A JPH09322175 A JP H09322175A
Authority
JP
Japan
Prior art keywords
image
decoding
motion compensation
decoded
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP13721496A
Other languages
English (en)
Inventor
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP13721496A priority Critical patent/JPH09322175A/ja
Publication of JPH09322175A publication Critical patent/JPH09322175A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 復号される動画像への影響を抑えながら、予
測画像を生成するための補間処理の演算の負担を軽減
し、その処理にかかる時間を短縮して、高速処理を可能
とする。 【解決手段】 動き補償により圧縮された動画像の符号
データを復号して元の動画像を復元する際に、ステップ
S2でピクチャタイプを判別し、Iピクチャの場合には
ステップS3に進んで逆量子化及び逆DCTによる復号
化処理を行い、Pピクチャの場合にはステップS4に進
んで半画素精度の動き補償を伴う復号化処理を行い、B
ピクチャの場合にはステップS5に進んで、例えば動き
ベクトルの小数部を無視して整数とするような低精度の
動き補償を伴う復号化処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像復号化方法
及び装置に関し、特に、処理能力の低い演算装置におい
て、動き補償による圧縮された符号を高速に復号化する
ための動画像復号化方法及び装置に関する。
【0002】
【従来の技術】現在最も多く使用されている画像圧縮の
方式の1つとして、いわゆるMPEG(Moving Picture
Coding Experts Group )規格を挙げることができる。
このMPEGとは、ISO/IEC JTC1/SC29
(International Organizationfor Standardization /
International Electrotechnical Commission, JointTe
chnical Committee 1 / Sub Committee 29:国際標準化
機構/国際電気標準会議 合同技術委員会1/専門部会
29)の蓄積用動画像符号化の検討組織の略称であり、
MPEG1標準としてISO11172が、MPEG2標準とし
てISO13818がある。これらの国際標準において、マルチ
メディア多重化の項目でISO11172-1及びISO13818-1が、
映像の項目でISO11172-2及びISO13818-2が、また音声の
項目でISO11172-3及びISO13818-3がそれぞれ標準化され
ている。
【0003】このMPEG規格に基づいた画像符号化方
式のように過去及び未来の画像との相関を利用して圧縮
する方式、すなわち、動き補償を行って圧縮する方式
が、効率が高く、有望視されている。
【0004】このようなMPEG1あるいはMPEG2
により圧縮されるフレーム(1枚の画像)には、3つの
タイプがある。即ち、Iピクチャ(イントラ符号化画
像:フレーム内符号化画像)、Pピクチャ(フレーム間
順方向予測符号化画像)、Bピクチャ(双方向予測符号
化画像)である。各フレーム(ピクチャ)は、16画素
×16画素のマクロブロックに分割され、それぞれのマ
クロブロックについて圧縮が行われる。
【0005】Iピクチャ内の各マクロブロックは、動き
補償を使用せずに、すなわち、他のフレーム(ピクチ
ャ)を参照せずに、圧縮を行うタイプである。これは、
各マクロブロック内で離散コサイン変換(DCT)を行
い圧縮される。圧縮された符号にはDCT係数(DCT
された値)のみが含まれる。
【0006】Pピクチャ内には、2つのタイプのマクロ
ブロックがある。1番目は、Iピクチャ内のマクロブロ
ックと同様に、動き補償を使用せずに、すなわち、他の
ピクチャを参照せずに、圧縮を行うタイプである。これ
は、各マクロブロック内でDCTを行い圧縮される。圧
縮された符号にはDCT係数のみが含まれる。2番目
は、過去のピクチャから予測を行い、予測との差のみを
DCTして圧縮するタイプである。過去のピクチャと
は、Iピクチャ、あるいは、自分とは別のPピクチャで
ある。圧縮された符号には1個の動きベクトル(過去の
ピクチャのどの位置から予測したかという情報)とDC
T係数が含まれる。
【0007】Bピクチャ内には、4つのタイプのマクロ
ブロックがある。1番目は、Iピクチャ内のマクロブロ
ックと同様に、動き補償を使用せずに、すなわち、他の
ピクチャを参照せずに、圧縮を行うタイプである。これ
は、各マクロブロック内でDCTを行い圧縮される。圧
縮された符号にはDCT係数のみが含まれる。2番目
は、Pピクチャの2番目と同様に、過去のピクチャから
予測を行い、予測との差のみをDCTして圧縮するタイ
プである。過去のピクチャとは、Iピクチャ、あるい
は、Pピクチャである。圧縮された符号には1個の動き
ベクトル(過去のピクチャのどの位置から予測したかと
いう情報)とDCT係数が含まれる。3番目は、未来の
ピクチャから予測を行い、予測との差のみをDCTして
圧縮するタイプである。未来のピクチャとは、Iピクチ
ャ、あるいは、Pピクチャである。圧縮された符号には
1個の動きベクトル(未来のピクチャのどの位置から予
測したかという情報)とDCT係数が含まれる。4番目
は、過去と未来のピクチャから予測を行い、その2つの
予測画像の平均値との差のみをDCTして圧縮するタイ
プである。過去および未来のピクチャとは、Iピクチ
ャ、あるいは、Pピクチャである。圧縮された符号には
2個の動きベクトル(過去のピクチャのどの位置から予
測したかという情報と未来のピクチャのどの位置から予
測したかという情報)とDCT係数が含まれる。
【0008】ここで、動き補償について説明する。動き
補償とは、上述のように、過去あるいは未来のピクチャ
から予測を行い、実際の画像との差分を計算することで
ある。ちなみに、予測が完全に合っていれば、この差分
は0となる。予測が多少ずれていれば、この差分は小さ
な値として残る。この差分値はDCTされて圧縮され
る。動き補償を行った場合、デコーダ側に、どの位置か
ら予測画像をとってきたかという情報を与えなくてはい
けない。この情報が動きベクトルである。過去あるいは
未来のピクチャにおいて、動きベクトルの示す位置の1
6画素×16画素が、使用した予測画像である。
【0009】従って、Bピクチャの上記4番目のタイプ
のマクロブロックでは、過去と未来のピクチャの両方か
ら予測画像をとってきているので、2つの動きベクトル
(第1と第2の動きベクトル)がデコーダ側に伝えられ
る。過去のピクチャにおいて第1の動きベクトルの示す
位置の16画素×16画素と、未来のピクチャにおいて
第2の動きベクトルの示す位置の16画素×16画素と
の平均値が予測画像となる。
【0010】動きベクトルは0.5画素、いわゆるハー
フペルの精度である。動きベクトルが整数であるとき
は、その動きベクトルの示す位置に画素が存在するの
で、その画素を使用すれば良い。しかし、動きベクトル
に小数部が存在する(小数部が0.5である)ときは、
その動きベクトルの示す位置に画素が存在しないので、
その周辺の画素から補間を行い、予測画像を求めなくて
はならない。
【0011】さて、動画像復号化装置(エンコーダ装
置)においては、上述の圧縮された符号を受け取り、復
号を行う。
【0012】即ち、Iピクチャのマクロブロックの符号
を受け取ったときには、その符号を解読してDCT係数
を求め、このDCT係数に対して逆離散コサイン変換
(IDCT)を行い、復元画像を求める。
【0013】Pピクチャの上記1番目のタイプのマクロ
ブロックの符号を受け取ったときには、その符号を解読
してDCT係数を求め、このDCT係数に対してIDC
Tを行い、復元画像を求める。上記2番目のタイプのマ
クロブロックの符号を受け取ったときには、その符号を
解読して動きベクトルとDCT係数を求め、このDCT
係数に対してIDCTを行い、さらに、過去のピクチャ
におけるこの動きベクトルの示す位置の16画素×16
画素との加算を行い、復元画像を求める。
【0014】Bピクチャの上記1番目のタイプのマクロ
ブロックの符号を受け取ったときには、その符号を解読
してDCT係数を求め、このDCT係数に対してIDC
Tを行い、復元画像を求める。Bピクチャの上記2番目
のタイプのマクロブロックの符号を受け取ったときに
は、その符号を解読して動きベクトルとDCT係数を求
め、このDCT係数に対してIDCTを行い、さらに、
過去のピクチャにおけるこの動きベクトルの示す位置の
16画素×16画素との加算を行い、復元画像を求め
る。Bピクチャの上記3番目のタイプのマクロブロック
の符号を受け取ったときには、その符号を解読して動き
ベクトルとDCT係数を求め、このDCT係数に対して
IDCTを行い、さらに、未来のピクチャにおけるこの
動きベクトルの示す位置の16画素×16画素との加算
を行い、復元画像を求める。Bピクチャの上記4番目の
タイプのマクロブロックの符号を受け取ったときには、
その符号を解読して2つの動きベクトル(第1と第2の
動きベクトル)とDCT係数を求め、このDCT係数に
対してIDCTを行い、さらに、「過去のピクチャにお
ける第1の動きベクトルの示す位置の16画素×16画
素」と「未来のピクチャにおける第2の動きベクトルの
示す位置の16画素×16画素」との平均値である16
画素×16画素との加算を行い、復元画像を求める。こ
のようにして、動画像復号化装置(エンコーダ装置)に
て復号は行われる。
【0015】ここで、予測画像を求める手続きあるいは
処理手順を、図8〜図11を参照しながら説明する。
【0016】図8は、Pピクチャの上記2番目のタイプ
のマクロブロック、あるいは、Bピクチャの上記2番目
のタイプのマクロブロックにおいて使用される予測画像
の求め方のフローチャートを示している。図8におい
て、ステップS50で処理が開始され、ステップS51
へ進む。ステップS51で、動きベクトルに関する符号
を解読し、動きベクトルを求める。そして、その動きベ
クトルの水平成分の整数部をmvh とし、小数部をmvhsと
する。垂直成分の整数部をmvv とし、小数部をmvvsとす
る。次にステップS52に進む。ステップS52で、動
きベクトルの小数部(mvhs,mvvs)の値を判定する。も
し(mvhs,mvvs)が、(0,0)ならステップS53に
進み、(0.5,0)ならステップS54に進み、
(0,0.5)ならステップS55に進み、(0.5,
0.5)ならステップS56に進む。ステップS53
で、過去の画像における(mvh,mvv)の示す位置の16
画素×16画素のブロックXB(mvh,mvv)を予測画像
とし、ステップS57(エンド)に進む。ステップS5
4で、過去の画像における(mvh,mvv)の示す位置の1
6画素×16画素XB(mvh,mvv)と、(mvh+1,mvv)
の示す位置の16画素×16画素XB(mvh+1,mvv)と
の平均値を計算し、それを予測画像とし、ステップS5
7に進む。ステップS55で、過去の画像における(mv
h,mvv)の示す位置の16画素×16画素XB(mvh,m
vv)と、(mvh,mvv+1)の示す位置の16画素×16画
素XB(mvh,mvv+1)との平均値を計算し、それを予測
画像とし、ステップS57に進む。ステップS56で、
過去の画像における(mvh,mvv)の示す位置の16画素
×16画素XB(mvh,mvv)と、(mvh+1,mvv)の示す
位置の16画素×16画素XB(mvh+1,mvv)と、(mv
h,mvv+1)の示す位置の16画素×16画素XB(mv
h,mvv+1)と、(mvh+1,mvv+1)の示す位置の16画素
×16画素XB(mvh+1,mvv+1)との平均値を計算し、
それを予測画像とし、ステップS57に進む。そして、
ステップS57で終わる。このように、動きベクトルの
水平成分の小数部が0.5であるときはステップS54
で水平方向の補間を行い、動きベクトルの垂直成分の小
数部が0.5であるときはステップS55で垂直方向の
補間を行い、動きベクトルの水平成分と垂直成分の小数
部がともに0.5であるときはステップS56で水平お
よび垂直方向の補間を行うことで、予測画像を求めてい
る。
【0017】図9は、Bピクチャの上記3番目のタイプ
のマクロブロックにおいて使用される予測画像の求め方
のフローチャートを示している。図9において、ステッ
プS60で始まり、ステップS61へ進む。ステップS
61で、動きベクトルに関する符号を解読し、動きベク
トルを求める。そして、その動きベクトルの水平成分の
整数部をmvh とし、小数部をmvhsとする。垂直成分の整
数部をmvv とし、小数部をmvvsとする。次にステップS
62に進む。ステップS62で、動きベクトルの小数部
(mvhs,mvvs)の値を判定する。もし(mvhs,mvvs)
が、(0,0)ならステップS63に進み、(0.5,
0)ならステップS64に進み、(0,0.5)ならス
テップS65に進み、(0.5,0.5)ならステップ
S66に進む。ステップS63で、未来の画像における
(mvh,mvv)の示す位置の16画素×16画素XB(mv
h,mvv)を予測画像とし、ステップS67(エンド)に
進む。ステップS64で、未来の画像における(mvh,m
vv)の示す位置の16画素×16画素XB(mvh,mvv)
と、(mvh+1,mvv)の示す位置の16画素×16画素X
B(mvh+1,mvv)との平均値を計算し、それを予測画像
とし、ステップS67に進む。ステップS65で、未来
の画像における(mvh,mvv)の示す位置の16画素×1
6画素XB(mvh,mvv)と、(mvh,mvv+1)の示す位置
の16画素×16画素XB(mvh,mvv+1)との平均値を
計算し、それを予測画像とし、ステップS67に進む。
ステップS66で、未来の画像における(mvh,mvv)の
示す位置の16画素×16画素XB(mvh,mvv)と、
(mvh+1,mvv)の示す位置の16画素×16画素XB
(mvh+1,mvv)と、(mvh,mvv+1)の示す位置の16画
素×16画素XB(mvh,mvv+1)と、(mvh+1,mvv+1)
の示す位置の16画素×16画素XB(mvh+1,mvv+1)
との平均値を計算し、それを予測画像とし、ステップS
67に進む。そして、ステップS67で終わる。このよ
うに、動きベクトルの水平成分の小数部が0.5である
ときはステップS64で水平方向の補間を行い、動きベ
クトルの垂直成分の小数部が0.5であるときはステッ
プS65で垂直方向の補間を行い、動きベクトルの水平
成分と垂直成分の小数部がともに0.5であるときはス
テップS66で水平および垂直方向の補間を行うこと
で、予測画像を求めている。
【0018】図10及び図11は、Bピクチャの4番目
のタイプのマクロブロックにおいて使用される予測画像
の求め方のフローチャートを示している。図10におい
て、ステップS70で始まり、ステップS71へ進む。
ステップS71で、第1の動きベクトルに関する符号を
解読し、第1の動きベクトルを求める。そして、第1の
動きベクトルの水平成分の整数部をmvh とし、小数部を
mvhsとする。垂直成分の整数部をmvv とし、小数部をmv
vsとする。次にステップS72に進む。ステップS72
で、上記第1の動きベクトルの小数部(mvhs,mvvs)の
値を判定する。もし(mvhs,mvvs)が、(0,0)なら
ステップS73に進み、(0.5,0)ならステップS
74に進み、(0,0.5)ならステップS75に進
み、(0.5,0.5)ならステップS76に進む。ス
テップS73で、過去の画像における(mvh,mvv)の示
す位置の16画素×16画素XB(mvh,mvv)を予測画
像PAとし、図11のステップS77に進む。図10の
ステップS74で、過去の画像における(mvh,mvv)の
示す位置の16画素×16画素XB(mvh,mvv)と、
(mvh+1,mvv)の示す位置の16画素×16画素XB
(mvh+1,mvv)との平均値を計算し、それを予測画像P
Aとし、図11のステップS77に進む。図10のステ
ップS75で、過去の画像における(mvh,mvv)の示す
位置の16画素×16画素XB(mvh,mvv)と、(mv
h,mvv+1)の示す位置の16画素×16画素XB(mv
h,mvv+1)との平均値を計算し、それを予測画像PAと
し、図11のステップS77に進む。図10のステップ
S76で、過去の画像における(mvh,mvv)の示す位置
の16画素×16画素XB(mvh,mvv)と、(mvh+1,m
vv)の示す位置の16画素×16画素XB(mvh+1,mv
v)と、(mvh,mvv+1)の示す位置の16画素×16画
素XB(mvh,mvv+1)と、(mvh+1,mvv+1)の示す位置
の16画素×16画素XB(mvh+1,mvv+1)との平均値
を計算し、それを予測画像PAとし、図11のステップ
S77に進む。
【0019】そして、図11のステップS77で、第2
の動きベクトルに関する符号を解読し、第2の動きベク
トルを求め、第2の動きベクトルの水平成分の整数部を
mvhとし、小数部をmvhsとし、垂直成分の整数部をmvv
とし、小数部をmvvsとする。次に、ステップS78に進
む。ステップS78で、上記第2の動きベクトルの小数
部(mvhs,mvvs)の値を判定する。もし(mvhs,mvvs)
が、(0,0)ならステップS79に進み、(0.5,
0)ならステップS80に進み、(0,0.5)ならス
テップS81に進み、(0.5,0.5)ならステップ
S82に進む。ステップS79で、未来の画像における
(mvh,mvv)の示す位置の16画素×16画素XB(mv
h,mvv)を予測画像PBとし、ステップS83に進む。
ステップS80で、未来の画像における(mvh,mvv)の
示す位置の16画素×16画素XB(mvh,mvv)と、
(mvh+1,mvv)の示す位置の16画素×16画素XB
(mvh+1,mvv)との平均値を計算し、それを予測画像P
Bとし、ステップS83に進む。ステップS81で、未
来の画像における(mvh,mvv)の示す位置の16画素×
16画素XB(mvh,mvv)と、(mvh,mvv+1)の示す位
置の16画素×16画素XB(mvh,mvv+1)との平均値
を計算し、それを予測画像PBとし、ステップS83に
進む。ステップS82で、未来の画像における(mvh,m
vv)の示す位置の16画素×16画素XB(mvh,mvv)
と、(mvh+1,mvv)の示す位置の16画素×16画素X
B(mvh+1,mvv)と、(mvh,mvv+1)の示す位置の16
画素×16画素XB(mvh,mvv+1)と、(mvh+1,mvv+
1)の示す位置の16画素×16画素XB(mvh+1,mvv+
1)との平均値を計算し、それを予測画像PBとし、ス
テップS83に進む。ステップS83で、予測画像PA
と予測画像PBの平均値を求め、それを予測画像とし、
ステップS84に進む。そして、ステップS84で終わ
る。このように、動きベクトルの水平成分の小数部が
0.5であるときはステップS74あるいはステップS
80で水平方向の補間を行い、動きベクトルの垂直成分
の小数部が0.5であるときはステップS75あるいは
ステップS81で垂直方向の補間を行い、動きベクトル
の水平成分と垂直成分の小数部がともに0.5であると
きはステップS76あるいはステップS82で水平およ
び垂直方向の補間を行うことで、予測画像を求めてい
る。
【0020】
【発明が解決しようとする課題】ところで、予測画像
(動きベクトルの示す位置の16画素×16画素XB)
を求める際に、もし、動きベクトルの値に小数部を含ん
でいると、周辺の画素から補間を行わなくてはいけなか
った(図8〜図11の各ステップS54、S55、S5
6、S64、S65、S66、S74、S75、S7
6、S80、S81、S82)。従来、この補間のため
の演算が負担になり、高速に復号処理を行うことができ
ないことがあった。
【0021】補間をせずに周辺の画素から16画素×1
6画素を選ぶことも考えられる。即ち、動きベクトルの
小数部を無視して整数とし、その整数のベクトルの示す
位置の16画素×16画素を予測画像とするとこも考え
られる。しかしながら、この近似による誤差は累積して
いき、画質をかなり劣化させるため良くなかった。なぜ
なら、Pピクチャの2番目のタイプのマクロブロック
は、別のPピクチャから予測画像を生成するため、誤差
が累積していくからである。
【0022】本発明は、上述したような実情に鑑みてな
されたものであり、予測画像を生成するための補間処理
の負担を軽減し、その処理にかかる時間を短縮して、高
速処理を可能とするような動画像復号化方法及び装置の
提供を目的とする。
【0023】
【課題を解決するための手段】本発明は、動き補償によ
り圧縮された動画像の符号を入力とし、上記符号を復号
して、上記動画像を復元する動画像復号化方法におい
て、上記復号される動画像の内、他の上記復号される画
像の予測画像として使用されない画像(例えばいわゆる
Bピクチャ)については、演算精度の低い動き補償(例
えば動きベクトルの小数部を無視して整数として予測画
像を作成する)により復号することにより、上述の課題
を解決する。
【0024】また、動き補償により圧縮された動画像の
符号を入力とし、上記符号を復号して、上記動画像を復
元する動画像復号化方法において、上記符号を復号する
際の演算量を観察し、上記演算量が所定の値を越えた場
合は、上記復号される動画像の内、他の上記復号される
画像の予測画像として使用されない画像については、演
算精度の低い動き補償により復号することが好ましい。
【0025】本発明によれば、画質に対する影響を小さ
く抑えながら、予測画像を生成するための補間に関する
演算量を低減し、処理時間を短縮して、高速処理を可能
とすることができる。
【0026】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。
【0027】図1は、本発明に係る動画像復号化方法の
実施の形態を説明するためのフローチャートである。こ
の図1に示す実施の形態においては、動き補償を用いて
圧縮符号化された動画像の符号化データを入力とし、こ
の入力符号化データを復号して動画像を復元する動画像
復号化方法の例を開示している。
【0028】この図1において、入力された動画像の符
号化データの1つのピクチャに対する処理がステップS
1から開始され、次のステップS2で、入力符号化デー
タのピクチャタイプが判別される。このステップS2で
Iピクチャ(イントラ符号化画像:フレーム内符号化画
像)と判別されたときには、ステップS3に進んで、逆
量子化及び逆DCTを含む復号化処理が施されて終了し
(ステップS6)、次のピクチャの処理に進む。ステッ
プS2でPピクチャ(フレーム間順方向予測符号化画
像)と判別されたときには、ステップS4に進んで、動
き補償を伴う復号化処理が施されて、ステップS6に進
む。このPピクチャの復号は、上述した従来のPピクチ
ャの場合と同様に、マクロブロックのタイプに応じて、
上記1番目のタイプのときには動き補償を行わずに復号
し、上記2番目のタイプのときには動き補償を行って復
号している。このときの動き補償は、上述した従来の図
8の動作と同様に、ハーフペル、すなわち0.5画素の
精度で行っている。これは、Pピクチャは他の画像の予
測画像として使用されることを考慮したものである。次
に、ステップS3でBピクチャ(双方向予測符号化画
像)と判別されたときには、ステップS5に進んで、演
算精度の低い動き補償を伴う復号化処理が施されて、ス
テップS6に進む。このBピクチャの復号では、動き補
償を行う際には、動きベクトルの小数部を無視して整数
とし、その整数のベクトルの示す位置の16×16画素
を予測画像とするような処理を行っている。このBピク
チャの具体的な復号処理については、後に詳細に説明す
る。ステップS6で1つのピクチャについての処理が終
了すると、次のピクチャについての処理がステップS1
から開始される。
【0029】このような復号処理を行わせるための動画
像復号装置の一例の概略構成を図2に示す。
【0030】この図2において、入力端子101には、
動画像の符号化データである量子化変換係数が供給され
ている。この量子化変換係数は、逆量子化回路102に
送られて、端子103からの量子化特性指定情報に基づ
いて逆量子化が施された後、逆DCT(離散コサイン変
換)回路104に送られて逆DCT処理される。逆DC
T回路104からの出力は、加算器105を介し、切換
スイッチ106を介して予測メモリ107a、107b
に送られる。これらの予測メモリ107a、107bか
らの出力は、それぞれ半画素(0.5画素、ハーフペ
ル)補間回路108a、108bを介して、切換スイッ
チ110に送られる。切換スイッチ110は、各半画素
補間回路108a、108bからの出力と、平均化回路
109によりこれらを平均した出力と、0信号出力とを
切り換えて、上記加算器105に送る。加算器105
は、逆DCT回路104からの出力と切換スイッチから
の動き補償された予測画像とを加算して、再生画像を生
成する。この加算器105からの出力と、各予測メモリ
107a、107bからの出力とは、切換スイッチ11
2により切り換えられて、出力端子113よりビデオ出
力として取り出される。各切換スイッチ106、110
及び112は、端子111からのマクロブロックタイプ
の情報に基づいて切換制御される。
【0031】ここで、本発明の実施の形態においては、
半画素補間回路108a及び108bを、端子111か
らのI、P、Bピクチャのマクロブロックタイプの情報
に基づいて制御しており、Pピクチャの動き補償と必要
とするマクロブロックに対してのみ半画素補間を行い、
Bピクチャのときには半画素補間は行わず、動きベクト
ルの整数部分のみによる動き補償を必要に応じて行うよ
うにしている。
【0032】このような復号装置は、現実には図3のよ
うなハードウェア構成を用いて実現される。図3に示す
ハードウェア構成は、一般的なCPUシステムである。
【0033】この図3において、上述したような復号装
置を実現するためのCPUシステムは、制御回路10、
メモリ11、演算器12、入力ポート13、出力ポート
14、バス線15より構成される。制御回路10は、メ
モリ11、演算器12、入力ポート13、出力ポート1
4の制御を行う。バス線15は、メモリ11、演算器1
2、入力ポート13、出力ポート14のデータの受け渡
しを行う配線である。入力ポート13より入力される符
号は、バス線15を介して演算器12に入力され、解読
される。解読結果は適切な処理が演算器12にて行わ
れ、復号された画像が生成され、バス線15を介して出
力ポート14より出力される。ここで、上記適切な処理
とは、解読結果がDCT係数の場合、このDCT係数に
対してIDCTを行うことであり、解読結果が動きベク
トルの場合は、メモリ11内にある過去あるいは未来の
ピクチャにおけるこの動きベクトルの示す位置の16画
素×16画素を読み出し、必要に応じて補間をして予測
画像を生成して、上記IDCT(逆離散コサイン変換)
の結果に加算することである。また、生成された画像が
IピクチャあるいはPピクチャのときは、将来におい
て、予測画像として使われることもあるので、メモリ1
1に復号された画像は格納される。このようにして、復
号は行われる。
【0034】ところで、従来は予測画像を求める際に、
上述したような図8〜図11に示すフローチャートの操
作が行われていた。これらの、操作は演算器12で行わ
れていた。従って、図8〜図11の各ステップS54、
S55、S56、S64、S65、S66、S74、S
75、S76、S80、S81、S82の処理である補
間(平均値を求めること)に時間がとられ、高速に処理
できなかった。
【0035】本発明の実施の形態においては、上記図1
と共に説明したように、Pピクチャの上記2番目のタイ
プ(動き補償を行うタイプ)のマクロブロックについて
は、従来と同様に図8に示す方法で処理を行うが、Bピ
クチャの動き補償を行う上記2番目、3番目、4番目の
タイプのマクロブロックについては、それぞれ図4、図
5、図6に示す方法で行うようにしている。これらの図
4、図5、図6に示す方法においては、補間処理がない
ので、演算器12で高速に処理される。
【0036】さらに詳しく、Bピクチャにおける予測画
像の本発明の実施の形態による生成方法を説明する。
【0037】図4は、Bピクチャの上記2番目のタイプ
のマクロブロックにおいて使用される予測画像の求め方
のフローチャートを示している。図4において、マクロ
ブロックの動き補償処理は、ステップS20で始まり、
ステップS21に進む。ステップS21で、動きベクト
ルに関する符号を解読し、動きベクトルを求める。そし
て、その動きベクトルの水平成分の整数部をmvh とし、
小数部をmvhsとする。垂直成分の整数部をmvv とし、小
数部をmvvsとする。次にステップS22に進む。ステッ
プS22で、過去の画像における(mvh,mvv)の示す位
置の16画素×16画素XB(mvh,mvv)を予測画像と
し、ステップS23に進む。そして、ステップS23で
終わる。これにより、動きベクトルの小数部が0.5で
あるとしても、それを無視して整数とし、その整数の動
きベクトルの示す16画素×16画素XB(mvh,mvv)
を予測画像としている。この近似により、補間処理を行
わずに済み、演算器12での演算量を減らすことが可能
となる。
【0038】図5は、Bピクチャの上記3番目のタイプ
のマクロブロックにおいて使用される予測画像の求め方
のフローチャートを示している。図5において、ステッ
プS30で始まり、ステップS31に進む。ステップS
31で、動きベクトルに関する符号を解読し、動きベク
トルを求める。そして、その動きベクトルの水平成分の
整数部をmvh とし、小数部をmvhsとする。垂直成分の整
数部をmvv とし、小数部をmvvsとする。次にステップS
32に進む。ステップS32で、未来の画像における
(mvh,mvv)の示す位置の16画素×16画素(これを
XB(mvh,mvv)のように表す。以下同じ)を予測画像
とし、ステップS33に進む。そして、ステップS33
で終わる。これにより、動きベクトルの小数部が0.5
であるとしても、それを無視して整数とし、その整数の
動きベクトルの示す16画素×16画素XB(mvh,mv
v)を予測画像としている。この近似により、補間処理
を行わずに済み、演算器12での演算量を減らすことが
可能となる。
【0039】図6は、Bピクチャの上記4番目のタイプ
のマクロブロックにおいて使用される予測画像の求め方
のフローチャートを示している。図6において、ステッ
プS40で始まり、ステップS41に進む。ステップS
41で、第1の動きベクトルに関する符号を解読し、第
1の動きベクトルを求める。そして、第1の動きベクト
ルの水平成分の整数部をmvh とし、小数部をmvhsとす
る。垂直成分の整数部をmvv とし、小数部をmvvsとす
る。次にステップS42に進む。ステップS42で、過
去の画像における(mvh,mvv)の示す位置の16画素×
16画素XB(mvh,mvv)を予測画像PAとし、ステッ
プS43に進む。ステップS43で、第2の動きベクト
ルに関する符号を解読し、第2の動きベクトルを求め
る。そして、第2の動きベクトルの水平成分の整数部を
mvh とし、小数部をmvhsとする。垂直成分の整数部をmv
v とし、小数部をmvvsとする。次にステップS44に進
む。ステップS44で、未来の画像における(mvh,mv
v)の示す位置の16画素×16画素XB(mvh,mvv)
を予測画像PBとし、ステップS45に進む。ステップ
S45で、予測画像PAと予測画像PBの平均値を求
め、それを予測画像とし、ステップS46に進む。そし
て、ステップS46で終わる。これにより、動きベクト
ルの小数部が0.5であるとしても、それを無視して整
数とし、その整数の動きベクトルの示す16画素×16
画素を予測画像としている。この近似により、補間処理
を行わずに済み、演算器12での演算量を減らすことが
可能となる。
【0040】そして、このように近似して求めた予測画
像には誤差が含まれるが、これは、Bピクチャ内で起こ
る誤差である。Bピクチャは、他のピクチャから予測画
像として読み出されることはないので、この誤差は、他
のピクチャに伝搬しない。つまり、誤差は累積されるこ
とがない。
【0041】以上のBピクチャの復号化処理をまとめた
ものが、図7に示すフローチャートである。
【0042】この図7に示すフローチャートにおいて、
Bピクチャのマクロブロックの処理がステップS120
より開始され、次のステップS121において、動き補
償の種類、すなわち上述したマクロブロックのタイプが
判別される。このステップS121で、動き補償なしと
される上記1番目のマクロブロックタイプのときは、ス
テップS122に進み、逆量子化処理及び逆DCT処理
の復号化処理を行った後、ステップS129に進んで終
了する。ステップS121で過去の画像を用いた動き補
償を行う上記2番目のマクロブロックタイプのときは、
ステップS123に進み、逆量子化処理及び逆DCT処
理の復号化処理を行った後、ステップS124に進ん
で、上記図4の処理を行い、得られた予測画像を逆DC
Tされた出力と加算し、ステップS129に進んで当該
マクロブロックの処理を終了する。ステップS121で
未来の画像を用いた動き補償を行う上記3番目のマクロ
ブロックタイプのときは、ステップS125に進み、逆
量子化処理及び逆DCT処理の復号化処理を行った後、
ステップS126に進んで、上記図5の処理を行い、得
られた予測画像を逆DCTされた出力と加算し、ステッ
プS129に進んで当該マクロブロックの処理を終了す
る。また、ステップS121で過去及び未来の画像を用
いた動き補償を行う上記4番目のマクロブロックタイプ
のときは、ステップS127に進み、逆量子化処理及び
逆DCT処理の復号化処理を行った後、ステップS12
8に進んで、上記図6の処理を行い、得られた予測画像
を逆DCTされた出力と加算し、ステップS129に進
んで当該マクロブロックの処理を終了する。
【0043】このように、本発明の動画像復号方法によ
れば、予測画像を生成するための補間に関する演算をB
ピクチャの時には行わないので、全体として演算量は少
なくなり、高速に計算できる。しかも、動きベクトルの
小数部を無視して整数とし、その整数のベクトルの示す
位置の16画素×16画素を予測画像とする近似による
誤差は累積しない。
【0044】また、上述の本発明の説明では、Bピクチ
ャの全てのマクロブロックに対して半画素精度の動き補
償を行わず整数精度の動き補償で近似していたが、以下
のようにすることも可能である。即ち、現在、復号しよ
うとしているマクロブロックが、(1)過去から予測す
る順方向(forward)の予測符号化マクロブロッ
クである場合は、半画素精度の動き補償を行う。現在、
復号しようとしているマクロブロックが、(2)未来か
ら予測する逆方向(backward)の予測符号化マ
クロブロック、あるいは、(3)前後両方の予測による
内挿的(interpolate)な予測符号化マクロ
ブロックである場合は、半画素精度の動き補償を行わず
整数精度の動き補償で近似する。このようにしても、
(2)あるいは(3)のマクロブロックに対して、半画
素精度の動き補償(予測画像を作成するための補間)を
行わないので、演算量を削減できる。そして、Bピクチ
ャ以外のピクチャのマクロブロックは(2)または
(3)ではないので、この近似はBピクチャ内でしか起
こらず、この近似による誤差は伝搬(累積)しない。
【0045】さらに、入力されてくる符号によっては、
演算量が少ない場合がありうる。例えば、MPEG1に
おけるMBAスタッフ符号、すなわち伝送の容量に比べ
て符号発生量が少なくなったときにダミーとして使わ
れ、復号器側で捨てられる符号、が多く含まれている場
合である。この場合は、近似をさせて復号した画像のS
/N比を悪くさせた分だけ、演算器を遊ばせるという無
駄なことをしたことになる。この場合は、近似をしなく
ても、演算量が少ないので、図3の演算器12で高速に
計算することが可能である。そこで、演算器での演算量
を観察しておき、演算器に余裕が出てきたら近似せずに
半画素精度の動き補償まで正確に行い、演算器の処理能
力を越える演算量になってきたら上述の近似(整数精度
の近似)を行うようにすれば、適応的に演算器の能力を
最大限まで引き出せる。
【0046】これを復号化装置として構成する場合に
は、符号化データを復号する際の演算量を観察し、該演
算量が所定値を越えたことを判定してビジー信号を出力
する判定回路を設けるようにし、この判定回路からのビ
ジー信号が出力されたとき、復号化回路にて復号される
画像について、演算精度の低い動き補償により復号する
ようにすればよい。
【0047】また、輝度信号よりも色差信号は、人間の
視覚上、目立たないので、輝度信号は半画素精度の動き
補償を行い正確に復号し、色差信号は半画素精度の動き
補償を行わず整数精度の動き補償で近似することも考え
られる。
【0048】なお、本発明は、上述した実施の形態のみ
に限定されるものではなく、例えば上記MPEG1、M
PEG2における符号の復号に限定されない。また、図
2や図3に示す装置例に限定されない。
【0049】
【発明の効果】本発明によれば、動き補償を用いて圧縮
符号化された動画像の符号化データを復号する際に、復
号される動画像の内、他の復号される画像の予測画像と
して使用されない画像の少なくとも一部については、演
算精度の低い動き補償により復号することにより、予測
画像を生成するための補間処理演算の負担を軽減し、そ
の処理にかかる時間を短縮して、高速処理を可能とする
ことができる。
【0050】特に、いわゆるBピクチャ(双方向予測符
号化画像)の場合に、動きベクトルの小数部を無視して
整数とし、その整数のベクトルの示す位置の16画素×
16画素を予測画像とすることにより、近似による誤差
は累積しない。
【0051】また、復号の際の演算量を観察し、演算器
に余裕が出てきたら近似せずに半画素精度の動き補償ま
で正確に行うようにして、適応的に演算器の能力を最大
限まで引き出せる。
【図面の簡単な説明】
【図1】本発明の実施の形態となる動画像復号化方法を
説明するためのフローチャートである。
【図2】本発明の実施の形態となる動画像復号化装置の
概略構成を示すブロック図である。
【図3】本発明の実施の形態となる動画像復号化装置が
適用されるCPUシステムの概略構成を示すブロック図
である。
【図4】本発明の実施の形態におけるBピクチャの復号
化の際の過去から参照画像を作成する手順を説明するた
めのフローチャートである。
【図5】本発明の実施の形態におけるBピクチャの復号
化の際の未来から参照画像を作成する手順を説明するた
めのフローチャートである。
【図6】本発明の実施の形態におけるBピクチャの復号
化の際の過去及び未来から参照画像を作成する手順を説
明するためのフローチャートである。
【図7】本発明の実施の形態におけるBピクチャの復号
化の手順を説明するためのフローチャートである。
【図8】従来例における過去から参照画像を作成する手
順を説明するためのフローチャートである。
【図9】従来例における未来から参照画像を作成する手
順を説明するためのフローチャートである。
【図10】従来例における過去及び未来から参照画像を
作成する手順を説明するためのフローチャートである。
【図11】従来例における過去及び未来から参照画像を
作成する手順を説明するためのフローチャートである。
【符号の説明】
10 制御回路、 11 メモリ、 12 演算器、
102 逆量子化回路、 104 逆DCT回路、 1
05 加算器、 107a,107b 予測メモリ、
108a,108b 半画素補間

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 動き補償を用いて圧縮符号化された動画
    像の符号化データを入力とし、上記入力符号化データを
    復号して、上記動画像を復元する動画像復号化方法にお
    いて、 上記復号される動画像の内、他の上記復号される画像の
    予測画像として使用されない画像の少なくとも一部につ
    いては、演算精度の低い動き補償により復号することを
    特徴とする動画像復号化方法。
  2. 【請求項2】 上記符号化データを復号する際の演算量
    を観察し、上記演算量が所定の値を越えた場合は、上記
    復号される画像について、演算精度の低い動き補償によ
    り復号することを特徴とする請求項1記載の動画像復号
    化方法。
  3. 【請求項3】 上記復号される動画像の内、前後2枚の
    画像を予測画像として使用し復元する画像については、
    演算精度の低い動き補償により復号することを特徴とす
    る請求項1記載の動画像復号化方法。
  4. 【請求項4】 上記復号される動画像の内、表示順番に
    おいて後方の画像を予測画像として使用し復元する画像
    については、演算精度の低い動き補償により復号するこ
    とを特徴とする請求項1記載の動画像復号化方法。
  5. 【請求項5】 上記動き補償は、マクロブロック単位で
    行い、上記演算精度の低い動き補償は、動きベクトルの
    小数部を無視して整数部のみを用いた動き補償を行うこ
    とを特徴とする請求項1記載の動画像復号化方法。
  6. 【請求項6】 動き補償を用いて圧縮符号化された動画
    像の符号化データを入力とし、上記符号化データを復号
    して、上記動画像を復元する動画像復号化装置におい
    て、 上記符号化データを復号する復号化回路を有し、 上記復号化回路にて上記復号される動画像の内、他の上
    記復号される画像の予測画像として使用されない画像の
    少なくとも一部については、演算精度の低い動き補償に
    より復号することを特徴とする動画像復号化装置。
  7. 【請求項7】 上記符号化データを復号する際の演算量
    を観察し、該演算量が所定値を越えたことを判定してビ
    ジー信号を出力する判定回路を有し、 上記判定回路からのビジー信号が出力されたとき、上記
    復号化回路にて復号される画像について、演算精度の低
    い動き補償により復号することを特徴とする請求項6記
    載の動画像復号化装置。
  8. 【請求項8】 上記復号化回路は、上記復号される動画
    像の内、前後2枚の画像を予測画像として使用し復元す
    る画像については、演算精度の低い動き補償により復号
    することを特徴とする請求項6記載の動画像復号化装
    置。
  9. 【請求項9】 上記復号化回路は、上記復号される動画
    像の内、表示順番において後方の画像を予測画像として
    使用し復元する画像については、演算精度の低い動き補
    償により復号することを特徴とする請求項6記載の動画
    像復号化装置。
  10. 【請求項10】 上記動き補償は、マクロブロック単位
    で行い、上記演算精度の低い動き補償は、動きベクトル
    の小数部を無視して整数部のみを用いた動き補償を行
    い、上記復号化回路は、上記マクロブロック単位で動画
    像を復元することを特徴とする請求項6記載の動画像復
    号化装置。
JP13721496A 1996-05-30 1996-05-30 動画像復号化方法及び装置 Withdrawn JPH09322175A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13721496A JPH09322175A (ja) 1996-05-30 1996-05-30 動画像復号化方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13721496A JPH09322175A (ja) 1996-05-30 1996-05-30 動画像復号化方法及び装置

Publications (1)

Publication Number Publication Date
JPH09322175A true JPH09322175A (ja) 1997-12-12

Family

ID=15193463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13721496A Withdrawn JPH09322175A (ja) 1996-05-30 1996-05-30 動画像復号化方法及び装置

Country Status (1)

Country Link
JP (1) JPH09322175A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030556A1 (en) * 2001-09-18 2003-04-10 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
WO2003067896A1 (en) * 2002-01-23 2003-08-14 Sony Corporation Image information coding device and method and image information decoding device and method
EP1530829A2 (en) * 2002-07-09 2005-05-18 Nokia Corporation Method and system for selecting interpolation filter type in video coding
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP2007306152A (ja) * 2006-05-09 2007-11-22 Toshiba Corp 画像復号化装置及び画像復号化方法
JP2007535834A (ja) * 2004-03-02 2007-12-06 トムソン ライセンシング 空間的及び時間的スケーラビリティを以て符号化された画像シーケンスの符号化及び復号化の方法
US8040951B2 (en) 2004-09-30 2011-10-18 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1298171C (zh) * 2001-09-18 2007-01-31 松下电器产业株式会社 图像的编码方法和图像的译码方法
WO2003030556A1 (en) * 2001-09-18 2003-04-10 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
KR100747958B1 (ko) * 2001-09-18 2007-08-08 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US7742648B2 (en) 2002-01-23 2010-06-22 Sony Corporation Image information encoding apparatus and image information encoding method for motion prediction and/or compensation of images
KR100950743B1 (ko) * 2002-01-23 2010-04-05 소니 주식회사 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
US8155460B2 (en) 2002-01-23 2012-04-10 Sony Corporation Image information decoding apparatus and image information decoding method for motion prediction and/or compensation of images
US8150182B2 (en) 2002-01-23 2012-04-03 Sony Corporation Image information decoding apparatus and image information decoding method for motion prediction and/or compensation of images
EP2560390A3 (en) * 2002-01-23 2015-03-25 Sony Corporation Image information encoding apparatus and image information encoding method, and image information decoding apparatus and image information decoding method
US9078005B2 (en) 2002-01-23 2015-07-07 Sony Corporation Image information decoding apparatus and image information decoding method for motion prediction and/or compensation of images
WO2003067896A1 (en) * 2002-01-23 2003-08-14 Sony Corporation Image information coding device and method and image information decoding device and method
EP1530829A4 (en) * 2002-07-09 2005-08-31 Nokia Corp METHOD AND SYSTEM FOR SELECTING THE INTERPOLATION FILTER TYPE IN VIDEO CODING
CN100452668C (zh) * 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
US7349473B2 (en) 2002-07-09 2008-03-25 Nokia Corporation Method and system for selecting interpolation filter type in video coding
EP1530829A2 (en) * 2002-07-09 2005-05-18 Nokia Corporation Method and system for selecting interpolation filter type in video coding
JP2007535834A (ja) * 2004-03-02 2007-12-06 トムソン ライセンシング 空間的及び時間的スケーラビリティを以て符号化された画像シーケンスの符号化及び復号化の方法
US8040951B2 (en) 2004-09-30 2011-10-18 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP2007306152A (ja) * 2006-05-09 2007-11-22 Toshiba Corp 画像復号化装置及び画像復号化方法
JP4734168B2 (ja) * 2006-05-09 2011-07-27 株式会社東芝 画像復号化装置及び画像復号化方法

Similar Documents

Publication Publication Date Title
EP1010330B1 (en) Transcoding
US20050002458A1 (en) Spatial scalable compression
KR100504641B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JP2001292451A (ja) 動画像信号圧縮装置及び方法
KR20050105222A (ko) 비디오 부호화
JPH08223577A (ja) 動画像符号化方法及び装置、並びに動画像復号方法及び装置
KR100415494B1 (ko) 화상인코딩방법및장치,기록장치,비디오신호인코딩장치,처리장치및방법,비디오데이터처리장치및방법
KR100534192B1 (ko) 모션-보상 예측 영상 인코딩 및 디코딩
JPH07112284B2 (ja) 予測符号化装置及び復号化装置
US6256349B1 (en) Picture signal encoding method and apparatus, picture signal transmitting method, picture signal decoding method and apparatus and recording medium
JP3519441B2 (ja) 動画像伝送装置
JPH10322696A (ja) 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
JP3589480B2 (ja) 映像信号符号化方式
JPH089375A (ja) 逆離散コサイン変換不一致制御装置および画像符号化装置
JPH09322175A (ja) 動画像復号化方法及び装置
US7386050B2 (en) Fast half-pel searching method on the basis of SAD values according to integer-pel search and random variable corresponding to each macro block
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
WO1996033573A1 (en) Device and method for coding moving image
JP2000059779A (ja) 動画像符号化装置および動画像符号化方法
JP3862479B2 (ja) ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法
KR0124162B1 (ko) 예측 부호화 방법
KR100248651B1 (ko) 움직임 보상장치
JPH09238345A (ja) 画像信号符号化方法及び装置、画像信号伝送方法、画像信号復号方法及び装置並びに記録媒体
JPH0662391A (ja) 動画像予測符号化方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20030805