JPH10215457A - 動画像復号方法及び動画像復号装置 - Google Patents

動画像復号方法及び動画像復号装置

Info

Publication number
JPH10215457A
JPH10215457A JP1704897A JP1704897A JPH10215457A JP H10215457 A JPH10215457 A JP H10215457A JP 1704897 A JP1704897 A JP 1704897A JP 1704897 A JP1704897 A JP 1704897A JP H10215457 A JPH10215457 A JP H10215457A
Authority
JP
Japan
Prior art keywords
image
pixel
updating
macroblock
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1704897A
Other languages
English (en)
Inventor
Kenji Tomizawa
研二 冨澤
Koichi Kurihara
弘一 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba AVE Co Ltd
Original Assignee
Toshiba Corp
Toshiba AVE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba AVE Co Ltd filed Critical Toshiba Corp
Priority to JP1704897A priority Critical patent/JPH10215457A/ja
Publication of JPH10215457A publication Critical patent/JPH10215457A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Abstract

(57)【要約】 【課題】画像メモリへのアクセス回数を低減し画像メモ
リを他の機能に利用することを可能にして回路規模を低
減する。 【解決手段】ステップS13において2番目以降の参照マ
クロブロックについてはステップS14において共通領域
であるか否かが判定される。共通領域以外の画素につい
てはステップS15において更新処理が行われる。共通領
域の画素についてはステップS15の更新処理は省略され
る。これにより、画像メモリへのアクセス回数が低減さ
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、予測符号化信号を
復号化するための動画像復号方法及び動画像復号装置に
関する。
【0002】
【従来の技術】近年、MPEG2などの動画像符号化方
式がディジタル放送やパッケージメディア等において活
用されつつある。MPEG2の画像符号化方式及び復号
化方式については、刊行本である「最新MPEG教科
書」(アスキー出版局)に詳述されている。
【0003】MPEG2規格においては、直交変換処
理、量子化処理及び可変長符号化処理によって画像デー
タを圧縮する。直交変換は、入力される標本値を空間周
波数成分等の直交成分に変換するものであり、m×n画
素のブロック単位でDCT(離散コサイン変換)処理等
を行う。これにより空間的な相関成分が削減可能とな
る。直交変換された成分は量子化することにより、ブロ
ックの信号の冗長度を削減している。
【0004】更に、量子化出力にハフマン符号化等の可
変長符号化を施すことにより、データ量を一層削減す
る。ハフマン符号化は、量子化出力の統計的符号量から
算出した結果に基づいて符号化を行うものであり、出現
確率が高いデータには短いビットを割当て、出現確率が
低いデータには長いビットを割当てる可変長符号化によ
って全体のデータ量を削減する。
【0005】更に、MPEG2においては、フレーム内
の画像をDCT処理するフレーム内圧縮の外に、フレー
ム間の相関を利用して時間軸方向の冗長度を削減するフ
レーム間圧縮も採用する。フレーム間圧縮は、一般の動
画像が前後のフレームでよく似ているという性質を利用
して、前後のフレームの差分を求め差分値(予測誤差)
を符号化することによって、ビットレートを一層低減さ
せるものである。特に、画像の動きを予測してフレーム
間差を求めることにより予測誤差を低減する動き補償フ
レーム間予測符号化が有効である。なお、動き補償予測
に用いた動きベクトルのデータは、可変長符号化して多
重出力するようになっている。
【0006】このように、MPEG2では、所定フレー
ムの画像データをそのままDCT処理して符号化するフ
レーム内符号化の外に、所定フレームの画像データとこ
のフレーム前後のフレームの参照画像データとの差分デ
ータのみをDCT処理して符号化する予測符号化とを採
用する。予測符号化方法としては、時間的に前方向の参
照画像データを動き補償して予測誤差を求める前方予測
符号化と、時間的に後方向の参照画像データを動き補償
して予測誤差を求める後方予測符号化と、符号化効率を
考慮して、前方若しくは後方のいずれか一方又は両方向
の平均を用いた両方向予測符号化とがある。
【0007】なお、MPEGエンコーダにおいて処理す
る輝度信号と色差信号とはサンプリングクロックが相違
する。例えば、色差信号のサンプリングクロックが輝度
信号のサンプリングクロックの1/4の周波数であるも
のとすると、輝度ブロックと色差ブロックの大きさの比
は1:4となる。この場合には、輝度4ブロックと色差
各1ブロックずつとの6DCTブロックによってマクロ
ブロックを構成して符号化の単位とする。動きベクトル
の検出もマクロブロック単位で行われる。DCTブロッ
クが8×8画素の大きさであるものとすると、輝度信号
と色信号とは別々に処理するので、1マクロブロックの
大きさは16×16画素となる。
【0008】動きベクトルの検出においては、現フレー
ムの符号化を行うべき注目ブロック(マクロブロック)
に対して相対的な位置関係が同一である参照フレームの
ブロックを中心とした所定の探索範囲を設定する。そし
て、マッチング計算によって、現フレームの注目ブロッ
クのパターンに最も類似したパターンのブロックを探索
範囲内で探索する。つまり、探索範囲内でブロックを
0.5画素単位で移動させながら順次設定し、注目ブロ
ックと探索範囲に設定したブロックとの間で対応する各
画素同士の差分の絶対値を累積するマッチング計算を行
い、最も累積値が小さいブロックを参照マクロブロック
とする。参照マクロブロックと注目ブロックとの位置関
係を示すベクトルを動きベクトルとして求めるようにな
っている。
【0009】図17はこのようなMPEG2規格に対応
した従来の動画像復号装置を示すブロック図である。ま
た、図18はその復号方法を説明するためのフローチャ
ートである。
【0010】入力端子1を介して入力された符号化デー
タは可変長復号化回路(以下、VLDという)2に供給
される。入力された符号化データは、画像データ又は予
測誤差をDCT処理して量子化した後、可変長符号化し
たものである。VLD2は入力された符号化データを可
変長復号化して、符号化側の可変長符号化処理前のデー
タに戻す。VLD2の出力に含まれる動きベクトルは仮
想アドレス生成回路8に供給され、量子化出力は逆量子
化回路(以下、IQという)3に供給される。
【0011】IQ3はVLD2の出力を逆量子化して振
幅方向に伸張した後、逆DCT回路(以下、IDCT)
4に出力する。IDCT4は逆量子化出力を逆DCT処
理して符号化側のDCT処理前のデータに戻す。IDC
T4の出力は加算器5を介してメモリデータバス6に転
送され、更に、画像メモリ7に転送される。
【0012】いま、フレーム内符号化された符号化デー
タを復号するものとする。この場合には、IDCT4の
出力はフレームの復元画像であり、IDCT4の出力は
加算器5を介してそのまま画像メモリ7に供給される。
IDCT4の出力はブロック単位の画素データであり、
画像メモリ7は1フレーム分の画素データをライン単位
で記憶する。
【0013】画像メモリ7の書込み及び読出しは、物理
アドレス生成回路9によって制御される。物理アドレス
生成回路9は、復号されたマクロブロックの画面上の位
置に応じた画像メモリ7上の位置を示す書込みアドレス
を発生する。この場合には、物理アドレス生成回路9
は、メモリ使用量によって決定されるオフセット値を加
算するようになっている。
【0014】一方、物理アドレス生成回路9は、参照画
像の読出しアドレスについては、仮想アドレス生成回路
8の出力に基づいて生成する。仮想アドレス生成回路8
はVLD2からの動きベクトルデータに基づいて、復号
するブロックが参照した参照マクロブロックの画面上の
位置(以下、画面アドレスという)を算出する。物理ア
ドレス生成回路9は、画面アドレスを参照マクロブロッ
クの画像メモリ7上の位置(以下、読出しアドレスとい
う)に変換して、画像メモリ7の読出しを行うようにな
っている。
【0015】ここで、フレーム間符号化された符号化デ
ータを復号化するものとする。この場合には、IDCT
4の出力は予測誤差であり、この予測誤差と参照画像を
加算することによって、元の画像を復元することができ
る。この場合には、符号化時に用いた動きベクトルによ
って参照画像を動き補償した後予測誤差に加算する。
【0016】動き補償は図18の処理フローに基づいて
行われる。先ず、図18のステップS1 においてマクロ
ブロックの番号を示すkを1に初期化する。次に、ステ
ップS2 において動きベクトルの情報Mv(k),Mh(k)を
取得する。仮想アドレス生成回路8は符号化側で予測誤
差を得るために参照された参照マクロブロックの画面ア
ドレスを動きベクトルに基づいて算出する。この画面ア
ドレスは物理アドレス生成回路9に与えられて、画像メ
モリ7の読出しアドレスが生成される。
【0017】こうして、画像メモリ7からは動き補償さ
れた参照マクロブロックが読出されてMBバッファ10,
11に供給され、m画素×nラインの参照マクロブロック
が更新される(ステップS3 )。MBバッファ10,11に
保持された参照マクロブロックのデータは加算器5の加
算タイミングで内挿回路12を介して加算器5に供給され
る。
【0018】ところで、符号化側においては、動きベク
トルの精度を画素単位の1/2にすることができる。動
きベクトルによって、参照画像として画素間の値が指定
された場合には、画像メモリ7から読出された参照画像
データを補間して、隣接する画素同士の中間の値を得る
必要がある。このため、内挿回路12は参照画像データを
内挿補間して加算器5に出力する。なお、内挿補間を考
慮すると、画像メモリ7から1マクロブロックよりも1
画素分だけ広い範囲の参照画像データを読出す必要があ
る。
【0019】MBバッファ10,11は片方向予測時には一
方のバッファのみを用い、両方向予測時には両方のバッ
ファを用いる。内挿回路12が半画素位置での画像データ
の演算(以下、ハーフペル演算という)を行うために
は、m×n画素の参照マクロブロックの外縁の画素につ
いては参照マクロブロック外の隣接する画素を用いる必
要がある。このため、MBバッファ10,11は(m+1)
×(n+1)画素分のデータを記憶する容量を有してい
なければならない。
【0020】加算器5は内挿回路12から出力される動き
補償されて内挿補間された参照画像データと予測誤差と
を加算することにより、元の画像を復元する。復元画像
はメモリデータバス6を介して画像メモリ7に格納され
る。この場合には、物理アドレス生成回路9は、復号中
のマクロブロックの画面アドレスが仮想アドレス生成回
路8から供給され、この画面アドレスから画像メモリ7
の書込みアドレスを生成して、画像メモリ7に供給す
る。
【0021】以後同様にして復号化が行われる。画像メ
モリ7に格納された復元画像データは表示バッファ13に
供給され、ステップS5 において表示バッファ13から表
示順に読出されて出力端子14を介して出力される。ステ
ップS6 では全てのマクロブロックの復号処理が行われ
たか否かが判断される。全てのマクロブロックの復号処
理が行われていない場合には、マクロブロックの番号k
をインクリメントして(ステップS7 )、処理をステッ
プS2 に戻す。
【0022】なお、出力端子14からの復元画像データを
図示しない表示装置に与えることにより、復元画像を表
示させることができる。また、動き補償はマクロブロッ
ク単位で行われるのに対し、表示はライン単位で行われ
ることから、表示バッファ13がブロックスキャン順から
ラインスキャン順への並べ替えの機能を有することもあ
る。
【0023】このように、復号処理には参照マクロブロ
ックの読出しが必要である。また、入力される符号化デ
ータのピクチャ順序と復元されたフレーム順とは異なる
ので、加算器5からの復元画像データは、表示タイミン
グまで画像メモリ7に一旦保持させる必要がある。これ
らの画像メモリ7に対する書込み及び読出しによって、
画像メモリ7のバス占有率は極めて高い。このため、回
路に必要なメモリ容量を低減するために、画像メモリ7
を他の機能、例えば、OSD(On Screen Display )等
に用いるメモリとして利用しようとしても、バス占有率
が高いことから兼用することができないという問題があ
った。
【0024】
【発明が解決しようとする課題】このように、上述した
従来の動画像復号装置においては、参照マクロブロック
の読出しによる画像メモリのバス占有率が極めて高く、
画像メモリを他の機能用として兼用することが困難であ
るという問題点があった。
【0025】本発明はかかる問題点に鑑みてなされたも
のであって、画像メモリのバス占有率を低減することに
より、画像メモリ他の機能用として兼用することを可能
にして、回路規模を低減することができる動画像復号方
法及び動画像復号装置を提供することを目的とする。
【0026】
【課題を解決するための手段】本発明の請求項1に係る
動画像復号方法は、現画像と参照画像との予測誤差を用
いた動き補償予測符号化によって所定のブロック単位で
符号化された所定ブロックの符号化信号に対して復号処
理を行って復号画像を得る復号手順と、前記復号画像を
参照画像として保持する手順と、保持した参照画像を前
記所定ブロックとは異なるブロックの復号処理に用いる
ために、所定の非更新領域を除いて更新する更新手順と
を具備したものであり、本発明の請求項8に係る動画像
復号装置は、現画像と参照画像との予測誤差を用いた動
き補償予測符号化によって所定のブロック単位で符号化
された所定ブロックの符号化信号が入力され、所定の復
号処理によって復号画像を得る復号手段と、前記復号画
像を参照画像として保持する第1の記憶手段と、この第
1の記憶手段に記憶されているデータを読出して記憶す
る第2の記憶手段と、前記第1の記憶手段が保持した参
照画像を前記所定ブロックとは異なるブロックの復号処
理に用いるために読出して、所定の非更新領域を除いて
前記第2の記憶手段の内容を更新する更新手段とを具備
したものである。
【0027】本発明の請求項1においては、復号手順に
よって、符号化信号は復号処理され復号画像が得られ
る。復号画像は参照画像として保持される。保持された
参照画像は、次の復号処理に用いるために、所定の非更
新領域を除いて更新される。非更新領域は更新されない
ので、更新処理の工程数が削減される。
【0028】本発明の請求項8において、復号手段は符
号化信号を復号処理して復号画像を得る。復号画像は参
照画像として第1の記憶手段に保持される。更新手段
は、第1の記憶手段に保持されている参照画像を読出
し、所定の非更新領域を除いて第2の記憶手段の内容を
更新する。第2の記憶手段から読出された参照画像が復
号手段に与えられて次の復号処理が行われる。
【0029】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図1は本発明に係る
動画像復号方法の一実施の形態を示すフローチャートで
ある。本実施の形態は参照マクロブロックの更新処理方
法が従来例と異なる。
【0030】符号化側においては、例えば、DCT処
理、量子化処理及び可変長符号化処理によって符号化デ
ータを作成する。また、符号化側では、フレーム内符号
化処理だけでなく、前方又は後方フレームの参照画像を
用いた片方向予測符号化処理及び両方向フレームの参照
画像を用いた両方向予測符号化処理を行っている。ま
た、符号化側においては、予測符号化時に用いた動きベ
クトルの情報を可変長符号化して符号化データに多重し
ている。
【0031】本実施の形態においても、復号はマクロブ
ロック単位で行われる。図2は復号順序を説明するため
の説明図であり、図2の1区画は画面上の各マクロブロ
ックを示している。図2は矢印によってマクロブロック
の復号順を示している。図2(a)は水平方向に並んだ
マクロブロック列毎に復号を行うもので、画面の水平方
向に連続したマクロブロックを順次復号する例を示して
いる。また、図2(b)は画面の垂直方向に連続したマ
クロブロックを順次復号する例を示している。
【0032】本実施の形態の動画像復号方法において
は、例えば、可変長復号化処理、逆量子化処理及び逆D
CT処理を行うと共に、符号化データが予測符号化され
ている場合には、参照画像を動き補償して予測誤差に加
算する処理を行って画像を復元する。可変長復号化処
理、逆量子化処理及び逆DCT処理によって、符号化デ
ータをマクロブロック単位で符号化側のDCT処理前の
画素データに戻す。符号化データが予測符号化されたも
のである場合には、逆DCT処理によって得られるデー
タは予測誤差である。この場合には、予測誤差と動き補
償した参照画像との加算処理によって、元の画像を復元
するのである。
【0033】各マクロブロックの動きベクトルの情報に
応じて、参照画像を各マクロブロック毎に更新する。例
えば、更新処理は、復元された画像データを参照画像と
して用いるために画像メモリに記憶し、画像メモリから
メモリデータバスの空き時間に動き補償しながら読出し
てMBバッファに格納することにより行うことができ
る。更新された参照画像を加算処理のタイミングでMB
バッファから読出して、予測誤差と加算する。
【0034】図1は動き補償予測復号処理を示してい
る。
【0035】図1のステップS10においては、マクロブ
ロックの番号を示すkを初期化する。マクロブロック番
号kは図2に示す復号順に対応したものである。
【0036】次のステップS11は動きベクトルの情報を
取得する手順を示し、符号化データに含まれる水平方向
の動きベクトルMv(k)及び垂直方向の動きベクトルMh
(k)とを得る。この動きベクトルの情報に基づいて、復
号するマクロブロックの符号化に際して用いられた参照
マクロブロックのブロック化を行う。参照画像を画像メ
モリに記憶させた場合には、動きベクトルの情報に基づ
いて、画像メモリ上の記録位置、即ち、メモリアドレス
を得るようになっている。
【0037】ステップS12はマクロブロック内の画素の
番号を示すjを初期化する。画素番号jは画像メモリか
らの読出し順に対応している。ステップS13はkが1で
あるか否かを判定する処理である。画面の最初に復号す
るマクロブロックMB(1)については、ステップS14
の処理を行うことなく、ステップS15に処理を移行す
る。
【0038】ステップS14はj番目の画素が共通領域内
の画素であるか否かを判定する手順である。図3は共通
領域及び非更新領域を説明するための説明図である。図
3(a)は非更新領域を示し、図3(b)は共通領域を
示している。図3の各区画は画面上の任意の位置の3×
3のマクロブロックを示している。例えば、図3の左上
のマクロブロック(横線部分)をk番目のマクロブロッ
クMB(k)とし、中央上のマクロブロック(縦線部
分)を(k+1)番目のマクロブロックMB(k+1)
とする。図3の破線太枠はマクロブロックMB(k)が
参照した参照マクロブロックRMB(k)を示し、実線
太枠はマクロブロックMB(k+1)が参照した参照マ
クロブロックRMB(k+1)を示している。
【0039】本実施の形態においては、参照画像の更新
処理については、後述する共通領域の更新処理を省略す
るようになっている。
【0040】例えば、図3の(k+1)番目のマクロブ
ロックMB(k+1)の復号に際して、図3(a)の斜
線部に示す非更新領域が設定されたものとする。この参
照マクロブロックRMB(k+1)は非更新領域を含
む。更に、参照マクロブロックRMB(k+1)内の非
更新領域の一部は、前回の復号処理で読出された参照マ
クロブロックRMB(k)内の領域(以下、共通領域と
いう)である。図(3)(b)の斜線部はこの共通領域
を示している。
【0041】各マクロブロックの復号に際して、画像メ
モリから参照マクロブロックを読出す場合には、各マク
ロブロック毎に非更新領域を設定し、この非更新領域内
の画像データのうち、既にMBバッファに保持されてい
る画像データについては読出しを行わないようになって
いる。そして、非更新領域内の画像データに対応するM
Bバッファ内の画像データについては更新を行わないよ
うになっている。例えば、図3(b)の参照マクロブロ
ックRMB(k+1)の読出しに際して、斜線部に示す
共通領域の読出しは行われず、共通領域の画像データが
記憶されているMBバッファの領域は更新されない。
【0042】図1のステップS15は、復号に用いる参照
マクロブロックを画素毎に更新する手順である。1番目
のマクロブロックMB(1)については全画素の更新が
行われ、その他のマクロブロックについては共通領域以
外の画素について更新処理が行われる。更新処理は、例
えば、画像メモリから読出した画素データをMBバッフ
ァに与えて対応する領域に記憶させることによって行わ
れる。
【0043】ステップS16は画素の番号を示すjをイン
クリメントする手順である。ステップS17は各マクロブ
ロック内の全画素に対する更新処理が終了したか否かを
判定するステップである。マクロブロックの大きさをm
画素×nラインとすると、jがn×mよりも大きいか否
かによって全画素の更新処理が終了したか否かを判定す
ることができる。j>n×mでない場合には、処理をス
テップS13に戻して更新処理を繰返すようになってい
る。
【0044】図1のステップS18は参照画像と予測誤差
との加算を行う手順である。この手順によって、予測符
号化された符号化データから元の画像が復元される。
【0045】ステップS19は復元された画像を出力する
手順を示している。復元画像は表示のために出力される
と共に、参照画像を得るために画像メモリに記憶される
ようになっている。
【0046】ステップS20では動き補償が終了したか否
かが判断される。kの値から1画面の全てのマクロブロ
ックの復号が終了したか否かを判断することができる。
復号が終了していない場合には処理をステップS21に移
行する。ステップS21はkをインクリメントする手順で
あり、kをインクリメントした後に次のステップS12に
処理を移行するようになっている。
【0047】次に、このように構成された実施の形態の
作用について図4の説明図を参照して説明する。図4は
画像メモリからの読出し処理を説明するためのものであ
り、図4(a)は参照マクロブロックRMB(k)と参
照マクロブロックRMB(k+1)との位置関係を示
し、図4(b),(c)は夫々参照マクロブロックRM
B(k),RMB(k+1)を示している。
【0048】いま、画面上の各マクロブロックを水平方
向にラスタスキャン順に順次復号するものとする。フレ
ーム内符号化されたマクロブロックについては、従来と
同様の復号化処理を行う。即ち、符号化データに対する
可変長復号化処理、逆量子化処理及び逆DCT処理によ
って元の画像を復元する。
【0049】復元された画像データは、予測符号化され
た符号化データの復号処理に用いる参照画像を得るため
に画像メモリに記憶させるものとし、参照画像の更新処
理のために、画像メモリに記憶されている参照画像を動
き補償して読出してMBバッファに格納するものとす
る。予測符号化された符号化データを復号する場合に
は、MBバッファに格納されている参照マクロブロック
と逆量子化処理後に得られる予測誤差との加算処理を行
う。
【0050】いま、図3に示すように、k番目のマクロ
ブロックMB(k)の復号化に続けて、水平方向に隣接
した(k+1)番目のマクロブロックMB(k+1)を
復号化するものとする。なお、マクロブロックMB
(k)に用いた参照マクロブロックは破線太枠に示す参
照マクロブロックRMB(k)であるものとする。マク
ロブロックMB(k+1)については図3(a)の斜線
部分に示す非更新領域が設定されているものとする。
【0051】図1のステップS11において、マクロブロ
ックMB(k+1)の符号化データから動きベクトルの
情報Mv(k+1),Mh(k+1)が取得される。ステップS12で
は画素の番号jが初期化され、ステップS13では復号す
るマクロブロックが最初のマクロブロックMB(1)で
あるか否かが判定される。
【0052】最初のマクロブロックについては、処理が
ステップS15に移行して、j番目の画素が更新される。
次のステップS16でjがインクリメントされ、ステップ
S17によって全画素が更新されたかが判断される。ステ
ップS13乃至S17のループによって1番目のマクロブロ
ックの全画素が更新される。
【0053】2番目以降のマクロブロックについては、
ステップS13からステップS14に処理が移行する。ステ
ップS14では、j番目の画素が図3(b)の斜線部分で
示す共通領域の画素であるか否かが判断される。共通領
域以外の画素については、ステップS15において更新処
理が行われる。即ち、共通領域以外の画素の画素データ
は画像メモリから読出されてMBバッファの対応する領
域に書込まれる。共通領域内の画素については、ステッ
プS15の更新処理はスキップされ、処理は次のステップ
S16に移行する。
【0054】図4はこのような更新処理を具体的に説明
するためのものである。図4の各区画は1画素を示して
おり、図4では説明を簡略化するためにマクロブロック
を5画素×5ラインで構成している。破線太枠は参照マ
クロブロックRMB(k)を示し、実線太枠は参照マク
ロブロックRMB(k+1)を示している。図4(a)
に示すように、参照マクロブロックRMB(k),RM
B(k+1)は相互に画素23乃至25,33乃至35,43乃至
45の3×3画素が共通である。
【0055】いま、MBバッファには参照マクロブロッ
クRMB(k)の画素1乃至5,11乃至15,21乃至25,
31乃至35,41乃至45の画像データが記憶されているもの
とする。また、画素23乃至25,33乃至35,43乃至45の画
素を含む所定の領域が非更新領域に設定されているもの
とする。
【0056】この場合には、参照マクロブロックRMB
(k+1)の読出しに際して、既にMBバッファに保存
されている画素のデータ、即ち、図4(b),(c)の
斜線部分に示す画素23乃至25,33乃至35,43乃至45のデ
ータについては読出しを行わない。従って、参照マクロ
ブロックRMB(k+1)については、画素26,27,3
6,37,46,47,53乃至57,63乃至67の画素データを順
次読出してMBバッファに供給する。MBバッファは画
素23乃至25,33乃至35,43乃至45の画素データを保持し
ている領域についてはデータを更新することなく、他の
領域のデータのみを画像メモリから読出した画素データ
で更新する。
【0057】1画素の画素データを読出してMBバッフ
ァを更新すると、次のステップS16によってjをインク
リメントし、ステップS17でjの値がマクロブロックの
画素数であるm×nを越えたか否かを判断する。マクロ
ブロック内の共通領域以外の全画素の更新処理が終了し
ていない場合には、処理をステップS13に戻して、次の
画素に対する更新処理を行う。
【0058】マクロブロック内の全画素の更新処理が終
了した場合には、次のステップS18に処理を移行する。
MBバッファには参照マクロブロックRMB(k+1)
の画像データが保持されており、逆DCT処理によって
得られた予測誤差と参照マクロブロックとの加算が行わ
れる。これにより、マクロブロックMB(k+1)の画
像が復元される。
【0059】復元された画像はステップS19において出
力処理される。復元画像を参照画像として用いる場合に
は、復元された画像は画像メモリに記憶される。また、
表示タイミングになっていない復元画像は表示バッファ
に保持された後、表示タイミングで表示順に出力され
る。ステップS20では全てのマクロブロックに対する復
号処理が終了したか否かが判断され、終了していない場
合には、kをインクリメントしてステップS11に処理を
戻す。
【0060】なお、共通領域の参照マクロブロックRM
B(k)における位置と、参照マクロブロックRMB
(k+1)における位置とは異なる。従って、画像メモ
リ又はMBバッファのアドレス変換を行う必要がある。
【0061】図4の例では、参照マクロブロックRMB
(k+1)の読出しを行う画素数は、5×5−3×3=
16画素である。従って、参照マクロブロックRMB
(k+1)の読出し処理において、画像メモリに対する
アクセス回数を9画素分だけ低減することができる。
【0062】このように、本実施の形態では、1連のマ
クロブロックの復号処理において参照マクロブロックを
読出す場合には、前の復号処理で既に読出された画素に
ついては、共通領域の画素として読出しを行わずにMB
バッファの更新を行わないことにより、参照画像の更新
処理に必要なアクセス回数を低減している。これによ
り、データバスを他の機能にも活用することができ、画
像メモリを他の機能に兼用することを可能にして、回路
規模を低減することができる。また、復号処理の処理速
度を向上させることも可能である。
【0063】なお、本実施の形態においては、共通領域
については更新処理を行わないものとして説明したが、
共通領域のうち一部の領域の画素については更新処理す
るようにしてもよい。また、共通領域であっても更新処
理を行うことがあってもよく、例えば、更新処理を行う
か否かについてマクロブロック毎に指示するようにして
もよい。更に、本実施の形態においては、共通領域のみ
を更新処理しないものとして説明したが、復元画像の画
質が劣化することを許容して、非更新領域の全域につい
て更新処理を行わないように設定してもよい。
【0064】図5は本発明の他の実施の形態を示すブロ
ック図である。
【0065】非更新領域の設定方法としては種々の方法
が考えられる。本実施の形態は、非更新領域を外部から
入力して指示する例を示している。本実施の形態におい
ては、非更新領域内の全画素について更新処理を行わな
いようになっている。図5において図17と同一の構成
要素には同一符号を付してある。
【0066】図5において入力端子1には符号化データ
が入力される。この符号化データは、例えば、DCT処
理、量子化処理及び可変長符号化処理によって作成され
たものであり、フレーム内符号化処理だけでなく、前方
又は後方フレームの参照画像を用いた片方向予測符号化
処理及び両方向フレームの参照画像を用いた両方向予測
符号化処理が行われている。また、符号化データには予
測符号化時に用いた動きベクトルの情報が可変長符号化
されて多重されている。
【0067】入力端子1を介して入力された符号化デー
タはVLD2に供給される。VLD2は入力された符号
化データを可変長復号化して、符号化側の可変長符号化
処理前のデータに戻す。これにより、VLD2からは量
子化出力及び動きベクトルのデータが得られる。VLD
2は、量子化出力をIQ3に供給し、動きベクトルを仮
想アドレス生成回路21に供給する。
【0068】IQ3はVLD2の出力を逆量子化して振
幅方向に伸張した後、IDCT4に出力する。IDCT
4は逆量子化出力を逆DCT処理して符号化側のDCT
処理前のデータに戻す。IDCT4の出力は加算器5を
介してメモリデータバス6に転送され、更に、画像メモ
リ7に転送される。
【0069】画像メモリ7は、加算器5から復元画像デ
ータが与えられ、この復元画像データを参照画像データ
として記憶するようになっている。画像メモリ7は、物
理アドレス生成回路9に書込み及び読出しが制御され、
物理アドレス生成回路9が指定したブロック化位置のマ
クロブロックの参照画像データを読出してMBバッファ
10,11に出力するようになっている。
【0070】MBバッファ10,11は画像メモリ7からの
動き補償された参照画像データを保持して加算器5に出
力する。加算器5はIDCT4から予測誤差の復元画像
データが入力された場合には、MBバッファ10,11から
参照画像データを読出して加算することにより、元の画
像を復元して出力するようになっている。表示バッファ
13は復元画像データを表示タイミングまで保持して表示
順に出力端子14を介して出力するようになっている。
【0071】本実施の形態においては、端子20を介して
非更新領域情報が入力されるようになっている。非更新
領域情報は、各マクロブロックが参照する参照マクロブ
ロック内の画素のうち更新不要とする領域を示してい
る。非更新領域情報は仮想アドレス生成回路21に供給さ
れる。
【0072】仮想アドレス生成回路21は、VLD2から
動きベクトルの情報が与えられており、動きベクトルの
情報に基づいて、復号するマクロブロックが参照した参
照マクロブロックの画面上の位置を算出する。本実施の
形態においては、仮想アドレス生成回路21は、算出した
参照マクロブロックのうち非更新領域の位置を除く位置
の情報(画面アドレス)を物理アドレス生成回路9に出
力するようになっている。物理アドレス生成回路9は、
復号されたマクロブロックの画面上の位置に応じた画像
メモリ7上の位置を示す書込みアドレスを発生する。
【0073】次に、このように構成された実施の形態の
動作について説明する。
【0074】入力端子1を介して入力された符号化デー
タに対する可変長復号化処理、逆量子化処理、逆DCT
処理及び加算器5の加算処理は従来と同様である。加算
器5からは復元された画像データがブロック単位でメモ
リデータバス6に転送される。物理アドレス生成回路9
は画像メモリ7に書込みアドレスを与えて、メモリデー
タバス6を介して転送された復元画像データが記憶され
る。こうして、画像メモリ7には参照画像データが格納
される。
【0075】フレーム間符号化された符号化データが入
力端子1を介して入力された場合には、VLD2から動
きベクトル情報が仮想アドレス生成回路21に供給され
る。仮想アドレス生成回路21は、動きベクトル情報に基
づいて、参照マクロブロックの画面アドレスを算出す
る。また、仮想アドレス生成回路21は、端子20を介して
非更新領域情報も与えられており、参照マクロブロック
内の非更新領域を除く部分を示す画面アドレスを生成す
る。仮想アドレス生成回路21は生成した画面アドレスを
物理アドレス生成回路9に出力する。
【0076】物理アドレス生成回路9は、仮想アドレス
生成回路21から与えられた画面アドレスを読出しアドレ
スに変換して、画像メモリ7に順次出力する。これによ
り、画像メモリ7からは、参照マクロブロックのうち非
更新領域を除く部分の復元画像データが読出され、メモ
リデータバス6を介してMBバッファ10,11に転送され
て記憶される。こうして、MBバッファ10,11は、非更
新領域を除く領域のみが更新処理される。
【0077】MBバッファ10,11は予測誤差との加算タ
イミングにおいて、記憶しているデータを予測誤差の画
面上の位置に対応させて読出す。加算器5はIDCT4
からの予測誤差データとMBバッファ10,11からの動き
補償された参照マクロブロックデータとの加算を行っ
て、元の画像を復元する。以後、同様の動作が繰返され
て復号化が行われる。復元された画像データは表示バッ
ファ13から表示順に読出されて、出力端子14を介して出
力される。
【0078】このように、本実施の形態においては、外
部から非更新領域情報を入力することによって、参照マ
クロブロックの画像データのうち非更新領域については
更新処理を行わないようになっており、参照画像の更新
処理に必要なアクセス回数を低減することにより、回路
規模の低減及び復号処理の処理速度の向上を可能にして
いる。
【0079】図6は本発明の他の実施の形態を示すフロ
ーチャートである。
【0080】図5の実施の形態においては、外部入力に
よって設定する非更新領域は任意の領域である。しか
し、非更新領域を任意の領域とすると、画像によっては
復号画像の画質が劣化してしまう。図5の実施の形態に
おいても、非更新領域内の画素であっても共通領域の画
素以外の画素については更新処理することにより、復号
画像の画質が劣化することを防止することができる。本
実施の形態は共通領域のみを更新処理しないようにする
手法を具体的に示したものである。図6において図1と
同一の手順には同一符号を付して説明を省略する。
【0081】本実施の形態は、k番目のマクロブロック
MB(k)と(k+1)番目のマクロブロックMB(k
+1)の動きベクトルM(k),M(k+1)同士の差
分(相対距離)を用いて、共通領域を求めるようにして
いる。
【0082】ステップS31は、マクロブロックMB
(k),MB(k+1)の動きベクトルM(k),M
(k+1)の垂直成分Mv(k),Mv(k+1)の差分dmvと水
平成分Mh(k),Mh(k+1)の差分dmhとを求める処理であ
る。ステップS32は求めた差分dmv,dmhの値が夫々条
件式−n<dmv<n,−2m<dmh<0を満足するか否
かを判断する処理である。
【0083】図7はステップS32の条件式を説明するた
めの説明図である。
【0084】図7の細枠は画面上のマクロブロックを示
している。そして、所定のマクロブロックMB(k)の
参照マクロブロックが太枠で示す参照マクロブロックR
MB(k)であるものとする。動きベクトルの始点をマ
クロブロックの左上端とすると、その終点は参照マクロ
ブロックの左上端である。動きベクトルM(k)は図7
の破線太線によって示している。
【0085】共通領域が存在するためには、参照マクロ
ブロックRMB(k+1)の枠と参照マクロブロックR
MB(k)の枠とが重なる必要がある。つまり、参照マ
クロブロックRMB(k+1)が参照マクロブロックR
MB(k)と共通の領域を有するためには、参照マクロ
ブロックRMB(k+1)の左上端が図7の斜線部内に
存在すればよい。参照マクロブロックRMB(k)の左
上端の位置に対して参照マクロブロックRMB(k+
1)の左上端の位置までの水平及び垂直距離がマクロブ
ロックの画素数以内である場合には共通領域が存在す
る。
【0086】図7の実線太線はマクロブロックMB(k
+1)がマクロブロックMB(k)の動きベクトルM
(k)と同一の動きベクトルを有している場合の動きベ
クトルM(k+1)を示している。この場合の参照マク
ロブロックRMB(k+1)は参照マクロブロックRM
B(k)に隣接した実線太枠で示される。実線太線で示
す動きベクトルM(k+1)の終点を原点として、動き
ベクトルM(k+1),M(k)同士の差分dmv,dmh
が求められる。
【0087】動きベクトルM(k),M(k+1)同士
の差分dmv,dmhが0であっても、水平方向には参照マ
クロブロックRMB(k+1)はマクロブロックの水平
方向画素数分だけ参照マクロブロックRMB(k)から
ずれた位置に位置する。従って、マクロブロックの大き
さをm画素×nラインとすると、参照マクロブロックR
MB(k+1)が参照マクロブロックRMB(k)と共
通の領域を有する条件は、−n<dmv<nで且つ−2m
<dmh<0となる。
【0088】ステップS33は、j番目の画素が非更新領
域内の画素であるか否かを判断する処理である。即ち、
ステップS32,S33の処理によって、j番目の画素が共
通領域の画素であるか否かが判定される。ステップS32
及びステップS33によって共通領域の画素でないと判断
された場合には、処理をステップS15に移行する。ま
た、共通領域の画素であると判断された場合には、ステ
ップS15を経ることなく処理をステップS16に移行す
る。
【0089】また、本実施の形態においては、ハーフペ
ル演算処理は参照画像の更新処理後に行うようになって
いる。1マクロブロック分の参照画像の更新が終了する
と、ステップS17からステップS34に処理が移行する。
ステップS34はハーフペル演算を行う手順である。ハー
フペル演算処理は、動きベクトルが画素間の位置(以
下、半画素位置という)を示している場合に、半画素位
置に隣接する画素同士の演算によって半画素位置の画素
値を求めるものである。ステップS34のハーフペル演算
処理が終了すると、次のステップS18に移行するように
なっている。
【0090】次に、このように構成された実施の形態の
作用について図8及び図9を参照して説明する。
【0091】図6のステップS31ではマクロブロックM
B(k)とマクロブロックMB(k+1)の動きベクト
ルM(k),M(k+1)の差分が求められる。垂直方
向の差分値はdmv=Mv(k)−Mv(k-1)で表され、水平方
向の差分値はdmh=Mh(k)−Mh(k+1)で表される。な
お、Mv(0)=0で、Mh(0)=0であるものとする。
【0092】最初のマクロブロックMB(1)について
は、ステップS13からステップS15に処理を移行して、
j番目の画素が更新される。2番目以降のマクロブロッ
クMB(k)については、先ずステップS32において動
きベクトルの差分値dmv,dmhの値が判定される。−n
<dmv<n,−2m<dmh<0の場合には、参照マクロ
ブロックRMB(k),RMB(k+1)に共通領域が
存在するものとして、処理がステップS33に移行する。
共通領域が存在しない場合には、ステップS15に移行し
て、全画素について更新処理を行う。
【0093】参照マクロブロックRMB(k),RMB
(k+1)相互間に共通領域が存在する場合には、次の
ステップS33において、共通領域が非更新領域内の画素
であるか否かが判定される。共通領域内の画素が予め設
定された非更新領域内の画素である場合には、ステップ
S15の更新処理を行うことなく、ステップS16に処理を
移行する。共通領域内の画素が非更新領域内の画素でな
い場合には、ステップS15でj番目の画素を更新する。
【0094】これにより、共通領域内の画素で且つ非更
新領域内の画素については、更新処理は行われない。
【0095】ステップS17によって1マクロブロックの
更新処理が終了すると、次にステップS34のハーフペル
演算処理が行われる。図8及び図9はハーフペル演算処
理を説明するための説明図である。
【0096】図8は水平方向に隣接したマクロブロック
MB(k),MB(k+1)を順次復号処理する例を示
している。そして、マクロブロックMB(k),MB
(k+1)の動きベクトルが同一であって、参照マクロ
ブロックRMB(k),RMB(k+1)が水平方向に
隣接しているものとする。図9は図8の斜線で示す参照
マクロブロックRMB(k),RMB(k+1)の境界
部分を拡大して示している。参照マクロブロックRMB
(k),RMB(k+1)の境界部においては、半画素
位置の画素を参照したハーフペル演算が必要であるもの
とする。
【0097】図9の○印は通常の画素の位置(以下、整
数画素位置という)の画素を示し、中に黒丸を有する○
印は参照マクロブロックRMB(k)のハーフペル演算
による半画素位置の画素を示し、黒丸印は参照マクロブ
ロックRMB(k+1)のハーフペル演算による半画素
位置の画素を示している。図9に示すように、ブロック
境界近傍の2ラインの6画素を夫々G1 乃至G6 とし、
画素G1 乃至G4 に囲まれた半画素位置の画素をG7 と
し、画素G1 ,G2 ,G5 ,G6 に囲まれた半画素位置
の画素をG8 とする。
【0098】ハーフペル演算においては、同一ライン上
では、水平方向に隣接する整数画素位置の2つの画素を
用いて、これらの2画素の間の半画素位置の画素値が求
められる。また、垂直方向では、垂直方向に隣接する整
数画素位置の2つの画素を用いて、これらの2画素の間
の半画素位置の画素値が求められる。
【0099】更に、水平及び垂直方向に半画素分ずれた
位置の画素値は、水平及び垂直方向に隣接する4つの画
素を用いた演算によって求められる。例えば、参照マク
ロブロックRMB(k)の画素G7 は、整数画素位置の
画素G1 乃至G4 に対するハーフペル演算によって得ら
れる。また、参照マクロブロックRMB(k+1)の画
素G8 は、整数画素位置の画素G1 ,G2 ,G5 ,G6
に対するハーフペル演算によって得られる。
【0100】ステップS34のハーフペル演算処理後に、
ステップS18において予測誤差と参照マクロブロックと
の加算を行うようになっている。以後の作用は図1と同
様である。
【0101】ところで、図6の実施の形態においては、
画素の更新処理の後にハーフペル演算を行っているが、
更新処理前にハーフペル演算を行い、ハーフペル演算後
の参照マクロブロックを更新処理することも考えられ
る。ステップS13,S32,S33の処理後でステップS15
の処理前にハーフペル演算を行うのである。そうする
と、図9の例では、ステップS15の更新処理によって、
参照マクロブロックRMB(k)の例えば画素G7 等の
半画素位置の画素値が得られる。
【0102】しかしながら、そうすると、更新処理後の
画像データとして、参照マクロブロックRMB(k+
1)の画素G8 の画素値を求めるために必要な整数位置
の画素のデータを得ることができない。即ち、この場合
には、この整数位置の画素について再度更新処理を行う
必要があり、アクセス回数が増加してしまう。
【0103】一方、図6の例では、ステップS15の更新
処理によって、参照マクロブロックRMB(k)につい
ては画素G1 乃至G4 が得られ、参照マクロブロックR
MB(k+1)については画素G1 ,G2 ,G5 ,G6
が得られる。参照マクロブロックの境界線上の画素G1
,G2 を2つの参照マクロブロックのハーフペル演算
処理に共有することができる。即ち、この画素G1 ,G
2 の更新処理を省略することができ、アクセス回数を一
層低減することができる。
【0104】なお、この場合には、ステップS32の条件
式は境界部も含むことになる。つまり、水平方向の半画
素を含む場合には、−2m≦dmh≦0となり、垂直方向
の半画素を含む場合には、‐n≦dmv≦nとなる。
【0105】このように本実施の形態においては、図1
と同様の効果を得ることができると共に、ハーフペル演
算処理を行う場合においてアクセス回数を一層低減する
ことができるという効果を有する。
【0106】図10は本発明の他の実施の形態を示すブ
ロック図である。図10において図5と同一の構成要素
には同一符号を付して説明を省略する。
【0107】図6の実施の形態においては、共通領域内
の画素であっても非更新領域内の画素でない場合には、
更新処理を行うようになっている。しかし、共通領域内
の画素は既にMBバッファに格納されているので、更新
処理を行わなくてもよい。本実施の形態は外部からの非
更新領域情報を用いないようになっている。
【0108】本実施の形態は共通領域演算回路32を有す
ると共に、仮想アドレス生成回路21に代えて仮想アドレ
ス生成回路31を設けた点が図5と異なる。なお、内挿回
路12はMBバッファ10,11の前段に設けられている。
【0109】共通領域演算回路32は、VLD2から動き
ベクトルが与えられて、参照マクロブロックRMB
(k),RMB(k+1)の共通領域を検出する。更
に、共通領域演算回路32は、共通領域内で2つの参照マ
クロブロックに共通の画素(以下、共通画素という)を
示す情報を仮想アドレス生成回路31に出力するようにな
っている。仮想アドレス生成回路31は、動きベクトルか
ら求めた参照画像の領域のうちの共通画素以外の画素を
示す画面アドレスを生成する。
【0110】内挿回路12は、メモリデータバス6を介し
て画像メモリ7から参照マクロブロックの画像データを
読出し、ハーフペル演算処理を行って、MBバッファ1
0,11に出力するようになっている。
【0111】内挿回路12をMBバッファ10,11の前段に
設けているので、MBバッファ10,11の容量を1参照マ
クロブロック分のデータを保持することができる容量以
下にすることができる。
【0112】次に、このように構成された実施の形態の
動作について図11を参照して説明する。
【0113】VLD2からの動きベクトルは共通領域演
算回路32に与えられる。共通領域演算回路32は、図6の
ステップS31と同様の演算によって、隣接したマクロブ
ロックが参照した参照マクロブロックRMB(k),R
MB(k+1)の動きベクトルの差分を求め、差分値が
ステップS32の条件を満足しているか否かを判定する。
これにより、参照マクロブロックRMB(k+1)内の
所定の画素が共通領域内の画素であるか否かを判別す
る。
【0114】ところで、内挿回路12は、画像メモリ7に
記憶されている参照マクロブロックの画像データを読出
してハーフペル演算を行う。このため、共通領域演算回
路32は、参照マクロブロックRMB(k+1)内の所定
の画素が共通画素であるか否かを判断するようになって
いる。
【0115】図11は共通領域と共通画素とを説明する
ための説明図である。図11(a)は動き補償の単位が
1画素である例(以下、整数画素精度という)を示し、
図11(b)は動き補償の単位が半画素である例(以
下、半画素精度という)を示している。
【0116】図11の一点鎖線は参照マクロブロックR
MB(k)の境界を示し、実線は参照マクロブロックR
MB(k+1)の境界を示している。図11の○印は参
照マクロブロックRMB(k)内の整数画素位置の画素
を示し、黒丸印は参照マクロブロックRMB(k+1)
内の整数画素位置の画素を示している。図11の斜線部
は共通領域である。
【0117】図11(a)に示す参照マクロブロックR
MB(k),RMB(k+1)の画素データは、いずれ
も整数画素精度の情報を有しており、○印と黒丸とが重
なっている部分が共通画素である。
【0118】一方、図11(b)に示す参照マクロブロ
ックRMB(k)の画素データは整数画素精度のみの情
報を有しているが、マクロブロックMB(k)とマクロ
ブロックMB(k+1)の動きベクトルが1/2画素の
整数倍だけずれていると、図11(b)に示すように、
参照マクロブロックRMB(k+1)は半画素精度の情
報を有する。この場合には、共通領域内に共通画素は存
在しない。
【0119】従って、図11(b)の場合には、内挿回
路12においてハーフペル処理を行うために、参照マクロ
ブロックRMB(k+1)内の全ての画素を更新処理す
る必要がある。
【0120】共通領域演算回路32は、参照マクロブロッ
ク内の共通画素を示す演算結果を仮想アドレス生成回路
31に出力する。仮想アドレス生成回路31は、参照マクロ
ブロックの読出しに際して、共通画素以外の画素を示す
画面アドレスを発生して画像メモリ7の読出しアドレス
として出力する。
【0121】画像メモリ7から読出された参照マクロブ
ロックの画像データは内挿回路12によってハーフペル処
理された後、MBバッファ10,11に与えられて記憶され
る。
【0122】他の作用は図5の実施の形態と同様であ
る。
【0123】このように、本実施の形態においては、共
通画素については更新処理を行う必要がないので、アク
セス回数を低減することができる。
【0124】図12は本発明の他の実施の形態を示すブ
ロック図である。図12において図10と同一の構成要
素には同一符号を付して説明を省略する。
【0125】図10の実施の形態においては、共通領域
内の共通画素のみについて更新処理を省略したが、本実
施の形態は内挿回路12をMBバッファ10,11の後段に設
けることにより、共通領域の画素の全てについて更新処
理を省略するようにしたものである。
【0126】本実施の形態においては、共通領域演算回
路32に代えて共通領域演算回路35を設けると共に、内挿
回路12をMBバッファ10,11の後段に設けた点が図10
の実施の形態と異なる。
【0127】共通領域演算回路35は、VLD2から動き
ベクトルが与えられて、参照マクロブロックRMB
(k),RMB(k+1)の共通領域を検出して検出結
果を仮想アドレス生成回路31に出力するようになってい
る。仮想アドレス生成回路31は、参照マクロブロックの
読出しに際して、共通領域内の全ての画素以外の画素を
示す画面アドレスを発生するようになっている。
【0128】なお、内挿回路12をMBバッファ10,11の
後段に設けているので、MBバッファ10,11の容量は
(n+1)×(m+1)個の画素を保持する容量以上の
容量を有している必要がある。
【0129】次に、このように構成された実施の形態の
動作について図13を参照して説明する。
【0130】図13は共通領域と共通画素とを説明する
ための説明図である。図13は動き補償の単位が半画素
精度である例を示している。図13の一点鎖線は参照マ
クロブロックRMB(k)の境界を示し、実線は参照マ
クロブロックRMB(k+1)の境界を示している。図
13の○印は参照マクロブロックRMB(k)内の整数
画素位置の画素を示し、黒丸印は参照マクロブロックR
MB(k+1)内の整数画素位置の画素を示している。
図13の斜線部は共通領域である。
【0131】VLD2からの動きベクトルは共通領域演
算回路35に与えられる。共通領域演算回路35は、図6の
ステップS31と同様の演算によって、隣接したマクロブ
ロックが参照した参照マクロブロックRMB(k),R
MB(k+1)の動きベクトルの差分を求め、差分値が
ステップS32の条件を満足しているか否かを判定する。
これにより、参照マクロブロックRMB(k+1)内の
所定の画素が共通領域内の画素であるか否かが判別され
る。共通領域演算回路35は、判別結果を仮想アドレス生
成回路31に出力する。
【0132】内挿回路12がMBバッファ10,11の後段に
配置されるので、参照マクロブロックが半画素精度の情
報を含む場合には、MBバッファ10,11には、整数画素
位置の少なくとも(n+1)画素×(m+1)ライン分
の画像データを画像メモリ7から読出す必要がある。即
ち、この場合には、仮想アドレス生成回路31は、参照マ
クロブロックRMB(k+1)の読出しに際して、参照
マクロブロックRMB(k+1)内の共通領域内の画素
と、共通領域に隣接した参照マクロブロックRMB
(k)の境界部分の画素とを除く他の画素を示す画面ア
ドレスを物理アドレス生成回路9に出力する。
【0133】図13は仮想アドレス生成回路31が設定す
る画素を説明するためのものである。
【0134】図13に示す参照マクロブロックRMB
(k+1)の画素データは、半画素精度の情報を有して
おり、共通領域内の境界近傍の画素のハーフペル処理に
は右下り斜線部及び左下り斜線部内の○印の画素を用い
る。従って、内挿回路12が参照マクロブロックRMB
(k+1)のハーフペル処理を行う場合には、図13の
斜線部の○印の画素の画素データがMBバッファ10,11
に保持されている必要があるので、これらの画素データ
については更新処理を行わない。画像メモリ7からは右
斜め及び左下り斜線部内の○印の画素以外の画素の画素
データが読出されてMBバッファ10,11に供給される。
【0135】他の作用は図10と同様である。
【0136】このように、本実施の形態においては、参
照マクロブロックの読出し時のアクセス回数を図10の
実施の形態よりも低減することができる。
【0137】図14は本発明の他の実施の形態を示すブ
ロック図である。図14において図12と同一の構成要
素には同一符号を付して説明を省略する。
【0138】上記各実施の形態においては、加算器5か
ら得られる復元画像を表示タイミングまで一旦画像メモ
リ7に保持する例を説明した。本実施の形態は、加算器
5からの復元画像を復元後にすぐに表示することができ
る場合に対応させたものである。
【0139】本実施の形態はスイッチ51を設けた点が図
12の実施の形態と異なる。スイッチ51は加算器5から
の復元画像データをメモリデータバス6又は表示バッフ
ァ13に供給するようになっている。
【0140】このように構成された実施の形態において
は、加算器5からの復元画像を参照画像として用いる場
合には、スイッチ51は加算器5の出力をメモリデータバ
ス6を介して画像メモリ7に供給する。一方、加算器5
からの復元画像をすぐに表示に用いることができる場合
には、スイッチ51は加算器5の出力を表示バッファ13に
供給する。
【0141】他の作用は図12の実施の形態と同様であ
る。
【0142】このように、本実施の形態においては、全
ての復元画像が画像メモリ7に書込まれるわけではない
ので、画像メモリ7に対するアクセス回数を低減するこ
とができる。
【0143】ところで、上記各実施の形態においては、
2つの参照マクロブロック間で共通領域を有する場合に
更新処理を省略する例を示したが、本発明はこれに限定
されるものではない。例えば、3つ以上の参照マクロブ
ロック間で共通領域を有する場合にも適用することがで
きる。
【0144】図15はこの例を示す説明図である。図1
5は参照マクロブロックRMB(k),RMB(k+
1),RMB(k+2)相互間で共通領域を有する例を
示しており、参照マクロブロックRMB(k),RMB
(k+2)は整数画素精度の情報を有し、参照マクロブ
ロックRMB(k+1)は半画素精度の情報を有してい
る例である。図15の一点鎖線は参照マクロブロックR
MB(k)の境界を示し、破線は参照マクロブロックR
MB(k+1)の境界を示し、実線は参照マクロブロッ
クRMB(k+2)の境界を示している。図15の○印
は参照マクロブロックRMB(k)内の整数画素位置の
画素を示し、黒丸印は参照マクロブロックRMB(k+
1)内の半画素画素位置の画素を示し、小さい○印は参
照マクロブロックRMB(k+2)内の整数画素位置の
画素を示している。図15の縦線部分、右下り斜線部分
及び左下り斜線部分は共通領域である。
【0145】図15の例では、参照マクロブロックRM
B(k+1)の更新処理に際して、縦線及び左下り斜線
部分に示す共通領域以外の画素のみを更新処理する。こ
の場合において、参照マクロブロックRMB(k)内の
右下がり斜線部分の画素についても更新処理を行わな
い。これにより、参照マクロブロックRMB(k+2)
の更新処理に際して、左下り斜線部分の領域内の画素だ
けでなく右下り斜線部分の領域内の画素についても更新
処理を行うことなく、他の画素のみを更新処理すること
が可能となる。
【0146】図16は複数の参照マクロブロック間にお
ける更新処理を説明するための説明図である。
【0147】図16において円で囲った符号は参照マク
ロブロックの番号を示しており、矢印は更新処理を省略
する参照マクロブロック同士の関係を示している。即
ち、図16の例では、参照マクロブロックRMB(k+
1),RMB(k+2)は、いずれも参照マクロブロッ
クRMB(k)との間で共通領域の画素の更新処理を省
略することを示している。また、参照マクロブロックR
MB(k+3)は、参照マクロブロックRMB(k),
RMB(k+2)の2つの参照マクロブロックとの共通
領域の画素の更新処理を省略する。また、参照マクロブ
ロックRMB(k+5),RMB(k+6)は夫々、参
照マクロブロックRMB(k+4),RMB(k+5)
との間で共通領域の画素の更新処理を省略することを示
している。
【0148】このように、本発明においては、復号順が
連続した2つの参照マクロブロック同士で画素の更新処
理を省略するだけでなく、復号順が連続していない参照
マクロブロック同士で画素の更新処理を省略してもよ
く、また、複数の参照マクロブロック同士で画素の更新
処理を省略してもよいことは明らかである。
【0149】更に、本実施の形態においては、フレーム
画像を用いて説明したが、フィールド画像にも適用でき
ることは明らかである。
【0150】
【発明の効果】以上説明したように本発明によれば、画
像メモリのバス占有率を低減することにより、画像メモ
リ他の機能用として兼用することを可能にして、回路規
模を低減することができるという効果を有する。
【図面の簡単な説明】
【図1】本発明に係る動画像復号方法の一実施の形態を
示すフローチャート。
【図2】復号順を説明するための説明図。
【図3】非更新領域及び共通領域を説明するための説明
図。
【図4】図1の実施の形態の動作を説明するための説明
図。
【図5】本発明の他の実施の形態を示すブロック図。
【図6】本発明の他の実施の形態を示すフローチャー
ト。
【図7】共通領域の条件を説明するための説明図。
【図8】図6の実施の形態を説明するための説明図。
【図9】図6の実施の形態を説明するための説明図。
【図10】本発明の他の実施の形態を示すブロック図。
【図11】共通画素を説明するための説明図。
【図12】本発明の他の実施の形態を示すブロック図。
【図13】図12の実施の形態を説明するための説明
図。
【図14】本発明の他の実施の形態を示すブロック図。
【図15】更新処理を省略する共通領域を説明するため
の説明図。
【図16】複数の参照マクロブロック間における更新処
理を説明するための説明図。
【図17】従来の動画像復号装置を示すブロック図。
【図18】図18の従来例の動作を説明するためのフロ
ーチャート。
【符号の説明】
S11…動き情報取得手順、S14…共通領域判定手順、S
15…j番目の画素の更新手順

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 現画像と参照画像との予測誤差を用いた
    動き補償予測符号化によって所定のブロック単位で符号
    化された所定ブロックの符号化信号に対して復号処理を
    行って復号画像を得る復号手順と、 前記復号画像を参照画像として保持する手順と、 保持した参照画像を前記所定ブロックとは異なるブロッ
    クの復号処理に用いるために、所定の非更新領域を除い
    て更新する更新手順とを具備したことを特徴とする動画
    像復号方法。
  2. 【請求項2】 前記更新手順は、前記参照画像が記憶さ
    れた画像メモリからバスを介して読出したデータをバッ
    ファに書込むことによって更新を行うことを特徴とする
    請求項1に記載の動画像復号方法。
  3. 【請求項3】 前記更新手順は、複数のブロックの動き
    補償予測符号化に用いられた複数の参照画像のデータを
    含むデータに更新することを特徴とする請求項1に記載
    の動画像復号方法。
  4. 【請求項4】 前記非更新領域は、任意の領域であるこ
    とを特徴とする請求項1に記載の動画像復号方法。
  5. 【請求項5】 前記非更新領域は、前記所定ブロックの
    動き補償予測符号化において参照した参照画像と前記所
    定ブロックとは異なるブロックの動き補償予測符号化に
    おいて参照した参照画像との共通領域を含むことを特徴
    とする請求項1に記載の動画像復号方法。
  6. 【請求項6】 前記非更新領域は、ハーフペル処理に必
    要な領域を含むことを特徴とする請求項5に記載の動画
    像復号方法。
  7. 【請求項7】 前記共通領域は、前記所定ブロックの動
    き補償予測符号化において参照した参照画像と前記所定
    ブロックとは異なるブロックの動き補償予測符号化にお
    いて参照した参照画像とを夫々示す動きベクトル同士の
    差分が所定の範囲内の値であるか否かによって求められ
    ることを特徴とする請求項5に記載の動画像復号方法。
  8. 【請求項8】 現画像と参照画像との予測誤差を用いた
    動き補償予測符号化によって所定のブロック単位で符号
    化された所定ブロックの符号化信号が入力され、所定の
    復号処理によって復号画像を得る復号手段と、 前記復号画像を参照画像として保持する第1の記憶手段
    と、 この第1の記憶手段に記憶されているデータを読出して
    記憶する第2の記憶手段と、 前記第1の記憶手段が保持した参照画像を前記所定ブロ
    ックとは異なるブロックの復号処理に用いるために読出
    して、所定の非更新領域を除いて前記第2の記憶手段の
    内容を更新する更新手段とを具備したことを特徴とする
    動画像復号装置。
  9. 【請求項9】 前記更新手段は、前記所定ブロックの動
    き補償予測符号化において参照した参照画像と前記所定
    ブロックとは異なるブロックの動き補償予測符号化にお
    いて参照した参照画像との共通領域を非更新領域とする
    ことを特徴とする請求項8に記載の動画像復号装置。
  10. 【請求項10】 前記第2の記憶手段から読出した参照
    画像をハーフペル処理して前記復号手段に供給する内挿
    手段を付加したことを特徴とする請求項8に記載の動画
    像復号装置。
JP1704897A 1997-01-30 1997-01-30 動画像復号方法及び動画像復号装置 Pending JPH10215457A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1704897A JPH10215457A (ja) 1997-01-30 1997-01-30 動画像復号方法及び動画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1704897A JPH10215457A (ja) 1997-01-30 1997-01-30 動画像復号方法及び動画像復号装置

Publications (1)

Publication Number Publication Date
JPH10215457A true JPH10215457A (ja) 1998-08-11

Family

ID=11933117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1704897A Pending JPH10215457A (ja) 1997-01-30 1997-01-30 動画像復号方法及び動画像復号装置

Country Status (1)

Country Link
JP (1) JPH10215457A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000033194A1 (en) * 1998-11-27 2000-06-08 Matsushita Electric Industrial Co., Ltd. Address generating device and moving vector detecting device
KR20020000389A (ko) * 2000-06-24 2002-01-05 박종섭 수신버퍼의 제어장치
WO2008117440A1 (ja) * 2007-03-27 2008-10-02 Fujitsu Limited デコード方法及びデコード装置
JP2008271292A (ja) * 2007-04-23 2008-11-06 Nec Electronics Corp 動き補償装置
JP2010088122A (ja) * 2004-05-14 2010-04-15 Panasonic Corp 動き補償装置、動き補償方法、および集積回路
JP2011061603A (ja) * 2009-09-11 2011-03-24 Toshiba Corp 画像処理装置および画像処理方法
WO2011129067A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 動き補償方法、画像復号方法、画像符号化方法、動き補償装置、プログラム、及び集積回路
JP2012227608A (ja) * 2011-04-15 2012-11-15 Toshiba Corp 画像符号化装置及び画像復号装置
WO2013031071A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 動画像復号装置、動画像復号方法、及び集積回路
WO2013076897A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 画像処理装置および画像処理方法
WO2013118216A1 (ja) * 2012-02-07 2013-08-15 パナソニック株式会社 画像処理装置および画像処理方法
CN111683249A (zh) * 2020-06-24 2020-09-18 湖南国科微电子股份有限公司 数据读取方法、装置、解码器和存储介质

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662288B1 (en) 1998-11-27 2003-12-09 Matsushita Electric Industrial Co., Ltd. Address generating apparatus and motion vector detector
WO2000033194A1 (en) * 1998-11-27 2000-06-08 Matsushita Electric Industrial Co., Ltd. Address generating device and moving vector detecting device
KR20020000389A (ko) * 2000-06-24 2002-01-05 박종섭 수신버퍼의 제어장치
JP2010088122A (ja) * 2004-05-14 2010-04-15 Panasonic Corp 動き補償装置、動き補償方法、および集積回路
US7881376B2 (en) 2004-05-14 2011-02-01 Panasonic Corporation Motion compensation apparatus
JP5182285B2 (ja) * 2007-03-27 2013-04-17 富士通株式会社 デコード方法及びデコード装置
WO2008117440A1 (ja) * 2007-03-27 2008-10-02 Fujitsu Limited デコード方法及びデコード装置
JPWO2008117440A1 (ja) * 2007-03-27 2010-07-08 富士通株式会社 デコード方法及びデコード装置
JP2008271292A (ja) * 2007-04-23 2008-11-06 Nec Electronics Corp 動き補償装置
JP2011061603A (ja) * 2009-09-11 2011-03-24 Toshiba Corp 画像処理装置および画像処理方法
JP5701291B2 (ja) * 2010-04-13 2015-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 動き補償方法、画像復号方法、画像符号化方法、動き補償装置、プログラム、及び集積回路
WO2011129067A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 動き補償方法、画像復号方法、画像符号化方法、動き補償装置、プログラム、及び集積回路
US9100655B2 (en) 2010-04-13 2015-08-04 Panasonic Intellectual Property Corporation Of America Motion compensation method, image decoding method, image coding method, motion compensation apparatus, program, and integrated circuit
JP2012227608A (ja) * 2011-04-15 2012-11-15 Toshiba Corp 画像符号化装置及び画像復号装置
WO2013031071A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 動画像復号装置、動画像復号方法、及び集積回路
WO2013076897A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 画像処理装置および画像処理方法
WO2013118216A1 (ja) * 2012-02-07 2013-08-15 パナソニック株式会社 画像処理装置および画像処理方法
JPWO2013118216A1 (ja) * 2012-02-07 2015-05-11 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
US9743079B2 (en) 2012-02-07 2017-08-22 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method for the collective transfer of prediction parameters between storage units
CN111683249A (zh) * 2020-06-24 2020-09-18 湖南国科微电子股份有限公司 数据读取方法、装置、解码器和存储介质

Similar Documents

Publication Publication Date Title
KR100261072B1 (ko) 디지털 신호처리시스템
US5724446A (en) Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
KR100239260B1 (ko) 화상 디코딩 장치
WO1998042134A1 (en) Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP3031152B2 (ja) 動き予測プロセッサ及び動き予測装置
US6795498B1 (en) Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method
JPH10215457A (ja) 動画像復号方法及び動画像復号装置
US7925120B2 (en) Methods of image processing with reduced memory requirements for video encoder and decoder
US6909750B2 (en) Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
US6539058B1 (en) Methods and apparatus for reducing drift due to averaging in reduced resolution video decoders
US20060140277A1 (en) Method of decoding digital video and digital video decoder system thereof
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
EP2076050B1 (en) Motion estimation apparatus and method for moving picture coding
JP2003348594A (ja) 画像復号装置及び方法
JP2776284B2 (ja) 画像符号化装置
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
JP3262464B2 (ja) 画像復号化装置
JPH10304373A (ja) 動画像復号方法及び動画像復号装置
JPH10200899A (ja) 動画像復号装置及び動画像復号方法
JPH08130741A (ja) 画像復号化装置
JP3161076B2 (ja) 画像信号符号化装置
KR0178199B1 (ko) 특징점을 이용한 동영상의 움직임 벡터 추정장치
JP3228332B2 (ja) 走査変換方法
JPH07203460A (ja) 軌跡表示装置
JP2000156864A (ja) 動画像復号処理装置