JP3123496B2

JP3123496B2 - 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体

Info

Publication number: JP3123496B2
Application number: JP1471498A
Authority: JP
Inventors: 恒平撫原; リースケハンノ
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-01-28
Filing date: 1998-01-28
Publication date: 2001-01-09
Anticipated expiration: 2018-01-28
Also published as: JPH11215509A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動き補償処理方法及
び動き補償処理システム並びにコンピュータによって、
動き推定を用いて圧縮されたビデオの伸長時の動きを補
償する動き補償処理プログラムを記録した記録媒体に関
し、特に圧縮されたビデオ信号の伸長に用いられる動き
補償処理方法及び動き補償処理システム並びにコンピュ
ータによって、動き推定を用いて圧縮されたビデオの伸
長時の動きを補償する動き補償処理プログラムを記録し
た記録媒体に関する。

【０００２】

【従来の技術】現在、音声、オーディオ、静止画像、ビ
デオ等をディジタルデータ化し、ハードディスク、磁気
テープ、ＣＤ―ＲＯＭ、ＤＶＤ―ＲＯＭ等に記録した
り、ネットワークを通じて転送したり、衛星等により放
送した後、再生することが一般的に行われている。これ
らいわゆる「マルチメディアデータ」は膨大であるた
め、圧縮技術を用いてデータ量を削減して記録、転送を
行い、再生時に圧縮されたデータを伸長することが行わ
れる。

【０００３】マルチメディアデータの圧縮時には、圧縮
後のデータの互換性を考慮し、国際標準規格に従ったデ
ータ形式に圧縮することが多い。例えば、単位時間あた
りのデータ量が特に多いビデオの場合、ＩＴＵ―Ｔ勧告
Ｈ．２６１，Ｈ．２６２，Ｈ．２６３あるいはＭＰＥＧ
（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒ
ｏｕｐ）に従ったビットストリームデータ形式が採用さ
れることが多い。現在、正式に制定されているＭＰＥＧ
規格には、ＶＨＳビデオ品質の動画像再生が可能なＭＰ
ＥＧ―１Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１１１７２−
２，“ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ
― ＣｏｄｉｎｇｏｆＭｏｖｉｎｇＰｉｃｔｕ
ｒｅｓａｎｄＡｓｓｏｃｉａｔｅｄＡｕｄｉｏ
ｆｏｒＤｉｇｉｔａｌＳｔｏｒａｇｅＭｅｄｉａ
ｕｐｔｏ１．５Ｍｂｉｔ／ｓ”）、及び放送品質の
動画再生が可能なＭＰＥＧ―２Ｖｉｄｅｏ（ＩＳＯ／Ｉ
ＥＣ１３８１８―２、“ＩｎｆｏｒｍａｔｉｏｎＴｅ
ｃｈｎｏｌｏｇｙ―ＧｅｎｅｒｉｃＣｏｄｉｎｇｏ
ｆＭｏｖｉｎｇＰｉｃｔｕｒｅｓａｎｄＡｓｓｏ
ｃｉａｔｅｄＡｕｄｉｏ”）がある。

【０００４】これらのビデオ圧縮方式は、動き推定（Ｍ
ｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ；以下ＭＥと呼
ぶ）、離散コサイン変換（ＤｉｓｃｒｅｔｅＣｏｓｉ
ｎｅＴｒａｎｓｆｏｒｍ；以下ＤＣＴと呼ぶ）、量子
化（Ｑｕａｎｔｉｚａｔｉｏｎ）、可変長符号化（Ｖａ
ｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）等の操作
により、ビデオのデータ量を数十分の一に圧縮する。圧
縮されたビデオ信号を伸長するときには、これらの逆操
作、すなわち可変長復号（ＶａｒｉａｂｌｅＬｅｎｇ
ｔｈＤｅｃｏｄｉｎｇ）、逆量子化（Ｉｎｖｅｒｓｅ
Ｑｕａｎｔｉｚａｔｉｏｎ）、逆離散コサイン変換
（ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅ
Ｔｒａｎｓｆｏｒｍ；以下ＩＤＣＴと呼ぶ）、動き補償
（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎ；以下ＭＣと
呼ぶ）を行う。

【０００５】これらのビデオ圧縮規格に従ったビデオの
リアルタイム圧縮及び伸長は、多大な演算量を要求する
ため、従来は専用ＬＳＩによって処理されてきた。とこ
ろが最近では、ビデオの伸長処理なら、汎用プロセッサ
上のソフトウェアのみで行えるようになってきている。
これは、ＲＩＳＣ（ＲｅｄｕｃｅｄＩｎｓｔｒｕｃｔ
ｉｏｎＳｅｔＣｏｍｐｕｔｅｒ）技術やスーパース
ケーラ技術等のアーキテクチャ上の工夫や、ＬＳＩ製造
プロセスの微細化により、汎用プロセッサの基本性能が
上がっていること、及びマルチメディアデータの普及に
伴い、汎用プロセッサの命令セットにマルチメディア演
算に特化した専用命令が取り入れられるようになったこ
とによる。このようなマルチメディア専用命令を備えた
汎用プロセッサを採用した機器、例えばマルチメディア
パーソナルコンピュータでは、伸長ソフトウェアをイン
ストールするだけで圧縮されたビデオ信号のリアルタイ
ム再生（伸長及び表示）が可能になり、ビデオ伸長ＬＳ
Ｉを搭載しなくてもよいため、機器の低価格化を図るこ
とができる。

【０００６】一方、家庭用のテレビゲーム機、車載ナビ
ゲーションシステム、インターネット端末等の低価格マ
ルチメディア機器では、現在のところＭＰＥＧ―１クラ
スのビデオのソフトウェアによる伸長は達成されてい
る。しかし、これらの組込機器に用いられるプロセッサ
及びメモリシステムの性能の低さから、ＭＰＥＧ―２ク
ラスのビデオの完全なソフトウェア伸長は達成されてい
ない。したがって、これらの機器でＭＰＥＧ―２クラス
のビデオのリアルタイム再生を行うには、処理の一部を
専用ハードウェアで代替せざるをえない。

【０００７】特に、ビデオ伸長処理で最も処理量を要す
るＭＣ処理では、プロセッサ外部のメモリシステムを頻
繁にアクセスする。頻繁にアクセスが行われるので、低
価格システムでは外部メモリシステムが遅いため、性能
向上のネックとなる。

【０００８】すなわち、パーソナルコンピュータのよう
な高性能システムでは、汎用プロセッサと主記憶である
大容量ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃ
ｃｅｓｓＭｅｍｏｒｙ）の間に２ないし３段の高速な
小容量のバッファメモリ（キャッシュメモリ）を設け、
プロセッサとキャッシュとの間及びキャッシュとＤＲＡ
Ｍとの間を６４〜１２８ビット幅の広いバスで結ぶこと
で、比較的高速かつ大容量のメモリシステムを構成でき
る。しかし、組込機器では、せいぜい１段のキャッシュ
メモリを設け、プロセッサとキャッシュとの間及びキャ
ッシュとＤＲＡＭとの間も１６〜３２ビット幅のバスで
結ぶのみであり、低速なメモリシステムしか得られない
ためである。特に、キャッシュミス発生時、ＤＲＡＭ上
のデータをキャッシュメモリへ転送するための時間が長
く、キャッシュミスペナルティが大きいことが問題とな
る。

【０００９】ここで、ＭＣ処理についてＭＰＥＧビデオ
の例を用いて説明する。ＭＰＥＧビデオでは、Ｂａｒｒ
ｙＧ．Ｈａｓｋｅｌｌらによる“ＤｉｇｉｔａｌＶ
ｉｄｅｏ：ＡｎＩｎｔｒｏｄｕｃｔｉｏｎｔｏ
ＭＰＥＧ―２”，Ｃｈａｐｍａｎ＆Ｈａｌｌ，１９
９７，ＩＳＢＮ０―４１２―０８４１１―２，第８章
（ｐｐ．１４６―１５５）に示されているように、動画
を構成する夫々の画像（ピクチャ；Ｐｉｃｔｕｒｅ）
を、３種類の符号化タイプのうちのいずれかで取扱い圧
縮する。その３種類の符号化タイプとは、Ｉピクチャ
（ＩｎｔｒａＣｏｄｅｄＰｉｃｔｕｒｅ）、Ｐピク
チャ（ＰｒｅｄｉｃｔｉｖｅＣｏｄｅｄＰｉｃｔｕ
ｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ
ＰｒｅｄｉｃｔｉｖｅＣｏｄｅｄＰｉｃｔｕｒ
ｅ）である。

【００１０】これらのうち、Ｐピクチャ及びＢピクチャ
では、ＭＣ処理を行って時間的な冗長性を削減すること
ができ、Ｉピクチャより高い圧縮効率を達成している。
ＭＰＥＧビデオでは、１枚の画像（ピクチャ）をマクロ
ブロック（Ｍａｃｒｏｂｌｏｃｋ）と呼ばれる縦１６画
素、横１６画素の矩形領域に分割して圧縮処理又は伸長
処理を行う。Ｐピクチャ又はＢピクチャ中、ＭＣを行う
かの否かはマクロブロック単位に選択できる。Ｐピクチ
ャ又はＢピクチャの伸長処理において、ＭＣを使用する
マクロブロックを伸長するには、マクロブロックごとに
付加された動きベクトル（ＭｏｔｉｏｎＶｅｃｔｏ
ｒ）が指し示す参照領域のデータを取得する必要があ
る。

【００１１】次に、ＭＰＥＧ―１ビデオ、もしくはＭＰ
ＥＧ―２ビデオフレーム構造フレーム予測におけるＭＣ
の例について図７及び図８を使って説明する。

【００１２】図７は、１個の動きベクトルを使ったＰピ
クチャにおける順方向予測の例である。同図を参照する
と、主記憶６０に現在、伸長処理を行っているＰピクチ
ャ（現在のピクチャ６１）と、ＭＣに用いる参照ピクチ
ャ６２が格納されている。参照ピクチャ６２には、現在
デコード中のピクチャ６１より早く表示するピクチャの
うち、最も近い伸長済みのＩピクチャ又はＰピクチャを
用いる。現在のピクチャ６１の中で、斜線部のマクロブ
ロックの伸長処理を行うものとする。これを現在のマク
ロブロック６３とする。このマクロブロック６３の動き
ベクトルが圧縮されたビットストリーム中でＭＶ１（６
５）のように与えられた場合、動き補償処理の前半で、
参照ピクチャ６２中斜線部で示した縦１６画素、横１６
画素の矩形領域（参照領域６４）のデータを取得し、動
き補償処理の後半の演算に用いる。

【００１３】なお、ビットストリーム上は動きベクトル
の差分が記録されている。このため、前回伸長処理を行
ったマクロブロックの動きベクトルと差分から、処理す
るマクロブロックの動きベクトル（ＭＶ１）６５を復元
する必要がある。

【００１４】図８は、２個の動きベクトルを使ったＢピ
クチャにおける双方向予測の例である。同図を参照する
と、主記憶６０に現在、伸長処理を行っているＢピクチ
ャ（現在のピクチャ７１）と、ＭＣに用いる第２の参照
ピクチャ７２と、第３の参照ピクチャ７３とが格納され
ている。

【００１５】第２の参照ピクチャ７２は、現在デコード
中である現在ピクチャ７１より早く表示するピクチャの
うち最も近い伸長済みのＩピクチャ又はＰピクチャであ
る、また、第３の参照ピクチャ７３は、現在デコード中
のピクチャ７１の後に表示するピクチャのうち最も近い
伸長済みのＩピクチャ又はＰピクチャである。

【００１６】ここでは、現在のピクチャ７１の中で、斜
線部のマクロブロックの伸長処理を行うものとする。こ
れを現在のマクロブロック７４とする。このマクロブロ
ック７４の動きベクトルが圧縮されたビットストリーム
中で第２の動きベクトル（ＭＶ２）７７、第３の動きベ
クトル（ＭＶ３）７８のように与えられた場合、動き補
償処理の前半で、第２の参照ピクチャ７２、第３の参照
ピクチャ７３中、夫々第２の参照領域７５、第３の参照
領域７６として斜線部で示した縦１６画素、横１６画素
の矩形領域のデータを取得して平均し、動き補償処理後
半の演算に用いる。

【００１７】動き補償演算の後半では、ビットストリー
ム上で動きベクトルの次に含まれるＤＣＴ及び量子化さ
れた誤差情報の係数群を取得し、逆量子化及び逆ＤＣＴ
演算を行った後、参照領域のデータと加算する。これら
の演算は、縦８画素、横８画素の「ブロック」単位で行
う。現在最もよく用いられている４：２：０フォーマッ
トの場合、１マクロブロックは輝度信号４ブロック、色
差信号２ブロックの計６ブロックから構成される。

【００１８】図７、図８のいずれの例でも、参照ピクチ
ャ及び伸長処理中のピクチャは、１枚あたり数百キロバ
イトの大きさがあるため、基本的に主記憶であるＤＲＡ
Ｍ上に格納され、必要に応じて一部分がデータキャッシ
ュに保持されることになる。ＭＣ処理では、すでに説明
したように、頻繁に伸長済みのピクチャへの読出しアク
セスを行うため、データキャッシュミスが頻繁に発生
し、データがキャッシュにロードされるまで汎用プロセ
ッサの処理が中断するため、ＭＰＥＧビデオの伸長処理
の速度が低下する。特に、汎用プロセッサの性能にくら
べメモリシステムの性能が相対的に低い組込システムで
この性能低下が顕著である。

【００１９】組込機器向けプロセッサの中には、低速な
メモリシステムでも充分なメモリアクセス性能が得られ
るような機構を組込んだものがある。例えば第９回ＩＥ
ＥＥＨｏｔＣｈｉｐｓシンポジウムで発表された日本
電気製のＶ８３０Ｒ／ＡＶプロセッサ（Ｔｏｍｏｈｉ
ｓａＡｒａｉ他、“ＥｍｂｅｄｄｅｄＭｕｌｔｉｍ
ｅｄｉａＳｕｐｅｒｓｃａｌａｒＲＩＳＣＰｒｏ
ｃｅｓｓｏｒｗｉｔｈＲａｍｂｕｓＩｎｔｅｒｆ
ａｃｅ，”ＩＥＥＥＨｏｔＣｈｉｐｓＳｙｍｐｏｓ
ｉｕｍＩＸ，Ａｕｇ．１９９７）は、「プリロー
ド」命令を持ち、将来必要になることがわかっているデ
ータのアドレスをレジスタファイルからデータキャッシ
ュコントローラに与えている。こうすることで、そのデ
ータがデータキャッシュ上になくても、予め主記憶上か
らデータキャッシュ上にデータをロードしておくことが
できるようになっている。

【００２０】プリロード動作は、プロセッサの演算命令
の実行と並列に動作するため、データロードに必要な時
間を演算時間の裏に隠すことができ、見かけ上のデータ
ロード時間を短縮できる。言い替えれば、将来のデータ
ロード時に起きるはずのデータキャッシュミスを、事前
に「プリロード」命令が発生させ、データキャッシュミ
スからの回復処理を演算命令と並列に行うことで、デー
タキャッシュミスペナルティを削減できる。

【００２１】上述したＶ８３０Ｒ／ＡＶプロセッサの場
合、１回のキャッシュミス処理で１キャッシュライン分
６４バイトのデータを取得するのに、２００ＭＨｚシス
テムクロック換算で約１００クロックもかかる。このた
め、データキャッシュミスペナルティの削減が、全体の
速度向上に貢献する割合は大きい。ＭＰＥＧビデオ伸長
処理では、メモリアクセスが多いために時間がかかって
いるＭＣ部がプリロード命令により高速化できるため、
ＭＰＥＧビデオ伸長処理全体も高速化できると期待され
る。

【００２２】なお、特開平７−２３３８９号公報にも、
動き補償に関する技術が記載されている。

【００２３】

【発明が解決しようとする課題】しかしながら、ＭＰＥ
Ｇビデオ伸長処理の特性により、プリロード命令はその
ままではＭＣの高速化に有効ではない。このことについ
て、以下説明する。

【００２４】図７及び図８で示したように、ＭＣで必要
となる参照領域は動きベクトルにより示される。このた
め、参照領域の画素データを読出すためには動きベクト
ルの値が判明している必要がある。ところが、ＭＰＥＧ
ビデオのビットストリーム上において、符号化された動
きベクトルの差分値とＤＣＴ係数等のブロック層のデー
タは近接している。したがって、動きベクトルが得られ
てから、動きベクトルが指す参照領域のデータと逆ＤＣ
Ｔ結果の演算を始めるまでの時間間隔は短い。よって、
動きベクトルが指す参照領域のデータをキャッシュへプ
リロードするための充分な時間がない。このため、プリ
ロード命令はそのままではＭＣの高速化に有効ではない
のである。

【００２５】ところで、あるマクロブロックのＭＣに必
要なデータを主記憶上から取得するには、最低でも千数
百クロック必要である。例えば、あるマクロブロックの
輝度成分のＭＣ処理のために、図９に示されているよう
に主記憶に割り付けられた縦横１６画素の参照領域を読
出すものとする。図９においては、主記憶６０中に伸長
処理中の現在のピクチャ８１と参照ピクチャ８２とが格
納されている。

【００２６】同図において、現在のピクチャ８１のう
ち、あるマクロブロックである第ｉのマクロブロック８
３をＭＣ処理している最中において、第ｉのマクロブロ
ック８３の動きベクトル（第ｉの動きベクトル８５）
が、参照ピクチャ８２中の斜線で示されている正方形領
域（第ｉの参照領域８４）を指しているものとする。キ
ャッシュライン８６の大きさは例えば６４バイトであ
り、第ｉの参照領域８４の各行は別のキャッシュライン
に位置している。この例では、参照領域は主記憶上で１
６キャッシュライン相当の領域にわたっている。

【００２７】１キャッシュラインの主記憶からキャッシ
ュへのプリロードに１００クロックかかるとすると、こ
の参照領域全体の取得には１６００クロック必要であ
る。実際には輝度成分のほかに色差成分の取得も必要で
あり、双方向予測の場合には２個の参照領域を取得しな
ければならないため、さらに多数のクロックが必要であ
る。一方、あるマクロブロックの動きベクトルが判明し
てから、そのマクロブロックのＭＣ演算の開始までの時
間は数十クロックでしかない。

【００２８】図１０に、Ｃ言語に似た擬似プログラミン
グ言語で記述された、ＭＰＥＧ―２ビデオのマクロブロ
ック層のシンタックスの一部をＩＳＯ／ＩＥＣ１３８１
８−２から抜き出したものを示す。動きベクトルの伸長
処理ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ（）と、ＤＣＴ係数
の伸長処理等を行うブロック層の処理ｂｌｏｃｋ（）と
の間には、１ビットの固定ビット（マーカビット）の読
み捨て処理ｍａｒｋｅｒ＿ｂｉｔと符号化ブロックパタ
ーン３から９ビット（４：２：０フォーマットの場合）
の伸長処理ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒ
ｎ（）とがあるのみで、これらの処理に必要な時間は通
常数十クロックである。

【００２９】ここで、図１１に示されているように、あ
るマクロブロック（第ｉのマクロブロックとする）に対
してＭＣ処理を行う場合を考える。この場合、ＭＣ処理
が開始されると（ステップ９０）、まず第ｉのマクロブ
ロックの動きベクトルＭＶ（ｉ）を伸長する（ステップ
９１）。この動きベクトル判明後にこの参照領域のアド
レスに対してプリロード命令を発行し（ステップ９
２）、主記憶上にあるこの参照領域のデータをデータキ
ャッシュにロードする動作を他の演算動作と並列に行わ
せても、すぐに参照領域のデータをロード（ステップ９
３）し、それを用いて演算する（ステップ９４）。この
ため、プリロード動作と演算が並列に動作するのは、た
かだかこの数十クロックの時間でしかない。よって、最
悪の場合、このマクロブロックの伸長処理に必要な参照
領域の主記憶からの読出しに数千クロックを費やさなけ
ればならない可能性がある点はほとんど改善されないと
いう欠点がある。

【００３０】なお、上述した特開平７−２３３８９号公
報においては、キャッシュメモリを用いておらず、上記
欠点を解決することができない。

【００３１】本発明は上述した従来技術の欠点を解決す
るためになされたものであり、その目的はＭＰＥＧビデ
オの伸長処理で最も処理量の多いＭＣに必要な時間を短
縮し、ＭＰＥＧビデオ伸長処理を高速化することのでき
る動き補償処理方法及び動き補償処理システム並びに動
き補償処理プログラムを記録した記録媒体を提供するこ
とである。

【００３２】

【課題を解決するための手段】本発明による動き補償処
理方法は、動き推定を用いて圧縮されたビデオの伸長時
の動きを補償する動き補償処理方法であって、マクロブ
ロックの動きベクトル伸長処理後に該動きベクトルが指
す参照領域の次に処理対象となる次処理領域に相当する
データを該データが記憶されている主記憶から読出して
キャッシュメモリに格納する格納ステップと、この格納
ステップと並行して前記参照領域のデータに対する演算
を行う演算ステップとを含むことを特徴とする。

【００３３】本発明による動き補償処理システムは、動
き推定を用いて圧縮されたビデオの伸長時の動きを補償
する動き補償処理システムであって、マクロブロックの
動きベクトル伸長処理後に該動きベクトルが指す参照領
域の次に処理対象となる次処理領域に相当するデータを
該データが記憶されている主記憶から読出してキャッシ
ュメモリに格納する格納手段と、この格納ステップと並
行して前記参照領域のデータに対する演算を行う演算手
段とを含むことを特徴とする。

【００３４】本発明による記録媒体は、コンピュータに
よって、動き推定を用いて圧縮されたビデオの伸長時の
動きを補償する動き補償処理プログラムを記録した記録
媒体であって、コンピュータを、マクロブロックの動き
ベクトル伸長処理後に該動きベクトルが指す参照領域の
次に処理対象となる次処理領域に相当するデータを該デ
ータが記憶されている主記憶から読出してキャッシュメ
モリに格納する格納手段、この格納ステップと並行して
前記参照領域のデータに対する演算を行う演算手段、と
して機能させるためのプログラムを記録したことを特徴
とする。

【００３５】要するに本発明では、プリロード機構を備
えた汎用プロセッサにおいて、ＭＣ演算のための主記憶
からのデータ読出し処理をＭＣ処理の演算と並列に行う
ために、そのデータをキャッシュメモリにプリロードす
る。このため、ＭＰＥＧビデオの伸長処理で最も処理量
の多いＭＣに必要な時間を短縮し、ＭＰＥＧビデオ伸長
処理を高速化できるのである。

【００３６】すなわち、主記憶中のビットストリームか
ら、あるマクロブロックの動きベクトルを伸長したら、
主記憶中の参照ピクチャ中、その動きベクトルが指す参
照領域（例えば、縦１６画素、横１６画素）に隣接する
領域のアドレスをデータキャッシュコントローラに与
え、そこのデータをデータキャッシュへプリロードす
る。このマクロブロックの動きベクトルと、次に処理す
るマクロブロックの動きベクトルの差は小さいと仮定す
ると、このプリロードにより、伸長に必要な参照領域の
データが、データキャッシュに存在する確率が高くな
り、データキャッシュミスペナルティを削減できる。

【００３７】

【発明の実施の形態】次に、本発明の実施の一形態につ
いて図面を参照して説明する。

【００３８】図１は本発明による動き補償処理システム
の実施の一形態を示すブロック図である。同図において
は、本システムを実現するための典型的な組込コンピュ
ータシステムのデータパス系が示されている。

【００３９】同図に示されているシステムは、圧縮後の
ビットストリーム、参照ピクチャ及び伸長対象である現
在のピクチャを格納する主記憶１２と、汎用プロセッサ
１１とから構成されている。

【００４０】汎用プロセッサ１１は、動き補償演算のた
めのデータすなわち操作対象となるデータを格納するレ
ジスタファイル１５と、原則としてレジスタファイル１
５上のデータに対して演算処理を行う演算器１６と、主
記憶１２の一部のコピーを保持し高速にレジスタファイ
ル１５へデータを供給するバッファとして動作するデー
タキャッシュ１３と、主記憶１２の一部をデータキャッ
シュ１３に反映する制御を行うデータキャッシュコント
ローラ１４とを含んで構成されている。なお、データキ
ャッシュコントローラ１４は、レジスタファイルからア
ドレスを与えることで、主記憶からデータキャッシュへ
データをプリロードできる機能を有するものとする。

【００４１】実際のシステムでは、図１に示されている
ブロックの他に、命令実行系の構成ブロックが設けられ
ている。そのブロックは主記憶１２上のプログラムを読
出し解読しデータパス系へ指示を与えている。しかし同
ブロックは、簡単化のため省略されている。

【００４２】また、実際のシステムでは、キーボードや
ディスプレイコントローラ等各種の入出力機器が設けら
れる。しかしこれらの機器も、簡単化のため省略されて
いる。

【００４３】ＭＰＥＧビデオ伸長では、主記憶１２に伸
長ソフトウェア、圧縮されたビットストリーム、伸長さ
れたピクチャ並びに伸長作業に必要な中間データが納め
られる。伸長作業は、必要なデータを主記憶１２からレ
ジスタファイル１５にロードし、演算器１６で適当な演
算を施すことで行う。主記憶１２とレジスタファイル１
５の間にはデータキャッシュ１３を配置し、主記憶１２
とレジスタファイル１５間のバッファとして動作させ、
データロードを高速化する。主記憶上１２のどのデータ
を、容量が限られたデータキャッシュ１３に格納するか
はデータキャッシュコントローラ１４が判断する。この
判断は、基本的には自動であるが、後述するプリロード
機構により、ソフトウェアから明示的に指示することも
できる。

【００４４】ソフトウェアが主記憶１２中のあるアドレ
スのデータをレジスタファイル１５にロードしようとし
た場合、そのデータがデータキャッシュ１３中に存在す
れば（キャッシュヒット）、オーバーヘッドなしにその
データが高速転送できる。しかし、そのデータがデータ
キャッシュ１３中に存在しない場合（キャッシュミ
ス）、主記憶１２からデータキャッシュ１３への転送が
必要になり、転送が終わるまで汎用プロセッサ１１の命
令実行パイプラインの動作が停止するというペナルティ
が発生する。ペナルティの量はプロセッサの種類、主記
憶に使用するメモリの種類ほか多種の要因に依存する。
例えば、ＣｏｎｃｕｒｒｅｎｔＲａｍｂｕｓメモリを
主記憶に使用する日本電気製Ｖ８３０Ｒ／ＡＶプロセッ
サの場合、２００ＭＨｚシステムクロック換算で約１０
０クロックである。

【００４５】図１に示す汎用プロセッサ１１は、データ
キャッシュミスペナルティを軽減するため、プリロード
機構を備えるものとする。これは、データアクセスを行
う時よりも充分前に、プリロード命令を実行し、レジス
タファイル１５からデータキャッシュコントローラ１４
にアクセス予定のアドレスを与えれば、データキャッシ
ュ１３中にそのアドレスのデータが存在しないとき、す
なわち、そのアドレスへのデータロード命令がデータキ
ャッシュミスを引起こすと予想されるとき、データキャ
ッシュコントローラ１４が主記憶からデータキャッシュ
へのデータロードを予め行う機構である。これにより、
データキャッシュミスの発生を減らす、あるいは、デー
タキャッシュミスペナルティの量を減らすことができ、
ソフトウェアの実行を高速化できる。ただし、このプリ
ロード機構が有効に働くためには、プリロード命令から
データアクセス命令までの間にプリロード作業が完了で
きる充分な時間間隔があることが必要である。

【００４６】図２には、プリロード機構を有効に用いた
動き補償方法のフローチャートが示されている。同図に
おいて、まず、あるマクロブロック（第ｉのマクロブロ
ックとする）に対するＭＣ処理を開始する（ステップ２
０）。最初に、第ｉのマクロブロックに対する動きベク
トルＭＶ（ｉ）を伸長する（ステップ２１）。その後、
第ｉのマクロブロックのＭＣ処理を続ける前に、ＭＶ
（ｉ）が示す第ｉの参照領域そのものではなく、ＭＶ
（ｉ）が示す参照領域の右側に隣接する縦１６画素、横
１６画素の領域に対するプリロード命令を発行する（ス
テップ２２）。

【００４７】ここで、画素のＸ座標が増える方向を図中
右方向とした。そして、プリロード命令発行後、第ｉの
マクロブロックのＭＣ処理を再開する。具体的には第ｉ
の参照領域のデータをレジスタファイル１５にロードし
（ステップ２３）、ＭＣ演算を行う（ステップ２４）。

【００４８】ピクチャは多数のマクロブロックから構成
されているため、あるマクロブロックの伸長終了後、引
続き右側に隣接するマクロブロックの伸長を行う確率が
高い。そこで、第ｉのマクロブロックの伸長後、第ｉの
マクロブロックの右側に隣接する第（ｉ＋１）のマクロ
ブロックの伸長を行うと仮定する。

【００４９】第（ｉ＋１）番目のマクロブロック伸長時
も（ステップ２６）、最初に第（ｉ＋１）番目のマクロ
ブロックに対する動きベクトルＭＶ（ｉ＋１）を伸長す
る（ステップ２７）。その後、第（ｉ＋１）のマクロブ
ロックのＭＣ処理を続ける前に、ＭＶ（ｉ＋１）が示す
参照領域そのものではなく、ＭＶ（ｉ＋１）が示す参照
領域に隣接する縦１６画素、横１６画素の領域に対する
プリロード命令を発行する。そして、プリロード命令発
行後、第（ｉ＋１）のマクロブロックのＭＣ処理を再開
する。具体的には参照領域（ｉ＋１）のデータをレジス
タにロードし（ステップ２９）、ＭＣ演算を行う（ステ
ップ３０）。

【００５０】本発明の実施例について、図３を参照しな
がら詳細に説明する。

【００５１】図３は、図１の主記憶１２中に格納された
２枚のピクチャにおいて、マクロブロック、参照領域と
キャッシュラインの関係を示したものである。主記憶１
２中に現在伸長処理を行っているピクチャ４１と、その
参照ピクチャ４２として用いられているピクチャが確保
されている。現在処理中のピクチャ４１のうち、第ｉの
マクロブロック４３と、その右側に隣接する第（ｉ＋
１）のマクロブロック４４の伸長を連続して行うものと
する。つまり、現在のマクロブロックの右側に、次のマ
クロブロックが位置しているのである。

【００５２】第ｉのマクロブロック４３の動きベクトル
ＭＶ（ｉ）４８は、参照ピクチャ４２上のある参照領域
（第ｉの参照領域４５）を指しているものとする。第ｉ
の参照領域４５の右に隣接する縦１６画素、横１６画素
の領域４６は、キャッシュライン４７の境界をまたいで
いるものとする。

【００５３】本発明の実施例の動作について、図２及び
図３を参照しながら詳細に説明する。図２において、最
初に、第ｉのマクロブロック４３の伸長を開始する（ス
テップ２０）。まず、動きベクトルＭＶ（ｉ）４８のデ
コードを行い（ステップ２１）、動きベクトルＭＶ
（ｉ）４８が指す参照領域４５に隣接する縦１６画素、
横１６画素の領域４６に対し、プリロード命令を発行す
る（ステップ２２）。次に、動きベクトルＭＶ（ｉ）４
８が指す参照領域４５のデータをレジスタファイル１５
にロードし（ステップ２３）、演算器１６を用いてＭＣ
処理を行う（ステップ２４）。

【００５４】次に、第ｉのマクロブロック４３の右側に
隣接する第（ｉ＋１）のマクロブロック４４の伸長処理
を開始する（ステップ２６）。まず、動きベクトルＭＶ
（ｉ＋１）４９のデコードを行い、動きベクトルＭＶ
（ｉ＋１）４９が指す第（ｉ＋１）の参照領域５０に隣
接する縦１６画素、横１６画素の領域に対し、プリロー
ド命令を発行する。次に、動きベクトルＭＶ（ｉ＋１）
４９が指す第（ｉ＋１）の参照領域５０のデータをレジ
スタファイル１５にロードし（ステップ２９）、演算器
１６を用いてＭＣ処理を行う（ステップ３０）。

【００５５】以上のような動作により、第（ｉ＋１）の
参照領域５０のデータを効率よくデータキャッシュ１３
にプリロードし、第（ｉ＋１）の参照領域５０のデータ
をレジスタファイル１５にロードするときのデータキャ
ッシュミス数を大幅に削減することができる。

【００５６】自然画像の特性から、空間的に近接したマ
クロブロック間の動きベクトルはよく似ていると期待で
きる。言い替えれば、第ｉのマクロブロック４３の動き
ベクトル４８と、第（ｉ＋１）のマクロブロック４４の
動きベクトル４９は同じか非常に近いと期待できる。し
たがって、第ｉのマクロブロック４３の動きベクトル４
８の伸長が完了し、第ｉのマクロブロック４３の伸長処
理で参照される参照領域が４５であると判明した時点
で、隣接する第（ｉ＋１）のマクロブロック４４の伸長
処理で参照される参照領域が４６であると仮定してさし
つかえない。

【００５７】第（ｉ＋１）のマクロブロック４４の伸長
処理で、この仮定通り第ｉの参照領域に隣接する領域４
６のデータが用いられると、この領域のデータはすでに
第ｉのマクロブロック４３の動きベクトル４８が判明し
た直後に発行したプリロード命令によって、データキャ
ッシュ１３にロードされているため、データキャッシュ
１３は必ずヒットし、データキャッシュミスペナルティ
が削減できることになる。

【００５８】第ｉのマクロブロックの動きベクトルの伸
長２１と、第（ｉ＋１）のマクロブロックのＭＣ演算に
用いるデータのロード２９の間には、１マクロブロック
のＭＣ処理が入るため、通常４〜５０００クロックの時
間がある。従って、第ｉのマクロブロックの動きベクト
ルの伸長２１の直後に発行した第（ｉ＋１）のマクロブ
ロックの参照領域と期待される領域へのプリロード命令
は（２２）、第ｉのマクロブロックのＭＣ処理（２３、
２４）と並列に動作し、効率よく第（ｉ＋１）番目のマ
クロブロックのＭＣ処理（２９、３０）で用いられると
期待される参照領域のデータをデータキャッシュ１３に
格納できる。

【００５９】次に、発明の他の実施の形態について図４
を参照して説明する。同図は、参照領域のデータのプリ
ロードのために発行できるプリロード命令の数が比較的
限られる場合のプリロード手法を示したものである。

【００６０】プリロード命令の数が限られる場合には、
以下の場合が考えられる。すなわち、データキャッシュ
コントローラ１４の設計上の制限から同時に扱えるプリ
ロード命令の数が限られる場合、汎用プロセッサ１１が
演算器１６として複数のデータを一括して扱える強力な
マルチメディア専用演算器等を搭載しておりＭＣ演算処
理が比較的短時間で終わる場合、汎用プロセッサ１１が
搭載するメモリインターフェースが低速でＭＣ演算処理
中にすべての参照領域がプリロードできない場合等であ
る。

【００６１】同図では、第ｉのマクロブロック４３の伸
長時に発行するプリロード命令の対象を、第ｉのマクロ
ブロックの端部を除く中央部分付近のキャッシュライン
に限定している。これは、同時に発行できるプリロード
命令の数が少ないときに、以後第（ｉ＋１）のマクロブ
ロック４４のＭＣ処理で用いられる可能性が少しでも高
いデータをデータキャッシュ１３にプリロードするため
である。

【００６２】図５、図６に示されているように、隣接す
るマクロブロック間で動きベクトルが完全に同じではな
くてわずかに変化した場合を考える。図５は、第（ｉ＋
１）のマクロブロックの動きベクトルＭＶ（ｉ＋１）４
９が、第ｉのマクロブロック４３の動きベクトルＭＶ
（ｉ）４８よりわずかに上方を指していた場合を示す図
である。一方、図６は、第（ｉ＋１）のマクロブロック
の動きベクトルＭＶ（ｉ＋１）４９が、第ｉのマクロブ
ロック４３の動きベクトルＭＶ（ｉ）４８よりわずかに
下方を指していた場合を示す図である。

【００６３】第ｉのマクロブロック４３に隣接する領域
のうち、中央線５１をプリロード対象の領域５２とすれ
ば、この領域は第（ｉ＋１）のマクロブロックのＭＣ処
理で用いられる。しかし、その上下の部分は参照領域と
して用いられなくなる。このため、プリロード命令の対
象を、第ｉのマクロブロックの端部を除く中央部分付近
のキャッシュラインに限定することができるのである。

【００６４】以上のようにプリロードを行えば、ＭＰＥ
Ｇビデオ伸長処理で最も処理量が多いＭＣ処理時の参照
領域のデータ読出しを、効率よくＭＣ処理の演算と並列
化でき、ＭＰＥＧビデオ伸長処理を高速化できる。その
結果、ＭＰＥＧビデオ伸長専用ＬＳＩを用いなくても、
汎用プロセッサと本発明を用いたソフトウェアの組合せ
で、ＭＰＥＧビデオ伸長処理が実現でき、機器の低価格
化、低電力化、小型化が図れる。

【００６５】なお、以上説明した図２〜図６の処理を実
現するためのプログラムを記録した記録媒体を用意し、
これを用いて図１の各部を制御すれば、上述と同様のＭ
ＰＥＧビデオ伸長処理を行うことができることは明白で
ある。この記録媒体には、図１中に示されていない半導
体メモリ、磁気ディスク装置の他、種々の記録媒体を用
いることができる。

【００６６】また、同記録媒体に記録されているプログ
ラムによってコンピュータを制御すれば、上述と同様に
ＭＰＥＧビデオ伸長処理を行うことができることは明白
である。この記録媒体には、半導体メモリ、磁気ディス
ク装置の他、種々の記録媒体を用いることができる。

【００６７】請求項の記載に関連して本発明は更に次の
態様をとりうる。

【００６８】（１）前記参照領域は、１辺が１６画素か
らなる正方形の領域であることを特徴とする請求項１〜
５のいずれかに記載の動き補償処理方法。

【００６９】（２）前記参照領域は、１辺が１６画素か
らなる正方形の領域であることを特徴とする請求項６〜
１０のいずれかに記載の動き補償処理システム。

【００７０】（３）前記参照領域は、１辺が１６画素か
らなる正方形の領域であることを特徴とする請求項１１
〜１５のいずれかに記載の記録媒体。

【００７１】

【発明の効果】以上説明したように本発明は、ＭＰＥＧ
ビデオ伸長処理で最も処理量が多いＭＣ処理時の参照領
域のデータ読出しを、効率よくＭＣ処理の演算と並列化
し、ＭＰＥＧビデオ伸長処理を高速化することにより、
ＭＰＥＧビデオ伸長専用ＬＳＩを用いなくても、汎用プ
ロセッサと本発明を用いたソフトウェアの組合せで、Ｍ
ＰＥＧビデオ伸長処理が実現でき、機器の低価格化、低
電力化、小型化が図れるという効果がある。

【図面の簡単な説明】

【図１】本発明による動き補償処理システムの実施の一
形態の構成を表すブロック図である。

【図２】本発明の動き補償処理方法の実施の一形態にお
けるプリロード手法を示すフローチャートである。

【図３】本発明の動き補償処理方法におけるプリロード
領域を示す図である。

【図４】本発明の動き補償処理方法の実施の他の形態に
おけるプリロード手法を示すフローチャートである。

【図５】図４のプリロード手法による効果を示す図であ
る。

【図６】図４のプリロード手法による効果を示す他の図
である。

【図７】順方向動き補償を説明するための図である。

【図８】双方向動き補償を説明するための図である。

【図９】ＭＰＥＧ−２ビデオマクロブロック層の伸長手
順を示す図である。

【図１０】主記憶上での参照領域とキャッシュラインと
の関係を示す図である。

【図１１】従来のプリロード手法を示すフローチャート
である。

【符号の説明】

１１汎用プロセッサ１２，６０主記憶１３データキャッシュ１４データキャッシュコントローラ１５レジスタファイル１６演算器４１，６１現在のピクチャ４２，６２，７２，７３，８２参照ピクチャ４３，８３第ｉのマクロブロック４４第（ｉ＋１）のマクロブロック４５，８４第ｉの参照領域４６第ｉの参照領域に隣接する領域４７キャッシュライン４８動きベクトルＭＶ（ｉ）４９動きベクトルＭＶ（ｉ＋１）５０第（ｉ＋１）の参照領域５１中央線５２プリロード領域６３，７４現在のマクロブロック６４，７５，７６参照領域６５，７７，７８動きベクトル７１、８１現在のピクチャ８５第ｉの動きベクトル８６キャッシュライン

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】動き推定を用いて圧縮されたビデオの伸
長時の動きを補償する動き補償処理方法であって、マク
ロブロックの動きベクトル伸長処理後に該動きベクトル
が指す参照領域の次に処理対象となる次処理領域に相当
するデータを該データが記憶されている主記憶から読出
してキャッシュメモリに格納する格納ステップと、この
格納ステップと並行して前記参照領域のデータに対する
演算を行う演算ステップとを含むことを特徴とする動き
補償処理方法。
【請求項２】前記格納ステップにおいては、前記次処
理領域に相当するデータについて前記主記憶から前記キ
ャッシュへのデータのプリロード命令を発行することを
特徴とする請求項１記載の動き補償処理方法。
【請求項３】前記次処理領域は、前記参照領域のデー
タ量と等しいデータ量を有することを特徴とする請求項
１又は２記載の動き補償処理方法。
【請求項４】前記次処理領域は、前記参照領域のデー
タ量より小なるデータ量を有することを特徴とする請求
項１又は２記載の動き補償処理方法。
【請求項５】前記次処理領域は、前記参照領域に隣接
する領域のうち端部を除く中央部分の領域であることを
特徴とする請求項４記載の動き補償処理方法。
【請求項６】動き推定を用いて圧縮されたビデオの伸
長時の動きを補償する動き補償処理システムであって、
マクロブロックの動きベクトル伸長処理後に該動きベク
トルが指す参照領域の次に処理対象となる次処理領域に
相当するデータを該データが記憶されている主記憶から
読出してキャッシュメモリに格納する格納手段と、この
格納ステップと並行して前記参照領域のデータに対する
演算を行う演算手段とを含むことを特徴とする動き補償
処理システム。
【請求項７】前記格納手段は、前記次処理領域に相当
するデータについて前記主記憶から前記キャッシュへの
データのプリロード命令を発行することを特徴とする請
求項６記載の動き補償処理システム。
【請求項８】前記次処理領域は、前記参照領域のデー
タ量と等しいデータ量を有することを特徴とする請求項
６又は７記載の動き補償処理システム。
【請求項９】前記次処理領域は、前記参照領域のデー
タ量より小なるデータ量を有することを特徴とする請求
項６又は７記載の動き補償処理システム。
【請求項１０】前記次処理領域は、前記参照領域に隣
接する領域のうち端部を除く中央部分の領域であること
を特徴とする請求項９記載の動き補償処理システム。
【請求項１１】コンピュータによって、動き推定を用
いて圧縮されたビデオの伸長時の動きを補償する動き補
償処理プログラムを記録した記録媒体であって、コンピ
ュータを、マクロブロックの動きベクトル伸長処理後に
該動きベクトルが指す参照領域の次に処理対象となる次
処理領域に相当するデータを該データが記憶されている
主記憶から読出してキャッシュメモリに格納する格納手
段、この格納ステップと並行して前記参照領域のデータ
に対する演算を行う演算手段、として機能させるための
プログラムを記録したことを特徴とする記録媒体。
【請求項１２】前記格納手段は、前記次処理領域に相
当するデータについて前記主記憶から前記キャッシュへ
のデータのプリロード命令を発行することを特徴とする
請求項１１記載の記録媒体。
【請求項１３】前記次処理領域は、前記参照領域のデ
ータ量と等しいデータ量を有することを特徴とする請求
項１１又は１２記載の記録媒体。
【請求項１４】前記次処理領域は、前記参照領域のデ
ータ量より小なるデータ量を有することを特徴とする請
求項１１又は１２記載の記録媒体。
【請求項１５】前記次処理領域は、前記参照領域に隣
接する領域のうち端部を除く中央部分の領域であること
を特徴とする請求項１４記載の記録媒体。