JPH1188886A - 圧縮動画像信号のデコード装置 - Google Patents
圧縮動画像信号のデコード装置Info
- Publication number
- JPH1188886A JPH1188886A JP23719297A JP23719297A JPH1188886A JP H1188886 A JPH1188886 A JP H1188886A JP 23719297 A JP23719297 A JP 23719297A JP 23719297 A JP23719297 A JP 23719297A JP H1188886 A JPH1188886 A JP H1188886A
- Authority
- JP
- Japan
- Prior art keywords
- block
- picture
- data
- motion compensation
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/427—Display on the fly, e.g. simultaneous writing to and reading from decoding memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
インテグレーションの際のチップ面積の増大とコスト上
昇を抑え、バスのバンド幅を削減する。 【解決手段】 MPEG方式による圧縮動画像信号をブ
ロックレベルへデコード処理した後のデータに対してブ
ロック単位での圧縮を行うブロック圧縮器35及び59
と、これらブロック圧縮器によって圧縮されてメモリ3
7に書き込まれる圧縮データのブロック単位でのアドレ
ス情報を保持するブロックアドレステーブル38と、メ
モリ37内の圧縮データを読み出してブロック伸張する
ブロック伸張器46,48,50とを有し、実際の表示
の時刻及び動き補償演算の時刻において、必要とされる
圧縮データをメモリ37から読み出して伸張し、際の表
示及び動き補償演算のために使用する。
Description
縮、特にいわゆるMPEGのようにフレーム間での予測
を利用する圧縮方式による圧縮符号化(エンコード)が
施された圧縮動画像信号を伸張復号化するデコード装置
に関する。
PEGのビデオ(以下簡単のためMPEGと呼ぶ)の圧
縮においては、3つのタイプのフレーム(ピクチャ)が
存在する。I−ピクチャは、イントラピクチャと呼ば
れ、このフレームにはフレーム間予測は行われず、圧縮
処理はこのフレーム内で閉じて実行される。このためI
−ピクチャは他のフレームのデータを必要とすることな
くデコードすることが可能である。一方、P−ピクチャ
とB−ピクチャはフレーム間予測を行うフレームであ
り、P−ピクチャはこのフレームより前のI−ピクチャ
またはP−ピクチャより前方予測を行うものである。B
−ピクチャは、当該フレームの前のI−ピクチャあるい
はP−ピクチャからの前方予測に加え、このフレームよ
り後のフレームからの後方予測も行う。すなわち、この
B−ピクチャの場合は、前方予測、後方予測、両方向予
測の何れかが行われる。なお、MPEGとは、国際標準
化機構/国際電機標準会議 合同技術委員会1/専門部
会 29(ISO/IEC JTC1/SC29(International Organizat
ion for Stan-dardization/International Electrotech
nical Commission, Joint Technical Commitee 1/Sub C
ommitee 29:)の蓄積用動画像符号化の検討組織の略称
であり、MPEG1標準としてISO11172が、M
PEG2標準としてISO13818がある。これらの
国際標準において、システム多重化の項目でISO11
172−1及びISO13818−1が、映像符号化の
項目でISO11172−2及びISO13818−2
が、音声符号化の項目でISO11172−3及びIS
O13818−3が、それぞれ標準化されている。
存関係の例を示す。
4は表示順に並んだフレーム(ピクチャ)を表してお
り、左から右に付随した番号順に表示が行われる。図中
の”I”はI−ピクチャを、”P”はP−ピクチャ
を、”B”はB−ピクチャを表し、図中の矢印は予測の
方向を表している。I1は表示番号1のI−ピクチャで
あり、当該フレームのデコードはこのフレーム内で閉じ
て行われる。P4は表示番号4のP−ピクチャで、この
フレームのデコードのためにはI1のフレームのデコー
ド結果を動きベクター(Motion Vector:
動きベクトル)によって読み出し、演算を行う必要があ
る。B2は両方向予測を行う表示番号2のB−ピクチャ
で、I1のフレームのデコード結果とP4のフレームの
デコード結果により、フレーム間予測の演算(すなわち
動き補償演算)を行って、画像を復元する。
必要なデータについて、時間軸を元に表している。
ータは当該I1自身のフレームのデコードのためだけで
はなく、B2、B3、P4の各フレームでの動き補償
(Motion Compensation:MC)の
処理でも必要となる。B2、B3などのB−ピクチャの
デコードのためには、それら自身のデータに加え、P4
のフレームのデータも必要となる。P−ピクチャである
P4のフレームは、図に示すようにB2、B3、P4、
B5、B6のフレームのデコード処理で必要となる。こ
れらB−ピクチャのデコードの際に必要となるI−ピク
チャやP−ピクチャのデコードは、当該B−ピクチャの
デコードが行われる時刻より前に実行され、また、当該
B−ピクチャのデコードの間中、保持されていなければ
ならない。この図10より明らかなようにB−ピクチャ
も含めると、一時に、最大3フレーム分のデータの保持
が必要となる。これらのフレーム用のバッファメモリ
は、大きなメモリ領域を必要とし、通常、これらは外部
メモリとしてデコーダに付随して使用される。
処理の時間関係の例を示している。
にて示す時間はデコードのタイミングで、下段の指示符
号T2にて表す時間は表示のタイミングである。この例
ではデコードと表示の時間のずれがI−ピクチャで1.
5フレーム(図中T3にて示す時間)、B−ピクチャで
0.5フレーム(図中T4にて示す時間)の遅れがある
ものを例として示した。図中のA5にて示す矢印は、デ
コードのフレームと表示のフレームの対応を示したもの
である。前記図10からも明らかなように、図11のI
1のフレームのデコード結果は、I1のフレームの表示
のタイミングだけではなく、P4、B2、B3のフレー
ムのデコードのタイミングでも必要であり、この期間、
I1のフレームのデコード結果を保持しておく必要があ
る。P4のフレームは、当該P4のフレームの表示のタ
イミングとB2、B3、P7、B5などのフレームのデ
コード処理でも必要で、この期間保持される。B−ピク
チャに関しては、1フレームをバッファリングする方式
と、その一部のみを保持する方式があるが、どちらも大
きなメモリ領域を必要とする。
成例を示す。
トリームが端子6を介してMPEGデコーダ7に入力さ
れると、先ずデマルチプレクサ8でオーディオ、ビデオ
などのビットストリームに分解され、信号線9、バス1
0、信号線11を経てメモリインターフェース回路12
により、一旦外付けのメモリ13の領域14に書き込ま
れる。ここで信号線15は、デコーダ7とメモリ13間
のデーターバス、アドレス信号線などを表している。な
お、図12ではオーディオなどの処理を行う構成につい
ては省略している。
出されたビデオのビットストリームは、メモリインター
フェース回路12、信号線11、バス10、信号線16
を経てビデオデコーダ17に入力される。
として、ヘッダの解析と可変長符号のデコードを行うヘ
ッダ/VLD回路18、逆量子化(IQ)器19、逆コ
サイン変換(IDCT)器20、動き補償を行う動き補
償(MC)器21などがある。
て読み出されたリファレンス画像が信号線22を介して
入力され、当該動き補償器21にて再構成された出力画
像は信号線23、バス10、信号線11、メモリインタ
ーフェース回路12を経て外付けメモリ13内の領域に
書き込まれる。例えばデコードされたI−ピクチャ、P
−ピクチャ、およびB−ピクチャの各画像は、外付けメ
モリ13のそれぞれ指定された領域24、25、26に
書き込まれる。これらの領域の大きさはそれぞれ1フレ
ーム分必要であり、外付けメモリ13のサイズはかなり
大きなものが必要となる。なお、I−ピクチャのための
領域24は、P−ピクチャのためにも利用される。
タは、前記図11に示した表示タイミングで読み出さ
れ、信号線27を経て表示用のディスプレイ回路28へ
送られ、画像データとして端子29から出力される。ま
た、この外付けメモリ13内のI−ピクチャのデータ
は、図11のタイミングでB−ピクチャあるいはP−ピ
クチャのデコードのためにも読み出される。P−ピクチ
ャのデータも同様に表示のため、B−ピクチャのデコー
ドのために読み出される。B−ピクチャに関しては、本
例では1フレーム分の領域を確保したものを示したが、
ここからは表示のタイミングで読み出しが行われる。
は、各種のデータ圧縮技術の組み合わせにより、高品
質、高圧縮率の画像圧縮を実現している。そのなかで、
フレーム間の予測は最も重要な技術の一つである。フレ
ーム間予測方式では、動きベクターにより、現在デコー
ド中のブロックに最も近いブロックを前フレームあるい
は後フレームから切り出し、これらの差分を計算し、こ
の結果を圧縮するというものだが、このフレーム間予測
により圧縮されたビットストリームのデコードのために
は、本質的に前にデコードされたフレームデータの保持
が必要となり、必要なメモリ容量が増大する。
コードされた画像データを少なくとも3フレーム分蓄え
る必要があり、大きな領域の外付けメモリ13が必要と
なる。例えば、MPEGにおけるメインレベル(Mai
n Level(ML))のデコーダでは、16Mビッ
ト程度の外付けメモリ13が必要となり、またチップへ
のインテグレーションの際に大きなチップ面積が必要
で、大幅なコストアップとなる。さらに大きな画像サイ
ズであるハイレベル(High Level(HL))
のデコーダでは、フレームサイズが4〜6倍となり、必
要となるメモリサイズも格段に大きくなる。このハイレ
ベル(HL)のデコーダを外付けメモリ13で実現する
際には、デコーダ7と外付けメモリ13との間のバスの
バンド幅が問題になる。また、チップ上にインテグレー
ションする場合には、そのサイズが大きく、実現は難し
い。
なされたものであり、メモリ容量の増大を防ぎ、また、
チップへのインテグレーションの際のチップ面積の増大
とコスト上昇を抑え、バスのバンド幅をも削減できる、
圧縮動画像信号のデコード装置を提供することを目的と
する。
のデコード装置は、フレーム間予測を行って圧縮された
圧縮動画像信号をデコードするものであり、圧縮動画像
信号をブロックレベルへデコード処理した後のデータに
対してブロック単位で圧縮し、この圧縮されてメモリに
書き込まれる圧縮データのブロック単位でのアドレス情
報を保持し、当該メモリ内の圧縮データを読み出してブ
ロック単位で伸張し、実際の表示の時刻及び動き補償演
算の時刻において、必要とされる圧縮データをメモリか
ら読み出して伸張し、実際の表示及び動き補償演算のた
めに使用するようにしたことにより、上述した課題を解
決する。
コードされたデータを再度他の方法で圧縮し、必要なと
きに伸張するようにしたことにより、必要となるメモリ
の削減を実現するようにしている。言い換えれば、メモ
リに蓄えるべきフレームデータを一旦圧縮し、後に必要
となった際に読み出して、表示や演算に使用するように
しているため、フレームデータの保持のためのメモリサ
イズが大幅に削減され、チップ上へのメモリのインテグ
レーションも可能となり、また、高画素数化の場合であ
ってもメモリサイズの増加を行うことなく実現可能とな
っている。
態について、図面を参照しながら説明する。
明を行う前に、本発明の基本的な構成及び動作原理の説
明を行う。
際規格であるMPEG等のように、フレーム間予測によ
る圧縮方式にて処理された圧縮動画像信号をデコードす
るシステムであり、デコードされたフレームデータを保
持するためのメモリサイズを削減することを可能にする
ものである。
EG等のデコードの際に、MPEG等のアルゴリズムに
基づいて一旦デコードされたデータを再び別のアルゴリ
ズムで圧縮してメモリに蓄えておき、その後の動き補償
演算等のデコードの動作或いは表示の動作において、こ
れらのデータが必要となったタイミングで、これらの別
のアルゴリズムで圧縮されて保持されているデータを読
み出して伸張してから、上記動き補償や表示のために使
用するようにしている。このように、本発明の構成で
は、MPEGのデコードされた結果をそのままメモリに
保持するのではなく、当該デコードされたデータに対し
て後段の処理に適した圧縮を施して保持しておくこと
で、メモリの保持すべきデータの量の削減を行い、メモ
リサイズの削減を実現する。また、上記別のアルゴリズ
ムで圧縮されたデータを保持するメモリは、外付けメモ
リ、チップ上のメモリの何れであってもよい。
においては、フレーム間予測により、フレーム間のデー
タが依存しあっている。また1フレーム内でも、スライ
ス(Slice)レベルではその独立性がある程度保た
れているが、これより細かなマクロブロック(Macr
oblock)レベルあるいはブロック(Block)
レベルではこれらの間にデータの依存関係があり、独立
したものではない。例えば、DC成分のブロック間の差
分処理などにより、スライス内のあるマクロブロック/
ブロックの処理のためにはスライスの先頭からの処理が
必要となるなど、局所的な圧縮アルゴリズムとは言い難
い。
データとして蓄えられたデータは、表示のためと動き補
償のために読み出される。表示の際には、ラスタースキ
ャンすなわち水平方向に1ラインづつの読み出しが行わ
れ、一方、動き補償の際には、動きベクターに従ってブ
ロック単位でランダムな読み出しが必要となる。
外付けメモリに保持された圧縮されたデータに局所的で
ない依存性があると、必要となるデータの伸張の際、大
量のデータの読み出しと長いステップのデコード動作と
が必要となり、したがって、動作スピードや読み出しデ
ータ量の観点からも、この圧縮は局所的であることが望
ましい。
mpensation:MC)のために必要なブロック
データについて説明するための図を示している。基本と
なるMPEGの8×8画素のブロックを指示符号30
に、動き補償のために必要となる17×17画素のブロ
ックの読み出し領域を指示符号31に示している。動き
補償のためのブロック31の領域は動きベクターの値に
よって任意に変わるため、8×8のブロック30とは独
立した位置からの読み出しが必要となる。また、半画素
単位でのデータが必要なため、マクロブロックのサイズ
16×16画素より水平、垂直とも1画素づつ大きなブ
ロックの読み出しが必要となる。このようなデータを獲
得するに当たり、局所的でない圧縮が行われると、大き
な領域のデータの確保とそのデコード、そして必要なデ
ータの切り出しが必要となり、効率ではない。
じた圧縮方式をベースにしている。しかしながら、本発
明の適用はこのような8×8画素のブロック単位での圧
縮に限るものではなく、局所的なアルゴリズムであれば
使用可能である。圧縮という観点からいえば局所性と演
算効率は相反するもので、システムでの効率を考えて選
択される。
求仕様をまとめると、以下の(1)〜(4)のようにな
る。
であること。
装置を必要とするため。
る。
は、システムの要求レベルや実現方法に依存する。コサ
イン変換と可変長符号の組み合わせなどや、より簡単な
アダマール変換などの適用が可能である。現在までの種
々の圧縮アルゴリズムが提案、実用化されており、これ
らの中から、あるいはこれらを組み合わせて適切なアル
ゴリズムが選択される。
な内容の説明を行う。
PEGを例に取り上げているが、本発明はMPEGに限
るものではなく、同様の考えを持つ他のいかなる圧縮方
式にも適応できるものである。すなわち、フレーム間予
測方式のように、一旦デコードされたデータを後で再度
使用するような各種の圧縮方式に適用できるものであ
る。また、本実施の形態の説明では、簡単のため、フレ
ーム単位での表示及び処理であるプログレッシブ方式を
中心に説明し、インターレースの場合については簡単に
触れたのみとなっているが、インターレースでは単にフ
ィールドでのデータの保存、処理が必要となるのみであ
る。さらに、同一フレーム内のフィールドでの表示時間
のずれを補正するには、圧縮された形でのデータの保持
か、表示の際にフィールドデータの処理を行うのみであ
る。
の概略構成を図2に示す。
MPEGビデオのビットストリーム32は、先ずプリデ
コーダ33でMPEGのアルゴリズムに準じたデコード
処理が行われる。このときどこまでデコードが行われる
かは、システムによって、あるいはその後の圧縮アルゴ
リズムに依存するが、8×8画素のブロック単位での閉
じた圧縮が可能なレベルまではデコードされる。図2の
例では、P−ピクチャおよびB−ピクチャについては動
き補償の前までのデコード処理とし、後段で動き補償の
演算が行われる例を示した。
は、上記MPEGのアルゴリズムとは異なるアルゴリズ
ムを用いたブロック単位での圧縮を行うブロック圧縮器
34によって圧縮され、信号線35とバス36及び信号
線44を経由してメモリ37に書き込まれる。このと
き、P−ピクチャやB−ピクチャでの動きベクターなど
の情報は、パラメータとして圧縮ストリームに挿入され
る。なお、この段階での圧縮に可変長符号が使用された
際には、ブロック境界が固定ではないのでブロックアド
レステーブル38にそのブロックのデータの先頭アドレ
ス、長さなどが信号線43を通して記録される。
必要なブロックアドレスのデータの場所を探す際には、
ブロック検索エンジン39を使用してブロックアドレス
テーブル38の検索を行い、そのブロックの先頭アドレ
スを獲得してから上記メモリ37からの読み出しが実行
される。
例ではI/P−ピクチャ用バッファ40、P−ピクチャ
用バッファ41、B−ピクチャ用バッファ42が存在す
る。これらは信号線44を通してバス36に接続されて
おり、データの読み書きが行われる。
ロック圧縮が行われた後のI−ピクチャ、P−ピクチャ
およびB−ピクチャの圧縮データは、それぞれメモリ3
7内の対応する場所に書き込まれる。
記メモリ37に保存されているI−ピクチャの圧縮デー
タが読み出され、信号線44とバス44及び信号線47
を通してブロック伸張器48に送られ、上記ブロック圧
縮器34での圧縮アルゴリズムに対応する伸張処理が行
われる。このブロック伸張器48にて伸張されたI−ピ
クチャのデータは、信号線52を通ってセレクタ58に
送られて選択され、さらに信号線61を通してラインバ
ッファ62に送られる。本発明の例では、8×8のブロ
ックを圧縮の基本単位としているため、ブロック伸張器
48で伸張されたI−ピクチャの8×8の画素データが
ラインバッファ62に蓄えられる。このラインバッファ
62からは、上記蓄えられた画素データがラスタスキャ
ン順に読み出されて信号線63を介してディスプレイ化
64に送られる。このディスプレイ回路64では、上記
供給されたデータから表示用のビデオ信号を生成し、こ
のビデオ信号が端子65から出力される。
上記メモリ37のP−ピクチャ用バッファ41あるいは
I/Pピクチャ用バッファ40から、P−ピクチャの圧
縮データが読み出され、先ずブロック伸張器48に送ら
れてブロック伸張処理される。また、このとき動きベク
ターも復元され、当該Pーピクチャのデコードに使用さ
れるリファレンスフレームとして必要なI−ピクチャ
(P−ピクチャの場合もある)の圧縮データも、上記メ
モリ37から読み出される。次いで、上記復元された動
きベクターの値から、上記リファレンスフレーム内の必
要なブロック番号が選択され、ブロック検索エンジン3
9によってブロックアドレステーブル38から対応する
ブロックのメモリ37上でのアドレスを得る。このアド
レスにより、上記必要なブロックの圧縮データが上記メ
モリ37から読み出され、信号線49を通してブロック
伸張器50に送られてブロックの復元が行われる。この
ブロック伸張器50にて復元されたデータは信号線54
に送られ、その後動き補償演算に必要なデータのみがセ
レクタ56にて選択されて動き補償演算器57に送られ
る。ここでは半画素単位の補間演算などが行われ、ブロ
ック伸張器48にて伸張されて信号線52を通ったデー
タとの加算が行われ、動き補償演算によりデコードが完
了する。この結果は、セレクタ58、信号線61を通し
てラインバッファ62に送られ、さらにディスプレイ回
路64に送られて表示用のビデオ信号になされる。ま
た、当該P−ピクチャの画像データは、この段階でブロ
ック圧縮器59にて再度MPEGとは異なるアルゴリズ
ムによってブロック単位で圧縮された後、メモリ37に
蓄えられる。この動き補償された後に再度圧縮されたP
−ピクチャは、その後のフレームのデコードの際に読み
出し及び伸張されて前方予測のリファレンスフレームと
して使用されることになる。
のフレーム予測が行われる場合があるため、上記P−ピ
クチャのデコードよりも複雑となり、さらにもう1回動
き補償演算(すなわち2回の動き補償演算)を行う必要
がある。上記メモリ37のB−ピクチャ用バッファ42
から読み出された圧縮データは、信号線44とバス36
及び信号線45を通してブロック伸張器46に送られて
ブロック伸張される。また、このときも動きベクターが
取り出され、先ず先行しているI−ピクチャ(P−ピク
チャのこともある。ただしP−ピクチャのときには当該
P−ピクチャのブロックの動き補償演算が行われている
必要がある。詳細は図4のところで説明を行う。)をリ
ファレンスフレームとした前方予測の処理が行われる。
また、上記動きベクターによって指定されたリファレン
スフレームのブロックのアドレスを、上述したP−ピク
チャの場合と同様にしてブロック検索エンジン39とブ
ロックアドレステーブル38によって獲得し、これによ
って必要なブロックデータの読み出しを行い、さらにブ
ロック伸張器50で伸張する。その後、この中から必要
なデータを選んでP−ピクチャの場合と同様に動き補償
演算器57で動き補償演算(第1回目の動き補償演算)
を行い、得られたデータをブロックバッファ60に保存
する。また、第1回目の動き補償演算後のデータは、ブ
ロック圧縮器59にて再度圧縮し、メモリ37に保存し
てその後のフレームのデコードの際にリファレンスフレ
ームとして使用される。後方予測演算の時には、上記ブ
ロックバッファ60からブロックデータが読み出され、
信号線55及びセレクタ53を通って動き補償器57に
送られると共に、この動き補償器57には上記メモリ3
7からは後方用の動きベクターによる前述同様の処理に
よって必要な圧縮データが読み出され、さらにブロック
伸張器50にて伸張されたブロックデータも供給され
る。動き補償器57では、上記ブロックバッファ60か
らのブロックデータと上記ブロック伸張器50からのブ
ロックデータとの間で動き補償演算を行う。この動き補
償演算の結果は、ラインバッファ62以降の構成に送ら
れ、前述同様の表示用のビデオ信号が生成される。
ムがP−ピクチャであった場合にはさら1ステップの演
算(第2回目の動き補償演算)が必要となる。すなわ
ち、本実施の形態では、前述したようにプリデコード後
に動き補償の演算を行っていないため、リファレンスフ
レームとなるP−ピクチャは完全な画像データではな
く、リファレンスフレームとして使用する前に動き補償
の処理を行う必要がある。この動作は、上記のP−ピク
チャでの処理と同様であり、この動き補償演算後のP−
ピクチャのブロックデータを使用してB−ピクチャでの
動き補償演算を行うものとなる。つまり、このとき既に
表示が行われたP−ピクチャの動き補償後の画像データ
は、前述したようにブロック圧縮器59にてブロック圧
縮されてメモリ37内に保持されているので、このP−
ピクチャの圧縮データを読み出して伸張し、前方予測の
際のリファレンスフレームとして使用する。
ィールド予測の場合、デュアルプライム(Dual P
rime)の場合などの説明を省略したが、前述同様の
動作、システムでこれらの処理も実現することは容易で
ある。また、本実施の形態におけるインターレースの際
のように、同一フレーム内の異なるフィールドで表示時
間にずれがある場合には、マクロブロック単位でデコー
ドされた後のブロック圧縮をフィールド単位のブロック
として実行する。表示の際にはこれら2つのフィールド
を別々に読み出し、動き補償の演算もフィールド単位で
の処理として実行する。また、図2においてブロック圧
縮器、ブロック伸張器などが複数個設けられているが、
これらのハードウェアを共用にすることも可能である。
る処理のタイミングについて示している。図中指示符号
T66はプリデコード及び圧縮のタイミングを、指示符
号T67はI/P−ピクチャの伸張のタイミングを、指
示符号T68はP−ピクチャのブロック伸張を、指示符
号T69はB−ピクチャのブロック伸張のタイミングを
それぞれ表している。また、指示符号T70は表示のタ
イミングを示している。図中I1、P4などとあるのは
処理されるフレームを示す。I−ピクチャはその表示の
2フレーム前にプリデコードとブロック圧縮が行われ
る。I−ピクチャ表示時にはI−ピクチャのデータのみ
がブロック伸張され、表示される。続くB−ピクチャの
表示タイミングでは、B−ピクチャのブロック伸張とと
もに、動き補償のためのリファレンスフレームとしてI
−ピクチャ/P−ピクチャのブロック伸張と動き補償演
算が行われ、さらに表示される。P−ピクチャの表示タ
イミングでは、P−ピクチャのブロック伸張とともに、
動き補償のためのリファレンスフレームとしてI−ピク
チャ(P−ピクチャ)のブロック伸張演算が行われる。
また、このP−ピクチャの表示の際には同時に、動き補
償されたP−ピクチャの再度のブロック圧縮も行われる
(図には表示なし)。
す。図4の(a)はP−ピクチャの場合を示し、当該P
−ピクチャのデコードのためにはI−ピクチャ又はP−
ピクチャのリファレンスフレーム内の動きベクターに対
応したブロックの読み出しとブロック伸張が行われる。
図4の(b)はB−ピクチャの場合を示し、I−ピクチ
ャをリファレンスフレームとする場合には図4の(a)
と同様な動作となるが、P−ピクチャをリファレンスフ
レームとする際には2ステップの処理(2回の動き補償
演算)が必要となる。すなわち、動きベクターによって
指定されたP−ピクチャのブロックのデータは未だ動き
補償の演算が行われていないため、このP−ピクチャの
動き補償のためのリファレンスフレーム(I−ピクチャ
あるいは動き補償演算のなされたP−ピクチャ)を使っ
て、事前に演算しておく必要がある。このようにして先
に復元されたP−ピクチャのデータを使用してB−ピク
チャの動き補償演算が行われる。
示す。なお、この図5の構成において、図2と同じ指示
符号にて示す各構成要素は基本的には図2のものと同様
な機能である。また、この第2の実施の形態では、B−
ピクチャに関しての処理を表示タイミングに合わせて行
うようにしており、B−ピクチャの圧縮とメモリ37で
の保持は行わない(B−ピクチャをブロック圧縮するこ
となく動き補償演算をして表示を行う)例を挙げてい
る。
の出力は2つあり、信号線71からのI−ピクチャおよ
びP−ピクチャのデータは、前記第1の実施の形態と同
様にブロック圧縮器34にて圧縮され、前記ブロックの
アドレステーブルの作成とともにメモリ37に書き込ま
れる。一方、信号線72からのB−ピクチャのデータ
は、圧縮されることなく動き補償演算器57に送られ
る。
I−ピクチャおよびP−ピクチャのデコード処理の流れ
は前記図2の場合と同様であるが、B−ピクチャに関し
ては、圧縮とメモリ37への保持を行うことなく、即座
に動き補償演算が行われ、表示される。すなわち、プリ
デコーダ33から信号線72を通ったデータは、動き補
償演算器57に送られ、前方、後方のリファレンスフレ
ームとの処理が図2と同様に行われる。ただし、本実施
の形態では、プリデコーダ33からのデータがマクロブ
ロック単位となっているため、動き補償の演算、バッフ
ァリングなどはマクロブロック単位となる。また、この
第2の実施の形態では、B−ピクチャ用の中間バッファ
であるブロックバッファ73はマクロブロックのサイズ
に対応しており、表示用のラインバッファ62もマクロ
ブロックの大きさを持つ。さらに、本実施の形態では、
B−ピクチャの圧縮とメモリ37への書き込みを行わな
いため、メモリ37にはB−ピクチャ用の領域はない。
ただし、これはプログレッシブ方式の場合に係わるもの
で、インターレース方式の場合には表示ために第2フィ
ールドの画像データを1フィールド期間保持する必要が
ある。ブロック圧縮器59で圧縮され、メモリ37に蓄
えられたデータは、1フィールド後にメモリ37から読
み出されて、ブロック伸張され、表示にされる。この
他、ディスプレイ回路64に1フィールド分のメモリ領
域を持ってデータを遅らせることも可能である。
のタイミングを前記図3に準じて示したものである。本
例では、I−ピクチャのプリデコード、ブロック圧縮
は、表示の1フレーム前に実行しており、B−ピクチャ
は表示のタイミングでプリデコードと同時に動き補償の
演算が行われる。
成を示す。この第3の実施の形態の構成は、第2の実施
の形態同様にB−ピクチャをブロック圧縮することなく
動き補償演算及び表示し、P−ピクチャについては当該
P−ピクチャのプリデコード後に動き補償演算を行い、
その後にブロック圧縮を行ってP−ピクチャのデータを
メモリ37に蓄えるというものであり、P−ピクチャを
リファレンスとして使用する際に図4の(b)に示した
ように再度P−ピクチャのリファレンスを読み出し、P
−ピクチャの動き補償演算を行ってから、P−ピクチャ
をリファレンスに使用するという2ステップ(2回の動
き補償演算)の動作が不要となり、ブロック伸張された
P−ピクチャのデータをそのまま動き補償の演算に使用
できるものである。
符号にて示す各構成要素は基本的には図5のものと同様
な機能である。ただし、プリデコーダ33から信号線7
2を通って動き補償器57へ送られるデータは、B−ピ
クチャに加えて、P−ピクチャのデータも送られる。一
方、信号線71を介してブロック圧縮器34へ送られる
データはI−ピクチャのデータのみとなり、このI−ピ
クチャのデータがブロック圧縮器34にて圧縮され、メ
モリ37に蓄えられる。
についての2ステップの動き補償演算(2回の動き補償
演算)のためのブロックバッファは不用であるため省か
れているが、その代わり、動き補償演算器57からの出
力をブロック圧縮するためのブロック圧縮器75が追加
されている。B−ピクチャの処理は第2の実施の形態と
同様に表示のタイミングで実行される。
ャのデータはプリデコーダ33での処理後、動き補償演
算器57に送られる。ここで、P−ピクチャの動きベク
ターに基づいてメモリ37から読み出されたI−ピクチ
ャ(または動き補償後のP−ピクチャ)の圧縮データ
は、信号線49を通してブロック伸張器50で伸張され
た後、必要なデータが選択され、動き補償器57にてP
−ピクチャのデータとの動き補償演算が行われ、その後
ブロック圧縮器75により圧縮されてメモリ37に書き
込まれる。この動作と同時にI−ピクチャ(あるいはP
−ピクチャ)の表示が行われる。このため、ブロック伸
張器48で伸張されたデータは、セレクタ58、信号線
61を通してラインバッファ62に送られ、ディスプレ
イ回路64にて表示される。
ピクチャでの処理は、第2の実施の形態と同じである。
すなわち、前方又は後方予測の演算がなされた中間結果
を一旦ブロックバッファ73に蓄え、その後もう一度動
き補償の演算を行った後、表示のためにラインバッファ
62に送る。
を前記図6に準じて示したものである。この第3の実施
の形態では、P−ピクチャがブロック圧縮の前に動き補
償演算されているため、P−ピクチャの表示のタイミン
グで動き補償を行う必要がなく、このタイミングで次の
P−ピクチャの動き補償演算が行われる。
レーム間予測を使用した画像圧縮システムのデコーダに
おいて必要とされていた大きなフレームバッファメモリ
の大きさを格段に抑えることが可能となる。本発明での
幾つかの実施の形態からも明らかなように本発明の実現
にはさまざまな方法が考えられ、これらのうちどれを選
択するかは要求されるシステムによって変更が可能であ
り、適切な方式を選択することが可能である。また、前
述した別のアルゴリズムによる圧縮の効果はメモリの削
減だけではなく、本発明の各実施の形態にみられるよう
に、メモリとのデータの圧縮、伸張がバスを挟んで実行
されるため、バス上のバンド幅が大きく削減されるとい
う効果があり、高速のバスが不要となるという効果があ
る。
圧縮動画像信号のデコード装置においては、圧縮動画像
信号をブロックレベルへデコード処理した後のデータに
対してブロック単位で圧縮し、この圧縮されてメモリに
書き込まれる圧縮データのブロック単位でのアドレス情
報を保持し、当該メモリ内の圧縮データを読み出してブ
ロック単位で伸張し、実際の表示の時刻及び動き補償演
算の時刻において、必要とされる圧縮データをメモリか
ら読み出して伸張し、実際の表示及び動き補償演算のた
めに使用するようにしたことにより、メモリ容量の増大
を防ぎ、また、チップへのインテグレーションの際のチ
ップ面積の増大とコスト上昇を抑え、バスのバンド幅を
削減可能となる。
に用いる図である。
略構成を示すブロック回路図である。
関係を示した図である。
の説明に用いる図である。
略構成を示すブロック回路図である。
関係を示した図である。
略構成を示すブロック回路図である。
関係を示した図である。
の説明に用いる図である。
ームのデータについての説明に用いる図である。
のタイミングについての説明に用いる図である。
ック回路図である。
37 メモリ、 40,41,42 メモリないの圧
縮されたフレームデータの保持領域、 38ブロックア
ドレステーブル、 39 ブロック検索エンジン、 4
6,48,50 ブロック伸張器、 53,56,58
セレクタ、 57 動き補償器、60,73 ブロッ
クバッファ、 62 ラインバッファ、 64 ディス
プレイ回路
Claims (4)
- 【請求項1】 フレーム間予測を行って圧縮された圧縮
動画像信号のデコード装置において、 上記圧縮動画像信号を複数画素のブロックレベルへデコ
ード処理した後のデータに対して、ブロック単位での圧
縮を行うブロック圧縮手段と、 当該ブロック圧縮手段によって圧縮されてメモリに書き
込まれる圧縮データのブロック単位でのアドレス情報を
保持するブロックアドレス保持手段と、 上記メモリ内の圧縮データを読み出して上記ブロック単
位で伸張するブロック伸張手段とを有してなり、 実際の表示の時刻及び動き補償演算の時刻において、当
該表示及び動き補償演算の際に必要とされる上記圧縮デ
ータを上記メモリから読み出して伸張し、上記実際の表
示及び動き補償演算のために使用することを特徴とする
圧縮動画像信号のデコード装置。 - 【請求項2】 予測フレームをリファレンスとして使用
してフレームの動き補償を行った結果のデータをブロッ
ク単位で保持するブロック保持手段と、 上記ブロック保持手段に保持された上記ブロックをリフ
ァレンスとして動き補償を行う動き補償手段とを備える
ことを特徴とする請求項1記載の圧縮動画像新のデコー
ド装置。 - 【請求項3】 両方向予測されたフレームについては、
ブロック単位で圧縮することなく動き補償演算を行い、
実際の表示の時刻においてブロック単位で伸張されたリ
ファレンスフレームとの動き補償演算を行って表示に使
用することを特徴とする請求項1記載の圧縮動画像信号
のデコード装置。 - 【請求項4】 前方予測フレームの動き補償演算の実行
の後、ブロック単位での圧縮を行い、上記メモリに書き
込むことを特徴とする請求項1記載の圧縮動画像信号の
デコード装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23719297A JP4010024B2 (ja) | 1997-09-02 | 1997-09-02 | 圧縮動画像信号のデコード装置 |
US09/144,551 US6393153B2 (en) | 1997-09-02 | 1998-09-01 | Compressed moving picture signal decoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23719297A JP4010024B2 (ja) | 1997-09-02 | 1997-09-02 | 圧縮動画像信号のデコード装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1188886A true JPH1188886A (ja) | 1999-03-30 |
JP4010024B2 JP4010024B2 (ja) | 2007-11-21 |
Family
ID=17011742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23719297A Expired - Fee Related JP4010024B2 (ja) | 1997-09-02 | 1997-09-02 | 圧縮動画像信号のデコード装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6393153B2 (ja) |
JP (1) | JP4010024B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007306152A (ja) * | 2006-05-09 | 2007-11-22 | Toshiba Corp | 画像復号化装置及び画像復号化方法 |
US8386531B2 (en) | 2000-08-15 | 2013-02-26 | Aware, Inc. | Cache system and method for generating uncached objects from cached and stored object components |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6493342B1 (en) * | 1998-09-11 | 2002-12-10 | Teledesic Llc | Method of data transmission in a data communication network |
JP3322233B2 (ja) * | 1999-03-19 | 2002-09-09 | 日本電気株式会社 | 動画像伸長方法及びそれを実行するプログラムを記録した記録媒体 |
US6704357B1 (en) * | 1999-09-28 | 2004-03-09 | 3Com Corporation | Method and apparatus for reconstruction of low frame rate video conferencing data |
DE60310842T2 (de) | 2002-07-11 | 2007-10-11 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren zur Codierung und Decodierung von H.264 Bildern mittels eines virtuellen Anzeigepuffers. |
US7088776B2 (en) * | 2002-07-15 | 2006-08-08 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding |
JP3534742B1 (ja) * | 2002-10-03 | 2004-06-07 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像復号方法、動画像復号装置、及び動画像復号プログラム |
US7889206B2 (en) * | 2003-06-16 | 2011-02-15 | Broadcom Corporation | Direct memory accessing for fetching macroblocks |
US7356166B2 (en) * | 2003-10-24 | 2008-04-08 | Goldbond Llc | Method and computer-readable medium for detecting motion and filtering noise |
CN100446026C (zh) * | 2004-06-10 | 2008-12-24 | 华邦(上海)集成电路有限公司 | 利用区块处理侦测移动及滤除噪声的方法及应用方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5359365A (en) * | 1991-05-24 | 1994-10-25 | Canon Kabushiki Kaisha | Moving image processing method and apparatus |
US5815646A (en) * | 1993-04-13 | 1998-09-29 | C-Cube Microsystems | Decompression processor for video applications |
JP3237974B2 (ja) * | 1993-09-20 | 2001-12-10 | 株式会社東芝 | ディジタル信号復号装置 |
JP3031152B2 (ja) * | 1993-12-24 | 2000-04-10 | 日本電気株式会社 | 動き予測プロセッサ及び動き予測装置 |
US5828421A (en) * | 1994-10-11 | 1998-10-27 | Hitachi America, Ltd. | Implementation efficient digital picture-in-picture decoding methods and apparatus |
US6031575A (en) * | 1996-03-22 | 2000-02-29 | Sony Corporation | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium |
US5796434A (en) * | 1996-06-07 | 1998-08-18 | Lsi Logic Corporation | System and method for performing motion estimation in the DCT domain with improved efficiency |
-
1997
- 1997-09-02 JP JP23719297A patent/JP4010024B2/ja not_active Expired - Fee Related
-
1998
- 1998-09-01 US US09/144,551 patent/US6393153B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8386531B2 (en) | 2000-08-15 | 2013-02-26 | Aware, Inc. | Cache system and method for generating uncached objects from cached and stored object components |
JP2007306152A (ja) * | 2006-05-09 | 2007-11-22 | Toshiba Corp | 画像復号化装置及び画像復号化方法 |
JP4734168B2 (ja) * | 2006-05-09 | 2011-07-27 | 株式会社東芝 | 画像復号化装置及び画像復号化方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4010024B2 (ja) | 2007-11-21 |
US6393153B2 (en) | 2002-05-21 |
US20010012402A1 (en) | 2001-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0793389B1 (en) | Memory reduction in the MPEG-2 main profile main level decoder | |
US5841475A (en) | Image decoding with dedicated bidirectional picture storage and reduced memory requirements | |
US6996174B2 (en) | MPEG video decoder with integrated scaling and display functions | |
US6130963A (en) | Memory efficient decoding of video frame chroma | |
US6215822B1 (en) | Motion compensated digital video decoding and buffer memory addressing therefor | |
US6442206B1 (en) | Anti-flicker logic for MPEG video decoder with integrated scaling and display functions | |
JP2007529178A (ja) | 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ | |
US5751888A (en) | Moving picture signal decoder | |
US6480542B1 (en) | Method for decoding compressed video data with a reduced memory requirement | |
US5736944A (en) | Image decoding apparatus | |
JP4010024B2 (ja) | 圧縮動画像信号のデコード装置 | |
US7925120B2 (en) | Methods of image processing with reduced memory requirements for video encoder and decoder | |
US5754243A (en) | Letter-box transformation device | |
JP2006121702A (ja) | 向上した圧縮速度を有する動画圧縮装置及びその方法 | |
JPH10271516A (ja) | 圧縮符号化装置、符号化方法、復号化装置および復号化方法 | |
JP2006279574A (ja) | 復号装置と方法 | |
JPH08280022A (ja) | 符号化ビデオ信号の復号化方法及び装置 | |
JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
US5946037A (en) | Method and apparatus for reordering frames in MPEG coder/decoder | |
JPH11155129A (ja) | Mpeg画像再生装置およびmpeg画像再生方法 | |
US20050169375A1 (en) | Read/write separation in video request manager | |
US20030123555A1 (en) | Video decoding system and memory interface apparatus | |
KR100247977B1 (ko) | 확장 가능한 메모리를 구비한 비디오 디코더 | |
JP3262464B2 (ja) | 画像復号化装置 | |
JPH08130741A (ja) | 画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |