JP4702967B2

JP4702967B2 - 画像復号化方法および画像処理装置

Info

Publication number: JP4702967B2
Application number: JP15917099A
Authority: JP
Inventors: リチャード・ブラムレー
Original assignee: エスティマイクロエレクトロニクスエスエー
Priority date: 1998-06-23
Filing date: 1999-06-07
Publication date: 2011-06-15
Anticipated expiration: 2019-06-07
Also published as: FR2780184B1; EP0967576A1; US6567556B1; JP2000032472A; FR2780184A1

Description

【０００１】
【発明の属する技術分野】
この発明は、MPEG標準に従って圧縮された画像の復号化に関し、特に、画像を復号化する回路とダイナミックメモリとの間のデータのやり取りに関する。
【０００２】
【従来の技術】
多様な画像圧縮標準、特にMPEG(「Motion Pictures Experts Group」)によれば、画像は、概して16×16画素の正方形またはマクロブロックで復号化される。マクロブロックは、多様な形式でありえる。最も一般的に使用される形式は、4:2:0と呼ばれるものであり、それによると、それぞれのマクロブロックは、8ビットの8×8輝度画素の4ブロック、および8ビットの8×8クロミナンス画素の2ブロックを含む。
【０００３】
処理される画像は、本質的に３タイプであり、すなわちいわゆる「イントラ(intra)」タイプ、いわゆる「予測(predicted)」タイプ、およびいわゆる「双方向(bidirectional)」タイプである。当業者であれば、「イントラ」画像のマクロブロックは、動き補償を受けないことが分かる。予測画像では、それぞれのマクロブロックは、既に復号化された画像からフェッチされる「予測子(predictor)」と呼ばれる別のマクロブロックと当該マクロブロックを組み合わせることから成る動き補償を受けることができる。双方向画像のそれぞれのマクロブロックは、２つの既に復号化された画像からそれぞれフェッチされる２つの他の予測子マクロブロックと当該マクロブロックを組み合わせることから成る動き補償を行うことができる。予測子マクロブロックの位置は、動きベクトルによって判断される。
【０００４】
MPEG復号化システム(以後、より簡単に「MPEG復号器」と呼ぶ)は、画像の復号化を実施するためダイナミックメモリと通信しなければならず、特にそれらは、その復号化のため、このメモリに格納された少なくとも１つの既に復号化された画像の内容を必要とする。そのようなメモリは、これらの画像の復号化において重要な役割を果たす。現在の製造技術を用いると、１つの同じチップ内に、MPEG復号器と、マイクロプロセッサを含み、アセンブリが例えば衛星(サテライト)復号器に組み入れられるときにチャンネル探索操作を実施する処理手段と、画像にはめ込まれ、例えば遠隔制御によって呼び出される対話式メニューに対応するグラフィック要素を生成する回路であって、ユーザがテレビまたは受信キットの特定の操作パラメータに関する調整を実施することを可能にする回路が製造される。
【０００５】
現在、全てのこれらの要素は、同じダイナミックメモリを共有する。従って、使用されるメモリの通過帯域(passband)、すなわち処理の特定フェーズを実施するためにこのメモリが要素のうちの１つによってアクセスされるクロック・サイクルの数を低減し、そうすることで利用可能な時間を残し、第１要素が処理の別のフェーズを開始する前に、他の要素がこのメモリにアクセスすることができるようにすることが特に重要である。
【０００６】
【発明が解決しようとする課題】
この発明の目的は、MPEG復号器のレベルでこの目標を達成することである。言い換えると、この発明の目的は、特に画像を復号化する間に、メモリがMPEG復号器によってアクセスされる時間を最小限にすることである。
【０００７】
【課題を解決するための手段】
従って、この発明は、圧縮データによって符号化された到着画像を復号化するマクロブロック単位の方法を提案する。この画像は、メモリに格納された少なくとも１つの既に復号化された画像の内容の復号化を要求するタイプである。この発明の一般的な特徴によれば、メモリは、ページに構成される２つのメモリバンクを含むランダムアクセス同期ダイナミックメモリ(SDRAMメモリ)である。メモリに対するページ・アクセス(メモリ・アクセス)を実施して、復号化された画像を構成する複数のマクロブロックを格納する。ページ・アクセスによって２つのメモリバンクに位置する２つのページを開き、上記既に復号化された画像のマクロブロックの２つの連続する行で同一列に属する２つのマクロブロックを格納する。到着画像のそれぞれのマクロブロックの復号化は、上記メモリに格納された画像のマクロブロック以上の大きさの予測子マクロブロックをメモリから抽出することを含む。この抽出は、２つのメモリバンクに位置する２つのページを開くように上記メモリに対しページ・アクセスを実施することを含む。２つの連続する行で同一列に属する上記格納された画像の２つのマクロブロックのいくつかの画素の列単位(columnwise)の読出しが実施され、予測子マクロブロックの画素を得る。
【０００８】
従って、この発明は、メモリに対するページ・アクセスの数を低減し、それによってこれらのページを開くために必要とされるクロック・サイクルの数を低減することを可能にする。従って、この発明は、使用されるメモリ通過帯域のかなりの低減を可能にする。
【０００９】
この発明は、例えば予測画像のように、その復号化のため少なくとも１つの既に復号化された画像を必要とするタイプの任意の画像の復号化に適用されるが、特に、双方向画像が実行中に復号化されるとき、その復号化のため上記メモリに格納された２つの既に復号化された画像の内容を必要とする双方向タイプの画像の復号化に適用されることが有利である。これは、これら双方向画像の実行中の復号化が、実際に、復元された画像を画像メモリ内に格納することなく、画像の２つの連続する復号化によって実施されるからである。より詳しく述べると、それぞれの双方向画像の１回目の復号化は、画像の第１フレームが直接表示される間に、２回目の復号化は画像の第２フレームが直接表示される間に実施され、該２つのフレームは、上記画像のそれぞれのパリティのラインに対応する。
【００１０】
双方向画像の実行中の復号化は、使用されるSDRAMメモリの大きさを低減することを可能し、SDRAMメモリに対するページ・アクセスの数の低減は、双方向画像の２つの連続する復号化によって確かな利益となる。
【００１１】
さらに、この発明の目的は、圧縮データによって符号化された到着画像を処理する装置であって、この装置は、それぞれの現在の到着画像をマクロブロック単位で復号化することができる復号化手段と、該復号化手段に接続され、少なくとも１つの復号化された画像を格納することができるメモリと、該復号化手段および該メモリに接続される制御手段とを含む。この発明の一般的な特徴によれば、上記メモリは、ページに構成される２つのメモリバンクを含むランダムアクセス同期ダイナミックメモリである。上記制御手段は、上記メモリに対するページ・アクセスを実施して、上記既に復号化された画像の複数のマクロブロックを格納する。上記２つのメモリバンクに位置する２つのページに、２つの連続する行で同一列に属する上記既に復号化された画像の２つのマクロブロックが格納される。到着画像のそれぞれのマクロブロックの復号化のため、上記制御手段は、上記メモリに格納された画像のマクロブロック以上の大きさの予測子マクロブロックをメモリから抽出することができ、この抽出は、２つのメモリバンクに位置する２つのページを開くため上記メモリに対しページ・アクセスを実施することを含む。上記メモリは、２つの連続する行で同一列に属する上記格納された画像の２つのマクロブロックのいくつかの画素を列単位で送り出し、予測子マクロブロックの画素とする。
【００１２】
この発明の他の利点および特徴は、全く制限的でない実現の形態および実施例の詳細な説明および添付の図面をみることによって明らかになる。
【００１３】
【発明の実施の形態】
図１で、参照符号SYは、一般に、例えば衛星(サテライト)復号器および/またはテレビを組み入れたデジタル画像を処理するシステムを示す。
【００１４】
このシステムSYの中で、入力手段IFEは、例えば衛星アンテナまたはデジタル・ディスク(簡潔にするため図示せず)から、例えばMPEG標準に従って圧縮されたデータ・ストリームを受信する。
【００１５】
この発明に従って画像を処理する装置DCDまたはMPEG復号器は、表示スクリーンAFF上に表示するため、これらの圧縮されたデータに基づいて符号化された画像を復号化する。
【００１６】
さらにシステムSYは、例えば多様な衛星チャンネルの復号化を管理することができるマイクロプロセッサCPU、および、例えばテレビの遠隔制御を作動させることによって得られる対話式メニューのようなビデオ画像上に重ねられ画面上にはめ込まれるグラフィック情報の生成器OSD-GENを含む。
【００１７】
最後に、このシステムSYの重要な要素は、これらの多様な要素間で共有されるダイナミックメモリMMPである。それゆえ、使用されるメモリ通過帯域を低減して、システムSYの多様な要素ができるだけ頻繁にメモリにアクセスすることができるようにすることが重要である。これは、この発明の目的の１つである。
【００１８】
図１の要素の集まりは、双方向バスBBSを介して互いに通信する。
【００１９】
図2で、復号器DCDは、本質的に、MDCと参照を付されたいわゆる「復号化」手段、およびMAFと参照を付されたいわゆる「表示管理」手段を含む。
【００２０】
復号化手段MDCは、本質的に、64ビット・バスを介して圧縮データを受信し、処理されたマクロブロックの輝度およびクロミナンス・ブロックを、FF1と参照を付された「先入れ先出し」(FIFO)タイプのメモリを経由して加算器に送り出す、いわゆる「パイプライン」回路PPLを含む。さらに、加算器は、メモリMMPから抽出された予測子マクロブロックに基づいて予測回路FPRによって送り出されるフィルタリングされた予測子マクロブロックの対応するブロックを受信する。
【００２１】
パイプライン回路PPLは、従来のように、可変長復号化(VDL)、ゼロ復号化のラン(RLD)、線形走査変換に対するジグザグ・スキャン、および逆離散コサイン変換(DCT^-1)を実施する。MPEG標準によると、予測回路FPRは、本質的にいわゆる「半画素」フィルタを含み、それは、予測子マクロブロックをフェッチすることを可能にする動きベクトルがインテグラル(integral:整数、一体化)でない場合に、この予測子マクロブロックを半画素ずつ垂直および/または水平にシフトするためのものである。復号化手段MDCは、バスを経由して主記憶装置MMPと通信し、このメモリと復号器DCDの多様な要素との間のやり取りは、主制御手段LMCによって管理される。
【００２２】
MPEG標準は、メモリMMPが、処理を待つ圧縮データが書き込まれる少なくとも2.6メガビットの圧縮データZCDの領域、ならびに画像および音声データ上に重ねられ表示される情報を格納し、その容量が約1メガビットに及ぶ領域ZXを含むことを支持する。
【００２３】
これらの領域とは別に、メモリMMPは、２つの既に復号化された画像と、双方向画像が実行中に復号化されない場合に復元を受ける画像を格納する領域ZMを含む。
【００２４】
一般的な方法で、この発明に従うメモリMMPは、ページとして構成される２つのメモリバンクを含むランダムアクセス同期ダイナミックメモリ(SDRAM)である。例として、メモリMMPは、100MHzでクロックされる64メガビットのSDRAMメモリでありうる。
【００２５】
図3を参照して、復号化された画像IMGは、マクロブロックMB1-MB_k、MB_k+1-MB_2kのいくつかの行RMB1、RMB2…を含むことが分かる。16×16画素のサイズのマクロブロックは、メモリMMPのメモリ・ページにそれぞれ格納される。こうなので、予測子マクロブロックにアクセスする間のページ・オープニング(ページを開くこと)の数を制限する目的で、復号化された画像のマクロブロックの格納は、図4に示されるように特に有利な方法で実施される。
【００２６】
より詳しく述べると、一般的な方法で、復号化された画像のマクロブロックの２つの連続する行は、メモリMMPの２つのメモリバンクBMAおよびBMBにそれぞれ格納される。その上、それぞれが復号化された画像のマクロブロックの２つの連続する行だけでなく、この画像のマクロブロックの同じ列にも属する２つのマクロブロックは、２つのメモリバンクにそれぞれ位置し、ページ・アクセス中に同時に開かれる２つのページに格納される。従って、図4で、簡潔にするため、メモリ・ページがただ１つのマクロブロックを含むとすると、第１行のマクロブロックMB1は、メモリバンクBMAのページPA1に格納され、マクロブロックMB1と同じ列に属するマクロブロックMB_k+1は、第２のメモリバンクBMBのページPB1に格納される。
【００２７】
図5を参照して、例えば予測または双方向タイプの現在の画像の復号化に必要とされる予測子マクロブロックMBPの抽出および読込みを説明する。
【００２８】
予測子マクロブロック全体は、8ビットの17×17画素の輝度マトリクス、および8ビットの9×18画素のクロミナンス・マトリクスを含む。言い換えると、予測子マクロブロックの輝度マトリクスおよびクロミナンス・マトリクスはそれぞれ、通常のマクロブロックの対応するマトリクスよりも画素の１列１行および画素の１列２行を多く含むが、これは、この予測回路FPR内の半画素フィルタリングの必要のためである。
【００２９】
さらに、予測子マクロブロックの第１の画素は、既に復号化された画像IMGのマクロブロックの画素と重なることがある。言い換えると、予測子マクロブロックは、ページの境界に沿っておらず、いくつかのメモリ・ページに重なる。これはまた、予測子マクロブロックが画像(MPEG標準)のマクロブロックのサイズより大きいか、または画像(他の圧縮標準)のマクロブロックの大きさに等しいときに同等に生じる。
【００３０】
さらに、それぞれの予測子マクロブロックの画素は、列ごとに、例えば１対の列で読み出される。
【００３１】
復号化された画像のマクロブロックの特定の記憶域および画素の列単位の読取りを組み合わせて、２つのメモリバンクを有する同期メモリを使用すると、それぞれの予測子マクロブロックの読出しの間のページ・オープニングの数を制限し、その大きさに関係なくそれを行うことができる。
【００３２】
これは、例えば現在復号化を受けている画像の第１マクロブロックが、既に復号化された画像の４つのマクロブロックMB1、MB2、MB_k+1およびMB_k+2の上に重なる既に復号化された画像IMG(図5)のマクロブロックMBPの読込みを必要とすると、これら２つのマクロブロックMB1およびMB_k+1をそれぞれ格納する２つのページPA1およびPB1は、ページ・アクセス中に同時に開かれるので、マクロブロックMB1およびMB_k+1に位置する予測子マクロブロックの列(例えば列CL1およびCL2)の読込みは、メモリMMPに対し１つのページ・アクセスしか必要としない。マクロブロックMB1およびMB_k+1上に広がる予測子マクロブロックMBPの全ての列が読み出されると、メモリに対して２度目のページ・アクセスを実施して、マクロブロックMB2およびMB_k+2をそれぞれ格納するページPA2およびPB2を同時に開く。これら２つのマクロブロックMB2およびMB_k+2上に広がる列(例えばCL_qおよびCL_q+1)の画素が、列単位で読み出される。
【００３３】
このように、当業者であれば、この発明は、予測子マクロブロックの読込みに関してページ・オープニングの数をかなり低減することができることが分かるであろう。従って、これは、これらのページを開くために必要とされるクロック・サイクルのかなりの低減をもたらす。
【００３４】
双方向画像が実行中に復号化されずにメモリMMP内に同様に格納されるこの発明の変形において、表示管理手段MAFは、従来のように、表示画面AFFの管理を提供し、表示されようとする画像の画素をメモリMMPからライン毎に直接受信するビデオ・コントローラを含むことができる。
【００３５】
こうなので、図6および以下の記述に関して示される実施例は、双方向画像の実行中の復号化を実施することによってメモリMMPのサイズを低減することを可能にし、さらにメモリMMPに格納された「イントラ」および「予測」画像の表示の間のページ・オープニングの数を低減することを可能にする。
【００３６】
表示管理手段MAFは、ここでマルチプレクサMUXを含み、その第１入力は、復号化手段MDCの加算器の出力に接続され、その第２入力は、メモリMMPの出力に接続される。マルチプレクサの出力は、FF2と参照を付されたFIFOタイプの第２バッファメモリに接続される。このバッファ・メモリFF2の出力は、ブロック/ライン変換器BRCに接続され、その構造および機能は、以下で更に詳細に述べる。ブロックBRCの出力は、表示画面AFFの管理を提供するビデオ・コントローラVDCTLに接続される。
【００３７】
マルチプレクサMUXの出力は、表示される画像のタイプすなわちこの例では双方向画像か、イントラ画像または予測画像を表す制御信号STYに依存してその２つの入力の一方または他方に接続される。
【００３８】
メモリMMPのZM領域は、ここで記述され双方向画像の実行中の復号化に対応する例で、画像ZM1およびZM2のための２つの追加の領域を含むだけである。これらの領域ZM1およびZM2はそれぞれ、720×576画素のPAL画像(国際標準による最大)を格納することができなければならない。マクロブロックの4:2:0形式を使用することによって、画素は、12ビットであり、画像全体の大きさは、約4.9メガビットである。
【００３９】
ここで記述される実施例で、復元を受けている双方向画像をメモリMMPのメモリ領域に格納してそれを後で表示する代わりに、この双方向画像は、実行中に表示され、すなわち復号化されている間に表示される。これは、メモリMMPの大きさを低減することができ、「イントラ」または「予測」タイプの２つの既に復号化された画像を格納するため２つのメモリ領域ZM1およびZM2を用意するだけでよい。
【００４０】
表示に先行する処理は、概して画像全体についてすなわちライン順に実施されるが、復号化を受けている双方向画像を実行中に表示することが望まれる場合、画像の奇数のラインから成る第１フレームを最初に表示し、それから画像の偶数のラインから成る第２フレームを表示することが必要とされる。これは、復号化手段MDCが表示されるレートでラインを復号化する場合、復号化手段MDCがK番目のラインを復号化しているちょうどそのときに、(2K-1)番目のラインが表示されなければならないことを示す。言い換えると、第１フレームが表示されなければならないとき、復号器は、このフレームの半分しか復号化を終えていない。
【００４１】
従って、この画像の表示の持続時間にそれぞれの双方向画像を２度復号化するように対応がなされる。このケースで、2K-1番目のラインが表示されようとするとき、2Kのラインは、すでに復号化され終わっている。より詳しく述べると、第１フレームが表示されるとき、画像全体従ってこの画像の両方のフレームの復号化が終えられている。
【００４２】
表示は実行中に実施されるので、復号化されたが表示されなかった第２フレームは失われる。画像が２度目に復号化されている間、この第２フレームが表示される。
【００４３】
図7は、一群の画像の復号化および表示のタイムチャートを示す。連続して表示されようとする画像が、PO、B1、B2、P3、B4、B5、P6によって示されており、文字Pは、予測画像を示し、文字Bは、双方向画像を示す。そのような一連の画像は、MPEG標準に従って従来どおりである。
【００４４】
それぞれの予測画像Pの復元は、それに先行する予測画像(または図示しない「イントラ」画像)からフェッチされる予測子マクロブロックを必要とする。それぞれの双方向画像Bの復元は、その両側に位置する２つの予測画像からフェッチされる予測子マクロブロックを必要とする。従って、画像に対応する圧縮されたデータは、表示のものとは異なる順序で復号器DCDに到達する。ここで、これら圧縮されたデータは、P0、P3、B1、B2、P6、B4、B5の順に到達する。
【００４５】
最初に、画像P0が復号化され、メモリ、例えば領域ZM1に格納される。画像P3が復号化され、領域ZM2に格納されている間、画像P0が表示される。次に、画像B1の１回目の復号化が２倍のスピードで行われ、一方で画像B1の第１フレームが実行中に表示される。そして、画像B1の２度目の復号化が２倍のスピードで行われ、一方で画像B1の第２フレームが表示される。手段MDCによる画像B1のそれぞれの復号化は、領域ZM1およびZM2に格納された画像P0およびP3からフェッチされる予測子マクロブロックを使用する。同じ演算が、双方向画像B2について行われる。次に、画像P6が復号化され、画像P0に代わって領域ZM1に格納され、一方で画像P3が表示される。画像B4およびB5は、画像B1およびB2と同様に、２倍のスピードで２回の復号化が行われ、その一方で表示される。画像B4およびB5の復号化は、予測子マクロブロックを使用し、領域ZM2およびZM1に格納された画像P3およびP6の中を調べる。
【００４６】
双方向画像の実行中の復号化を実施するため、制御手段LMCは、それぞれの双方向画像に対応する領域ZCDに格納された圧縮データをパイプライン回路PPLに転送するタスクを２度実施するよう再びプログラムされる。これに関連して、制御手段は、典型的に25.5MHzでクロックされ、パイプライン回路は、典型的にそれ自体34MHzでクロックされる。これらのスピードで動作する回路は、通常の技術の範囲内で完全に実現可能である。
【００４７】
制御手段LMCがパイプライン化された回路PPLに圧縮データを２回送り出すことを可能にする特に容易な実施例および実現の形態を、図8および図9を参照して説明する。
【００４８】
従来、メモリ領域ZCDに格納されるMPEG圧縮データのストリームは、連続する到着画像IM1、IM2等にそれぞれ関連する圧縮データの連続する複数のグループを含む。
【００４９】
画像に関連するそれぞれのデータ・グループは、画像開始識別子PSC(すなわち「Picture Start Code」)と、その後に続くヘッダETを含む。このヘッダは、上記画像に対する特定の識別子を含み、画像シーケンス内の上記画像の１対１の識別を可能にする。この特定の識別子は、例えば画像の一時参照TR(Temporal Reference)である。さらにヘッダは、例えば「イントラ」、「予測」または「双方向」の画像のタイプを識別する手がかり(cue)ITを含む。
【００５０】
ヘッダの後に、画像の有用なデータCDUが続く。
【００５１】
それぞれが連続するアドレス@1、@2等のメモリ領域をビットのパケットで読み出すことを可能にする第１アドレスポインタPTAおよび第２アドレスポインタPTBについて対応がなされる。
【００５２】
処理手段MPを中核にして構築され、本質的にマイクロプロセッサから成る手段LMCは、例えばハードワイヤード(hard-wired)形式で具体化される画像開始識別子検出器SCDを含み、それは、第１アドレスポインタPTAによって指し示されるアドレスで抽出されるそれぞれのビット・パケット内の画像開始識別子PSCの有無を検出することができる。
【００５３】
さらに、第２ポインタPTBの位置を制御することができるポインタ管理手段が処理手段MPに接続される。これらのポインタ管理手段は、例えば第１レジスタRG1を含み、その出力は、画像の２回目の復号化の制御を表す制御信号RDCによって制御されるマルチプレクサMUX2を経由して、第２レジスタRG2の入力に接続される。さらにレジスタRG2の出力は、アドレス・インクリメント手段およびマルチプレクサMUX2を経由して、その入力にループバックされる。従って、レジスタRG2は、実際にアドレスポインタPTBの現在のアドレスを含む。
【００５４】
第３レジスタRG3は、画像の一時参照TRを記憶することができ、第４レジスタRG4は、復号化される画像のタイプを表わす手がかりITを記憶することができ、パイプライン回路PPLの多様な手段が現在の画像を適切に復号化することを可能にする。
【００５５】
実際に、それぞれのレジスタRG3およびRG4は、回路PPL内で復号化を受けている現在の画像および次の画像の手がかりTRおよびITを記憶することができる。
【００５６】
最後に、簡潔にするためブロックPPL内に表したが、もちろん外に位置付けることができる復号化禁止(decoding disabling)手段MHDは、一方でメモリから抽出され、ポインタPTBによって指図されるパケット内に含まれるビットを受け取り、他方でレジスタRG3の内容を受け取る。ハードワイヤードまたはソフトウェア形式で具体化することができるこれらの手段MHDの機能を以下でより詳細に説明する。
【００５７】
図８に関して述べた手段の動作態様について図9を参照して説明する。
【００５８】
画像IM1の復号化が、パイプライン回路PPL内で進行中であり(ステップ700)、２つのアドレスポインタPTAおよびPTBは、アドレス@1を指すものとする。
【００５９】
アドレス@1に位置し、メモリ領域ZCDから抽出されるビット・パケットが検出器SCDによって読み込まれる(ステップ701)。
【００６０】
検出器SCDは、画像IM2について画像開始識別子PSC2の存在を検出する(ステップ702)。この検出を表わす信号は、マイクロプロセッサMPに送信され、マイクロプロセッサMPは、パケットのビット・ストリング、およびその画像について特定の識別子ET2およびタイプIT2を受け取る(ステップ703)。画像IM2は、双方向タイプであり、従って再度の復号化を必要とするので、マイクロプロセッサMPは、画像IM2に対する画像開始識別子PSC2を含むパケットのアドレス@1をレジスタRG1に記憶する(ステップ704)。さらに、画像IM2の一時参照TR2がレジスタRG3に記憶され(ステップ705)、この画像のタイプIT2がレジスタRG4に記憶される(ステップ706)。
【００６１】
第２アドレスポインタPTBもまたアドレス@1にあるので、画像IM2の最初の復号化は、同じパケットから生じる有用なデータCDU2を利用してパイプライン回路PPL内で始まる。
【００６２】
次にレジスタRG2は、アドレス@2を含むようにインクリメントされ、この結果、アドレスポインタPTBは、この新しいアドレス@2を指すようになる(ステップ708)。さらにアドレスポインタPTAもインクリメントされ、アドレス@2を指す。
【００６３】
双方向画像IM2の最初の復号化が、データCDU2の残りのものを使って続けられる(ステップ709)。
【００６４】
この最初の復号化の終わりに、手段PPLに含まれる回路VLDは、復号化終了信号を送り出し、その信号は、マイクロプロセッサMPによって発行される制御信号RDCの動作下で(ステップ710)、マルチプレクサMUX2をその第１入力に位置付け、レジスタRG2の内容をアドレス@1にする(ステップ711)影響を及ぼす。
【００６５】
それに応じて、第２のアドレスポインタPTBは、再びアドレス@1を指すようになる。問題は、MPEGデータストリームの中で、多様な画像に関する多様な画像開始識別子PSCの間の間隔が、一定ではなく画像の内容に依存することにある。従って、この問題は、メモリ領域ZCDのパケット単位の読込みによって、画像IM2の開始がパケット内で位置する場所を正確に確かめることができない。
【００６６】
この発明は、再び復号化されようとする画像について画像開始識別子PSC2を含むパケットのアドレスにポインタPTBが戻ることと協力し、再び復号化されようとする画像の一時参照TR2を使用することによってこの問題を解決する。
【００６７】
より詳しく述べると、復号化禁止手段MHDは、アドレス@1で読み取られたパケットの多様なビットを順次に調べ、この情報を、レジスタRG3に記憶された画像IM2の特定の識別子(一時参照)TR2と比較する。
【００６８】
この比較が、肯定(positive)でない限り、すなわち、この一時参照TR2の存在が再び検出されない限り、パケットによって与えられたデータは、パイプライン回路PPLによって考慮されず、それによって実際にパイプライン回路を非活動(inactive)にする(ステップ713)。
【００６９】
比較結果が肯定であるときだけ、すなわち一時参照TR2の存在が再び検出されたときだけ、手段MHDが、回路PPLが圧縮データを考慮することを許可し、双方向画像の２回目の復号化を許す(ステップ714)。この第２の復号化中に、レジスタRG2が再びインクリメントされ、ポインタPTBをアドレス@2にし(ステップ715)、画像IM2の２回目の復号化が終わりまで続けられる(ステップ716)。
【００７０】
復号器DCDの演算の一般的な方法に戻って、「イントラ」および「予測」画像は、問合せの従来のメカニズムによって、加算器の出力でメモリMMPに送り出され、一方それぞれの復号化された双方向画像Bは、制御手段LMCによって発行される信号STYによって制御されるマルチプレクサを経由して、バッファ・メモリFF2にマクロブロック単位で転送される。メモリMMP内に格納された「イントラ」または「予測」画像が表示されようとするとき、マルチプレクサMUXは、信号STYによって、その第２入力上で、メモリMMPから連続して抽出された画像のマクロブロックをバッファ・メモリFF2に格納するよう命令される。
【００７１】
マルチプレクサMUXによって出力される画像は、マクロブロック単位に順次にバッファ・メモリFF2に格納される。他方、ビデオ・コントローラVDCTLは、画像の画素のライン毎の受信を必要とする。この理由から、ブロック/ライン変換器BRCが、バッファ・メモリFF2とビデオ・コントローラVDCTLとの間に挿入される。
【００７２】
図1Oに詳しく示されるように、この変換器BRCは、バッファ・メモリFF2に格納されたそれぞれのマクロブロックの多様な輝度およびクロミナンス・ブロックを受信する入力インターフェースINBを含む。これらの手段INBは、入力コントローラINCによって問合せRQおよび承認ACK信号で制御される。データは、補助記憶装置MMAに連続して書き込まれ、そのアドレスA_i,jは、アドレス・シーケンサADSによって連続して判断される。輝度ＹおよびクロミナンスUおよびVの多様な値は、メモリMMAからライン毎に抽出され、フィルタリング回路FVに送り出され、フィルタリング回路FVは、それが活動状態になると、例えばこれらのラインの画素の多様な値の間の加重平均のような垂直フィルタリングをこれらのライン上に実施して、輝度およびクロミナンスのフィルタリングされた値を送り出すことを可能にする。変換器BRCは、ビデオ・コントローラVDCTLによって供給されるフレーム同期化信号VSYNCを受信する一般的なコントローラMCTLによって一般的な方法で制御される。この信号VSYNCは、パリティ選択を実施することを可能にする。これは、それぞれの復号化によって、ただ１つのフレーム、すなわち偶数のラインのみまたは奇数のラインのみを表示するからである。このように、変換器BRCは、バッファ・メモリFF2から受信するブロックのライン間で、そのパリティが表示されようとするフレームのものに対応するラインをソートする。補助記憶装置MMAへの半マクロブロック単位の格納ついて述べたのはこの理由による(それぞれの半マクロブロックは8本のラインに対応する)。従って、マクロブロックは、16本のラインに対応するが、この変換器BRCの容量は、8本のラインである。言い換えると、メモリMMAは、表示されようとするフレームの所定のライン数(この場合8本)に対応する半マクロブロックの少なくとも１行(例えば45個の半マクロブロックの１行)を格納することができる。
【００７３】
メモリMMAがライン単位で読み出され、ブロック単位で(半マクロブロックで)書き込まれるため、アクセスが連続的でないということを除いて、このメモリは、大きいサイズのFIFOと考えることができるダイナミックメモリである。実際に、表示プロシージャによってメモリ内で十分な空間が解放されるとすぐに、半マクロブロックのデータの順次の書込みを許すよう制御手段MCTLおよびアドレス・シーケンサがプログラムされる。
【００７４】
より詳しく述べると、アドレス・シーケンサは、以下の規則によって半マクロブロックの現在のデータと置き換えられる前に、表示しようとする現在のデータが読み込まれる補助記憶装置の現在のアドレスA_i,jを計算する。
【００７５】
A_i+1,j = (A_i,j + x_j) modulo (MN-1)
x_j+1 = N.x_j modulo (MN-1)
この規則の中で、x₁=1であり、Mは、補助記憶装置のライン数を示し、Nは、ライン当たりのデータ数であり、nは、それぞれのフレームのラインの総数である。さらに0＜1＜MN-1および1＜j＜nである。
【００７６】
変換器BRCのこの補助記憶装置を使用することによって、主記憶装置MMPに格納された「イントラ」または「予測」画像を表示するためのページ・オープニングの数を制限することが可能である。これは、ページ・オープニングの所与の数ndが、表示されようとする画像の各フレームの８本のラインを格納することを可能にするからであり、これに対し画素が、メモリMMPからライン毎に直接抽出される場合、ライン当たりのnd回のページ・オープニングが必要とされる。
【００７７】
【発明の効果】
本発明によれば、既に復号化された画像データを利用して圧縮データを復号化し表示しようとする間のメモリアクセスの数を低減することができる。
【図面の簡単な説明】
【図１】この発明に従って画像を処理する装置を組み入れた画像処理システムの概略図。
【図２】この発明に従う処理装置のより詳細な概略図。
【図３】復号化される画像の概略図。
【図４】この発明に従って図3の復号化された画像の多様なマクロブロックのメモリへの記憶を示す図。
【図５】既に復号化された画像の内容から抽出された予測子マクロブロックを使用する現在の画像の復号化を示す図。
【図６】この発明に従う処理装置の変形された実施例の概略図。
【図７】双方向画像の実行中の復号化および表示を示す図。
【図８】双方向画像の２回の復号化を詳細に示す図。
【図９】双方向画像の２回の復号化を詳細に示す図。
【図１０】双方向画像の実行中の復号化の間に使用することができるこの発明に従うブロック/ライン変換器の詳細な概略図。
【符号の説明】
MB マクロブロック
MBP 予測子マクロブロック
IMG 画像

Claims

復号化に、メモリに格納された少なくとも１つの既に復号化された画像のデータを必要とするタイプの、圧縮符号化された到着画像をマクロブロック単位で復号化する方法であって、
上記メモリは、２つのメモリバンク（BMA、BMB）を含むランダムアクセス同期ダイナミックメモリ（MMP）であり、
一方のメモリバンク（BMA）は１つのページ（PA1）を備え、他方のメモリバンク（BMB）はもう１つのページ（PB1）を備え、これらのページ（PA1、PB1）は１つのページ・アクセスにより同時にアクセス可能であり、
前記メモリへの１つのページ・アクセスにより前記２つのメモリバンクにある２つのページ（PA1、PB1）を同時に開き、前記既に復号化された画像の２つの連続するマクロブロック行に属し、かつ同じ列に属する２つのマクロブロック（MB1、MB_k+1）を格納することと、
到着画像のそれぞれのマクロブロックの復号化は、上記メモリに格納された画像のマクロブロック以上の大きさの予測子マクロブロックをメモリから抽出することを含み、
前記抽出は、上記メモリに対するページ・アクセスを含み、それぞれのページ・アクセスによって前記２つのメモリバンクに位置し前記既に復号化された画像の前記２つの連続するマクロブロックの行に属し、かつ同じ列に属する２つのマクロブロック（MB1、MB_k+1）を格納している２つのページ（PA1、PB1）を同時に開くこと、および前記予測子マクロブロックの画素として、前記ページ・アクセスでアクセスされた前記２つの連続するマクロブロックの該予測子マクロブロックに対応する部分から画素を列単位で読み出すこと、を含む、
画像復号化方法。
復号化に、上記メモリに格納された２つの既に復号化された画像の内容を必要とする双方向タイプの画像を復号化するため、それぞれの双方向画像の１回目の復号化は、該双方向画像の第１フレームが直接表示される間に行われ、２回目の復号化は、該双方向画像の第２フレームが直接表示される間に行われ、該２つのフレームは、上記画像の異なるパリティのラインに対応する、請求項１に記載の画像復号化方法。
それぞれの現在の到着画像をマクロブロック毎に復号化することができる復号化手段（PPL）、該復号化手段に接続され、少なくとも１つの復号化された画像を格納することができるメモリ（MMP）、ならびに該復号化手段および該メモリに接続される制御手段（LMC）を備える、圧縮された到着画像を処理する装置であって、
上記メモリ（MMP）は、２つのメモリバンク（BMA、BMB）を含むランダムアクセス同期ダイナミックメモリであり、
一方のメモリバンク（BMA）は１つのページ（PA1）を備え、
他方のメモリバンク（BMB）はもう１つのページ（PB1）を備え、
これらのページ（PA1、PB1）は１つのページ・アクセスにより同時にアクセス可能であり、
上記制御手段（LMC）は、上記メモリに対して１つのページ・アクセスを実施して前記２つのメモリバンクに位置する２つのページを同時に開いて、上記既に復号化された画像の２つの連続するマクロブロック行に属し、かつ同じ列に属する２つのマクロブロック（MB1、MB_k+1）を格納し、
上記制御手段（LMC）は、到着画像のそれぞれのマクロブロックの復号化のため、上記メモリに格納された画像のマクロブロック以上の大きさの予測子マクロブロックを該メモリから抽出し、この抽出は、上記既に復号化された画像の２つの連続するマクロブロック行に属し、かつ同じ列に属する２つのマクロブロック（MB1、MB_k+1）を格納する上記２つのメモリバンクに位置する２つのページを開くため、上記メモリに対しページ・アクセスを実施することを含み、上記メモリは、予測子マクロブロックの対応する画素として、前記ページ・アクセスでアクセスされた前記２つのマクロブロックの画素を列単位で送り出す、
画像処理装置。
その復号化のため、上記メモリに格納された２つの既に復号化された画像の内容を必要とする双方向タイプの画像を処理するため、上記復号化手段が、該双方向画像の１回目の復号化を行う間、該双方向画像の第１フレームが直接表示され、該双方向画像の２回目の復号化を行う間、該双方向画像の第２フレームが直接表示され、該２つのフレームは、上記画像の異なるパリティのラインに対応する、請求項３に記載の画像処理装置。