JPH10178644A - 動画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明はＭＰＥＧで圧縮された動画像の復号
装置に関し、特にＨＤＴＶ等の高いデータ処理能力が要
求される画像デコードおよびマルチメディア機器に対応
した複数種類のマルチ動画像復号装置に関する。従来方
法では並列復号化処理部（画像デコーダ）の前段に圧縮
画像データを分配するためのデフォーマッタが必要で、
また各画像デコーダはそれぞれが参照画像全体を記録す
るためのメモリを必要とする。 【解決手段】 本発明はＭＰＥＧで圧縮された画像デー
タを複数の画像デコーダに直接入力し、これらを並列に
使用してデコード処理を行う構成をとる。各画像デコー
ダは固定または外部より与えられた設定に従ってスライ
ス単位の画像領域のデコードを担当し、デコードに必要
なビットストリームを入力部で検出して、それをゲート
してからバッファにため込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＭＰＥＧで圧縮され
た動画像の復号装置に関し、特にＨＤＴＶ等の高いデー
タ処理能力が要求される画像デコードおよびマルチメデ
ィア機器に対応した複数種類のマルチ動画像復号装置に
関する。

【０００２】

【従来の技術】ＭＰＥＧは国際標準化機構（ＩＳＯ）の
Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐ
ｅｒｔｓ Ｇｒｏｕｐによって提案されている動画像お
よび音声圧縮等に関する国際標準の規格である。特にＭ
ＰＥＧ２の映像に関する規格は現行のＮＴＳＣ方式等の
ＴＶで扱われているインターレース画像も考慮した圧縮
処理が施され、今後主流になるであろうディジタルＴＶ
等においてはＭＰＥＧ２メインプロファイル・メインレ
ベル対応のＬＳＩが使用されている。

【０００３】米国においては地上波を使ったディジタル
ＴＶ放送方式であるＡＴＶ（Ａｄｖａｎｃｅｄ Ｔｅｌ
ｅｖｉｓｉｏｎ）が提案されているが、ここでは更にこ
の５倍以上のＨＤＴＶ画像サイズを扱うＭＰＥＧ２メイ
ンプロファイル・ハイレベルへの対応が必須とされてお
り、より高い処理能力を備えた動画像復号装置が要求さ
れている。

【０００４】このＡＴＶでは現行のＮＴＳＣ方式による
地上波の６ＭＨｚの帯域幅に１チャンネルのＨＤＴＶも
しくは複数のＳＤＴＶ等を割り当てて放送する予定で受
信機にはこれらのサービスを十分に活かした対応が迫ら
れている。

【０００５】しかし単一のＭＰＥＧ２メインプロファイ
ル・ハイレベルに対応するデコーダチップの開発は現状
の技術レベルでは処理スピード、チップサイズ等の要因
からコストの高いものになる。このため現状のメインレ
ベル程度の処理能力を備えたチップを複数個並列に使用
してハイレベルのデコードを実現する手法が有効であ
る。

【０００６】その手法に関連して松下電器産業株式会社
のラリー フィリップス氏等による特開平８−１３０７
４５号「復号システム、復号化装置および復号化回路」
が特許公開されている。

【０００７】この要約は「低データレートを処理するプ
ロセッサによって、高データレートを有するＭＰＥＧ２
規格のビデオ信号を処理する復号化装置を提供すること
を目的とし、構成として入力ビットストリームをＨＤＴ
Ｖ画像の異なる部分を表現する複数の部分に分離するデ
フォーマッタを備えており、ビットストリームの分離さ
れた部分はそれぞれ復号器で並列に処理される。

【０００８】第１の実施例では動き補償を行うために各
復号器は画像全体を表現するデータを保持するメモリを
有する。第２の実施例では各参照画像および表示される
画像のデータは単一の高帯域メモリに記憶される。」で
あり、特に第１の実施例がこの手法に関連すると思われ
る。

【０００９】図１４はこの公開特許の第１の実施例を説
明するために簡略化したブロック図である。以下これに
基づき関連した部分を簡単に説明すると、まずＭＰＥＧ
で圧縮された画像データはデフォーマッタ４０でスライ
スを単位として４つに分割され、それぞれ４つの並列復
号化処理部４１，４２，４３，４４へ分配される。

【００１０】ここでスライスを単位とするのはＭＰＥＧ
においては可変長符号化されたデータの区切れを表すス
タートコードがスライス層以上の先頭にしか付加されて
いないためであり、可変長復号を施す前のこの段階では
データの並列化を行う場合はスタートコードを検出して
分割を行う。

【００１１】また圧縮画像データを分配する際にシーケ
ンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ等に含まれ
る画像情報等の一般データ部分は各復号化処理部へ一様
に出力する。

【００１２】各復号化処理部のＶＬＤ／ＩＱ／ＩＤＣＴ
４１ａ，４２ａ，４３ａ，４４ａでは分配された圧縮画
像データに可変長復号、逆量子化、逆ＤＣＴ等の一連の
処理を施す。そしてそこで得られた画像の差分データを
動き補償プロセッサ４１ｂ，４２ｂ，４３ｂ，４４ｂに
入力する。

【００１３】このうちある１つの動き補償プロセッサで
は他の並列復号化処理部の動き補償プロセッサと動き補
償処理後の構築画像のやりとりができる様に接続されて
おり、またそれぞれが前方向予測、後方向予測用に使わ
れる参照画像全体を記録しておけるメモリを持ってい
る。

【００１４】すなわち各動き補償プロセッサで構築され
た参照画像データは自分の参照画像用メモリのみならず
他の動き補償プロセッサの参照画像用メモリにも書き込
まれる。これにより各動き補償プロセッサは自分の参照
画像用メモリから必要な参照画像データを読み出して画
像の差分データと加算して復号画像を構築できる。

【００１５】そしてこの後、動き補償プロセッサ内のラ
スタ変換用のメモリを使ってラスタ変換された画像デー
タを出力する。これら４つの並列復号化処理部４１，４
２，４３，４４から出力された画像データは内挿フィル
タ等を介して最終的にＨＤＴＶ信号を出力する。

【００１６】

【発明が解決しようとする課題】しかしながらこの方法
では並列復号化処理部（画像デコーダ）の前段に圧縮画
像データを分配するためのデフォーマッタが必要で、ま
た各画像デコーダはそれぞれが参照画像全体を記録する
ためのメモリを必要とする。

【００１７】更に各画像デコーダ間で動き補償後の画像
データをやりとりするための信号線がかなりの数にな
り、各画像デコーダをＬＳＩに置き換えた場合、チップ
サイズにもよるが入出力ピンの不足といった問題が生じ
る。

【００１８】本発明においては上記の様な課題がなく、
現状のメインレベル程度の処理能力を備えたチップを複
数個並列に使用してハイレベルのデコードを実現し、か
つＭＰＥＧメインレベル程度で圧縮された数種類の圧縮
画像データをデコードするマルチデコードにも対応した
動画像復号装置を提供する。

【００１９】

【課題を解決するための手段】本発明はＭＰＥＧで圧縮
された画像データを複数の画像デコーダに直接入力し、
これらを並列に使用してデコード処理を行う構成をと
る。各画像デコーダは固定または外部より与えられた設
定に従ってスライス単位の画像領域のデコードを担当
し、デコードに必要なビットストリームを入力部で検出
して、それをゲートしてからバッファにため込む。

【００２０】次に各画像デコーダはこれを逐次デコード
処理を行い、動き補償処理においては各画像デコーダ間
で連携して共通して使用する外部参照画像用メモリとデ
ータバスを介して時分割にアクセスを行う。

【００２１】本発明によれば、上記構成からわかるよう
に画像デコーダの前段に圧縮データを分配するためのデ
フォーマッタを必要とせず、また参照画像用メモリは各
画像デコーダで共通に使用するため、メモリ量を削減で
き、各画像デコーダ間で直接参照画像の受け渡しを行う
こともないため画像デコーダをＬＳＩ化した場合に入出
力ピンを削減できる。

【００２２】また各画像デコーダは固定または外部より
与えられた設定に従って圧縮画像データ中の画像フォー
マット情報等を参照し、担当すべき圧縮画像データを選
択できる。

【００２３】このためトランスポートデコーダから複数
のシーケンスの圧縮画像データを時分割で供給された場
合にもそれらの画像のデコードに必要な能力にあわせて
各画像デコーダの組み合わせを決定して、それらが並列
に処理できるといったマルチデコード処理も可能とす
る。

【００２４】

【発明の実施の形態】図１は本発明の１実施の形態の構
成を示すブロック図である。ここでトランスポートデコ
ーダ１はＭＰＥＧのシステム規格に相当する処理部で主
にトランスポートパケットから映像、音声等を分離し、
それらの同期をとる役目をする。

【００２５】この実施の形態においてはトランスポート
デコーダから４並列の画像デコーダ４，５，６，７にＭ
ＰＥＧで圧縮された画像データがストローブ信号と共に
供給される。

【００２６】各画像デコーダは単体ではＭＰＥＧ２メイ
ンプロファイル・メインレベルのデコードができる。そ
してこのデコード機能ブロックをコアとして、その前段
部に必要なビットストリームを供給するための付加機能
ブロック（スライス検出器／バッファ４ａ，５ａ，６
ａ，７ａ）を持つ。

【００２７】供給されたビットストリームはＶＬＤ／Ｉ
Ｑ／ＩＤＣＴ部４ｂ，５ｂ，６ｂ，７ｂで可変長復号、
逆量子化、逆離散コサイン変換を施され、画像の差分デ
ータを動き補償プロセッサ４ｃ，５ｃ，６ｃ，７ｃに出
力する。

【００２８】そして動き補償プロセッサ４ｃ，５ｃ，６
ｃ，７ｃではこの画像の差分データと外部のフレームメ
モリ２、３からの参照画像データを加算して画像データ
を構築し、外部へ出力する。

【００２９】この動き補償プロセッサには時分割に外部
フレームメモリにアクセスするためのメモリインターフ
ェース機能が追加されている。

【００３０】尚、図１の音声／その他８は音声デコーダ
等の外部処理部である。

【００３１】まず圧縮画像データがＨＤＴＶに対応した
ＭＰＥＧ２メインプロファイル・ハイレベルのビットス
トリームである場合について説明する。最初に各画像デ
コーダではスライス検出器４ａ，５ａ，６ａ，７ａにお
いて供給されたビットストリームから画像フォーマット
情報の含まれるシーケンスヘッダのスタートコードを検
出し、供給される画像データの画像サイズ等を抽出す
る。

【００３２】そしてこの画像フォーマット情報と各画像
デコーダ毎に予め設定された値から自分の担当するスラ
イスを単位とした処理領域を認識する。

【００３３】例えば画像デコーダ４には０、画像デコー
ダ５には１、画像デコーダ６には２、画像デコーダ７に
は３の値が設定されているとすれば、ｎを０から（画像
の垂直サイズ／１６／４）までの整数とし、ｋ＝（４ｎ
＋１）として画像デコーダ４は（ｋ＋０）のスライス番
号のデータ、画像デコーダ５は（ｋ＋１）のスライス番
号のデータ、画像デコーダ６は（ｋ＋２）のスライス番
号のデータ、画像デコーダ７は（ｋ＋３）のスライス番
号のデータを扱うといった具合に分担が決定する。

【００３４】尚これらの設定値は固定値もしくは画像シ
ーケンスを一連の単位としたデコード処理の前に外部か
ら与えられてもよい。図２は各画像デコーダの分担の例
である。

【００３５】次に圧縮画像データが複数のＭＰＥＧ２メ
インプロファイル・メインレベルのビットストリームで
ある場合、例えば３種類の圧縮画像データでそのうちの
１つが画像デコーダ２つ分の処理能力を要求し（プログ
ラム２）、残りの２つはそれぞれ画像デコーダ１つ分の
処理能力（プログラム１、３）で対応できるとした場合
について説明する。

【００３６】この場合もまず画像フォーマット情報の含
まれるシーケンスヘッダのスタートコードを検出し、供
給される画像データの画像サイズ等を抽出する。

【００３７】ただしこの時トランスポートデコーダより
供給されるビットストリームには圧縮画像データのプロ
グラム毎に認識番号がＩＤとして多重されているか、別
系統でビットストリームに同期して画像デコーダに供給
される必要があり、各画像デコーダは前もってこのＩＤ
も検出し、供給されるビットストリームがどのプログラ
ムに属するかを認識している。

【００３８】またトランスポートデコーダは連続したプ
ログラムの圧縮画像データは少なくとも後述する画像デ
コーダ側のバッファよりも小さいデータ量で切り替わる
様に対応できるものとする。

【００３９】そしてこの画像フォーマット情報、圧縮画
像データの認識番号と各画像デコーダ毎に予め設定され
た値から自分の担当する圧縮画像データ及びスライスを
単位とした処理領域を認識する。

【００４０】この例においては画像デコーダ４，５，
６，７の順に割り当てが決まり、プログラム１、２、３
の順にきた場合、まず画像デコーダ４がプログラム１に
対応することを決め、次に画像デコーダ５と６がプログ
ラム２、そして画像デコーダ７がプログラム３に対応す
ることを決める。

【００４１】各画像デコーダの分担決定後は画像サイズ
が変更、もしくはトランスポートデコーダからのリセッ
ト信号等が入力されるまで、この設定で処理を継続す
る。

【００４２】各画像デコーダは各層のスタートコードを
検出しながら、このシーケンスヘッダ及びＧＯＰヘッ
ダ、ピクチャヘッダ等のスライス層より上の階層で共通
した情報の含まれるビットストリームと自分の担当すべ
きスライス層以下のビットストリームを抽出し、スライ
スバッファにため込む。

【００４３】圧縮画像データの大半はスライス層以下で
占められており、バッファは少なくとも１スライス分の
最大量が収まる程度の容量が必要であり、これを画像デ
コーダ外部に設けてもよいが、この実施の形態では画像
デコーダ内部に組み入れている。

【００４４】各画像デコーダはそれぞれの状態を示す制
御信号で相互に接続されており、それぞれが１スライス
分のデータをスライスバッファに蓄積した状態で一斉に
可変長復号以下の逆量子化、逆ＤＣＴのデコード処理を
開始する。

【００４５】各画像デコーダはスライスバッファの状態
を見て、データ供給の要求信号をオンオフするが、これ
については図３ａに示す様に要求信号を各画像デコーダ
間でシ―ケンシャルに接続し、最終的に画像デコーダ４
がトランスポートデコーダ１に要求信号を出力し、スラ
イスバッファのオーバーフローを防止する。

【００４６】次に動き補償処理における４つの画像デコ
ーダ間のメモリアクセスについて説明する。各画像デコ
ーダは２つに分けた外部参照画像用メモリそれぞれに対
するデータポートを持ち、各画像デコーダはこれら２系
統のバスで接続され、動き補償処理においてこれらのメ
モリを前方向予測用、後方向予測用として同時にアクセ
スすることができる。

【００４７】まず画像デコーダ４がメモリにアクセス
し、この間はメモリアクセスバスが占有され、他の画像
デコーダはメモリバスに対してディセーブルになる。そ
して基本的にマクロブロック毎の処理を１つの単位とし
て画像デコーダ５，６，７の順にメモリアクセスの権利
を移行していき時分割でこれを繰り返していく（図４の
アクセスパターン１）。

【００４８】メモリから取り入れた画像データは一旦画
像デコーダ内部のマクロブロックバッファに取り込んで
から内部でハフペル処理、差分データとの加算等の動き
補償処理を行うと共に外部への画像データ出力も行う。
尚、外部への画像データ出力では内部の外部出力用バッ
ファに一旦画像データを転送してから時間的に連続した
信号として出力する。

【００４９】次に画像デコーダ単体からみた基本的なメ
モリアクセスと動き補償処理について説明する。各画像
デコーダで圧縮画像データを逆ＤＣＴ処理までの復号を
行った後、Ｉピクチャの場合は画像データが得られ、Ｐ
及びＢピクチャの場合は画像データまたは画像の差分デ
ータが得られる。

【００５０】Ｐ及びＢピクチャの動き補償は前段の可変
長復号時に抽出された動きベクトル等に基づいて、メモ
リに記憶されている参照画像から必要な領域を読み出し
て逆ＤＣＴからの差分データに加算することで画像デー
タを構築する。

【００５１】この時Ｐピクチャでは前方向予測のため、
新しい方のデータが記憶されているメモリから参照画像
データを読み出して画像構築した後、それを古い方のデ
ータが記憶されていメモリに書き込む。Ｂピクチャでは
前方向、後方向の双方向予測があるため両方の参照画像
用メモリから参照画像データを読み出し画像構築して外
部へ出力する。

【００５２】動き補償後のＩピクチャもしくはＰピクチ
ャは参照画像として２つの外部参照画像用メモリのうち
の一方に記憶されるが、記憶される側のメモリの画像デ
ータはそれと同時に出力画像データとなるため、その出
力される領域は書き込まれる前に画像デコーダを介して
読み出されて外部に出力される。

【００５３】ただし動き補償後のＢピクチャでは外部メ
モリに書き込まずに画像デコーダの外部へ出力する。こ
れらのメモリアクセスは主にマクロブロックを単位とし
て時分割に効率よく行われる。

【００５４】次にメモリアクセスの具体的な手法につい
て説明する。まず、図５でメモリの構成について説明す
る。図１に示したフレームメモリ２，３は、図５（ａ）
においてはフレームメモリ１０及び１１に対応する。

【００５５】各フレームメモリ１０、１１はそれぞれ２
個のＳＤＲＡＭ１０ａ，１０ｂ，１１ａ，１１ｂは図５
（ｂ）に示すように２つのバンクＡ及びＢを含み、各バ
ンクはロウ２０４８アドレス、カラム２５６アドレス合
計５２４，２８８アドレスに１：１に対応するメモリセ
ルからなる。

【００５６】さらに各セルは１６ビット（２バイト）の
データ書込み／読出しできる。つまり、フレームメモリ
は容量１６，７７７，２１６（１６Ｍ）ビットのＳＤＲ
ＡＭ２個の並列構成で、データバスは３２ビット（１６
ビット×２）で、同じアドレスを指定してアクセスす
る。

【００５７】図５のデコーダ処理部１３からメモリイン
ターフェース部１４への復号信号は、輝度信号（Ｙ）、
色信号（Ｃｂ，Ｃｒ）の順序で処理され、各信号はマク
ロブロック単位で送出される。

【００５８】図６、図７及び図８は、本実施の形態にお
ける画面領域とメモリ領域での画素データの関係を示す
ものである。フレームメモリへの画素データの書込み処
理においては、まず前記の前段のデコード処理部から送
出されるＹ信号から書込む。

【００５９】図６は画面領域とメモリ領域の画素データ
の割当ての概念図である。画像データの第１のマクロブ
ロックの第１ライン上の隣接４画素（各画素８ビット）
のうち２画素ずつをそれぞれ１つのパックとして、それ
ぞれ２パックを、２つのメモリのバンクＡの第１ロウの
第１カラムのアドレスにあたるメモリセルへ同時に格納
する。

【００６０】つぎの隣接４画素についても同様に２つの
パックを第１のロウの第２カラムのメモリセルへ格納す
る。以後第３、第４のパックについてもメモリに書き込
む。この第４の書込みで、１６画素を書込んだこととな
り、第１マクロブロックの第１ラインが格納される。次
にＳＤＲＡＭのバンクを切替えて、バンクＢの第１ロウ
の第１カラムに第２マクロブロックの第１ライン上の最
初の４画素を書込み、以後第２、第３、第４パックを格
納して、第１ラインを格納する。

【００６１】さらに、バンク切替によりバンクＡにし
て、第１マクロブロックの第２ラインを同様に書込む。
以下バンク切替とアクセスするメモリアドレスを更新し
て、第１６ラインまで書込むことで、４メモリセル×１
６ライン×２バンクで画面領域上の隣接２マクロブロッ
クをメモリ領域上に書込み終了となる。

【００６２】図７は、Ｙ信号の画面領域上で番号付けし
た画素が、メモリ上にどのように割当てられるか具体的
に示すものである。ＨＤＴＶのＹ信号の１画面の画素数
は水平１９２０、垂直１０８８であるから、メモリ上で
バンクＡ／Ｂそれぞれの１０８８ロウ×２４０カラム×
２バンクでＹ信号１画面を記憶できる。

【００６３】つぎに、図８にＣ信号のメモリ割当てを示
す。Ｃ信号の書込みにおいては、デコーダ処理部ではＣ
ｂ，Ｃｒの順序で復号処理されるが、前述のメモリイン
ターフェース部へは同時に送出する。

【００６４】メモリへは、前述のフレームメモリ１０，
１１の２個のうちの一方のＳＤＲＡＭへ、Ｃｂ信号の隣
接２画素を１パック（１６ビット）にして書込み、ま
た、Ｃｒ信号の隣接２画素を別の１パックとして他方の
ＳＤＲＡＭへと同時に書込む。

【００６５】メモリのアドレスはＹ信号と同様に、第１
マクロブロックの第１ラインの２画素から、ＳＤＲＡＭ
の第１０８９ロウ第１カラムに格納していく。つづけ
て、第２マクロブロックはバンクを切替えて、Ｙ信号と
同様な処理方法で書込む。Ｃ信号のマクロブロックは８
×８画素であるから、１マクロブロックを格納するに
は、メモリの８ロウでたりる。Ｃ信号を１画面書込むに
は，５４４ロウ×２４０カラム×２バンクをメモリ上で
割当てる。

【００６６】本実施の形態では、メモリー領域上に書込
まれた画素データは、実際の画像領域での画素データの
隣接関係に近いものになっている。。ただし、画像領域
上の水平方向の隣接マクロブロックは、メモリ領域上で
はバンクを交互に振り分けた状態になる。

【００６７】前記メモリ書込みのタイミングチャートを
図９に記す。ここで、ＳＤＲＡＭのアクセスでは、一般
的にはメモリロウにアクセスするためにその前処理設定
が必要である。本発明はＨＤＴＶという高速処理を必要
とする画像復元処理である。メモリのアクセスはクロッ
ク周波数１０８ＭＨｚで行い、ＳＤＲＡＭのロウアドレ
ス設定に３クロック、カラムアドレスの設定に３クロッ
クを要するコマンドを発行しなければならない。

【００６８】このロスタイムをなくすために、図９に示
すように、バンクＡ／Ｂを交互にアクセスして、一方の
バンクのデータアクセス中に他のバンクに対してコマン
ドを入力する。

【００６９】さらに、１度のアドレス設定アクセスで入
出力できるメモリワード長（バースト長）を４に設定す
ることで、効率的なコマンド入力とデータアクセスを実
現し、高速処理を可能にする。最初に、バンクＡに第１
ロウアドレスの設定後の３クロック後に、カラムアドレ
スを設定する。

【００７０】この時点から当該メモリセルにデータが書
込み開始となる。バースト長４であるから、そこから４
クロック分（４データ）は、現在アクセスしているバン
クに書込まれる。このカラムアドレスの設定の次のクロ
ックで、バンクを切替えて、バンクＢに第１ロウアドレ
スを設定し、そこから３クロック後に第２のマクロブロ
ックのデータの書込み開始となる。

【００７１】このとき、バンクＡへの書込みの４クロッ
クとバンクＢへのアドレス設定のための４クロックが一
致し、時間的に無駄なくアクセスできる。以降同様にし
て、このタイミングで書込みを繰り返せば、２マクロブ
ロック書込むのに、１２８クロック（４クロック×２バ
ンク×１６ライン）となり、Ｙ信号１画面では２６１，
１２０クロック、Ｃ信号で１３０，５６０クロックとな
る。

【００７２】したがって、メモリーインターフェース部
は、前述のメモリアクセスに必要なメモリのロウ／カラ
ムアドレス及びコマンドの生成を行い、直接ＳＤＲＡＭ
に渡す処理を可能とする装置である。

【００７３】次に、デコーダ部での画像復元に際して、
予測モードに応じて、動き補償処理に必要となるピクチ
ャの画像データを読み出す。前述のメモリ割当てによ
り、画像領域でのアクセスと類似したイメージで読出し
処理可能となる。予測処理においては、半画素精度（ハ
ーフペル）動き補償の処理を行うために、動きベクトル
情報に応じて、１マクロブロックを復元するためには、
余分に画素データを読出す必要がある。

【００７４】例えば、Ｙ信号の場合のフレーム構造フレ
ーム予測では、１マクロブロック（１６画素×１６ライ
ン）を復号するために、１７画素×１７ラインが必要と
なる。ただし、前述の画像データの書込みの際のＳＤＲ
ＡＭアクセスで記した効率的な処理を利用する。

【００７５】そのために、半画素動き補償で必要となる
ロウ方向に１画素だけ読出す処理は、アクセスのロスタ
イムを生じさせることになるので、本実施の形態では、
１マクロブロックを復元するために常に２マクロブロッ
ク＋２マクロブロックラインを読出す。

【００７６】図１０はフレーム構造のフレーム予測の場
合における、メモリからの読出し手法を示す。現在の復
元マクロブロックは、与えられた動きベクトルからえら
れるマクロブロックの画素を参照することで得られる。

【００７７】画面領域における参照マクロブロックは、
メモリ領域上では、その参照マクロブロックの左上の画
素（当該マクロブロックの第１画素）を含むマクロブロ
ック１とバンクの異なる隣接マクロブロック２の中に必
ず含まれる。

【００７８】その２個のマクロブロックとさらにもう１
ラインを読み出して、画像デコーダ内部のバッファに取
り込むときに必要な１７画素×１７ラインの画素データ
を抽出することで、半画素処理に対応した画素データを
得、かつ高速化をはかる。

【００７９】図１１はその際のタイミングチャートを示
す。また、フレーム構造のフィールド予測の際は、２個
の動きベクトルそれぞれに対応する１７画素×９ライン
の奇数ライン及び偶数ラインの半マクロブロックのデー
タをメモリから読むこ出すことで、復元マクロブロック
を作り出す。フィールド構造における、フィールド予
測、１６×８予測も同様にメモリから読み出す。

【００８０】書込み処理と同様に、メモリーインターフ
ェース部では、前段のデコード処理部からの予測モード
の情報と動きベクトルをうけて、前記の読出し処理に用
いられるメモリのアドレスとコマンドを生成する機能を
備えている。

【００８１】予測処理で最もメモリアクセスに時間を要
するのは、予測モードがフィールド構造で、１６×８動
き補償予測の場合である。前述の画像データの処理方法
を適用すると、動き補償のために参照画像を読み出すの
に、１，０１１，８４０クロック、参照画像を出力する
のに４１６，１６０クロック。クロック周波数１０８Ｍ
Ｈｚで処理するので、１画面のメモリアクセスはトータ
ルで１３．２ ｍｓｅｃの処理時間となる。

【００８２】［実施の形態２］実施の形態２では基本的
な構成は実施の形態１と同じであり、異なる点について
説明する。図４ａにおいて、まず４つの画像デコーダ２
１，２２，２３，２４と外部メモリであるＳＤＲＡＭ２
５，２６間のアクセスの仕方が実施の形態１と異なる。

【００８３】実施の形態１では１つの画像デコーダがメ
モリアクセスのための２つのポートで同時に前方向予測
用、後方向予測用メモリにアクセスしたが、実施の形態
２では１つの画像デコーダが前方向予測用メモリにアク
セスしている間に別の１つの画像デコーダが後方向予測
用メモリにアクセスできるよう同期をとって効率よく時
分割で処理を行う（図４ｂのアクセスパターン２）。

【００８４】これにより１つの画像デコーダのメモリア
クセスのポートは実施の形態１と同様に２つあるが、そ
れらが同時にアクティブになることがなくなり、画像デ
コーダ内部では２つのポートからの参照画像データを時
分割で切り替えて一時的にそれらを蓄積する内部マクロ
ブロックバッファを兼用できる。

【００８５】また実施の形態１における前方向予測処理
用と後方向予測処理用の２つのフレームメモリの各々の
構成を、１６ＭビットＳＤＲＡＭ３個並列化する点が異
なる。この構成においては、前方向予測、後方向予測処
理用の画像（Ｉ，Ｐピクチャ）にくわえて、双方向予測
処理での復元画像（Ｂピクチャ）も一旦外部メモリに記
憶する。これにより出力画像すべてを記憶できるので、
後段の例えば出力フォーマット変換装置等を備える場合
は、その処理要求に応じて、出力画像データをマクロブ
ロック単位やラスタスキャン等に選択可能となる。

【００８６】本実施の形態ではメモリアクセスの処理を
クロック周波数１３５ＭＨｚのスピードでおこなうこと
で、１画面のデータのメモリアクセスに要する時間はト
ータルで１３．７ｍｓｅｃ程度となる。

【００８７】［実施の形態３］図１２は本発明の実施の
形態３の構成を示すブロック図である。実施の形態１の
図１の場合とはスライスバッファの機能を外部参照画像
用メモリで兼用している点で異なる。

【００８８】まず実施の形態１と同様にトランスポート
デコーダ１から４並列の画像デコーダ３１，３２，３
３，３４にＭＰＥＧで圧縮された画像データがストロー
ブ信号と共に供給される。

【００８９】そして各画像デコーダは各層のスタートコ
ードを検出しながら、スライス検出器３１ａ，３２ａ，
３３ａ，３４ａにおいてシーケンスヘッダ及びＧＯＰヘ
ッダ、ピクチャヘッダ等のスライス層より上の階層で共
通した情報を抽出し、デコードパラメータをセットする
とともに自分の担当すべきスライス層以下のビットスト
リームを抽出して動き補償プロセッサ３１ｃ，３２ｃ，
３３ｃ，３４ｃへ送る。

【００９０】動き補償プロセッサ３１ｃ，３２ｃ，３３
ｃ，３４ｃはこれを外部参照画像用メモリ内のビットス
トリーム用の領域に書き込み、必要に応じて読み出して
ＶＬＤ部３１ｂ，３２ｂ，３３ｂ，３４ｂへ供給する。
ビットストリーム用のメモリ領域は各画像デコーダ毎に
予め確保されている。

【００９１】各画像デコーダはそれぞれの状態を示す制
御信号で相互に接続されており、それぞれが１スライス
分のデータを外部メモリに蓄積した状態で一斉に可変長
復号以下の逆量子化、逆ＤＣＴのデコード処理を開始す
る。

【００９２】各画像デコーダは外部メモリのビットスト
リームの記憶状態を常に把握しており、データ供給の要
求信号をオンオフするが、これについては実施の形態１
と同様に要求信号をトランスポートデコーダとやり取り
し、外部メモリ内の記憶領域からのオーバーフローを防
止する。

【００９３】動き補償処理における４つの画像デコーダ
間のメモリアクセスについても実施の形態１と同様に、
２つに分けた外部参照画像用のフレームメモリ２，３そ
れぞれに対するデータポートがバスで接続され、動き補
償プロセッサ３１ｃ，３２ｃ，３３ｃ，３４ｃにおいて
これらのメモリを前方向予測用、後方向予測用として同
時にアクセスすることができる。

【００９４】そして基本的にマクロブロック毎の処理を
１つの単位として、図４（ｂ）のアクセスパターン１に
示すように、画像デコーダＡ、Ｂ、Ｃ、Ｄの順にメモリ
アクセスの権利を移行していき時分割でこれを繰り返し
ていく。尚、各画像デコーダのビットストリームの読み
書きは各画像デコーダがアクセスの権利を保持している
期間の合間に割り込んで実施される。

【００９５】動き補償におけるメモリアクセスの具体的
な手法は実施の形態１と異なる。即ち本実施の形態はマ
クロブロックのＹ信号とＣ信号（Ｃｂ，Ｃｒ）を予測処
理に用いるためのメモリへ同時に書込み／読出しするた
めのメモリアクセスを行う。

【００９６】実施の形態３では、実施の形態１のような
画像デコード処理部およびメモリへのアクセスと、アド
レス／コマンドの生成を行えるメモリインターフェース
部を持つが、メモリとのデータバス幅を３２ビットから
４８ビットに広げる。さらに、アクセスするフレームメ
モリ２，３は前方向予測および後方向予測処理用に１６
ＭビットＳＤＲＡＭを３個並列の構成とする。

【００９７】図１３に示すように、４８ビットバスのう
ち３２ビットはＹ信号用に、１６ビットはＣ信号（Ｃ
ｂ，Ｃｒ）用に使用し、Ｙ信号とＣ信号のメモリへのア
クセスは個別に可能である。Ｙ信号は実施の形態１と同
様に隣接４画素のうち２画素ずつを１パックにして、２
パックを別々のメモリに同時に書込み／読出しを行う。

【００９８】Ｃ信号はＣｂの隣接２画素を１パックの１
６ビットとして、実施の形態１と同様なメモリ割当てを
行い、第１，第２画素のパックをＣ信号用のＳＤＲＡＭ
のバンクＡの第１ロウ第１カラムに書込み、第８画素ま
で書込んだ時点でバンクを切替え、続いてバンクＢでは
第２マクロブロック第１ラインを書込む。このくり返し
でＣｂ信号を記憶した後にＣｒ信号を記憶する。

【００９９】動き予測処理のための参照画面の読出し
も、実施の形態１と同様に半画素精度処理のために１マ
クロブロック復元のために、２マクロブロック＋２マク
ロブロックラインを読み出して処理をする。

【０１００】尚、本実施の形態では、フレームメモリに
はＩまたはＰピクチャの記憶に加えて、Ｂピクチャも記
憶し、さらにトランスポート・デコーダからのビットス
トリームをフレームメモリ内の画像データ以外の空き領
域に割当てる。

【０１０１】これを考慮してメモリアクセスの処理をク
ロック周波数８１ＭＨｚのスピードで行うとすると、ト
ランスポート・デコーダからのビットストリームは、Ａ
ＴＶでは１８Ｍｂｐｓ程度であるからメモリへの書込み
に０．０７７ｍｓｅｃ程度、またＡＴＶでのＶＢＶバッ
ファは最大８ＭビットであるからビットストリームをＶ
ＬＤ／ＩＱ／ＩＤＣＴ部へ送るためのデータ読出しに図
１２のメモリバス２本を用いることで１．０３ｍｓｅｃ
程度、さらに画像データの処理に１４．６ｍｓｅｃであ
るから、１画面のデータを復号し出力するのにトータル
１５．７ｍｓｅｃ程度となる。

【０１０２】

【発明の効果】以上のことから本発明によれば、低い処
理能力の動画像復号装置を並列に使って高い処理能力の
要求される圧縮画像のデコードが可能になり比較的安価
な動画像復号装置が構成できると共に複数のＭＰＥＧ圧
縮画像を入力することにより、これを並列にデコードで
きるというＭＰＥＧマルチデコードが可能になる。

【図面の簡単な説明】

【図１】本発明の実施の形態１のブロック図である。

【図２】本発明の実施の形態１の各画像デコードの分担
状態を示す図である。

【図３】図３ａは本発明の実施の形態１のブロック図で
あり、図３ｂはそのタイミング図である。

【図４】図４ａは本発明の実施の形態１のブロック図で
あり、図４ｂはそのメモリアクセスタイミングを示す図
である。

【図５】図５ａは図１のフレームメモリの構成図であ
り、図５ｂはＳＤＲＡＭの構成図である。

【図６】本発明の実施の形態１の画面領域とメモリ領域
での画素データの関係を示す図である。

【図７】同実施の形態のＹ信号の画面領域とメモリとの
関係を示す図である。

【図８】同実施の形態のＣ信号の画面領域とメモリとの
関係を示す図である。

【図９】本発明のメモリ書き込みタイミング図である。

【図１０】本発明のメモリ読み出し手法を示す図であ
る。

【図１１】本発明のメモリ読み出しタイミング図であ
る。

【図１２】本発明の実施の形態３のブロック図である。

【図１３】図１２のフレームメモリの構成図である。

【図１４】従来例のブロック図である。

【符号の説明】

１ トランスポートデコーダー ２，３ フレームメモリ ４，５，６，７ 画像デコーダ ８ 音声部

Claims (9)

【特許請求の範囲】
1. 【請求項１】 ＭＰＥＧで圧縮された画像データをデコ
   ードする画像デコーダを複数個並列に使用して、１つの
   画像デコーダでは処理しきれない圧縮画像データのデコ
   ード処理を可能にするシステムであって、各画像デコー
   ダは固定または外部より与えられた設定に従ってスライ
   ス単位の画像領域のデコードを担当し、デコードに必要
   なビットストリームを入力部で検出して、それをゲート
   してから画像デコーダ内部もしくは外部に設けたスライ
   スバッファにため込み、これを逐次デコード処理を行う
   機能を備え、動き補償処理においては各画像デコーダ間
   で連携し、共通して使用する外部参照画像用メモリと時
   分割にアクセスを行うことを特徴とする動画像復号装
   置。
2. 【請求項２】 ＭＰＥＧで圧縮された画像データをデコ
   ードする画像デコーダを複数個並列に使用して、１つの
   画像デコーダでは処理しきれない圧縮画像データのデコ
   ード処理を可能にするシステムであって、各画像デコー
   ダは固定または外部より与えられた設定に従ってスライ
   ス単位の画像領域のデコードを担当し、デコードに必要
   なビットストリームを入力部で検出して、それをゲート
   してから参照画像用と兼用の外部メモリにため込み、こ
   れを逐次デコード処理を行う機能を備え、動き補償処理
   においては各画像デコーダ間で連携し、共通して使用す
   る外部参照画像用メモリと時分割にアクセスを行うこと
   を特徴とする動画像復号装置。
3. 【請求項３】 請求項１または請求項２の動画像復号装
   置であって、ＭＰＥＧで圧縮された画像データであるＰ
   ＥＳもしくはエレメンタリストリームを各画像デコーダ
   に供給する１つのトランスポートデコーダに対して、各
   画像デコーダのトランスポートデコーダに対するデータ
   入力要求等の制御信号を各画像デコーダ間でシーケンシ
   ャルに接続し、最終的に１つの画像デコーダがトランス
   ポートデコーダに各画像デコーダからの制御信号を送れ
   る様に接続された構成をとる動画像復号装置。
4. 【請求項４】 請求項１または請求項２の動画像復号装
   置であって、各画像デコーダは２つに分けた外部参照画
   像用メモリそれぞれに対するデータポートを持ち、各画
   像デコーダはこれら２系統のバスで接続され、動き補償
   処理においてこれらのメモリを前方向予測用、後方向予
   測用として同時にアクセスすることができ、ある１つの
   画像デコーダがメモリにアクセスしている間はバスを占
   有し、時分割でメモリアクセスを行う構成をとる動画像
   復号装置。
5. 【請求項５】 請求項１または請求項２の動画像復号装
   置であって、各画像デコーダは２つに分けた外部参照画
   像用メモリそれぞれに対するデータポートを持ち、各画
   像デコーダはこれら２系統のバスで接続され、動き補償
   処理においてこれらのメモリを前方向予測用、後方向予
   測用として、ある１つの画像デコーダが前方向予測用メ
   モリにアクセスしている間に別の１つの画像デコーダが
   後方向予測用メモリにアクセスできるよう同期をとって
   効率よく時分割で処理を行う構成をとる動画像復号装
   置。
6. 【請求項６】 請求項４または請求項５の動画像復号装
   置であって、各画像デコーダがアクセスできる２つの外
   部参照画像用メモリの各々は同時にアクセス可能な複数
   のメモリから成り、それらメモリからのデータバスによ
   り輝度信号および色信号を順次前記メモリへ書込みおよ
   び読出しを行えるメモリポートを備え、前述のポートの
   制御処理を行う機能を有する動画像復号装置。
7. 【請求項７】 請求項４または請求項５の動画像復号装
   置であって、各画像デコーダがアクセスできる２つの外
   部参照画像用メモリの各々は同時にアクセス可能な複数
   メモリから成り、それらメモリからのデータバスにより
   輝度信号および色信号を同時に前記メモリへ書込みおよ
   び読出しを行えるメモリポートを備え、前述のポートの
   制御処理を行う機能を有する動画像復号装置。
8. 【請求項８】 請求項４または請求項５の動画像復号装
   置であって、各画像デコーダがアクセスできる２つの外
   部参照画像用メモリは、交互にアクセスできるメモリバ
   ンクを２つ備え、隣接するマクロクブロックを交互に上
   記バンクに記憶する手段を備えており、動き補償処理の
   ためにメモリから画像データを読出すには、参照データ
   として必要な画素を含むマクロブロックと上記の記憶し
   たバンクの異なる隣接マクロブロックに加え、前記マク
   ロブロックに隣接する下段の２マクロブロックラインを
   読出し、必要な画素データを抽出する手段を備える動画
   像復号装置。
9. 【請求項９】 請求項１または請求項２の動画像復号装
   置であって、トランスポートデコーダから数種類のＭＰ
   ＥＧで圧縮された画像データを時分割で供給される場合
   に、各画像デコーダはビットストリーム中に含まれる画
   像サイズ等の処理能力に関わる情報を識別し、これに応
   じて固定または外部より与えられた設定に従って、各種
   類の圧縮画像のうちの１種類全部もしくは１種類のうち
   のスライス単位の画像領域のデコードをそれぞれが担当
   することで処理量に応じた数種類の圧縮画像のデコード
   を並列に行うマルチデコード機能を有する動画像復号装
   置。