JPH08251595A - 画像伸張装置 - Google Patents

Abstract

(57)【要約】 【目的】 処理演算器の使用効率の優れた高速データ処
理を行なうことのできる画像伸張装置を提供する。 【構成】 マクロブロックヘッダとマクロブロックの各
ブロックで構成される処理単位の１処理区間の処理にお
いて、処理の開始を示すＭＢ同期信号（ＭＢＳＹＮＣ）
がアサートされると、これに同期してマクロブロックの
ブロックデータの復号が行なわれ、続いて次のマクロブ
ロックヘッダ情報の解析が行なわれる。所定条件が成立
するまでＭＢ同期信号のアサートが停止される。１処理
区間の開始から常にマクロブロックのブロックデータの
処理が実行されるため、処理演算器の使用効率が改善さ
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、圧縮処理された画像
データを伸張処理して圧縮前の画像データを復元する画
像伸張装置に関し、特に、直交変換およびフレーム／フ
ィールド間予測符号化を用いる動画像圧縮方式に従って
圧縮処理された画像データを伸張処理する動画像伸張装
置に関する。

【０００２】

【従来の技術】膨大なデータ量を含む画像データを高能
率で符号化することにより、データ量を低減して伝送
し、この高能率符号化された画像データを復号すること
により、もとの画像を復元する方式が提案されている。
このような画像データの処理方式の１つに、動画像を対
象とするＭＰＥＧ（Moving Picture Experts Group）規
格がある。このＭＰＥＧ規格の画素データの符号化方式
は、この分野においてはよく知られているが、本発明の
背景の理解を容易にするために、まず簡単にＭＰＥＧ準
拠の画像データの復号化方式について説明する。

【０００３】図２７は、一般的なＭＰＥＧ準拠動画像デ
ータ符号化装置の構成を概略的に示す図である。図２７
において、符号化装置は、入力画素データと予測画像の
対応の画素データ（参照画素データ）との差分を求める
減算器１０００と、減算器１０００の出力する信号（予
測誤差信号）に直交変換処理の１つである離散コサイン
変換（ＤＣＴ）処理を施すＤＣＴ変換器１００２と、Ｄ
ＣＴ変換器１００２の出力する信号（ＤＣＴ係数）を量
子化する量子化器１００４とを含む。

【０００４】後に詳細に説明するが、画像には、Ｉピク
チュア、ＰピクチュアおよびＢピクチュアなどの種類が
存在し、画像の種類に応じて用いられる予測方式が異な
る。Ｉピクチュアは、フレーム内またはフィールド内符
号化され、入力画素データそのものが符号化される。Ｐ
ピクチュアは過去の再生画像からのフレーム間またはフ
ィールド間予測符号化処理を受ける画像である。Ｂピク
チュアは、過去の再生画像および未来のいずれかまたは
両方の再生画像両方の画像（フレームまたはフィール
ド）を用いて予測を行なう画面である。このＢピクチュ
アは、ＩピクチュアおよびＰピクチュアを用いて予測符
号化される。Ｂピクチュアは参照画像としては用いられ
ない。

【０００５】フレーム間またはフィールド間予測を行な
う場合には、動き補償が行なわれる。現画像のブロック
（処理単位となるセグメント）に最も相関性の高い予測
画像におけるブロックを求め、この最も相関性の高いブ
ロックを用いて予測符号化を行なう。この現画像ブロッ
クと予測画像ブロックとの位置のずれは動きベクトルと
して求められて、各画素データブロックに付されて伝送
時に送信される。動き補償は、通常、１６画素×１６画
素のブロック（セグメント）を単位として実行される。

【０００６】ＤＣＴ変換器１００２は、通常、８画素×
８画素のブロックを単位としてＤＣＴ変換処理を実行す
る。ＤＣＴ変換処理を施すことにより、画像における空
間的な冗長性（隣接画素間の高い相関性）を低減する。
すなわち、このＤＣＴ変換器１００２においてＤＣＴ変
換処理を施すことにより、このＤＣＴ係数を低域係数領
域に偏在させることができ、次段の逆量子化器の処理に
よる画像データ量の削減を可能にする。

【０００７】量子化器１００４は、量子化テーブル１０
１２を参照して、このＤＣＴ変換器１００２からのＤＣ
Ｔ係数の量子化を行なう。量子化テーブル１０１２にお
いて、高周波成分に対しては大きな値が設定される。こ
の量子化テーブル１０１２を参照して、量子化器１００
４においてＤＣＴ変換部１００２からのＤＣＴ係数を量
子化することにより、空間周波数における水平および垂
直方向ともに低域成分を大きくし、かつ高域成分をほと
んど“０”とすることができる。これにより、データ量
を低減する。

【０００８】符号化装置はさらに、量子化器１００４か
らの量子化データを所定の順序でジグザグ態様で並べ変
えるジグザグスキャン器１００６と、ジグザグスキャン
器１００６からのデータを可変長符号化する可変長符号
化器１００８と、可変長符号化器１００８からの可変長
符号化データおよび図示しない動きベクトル検出器から
の動きベクトル情報および他のブロックの属性を示す情
報とを受け、所定のフォーマットに従って動きベクトル
情報および属性情報を可変長符号化処理してかつ誤り符
号語などを付加して出力する伝送符号化回路１０１０を
含む。

【０００９】ジグザグスキャン器１００６は、図２７に
そのジグザグスキャン器１００６の左側のブロック１０
１５に示すように、８×８個のＤＣＴ係数を図２７の左
上から順次右下（すなわち高域成分領域）へ向かってジ
グザグに進むようにＤＣＴ係数を並べ変える。図２７
の、ＤＣＴ係数ブロック１０１５に示されるＤＣＴ係数
のうち最も左上のＤＣＴ係数は、ＤＣ係数と呼ばれ、８
画素×８画素のブロックデータの平均値を示し、残りの
ＤＣＴ係数はＡＣ係数と呼ばれる。ジグザグスキャン器
１００６によりＤＣＴ係数をジグザグスキャンすること
により、非０係数を効率的に捕捉する。可変長符号化器
１００８は、このジグザグスキャン器１００６からの量
子化されたＤＣＴ係数を順に、先行する０係数（無効係
数）の個数（ラン）と非０の係数（有効係数）の値（レ
ベル）とをまとめて２次元可変長符号化を行なう。この
可変長符号化器１００８は、たとえばハフマン符号に従
って展開された符号化テーブル１０１４を用いてジグザ
グスキャン器１００６からの量子化ＤＣＴ係数データを
可変長符号化する。量子化されたＤＣＴ係数において
は、高域成分には、“０”が多く存在し、低域成分に有
効係数が多く存在する。この有効係数に対し短い長さの
符号を割当て、かつ出現頻度の少ない量子化係数に符号
長の長い符号を割当てることにより、データ量をさらに
低減する。

【００１０】図２８は、図２７に示す伝送符号化回路１
０１０から伝送される画像の配列の一例を示す図であ
る。図２８において、ピクチュア番号１ないし１３が付
された１３枚の画像が示される。ピクチュア番号１およ
び１３の画像は、Ｉピクチュアであり、ピクチュア番号
４、７および１０の画像がＰピクチュアである。Ｉピク
チュアとＰピクチュアの間またはＰピクチュアとＰピク
チュアの間に２つのＢピクチュアが挿入される。Ｉピク
チュアは、フレーム内符号化処理のみが行なわれ、予測
符号化は行なわれない画像である。Ｐピクチュアはフレ
ーム間またはフィールド間予測符号化（動き補償付）処
理される画像であり、Ｂピクチュアは一例として双方向
予測符号化（動き補償付）画像である。Ｉピクチュア
（Ｉ）、Ｐピクチュア（Ｐ）およびＢピクチュア（Ｂ）
はフィールド画像であってもよく、またフレーム画像で
あってもよい。このＢピクチュア（Ｂ）の予測において
は、たとえば時間的に前および後のＩピクチュアおよび
ＰピクチュアまたはＰピクチュアおよびＰピクチュアを
用いて内挿処理が行なわれる。Ｐピクチュアは、時間的
に前のＩピクチュア（Ｉ）またはＰピクチュア（Ｐ）を
用いて予測符号化（動き補償付）処理が行なわれる。Ｉ
ピクチュアおよびＰピクチュアのみが予測画像として用
いられ、Ｂピクチュア（Ｂ）は予測画像としては用いら
れない。

【００１１】図２９は、１つの画像の構成を示す図であ
る。図２９において、１枚の画像（フィールドまたはフ
レーム）１０２０は、複数のマクロブロックと呼ばれる
セグメントに分割される。図２９においては、簡単化の
ために、画像１０２０は３２個のマクロブロックＭＢ＃
１〜ＭＢ＃３２に分割される構成が一例として示され
る。動画像の処理は、このマクロブロックと呼ばれるセ
グメントを単位として実行される（符号化処理および復
号化処理いずれも）。マクロブロックＭＢ＃１〜ＭＢ＃
３２の各々は、通常、水平方向１６画素および垂直方向
１６画素に配列される２５６個の画素を含む。したがっ
て、図２９に示す画像は、１２８画素×６４画素で構成
される。

【００１２】図３０は、画像データのビットストリーム
（複数ビット幅）の構成（シンタクス）を概略的に示す
図である。図３０において、ビットストリームは複数の
レイヤに分割される。上位から、シーケンスレイヤ、Ｇ
ＯＰ（グループ・オブ・ピクチュア）レイヤ、ピクチュ
アレイヤ、スライスレイヤ、マクロブロックレイヤ、お
よびブロックレイヤである。

【００１３】ブロックレイヤは、ＤＣＴ係数を含む領域
１１００ａと、ブロックの終了を示すエンド・オブ・ブ
ロック（ＥＯＢ）を格納する領域１１００ｂを含むブロ
ック１１００で構成される。ＤＣＴ係数データを格納す
る領域１１００ａは、ＤＣＴ処理の単位となる８行・８
列の画素のＤＣＴ係数データを格納する。このブロック
１１００において、領域１１００ａの最終のＡＣ係数が
非０係数の場合、領域１１００ｂのエンド・オブ・ブロ
ックは用いられない場合もある。

【００１４】マクロブロック１１００は、所定数のブロ
ック（６個）１１００を含む。ビットストリーム上での
マクロブロックレイヤは、ブロック１１００で構成され
るデータブロックと、このデータブロックのデータの属
性および動きベクトル等を可変長符号化して格納するマ
クロブロックヘッダ１１１５を含む。

【００１５】スライスレイヤは、画像の走査順に連結さ
れる１つまたは複数のマクロブロック１１００で構成さ
れるスライス１１２０を含む。このスライス１１２０の
先頭には、スライスの画面上垂直位置を示す情報および
このスライスの始まりを示す所定のパターンを有するス
タートコードなどの情報が格納されるスライスヘッダ１
１２５が設けられる。このスライスレイヤは、各々に所
定のパターンのコードが割当てられたレイヤのうちの最
下層のレイヤのため、エラー発生時における再同期化の
単位として用いられる。

【００１６】ピクチュアレイヤは、複数のスライス１１
２０で構成されるピクチュア（画像）１１３０を含む。
このピクチュア１１３０の先頭に、ピクチュアの種類
（Ｉピクチュア、Ｐピクチュア等）を示す情報およびピ
クチュアの開始を示すスタートコード等の情報が可変長
シンボル（可変長符号語）で格納されるピクチュアヘッ
ダ１１３５が配置される。

【００１７】ＧＯＰレイヤは、複数のピクチュア１１３
０を含むＧＯＰ１１４０を含む。このＧＯＰ（グループ
・オブ・ピクチュア）１１４０に含まれるピクチュア１
１３０は、１つ以上のＩピクチュアと０または複数のＰ
ピクチュアまたはＢピクチュアを含む。ＧＯＰ１１４０
の先頭には、ＧＯＰスタートコード、このＧＯＰがそれ
より以前のＧＯＰの画像データからの参照を必要としな
いことを示すフラグなどの情報を格納するＧＯＰヘッダ
１１４５が配置される。

【００１８】シーケンスレイヤは、１つあるいは複数の
ＧＯＰ１１４０もしくは１つまたは複数のピクチュア１
１３０で構成されるシーケンス１１５０を含む。このシ
ーケンス１１５０の先頭部には、画面のフォーマットな
どをの情報を格納するシーケンスヘッダ１１５５が配置
される。このシーケンスヘッダ１１５５は、シーケンス
１１５０に含まれるＧＯＰ１１４０のすべて先頭に配置
させることができる（シーケンスの途中からの画像の再
生を許容するため）。このシーケンスヘッダ１１５５に
は、シーケンスの開始を示す所定のパターンを有するス
タートコード、画像の水平および垂直サイズ、ピクチュ
アレート（画像表示速度）、ビットレートおよびその内
容などの情報が格納される。

【００１９】図３１は、ピクチュアとスライスの関係を
例示する図である。図３１に示すように、１枚の画像を
形成するピクチュア１１３０は、複数のスライス１１２
０を含む。このスライス１１２０は、任意の長さを有す
ることができ、画面上右端に達すると左端に戻る。

【００２０】図３２は、マクロブロック１１１０のデー
タブロックの構成を示す図である。マクロブロック１１
１０は、マクロブロックを４分割した領域Ｙ１〜Ｙ４そ
れぞれに対するＤＣＴ係数データを格納する領域１１０
０ａａ〜１１００ａｄと、サブサンプリングされた色差
信号Ｃｂ５およびＣｂ６をそれぞれ含むブロック１１０
０ａｅおよび１１００ａｆを含む。色差ブロック１１０
０ａｅおよび１１００ａｆは、垂直および水平方向にサ
ブサンプリングされているため、４つの輝度ブロック１
１００ａａ〜１１００ａｄと１つの色差ブロック１１０
０ａｅ（または１１００ａｆ）が画面上で同じ大きさと
なる。動き補償は１６画素×１６画素のマクロブロック
１１１０（ＭＢ）を単位として実行され、ＤＣＴ変換処
理は８画素×８画素のブロックを単位として実行され
る。

【００２１】図３３は、従来の画像伸張装置の構成の一
例を概略的に示す図である。この図３３に示す画像伸張
装置は、先に図２７に示した符号化装置により符号化さ
れた画像データを伸張処理してもとの画像データを復元
する。

【００２２】図３３において、画像伸張装置１２００
は、入来するビットストリーム（複数ビット幅）を受け
て外部メモリ１２３０へＦＩＦＯ（ファーストイン・フ
ァーストアウト）態様で格納しかつ読出すＦＩＦＯイン
タフェース１２１０と、ＦＩＦＯインタフェース１２１
０を介して与えられる画素データをセグメント（マクロ
ブロック）単位で可変長復号処理して固定長データの量
子化されたＤＣＴ係数データ（量子化インデクス）を生
成する可変長符号復号化器１２１２と、可変長符号復号
化器１２１２から出力されたデータを逆量子化してＤＣ
Ｔ係数データを生成する逆量子化器１２１４と、逆量子
化器１２１４の出力データの配列順序を入れ換えて走査
順に配列されたＤＣＴ係数データを生成するスキャン変
換器１２１６と、このスキャン変換器１２１６の出力デ
ータに逆直交変換の１つである逆離散コサイン変換を実
行する逆離散コサイン変換器１２１８と、この逆離散コ
サイン変換器１２１８の出力する画素データ（差分デー
タ）とメモリインタフェース１２２４を介して外部メモ
リ１２３０から与えられる予測画像画素データとを受け
てもとの画素データを復元する画素再構成器１２２０を
含む。

【００２３】ＦＩＦＯインタフェース１２１０は、メモ
リインタフェース１２２４を介して外部メモリ１２３０
へアクセスし、入来するビットストリームをＦＩＦＯ態
様で格納読出することにより、入来するビットストリー
ムのバッファ処理を行ない、入来するビットストリーム
のビットレートと画像伸張装置１２００におけるデータ
処理速度との差を解消する。

【００２４】可変長符号復号化器１２１２は、ＦＩＦＯ
インタフェース１２１０を介して与えられるビットスト
リームから、各レイヤのヘッダを検出し、その検出した
ヘッダの解析を行ない、該解析結果に従って各ブロック
（マクロブロックに含まれるブロック）のデータ処理を
実行する。したがってこの可変長符号復号化器１２１２
は、ヘッダの解析機能と、量子化されたＤＣＴ係数の可
変長符号復号化処理を実行する。この可変長符号復号化
処理は、可変長符号化されたランレングスデータから固
定長の量子化された量子化ＤＣＴ係数を復元する処理を
含む。

【００２５】逆量子化器１２１４は、この可変長符号復
号化器からの量子化されたＤＣＴ係数を図示しない量子
化テーブル（量子化マトリクス）の量子化データを用い
て逆量子化を行なってＤＣＴ係数を復元する。この量子
化マトリクスは、また可変長符号復号化器１２１２を介
して逆量子化器１２１４に含まれる量子化テーブルに書
込まれることもある。

【００２６】スキャン変換器１２１６は、この逆量子化
器１２１４から与えられる図２７に示すジグザグスキャ
ンされたＤＣＴ係数データを受け、そのスキャン順序を
もとの走査順序に再配列する。逆離散コサイン変換器１
２１８は、スキャン変換器１２１６から与えられたＤＣ
Ｔ係数データに逆離散コサイン変換処理を施して予測符
号化されたデータを復元する。画素再構成器１２２０
は、可変長符号復号化器からの動きベクトルデータおよ
びマクロブロック属性データに従って必要とされる予測
画像画素データをメモリインタフェース１２２４を介し
て外部メモリ１２３０から読出し、読出した画素データ
と逆離散コサイン変換器１２１８から与えられた差分画
素データとの加算を行なってもとの画素データを再構成
し、もとの画素データを復元して外部メモリ１２３０へ
メモリインタフェース１２２４を介して格納する。

【００２７】この画素再構成器１２２０における処理
は、Ｉピクチュア、ＰピクチュアおよびＢピクチュアそ
れぞれに応じて異なる。Ｉピクチュアのようにフレーム
内符号化を行なう画像の画素データの場合、逆離散コサ
イン変換器１２１８から与えられた画素データは、画像
データそのものであり、予測符号化は行なわれていない
ため、画素再構成器１２２０は、この逆離散コサイン変
換器１２１８から与えられた画素データをメモリインタ
フェース１２２４を介して外部メモリ１２３０へ書込
む。ＰピクチュアおよびＢピクチュアのようなフレーム
間またはフィールド間予測符号化が行なわれる画像デー
タの場合、この逆離散コサイン変換器１２１８から画素
再構成器１２２０へ与えられた画素データは、既に復号
された画像データ（予測画像データ）との差分で与えら
れる予測誤差信号である。したがってこの場合には、画
素再構成器１２２０はメモリインタフェース１２２４を
介して外部メモリ１２３０から対応の予測画像画素デー
タと逆離散コサイン変換器１２１８からの画素データと
加算し、該加算結果を再びメモリインタフェース１２２
４を介して外部メモリ１２３０へ書込む。

【００２８】外部メモリ１２３０へ書込まれた画像デー
タはメモリインタフェース１２２４を介してラスタ走査
順に読出されて画素バスインタフェース１２２２を介し
て図示しない画像表示制御回路を介して表示装置へ与え
られる。

【００２９】上述の一連の処理は、符号化時と同様、セ
グメント単位で実行される。逆量子化器１２１４、スキ
ャン変換器１２１６、逆離散コサイン変換器１２１８お
よび画素再構成器１２２０は、画像データの処理を高速
で行なうためにパイプライン化されている。

【００３０】制御回路１２２６は、この外部メモリ１２
３０へのアクセスの制御およびパイプラインステージの
起動および停止の制御を行なう。

【００３１】図３４は、図３３に示す外部メモリ１２３
０の記憶領域を示す図である。この外部メモリ１２３０
は、たとえばＤＲＡＭ（ダイナミック・ランダム・アク
セス・メモリ）を用いて構成され、外部から与えられる
ビットストリームをＦＩＦＯ態様で格納するＦＩＦＯ領
域１２３２と、画素再構成器１２３０（図３３参照）に
おいて予測符号化復号（ＤＰＣＭ復号）処理に用いられ
る参照画像画素データを格納する参照画像領域１２３４
と、図３３において図示しない表示制御回路を介して表
示装置に表示される表示画像データを格納する表示画像
領域１２３６を含む。ＦＩＦＯ領域１２３０は、一般
に、入来するビットストリームのビットレートと画像伸
張装置１２００（図３３参照）におけるデータ処理速度
の差を吸収するためのレート調整用のレートバッファと
呼ばれる。このＦＩＦＯ領域１２３２を用いることによ
り、入来するビットストリームの伝送レートがほぼ一定
であるのに対し、画像伸張処理における単位時間内に必
要とされる符号量が異なる（可変長符号語データを処理
するため）のを補償することができる。

【００３２】図３５は、図３３に示す画像伸張装置の制
御に関するタイミングチャートの一例を示す図である。
図３５においては、フレームまたはフィールドのピクチ
ュア単位の動作開始を指示する同期信号であるピクチュ
ア同期信号とセグメント単位の動作開始を指示する同期
信号であるＭＢ同期信号が示される。ピクチュア同期信
号は、たとえば垂直同期信号であり、図示しない表示制
御回路から図３３に示す制御回路１２２６へ与えられ
る。制御回路１２２６は、このピクチュア同期信号に同
期してＭＢ同期信号を出力する。ピクチュア同期信号の
周期は、復号後の画像データ（図３２に示す画素バスイ
ンタフェース１２２２を介して読出される画素データ）
の表示装置上の表示レートで決定される一定値を有す
る。この表示レートは、ＭＰＥＧにおいてはレベルによ
り決定される。「レベル」には、水平画素数・垂直画素
数・フレーム周波数の最大値が規格化されている。１つ
のピクチュアにおいては、分割されるマクロブロックの
数は予め決定される。ピクチュア同期信号サイクル内で
アサートされるＭＢ同期信号の数は、したがってピクチ
ュアの画素数すなわちマクロブロックの数で決定され
る。このＭＢ同期信号は、図３３に示す制御回路１２２
６から画像伸張装置１２００の各回路へ与えられて、各
回路がそれぞれ所定の処理動作を実行する。

【００３３】図３６は、セグメント単位の処理区間内に
行なわれる処理を示すタイミングチャート図である。図
３６においては、画像伸張装置をデコーダとして示す。
ＭＢ同期信号に同期してこの画像伸張装置（デコーダ）
の動作が起動される。可変長符号復号化器１２１２（図
３３を参照）がＭＢ同期信号に同期して活性化されて、
ＦＩＦＯインタフェース１２１０を介して与えられたビ
ットストリームからヘッダを検出して解析し、次に実行
すべき処理を決定する。次いでこのヘッダ解析により決
定された処理動作に従ってマクロブロックの各ブロック
の実データ分の復号（ブロックデータの復号と以下称
す）が行なわれる。

【００３４】このデコーダにおける復号動作と並行し
て、外部メモリへのアクセス動作が実行される。すなわ
ち、図３４に示すＦＩＦＯ領域１２３２へのビットスト
リームの書込、復号処理されるべきビットストリームの
ＦＩＦＯ領域１２３２からの画素データの読出、復号さ
れた画像データの参照画像領域１２３４または表示画像
領域１２３６（Ｂピクチュアは参照画像としては用いら
れない）への書込、画像データの表示のための外部メモ
リの表示画像領域１２３６からのデータの読出、および
画素再構成器における予測符号化復号処理に用いられる
予測画像の読出を含む。

【００３５】図３６においては、１つのマクロブロック
の処理動作を併わせて示す。ここで、以下の説明におい
て、「セグメント」は、複数のブロックを含むマクロブ
ロックと、このマクロブロックの属性データを含むマク
ロブロックヘッダ両者を含み、「マクロブロック」は単
に複数のデータブロックを含むものとする。

【００３６】ヘッダ解析部においては、セグメントのヘ
ッダ部分の解読を行ない、以後に実行されるべき処理の
決定および処理されるべきマクロブロックの属性を決定
する。このマクロブロックのヘッダ部分の解読の後、マ
クロブロックの各ブロックの輝度信号（Ｙ信号）の復号
化および色差信号ＣｂおよびＣｒの復号化が行なわれ
る。このときまた並列に、マクロブロックヘッダ部分の
解読により与えられた動きベクトルから動きベクトルを
再構成する演算が行なわれる（Ｂピクチュアの場合複数
の動きベクトルが用いられる）。このデコーダの復号動
作の一例は、たとえばＩＳＳＣＣ９４、ダイジェスト・
オブ・テクニカル・ペーパーズの第７２頁ないし第７３
頁の「シングル・チップＭＰＥＧ２ビデオ・デコーダＬ
ＳＩ」の図２においてデムラ等により示されている。し
たがって、この処理の場合、ヘッダ解析に要する時間
が、このヘッダ部の長さにおいて異なるため、ＭＢ同期
信号の期間すなわち１処理区間の時間長さは各処理区間
ごとに異なる。

【００３７】

【発明が解決しようとする課題】画像伸張装置におい
て、ビットストリームはセグメント単位で処理される。
ブロックレイヤを除く各レイヤの先頭には、図３０に示
すように、ヘッダが付される。このヘッダの先頭部に
は、レイヤの始まりを示すスタートコードが配置され
る。このスタートコードは、図３７に示すように、バイ
ト単位で配置される３２ビット幅を有する。

【００３８】図３７において、スタートコード１３００
は、スタートコードであることを示す所定のパターンを
有する３バイトのプリフィクス１３１０と、各レイヤに
固有のパターンを有する１バイトのレイヤスタートコー
ド１３２０を含む。たとえば、ＭＰＥＧ２のピクチュア
レイヤの始まりを示すスタートコードの場合、パターン ００００ ００００ ００００ ００００ ００００ ０００１ ００００ ００００ を有し、またシーケンスレイヤの始まりを示すスタート
コードは、パターン ００００ ００００ ００００ ００００ ００００ ０００１ １０１１０ ００１１ を有する。上述のスタートコードにおいて上位２４ビッ
ト（３バイト）がプリフィクスであり、下位１バイトが
レイヤスタートコードである。

【００３９】ＭＰＥＧ２規格においては、マクロブロッ
クレイヤより上位のレイヤでは、スタートコードに続い
てヘッダ情報が配置される。マクロブロックレイヤには
スタートコードは配置されない。これらのヘッダ情報は
固定長データであるが、その詳細説明は省略する。マク
ロブロックレイヤのヘッダ（マクロブロックヘッダ）
は、可変長符号化された情報を含む。

【００４０】図３８は、マクロブロックヘッダの構成の
一例を示す図である。図３８において、マクロブロック
ヘッダ１３５０は、マクロブロックの画面上の位置を示
す情報（マクロブロックアドレス）およびスキップされ
るべきマクロブロックの数（マクロブロックアドレスイ
ンクリメント）を格納するマクロブロックアドレス領域
１３５２と、マクロブロックの処理方法を示すマクロブ
ロックタイプを格納する領域１３５４と、マクロブロッ
クの動きベクトルを格納する領域１３５６と、Ｉピクチ
ュア以外のマクロブロックの各ブロックがＤＣＴ係数デ
ータを含むか否かを示すＣＢＰ（Coded Block Pattern
）を格納するＣＢＰ領域１３５８を含む。

【００４１】マクロブロックアドレスインクリメントに
よりスキップされるマクロブロックは、たとえばＰピク
チュアについては、動き補償をされないマクロブロック
において、ＤＣＴ係数の符号（コード）を持たないタイ
プのマクロブロックである。領域１３５４に格納される
マクロブロックタイプは、このマクロブロックが、フレ
ーム内／フィールド内予測符号化されているか否か、動
き補償されているか否かなどの情報を含む。

【００４２】動きベクトル領域１３５６には、動き補償
予測される場合の動きベクトルが格納される。Ｉピクチ
ュアの場合には、動きベクトル領域１３５６には、動き
ベクトルが格納されない。またＰピクチュアでは、その
予測方式（フレーム予測符号化の場合の奇数フィールド
（トップフィールド）および偶数フィールド（ボトムフ
ィールド）予測符号方式に従った動きベクトルを用いる
ことができる。同様にＢピクチュアについてもその予測
方式に従って用いられる動きベクトルの数は異なる。し
たがって、この動きベクトル格納領域１３５６のビット
幅はセグメントごとに異なる。ＣＢＰ領域１３５８は、
各ブロックがＤＣＴ係数データを含むか否かを示し、し
たがって、このＣＢＰ領域１３５８に格納された情報が
ＤＣＴ係数データを含まないことを示すブロックはその
データ伝送においては存在しないことになる。

【００４３】このマクロブロックヘッダの各領域１３５
２、１３４、１３５６および１３５８に含まれる情報
は、すべて可変長符号語（可変長シンボル）で表現され
る。したがって、マクロブロックヘッダ１３５０の情報
をすべて解析するのに要する時間は、マクロブロックの
属性（処理方法、動きベクトルの数等）に応じて異な
る。

【００４４】マクロブロックヘッダ１３５０の各情報を
解析することにより、このマクロブロックヘッダ１３５
０に続くマクロブロックに対してどのような処理を行な
うかを決定することができる。従来は、図３６に示すよ
うに、ＭＢ同期信号（ＭＢＳＹＮＣ）に同期してマクロ
ブロックヘッダ１３５０の情報の解析を開始し、このマ
クロブロックヘッダ１３５０の情報をすべて解析した後
に初めてマクロブロックデータの復号化処理を行なって
いる。すなわち、ＭＢ同期信号（ＭＢＳＹＮＣ）がアサ
ートされてからマクロブロックヘッダ１３５０の情報が
すべて解析されるまで、図３３に示す、可変長符号復号
化器１２１２の符号復号部、逆量子化器１２１４、スキ
ャン変換器１２１６、逆離散コサイン変換器１２１８お
よび画素再構成器１２２０は、動作停止状態とされ、マ
クロブロックヘッダ情報がすべて解析されたとき初めて
これらの演算処理器が動作状態とされる。ここで、図３
９において、マクロブロックＭＢ＃Ａ、ＭＢ＃Ｂ、ＭＢ
＃Ｃそれぞれのヘッダ解析が時刻Ｔａ、ＴｂおよびＴｃ
において完了し、次いでブロックデータの復号が行なわ
れる状態が一例として示される。

【００４５】したがって、図３９においてたとえばマク
ロブロックＭＢ＃Ｃのようにヘッダ解析に長時間を要す
る場合、可変長符号復号化部以降の演算処理器の動作停
止時間が長くなり、応じて演算処理器の使用効率が低下
し、高速で画像データの復号処理を行なうことができな
くなるという問題が生じる。

【００４６】このような処理演算器の使用効率の低下を
防止するために、演算処理をパイプライン化することが
考えられる。

【００４７】図４０は、一例として逆量子化器から画素
再構成器までの各処理演算器の各段をパイプライン化し
た構成を概略的に示す図である。この図４０に示す構成
においては、ＭＢ同期信号ＭＢＳＹＮＣのアサートごと
に、ヘッダ解析および可変長復号されたデータがパイプ
ラインへ投入される。パイプラインステージにおける逆
量子化ステージ、スキャン変換ステージ、逆ＤＣＴステ
ージおよび画素復号ステージは、それぞれ与えられたデ
ータをパイプライン態様で処理する。

【００４８】セグメント（マクロブロックヘッダおよび
マクロブロック）ＭＢ＃Ａのヘッダ解析および可変長復
号処理が終了し、次のＭＢ同期信号ＭＢＳＹＮＣがアサ
ートされると、このマクロブロックＭＢ＃Ａの各ブロッ
クデータがパイプラインへ投入されて順次処理される。

【００４９】次のセグメントＭＢ＃Ｂのヘッダ解析に長
時間を要した場合、マクロブロックＭＢ＃Ａの各ブロッ
クのデータの処理が終了しても、まだこのマクロブロッ
クＭＢ＃Ｂのブロックのデータはパイプラインへ投入さ
れないため、パイプラインステージに空きが生じ、パイ
プライン利用効率が低下する。

【００５０】セグメントＭＢ＃Ｂのヘッダ解析およびマ
クロブロックの各ブロックのデータの可変長復号化が終
了すると、次のＭＢ同期信号ＭＢＳＹＮＣのアサートに
従ってマクロブロックＭＢ＃Ｂの可変長復号語のデータ
がパイプラインステージに投入される。

【００５１】次に与えられるセグメントＭＢ＃Ｃのヘッ
ダの解析が短時間で終了し、応じてマクロブロックの各
ブロックのデータの可変長復号処理も速く終了した場
合、このマクロブロックＭＢ＃Ｃの可変長復号処理終了
に従って次のＭＢ同期信号ＭＢＳＹＮＣがアサートされ
る。このとき、パイプラインの逆量子化ステージにおい
てマクロブロックＭＢ＃Ｂの各ブロックのデータの処理
が終了していない場合には、マクロブロックＭＢ＃Ｂの
各ブロックのデータの処理中に次のマクロブロックＭＢ
＃Ｃのブロックデータが投入され、マクロブロックＭＢ
＃Ｂの各ブロックのデータとマクロブロックＭＢ＃Ｃの
ブロックのデータが混在して処理が行なわれることにな
り、正確なデータ処理を行なうことができず、データ処
理（伸張処理）に破綻が生じる。したがって、大きなパ
イプラインを導入することができず、パイプライン化に
よる処理演算器の使用効率改善にも限度がある。

【００５２】動画像データ、特に、ＨＤＴＶ（高解像度
テレビジョン）などの画面サイズの大きな画像のデータ
を処理する画像伸張装置においては、大量のデータを高
速で処理する必要があり（フレームまたはフィールドの
周波数すなわちこのピクチュア同期信号の周期は、伸張
処理後の画像データの表示速度で決定される）、またそ
の伸張処理過程での処理演算器（たとえば逆ＤＣＴ変換
器）での演算量も極めて大きい。したがって、処理演算
器の使用効率の低下を補償して高速データ処理を実現す
るためには、各処理演算器の動作速度を速くする（処理
動作速度を決定するクロック信号の周波数を高くする）
必要が生じ、処理演算器の構成要素のオンおよびオフな
らびに信号線の充放電の単位時間あたりの回数が増大
し、応じて消費電流が増大するという問題が生じる。

【００５３】また、別の方法として、複数の処理演算器
を並列に設け、これら複数の処理演算器を同時に並列に
動作させることにより使用効率の低下を補償することも
考えられる。この場合、素子数が増大し、装置規模が増
大するという問題が生じる。

【００５４】画像伸張処理過程において、たとえば外部
制御装置からの割込処理が生じた場合、その割込完了後
画像伸張装置を初期化する必要が生じる。このとき、割
込された処理から再び処理を再開すると、画像（ピクチ
ュア）の途中から表示が行なわれることになり、以後の
画像（ピクチュア）の処理と表示装置の表示との同期が
取れなくなる場合が生じる。すなわち、初期化後すぐに
最初の画像表示をピクチュア同期信号（たとえば垂直同
期信号）と同期して実行すれば、以後、同期のずれた画
像が表示される（画像（ピクチュア）の境界が画面上に
表示される）。ＭＰＥＧ規格では、シーケンスレイヤに
おいて、ＧＯＰ（グループ・オブ・ピクチュアズ）の先
頭にシーケンスヘッダを配置し、任意のＧＯＰから再生
可能としている。しかしながら、このような画像伸張処
理過程のリセット時（初期化時）に実行すべき処理につ
いては何ら述べていない。また、先行技術もこのような
画像伸張処理の初期化の動作については述べていない。

【００５５】それゆえ、この発明の目的は、効率的に画
像データの伸張処理を実行することのできる画像伸張装
置を提供することである。

【００５６】この発明の他の目的は、効率的に動作する
パイプラインステージを備える画像伸張装置を提供する
ことである。

【００５７】この発明のさらに他の目的は、処理演算器
の使用効率の優れた画像伸張装置を提供することであ
る。

【００５８】この発明のさらに他の目的は、リセット時
（初期化時および再同期化時）に確実に処理効率を低下
させることなくピクチュアの最初のマクロブロックから
処理を実行することのできる画像伸張装置を提供するこ
とである。

【００５９】

【課題を解決するための手段】請求項１に係る画像伸張
装置は、入来するビットストリームを受け、セグメント
のヘッダの情報を解析するヘッダ復号手段と、このヘッ
ダ復号手段からのセグメントのヘッダ情報の解析完了を
示す信号に応答してデータ処理開始指示信号を発生する
制御手段と、このデータ処理開始指示信号に応答して起
動され、セグメントのヘッダに続くデータブロックに予
め定められた処理を実行するデータ処理手段とを備え
る。ヘッダ復号手段は、データブロックに続いて与えら
れるヘッダのデータを連続して解析し、これにより１つ
の処理区間は、データブロックの処理に始まってヘッダ
の解析で終了する。

【００６０】請求項２に係る画像伸張装置においては、
各処理区間の時間期間はヘッダ解析結果に従って変更可
能とされる。

【００６１】請求項３に係る画像伸張装置は、請求項１
に係る画像伸張装置の構成において、圧縮処理された動
画像データが予測符号化処理を受けた画素データからな
り、データ処理手段は、データブロックのデータを圧縮
処理と逆の伸張処理をしてもとの画素データを復元する
手段を含み、この請求項１の制御手段が、データ処理開
始指示信号に応答してメモリ装置へのデータ処理手段か
らの復元された画素データの格納、入来するビームスト
リームのメモリ装置への書込、メモリ装置からの復元さ
れた画素データのうちの表示すべき画素データの読出、
およびデータ処理手段における画素データの復元に必要
とされる予測画像画素データの読出を順次所定の順序で
実行する手段を含む。

【００６２】請求項４に係る画像伸張装置は、与えられ
たビットストリームからセグメントのヘッダを検出し、
このヘッダ情報の解析を行なう解析手段を含む。この解
析手段は、ヘッダ情報のすべての解析完了を示す信号を
発生する手段を含む。

【００６３】請求項４に係る画像伸張装置は、さらに、
セグメントのヘッダに続くデータブロックのデータを可
変長復号処理して固定長符号データを生成する手段を含
み、解析手段の解析結果に従ってデータブロックのデー
タを圧縮前の画素データに復元するデータ処理手段と、
解析手段および可変長復号手段のいずれかの処理におい
てエラーが検出されたとき、そのエラーを示すエラー検
出信号を発生するエラー検出手段と、このエラー検出信
号に応答して入来するビットストリームから予め定めら
れたパターンを有するスタートコードを検出するコード
検出手段と、コード検出手段からのコード検出信号に応
答して、解析手段を活性化する活性化手段と、エラー検
出手段の活性化時解析手段からの解析完了指示信号に応
答して、所定の条件が満足されるまでデータ処理手段の
活性化を待ち合せる手段とを備える。

【００６４】請求項５に係る画像伸張装置は、請求項４
のデータ処理手段が、セグメントの処理区間を処理単位
としてパイプライン的に処理動作する複数段のパイプラ
インステージを含む。

【００６５】請求項６に係る画像伸張装置は、請求項５
のパイプラインステージが、予測画像画素データのメモ
リからの読込、データブロックの直交変換係数の可変長
符号化およびその逆量子化を行なう第１のパイプライン
ステージと、読込まれた予測画像画素データからの予測
画像の作成を行なう第２のパイプラインステージと、逆
量子化されたデータの逆直交変換処理および画素データ
の復元を行なう第３のパイプラインステージと、復元さ
れた画素データのメモリへの書込を行なう第４のパイプ
ラインステージとを含む。

【００６６】請求項７に係る画像伸張装置は、請求項５
記載の画像伸張装置がさらに、エラー検出信号に応答し
て、このエラーが検出されたセグメントよりもデータ処
理手段における処理の順序において前に位置するセグメ
ントのデータブロックに所定のエラー修復処理をパイプ
ラインステージにおいて施す手段を備える。

【００６７】請求項８に係る画像伸張装置は、画像伸張
処理の初期化を要求するリセット要求信号に応答して、
処理起動信号を生成する制御手段と、前記制御手段から
の処理起動信号に応答して、予め定められたパターンを
有するスタートコードを入来するビットストリームから
検出するコード検出手段と、このエラー検出時、コード
検出手段のコード検出信号に応答して、入来するビット
ストリームからセグメントを検出して、そのヘッダの情
報を解析し、そのヘッダ情報のすべての解析が完了した
ことを示す信号を発生するヘッダ解析手段と、このヘッ
ダ解析完了指示信号に応答して、所定の条件が満足され
るまで、このセグメントのデータブロックの処理を行な
うデータ処理手段の動作を停止させる手段とを備える。

【００６８】請求項９に係る画像伸張装置は、この請求
項８の画像伸張装置における所定の条件が、外部から与
えられる画像の開始時点を示す同期信号の印加である。

【００６９】

【作用】請求項１に係る画像伸張装置においては、デー
タブロックの復号に続いてヘッダの解析を行ない、この
ヘッダの解析がすべて完了した後にデータ処理開始を指
示している。１つの処理区間はデータブロックの処理に
始まりヘッダの解析で終了する。データ処理開始が指定
されるとデータ処理手段は即座に処理を実行する。した
がって処理演算器の停止期間が短くなり、処理演算器の
使用効率が高くなる。また、処理演算器の待機時間が短
くなるため、１処理区間の時間期間を短くすることがで
き、高速処理を実現することができる。

【００７０】請求項２の画像伸張装置においては、処理
区間の時間期間をヘッダの解析結果に従って変更される
ために、処理対象となるセグメントの属性に応じて処理
区間の時間期間を変更することができ、最適な処理区間
の時間期間を設定して効率的に処理演算器を動作させる
ことができる。

【００７１】請求項３に係る画像伸張装置においては、
制御手段によりデータブロックのデータの復号処理と並
行してメモリへのアクセスが順次実行される。特に、復
元データの書込、入来ビットストリームの書込、予測画
像画素データの読出、およびビットストリームの読出を
順次行なうことにより、データ処理手段によるパイプラ
イン処理に必要とされるデータの破壊を伴なうことなく
データ処理手段へ供給しかつそのデータ処理手段からの
データを格納し、かつ表示に必要なデータを表示制御装
置へ与えることができる。

【００７２】請求項４に係る画像伸張装置においては、
ヘッダ解析過程または可変長復号過程においてエラーが
発生したとき、所定のパターンを有するスタートコード
を検出、このスタートコードに続くセグメントのヘッダ
を解析して解析完了後所定の条件が満足されるまで、そ
の解析されたヘッダに続くデータブロックの処理を待ち
合せている。エラー発生時においても、所定のセグメン
トから処理を開始し、この処理開始時においても処理区
間がデータブロックの処理から始まるため、エラー回復
後の処理開始時においても演算処理器の使用効率の低下
を抑制することができる。また処理区間がデータブロッ
クの復号処理から始まる規則性を維持することができ
る。

【００７３】請求項５に係る画像伸張装置においては、
セグメントの処理区間を１処理単位としてパイプライン
を構成しているため、各パイプラインの処理演算器の使
用効率を高くすることができ、高速データ処理を実現す
ることができる。

【００７４】請求項６に係る画像伸張装置においては、
パイプラインステージは処理内容に応じて４段で構成さ
れ、処理区間の変動に対しても最小の処理演算器の待ち
時間でパイプライン動作が可能であり、高速データ処理
を実現することができる。また、ヘッダの解析と並行し
てデータの復号処理を行なうことができ、高速にデータ
処理を行なうことができる。

【００７５】請求項７に係る画像伸張装置においては、
エラー発生時にパイプラインステージの遅延を利用する
ことにより、エラーが検出されたセグメントより処理順
序で前のセグメントからエラー修復動作を行なうことが
でき、より正確なエラー修復動作を実現することができ
る。

【００７６】請求項８に係る画像伸張装置においては、
リセット要求時に所定のパターンを有するスタートコー
ドを検出し、そのスタートコードに続くセグメントのヘ
ッダを解析して以降の処理を所定の条件成立まで停止す
る。リセット要求時においても確実に所望の位置のセグ
メントのマクロブロックから処理を開始することができ
る。

【００７７】請求項９に係る画像伸張装置においては、
画像の開始を示すピクチュア同期信号に同期してデータ
復号処理を開始しており、リセット時において外部から
の同期信号と同期して確実にピクチュアの開始からセグ
メントのデータブロックのデータの復号処理を行なうこ
とができる。

【００７８】

【実施例】図１は、この発明に従う画像伸張装置におけ
る可変長復号部の１処理区間の動作を示す図である。可
変長符号復号部（以下、デコーダ（ＶＬＤ）と称す）の
１処理区間ＰＳ１は、マクロブロックの各ブロックのデ
ータの復号を行なう復号期間ＰＳ２と、この復号期間Ｐ
Ｓ２に続くヘッダ情報の解析を行なう期間ＰＳ３とを含
む。復号期間ＰＳ２は、ＭＢ同期信号ＭＢＳＹＮＣのア
サートに応答して開始され、この期間ＰＳ２で、量子化
インデクスを元にした可変長シンボル群からなるブロッ
クデータの復号が行なわれる。ヘッダ解析期間ＰＳ３で
は、次の処理区間で復号されるヘッダ部分の情報（シー
ケンスヘッダ、ピクチュアヘッダがマクロブロックヘッ
ダに加えて含まれる場合もある）がすべて解析される。
解析期間ＰＳ３の完了後、すなわち、次のマクロブロッ
クヘッダのすべての情報の解析完了後は、所定の条件が
成立するまで次の処理区間ＰＳ１の開始すなわち次のマ
クロブロックのブロックのデータの復号処理開始が待ち
合せられる。ここで図１においては、解析期間ＰＳ３の
完了時点において続いて次のマクロブロックのブロック
データの復号が行なわれるように示される。しかしなが
らこの解析期間ＰＳ３の時間期間は、ヘッダ情報に応じ
て変動する。復号ブロックデータ（マクロブロックの各
ブロックのデータ）の復号処理は、固定時間内で終了す
る。マクロブロックの各ブロックのデータは可変長符号
化されており、符号長は異なる。この可変長符号のデコ
ードを、たとえば１シンボル／１クロックサイクルの速
度で行なえば、マクロブロックの各ブロックの画素数は
８画素×８画素であり、１ブロックあたりの最大の数は
６４個である。したがってこの復号期間ＰＳ２の時間期
間を上述のように設定した場合、固定時間長とすること
ができる。１シンボル／１クロックサイクルの割合で可
変長符号を行なう場合において、ランレングスデータを
復号し、この復号されたランレングス情報に従って順次
各ブロックのＤＣＴ係数が求められる。したがって、こ
の場合、ラン・レングス・デコードに要する時間の最大
値は予め定めることができ、このラン・レングス・デコ
ードに要する時間を予め一定に設定しておけば、デコー
ドされたランレングス情報から１クロックあたり１画素
の割合でブロックのＤＣＴ係数データを求める構成とす
れば、同様この場合においても、時間期間は固定とされ
る。ラン・レングスデコードに要する時間が変動する場
合において、復号期間ＰＳ２の時間期間が変動する構成
とされる場合においても、そのブロックデータの復号に
要する時間期間は一定の時間（最大の復号時間程度）以
内に抑えることができる。デコーダ（ＶＬＤ）からは固
定長のＤＣＴ係数（量子化インデクス）が出力される。

【００７９】図１に示す処理期間の構成に従えば以下の
利点が得られる。ＭＢ同期信号ＭＢＳＹＮＣに同期して
マクロブロックのブロックのデータの復号が行なわれ
る。したがって、画像伸張装置に含まれる各演算器がヘ
ッダ解析完了後待つことなく動作を開始することができ
る。したがって、この逆量子化器、可変長復号化器、ス
キャン変換器、逆離散コサイン変換器および画素再構成
器が待合せることなく処理を開始することができ（パイ
プライン化されているとき特に、）、画像伸張装置の各
種演算器の使用効率を改善することができる。

【００８０】また復号領域ＰＳ２および解析領域ＰＳ３
の時間期間は、画像伸張装置に含まれる各処理演算器を
後に説明するようにパイプライン的に動作させることに
より、大幅に短くすることができる。

【００８１】図２は、処理区間の構成を具体的に示す図
である。図２（Ａ）においては、１処理区間の復号領域
ＰＳ２は、可変長符号を可変長復号処理して固定長の量
子化ＤＣＴ係数を生成する可変長復号処理（ＶＬＤ）、
この可変長復号されたＤＣＴ係数データの逆量子化処理
（ＩＱ）、逆量子化されたＤＣＴ係数のスキャン順序の
変換を行なうスキャン変換処理、スキャン変換された処
理の逆離散コサイン変換処理（ＩＤＣＴ）、およびこの
逆離散コサイン変換後の画素データから元の画素データ
を復元する画素復元処理（ＤＰＣＭ）を含む。この図２
（Ａ）においては、処理区間における復号領域２の時間
期間は、各処理演算に要する時間の合計となる。

【００８２】図２（Ｂ）はこの復号領域２に含まれる各
処理をパイプライン的に実行する場合の構成の一例を示
す図である。可変長復号処理（ＶＬＤ）が完了すると、
可変長符号復号器においては、ヘッダ情報の解析を行な
うことが可能となる。したがって、この図２（Ｂ）に示
すような逆量子化処理（ＩＱ）、スキャン変換処理（バ
ッファメモリへのアドレス変換を伴なうデータのライト
・リード）、逆離散コサイン変換処理（ＩＤＣＴ）およ
び画素復元処理（ＤＰＣＭ）の処理と並列に、次のセグ
メントのヘッダ情報の解析を行なうことができる。した
がってパイプライン態様で処理を行なうことにより復号
領域ＰＳ２の時間期間の短縮と、このパイプライン化に
よるヘッダ情報解析とブロックデータの復号との並列処
理による解析領域ＰＳ３の時間期間の短縮を実現するこ
とができ、１処理区間の時間期間を大幅に低減すること
ができ、高速演算処理（伸張処理）を実行することがで
きる。このパイプライン化の構成については後に再度詳
細に説明する。

【００８３】この発明に従う画像伸張装置の概略外部構
成は図３３に示す構成と同じである。可変長復号化器１
２１２および制御回路１２２６の内部構成が異なる。こ
の構成については後に詳細に説明する。

【００８４】図３は、１処理区間における、デコーダ
（画像伸張装置）の動作と外部メモリ装置（ＤＲＡＭ）
のポートの動作を示す図である。図３において、画像伸
張装置（デコーダ）において、ＭＢ同期信号ＭＢＳＹＮ
Ｃのアサートに応答して、セグメントのブロックのデー
タの復号が開始される。このブロックデータの復号が完
了すると、次のセグメントのヘッダ情報の開始が行なわ
れる。ヘッダ情報の解析が完了するとちょうど１処理単
位時間期間が終了しており、次のセグメントのマクロブ
ロックのブロックデータの復号が開始されている。

【００８５】一方、ＤＲＡＭに対しては、まずＭＢ同期
信号ＭＢＳＹＮＣのアサートに応答して、先の処理単位
時間期間で復号された画素データの書込が行なわれる。
次いで、外部から与えられるビットストリームが図３２
に示すＦＩＦＯインタフェース１２１２を介して予め定
められた時間期間の間に書込まれる。このＤＲＡＭポー
トへのビットストリームの書込（レートバッファへの書
込）が完了すると、次いで表示用の画像データが読出さ
れる。この表示用の画像データ（たとえばマクロブロッ
クの画素データ）の読出が完了すると、次いで予測符号
化された画素データの復元に用いられる予測画像データ
の読出が行なわれる。この予測画像データの読出におい
ては、Ｂピクチュアの場合には、たとえば、内挿予測の
場合、時間的に前および後の２つのピクチュアの画像デ
ータが読出される。したがって、この予測画像データの
読出においては、復号されるブロックデータの符号化モ
ードに応じて異なる。

【００８６】予測画像データの読出が完了すると、次い
で、処理されるべきビットストリームの読出が行なわれ
る（レートバッファの読出）。このレートバッファの読
出においては、読出されるデータの量は予め設定され
る。レートバッファの読出を行なう処理単位におけるヘ
ッダ情報の解析に用いられるビットストリームおよび次
の処理単位において復号処理されるセグメントのブロッ
クデータが、後に説明する可変長符号復号化器に含まれ
るバッファに準備されることが必要とされる。各処理単
位区間においてレートバッファからビットストリームの
読出を行なうことにより、対応の処理区間におけるヘッ
ダ解析に用いられるビットストリームおよび次の処理単
位において用いられるブロックデータの可変長符号復号
化器に含まれるバッファメモリ内への格納（プリフェッ
チ）を保証することができる。

【００８７】このレートバッファの読出の後、ＤＲＡＭ
リフレッシュが行なわれ、外部メモリ装置であるＤＲＡ
Ｍの記憶するメモリデータのリフレッシュが実行され
る。ＤＲＡＭポートの動作において１処理単位時間内で
以上の動作が順次実行される。この図３に示す動作シー
ケンスにおいては、ＤＲＡＭリフレッシュ動作完了後、
次の処理区間が始まるまで、何らアクセスはされず、Ｄ
ＲＡＭポートは空き状態となる。なお、ＤＲＡＭリフレ
ッシュは、１処理区間において最後に行なわれるように
示される。しかしながら、このＤＲＡＭリフレッシュ
は、１処理単位の区間において、適当なタイミングで実
行されればよい。

【００８８】図４は、１処理区間における、画像伸張装
置およびＤＲＡＭポートの動作の別のシーケンスを示す
図である。図４においては、ＭＢ同期信号ＭＢＳＹＮＣ
のアサートに同期して、画像伸張装置（デコーダ）にお
いては、図３に示すシーケンスと同様、ブロックデータ
（マクロブロックの各ブロックのデータ）の復号が行な
われ、次いで復号完了後、次のセグメントのヘッダ情報
の解析が行なわれる。図４に示すシーケンスにおいて
は、ヘッダ情報の解析が完了しても、次のセグメントの
ブロックデータの復号の処理の開始は待合せられる。

【００８９】一方、ＤＲＡＭポートにおいては、ＭＢ同
期信号ＭＢＳＹＮＣのアサートに同期して、復号済みデ
ータの書込、レートバッファへの書込、表示用画像デー
タの読出、予測画像データの読出およびレートバッファ
の読出が順次実行される。レートバッファの読出の前
に、ＤＲＡＭリフレッシュが実行される。このＤＲＡＭ
リフレッシュは、先に述べたように、１処理区間内で任
意のタイミングで実行可能である。レートバッファの読
出が完了することにより、１つの処理区間が完了する。
この１つの処理区間の完了に応答して、次のセグメント
のブロックデータの復号開始を示すためにＭＢ同期信号
ＭＢＳＹＮＣがアサートされる。ヘッダ情報の解析が行
なわれてから次のブロックデータの復号の開始までの間
の空き時間については後に詳細に説明する。

【００９０】この１処理区間内においてＤＲＡＭポート
に対し、所定の順序で復号済みデータの書込、レートバ
ッファの書込、表示用の画像データの読出、予測画像デ
ータの読出、およびレートバッファの読出を行なうこと
により、ＤＲＡＭのアクセスにおいて、このアクセスの
優先順位を判別する必要がなく、ＤＲＡＭへのアクセス
を調整するためのバスアービタを設ける必要がなく、装
置構成が簡略化される。

【００９１】また、１処理区間の最初に復号済みデータ
の書込を行なうことにより、後に詳細に説明する画像伸
張装置の演算器のパイプライン構成に対応することがで
きる。また、先に復号済みデータの書込を行なうことに
より、続いて実行される表示用画像データの読出に必要
とされる画像データをＤＲＡＭに準備することができ
る。すなわち、Ｂピクチュアの場合、復号済みデータが
すぐに表示される（Ｂピクチュアは予測画像としては用
いられない）。復号済みデータの書込に続いてレートバ
ッファへのビットストリームの書込を行なうことによ
り、ＤＲＡＭの動作モード（書込モード／読出モード）
を変更することなく、また外部から与えられるビットス
トリームに遅延を生じさせることなくレートバッファへ
ビットストリームを書込むことができる。表示用画像デ
ータの読出を予測画像データの読出よりも先にすること
により、外部に別に設けられた表示制御装置の動作を待
合せる必要がない。すなわち予測画像データの読出で
は、このセグメントの処理方法（予測符号化）に応じて
読出される予測画像の数が異なる。したがって、予測画
像データの読出の完了時点は各画像により異なる。した
がって、１処理区間内において終了時点の変動する予測
画像データよりも先に表示用の画像データを読出すこと
により、１処理区間内においてほぼ同じタイミングで表
示用画像データを表示制御装置へ与えることができ、表
示制御装置の使用効率が損なわれることはない。

【００９２】レートバッファからのビットストリームの
読出を処理区間の最後に行なうのは、次の処理区間にお
けるブロックデータ復号処理およびヘッダ解析に必要と
されるビットストリームを可変長符号復号化器（１２１
２、図３３参照）へ供給することが要求されるだけであ
り、１処理区間の最後に実行しても何ら問題は生じな
い。予測画像データの読出をレートバッファの読出より
も先に実行するのは、画像伸張装置のパイプライン構成
において、確実に予測画像データを画像伸張装置の画素
再構成器に設けられたバッファメモリへ読込み、続いて
次の処理区間の開始に同期して予測画像を生成する演算
処理を確実に実行することができるようにするためであ
る。

【００９３】またこのＭＢ同期信号ＭＢＳＹＮＣに同期
してＤＲＡＭポートのアクセスを開始する構成とするこ
とにより、予測画像データの読出タイミングを予め予測
することができ、バス制御が容易となる（ＤＲＡＭへの
アクセス制御は後にその構成は詳細に説明するが図３２
に示す制御回路１２２６により行なわれる）。すなわち
先にヘッダ情報を解析することにより、マクロブロック
のタイプおよび画面上の位置を知ることができる。ＤＲ
ＡＭはフレームメモリの構成を備える。したがって先に
ヘッダ情報を解析しておくことにより、復号済みデータ
の書込および表示用の画像データの読出におけるロウア
ドレスの変化などを予め予測することができ、応じてこ
れらの復号済みデータの書込および表示用画像データの
読出に要する時間を予測することができ、応じて予測画
像データの読出タイミングを予測することができる。こ
れにより、図３２に示すメモリインタフェースの制御と
画素再構成器における予測画像データの読込動作との調
整を行なうこともできる。

【００９４】図５は、クロックサイクルを単位としてパ
イプラインを構成する逆量子化器の構成を概略的に示す
図である。この逆量子化器１２１４は、可変長復号され
た固定長データからなる量子化ＤＣＴ係数データを入力
バスＡ１０１を介して受けかつ各ブロック（マクロブロ
ックの各ブロック）の始まりを示す入力同期信号を信号
線Ａ１０３を介して受け、パイプライン態様で逆量子化
処理を行なって、出力バスＡ１０２からＤＣＴ係数デー
タを出力しかつ信号線Ａ１０４を介してその出力データ
のブロックの始まりを示す出力同期信号を出力する。

【００９５】逆量子化器１２１４においては、固定長符
号に変換された量子化ＤＣＴ係数それぞれに対し、予め
準備された量子化テーブルを用いて量子化時と逆の演算
（たとえば、量子化テーブルの対応の係数で乗算をす
る；量子化のときに量子化テーブルの対応の係数で割算
されているとき）処理が行なわれる。このとき、乗算処
理がパイプライン的に実行される。一般に、図６に示す
ように、ＶＬＤ，ＩＤＣＴおよびＤＰＣＭ処理ステージ
に較べて、この逆量子化器１２１４は、１２８段余分の
パイプラインを備える。したがって、図６に示すよう
に、入力同期信号が信号線Ａ１０３を介して与えられて
順次入力バスＡ１０１を介してデータが与えられると、
逆量子化処理を施されたデータは１２８サイクル経過し
た後に出力される。この逆量子化器１２１４へ与えられ
る入力データは、図３３に示す可変長符号復号化器１２
１２から与えられる。この逆量子化器１２１４からの出
力バスＡ１０２へ現われる出力データがすべて出力され
るまでに、または、図２（Ｂ）に示すように、スキャン
変換器を介して逆ＤＣＴ器へ与えられるまでに入力デー
タは、それより少なくとも１２８サイクル前に終了す
る。したがって、この間ヘッダ解析のために可変長符号
復号化器を利用することができる。したがってこの逆量
子化器以降の処理とヘッダ解析とを並行して実行するこ
とができる（図２（Ｂ）参照）。

【００９６】図７は、画像伸張装置のために他のパイプ
ライン態様を示す図である。図７に示す画像伸張装置に
おいては、ＭＢ同期信号ＭＢＳＹＮＣに同期して４段の
パイプラインによりパイプライン処理が実行される。図
７において、第１段目のパイプラインにおいては、予測
画像のＤＲＡＭからの読出、ＤＣＴ係数の可変長復号処
理（固定長ＤＣＴ係数データの生成）、および逆量子化
処理が行なわれる。このＤＲＡＭからの予測画像データ
の読出においては、先の処理区間において解析されたヘ
ッダ情報から動きベクトルが抽出され、この抽出された
動きベクトルに従ってＤＲＡＭから予測画像データの読
出が行なわれる。

【００９７】第２段のパイプラインステージは、このＤ
ＲＡＭから読出された予測画像データのフィルタ処理が
行なわれる。この予測画像のフィルタ処理では、予測精
度が分数精度の場合における複数の予測画像の内挿によ
る合成（平均化）が行なわれる。内挿予測のＢピクチュ
アの場合には、時間的に前後する２つのピクチュアの画
像データの合成が行なわれる（各時間的距離に従った重
みをつけて画像データを合成する）。これにより、予測
画像データの生成が行なわれる。

【００９８】第３段目のパイプラインステージは、逆離
散コサイン変換処理（ＩＤＣＴ）および予測差分符号の
復号処理（ＤＰＣＭ復号）が行なわれる。ＩＤＣＴ処理
においては、逆量子化処理（ＩＱ）を受けたＤＣＴ係数
データの逆離散コサイン変換処理が実行される。ＤＰＣ
Ｍ復号処理過程においては、ＩＤＣＴ処理により生成さ
れた画素データと、予測画像フィルタ処理により生成さ
れた予測画像データとの予測差分符号化（両者の加算）
が行なわれ、元の画素データが生成される。このマクロ
ブロックがＩピクチュアの場合には、ＩＤＣＴ処理され
たデータが元の画素データに対応する（ＤＣ予測を行な
っていない場合）。このＤＰＣＭ復号処理されて復元さ
れた画素データは画像伸張装置に含まれるバッファへ書
込まれる。

【００９９】４番目のパイプラインは、この復号画像デ
ータのＤＲＡＭの書込である。すなわちバッファからＤ
ＲＡＭの書込が行なわれる。

【０１００】この画像伸張装置のヘッダ解析以後の処理
をセグメント（マクロブロック）単位でパイプライン化
することにより、処理単位の時間期間を大幅に短縮する
ことができる。図７においては、したがってＭＢ同期信
号ＭＢＳＹＮＣのアサートされる間隔を１処理区間とす
ると、１つのマクロブロックのブロックデータが復号さ
れるために４処理区間が必要とされる。この各処理区間
において、ヘッダ情報の解析が実行される。図７におい
ては、一例としてディジタルＮＴＳＣ信号（有効画素数
７２０／ライン、４８０ライン／フレーム）をフレーム
ごとに１６×１６画素からなるマクロブロック単位で処
理する場合の動作シーケンスを示す。第１のマクロブロ
ックＭＢ＃１から第１３５０番目のマクロブロックＭＢ
＃１３５０までの処理が４段のセグメント単位のパイプ
ライン（１処理区間で１セグメント（マクロブロック）
を処理する）により処理されている。

【０１０１】この画像伸張装置における内部の演算処理
操作をパイプライン化した場合の、ＤＲＡＭポートへの
アクセスも同様、図７において画像伸張装置の内部のパ
イプラインステージに対応して示す。

【０１０２】この図７に示すように、画像伸張装置の各
処理演算器のセグメント単位でのパイプライン化処理に
より、画像伸張処理の単位であるセグメントの処理を複
数の処理区間にわたってパイプライン的に実行すること
ができ、応じて１セグメントのすべての処理に要する時
間（１処理単位の時間）を実効的に短くすることができ
る。図７に示すように、４段のパイプラインの構成の場
合、１処理単位の約１／４の時間の処理区間で１つのセ
グメントが処理される。

【０１０３】この図７に示す処理区間の時間期間は一定
のクロックサイクル数に固定的に設定されてもよい。し
かしながらこのセグメントの属性に応じて処理区間の時
間期間（クロックサイクル数）を変動させることもでき
る。

【０１０４】図８は、処理区間の時間期間を変更するた
めの動作フローを示す図である。以下、図８を参照し
て、処理区間のクロックサイクル数を変更するための方
法について説明する。

【０１０５】また、ＭＢ同期信号ＭＢＳＹＮＣがアサー
トされる（ステップＳ１）。このＭＢ同期信号ＭＢＳＹ
ＮＣのアサートに応答して制御回路１２２６（図３３参
照）に含まれるタイマが起動される（ステップＳ２）。

【０１０６】タイマの起動の後、先の処理区間において
解析されたヘッダ情報に基づいてセット時間を変更する
必要があるか否かの判別が行なわれる（ステップＳ
３）。これは、マクロブロックの処理方法が複雑な場合
（たとえば分数精度での動き予測付双方向予測符号化処
理が行なわれたＢピクチュアなどの場合）、その処理単
位時間が長くなる。この場合、この解析ヘッダ情報に従
ってセット時間を長くする。ステップＳ３において、セ
ット時間の変更が必要とされた場合には、その解析され
たヘッダ情報に従って処理区間の時間を適当な値（長く
または短く）設定する。ステップＳ３においてセット時
間の変更が必要でないと判別された場合、ステップＳ４
のセット時間の変更処理はスキップされる。次いで、タ
イマのカウント時間がセット時間に到達したか否かの判
別が行なわれる（ステップＳ５）。セット時間が経過し
た場合には、再びステップＳ１へ戻り、次の処理区間の
始まりを示すＭＢ同期信号ＭＢＳＹＮＣがアサートされ
る。セット時間が経過するまでステップＳ５が繰返して
実行される。

【０１０７】なお、ステップＳ３およびＳ４は、ステッ
プＳ１と並行して行なわれてもよい。セット時間の変更
は、タイマをカウンタで構成し、このタイマのカウント
値とレジスタの基準値の一致／不一致を比較する比較器
の比較結果によりＭＢ同期信号ＭＢＳＹＮＣをアサート
する構成の場合では、レジスタの格納値が変更されれば
よい。また、可変段数のカウンタを用い、このセット時
間変更時にはカウンタの段数を変更する構成とすれば、
カウンタのカウントアップ信号をＭＢ同期信号ＭＢＳＹ
ＮＣとして利用する構成を用いることもできる。

【０１０８】処理区間の時間期間が一定の場合には、ス
テップＳ３およびＳ４が省略される。

【０１０９】図９は、処理区間の時間期間を設定する他
の手法を示す図である。この図９に示す制御動作も、図
３２に示す制御回路１２２６において実行される。この
制御回路１２２６の構成については後に詳細に説明す
る。

【０１１０】処理区間が始まり、ＭＢ同期信号ＭＢＳＹ
ＮＣがアサートされる（ステップＳ１０）。次いで、ス
テップＳ１２、Ｓ１４およびＳ１６が並列態様で実行さ
れる。ステップＳ１２においては、レートバッファから
の可変長符号復号化器へのビットストリームの読込が完
了したか否かの判別が行なわれる。ステップＳ１４にお
いては、ＭＢ同期信号ＭＢＳＹＮＣから所定のセット時
間が経過したか否かの判別が行なわれる。ステップＳ１
６においては、ヘッダ情報の解析がすべて完了したか否
かの判別が行なわれる。このヘッダ情報の解析がすべて
完了したか否かを示す信号は、後に詳細に説明するが、
可変長符号復号化器から出力される。ステップＳ１８に
おいて、これらの判断結果がモニタされ、ステップＳ１
２、Ｓ１４およびＳ１６における判別結果がすべて肯定
的（ＹＥＳ）の場合には、ステップＳ１８からステップ
Ｓ１０へ戻り、次の処理区間の開始を指定するＭＢ同期
信号ＭＢＳＹＮＣがアサートされる。この図９に示す処
理動作を実行することにより、確実に必要な処理が完了
した後に次の処理区間が開始させることができる。デー
タ処理の途中（たとえばレートバッファからのデータ読
出動作中またはヘッダ解析動作中）に次の処理区間が始
まるのを防止することができる。したがって、固定的に
処理区間の時間サイクルを設定する構成に比べて、確実
に、すべての必要な処理が完了した後に（すべて必要な
データが与えられた後に）、可変長復号動作から画素復
元処理までの一連の処理がパイプライン態様で開始され
る。この図９において、ステップＳ１４におけるセット
時間は復号対象となるセグメントの属性に応じて変更可
能とされてもよい（図８参照）。

【０１１１】以上のように、画像伸張装置の各処理演算
器をセグメント単位でパイプライン化することにより、
セグメントの処理区間を大幅に短縮することができる。

【０１１２】エラー処理動作：画像伸張装置に入力され
るビットストリームのデータは、エラービットを含んで
いる可能性がある。可変長符号化処理されたビットスト
リームではシンボルの長さが異なる。したがって、エラ
ービットが混入した場合、１つのシンボルのエラーは後
続のシンボルにも影響を及ぼすことになり、正確な可変
長復号処理を行なうことができなくなる。画像伸張装置
は、この混入したエラービットにより正常な復号動作を
行なう定常状態から正確な復号処理を行なうことのでき
ない非定常状態へ遷移する。画像伸張装置には、このよ
うな非定常状態から定常状態への復帰および非定常状態
における復号画像の画質劣化を最小限を抑制する処理を
行なうことが要求される。ここで、エラー検出から正常
状態への復帰までに行なわれる処理をエラー処理と称
す。この非定常状態において処理されたセグメントに行
なわれる表示画面上でのエラーの影響を小さくする処理
は、「エラーコンシールメント処理」と呼ばれる。以
下、このエラー処理動作およびエラーコンシールメント
処理について説明する。

【０１１３】図１０は、エラー検出時の画像伸張装置の
動作を概略的に示すフロー図である。以下、図１０を参
照してエラー検出時の画像伸張装置の動作について説明
する。

【０１１４】まず、ステップＳ２０においてエラーが検
出される。このエラー検出においては、たとえば、可変
長符号復号化器において、スタートコードを含むヘッダ
解析時において、必要とされるシンボルが見出されない
場合および、量子化インデクスの可変長復号処理におい
て対応のシンボルが見出されない場合にエラーが生じた
と判定されてエラー検出信号が生成される。

【０１１５】エラーが検出されると、特定のパターンを
有するスタートコードの探索が行なわれる（ステップＳ
２１）。このスタートコードには、ＭＰＥＧ規格におい
ては、レイヤーの始まりを示すために、スライススター
トコード、ピクチュアスタートコード、ＧＯＰスタート
コード、およびシーケンススタートコード、およびシー
ケンスエラーコードなどがある。

【０１１６】この探索過程により、スタートコードが検
出されると、検出したスタートコードが、正常復帰に有
効であるか否かの判別が行なわれる（ステップＳ２
２）。たとえばスタートコードの１つであるシーケンス
エラーコードが検出されても、これは正常復帰（定常状
態への復帰）には有効ではない。したがってまた別のス
タートコードの探索が継続される。

【０１１７】正常復帰に有効なスタートコードが検出さ
れると、そのスタートコードに続くヘッダの解析が行な
われる（ステップＳ２３）。このヘッダの解析では、ス
タートコード後の最初のセグメントに含まれるヘッダ情
報の解析までが実行される。このヘッダ解析により、正
常状態（定常状態）へ復帰すべきセグメントが識別され
る。すなわち、図１１に示すように、スタートコードに
続くヘッダ（セグメントのマクロブロックの前のマクロ
ブロックヘッダまでのすべてのヘッダを含む）１４００
には、エラー発生時に正常状態に復帰すべきセグメント
（マクロブロック）の画面上の位置を示す再同期セグメ
ントアドレス情報１４０２が格納されている。たとえば
ＭＰＥＧ規格では、この再同期セグメントアドレス情報
１４０２は、スライスヘッダに含まれるスライス・バー
チカル・ポジションとマクロブロックアドレスインクリ
メントに対応する。このヘッダ１４００を解析すること
により再同期セグメントアドレスが同定され、非定常状
態から定常状態へ復帰すべきセグメントを同定すること
ができる。

【０１１８】たとえば、ＭＰＥＧ規格において、有効ス
タートコードが、シーケンススタートコード、ＧＯＰス
タートコードおよびピクチュアスタートコードの場合、
定常状態に復帰すべきセグメントは、ピクチュアの最初
のセグメントである。

【０１１９】検出されたスタートコードがスライススタ
ートコードの場合、スライスレイヤーはエラーの伝搬を
防止するために設けられているため、このスライスレイ
ヤーの先頭のセグメントから定常状態に復帰することが
できる。スライスレイヤーのヘッダには先に述べたよう
に、画面上の位置を示す情報が含まれており、この画面
上の位置を示す情報が再同期アドレスとして利用され
る。

【０１２０】ヘッダ情報を解析した後、このヘッダに続
くマクロブロックのデータの可変長復号処理は所定の条
件が成立するまで待合せられる。

【０１２１】すなわち、次にこの画像伸張装置において
処理すべきセグメントが、ステップＳ２３において行な
われたヘッダ解析で得られたマクロブロックアドレスと
一致するかどうかの判別が行なわれる（ステップＳ２
４）。

【０１２２】スタートコード探索時、画像伸張装置へ与
えられるビットストリームはスタートコード探索に用い
られ、ビットストリームに含まれるマクロブロックデー
タの復号処理は行なわれない。一方において、画像伸張
装置からは、各処理区間ごとに後に詳細に説明するエラ
ーコンシールメント処理が施された画像データが出力さ
れる。たとえば、制御装置において、各処理区間を規定
するＭＢ同期信号ＭＢＳＹＮＣをカウントすることによ
り、各処理区間で処理されるセグメントのアドレス（画
面上の位置）を知ることができる。したがって、制御装
置において次の処理区間で処理すべきセグメントが、ヘ
ッダ解析で得られたマクロブロックアドレスと一致する
か否かを識別することができる。次に処理すべきセグメ
ントのマクロブロックアドレスがヘッダ解析で得られた
マクロブロックアドレスと一致する場合には、制御装置
の制御のもとに次の処理区間から正常動作に復帰する
（ステップＳ２５）。

【０１２３】非定常状態から定常状態への復帰時におい
ても、ヘッダ情報が先に解析されており、ＭＢ同期信号
ＭＢＳＹＮＣに従ってブロックデータの復号処理が開始
されるため、この非定常状態から定常状態への復帰時に
おいても、画像伸張装置の各処理演算器の使用効率の低
下は何らもたらさない。

【０１２４】エラー発生時、各処理区間における予測画
像データの読出を停止し、この期間をレートバッファか
らのデータ読出に利用するように構成されてもよい。エ
ラー発生時においては、後に詳細に説明するように、マ
クロブロックの画素データは関連の同一画像（ピクチュ
ア）内のマクロブロックの画素データの平均値データで
置換することが可能なためである。これにより、高速で
必要なスタートコードの探索を行なうことができる。

【０１２５】図１２は、画像伸張装置におけるエラー検
出からエラー復帰の処理動作に関連する部分の構成を概
略的に示す図である。図１２においては、可変長符号復
号化器１２１２および制御装置１２２６のみが示され
る。可変長符号復号化器および制御装置は、先の図３２
に示す可変長符号復号化器および制御装置と同じ参照番
号が用いられる。これは画像復号処理の機能が同じであ
ることを示すためであり、その構成は上で説明したよう
に従来の装置と異なっている。

【０１２６】制御装置１２２６は、画像復号処理を起動
する起動信号φＡＣＴおよびＭＢ同期信号ＭＢＳＹＮＣ
を可変長符号復号化器１２１２へ与える。可変長符号復
号化器１２１２は、エラー検出信号φＥＲ、有効スター
トコード（正常動作復帰に有効なスタートコード）検出
指示信号φＳＤおよびセグメントのヘッダの情報をすべ
て解析したことを示す処理単位復号完了指示信号をφＣ
ＰＬを出力して制御装置１２２６へ与える。次にこの図
１２に示す構成の動作について、その動作シーケンス図
である図１３を参照して簡単に説明する。

【０１２７】制御装置１２２６は、ＭＢ同期信号ＭＢＳ
ＹＮＣをアサートして可変長符号復号化器１２１２へ与
える。可変長符号復号化器１２１２では、このＭＢ同期
信号ＭＢＳＹＮＣのアサートに同期して、ブロックデー
タの復号を行ない、固定長のＤＣＴ係数データを出力す
る。このブロックデータの復号完了後、続いて次のセグ
メントのヘッダの情報を解析する。ヘッダ情報の解析が
すべて完了すると、可変長符号復号化器１２１２は、処
理単位復号完了指示信号φＣＰＬをアサートして制御装
置１２２６へ与える。制御装置１２２６は、この処理単
位復号完了指示信号φＣＰＬがアサートされると、所定
の条件が満足された後に再びＭＢ同期信号ＭＢＳＹＮＣ
をアサートして可変長符号復号化器１２１２へ与える。
これに応答して、ブロックデータの復号処理が実行され
る。この復号処理過程においてエラーが検出されたと
き、可変長符号復号化器１２１２は、エラー検出指示信
号φＥＲをアサートする。このエラー検出指示信号φＥ
Ｒのアサートに応答して、制御装置１２２６はエラー状
態に入る。このエラー状態においては、後に説明するエ
ラーコンシールメント処理などが実行される。一方、可
変長符号復号化器１２１２においては、このエラー検出
指示信号φＥＲのアサートに応答して、スタートコード
の探索が行なわれる。有効スタートコードが検出される
と、可変長符号復号化器１２１２はスタートコード検出
指示信号φＳＤをアサートする。可変長符号復号化器１
２１２は、このスタートコードが検出されると、スター
トコードに続いて、セグメントのヘッダ部の情報を解析
し、解析が終了した時点で処理単位復号完了指示信号φ
ＣＰＬをアサートして制御装置１２２６へ与える。制御
装置１２２６は、この解析されたヘッダ情報およびスタ
ートコード情報に従って、次の処理区間で実行されるべ
きセグメントがヘッダ情報が解析されたセグメントであ
るか否かを判定し、このセグメントが次の処理区間で実
行されるべきときには、この処理単位復号完了指示信号
φＣＰＬのアサートに応答してＭＢ同期信号ＭＢＳＹＮ
Ｃをアサートする。したがってこの図１３に示すシーケ
ンスにおいては、エラーが発生した処理区間の次の処理
区間からは定常状態（正常状態）に復帰する。

【０１２８】図１４は、エラー検出時の画像伸張装置の
別の動作シーケンスを示す図である。図１４において、
エラー検出時にエラー検出指示信号φＥＲがアサートさ
れてから処理単位復号完了指示信号φＣＰＬがアサート
されるまで、図１３に示す動作シーケンスと同じ動作シ
ーケンスが実行される。

【０１２９】制御装置１２２６は、処理単位復号完了指
示信号φＣＰＬのアサート時、解析されたヘッダ情報か
らこの解析されたヘッダのセグメントが処理されるべき
時期を判定する（マクロブロックアドレスの検出）。次
の処理区間でこの解析されたセグメントが実行されるべ
きではないとき、制御装置１２２６は、処理単位復号完
了指示信号φＣＰＬのアサートと先のＭＢ同期信号ＭＢ
ＳＹＮＣからの所定の時間（図９参照）の経過とＤＲＡ
Ｍポートの空とを条件として、ＭＢ同期信号ＭＢＳＹＮ
Ｃをアサートする。エラー時には、この解析されたセグ
メントのブロックデータの処理は待機状態とされる。解
析されて待機中のセグメントの処理区間が到達するま
で、所定時間が経過するごとにＤＲＡＭポートの空きを
条件としてＭＢ同期信号ＭＢＳＹＮＣがアサートされ
る。エラー状態においてＤＲＡＭポートの空きを条件と
するのは、画像伸張装置からの復号済みのデータをＤＲ
ＡＭポートへ書込む必要があるためである。このエラー
状態において、処理単位復号完了指示信号φＣＰＬはア
サート状態を維持していてもよい。すなわち、処理単位
復号完了指示信号φＣＰＬは、次の処理区間でブロック
データが処理されるべきときには、ＭＢ同期信号ＭＢＳ
ＹＮＣのアサートによりリセットされるように構成され
ていてもよい。

【０１３０】待機中のセグメントが処理されるべき処理
区間に到達すると、ＭＢ同期信号ＭＢＳＹＮＣのアサー
トに従って画像伸張装置は正常状態に移行し、この待機
中のセグメントのブロックデータの復号を行なう。

【０１３１】なお、エラー状態においてヘッダ解析時に
得られた再同期セグメントアドレスから実際に復号処理
される処理区間を検出して正常状態に復帰する場合に
は、以下の方法を用いることができる。ピクチュアの始
まりを示すピクチュア同期信号（たとえば垂直同期信号
ＶＳＹＮＣ）に同期してリセットされるカウンタを用い
てＭＢ同期信号ＭＢＳＹＮＣをカウントし、そのカウン
ト値に従って各処理区間のマクロブロックアドレス（画
面上の位置）をモニタする。このモニタされたマクロブ
ロックアドレスの次のアドレスが再同期アドレスに等し
くなれば、待機中のセグメントのブロックデータは次の
処理区間で処理されるべきである。ＭＢ同期信号ＭＢＳ
ＹＮＣのアサート前にヘッダ情報がすべて解析されてい
るため、この判定処理は、実際に処理が実行されるべき
処理区間の前の処理区間において確実に行なうことがで
きる。

【０１３２】このようなエラー発生時においても、ヘッ
ダ情報をすべて解析した後、それ以降の処理を待機状態
とし、処理すべきときにＭＢ同期信号ＭＢＳＹＮＣに同
期してその待機中のブロックデータの処理を実行するこ
とにより、エラー状態から正常状態への復帰時において
も、処理されるべきブロックデータが即座にＭＢ同期信
号ＭＢＳＹＮＣに同期して可変長符号複合化器１２１２
に与えられるため、高速で処理を実行することができ
る。なお、図１４に示す動作シーケンスにおいてはエラ
ー状態の期間、ブロックデータは画像伸張装置へ新たに
供給されない。この区間は、後に詳細に説明するエラー
コンシールメント処理が実行される。

【０１３３】図１５は、図１２に示す可変長符号復号化
器１２１２の内部構成を具体的に示す図である。図１５
において、可変長符号復号化器１２１２は、図示しない
バッファメモリを介してレートバッファから読出された
ビットストリームを受け、可変長シンボルの先頭ビット
からビットストリームデータを供給するビットストリー
ム供給器１と、このビットストリーム供給器１からのデ
ータを受けてスタートコードを検出するスタートコード
検出部２と、ビットストリーム供給器１からのビットス
トリームデータを受けてヘッダ情報の解析を行なうヘッ
ダ解析部３と、ビットストリーム供給器１からのビット
ストリームデータに含まれるブロックデータを復号し
て、固定長の量子化ＤＣＴ係数データを生成するブロッ
クデータ復号器４と、スタートコード検出部２と、ヘッ
ダ解析部３と、ブロックデータ復号器４からのエラー検
出信号に応答して、エラーが発生したことを検出するエ
ラー検出部４と、この可変長符号復号化器の動作を制御
する制御部６を含む。

【０１３４】制御部６は、起動要求信号φＡＣＴ（この
信号については後にリセット時の動作に関連して説明す
る）とＭＢ同期信号ＭＢＳＹＮＣを受け、かつエラー検
出指示信号φＥＲ、処理単位復号完了指示信号φＣＰＬ
およびスタートコード検出指示信号φＳＤを出力する。
この制御部６は、スタートコード検出部２からの検出さ
れたスタートコードを受け、このスタートコードが定常
状態復帰に有効であるときにスタートコード検出指示信
号をφＳＤをアサートする。制御部６は、またヘッダ解
析部３からのヘッダ情報解析完了指示信号（ヘッダの終
了ビット検出により検出される）を受けて、処理単位復
号完了指示信号φＣＰＬをアサートする。制御部６は、
エラー検出部５からのエラー検出信号に応答してこのエ
ラー検出指示信号φＥＲをアサートする。

【０１３５】制御部６は、またスタートコード検出部２
からのスタートコード、ヘッダ解析部３からの解析され
た可変長符号後のビット長を示す情報、ブロックデータ
復号器４からの復号された可変長符号後のビット長情報
を受け、ビットストリーム供給器１に対し、処理された
（検出、解析または復号）可変長符号を排除し、次の可
変長符号後の先頭ビットを検出してヘッダ解析部３また
はブロックデータ復号器４へ与える。ビットストリーム
供給器１は、制御部６の下に、常に可変長符号後の最上
位ビットから順次データビットを出力する。スタートコ
ード検出部２は、常時、このビットストリーム供給器１
からのビットデータをモニタし、スタートコードが含ま
れているか否かの検出動作を行なう。ヘッダ解析部３
は、制御部６の制御の下に（この制御経路を示さず）、
ブロックデータ復号器４の復号動作完了後続いてビット
ストリーム供給器１から与えられる可変長符号語（ヘッ
ダ情報）の解析を行なう。ブロックデータ復号器４は、
制御部６の制御の下に、ＭＢ同期信号ＭＢＳＹＮＣに同
期して活性化され、ビットストリーム供給器１から与え
られた可変長符号を復号する。

【０１３６】ヘッダ解析部３からは動きベクトル、マク
ロブロックの処理方法（予測方法）などの情報が抽出さ
れ、またエラー発生時における復帰（再同期）セグメン
トアドレス情報が抽出されて制御装置へ与えられる。ブ
ロックデータ復号器４からは固定長の量子化インデクス
が出力されて次段の逆量子化器へ与えられる。

【０１３７】なお、ヘッダ解析部３は、常時、可変長符
号を解析するように説明している。しかしながら、シー
ケンスヘッダ、ＧＯＰヘッダおよびピクチュアヘッダな
どは固定長データであり、これらは固定長復号が行なわ
れる。ヘッダ解析部３において固定長符号の解析が行な
われるか可変長符号の解析が行なわれるかは、スタート
コード検出部２において検出されたスタートコードに従
って制御部６で決定さる。制御部６は、その検出された
スタートコードに従ってヘッダ解析部３に対しいずれの
解析動作を行なうかを指令する。また、これに代えて、
ヘッダ解析部３がシンタクスに従って自身でいずれの動
作を行なうかを判断する構成が用いられてもよい。な
お、またスタートコード検出部２は、常時スタートコー
ドを探索するように説明している。しかしながら、スタ
ートコード検出部２は、ヘッダ解析部３およびブロック
データ復号器４の動作時にはその検出動作が停止される
ように構成されてもよい。

【０１３８】図１６は、図１２に示す制御装置の内部構
成を具体的に示す図である。図１６において、制御装置
１２２６は、リセット要求指示信号φＲＲＱに応答して
可変長符号復号化器に対する起動指示信号φＡＣＴを出
力する初期化制御回路１４と、可変長符号復号化器から
のエラー検出指示信号およびスタートコード検出指示信
号に従ってこの可変長符号復号化器の処理の進行状態を
モニタする状態モニタ１５と、初期化制御回路１４から
の起動指示信号φＡＣＴと状態モニタ１５の出力信号と
ピクチュアの始まりを示すピクチュア同期信号ＰＳＹＮ
Ｃと可変長符号復号化器から与えられる処理単位復号完
了指示信号φＣＰＬとヘッダ情報（ブロック特定情報）
とを受け、ＭＢ同期信号ＭＢＳＹＮＣを演算器の各パイ
プラインステージへ与える演算駆動回路１１を含む。

【０１３９】初期化制御回路１４は、画像データの復号
動作のリセットを要求するリセット要求信号φＲＲＱが
アサートされると、起動指示信号φＡＣＴをアサートし
て可変長符号復号化器へ与える。このリセット要求信号
φＲＲＱは、画像データの復号処理開始指示信号であっ
てもよく、また外部制御装置の割込に起因するリセット
要求指示信号であってもよい。また、このリセット要求
信号φＲＲＱは、エラー状態が所定時間継続して発生す
るかまたは所定時間内にエラー検出指示信号が連続して
所定回数アサートされるときに発生されてもよい。

【０１４０】状態モニタ１５は、エラー検出指示信号φ
ＥＲのアサート時に、可変長符号復号化器の符号復号過
程においてエラーが発生したことを演算駆動回路１１へ
知らせ、またスタートコード検出指示信号φＳＤのアサ
ート時には、可変長符号復号化器が正常状態復帰の準備
段階へ入ったことを演算駆動回路１１へ知らせる。

【０１４１】演算駆動回路１１は、ＭＢ同期信号ＭＢＳ
ＹＮＣのアサート時、タイマ１６を起動する。タイマ１
６は、そのカウント動作を行ない、セットされた時間に
到達するとタイムアウト信号を演算駆動回路１１へ与え
る。このタイマ１６は、演算駆動回路１１が、可変長符
号復号化器から与えられるブロック属性情報（ヘッダ情
報）に従ってそのセット時間を変更するように構成され
てもよい（図８参照）。正常状態時には、演算駆動回路
１１は、処理単位復号完了指示信号φＣＰＬがアサート
され、かつタイマ１６からのタイムアウト信号がアサー
トされ、またバスアクセスコントローラ１２からのＤＲ
ＡＭポートが空き状態（レートバッファからの読出が完
了）を示す信号を受けるとＭＢ同期信号ＭＢＳＹＮＣを
アサートする。

【０１４２】エラー発生時においては、演算駆動回路１
１は状態モニタ１５の出力する信号に従って以下の動作
を行なう。演算駆動回路１１は、ピクチュア同期信号Ｐ
ＳＹＮＣに応答してリセットされ、ＭＢ同期信号ＭＢＳ
ＹＮＣのアサートごとにカウントアップするカウンタを
含む（このカウンタは図示せず）。このカウンタのカウ
ント値は、可変長符号復号化器で処理されるセグメント
の画面上の位置（マクロブロックアドレス）を示す。エ
ラー発生時、スタートコード検出指示信号φＳＤに従っ
て状態モニタ１５から正常復帰に有効なスタートコード
が検出されたことを知らされると、演算駆動回路１１
は、このスタートコード検出指示信号φＳＤに続いて与
えられるブロック属性情報から再同期アドレスを抽出す
る。この再同期アドレスとカウンタのカウント値とを比
較し、次の処理区間から正常状態に復帰することができ
るか否かを判定する。次の処理区間から正常状態に復帰
できる場合には、演算駆動回路１１は、このスタートコ
ード検出指示信号φＳＤに続いて与えられる処理単位復
号完了指示信号φＣＰＬのアサートとタイマ１６のタイ
ムアウト指示とバスアクセスコントローラ１２からのレ
ートバッファ読出完了指示信号とに応答してＭＢ同期信
号ＭＢＳＹＮＣをアサートする。このＭＢ同期信号ＭＢ
ＳＹＮＣに応答して、可変長符号復号化器の可変長復号
器（図１５のブロックデータ復号器）以下の各処理演算
器が動作する。

【０１４３】次の処理区間がまだ正常状態に復帰すべき
処理区間ではないとき、演算駆動回路１１は、タイマ１
６の出力するタイムアウト信号とバスアクセスコントロ
ーラ１２のＤＲＡＭポート空きを示す信号とに従ってＭ
Ｂ同期信号ＭＢＳＹＮＣを出力する。このエラー状態
（次の処理区間が正常状態に復帰すべき処理区間ではな
い状態）において、ＭＢ同期信号ＭＢＳＹＮＣは、可変
長符号復号化器を除く各処理演算器のパイプラインステ
ージへ与えられてもよい。またこれに代えて、ＭＢ同期
信号ＭＢＳＹＮＣは可変長復号器（ブロックデータ復号
器）を含むパイプラインステージの各処理演算器へ与え
られ、このとき合わせて演算駆動回路１１から正常復帰
禁止信号をアサートして可変長符号復号化器へ与えるこ
とにより、可変長符号復号化器による可変長復号動作を
禁止する構成が用いられてもよい。エラー状態において
も、画像伸張装置からは画像データが出力される（後に
説明するエラーコンシールメント処理が施される）。

【０１４４】待機中のセグメントが次の処理区間で実行
されるべきときには、先に説明した状態と同様タイマ１
６の出力するタイムアウト信号とバスアクセスコントロ
ーラ１２の出力するＤＲＡＭポートの空きを示す信号と
に従って演算駆動回路１１がＭＢ同期信号ＭＢＳＹＮＣ
をアサートする。これにより演算駆動回路１１は正常状
態に復帰し、カウンタのカウント値と再同期セグメント
アドレスとの比較動作を停止する。この正常状態になる
と、演算駆動回路１１からのＭＢ同期信号ＭＢＳＹＮＣ
に従って可変長符号復号化器に含まれる可変長復号器
（ブロックデータ復号器）以下の処理演算器が動作し、
それぞれ所定の正常な処理を実行する。

【０１４５】バスアクセスコントローラ１２は、演算駆
動回路１１の制御の下に、ＤＲＡＭポートへのアクセス
動作を制御する。すなわち、図３２に示すＦＩＦＯイン
タフェース１２１０およびメモリインタフェース１２２
４のポート制御を順次所定の順序で実行する。すなわち
バスアクセスコントローラ１２は、演算駆動回路１１か
らのＭＢ同期信号ＭＢＳＹＮＣに同期して（正常動作
時）、まずメモリインタフェース１２２４を介して画素
再構成器１２２０からの復号完了の画像データを外部メ
モリ（ＤＲＡＭ）１２３０へ書込む。この書込動作の完
了後、バスアクセスコントローラ１２は、ＦＩＦＯイン
タフェース１２１０からのビットストリームのメモリイ
ンタフェース１２２４を介しての外部メモリ（ＤＲＡ
Ｍ）への書込（レートバッファへの書込）、メモリイン
タフェース１２２４を介しての画素バスインタフェース
１２２２への外部メモリ（ＤＲＡＭ）１２３０からの表
示画像データへの読込、メモリインタフェース１２２４
を介しての外部メモリ（ＤＲＡＭ）１２３０からの予測
画像データの転送、およびＦＩＦＯインタフェース１２
１０およびメモリインタフェース１２２４を介しての外
部メモリ（ＤＲＡＭ）１２３０からのデータの可変長符
号復号化器への転送（図示しないバッファメモリへの転
送）（レートバッファの読出）を実行する。この間、所
定間隔でバスアクセスコントローラ１２は外部メモリ
（ＤＲＡＭ）１２３０のリフレッシュを実行し、このリ
フレッシュの間、外部メモリへのアクセスを禁止する。
エラー状態時においては、バスアクセスコントローラ１
２は、この予測画像データ読出期間を、演算駆動回路１
１からのエラー状態指示信号に応答して、レートバッフ
ァからのデータ読出期間として利用する構成が用いられ
てもよい。予測画像データの読出完了時点は、演算駆動
回路１１からのブロック属性情報に従って決定される構
成が用いられてもよい。

【０１４６】エラーコンシール制御回路１３は、その動
作は後に詳細に説明するエラーコンシールメント処理を
制御する。このエラーコンシール制御回路１３は、状態
モニタ１５からのエラー検出指示信号φＥＲに応答して
起動されてスキャン変換部または画素再構成器およびス
キャン変換部に対しエラーコンシール処理を指令し（信
号φＥＲＲ）、演算駆動回路１１からの正常状態復帰指
示に応答してこのエラーコンシール処理完了を指令す
る。

【０１４７】以上のように、この発明の実施例に従え
ば、エラー発生時において、エラー状態から定常状態復
帰に有効なスタートコードを検出し、次いで、セグメン
トのヘッダ情報の解析までを実行し、このセグメントの
ブロックのデータの処理を実際に指示されるべき処理区
間到達まで待合せているため、エラー発生時においても
処理演算器の使用効率を低下させることなく正常状態へ
の復帰を行なうことができる。

【０１４８】エラーコンシールメント処理１：図１７
は、この発明に従う画像伸張装置の画素再構成器１２２
０の構成を概略的に示す図である。図１７において、画
素再構成器１２２０は、メモリインタフェース１２２４
を介して与えられるデータを一時的に格納するバッファ
メモリ２０と、このバッファメモリ２０に格納された画
像データを用いて予測画像を生成する予測画像フィルタ
部２１と、逆離散コサイン変換部（ＩＤＣＴ）１２１８
からのデータと予測画像フィルタ部２１の出力信号とを
加算し、ＤＰＣＭ復号を行なう加算器として示される演
算器２２と、ＩＤＣＴ１２１８の出力するデータと演算
器２２の出力するデータと予測画像フィルタ部２１から
の画素データのいずれかを選択する選択回路２３と、選
択回路２３の出力データを一時的に格納するバッファメ
モリ２４を含む。このバッファメモリ２４の格納データ
は、復号済みの画素データとしてメモリインタフェース
１２２４を介して外部メモリ（ＤＲＡＭ）へ格納され
る。Ｂピクチュアのマクロブロックタイプは、（１）前
後の予測をともに用いないフレーム内／フィールド内
（イントラ）予測、（２）過去の再生画像から予測され
る順方向予測、（３）未来から予測される逆方向予測、
および（４）過去および未来両方の画像を用いる内挿的
予測の４種類を含む。

【０１４９】予測画像フィルタ部２１は、このマクロブ
ロックタイプに従って所定の処理を行なって予測画像を
生成する。画素再構成器１２２０はさらに、画素再構成
の動作を制御するための制御部２５を含む。制御部２５
は、可変長符号復号部から与えられるヘッダ情報と制御
装置（図１６参照）からのＭＢ同期信号ＭＢＳＹＮＣと
エラー検出指示信号φＥＲＲと制御装置（バスアクセス
コントローラ）からのバス使用許可信号とを受ける。制
御部２５は、このヘッダ情報に含まれるマクロブロック
タイプに従って予測画像フィルタ部２１で実行されるフ
ィルタ処理を決定する。また、ＭＢ同期信号ＭＢＳＹＮ
Ｃに同期して制御部２５は、バッファメモリ２０のデー
タの書込および読出、ならびにバッファメモリ２４のデ
ータの書込および読出を制御する。メモリインタフェー
ス１２２４を介してバッファメモリ２０へ読込まれる画
像データは、可変長符号復号化器においてデータ解析部
の解析結果により生成された動きベクトル情報に従って
アドレスが生成されて外部メモリ（ＤＲＡＭ）から読出
される。エラー発生時においては、この動きベクトル情
報は送付された動きベクトル情報に基づいて構成され
る。後に説明するように、エラー時には、この動きベク
トルはゼロに設定されてもよい。また、これに代えて、
エラー時には１ライン前のマクロブロックの動きが用い
られてもよい。すなわち、エラー発生時には、予測画像
における対応の画像のマクロブロックデータが読出され
る。

【０１５０】選択回路２３は、制御部２５の制御のもと
に、処理されたマクロブロックが、イントラ予測された
マクロブロック（Ｉピクチュアおよびイントラ予測され
たＢピクチュア）の場合には、ＩＤＣＴ１２１８からの
データを選択し、イントラ予測以外の予測符号化された
マクロブロックに対しては演算器２２の出力するデータ
を選択し、エラー発生時には、予測画像フィルタ部２１
からの出力データを選択する。次にこの図１７に示す画
素再構成器を用いた際のエラー対策動作について説明す
る。

【０１５１】図１８は、エラー発生時における画像伸張
装置のエラー対策動作を示す動作シーケンス図である。
図１８に示すように、画像伸張装置は、セグメント（マ
クロブロック）単位で４段のパイプラインステージを構
成する（先の実施例と同様）。今、セグメントＭＢ＃１
１のブロックデータの復号過程でエラーが発生した状態
を考える。この状態においてエラー検出指示信号φＥＲ
（φＥＲＲ）がアサートされ、可変長符号復号化器およ
び制御装置においては先に説明したエラー時の動作が実
行される。このエラーが発生した処理区間においては、
図１７に示す復号画素再構成器１２２０においては画素
復号動作が行なわれており、復元された画素データがバ
ッファメモリ２４に格納される。次の処理区間が始まる
とき、メモリインタフェース１２２４を介してバッファ
メモリ２２にマクロブロックＭＢ＃１２に相当する部分
のエラーコンシールメント用の予測画像データが格納さ
れる。予測画像フィルタ部２１においては、マクロブロ
ックＭＢ＃１１に対する予測画像データの生成を行なっ
ている。一方、ＩＤＣＴ１２１８からは、マクロブロッ
クＭＢ＃１０のブロックデータの逆量子化後のデータが
生成され、そのマクロブロックタイプに応じて選択回路
２３を介して画素復元されたデータが生成されてバッフ
ァメモリ２４に順次書込まれる。一方、バッファメモリ
２４においては、先に格納したマクロブロックＭＢ＃９
の復号済の画素データがメモリインタフェース１２２４
を介してＤＲＡＭに書込まれる。ここで、バッファメモ
リ２０および２４は、その格納データがすべて読出され
た後に新たなデータの書込が行なわれる。

【０１５２】以降、順次パイプライン処理が実行され、
このエラー状態時においては、順次外部メモリ（ＤＲＡ
Ｍ）から、別のピクチュアの対応のマクロブロックのデ
ータが読出されて画像データが生成される（図１８にお
ける斜線を施した領域）。

【０１５３】マクロブロックＭＢ＃１２の処理区間にお
いて読出された予測画像画素データは、選択回路２３に
より選択される。これにより、予測画像の対応の画素デ
ータが順次バッファメモリ２４に格納される。予測画像
フィルタ部２１は、エラー検出時においては、予め定め
られたルールに従ってフィルタ処理を行なう。

【０１５４】したがって、マクロブロックＭＢ＃１５が
処理される処理区間からエラー対策が施された画素デー
タ、すなわち予測画像の画素データがＤＲＡＭに順次格
納される。

【０１５５】エラー状態がマクロブロックＭＢ＃１６の
処理区間で完了すると、次の処理区間からマクロブロッ
クＭＢ＃１７の処理が実行される。この場合、選択器２
３は、マクロブロックＭＢ＃１７のブロックデータの処
理がパイプラインの第３ステージに到達したときに、そ
のヘッダ情報に従ってＩＤＣＴ１２１８の出力するデー
タまたは演算器２２の出力するデータの一方を選択す
る。

【０１５６】上述の一連の動作により、エラー状態にお
いてはエラーにより欠落した画素データを予測画像の画
素データで置換することができ、エラービット混入によ
る復号画像の劣化を抑制することができる（図１９参
照）。すなわち、図１９に示すように、エラー状態にお
いて、マクロブロックＭＢ＃１２〜ＭＢ＃１６の復号画
像の画質の劣化を抑制することができる。

【０１５７】エラーコンシールメント処理２：図２０
は、この発明に従う第２のエラーコンシールメント処理
を実現するための画素再構成器１２２０の構成を示す図
である。この図２０に示す画素再構成器の構成において
は、制御部３５は、ヘッダ情報、ＭＢ同期信号ＭＢＳＹ
ＮＣ、バスアクセスコントローラの出力信号および制御
装置に含まれるエラーコンシール制御回路からの出力信
号φＥＲＲに応答して、エラー状態時においては、選択
回路３３を、ＩＤＣＴ１２１８の出力信号を選択する状
態に設定する。他の構成は図１７に示す構成と同様であ
り、対応する部分には同一の参照番号を付す。正常状態
においては、制御部３５は、予測画像フィルタ部２１か
らの画素データとＩＤＣＴ１２１８の出力する画素デー
タを演算器２２で演算処理（ＤＰＣＭ復号）させた後、
このピクチュアのタイプに従ってＩＤＣＴ１２１８の出
力信号または演算器２２の出力信号を選択回路３３によ
り選択してバッファメモリ２４へ書込む。エラー状態時
においては、すなわち、信号φＥＲＲの活性化時には、
ピクチュアタイプにかかわらず、制御部３５は、選択回
路３３を制御してＩＤＣＴ１２１８の出力するデータを
選択する状態に設定する。

【０１５８】ＩＤＣＴ１２１８へは、次にその構成を詳
細に説明するスキャン変換部１２１６の出力するデータ
が与えられる。スキャン変換部１２１６は、以下に詳細
に説明するように、エラー状態時においては、同一のピ
クチュア内の、復号処理された１ライン前のマクロブロ
ックデータ（ＩＤＣＴ処理前のデータ）または予め定め
られた固定値（１ライン前のマクロブロックが存在しな
いとき）をエラーが発生した処理区間に続く処理区間か
らＩＤＣＴ１２１８へ与える。

【０１５９】図２１は、図２０に示すスキャン変換部１
２１６の内部構成を詳細に示す図である。図２１におい
て、スキャン変換部１２１６は、逆量子化器から出力さ
れる逆量子化されたＤＣＴ係数データを順次格納し、次
いでラスタ走査順に出力するバッファメモリ４０と、こ
のバッファメモリ４０のデータの書込および読出を制御
するリード／ライト制御回路４１と、バッファメモリ４
０から読出されたＤＣＴ係数の平均値を求める平均化回
路４２と、この平均化回路４２の出力する平均値データ
のうちたとえば１ラインのマクロブロックのデータをＦ
ＩＦＯ態様で格納するメモリ４３と、メモリ４３のデー
タの書込および読出を制御するリード／ライト制御回路
４４と、リード／ライト制御回路４４の制御のもとにバ
ッファメモリ４０の出力するＤＣＴ係数データおよびメ
モリ４３からのデータの一方を選択してＩＤＣＴ１２１
８へ出力する選択回路４５を含む。

【０１６０】リード／ライト制御回路４１は、ＭＢ同期
信号ＭＢＳＹＮＣに同期して、前段の逆量子化器から与
えられた逆量子化ＤＣＴ係数データを格納する。このリ
ード／ライト制御回路４１は、単にバッファメモリ４０
に対するリードアドレスとライトアドレスを変換する機
能を備えており、ジグザグスキャン態様で走査されたＤ
ＣＴ係数をラスタ走査順に再配列して出力するようにそ
のアドレスを調整する。このアドレスの発生の態様は、
リードアドレスおよびライトアドレスの一方が、予め定
められたシーケンスで発生され、他方が順次インクリメ
ントされて、ジグザグスキャンされた画素データをラス
タ走査順に再配列するように構成されればよい。ジグザ
グスキャン変換器１２１６は、特にパイプラインステー
ジには含まれていない。これは、バッファメモリ４０に
より、１つのバッファ回路として機能するためである。
リード／ライト制御回路４１は、したがって、ＤＣＴ係
数データの始まりを示す入力同期信号に同期してアドレ
スを発生するように構成されてもよい。

【０１６１】平均化回路４２は、このバッファメモリ４
０から読出されたＤＣＴ係数データの平均値を求める。
このとき、すべてのＤＣＴ係数データの算術平均値（Ｄ
Ｃ係数およびＡＣ係数すべて）により平均値が求められ
てもよい。しかしながら、８×８画素のブロックにおい
て、ＤＣ係数はそのブロックの画素データの平均値を示
す。したがって、平均化回路４２は、１つのマクロブロ
ックに対し輝度信号に対して４つのブロックのＤＣ係数
データの平均値を求め、色差信号に対しては、そのＤＣ
係数を平均値として求める構成が利用されてもよい。

【０１６２】メモリ４３は、ＦＩＦＯ態様でたとえば１
ライン分の各マクロブロックに対するＤＣＴ係数の平均
値データを格納する。次にこの図２０および２１に示す
スキャン変換部および画素再構成器の動作をその動作シ
ーケンス図である図２２を参照して説明する。

【０１６３】図２２においては、マクロブロックＭＢ＃
１１のブロックデータの復号化時においてエラーが発生
し、マクロブロックＭＢ＃１７から正常状態に復帰する
際の動作が一例として示される。

【０１６４】エラー検出指示信号φＥＲがアサートされ
ると、応じてエラーコンシール制御回路からのエラー指
示信号φＥＲＲがアサートされる（図２２にはφＥＲＲ
は示さず）。このエラー検出指示信号φＥＲＲのアサー
トに応答して、図２１に示すリード／ライト制御回路４
４は、メモリ４３に対する平均値データの書込を禁止す
る。すなわち、エラーが検出された場合に算出されるＤ
ＣＴ係数データの平均値の格納が禁止される。メモリ４
３には、したがってマクロブロックＭＢ＃９までの１ラ
イン分のマクロブロックのＤＣＴ係数の平均値が格納さ
れる。マクロブロックＭＢ＃１０のＤＣＴ係数の平均値
データはメモリ４３には格納されない。メモリ４３の先
頭アドレス位置には、マクロブロックＭＢ＃１０の１ラ
イン前のマクロブロックのＤＣＴ係数の平均値データが
格納される。このエラーが発生された処理区間において
は、マクロブロックＭＢ＃９の画素復元処理が実行され
ている。すなわち、図２０に示す選択回路３３は、制御
部３５の出力信号に従って、演算器２２の出力信号また
はＩＤＣＴ１２１８の出力するデータの一方を選択して
バッファメモリ２４へ与えている。

【０１６５】エラーが発生した次の処理区間において
は、図２１に示すリード／ライト制御回路４４は、エラ
ー指示信号φＥＲＲに応答してメモリ４３から先頭位置
に格納された１ライン前のマクロブロックのＤＣＴ係数
の平均値データを読出して、選択回路４５を介してＩＤ
ＣＴ１２１８へ与える。メモリ４３は、マクロブロック
の輝度ブロックに対して１つの平均値データを格納して
もよく、また輝度信号ブロックそれぞれに対し平均値デ
ータを格納していってもよい（ＩＤＣＴ１２１８は８画
素×８画素を単位として逆離散コサイン変換処理を実行
するため）。

【０１６６】また、図２０に示す選択回路３３は、制御
部３５の制御のもとに、ＩＤＣＴ１２１８の出力するデ
ータを選択する状態に設定される。したがって、エラー
が発生した処理区間の次の処理区間においては、１ライ
ン前のマクロブロックの画素データに従って画素復元
（ＤＰＣＭ復号）が実行される。したがって、図２２に
示すように、エラーが発生したマクロブロックよりも１
つ前のマクロブロックからエラーコンシールメント処理
を実行することができ、エラーが発生したマクロブロッ
クに対してもエラーコンシールメント処理を実行するこ
とができ、エラービット混入による画質劣化をより抑制
することができる。メモリ４３からは、ＭＢ同期信号Ｍ
ＢＳＹＮＣに同期して、各処理区間ごとに順次異なるマ
クロブロックのデータが読出される。

【０１６７】エラー状態から正常状態に復帰するときに
は、エラー指示信号φＥＲＲがデアサートされると、そ
の処理区間においてはメモリ４３からのデータを選択し
てＩＤＣＴ１２１８へ与え、次の処理区間においては平
均化回路４２からの平均値データをメモリ４３へ書込
み、その次の処理区間においては選択回路４５をバッフ
ァメモリ４０の出力を選択する状態に設定する。

【０１６８】メモリ４３においては、ＦＩＦＯ態様でデ
ータ格納されているため、新たにマクロブロックＭＢ＃
１７のブロックデータの平均値がメモリ４３にＦＩＦＯ
態様で書込まれても、１ライン分の画素ブロックデータ
が順次格納される状態は維持される。

【０１６９】なお、正常状態復帰時において、バッファ
メモリ４０は、前段の逆量子化器から与えられるブロッ
クデータの始まりを示す入力同期信号に同期してリード
／ライト制御回路４１の制御のもとにデータの書込が行
なわれる構成が利用されてもよい。またこのとき、リー
ド／ライト制御回路４１へ制御装置からの正常状態復帰
指示信号が与えられ、正常状態復帰指示信号が与えられ
た処理区間から書込が行なわれてもよい（スキャン変換
部が第１段のパイプラインステージの最終段を構成する
とき（バッファへのデータ書込までが第１段のパイプラ
インステージ））。または正常状態復帰の処理区間の次
の処理区間からリード／ライト制御回路４１の制御のも
とにバッファメモリ４４へのデータ書込が行なわれても
よい（スキャン変換部が第３段のパイプラインステージ
を構成する場合）。また、このスキャン変換部１２１６
は、第２段のパイプラインステージを構成するように配
置されてもよい。

【０１７０】また、エラー発生がピクチュアの先頭で生
じたときには、対応の平均値データは存在しないので、
予め定められた固定値が用いられる。この構成は示して
いないが、処理されるマクロブロックのアドレス（画面
上の位置）情報に従って平均値データおよび固定値デー
タの一方を選択する構成が用いられればよい。

【０１７１】図２３は、図２０ないし図２２に示す第２
のエラーコンシールメント処理におけるエラーコンシー
ルメント処理されたマクロブロックの態様を示す図であ
る。図２３に示すように、エラーが発生したマクロブロ
ックＭＢ＃１１よりも１つ前のマクロブロックＭＢ＃１
０から１ライン前のマクロブロックの画素データを用い
てエラーコンシールメント処理が実行されている。すな
わちマクロブロックＭＢ＃１０〜ＭＢ＃１６ブロックデ
ータはそれぞれ同一ピクチュア内の１ライン前のマクロ
ブロックＭＢ＃２〜ＭＢ＃８の画素データにより置換さ
れている。

【０１７２】なお、上述の説明においては、エラー発生
時においては、先行するマクロブロックのブロックデー
タの平均値を用いてエラーコンシールメント処理を行な
うように示している。しかしながら、メモリに余裕があ
る場合、画素再構成部１２２０において、１ライン分の
マクロブロックの画素データを格納するラインメモリを
配置し、エラー発生時にはこのラインメモリに格納され
た復号済のマクロブロックの画素データを用いてバッフ
ァメモリ２４を介して外部メモリ（ＤＲＡＭ）へ格納
し、各画素データそれぞれを先行する１ライン前のマク
ロブロックの画素データそれぞれで置換する構成が利用
されてもよい。

【０１７３】以上のように、この発明の実施例の構成に
従えば、画像伸張装置のパイプラインステージを有効に
利用して、効率的にエラーコンシールメント処理を実行
することができる。特に、同一ピクチュア内の復号デー
タ（可変長復号化されたデータ）を用いてエラーコンシ
ールメント処理を行なう場合、エラーが検出されたセグ
メント（マクロブロック）よりも処理の順序で前のマク
ロブロックからエラーコンシールメント処理を実行する
ことができ、より効果的なエラーコンシールメント処理
を行なうことができ、エラービット混入による画質劣化
を抑制することができる。

【０１７４】初期化動作１：リスタート（エラーからの
復帰） 図２４は、画像伸張装置の初期化動作を示すフロー図で
ある。以下、この発明に従う画像伸張装置の初期化動作
について説明する。

【０１７５】まずリセット要求が出されたか否かの判別
が行なわれる（ステップＳ３０）。このリセット要求
は、外部制御装置の割込による表示の中断およびエラー
状態が所定時間以上継続する場合（エラー状態から正常
状態へ復帰しまたエラー状態が復帰する状態が連続する
場合）などのリスタート時に発生される。

【０１７６】リセット要求（リスタート指示）が出され
ると、まず制御装置１２２６（図１６参照）が、この画
像伸張装置が、画像データの復号動作を行なっているか
否かの判別を行なう（ステップＳ３１）。画像データの
復号動作を行なっている場合（画素復元動作を行なって
いる場合：エラー状態時の動作を含めて）、ＭＢ同期信
号ＭＢＳＹＮＣの次の処理区間からの発生が停止される
（ステップＳ３２）。ＭＢ同期信号ＭＢＳＹＮＣの発生
が停止されると、起動信号φＡＣＴがアサートされて可
変長符号復号化器（図１５参照）へ与えられる。ステッ
プＳ３１において、画素復元動作が行なわれていない場
合においては、ステップＳ３２がスキップされてステッ
プＳ３３の起動信号φＡＣＴのアサートが行なわれる。

【０１７７】可変長符号復号化器においては、この起動
信号φＡＣＴのアサートに応答して、ピクチュアの始ま
りを示すスタートコードを探索する。すなわちシーケン
ススタートコード、ＧＯＰスタートコード、およびピク
チュアスタートコードの探索が行なわれる。このときに
は、スライススタートコードが検出されても、このスラ
イススタートコードは無視される。ピクチュアの始まり
を示すスタートコードが検出されると、このスタートコ
ードに続くヘッダ部の情報の解析が行なわれ、マクロブ
ロックレイヤのセグメントのヘッダ情報の解析が行なわ
れる（ステップＳ３４）。このヘッダ情報を解析した状
態で所定条件が成立するのを待つ（ステップＳ３５）。
この所定条件としては、レートバッファに十分な量のビ
ットストリームが格納されていることおよび外部の表示
制御装置から与えられる垂直同期信号がアサートされる
ことである。レートバッファに十分な量のビットストリ
ームが格納されているか否かは、図１６に示すバスアク
セスコントローラ１２を介して外部メモリ装置（ＤＲＡ
Ｍ）のＦＩＦＯ領域の書込アドレスと読出アドレスの差
を検出することにより判別することができる。所定条件
が成立すると、制御装置は、ピクチュアの始まりを示す
ピクチュア同期信号をアサートして、その内部に含まれ
るマクロブロックアドレスを示すカウンタをリセット
し、このピクチュア同期信号に同期してＭＢ同期信号を
アサートして画像伸張装置に定常動作を実行させる（ス
テップＳ３６）。このピクチュア同期信号に同期してＭ
Ｂ同期信号をアサートすることにより、リセット要求が
行なわれて新たなピクチュアを表示するとき、外部制御
装置から与えられたたとえば垂直同期信号に同期して正
確に表示画像データの読出を行なうことができる。また
画像表示に合わせて画素復号動作を順次実行することが
できる。

【０１７８】ステップＳ３０からステップＳ３３までの
一連の動作が図１６に示す初期化制御回路１４により実
行される。

【０１７９】初期化動作２：リセット動作 図２５は、画像伸長装置の他の初期化動作を示すフロー
図である。以下、この発明に従う画像伸長装置の他の初
期化動作について説明する。この初期化動作において
は、ユーザが新たに画像表示を指定する。

【０１８０】まず、リセット要求（初期化指示）が出さ
れたか否かの判別が行なわれる（ステップＳ４０）。こ
のリセット要求は、ユーザからの画像表示指定に従っ
て、ハードウェアまたはソフトウェア（レジスタ値のセ
ット）により発生される。

【０１８１】リセット要求が出され、新たな画像の表示
が指定されると、このときには、画像伸長装置は、何ら
画像データの復号動作を行なっていないため、起動信号
φＡＣＴがアサートされて、可変長符号復号化器（図１
５参照）へ与えられる（ステップＳ４１）。

【０１８２】可変長符号復号化器においては、この起動
信号φＡＣＴのアサートに応答して、シーケンススター
トコードを探索する。ＧＯＰスタートコード、ピクチュ
アスタートコードおよびスライススタートコードが検出
されても、これらのスタートコードは無視される。シー
ケンススタートコードが検出され、次いでピクチュアの
始まりを示すスタートコードが検出されると、このスタ
ートコードに続くヘッダ部の情報の解析が行なわれ、マ
クロブロックレイヤのセグメントのヘッダ情報の解析が
行なわれる（ステップＳ４２）。このヘッダ情報を解析
した状態で、所定条件が成立するのを待つ（ステップＳ
４３）。この所定の条件としては、先の図２４における
ステップＳ３５において説明したのと同じ条件が用いら
れる。すなわち、レートバッファに十分な量のビットス
トリームが格納されていることおよび外部の表示制御装
置から与えられる垂直同期信号がアサートされることで
ある。所定条件が成立すると、制御装置は、ピクチュア
の始まりを示すピクチュア同期信号をアサートして、そ
の内部に含まれるマクロブロックアドレスを示すカウン
タをリセットし、このピクチュア同期信号に同期してＭ
Ｂ同期信号をアサートして画像伸長装置に定常動作を行
なわせる（ステップＳ４４）。このピクチュア同期信号
に同期してＭＢ同期信号をアサートすることにより、リ
セット要求が行なわれて、新たなシーケンスのピクチュ
アを表示する場合において、外部制御装置から与えられ
るたとえば垂直同期信号に同期して正確に表示画像デー
タの読出を行なうことができ、また画像表示に合わせて
画素復号動作を順次実行することができる。

【０１８３】この一連の処理動作は、図１６に示す初期
化制御回路１４により実行される。起動信号φＡＣＴ
は、リスタートを指定するリセット要求時および初期化
を指定するリセット要求時において同じ信号がアサート
されるように示される。これらは別々の信号であり起動
信号φＡＣＴの種類に応じて、リスタート時および初期
化時において探索対象とされるスタートコードの区別が
行なわれる。

【０１８４】図２６は、リセット動作時における画像伸
張装置の動作の一例を示す図である。図２６において
は、外部から画像表示を指令する初期化指示（リセット
指示）が与えられる状態が一例として示される（図２５
参照）。この状態においては、画像伸張装置は、画素復
号動作は行なっていないため、ＭＢ同期信号ＭＢＳＹＮ
Ｃはアサートされていない。

【０１８５】リセット要求信号φＲＲＱがアサートされ
ると、起動信号φＡＣＴが図１６に示す初期化制御回路
から出力される（アサートされる）。この起動信号φＡ
ＣＴのアサートに応答して、可変長符号復号化器は、画
像の始まりを示すスタートコードを探索する。この探索
動作時において、制御装置の制御のもとにレートバッフ
ァからデータの読出が行なわれる。レートバッファにま
だビットストリームが格納されておらず、リセット要求
信号φＲＲＱ発生時において初めてビットストリームが
到達する場合には、制御装置は、ＦＩＦＯインタフェー
スを介して与えられたビットストリームを直接可変長符
号化復号器へ与え、スタートコード探索を行なわせる。
可変長符号復号化器は、スタートコード検出器（図１５
参照）で検出されたスタートコードを制御部６で解析
し、シーケンススタートコードの検出に続いてピクチュ
アの始まりを示すスタートコードを検出して、それに続
くヘッダ情報を解析する。リスタート時には、マクロブ
ロックレイヤより上のスタートコードの探索が行なわ
れ、その検出後ヘッダ情報の解析が行なわれる。マクロ
ブロックレイヤのセグメントのヘッダ情報の解析が完了
すると、可変長符号化復号器が、処理単位復号完了指示
信号φＣＰＬをアサートする。制御装置は、処理単位復
号完了指示信号φＣＰＬのアサートに応答して、所定の
条件が成立するのを待つ。所定条件が成立すると、すな
わちレートバッファに十分な量のビットストリームが格
納されかつ垂直同期信号が与えられると、制御装置は内
部でピクチュア同期信号ＰＳＹＮＣをアサートし、かつ
このピクチュア同期信号に同期してＭＢ同期信号ＭＢＳ
ＹＮＣをアサートする。最初の処理区間においては、ヘ
ッダ情報が解析されたセグメントのブロックデータの復
号およびこのセグメントに続くヘッダ情報の解析が実行
される。以降、各処理区間においてヘッダ情報の解析が
行なわれかつ所定の条件が成立するごとにＭＢ同期信号
ＭＢＳＹＮＣがアサートされる。

【０１８６】この一連の初期化動作により、エラー復帰
動作を含むリセット動作時においても、確実にＭＢ同期
信号ＭＢＳＹＮＣ信号のアサートに応答してセグメント
のブロックデータの復号処理を開始することができ、高
速演算処理が実現される。

【０１８７】なお、上述の実施例においては、画素デー
タ復号処理にあたって、ＭＰＥＧ規格に従って符号化さ
れた画像データ（画素データ）の復号処理を示してい
る。しかしながら、このようなＭＰＥＧ規格の符号化さ
れた画素データではなく、可変長符号があるサイズのデ
ータブロック単位で処理される場合においても、そのブ
ロックデータに対しヘッダ情報が可変長符号で付されて
いる場合には、本願発明は適用可能である。また、ＤＣ
Ｔ変換処理ではなく、他の直交変換処理されたデータで
あっても本発明は適用可能である。

【０１８８】

【発明の効果】請求項１に係る画像伸張装置において
は、１処理区間内においてデータブロックの処理に続い
てヘッダ情報の解析を行ない、このヘッダの解析情報の
すべての解析が完了した後にデータ処理開始を指示して
いる。１つの処理区間はデータブロックの復号処理に始
まりヘッダ情報の解析で終了する。したがって、データ
処理開始が指示されるとき、処理演算器は即座に処理を
実行することができ、処理演算器の使用効率が改善さ
れ、高速でデータ処理を実行することができる。また処
理演算器の待機時間が短くなるため、１処理区間の時間
期間を短くすることができる。

【０１８９】請求項２に係る画像伸張装置においては、
処理区間の時間期間はヘッダの情報の解析結果に従って
変更するように構成しているため、処理対象となるセグ
メントの属性に応じて処理区間の時間期間を変更するこ
とができ、処理対象となるセグメントの属性に応じて最
適な処理区間長さを設定することができ、固定長時間の
処理区間の場合に生じる可能性のある、１つの処理区間
すべてが完了しない場合に次の処理区間が始まるような
誤動作を防止することができ、効率的かつ正確に画像デ
ータの処理を行なうことができる。

【０１９０】請求項３に係る画像伸張装置においては、
データブロックデータの復号処理と並行して外部メモリ
へのアクセスが実行されるように構成しているため、外
部メモリへのアクセスが画素データ復元処理に及ぼす影
響を排除することができ、処理時間を短縮することがで
きる。また、この外部メモリへのアクセスを、復元デー
タの書込、入来ビットストリームの書込、表示画像デー
タの読出、予測画像データの読出、およびビットストリ
ームの読出順序で順次行なうことにより、データ処理手
段におけるパイプライン処理に必要とされるデータの破
損を伴なうことなく効率的に必要とされるデータをデー
タ処理部へ与えることができる。

【０１９１】請求項４に係る画像伸張装置においては、
ヘッダ情報の解析過程または可変長復号過程においてエ
ラーが発生したとき、所定のパターンを有するスタート
コードを検出し、このスタートコードに続くセグメント
のヘッダ情報を解析し、その解析完了後所定の条件が満
足されるまでその解析されたヘッダ情報に続くデータブ
ロックの処理を待合せている。エラー発生時において
も、処理開始時において所定のエラーの影響を受けない
セグメントから処理を開始することができるとともに、
この処理開始時においてもデータブロックの復号処理か
ら処理が開始されるため、エラー回復後においてもデー
タ処理手段に含まれる処理演算器の使用効率低下を抑制
することができ、高速でデータ処理を実行することがで
きる。

【０１９２】請求項５に係る発明においては、セグメン
トの処理区間を１処理単位としてパイプラインを構成し
ているため、各パイプラインの演算器の使用効率の低下
を最低限に抑制することができ、高速データ処理が可能
となる。また、パイプラインステージにより、１処理単
位（セグメント）を複数の処理区間でパイプライン的に
分担することができるため、処理区間の時間期間を短縮
することができ、高速データ処理が可能となる。

【０１９３】請求項６に係る発明に従えば、パイプライ
ンステージを、セグメントを単位として、その処理内容
に応じて４段のパイプライン構成としているために、処
理区間の時間期間が変動しても、最小の処理演算器の待
ち時間でパイプライン動作を実施することができ、高速
データ処理を行なうことができる。また、このパイプラ
イン化により、ヘッダ情報の解析をデータ処理と並行し
て行なうことができ、処理区間の時間期間を短縮するこ
とができ、高速データ処理が実現される。

【０１９４】請求項７に係る発明に従えば、エラー発生
時には、パイプラインステージ内においてエラーが検出
されたセグメントよりも前のセグメントのブロックデー
タの修復動作を行なっているため、パイプラインステー
ジの遅延が効率的に利用されてエラーが生じたセグメン
トに対してエラー修復動作を施すことができ、エラービ
ット混入による復号画像の画質劣化を抑制することがで
きる。

【０１９５】請求項８に係る発明に従えば、リセット要
求が出されたときには、所定のパターンを有するスター
トコードを探索し、そのスタートコードに続くセグメン
トのヘッダ情報をすべて解析した後所定の条件が成立し
たときに、処理開始指示信号をアサートして、このセグ
メントのデータブロックの処理を実行させているため、
リセット時においても確実にピクチュアの最初から処理
を実行することができるとともに、処理開始に応じて即
座に処理演算器を動作させてデータ処理を行なうことが
でき、高速処理を行なうことができる。

【０１９６】請求項９に係る発明に従えば、外部から与
えられる画像の開始を示すピクチュア同期信号（垂直同
期信号）に同期してデータ復号処理を開始させるように
構成しているため、リセット時においても外部制御装置
から与えられる同期信号との同期を確立して正確な画素
データの保護動作および表示画像データの読出を行なう
ことができる。

【図面の簡単な説明】

【図１】 この発明に従う画像伸張装置の１処理区間の
動作を概略的に示す図である。

【図２】 この発明に従う画像伸張装置の１処理区間
（単位）の構成およびパイプライン化の効果を説明する
ための図である。

【図３】 この発明に従う画像伸張装置の１処理区間の
動作およびＤＲＡＭポートの動作を示す図である。

【図４】 この発明に従う画像伸張装置およびＤＲＡＭ
ポートの他の動作シーケンスを示す図である。

【図５】 この発明に従う画像伸張装置に用いられる逆
量子化器の入出力信号の構成を示す図である。

【図６】 図５に示す逆量子化器の入出力信号の関係を
例示する図である。

【図７】 この発明に従う画像伸張装置の処理演算器の
パイプライン構成およびブロックデータの処理シーケン
スを示す図である。

【図８】 この発明に従う画像伸張装置における１処理
区間の時間期間を設定するための動作を示すフロー図で
ある。

【図９】 この発明に従う画像伸張装置における１処理
区間を決定するための別の動作シーケンスを示す図であ
る。

【図１０】 この発明に従う画像伸張装置におけるエラ
ー状態時の動作を示すフロー図である。

【図１１】 この発明において利用されるセグメントの
ヘッダおよびそれに付随するスタートコードの構成を例
示的に示す図である。

【図１２】 この発明に従う画像伸張装置におけるエラ
ー状態の動作に関連する部分の構成を示す図である。

【図１３】 図１２に示す構成のエラー状態時における
動作シーケンスを示す図である。

【図１４】 図１２に示す構成のエラー状態時における
他の動作シーケンスを示す図である。

【図１５】 図１２に示す可変長符号復号化器の内部構
成を示す図である。

【図１６】 図１２に示す制御装置の内部構成を示すブ
ロック図である。

【図１７】 この発明に従う画像伸張装置における画素
再構成器の構成を示す図である。

【図１８】 この発明に従う画像伸張装置におけるエラ
ー状態時の動作シーケンスを示す図である。

【図１９】 この発明に従う画像伸張装置におけるエラ
ーコンシールメント処理の態様を示す図である。

【図２０】 この発明に従う画像伸張装置における画素
再構成器の他の構成を示す図である。

【図２１】 図２０に示すスキャン変換器の構成を示す
図である。

【図２２】 この発明に従う画像伸張装置におけるエラ
ー状態時の他の動作シーケンスを示す図である。

【図２３】 図２２に示す動作シーケンスにおけるエラ
ーコンシールメント処理を説明するための図である。

【図２４】 この発明に従う画像伸張装置のリセット時
（リスタート時）の動作を示すフロー図である。

【図２５】 この発明に従う画像伸長装置のリセット時
（初期化時）の動作を示すフロー図である。

【図２６】 この発明に従う画像伸張装置のリセット時
の動作シーケンスの一例を示す図である。

【図２７】 この発明が対象とする可変長符号を生成す
るための構成を説明するための図である。

【図２８】 この発明が適用される画像伸張装置におけ
るＧＯＰレイヤにおけるピクチュアの配列の態様を示す
図である。

【図２９】 この発明が対象とする画像データの構成を
説明するための図である。

【図３０】 この発明が対象とする画像データのシンタ
クスを説明するための図である。

【図３１】 図３０に示すスライスレイヤを説明するた
めの図である。

【図３２】 図３０に示すブロックレイヤの構成を説明
するための図である。

【図３３】 この発明が対象とする画像伸張装置の構成
を概略的に示すブロック図である。

【図３４】 図３３に示す外部メモリのメモリ領域の構
成を示す図である。

【図３５】 従来の画像伸張装置の処理区間を説明する
ための図である。

【図３６】 従来の画像伸張装置の動作を説明するため
の図である。

【図３７】 スタートコードの構成を示す図である。

【図３８】 マクロブロックレイヤのヘッダ部の構成を
示す図である。

【図３９】 従来の画像伸張装置の問題点を説明するた
めの図である。

【図４０】 従来の画像伸張装置の問題点を説明するた
めの図である。

【符号の説明】

１ ビットストリーム供給器、２ スタートコード検出
部、３ ヘッダ解析部、４ ブロックデータ復号器、５
エラー検出部、６ 制御部、１１ 演算駆動回路、１
２ バスアクセスコントローラ、１３ エラーコンシー
ル制御回路、１４ 初期化制御回路、１５ 状態モニ
タ、１６ タイマ、２０ バッファメモリ、２１ 予測
画像フィルタ部、２２ 演算器、２３ 選択器、２４
バッファメモリ、２５ 制御部、４０ バッファメモ
リ、４１ リード／ライト制御回路、４２ 平均化回
路、４３ メモリ、４４ リード／ライト制御回路、４
５ 選択回路、３３ 選択回路、３５ 制御部、１２１
２ 可変長符号復号化器、１２１４ 逆量子化器、１２
１６ スキャン変換器、１２１８ 逆離散コサイン変換
器、１２２０ 画素再構成器、１２２２ 画素バスイン
タフェース、１２２４ メモリインタフェース、１２１
０ ＦＩＦＯインタフェース、１２２６ 制御回路、１
２３０ 外部メモリ。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 予め定められた手順に従って圧縮処理さ
   れた動画像を所定サイズのセグメント単位で伸張処理す
   る画像伸張処理装置であって、前記セグメントは、処理
   されるべきデータを含むデータブロックと、前記データ
   ブロックのデータの属性を示す情報を有するヘッダとを
   有し、 前記動画像情報を示すビットストリームを受け、前記セ
   グメントのヘッダの情報を解析し、次に実行されるべき
   処理を示す情報を生成するヘッダ復号手段と、 前記ヘッダ復号手段からの前記セグメントのヘッダの情
   報の解析完了を示す信号に応答して、データ処理開始指
   示信号を発生する制御手段と、 前記データ処理開始指示信号に応答して起動され、前記
   セグメントのヘッダに続くデータブロックの前記ヘッダ
   復号手段の解析結果に基づく処理を実行するデータ処理
   手段とを備え、 前記ヘッダ復号手段は、各データブロックに続いて与え
   られるヘッダの情報を該先行のデータブロックに続いて
   連続して解析し、これにより、１つの単位処理区間は、
   データブロックの処理に始まり、該データブロックに続
   くヘッダの解析で終了する、画像伸張装置。
2. 【請求項２】 前記ヘッダの解析結果に従って前記単位
   処理区間の時間期間を変更する手段をさらに含む、請求
   項１記載の画像伸張装置。
3. 【請求項３】 前記圧縮処理された動画像は予測符号化
   処理を受けた画素データからなり、前記データ処理手段
   は、前記データブロックのデータを前記圧縮処理と逆の
   伸張処理を行なってもとの画素データを復元する手段を
   含み、 前記制御手段は、前記単位処理区間内で前記データ処理
   開始指示信号に応答して、外部に設けられた記憶装置へ
   の前記データ処理手段からの復元された画素データの格
   納、前記ビットストリームの前記記憶装置への書込、前
   記記憶装置からの復元された画素データのうち表示すべ
   き画素データの読出、および前記データ処理手段におけ
   る画素データの復元に必要とされる予測画像画素データ
   の読出を順次所定の順序で実行する手段を含む、請求項
   １記載の画像伸張装置。
4. 【請求項４】 予め定められた手順に従って圧縮処理さ
   れた動画像を所定サイズのセグメント単位で伸張処理し
   て圧縮前の画像データを復元するための画像伸張装置で
   あって、前記圧縮処理された動画像は可変長符号化さ
   れ、前記セグメントは処理されるべき画素データを含む
   データブロックと、前記データブロックのデータの属性
   を示す情報を含むヘッダとを有し、 与えられたビットストリームからヘッダを検出し該ヘッ
   ダの情報の解析を行なう解析手段を備え、前記解析手段
   はヘッダ情報のすべての解析完了を示す信号を発生する
   手段を含み、前記解析手段の解析結果に従って該セグメ
   ントのデータブロックの画素データを可変長復号化して
   固定長画素データを生成する可変長復号手段を含み、前
   記データブロックの画素データを圧縮前の画素データに
   復元するデータ処理手段と、 前記解析手段および可変長復号手段の処理においてエラ
   ーが検出されたとき、該エラーを示すエラー検出信号を
   発生する手段と、 前記エラー検出信号に応答して、入来するビットストリ
   ームから予め定められたパターンを有するコードを探索
   するコード探索手段と、 前記コード探索手段からのコード検出に応答して、前記
   解析手段を活性化する活性化手段と、 前記解析手段からの前記ヘッダ部の情報の解析完了指示
   信号に応答して、所定の条件が成立するまで該ヘッダに
   続くデータブロックの前記データ処理手段による処理実
   行を待ち合せる手段とを含む、画像伸張装置。
5. 【請求項５】 前記データ処理手段は、前記セグメント
   を処理単位としてパイプライン的に処理動作する複数の
   パイプラインステージを含む、請求項１または４記載の
   画像伸張装置。
6. 【請求項６】 前記パイプラインステージは、 予測画像データの記憶装置からの読込、データブロック
   の直交変換係数の可変長復号化およびその逆量子化を行
   なう第１のパイプラインステージと、前記読込まれた予
   測画像画素データから予測画像を作成する第２のパイプ
   ラインステージと、前記逆量子化された画素データの逆
   直交変換処理および前記予測画像画素データと前記逆直
   交変換処理された画素データとから前記データブロック
   の画素データの復元を行なう第３のパイプラインステー
   ジと、前記復元された画素データの前記記憶装置への書
   込を行なう第４のパイプラインステージとを含む、請求
   項５記載の画像伸張装置。
7. 【請求項７】 前記エラー検出信号に応答して、該エラ
   ーが検出されたセグメントよりも前記データ処理手段に
   おける処理の順序において前に位置するセグメントのデ
   ータブロックから所定のエラー修復処理を前記パイプラ
   インステージにおいて施す手段をさらに備える、請求項
   ５記載の画像伸張装置。
8. 【請求項８】 所定の手順に従って圧縮処理された動画
   像を所定サイズのセグメント単位で伸張処理して圧縮前
   の画像画素データを復元するための画像伸張装置であっ
   て、前記圧縮処理された動画像は可変長符号化され、か
   つ前記セグメントは画素データを含むデータブロック
   と、前記データブロックの属性を示すヘッダとを有し、 与えられたビットストリームに含まれるセグメントのヘ
   ッダに含まれる情報を解析する解析手段と、 前記解析手段の該解析結果に基づいてそれに続くデータ
   ブロックのデータに可変長復号化処理を施す可変長復号
   化手段を含み、前記データブロックのデータをもとの画
   像データに復元するデータ処理手段と、 リセット要求信号に応答して、前記解析手段を起動する
   起動信号を発生する手段と、 前記起動信号に応答して、外部から与えられるビットス
   トリームにおいて所定のパターンを有するコードを探索
   する手段と、 前記探索手段からの前記コードの検出に応答して、前記
   解析手段を活性化する手段と、 前記解析手段からの前記ヘッダの情報の解析完了指示信
   号に応答して、所定の条件が成立するまで該ヘッダに続
   くデータブロックの前記データ処理手段による処理実行
   を待ち合せる手段とを含む、画像伸張装置。
9. 【請求項９】 前記所定の条件は、外部から与えられる
   画像の開始時点を示す同期信号の印加である、請求項８
   記載の画像伸張装置。