JPH1023403A - 符号化画像データの復号および表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 復号停止期間を設けることなく符号化画像デ
ータの復号が行えるようにすること。 【解決手段】 メモリ手段１１は、符号化画像データを
復号前に一時蓄えておく符号化画像データバッファ領域
と、ＩピクチャまたはＰピクチャの復号画像データを格
納する第１と第２のフレームメモリ領域と、Ｂピクチャ
の復号画像データを格納する第３のフレームメモリ領域
とを有し、第３のフレームメモリの容量を、１ピクチャ
の画像サイズよりも１垂直帰線期間とブロックの走査線
数（＝Ｎ）に相当する走査期間内に復号可能なブロック
数分を合わせた値よりも大きく設定し、タイミング・動
作設定制御手段１は、復号手段に対し１ピクチャ分の符
号化画像データの復号を、表示画像データの垂直帰線期
間に少なくともＮ／２走査線期間先行して開始させるこ
と。これにより、メモリ上での書き込みと読み出しの競
合を回避する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】フレーム間相関を用いた高能
率符号化手段にて生成した符号化画像データを復号し、
表示する復号および表示装置に係り、特に連続した復号
動作が可能であり、１６：９信号をレターボックス信号
に変換する機能や音声データの復号機能、ＯＳＤ（Ｏｎ
Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ：オンスクリーンディ
スプレイ）機能を実現するのに好適な装置に関する。

【０００２】

【従来の技術】画像データのデータ量の多さゆえに、冗
長性などを除去する高能率符号化手段で圧縮した後、こ
の符号化画像データを伝送あるいは記録することによ
り、伝送もしくは記録コストの低減が図られる。この高
能率符号化手段の例としては、ＩＳＯ／ＳＣ２９／ＷＧ
１１で標準化しているＭＰＥＧ方式がよく知られてお
り、このＭＰＥＧ方式によるＭＰＥＧストリームの復号
および表示装置の例が特開平８−１８９５３号公報およ
び特開平８−２３５１４号公報に開示されている。

【０００３】ＭＰＥＧ方式に基づく符号化では、画像デ
ータの各々のフレームを、予測値として参照する参照ピ
クチャを持たず符号化するＩピクチャ（Ｉｎｔｒａ Ｐ
ｉｃｔｕｒｅ）、表示順で前方向にあるピクチャのみを
参照ピクチャとするＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ
Ｐｉｃｔｕｒｅ）、前方向にあるピクチャと後ろ方向
にあるピクチャを参照ピクチャとするＢピクチャ（Ｂｉ
ｄｉｒｅｃｔｉｏｎａｌ Ｐｉｃｔｕｒｅ））に区分す
る。

【０００４】実際の符号化にあたってはＢピクチャの復
号時に前方向と後ろ方向の２つの参照ピクチャが存在す
る必要があり、ピクチャの順序を巧みに入れ替えてから
符号化がなされるため、図１５に示すように、符号化画
像データ（以下、符号化画像データを含むデータストリ
ームをＭＰＥＧストリームと記す）を復号した後、表示
のためにピクチャの順序を再び並べ換える必要がある。

【０００５】さらに復号および表示装置においては、符
号化順に送られてくる符号化画像を順次復号するが、該
復号データは一旦メモリに蓄え、表示順に従うように並
び変える。またＩならびにＰピクチャの復号データは、
その後のＢピクチャの復号時に参照ピクチャとしての参
照データとして用いる必要があり、必ず２ピクチャ分の
画像データを前記メモリ内に蓄えている必要がある。

【０００６】さらに１フレームを１ピクチャとして符号
化しているために、テレビジョン信号のように１フレー
ムがインタレースした２つのフィールドで構成される場
合、たとえＢピクチャであっても、復号と同時に表示で
きるわけでない。フレームデータはフィールドデータに
変換する必要があり、このため図１５に示すように、復
号から表示までに少なくとも０．５フレーム期間遅らせ
る必要がある。このことはフレームデータからフィール
ドデータへ変換するために復号データを一度メモリに蓄
えることを必要とし、一般にこの分としてさらに１ピク
チャ分メモリ領域を必要とする。

【０００７】図１３は、符号化画像データの復号および
表示装置の例である。図において、１はタイミング・動
作設定制御回路、２は符号化画像データのパーサ・可変
長復号回路、３は逆量子化・ＩＤＣＴ（Ｉｎｖｅｒｓｅ
Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒ
ｍ：逆コサイン変換）回路、４は動き補償回路、５は表
示回路、６は符号化画像データ書き込み制御回路、７は
符号化画像データ読み出し制御回路、８は参照データ読
み出し制御回路、９は復号データ書き込み制御回路、１
０は表示画像データ読み出し制御回路、１１はメモリで
ある。

【０００８】ＭＰＥＧストリームはパーサ・可変長復号
回路２に入力し、この中から符号化画像データは、符号
化画像データ書き込み制御回路６を介し、メモリ１１の
符号化画像データバッファ領域に格納する。タイミング
・動作設定制御回路１は、各ブロックの動作モード等の
設定に加え、メモリ１１のデータバスの競合を調整する
機能を受け持つ。また符号化画像データ読み出し制御回
路７は、前記符号化画像データバッファ領域に格納した
符号化画像データを、表示系の同期信号と同期させ１フ
レーム期間に概ね１ピクチャ（＝フレーム）分の割合で
格納順に従って読み出す。

【０００９】符号化画像データ読み出し制御回路７を介
し、メモリ１１より読み出した符号化画像データは、再
びパーサ・可変長復号回路２に入力する。該パーサ・可
変長復号回路２のパーサ部はＭＰＥＧストリームのシス
テムヘッダ情報、ならびに符号化画像データの中のヘッ
ダ部にある符号化モード情報を抽出し、内部の可変長復
号部でも使用すると共に、タイミング・動作設定制御回
路１へも出力し、逆量子化・ＩＤＣＴ回路３、動き補償
回路４、表示回路５など各回路の動作モードを設定す
る。

【００１０】また、パーサおよび可変長復号回路２の可
変長復号部では、主に可変長符号化されているコサイン
変換の係数データ等を復号し、逆量子化ならびにＩＤＣ
Ｔ回路３に送出する。さらに、逆量子化・ＩＤＣＴ回路
３では、前記の係数データを逆量子化部で適切なスケー
ルに戻し、ＩＤＣＴ部で画像データに変換する。

【００１１】動き補償回路４では、前記パーサ・可変長
復号回路２より得る符号化モード情報の中の動きベクト
ル情報を用い、動き補償のために、参照データ読み出し
制御回路８を介し、メモリ１１より参照ピクチャの復号
データである参照データを読み出す。さらに該参照デー
タは前記逆量子化・ＩＤＣＴ回路３で生成した画像デー
タに加算して、復号データを得る。

【００１２】該復号データは、復号データ書き込み制御
回路９を介しメモリ１１に書き込む。ただし復号データ
が前記ＩないしはＰピクチャの画像データである場合に
は、メモリ１１の２つの参照ピクチャ領域の中から古い
参照データが格納されている方を更新するようにし、Ｂ
ピクチャの画像データである場合にはＢピクチャ領域に
書き込む。

【００１３】上記のように復号化され、メモリ１１に書
き込まれた復号データは表示データ読み出し制御回路１
０を用いて表示データとして読み出し、表示回路５に送
出する。表示回路５は、メモリ１１から読み出した表示
データを、例えば表示同期信号に合わせ、復号した画像
データとして出力する。

【００１４】図１４は、ＭＰＥＧ方式による符号化画像
の復号に際し必要なメモリを示した図である。メモリは
データ幅が１６ｂｉｔで、５１２カラムｘ２０４８ロウ
の１６Ｍｂｉｔ容量のメモリを例に示している。１ロウ
が１ｋｂｙｔｅ（＝１０２４ｂｙｔｅ）に相当する。１
６Ｍｂｉｔ容量のメモリは汎用のメモリチップとして様
々な分野で利用されており、１６Ｍｂｉｔのメモリ容量
範囲内で復号および表示装置を構成することは、コスト
面において重要な意味を持つ。

【００１５】ＭＰＥＧ方式にて圧縮する画像信号として
は、水平７２０画素×垂直４８０走査線×フレーム周波
数３０ＨｚのＮＴＳＣ方式と水平７２０画素×垂直５７
６走査線×フレーム周波数２５ＨｚのＰＡＬ方式とがあ
るが、図１４のメモリ領域分割では、画像サイズの大き
いＰＡＬ方式に相当する符号化画像データを復号する場
合を示している。

【００１６】ＰＡＬ方式では、輝度信号用に４０５ロ
ウ、色信号用に２０３（小数点を切り上げして）ロウの
合計６０８ロウが１フレーム分に必要であり、３フレー
ム相当分の残りは、復号に際し符号化画像を一時蓄える
符号化画像データバッファとして用いられる。この符号
化画像データバッファの容量は１，８３５，００８ｂｉ
ｔ（２２４ロウ）であり、この容量値は製造者の異なる
符号化装置、復号および表示装置の組み合わせでも適切
な符号化・復号化が保証されるよう必ず守らなくてはな
らない必要最小限の容量として、ＭＰＥＧ方式は定めて
いる。

【００１７】また、ＭＰＥＧ方式では、動き補償の単位
であるブロックとして、１６画素×１６走査線を用いて
いる。

【００１８】以上説明した従来技術では、汎用メモリと
して入手が容易な１６Ｍｂｉｔメモリの容量を最大限有
効に利用した圧縮画像データの復号および表示装置が実
現できる。一方、Ｂピクチャが連続する場合（図１５の
Ｂ２，Ｂ３およびＢ５，Ｂ６等の箇所）には、前記メモ
リ１１のＢピクチャ領域において、復号データの書き込
みと表示データの読み出しをマクロ的には同時に行う必
要が生じる。

【００１９】これを実現するために従来例では、Ｂピク
チャ領域に対し、図１６に示すメモリ制御方式を採用し
ている。図の縦軸はメモリアドレスを示し、横軸は時間
を示している。また縦軸のもっとも細かなグリッドは、
８水平走査線分のサイズに相当する。図示しているよう
に、表示データの読み出しは、各フィールドの表示期間
に対応して、各フィールド専用に割り当てられた領域の
アドレスを順次インクリメントしながらデータを読み出
す。

【００２０】一方復号データの書き込みは、符号化が２
つのフィールドを一つのピクチャ（＝フレーム）に統合
した後、２次元のブロック単位で行われるために、２つ
のフィールドに渡り、さらに矩形状に示しているブロッ
クの幅分のアドレス毎に行われる。

【００２１】また復号動作は、ピクチャの切り替わり点
にて、垂直帰線期間に加えてその前後にそれぞれ８水平
走査期間だけ停止させ、即ちこの復号停止期間を設ける
ことで、読み出しアドレスと書き込みアドレスの競合を
回避している。

【００２２】

【発明が解決しようとする課題】しかしながら、この復
号停止期間を設けることは、符号化画像データの復号期
間を短くすることであり、この分復号動作を高速に行う
必要が生じ、処理の高速化は回路規模の増加を招く。さ
らに高速の復号動作に伴い、前記参照データ読み出し制
御回路７、復号データ書き込み制御回路８は、メモリ１
１に対し高速にデータを読み書きする必要が生じ、高速
なアクセスが可能なメモリが要求される。これらはいず
れも安価に符号化画像データの復号および表示装置を実
現するという目的に対して、重大な障害となる。

【００２３】特に、１６：９のアスペクト比を持つ画像
データを、垂直方向にその走査線数を３／４に減じ、レ
ターボックス画像に変換する場合には、等価的に垂直帰
線期間が増加したのと同じであり、上記問題はいっそう
深刻になる。

【００２４】また従来例では、符号化画像データを復号
ならびに表示機能を有するが、ＭＰＥＧストリームの中
に含まれる音声データの復号機能や、画像の表示データ
にオーバレイして、装置を用いるユーザにグラフィカル
ユーザインタフェースを提供するＯＳＤ（Ｏｎ Ｓｃｒ
ｅｅｎ Ｄｉｓｐｌａｙ）機能も、メモリ容量の増加な
しで実現できることが望まれている。

【００２５】

【課題を解決するための手段】前述した課題を解決する
ために、本発明は、主として次のような構成を採用する
ものである。

【００２６】参照画像を必要としないイントラフレーム
ピクチャ、表示順で前方向にある画像のみを参照画像と
するインターフレームピクチャ、および表示順で前方向
にある画像と後ろ方向にある画像の両方を参照画像とす
るバイディレクショナルピクチャの３つのピクチャタイ
プのいずれかを選択しながら、Ｍ画素×Ｎ走査線（Ｍ，
Ｎは整数、Ｎは偶数）のブロックを単位として符号化さ
れた符号化画像データを復号し、表示する装置であっ
て、符号化画像データを入力し復号する復号手段と、符
号化画像データおよび復号手段にて得る復号画像データ
を格納し保持するメモリ手段と、前記メモリ手段から復
号画像データを読み出し表示画像データを出力する表示
手段と、前記復号手段および表示手段の動作タイミング
を制御する制御手段と、を備え、前記メモリ手段は、前
記復号手段および表示手段と共通のデータバスで結ば
れ、内部に少なくとも符号化画像データを復号前に一時
蓄えておく符号化画像データバッファ領域と、イントラ
フレームピクチャまたはインターフレームピクチャの復
号画像データを格納する第１と第２のフレームメモリ領
域と、前記バイディレクショナルピクチャの復号画像デ
ータを格納する第３のフレームメモリ領域とを有し、前
記第３のフレームメモリの容量を、１ピクチャの画像サ
イズよりも１垂直帰線期間と前記ブロックの走査線数
（＝Ｎ）に相当する走査期間内に復号可能なブロック数
分を合わせた値よりも大きく設定し、前記復号手段は、
符号化画像データのピクチャタイプに応じて、前記３つ
のフレームメモリ領域に復号画像データを書き込む手段
と前記第１と第２のフレームメモリ領域から参照画像デ
ータを読み出す手段とを有し、前記表示手段は、前記第
１から第３のフレームメモリ領域に格納された復号画像
データをインタレースした表示画像データとして読み出
す手段を有し、前記制御手段は、復号手段に対し１ピク
チャ分の符号化画像データの復号を、表示画像データの
垂直帰線期間に少なくともＮ／２走査線期間先行して開
始させる符号化画像データの復号および表示装置。

【００２７】

【発明の実施の形態】以下本発明の実施形態を添付の図
面を用いて説明する。

【００２８】図１は本発明による符号化画像データの復
号および表示装置の第１の例であり、１はタイミング・
動作設定制御回路、２はパーサ・可変長復号回路、３は
逆量子化・ＩＤＣＴ回路、４は動き補償回路、５は表示
回路、６は符号化画像データ書き込み制御回路、７は符
号化画像データ読み出し制御回路、８は参照データ読み
出し制御回路、９は復号データ書き込み制御回路、１０
は表示データ読み出し制御回路、１１はメモリ、１２は
音声復号回路、１３は音声データ読み出し制御回路、１
４は音声データ書き込み制御回路、１５はＯＳＤデータ
書き込み制御回路、１６はＯＳＤデータ読み出し制御回
路である。

【００２９】ＭＰＥＧストリームはパーサ・可変長復号
回路２に入力し、さらに符号化画像データ書き込み制御
回路６を介し、メモリ１１の符号化画像データバッファ
領域に格納する。タイミング・動作設定制御回路１は、
各ブロックの動作モード等の設定に加え、メモリ１１の
データバスの競合を調整する機能を受け持つ。また符号
化画像データ読み出し制御回路７は、前記符号化画像デ
ータバッファ領域に格納した符号化画像データを、表示
系の同期信号と同期させ概ね１フレーム期間に１ピクチ
ャ（＝フレーム）分の割合で格納順に従って読み出す。

【００３０】メモリ１１より読み出した符号化画像デー
タは、再びパーサ・可変長復号回路２に入力する。該パ
ーサ・可変長復号回路２のパーサ部は符号化画像データ
の中のヘッダ部にある符号化モード情報を抽出し、内部
の可変長復号部でも使用すると共に、タイミング・動作
設定制御回路１へも出力し、逆量子化・ＩＤＣＴ回路
３、動き補償回路４、表示回路５など各回路の動作モー
ドを設定する。

【００３１】またパーサ・可変長復号回路２の可変長復
号部では、主に可変長符号化されているコサイン変換の
係数データ等を復号し、逆量子化・ＩＤＣＴ回路３に送
出する。逆量子化・ＩＤＣＴ回路３では、前記の係数デ
ータを逆量子化部で適切なスケールに戻し、ＩＤＣＴ部
で画像データに変換する。

【００３２】動き補償回路４では、前記パーサ・可変長
復号回路２より得る符号化ヘッダ情報の中の動きベクト
ル情報を用い、動き補償のために参照データ読み出し制
御回路８を介し、メモリ１１より参照ピクチャの参照デ
ータを読み出す。

【００３３】さらに該参照データは前記ＩＤＣＴ部で生
成した画像データに加算して、復号データを得る。該復
号データは、復号データ書き込み制御回路９を介しメモ
リ１１に書き込む。ただし復号データが前記Ｉないしは
Ｐピクチャの画像データである場合には、メモリ１１の
２つの参照ピクチャ領域中からの古いデータが格納され
ている方を更新するようにし、Ｂピクチャの画像データ
である場合にはＢピクチャ領域に書き込む。

【００３４】上記のように復号化され、メモリ１１に書
き込まれた復号データは表示データ読み出し回路１０を
用いて表示データとして読み出し、表示回路５に送出す
る。表示回路５は、メモリ１１から読み出した表示デー
タを、例えば画素レート変換処理などを行い、さらに後
述するようにＯＳＤデータ読み出し制御回路１６にてメ
モリ１１から読み出すＯＳＤデータをオーバーレイ表示
して、復号した画像データとして出力する。

【００３５】図２は、ＯＳＤデータを格納することを考
慮したメモリ１１の領域割当を示した図であり、前記Ｎ
ＴＳＣ方式の場合を示している。２面の参照ピクチャ領
域は、フルピクチャサイズ分を有し、図１４に示したＰ
ＡＬ方式の例に比べ、ピクチャサイズの小さい分５０７
ｋｂｙｔｅ／ピクチャとしている。

【００３６】また符号化画像データバッファ領域につい
ては、図１４に示した例と同じである。Ｂピクチャ領域
は、ピクチャサイズ分より、前記図１６に示した復号停
止期間相当の時間に復号可能なブロック数の分（本例で
は、５０ｋｂｙｔｅ）、割当てるメモリを増やしてお
り、５５７ｋｂｙｔｅとしている。さらに加え、ＮＴＳ
Ｃ方式のピクチャサイズの小さいことを利用し、ＯＳＤ
データを格納するＯＳＤデータ領域として２４５ｋｂｙ
ｔｅ、符号化された音声データを一時格納する音声デー
タ領域として８ｋｂｙｔｅ有する。

【００３７】図３は、Ｂピクチャ領域に対するメモリ制
御方式を示している。図の縦軸はメモリアドレスを、横
軸は時間を示す。図示しているように、復号データの書
き込みは、表示データの読み出しより先行し、さらに垂
直帰線期間にも先行して行わせる。垂直帰線期間に対す
る先行幅としては、０．５ブロックを復号するのに要す
る期間とするのが、Ｂピクチャ領域に割り当てるメモリ
増加分を少なくするのに好適である。ブロックは１６画
素×１６走査線を単位としており、前記先行幅としては
１６走査線の半分の８水平走査線の期間である。

【００３８】メモリ領域はピクチャサイズより大きく、
巡回型メモリして使用する。この結果、書き込みと読み
出しの競合を発生させることなく、連続した復号データ
の書き込み、即ち連続した復号動作が可能となる。

【００３９】また本例では、符号化画像データの復号お
よび表示に加えて、符号化された音声データの復号、Ｏ
ＳＤデータの表示が可能である。符号化された音声デー
タは、ＭＰＥＧストリームに含まれ、パーサ・可変長復
号回路２のパーサ部にて分離され、音声データ書き込み
制御回路１４に送出し、メモリ１１の音声データ領域に
格納する。該格納された符号化された音声データは、タ
イミング・動作設定制御回路１の指示に基づき、音声デ
ータ読み出し制御回路１３で読み出し、音声復号回路１
２にて復号し、復号した音声データとして出力する。

【００４０】ＯＳＤデータもまたＭＰＥＧストリーム内
に多重して、パーサ・可変長復号回路２に入力し、パー
サ部にて分離し、ＯＳＤデータ書き込み制御回路１５に
て、メモリ１１の前記ＯＳＤデータ領域に書き込む。該
ＯＳＤデータ領域に書き込まれたＯＳＤデータは、表示
回路５の指示に基づき、前記表示データ読み出し制御回
路１０にて読み出す表示データに同期させて、ＯＳＤデ
ータ読み出し制御回路１６にて読み出し、表示回路５に
て表示データとＯＳＤデータを多重し、復号した画像デ
ータとして出力する。

【００４１】次に、本発明の第２の実施形態を説明す
る。復号および表示装置の構成としては、図１に示した
復号および表示装置と同じであり、メモリ１１内の領域
分割、ならびにＢピクチャに対するメモリ制御方法が異
なる。図４にメモリ１１の領域分割方法をＰＡＬ方式を
例に示しているが、ＮＴＳＣ方式に適用も可能である。
図５にメモリ制御方法を示す。ＰＡＬ方式のピクチャサ
イズは、前述したようにＮＴＳＣ方式よりピクチャサイ
ズが大きい。このため第１の実施形態のようにＢピクチ
ャ領域に１フレームを超える容量を割り当てることはで
きない。

【００４２】本実施形態では、ＰＡＬ方式においても第
１の実施形態と同様の効果を有する。このために本実施
形態では、Ｂピクチャ領域に１フィールド容量プラスア
ルファを割り当てる。プラスアルファ分は、少なくとも
図１６に示した復号停止期間相当の時間に復号可能なブ
ロック数の分＋８水平走査線分（ブロックを水平走査線
に渡って集めたものの１フィールド分：以下フィールド
ブロックラインと記す）である。

【００４３】図５に示すように図３に示した実施形態と
同様、復号データの書き込みは、垂直帰線期間に先行さ
せる。図では、この先行幅は０．５ブロックを復号する
のに要する期間であり、この値はＢピクチャ領域のメモ
リ容量を少なくするのに有効である。本メモリ制御方式
においては、例えばフィールドマクロブロックラインを
単位として、メモリ領域を複数のサブ領域に分割する。
該サブ領域毎に対し、書き込み可能か否かを、タイミン
グ・動作設定制御回路１が管理し、復号データ書き込み
制御回路９に対し書き込み可能なサブ領域を指示し、復
号データをメモリ１１に書き込ませる。

【００４４】書き込み終了後に該当するサブ領域を書き
込み不可に分類するとともに、読み出し用管理を行う。
読み出し管理では、表示すべき順序に従ってサブ領域に
格納された復号データを読み出し、表示データとする。
表示終了後には、該当するサブ領域を再び書き込み可と
する。前記プラスアルファ容量として、復号停止期間相
当の時間に復号可能なブロック数の分に加え、フィール
ドブロックライン（１サブ領域に相当分）有しており、
いかなるタイミングにおいても書き込み可能なサブ領域
が存在可能なことが図５からわかる。

【００４５】第３の実施形態を、図６、図７ならびに図
１０、図１１、図１２に示す。本実施形態は、アスペク
ト比が１６：９のモニタに表示することを前提としたワ
イドアスペクト画像を４：３のモニタに表示するとき、
画面縦方向を３／４に圧縮した画像（レターボックス画
像）に変換する機能を有する装置に関する。本実施形態
における復号および表示装置の構成も、図１に示した復
号および表示装置とほぼ同じであるが、レターボックス
画像変換を行うか否かの指示は、図示はしていないが外
部よりタイミング・動作設定制御回路１に供給する。

【００４６】また復号データ書き込み制御回路９は、図
１１に示すように内部に走査線変換回路を含み、表示デ
ータ読み出し回路１０もまた図１２に示すように走査線
変換回路を内部に有する。走査線変換回路は、走査線４
本の割合で１本を間引く回路である。

【００４７】図６は、レターボックス画像変換を行う場
合のメモリ１１内の領域分割を、図７は、レターボック
ス画像変換を行う場合のＢピクチャに対するメモリ制御
方法を示す。レターボックス変換を行わない場合につい
ては、第１もしくは第２の実施形態を適用する。ＮＴＳ
ＣとＰＡＬ方式にて、Ｂピクチャに対するメモリ制御方
法は共通であり、メモリ割当が異なる。

【００４８】図７に示したように、Ｂピクチャに対する
メモリ制御方法は基本的には、図３に示した第１の実施
形態の場合と同様であるが、レターボックス画像変換に
より、垂直帰線期間を包含する非表示期間が増大してい
る。このことは従来例においては、復号停止期間が拡大
することであり、復号停止期間を必要としない本発明の
効果がより一層際立つ。

【００４９】メモリ分割においては、図６の示したよう
に、ＮＴＳＣ、ＰＡＬ方式ともに２つの参照フレーム領
域はそれぞれフルフレームサイズの容量を、Ｂピクチャ
領域の容量は、図７の非表示期間を含む従来例の意味で
の復号停止期間内に復号するブロック数分をフルフレー
ムサイズに加えた値の３／４である。またＮＴＳＣ、Ｐ
ＡＬ方式ともにＯＳＤデータ領域、音声データ領域が確
保される。

【００５０】図１０には、レターボックス画像変換を行
う走査線変換の原理図を示している。８本の走査線毎に
それぞれのフィールド内で走査線間の演算を行い、６本
の走査線に変換する。これにより１ピクチャの走査線数
は、ＮＴＳＣでは４８０本が３６０本に、ＰＡＬでは５
７６本が４３２本になり、１６：９アスペクトの画像を
４：３モニタの中央部に１６：９アスペクト比を保った
まま表示させることが可能となる。

【００５１】図１１は、本実施形態の復号データ書き込
み制御回路９を示す。図にて、９１は走査線変換回路、
９２はセレクタ、９３はメモリ書き込み制御回路、９４
は論理積回路である。復号データは走査線変換回路９１
とセレクタ９２の一方に入力される。セレクタ９２は、
レターボックス変換を行う場合でかつＢピクチャの復号
データに限って走査線変換回路９１の出力データを、そ
の他の場合には入力されたままのデータを復号データと
して、メモリ書き込み制御回路９３に送出し、メモリ１
１への書き込みを行う。

【００５２】従って、メモリ１１には、Ｂピクチャに限
ってレターボックス画像変換された形で復号データが格
納され、動き補償回路４での参照データとして用いる必
要のあるＩならびにＰピクチャは、復号データがそのま
まメモリ１１の参照ピクチャ領域に格納される。レター
ボックス画像変換されたＢピクチャのサイズは、フルピ
クチャサイズの３／４であり、これによりメモリ１１の
Ｂピクチャ領域のサイズが低減される。またメモリ１１
に書き込む復号データも削減されており、メモリ１１へ
の書き込み動作もこの分低速に行えるという利点も生ま
れる。

【００５３】ＩならびにＰピクチャのレターボックス変
換は、図１２に示した表示データ読み出し回路１０にて
行う。図にて１０１はセレクタ、１０２は走査線変換回
路、１０３はメモリデータ読み出し回路、１０４は論理
積回路である。メモリデータ読み出し回路１０３にて、
メモリ１１から読み出した表示データは、走査線変換回
路１０２とセレクタ１０１の一方に入力される。

【００５４】セレクタ１０１は、レターボックス変換を
行う場合でかつＩならびにＰピクチャの表示データに限
って走査線変換回路９１の出力データを、その他の場合
には入力されたままのデータを表示データとして、出力
する。この結果、図１１の復号データ書き込み制御回路
９と併せ、すべてのピクチャタイプに対してレターボッ
クス変換が行われる。

【００５５】本発明の第４の実施形態を図８、図９に示
す。図８は、レターボックス画像変換を行う場合のＰＡ
Ｌ方式におけるメモリ領域分割を示しているが、ＮＴＳ
Ｃ方式に適用も可能である。また図９は、レターボック
ス画像変換を行う場合のＢピクチャに対するメモリ制御
方式を示したものである。レターボックス変換を行わな
い場合は、第２の実施形態が適用される。

【００５６】動作の原理は、第２の実施形態と同様であ
るが、レターボックス画像変換を行うために拡大する非
表示期間を考慮したメモリ領域の拡大と、レターボック
ス画像変換を行うために減じるデータ量を考慮したメモ
リ領域の削減が同時に考慮され、Ｂピクチャ領域のサイ
ズを３２３ｋｂｙｔｅとしている。

【００５７】

【発明の効果】以上説明したように本発明では、汎用メ
モリとして入手が容易な１６Ｍｂｉｔメモリの容量を最
大限有効に利用し、復号停止期間を設けることなく符号
化画像データの復号が行え、これに加え、復号した画像
に文字やグラフィックをオーバーレイして表示するＯＳ
Ｄや、音声データの復号が実現可能となる。

【図面の簡単な説明】

【図１】本発明による符号化画像データの復号および表
示装置を示す図である。

【図２】第１の実施形態におけるメモリ領域分割を示す
図である。

【図３】第１の実施形態におけるＢピクチャ領域のメモ
リ制御を示す図である。

【図４】第２の実施形態におけるメモリ領域分割を示す
図である。

【図５】第２の実施形態におけるＢピクチャ領域のメモ
リ制御を示す図である。

【図６】第３の実施形態におけるメモリ領域分割を示す
図である。

【図７】第３の実施形態におけるＢピクチャ領域のメモ
リ制御を示す図である。

【図８】第４の実施形態におけるメモリ領域分割を示す
図である。

【図９】第４の実施形態におけるＢピクチャ領域のメモ
リ制御を示す図である。

【図１０】レターボックス変換の原理を示す図である。

【図１１】レターボックス変換が可能な復号データ書き
込み制御回路の例である。

【図１２】レターボックス変換が可能な表示データ読み
出し制御回路の例である。

【図１３】符号化画像データの復号および表示装置の従
来例示す図である。

【図１４】従来例におけるメモリ領域分割を示す図であ
る。

【図１５】ＭＰＥＧストリームにおける復号順と表示順
を示す図である。

【図１６】従来例におけるＢピクチャ領域のメモリ制御
を示す図である。

【符号の説明】

１ タイミング・動作設定制御回路 ２ パーサ・可変長復号回路 ３ 逆量子化・ＩＤＣＴ回路 ４ 動き補償回路 ５ 表示回路 ６ 符号化画像データ書き込み制御回路 ７ 符号化画像データ読み出し制御回路 ８ 参照データ読み出し回路 ９ 復号データ書き込み制御回路 １０ 表示データ読み出し制御回路 １１ メモリ １２ 音声復号回路 １３ 音声データ読み出し制御回路 １４ 音声データ書き込み制御回路 １５ ＯＳＤデータ書き込み制御回路 １６ ＯＳＤデータ読み出し制御回路 ９２，１０２ 走査線変換回路 ９３，１０１ セレクタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/137 Ｚ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 参照画像を必要としないイントラフレー
   ムピクチャ、表示順で前方向にある画像のみを参照画像
   とするインターフレームピクチャ、および表示順で前方
   向にある画像と後ろ方向にある画像の両方を参照画像と
   するバイディレクショナルピクチャの３つのピクチャタ
   イプのいずれかを選択しながら、Ｍ画素×Ｎ走査線
   （Ｍ，Ｎは整数、Ｎは偶数）のブロックを単位として符
   号化された符号化画像データを復号し、表示する装置で
   あって、 符号化画像データを入力し復号する復号手段と、符号化
   画像データおよび復号手段にて得る復号画像データを格
   納し保持するメモリ手段と、前記メモリ手段から復号画
   像データを読み出し表示画像データを出力する表示手段
   と、前記復号手段および表示手段の動作タイミングを制
   御する制御手段と、を備え、 前記メモリ手段は、前記復号手段および表示手段と共通
   のデータバスで結ばれ、内部に少なくとも符号化画像デ
   ータを復号前に一時蓄えておく符号化画像データバッフ
   ァ領域と、イントラフレームピクチャまたはインターフ
   レームピクチャの復号画像データを格納する第１と第２
   のフレームメモリ領域と、前記バイディレクショナルピ
   クチャの復号画像データを格納する第３のフレームメモ
   リ領域とを有し、前記第３のフレームメモリの容量を、
   １ピクチャの画像サイズよりも１垂直帰線期間と前記ブ
   ロックの走査線数（＝Ｎ）に相当する走査期間内に復号
   可能なブロック数分を合わせた値よりも大きく設定し、 前記復号手段は、符号化画像データのピクチャタイプに
   応じて、前記３つのフレームメモリ領域に復号画像デー
   タを書き込む手段と前記第１と第２のフレームメモリ領
   域から参照画像データを読み出す手段とを有し、 前記表示手段は、前記第１から第３のフレームメモリ領
   域に格納された復号画像データをインタレースした表示
   画像データとして読み出す手段を有し、 前記制御手段は、復号手段に対し１ピクチャ分の符号化
   画像データの復号を、表示画像データの垂直帰線期間に
   少なくともＮ／２走査線期間先行して開始させることを
   特徴とする符号化画像データの復号および表示装置。
2. 【請求項２】 請求項１に記載の符号化画像データの復
   号および表示装置において、 前記メモリ手段の容量は１６Ｍｂｉｔ（１Ｍｂｉｔ＝１
   ０２４×１０２４ｂｉｔ）であり、オンスクリーンディ
   スプレイデータを格納する領域と音声データを格納する
   領域との両方またはいずれかを有することを特徴とする
   符号化画像データの復号および表示装置。
3. 【請求項３】 参照画像を必要としないイントラフレー
   ムピクチャ、表示順で前方向にある画像のみを参照画像
   とするインターフレームピクチャ、および表示順で前方
   向にある画像と後ろ方向にある画像の両方を参照画像と
   するバイディレクショナルピクチャの３つのピクチャタ
   イプのいずれかを選択しながら、Ｍ画素×Ｎ走査線
   （Ｍ、Ｎは整数、Ｎは偶数）のブロックを単位として符
   号化された符号化画像データを復号し、表示する装置で
   あって、 符号化画像データ入力し復号する復号手段と、符号化画
   像データおよび復号手段にて得る復号画像データを格納
   ・保持するメモリ手段と、前記メモリ手段から復号画像
   データを読み出し表示画像データを出力させる表示手段
   と、前記復号手段および表示手段の動作タイミングを制
   御する制御手段と、を備え、 前記メモリ手段は、前記復号手段および表示手段と共通
   のデータバスで結ばれ、内部に少なくとも符号化画像デ
   ータを復号前に一時蓄えておく符号化画像データバッフ
   ァ領域と、イントラフレームピクチャまたはインターフ
   レームピクチャの復号画像データを格納する第１と第２
   のフレームメモリ領域と、前記バイディレクショナルピ
   クチャの復号画像データを格納する第３のフレームメモ
   リ領域とを有し、前記第３のフレームメモリの容量を、
   １ピクチャの画像サイズの半分と１垂直帰線期間と前記
   ブロックの走査線数（＝Ｎ）に相当する走査期間内に復
   号可能なブロック数分を合わせた値よりも大きく設定
   し、 前記復号手段は、符号化画像データのピクチャタイプに
   応じて、前記３つのフレームメモリ領域に復号画像デー
   タを書き込む手段と前記第１と第２のフレームメモリ領
   域から参照画像データを読み出す手段を有し、 前記表示手段は、前記第１から第３のフレームメモリ領
   域に格納された復号画像データをインタレースした表示
   画像データとして読み出す手段を有し、 前記制御手段は、前記第３のフレームメモリを分割した
   サブ領域単位で書き込みと読み出しを制御し、復号手段
   に対し１ピクチャ分の符号化画像データの復号を、表示
   画像データの垂直帰線期間に少なくともＮ／２走査線期
   間先行して開始させることを特徴とする符号化画像デー
   タの復号および表示装置。
4. 【請求項４】 請求項３に記載の符号化画像データの復
   号および表示装置において、 前記メモリ手段の容量は１６Ｍｂｉｔ（１Ｍｂｉｔ＝１
   ０２４×１０２４ｂｉｔ）であり、オンスクリーンディ
   スプレイデータを格納する領域と音声データを格納する
   領域との両方またはいずれかを有することを特徴とする
   符号化画像データの復号および表示装置。
5. 【請求項５】 参照画像を必要としないイントラフレー
   ムピクチャ、表示順で前方向にある画像のみを参照画像
   とするインターフレームピクチャ、および表示順で前方
   向にある画像と後ろ方向にある画像の両方を参照画像と
   するバイディレクショナルピクチャの３つのピクチャタ
   イプのいずれかを選択しながら、Ｍ画素×Ｎ走査線
   （Ｍ，Ｎは整数、Ｎは偶数）のブロックを単位として符
   号化された符号化画像データを復号し、表示する装置で
   あって、 符号化画像データを入力し復号する復号手段と、符号化
   画像データおよび復号手段にて得る復号画像データを格
   納し保持するメモリ手段と、前記メモリ手段から復号画
   像データを読み出し表示画像データを出力する表示手段
   と、前記復号手段および表示手段の動作タイミングを制
   御する制御手段と、を備え、 前記復号手段で得る復号画像データの有効走査線数を削
   減して、垂直帰線期間を内包する表示画像データの非有
   効走査期間を拡大して、表示画面を垂直方向に圧縮して
   表示させるモードを有し、 前記復号手段は、バイディレクショナルピクチャの復号
   画像データの走査線を間引く手段を有し、前記走査線を
   間引いた復号画像データを前記メモリ手段の第３のフレ
   ームメモリ領域に格納し、 前記表示手段は、イントラフレームピクチャおよびイン
   ターフレームピクチャの復号画像データの走査線を間引
   く手段を有し、 前記メモリ手段に設定する第３のフレームメモリ領域の
   大きさを、１ピクチャの画像サイズと前記表示画像デー
   タの非有効走査期間と前記ブロックの大きさの走査線数
   （＝Ｎ）に相当する期間内に復号可能なブロック数分を
   合わせた値に（１−走査線を間引く割合）を乗じた値よ
   りも大きく設定し、 前記制御手段は、復号手段に対し１ピクチャ分の符号化
   画像データの復号を、表示画像データの前記非有効走査
   線期間に少なくともＮ／２走査線期間先行して開始させ
   ることを特徴とする符号化画像データの復号および表示
   装置。
6. 【請求項６】 請求項５に記載の符号化画像データの復
   号および表示装置において、 前記メモリ手段の容量は１６Ｍｂｉｔ（１Ｍｂｉｔ＝１
   ０２４×１０２４ｂｉｔ）であり、オンスクリーンディ
   スプレイデータを格納する領域と音声データを格納する
   領域との両方またはいずれかを有することを特徴とする
   符号化画像データの復号および表示装置。
7. 【請求項７】 参照画像を必要としないイントラフレー
   ムピクチャ、表示順で前方向にある画像のみを参照画像
   とするインターフレームピクチャ、および表示順で前方
   向にある画像と後ろ方向にある画像の両方を参照画像と
   するバイディレクショナルピクチャの３つのピクチャタ
   イプのいずれかを選択しながら、Ｍ画素×Ｎ走査線
   （Ｍ，Ｎは整数、Ｎは偶数）のブロックを単位として符
   号化された符号化画像データを復号し、表示する装置で
   あって、 符号化画像データを入力し復号する復号手段と、符号化
   画像データおよび復号手段にて得る復号画像データを格
   納し保持するメモリ手段と、前記メモリ手段から復号画
   像データを読み出し表示画像データを出力する表示手段
   と、前記復号手段および表示手段の動作タイミングを制
   御する制御手段と、を備え、 前記復号手段で得る復号画像データの有効走査線数を削
   減して、垂直帰線期間を内包する表示画像データの非有
   効走査期間を拡大して、表示画面を垂直方向に圧縮して
   表示させるモードを有し、 前記復号手段は、バイディレクショナルピクチャの復号
   画像データの走査線を間引く手段を有し、前記走査線を
   間引いた復号画像データを前記メモリ手段の第３のフレ
   ームメモリ領域に格納し、 前記表示手段は、イントラフレームピクチャおよびイン
   ターフレームピクチャの復号画像データの走査線を間引
   く手段を有し、 前記メモリ手段に設定する第３のフレームメモリ領域の
   大きさを、１ピクチャの画像サイズの半分と１垂直帰線
   期間と前記ブロックの大きさの走査線数（＝Ｎ）に相当
   する期間内に復号可能なブロック数分を合わせた値に
   （１−走査線を間引く割合）を乗じた値よりも大きく設
   定し、 前記制御手段は、復号手段に対し１ピクチャ分の符号化
   画像データの復号を、表示画像データの前記非有効走査
   線期間に少なくともＮ／２走査線期間先行して開始させ
   ることを特徴とする符号化画像データの復号および表示
   装置。
8. 【請求項８】 請求項７に記載の符号化画像データの復
   号および表示装置において、 前記メモリ手段の容量は１６Ｍｂｉｔ（１Ｍｂｉｔ＝１
   ０２４×１０２４ｂｉｔ）であり、オンスクリーンディ
   スプレイデータを格納する領域と音声データを格納する
   領域との両方またはいずれかを有することを特徴とする
   符号化画像データの復号および表示装置。