JPH1032821A - Ｍｐｅｇ符号化画像データ復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 映像の特殊再生を自由にかつ優れた操作レス
ポンスをもって実行することを可能にするＭＰＥＧ符号
化画像データ復号装置の提供。 【解決手段】 ＭＰＥＧ符号化画像データを復号化して
複合化画像データを生成するためのものである。ＭＰＥ
Ｇ符号化画像データが復号化画像データに関するデータ
処理情報をもつ場合に、復号化画像データをＭＰＥＧ符
号化における１ピクチャフレーム単位で監視し、データ
処理情報があったピクチャフレームに関するＭＰＥＧ符
号化画像データをデータ処理情報のあるパケット単位で
送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＭＰＥＧ（Ｍｏｖｉ
ｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）
符号化画像データを復号化して複合化画像データを生成
するＭＰＥＧ符号化画像データ復号装置に関する。

【０００２】

【従来の技術】ＭＰＥＧ符号化画像データが特殊再生や
サービス情報となるメニューデータおよび画面データを
含む場合がある。その場合には、ＭＰＥＧ符号化画像デ
ータ復号装置に、メニューデータおよび画面データを処
理・再生できるようにこれらの情報を制御したり表示し
たりする手段を備えるとよい。

【０００３】従来のＭＰＥＧ符号化画像データ復号装置
では、ＭＰＥＧ符号化を行った画像データに含まれる特
殊再生やサービス情報となるメニューデータおよび画面
データの処理・再生を可能とさせるために、それらの特
殊な情報をそのシステムのみで使用できる仕組みで符号
化データとして、それを特定の復号装置で処理、再生可
能とする装置であった（例えば特開平７−１６２８００
号公報参照）。つまり、特開平７−１６２８００号公報
に記載の技術では、サーチ再生や高速再生などの特殊再
生機能を実現するために、ＶＴＲで代表されるテープ記
録トラックの磁気へッド回転の初めに当たるテーブ端部
にサブコード記録エリアを設けて、一定間隔でかつ決ま
った時問でこのデータを読み取り、かつ識別して、制御
コマンドで指定した時問または位置まで、データ再生を
スキッブさせたりストップさせたりすることを行ってい
た。

【０００４】

【発明が解決しようとする課題】この従来のＭＰＥＧ符
号化画像データ復号装置では、ＶＴＲテープに限定され
る装置となり、かつ一定間隔よりも短い時間での情報が
入れられない等の問題があり、各種圧縮符号化データ
（ＭＰＥＧデータ）に対し、特に通信サービスを利用す
る伝送回線等のデータを扱う復号装置には対応ができな
かった。

【０００５】

【課題を解決するための手段】本発明の第１の態様によ
れば、ＭＰＥＧ符号化画像データを復号化して複合化画
像データを生成するＭＰＥＧ符号化画像復号装置におい
て、前記ＭＰＥＧ符号化画像データが前記復号化画像デ
ータに関するデータ処理情報をもつ場合に、前記復号化
画像データをＭＰＥＧ符号化における１ピクチャフレー
ム単位で監視し、前記データ処理情報があったピクチャ
フレームに関する前記ＭＰＥＧ符号化画像データを前記
データ処理情報のあるパケット単位で送信することを特
徴とするＭＰＥＧ符号化画像データ復号装置が得られ
る。

【０００６】また本発明の第２の態様によれば、伝送回
線および回線入カインタフェースを通して入力される圧
縮符号化多重側からの画像および音声等複数メディア各
各の圧縮符号化（ＭＰＥＧ）ビットストリームを多重化
した多重化ストリームを順次記憶蓄積し一時格納する第
１の記憶手段と、第１の制御信号に制御され読み出され
る前記第１の記憶蓄積手段からの前記多重化ストリーム
のバックヘッダを分離してシステムクロック基準のＳＣ
Ｒ情報を抽出するバックヘッダ処理手段と、前記バック
ヘッダが分離された前記パックヘッダ分離手段からの多
重化ストリームからパケットヘッダを分離して時刻基準
のＰＴＳ情報を抽出するとともに前記複数メディア各各
のパケット単位に分離するパケット処理手段と、前記パ
ケット処理手段で分離されたビデオパケットのＭＰＥＧ
ビデオストリームからプライベートデータ情報を検出す
るプライベートヘッダ検出手段と、前記プライベートヘ
ッダ検出手段からのプライベートヘッダ検出信号に制御
されて第２の制御信号および前記第１の制御信号を出力
する第１の制御手段と、前記パケット処理手段で分離さ
れたビデオパケットのＭＰＥＧビデオストリームを記憶
蓄積して一時格納するとともに前記第１の制御手段から
の前記第２の制御信号に制御されて前記一時格納されて
いる前記ＭＰＥＧビデオストリームをデータ処理情報の
あるパケット単位で第１の読み出し制御をされる第２の
記憶手段と、第３の制御信号に制御されて第２の読み出
し制御をされ前記第２の記憶手段から出力される１ピク
チャフレーム単位のビデオデータをＭＰＥＧ復号するビ
デオＭＰＥＧ復号化手段と、前記ビデオＭＰＥＧ復号化
手段からの１ピクチャフレーム分の復号化ビデオデータ
を記憶し一時格納する第３の記憶手段と、前記第３の記
憶手段の記憶領域への前記１ピクチャフレーム分の復号
化ビデオデータの格納状態を監視して前記格納状態が正
常のとぎは前記第３の記憶手段から格納されている前記
１ピクチャフレーム分の復号化ビデオデータを出力させ
かつ前記格納状態が異常のとぎは第１のデータ処理情報
を出力する記憶管理手段と、前記第３の記憶手段から出
力される前記１ピクチャフレーム分の復号化ビデオデー
タを所定ピクチャフレーム分記憶蓄積し一時格納する第
４の記憶手段と、第４の制御信号に制御され読み出され
る前記第４の記憶手段からの前記１ピクチャフレーム単
位の復号化ビデオデータをビデオ表示タイミングで出力
制御するビデオ表示制御手段と、前記ビデオ表示制御手
段からの前記１ピクチャフレームごとの複合かビデオデ
ータをディジタル／アナログ変換してＭＰＥＧ復号化画
像信号として出力して外部のビデオ視聴者へ供給するデ
ィジタル／アナログ変換手段と、第５の制御信号に制御
されて前記第３および第４の制御信号を出力し前記第３
の制御信号を前記第２の記憶手段へおよび前記第４の制
御信号を前記第４の記憶手段へ供給する第２の制御手段
と、前記ディジタル／アナログ変換手段から出力される
前記ＭＰＥＧ復号化画像信号を外部の前記ビデオ視聴者
の画像モニタヘ所定のタイミングで表示するため前記ビ
デオ表示タイミングを生成して前記ビデオ表示制御手段
へ供給する表示タイミング生成手段と、前記記憶管理手
段から出力される前記第１のエラー情報の入力を前記表
示タイミング生成手段出力の前記ビデオ表示タイミング
と同じ周期のタイミングで監視して前記第１のデータ処
理情報が入力されたときばそのデータ処理情報にもとづ
いて前記ＭＰＥＧ符号化多重側へ前記第１のデータ処理
情報が出力されたビデオデータと同じピクチャフレーム
のビデオデータの再送を要求するビデオ再送要求信号を
出力するデータ情報処理手段と、前記パックヘッダ処理
手段で抽出された前記ＳＣＲ情報をもとにＭＰＥＧ復号
等に使用される復号側クロック信号を生成するクロック
生成手段と、前記パケット処理手段で抽出された前記Ｐ
ＴＳ情報をもとにＭＰＥＧ復号等に使用される復号側時
刻情報を生成する時刻情報生成手段と、前記時刻情報生
成手段出力の前記復号側時刻情報をもとにＭＰＥＧ復号
時の画像と音声との同期をとるためのＡｖ同期タイミン
グを生成する同期タイミング生成手段と、前記クロック
生成手段からの前記復号側クロック信号，前記時刻情報
生成手段からの前記復号側時刻情報，前記プライベート
データ検出手段からの前記ブライべ一トヘッダ検出信号
および前記データ情報処理手段からの前記ビデオ再送要
求信号等とを入力されてホストＣＰＵを駆動しＣＰＵバ
スを介して前記ＭＰＥＧ復号化手段におけるＭＰＥＧ復
号処理を制御および前記第５の制御信号を出力して前記
第２の制御手段を制御するとともに回線出力インタフェ
ースおよび前記伝送回線を通して前記ＭＰＥＧ符号多重
側へ前記ビデオ再送要求信号を送出制御するＣＰＵ制御
手段とを備えたことを特徴とするＭＰＥＧ符号化画像デ
ータ復号装置が得られる。

【０００７】また本発明の第３の態様によれば、ＭＰＥ
Ｇデコードされたビデオデータを１ピクチャフレーム単
位で一時記憶するフレームバッファメモリと、前記フレ
ームバッファメモリに１フレーム分のピクチャデータが
欠落することなく全てが格納されたか否かを監視するメ
モリ管理手段と、前記フレームバッファメモリから読み
出される１ピクチャフレームのビデオデータを数ピクチ
ャフレーム分一時格納して格納された順番に１ピクチャ
フレーム単位で読み出されるビデオ表示フレームメモリ
と、前記メモリ管理手段の出力のメモリ格納情報をビデ
オ表示タイミングでチェックしてメモリ格納情報が出力
されていないときにはその表示タイミング直前に格納さ
れたピクチャフレームにデータの欠落があったと見做し
てエラー情報を出力してＭＰＥＧ符号化多重側へそのデ
ータ欠落のあったピクチャフレームあるいはＧＯＰのビ
デオデータがビデオ表示フレームメモリから読み出され
て表示される以前に上記データ欠落のあった１ピクチャ
フレーム分のビデオデータをＭＰＥＧ符号化多重側から
再送して当該１ピクチャフレームあるいはＧＯＰのビデ
オデータが本来ビデオ表示されるぺぎ時間までに再送さ
れたビデオデータを格納するビデオ表示フレームメモリ
とを含むことを特徴とするＭＰＥＧ符号化画像データ復
号装置が得られる。

【０００８】

【発明の実施の形態】次に、本発明について図面を参照
して説明する。

【０００９】本発明の実施の形態を示す図１を参照する
と、ＭＰＥＧ符号化画像データ復号装置は、一定レート
で高速にディジタルデータを流す高速ディジタルデータ
専用線を通してサーバ側つまりＭＰＥＧ符号化多重側か
ら送出され回線インタフェース部２６を介して入力され
る動画像および音声等マルチメディア・オン・デマンド
情報の複数メディアのビットストリームが多重化された
ＭＰＥＧ符号化多重データのビットストリームを一時記
憶し蓄積するストリームバッファメモリ１と、後述のバ
ッファメモリ制御部２に制御されてストリームバッファ
メモリ１から読み出されるパック（Ｐａｃｋ）レイヤの
各各のビットストリームにおけるＰａｃｋへッダを分離
して分離されたＰａｃｋへッダ内のストリーム識別コー
ド（ストリームＩＤ）を検出してそのストリームＩＤを
もとにＰａｃｋへッダを分離するへッダ検出・分離部３
０およびへッダ検出・分離部で検出されたストリームＩ
ＤをもとにそのストリームＩＤの後に配列されているシ
ステムクロック基準（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅ
ｆｅｒｅｎｃｅ）ＳＣＲコード情報を抽出するＳＣＲ抽
出部３１を有するＰａｃｋへッダ処理部３と、Ｐａｃｋ
へッダが分離されたＰａｃｋへッダ処理部３出力のビッ
トストリームからパケット化された各各のメディア要素
ごとのストリームからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ
Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットヘツダ
を分離するへッダ分離部４０およびへッダ分離部４０で
分離されたＰＥＳパケットヘッダ内のストリームＩＤを
検出してそのストリームＩＤの後に配列されている図示
されていないオプショナル（Ｏｐｔｉｏｎａｌ）ＰＥＳ
へッダ内のビデオ表示時刻情報であるＰＴＳ（Ｐｒｅｓ
ｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）コード情報
を抽出するＰＴＳ抽出部４１を有しかつＰＥＳパケット
ヘッダ内ストリームＩＤをもとにＰＥＳパケットヘッダ
が分離されたビットストリームからＰａｃｋごとにビデ
オパケットとオーディオパケットとに分離してビデオパ
ケット出力ポートとＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕ
ｒｅ）出力ポートおよびオーディオパケット出力ポート
の各各に出力するパケット分離部４２を有するＰＥＳパ
ケット処理部４と、ＰＥＳパケットヘッダが分離されか
つパケット分離されたＰＥＳパケット処理部４のＧＯＰ
出力ポートから入力されるＰａｃｋごとのビデオパケッ
トからＧＯＰビデオストリームの始まりを示すＧＯＰフ
ラグを検出するＧＯＰ検出部５と、ＰＥＳパケット処理
部４のビデオパケット出力ポートから入力されるビデオ
ストリームを記憶し一時蓄積格納するとともにその格納
されたビデオストリーム内のピクチャデータを後述する
バッファメモリ制御部２に制御されてＧＯＰ単位でおよ
びバッファメモリ制御部７に制御されて１ピクチャフレ
ーム単位に読み出されるビデオバッファメモリ６と、Ｃ
ＰＵバス１７およびホストメモリ２３を介してホストＣ
ＰＵ１８に制御されてビデオバッファメモリ６からＧＯ
Ｐ単位の１ピクチャフレームごとに読み出されるビデオ
データをＭＰＥＧデコード処理するビデオＭＰＥＧデコ
ード部８と、ビデオＭＰＥＧデコード部８でデコードさ
れた１ピクチャフレームごとのビデオデータを１ピクチ
ャフレーム分一時記憶するピクチャデコードデータフレ
ームメモリ９０とピクチャデコードデータフレームメモ
リ９０に一時記憶されたメモリ領域のビデオデータの格
納状態を監視して所定のメモリ領域内でビデオデータの
欠落等データエラーがあったときにはそのデータエラー
のあった１ピクチャフレームのビデオデータがピクチャ
デコードデータフレームメモリ９０から出力されるのを
停止してエラー検出信号を出力するとともに上述の所定
のメモリ領域にビデオデータが欠落することなく正常に
格納されたときには格納完了と同時に記憶正常信号を出
力するメモリ管理部９Ｏとを有するデコードデータ格納
部９と、デコードデータ格納部９から入力されるデータ
欠落のない正常な１ピクチャフレームのビデオデータを
数ピクチャフレーム分一時記憶するビデオ表示フレーム
メモリ１００およびバッファメモリ制御部７に制御され
て読み出されるビデオ表示フレームメモリ１００からの
１ピクチャフレームのビデオデータを図示されていない
外部視聴者の画像モニタに表示するために後述の表示タ
イミング発生部１１出力のビデオ表示タイミング信号に
制御されて出力する表示制御部１０１を有するビデオ表
示処理部１０と、ビデオ表示処理部１０出力の表示ビデ
オデータをディジタル／アナログ（Ｄ／Ａ）変換して上
述外部視聴者の画像モニタヘ送出するビデオＤ／Ａ変換
部１２と、デコードデータ格納部９のメモリ管理部９１
出力の記憶正常信号と後述の表示タイミング生成部１１
出力のビデオ表示タイミング信号とを入力してビデオ表
示タイミング信号入力時に記憶正常信号が入力されてい
ない場合にはピクチャデコードデータフレームメモリ９
０内に格納されたビデオデータに欠落等データエラーが
あったと見做してエラー情報とともにエラー検出信号を
出力するフレームチェック検出部１３と、フレームチェ
ック検出部１３からデータエラー検出信号が入力された
ときにはそのときのエラー情報をもとにデータエラーが
あったピクチャフレームのビデオデータをＭＰＥＧ符号
化多重側からの再送要求を行うためのビデオ再送要求信
号を出力あるいはＭＰＥＧ符号化多重側からのビデオ送
出を停止するビデオ停止要求信号等を出力するエラー情
報処理部１４と、Ｐａｃｋへッダ処理部３のＳＣＲ抽出
部３１で抽出されたＳＣＲコード情報をもとにＭＰＥＧ
デコード処理等のための装置内クロック信号を生成する
クロック生成部１５と、ＰＥＳパケット処理部４のＰＴ
Ｓ抽出部４１で抽出されたＰＴＳコード情報をもとにＭ
ＰＥＧデコードされたピクチャフレームデータの読み出
しタイミングおよびオーディオ／ビデオ同期（ＡＶ同
期）タイミングのための装置内時刻情報を生成する時刻
情報生成部１６と、ピクチャフレーム画像表示のための
表示タイミングおよびピクチャフレームメモリ格納状態
チェックのためのチェックタイミングをビデオ表示タイ
ミング信号として出力しビデオ表示処理部１０の表示制
御部１０１およびフレームチェック検出部１３へ供給す
る前述の表示タイミング生成部１１と、ＧＯＰ検出部５
から供給されるＧＯＰ検出信号に制御されてストリーム
バッファメモリ１に一時記憶されているＰａｃｋストリ
ームデータをＧＯＰフラグ周期で読み出すとともに同じ
ＧＯＰ検出信号に制御されてビデオバッファメモリ６に
一時格納されている当該ＧＯＰフラグの後に配列されて
いる１ビデオＰＥＳストリームデータを読み出し制御す
る前述のバッファメモリ制御部２と、後述のＣＰＵ制御
部２５に制御されてビデオバッファメモリ６からＭＰＥ
Ｇデコードするための１ピクチャフレーム分のビデオデ
ータをピクチャフレーム周期で読み出すとともに同じピ
クチャフレーム周期でビデオ表示処理部１０の表示フレ
ームバッファメモリ１００に一時記憶されている所定ピ
クチャフレーム数分のビデオデータを１ピタチャフレー
ムごとに読み出す制御信号を各各出力する前述のバッフ
ァメモリ制御部７と、ＰＥＳパケット処理部４のオーデ
ィオパケット出力ポートから入力されるオーディオスト
リームを一時記憶するオーディオバッファメモリ１９
と、時刻情報生成部１６出力の装置内時刻情報にもとづ
いてＭＰＥＧデコードデータのビデオとオーディオとの
同期をとるためのＡＶ同期タイミング信号を生成しビデ
オＭＰＥＧデコード部８および後述のオーディオＭＰＥ
Ｇデコード部２１へ供給するＡＶ同期タイミング生成部
２Ｏと、ＣＰＵバス１７およびホストメモリ２３を介し
てホストＣＰＵ１８に制御されてオーディオバッファメ
モリ１９から読み出されるオーディオストリームをＭＰ
ＥＧデコード処理するオーディオＭＰＥＧデコード部２
１と、オーディオＭＰＥＧデコード部２１出力の複合オ
ーディオデータをディジタル／アナログ変換してビデオ
視聴者へ送出するオーディオＤ／Ａ変換部２２と、クロ
ック生成部１５からの装置内クロック信号と時刻情報生
成部１６からの装置内時刻情報とＧＯＰ検出部５からの
ＧＯＰ検出信号とエラー情報処理部１４からのエラー情
報信号とを入力されてＣＰＵバス１７およびホストメモ
リ２３を介してホストＣＰＵ１８を制御しビデオＭＰＥ
Ｇデコード部８とオーディオＭＰＥＧデコード部２１と
バッファメモリ制御部７等との間で当該データの制御・
応答を行うとともに回線インタフェース部２４を通して
ＭＰＥＧ符号化多重側へデータの欠落等データエラーが
あったピクチャフレームのビデオデータを再送あるいは
ビデオ送出停止の要求信号等エラー情報の送出を制御す
る前述のＣＰＵ制御部２５とから構成される。

【００１０】続いて、図１に加えて図２，図３および図
４をも参照して説明する。図２はマルチメディア・オン
・デマンド情報の例えば動画像信号，音声信号およびそ
の他（例えば文字データ等）の信号をＭＰＥＧ多重する
ときの多重化例であり、図３は１ＧＯＰが１５フレーム
で構成されるＧＯＰ内でのＩピクチャ，Ｐピクチャおよ
びＢピクチャの１ＧＯＰ内での符号化順序およびピクチ
ャ相互間の画像間予測方法の一例を示す図であり、図４
はＭＰＥＧ符号化ビットストリームのストリームデータ
配列の一例を示す図である。

【００１１】詳述すると、マルチメディア・オン・デマ
ンド情報における動画像，音声および文字データ等のＭ
ＰＥＧ符号化された複数のビットストリームを伝送回線
を通して視聴者側に伝送する場合に、これら複数のビッ
トストリームは各各ほぼ同一時間内のデータを集めてパ
ケットを構成し、それら複数パケットの各各は更に時分
割的に多重化されて複数のＰａｃｋを構成する。

【００１２】図２は動画像におげるビデオデータが時間
軸でＶ１，Ｖ２，・・・に区切られ、同様に音声のオー
ディオ１（例えば、ステレオの右側音声）はＡ１１，・
・・，Ａ１６，・・・に区切られ、音声のオーディオ２
（例えば、ステレオの左側音声）はＡ２１，・・・，Ａ
２５，・・・に区切られ、その他の例えば画面に挿入す
る文字データはＡＵＸ１，・・・，ＡＵＸ４，・・・に
各各区切られたデータ構成例を示している。

【００１３】そして、ビデオデータのＶ１およびＶ２を
そのままビデオパケットのＶ１およびＶ２とすると、こ
こでは、このビデオパケットＶ１およびＶ２が他のオー
ディオおよび文字データのパケット構成上の基準とな
る。つまり、オーディオ１のパケット構成を例にとれ
ば、オーディオ１のデータＡ１１〜Ａ１６のうちビデオ
Ｖｌの時間とほぽ同じ時問内のデータＡ１１〜Ａ１３を
集めて第１のオーディオ１とし、次にビデオＶ２の時間
とほぼ同じ時間内のデータＡ１４およびＡ１５を集めて
第２のオーディオ２として構成してオーディオ１パケッ
ト＃１，オーディオ１パケット＃２，・・・・・・によ
るストリームを形成し、図４のＰａｃｋレイヤにおける
ＰＥＳパケット＃２に対応する。

【００１４】このようにパケット構成されたビデオパケ
ット＃１および＃２，オーディオ１パケット＃１および
＃２，オーディオ２パケット＃１および＃２，および文
字パケット＃１および＃２の各各は、次に第１のパケッ
ト（＃１）同士および第２のパケット（＃２）同士が各
各時分割的に多重化（多重化の順序ば復号化の関係上、
ここではビデオ，オーディオおよび文字の順とする）さ
れて各各ＰａｃｋパケットであるＰａｃｋ＃１，Ｐａｃ
ｋ＃２，・・・・・・を構成してＰａｃｋストリームを
形成し、図４における最上位レイヤに対応する。

【００１５】なお、ＰＥＳパケットであるメディアごと
のパケットヘッダには復号化側で復号する際のメディア
間の同期をとる等の目的で時刻情報の基準となるタイム
スタンプＰＴＳコード情報が挿入される。

【００１６】次に、図３は１ビデオパケット内における
圧縮符号化画像の１ＧＯＰを構成するピクチャフレーム
の配列を示したものであり、ここでは１ＧＯＰは１５ピ
クチャフレームから構成される例を示している。つま
り、常にＧＯＰの先頭に配列され他ピクチャフレームの
予測符号化の基となるエピクチャフレームが１フレーム
と、Ｉピクチャフレームを基に片側予測符号化を行うＰ
ピクチャフレームが４フレームと、およびＩピクチャフ
レームとＰピクチャフレームあるいは前方および後方の
両Ｐピクチャフレームを基に両側予測符号化を行うＢピ
クチャフレームが１０フレームとから構成されており、
復号化の際にはＩ１，Ｂ１，Ｂ２，Ｐ１，・・・，Ｂ１
０の順に復号化される。図４のＰＥＳパケットレイヤに
おけるビデオＰＥＳパケット＃１のピクチャストリーム
は図３の中のＩ１，Ｂ１，Ｂ２，Ｐ１およびＢ３ピクチ
ャフレームまでを示したものであり、各各のピクチャフ
レームの先頭には各々のピクチャの開始を示すピクチャ
スタートコードが付加される。

【００１７】続いて、動作について説明する。

【００１８】ＭＰＥＧ符号化され多重化された最上位レ
イヤのＰａｃｋストリーム、つまりＭＰＥＧ多重化ビッ
トストリームは伝送回線である例えば高速ディジタルデ
ータ専用線を通して入力され、回線インタフェース部２
６を介してストリームバッファメモリ１に記憶蓄積され
る。

【００１９】バッファメモリ制御部２は、ＰＥＳパケッ
トレイヤのビデオＰＥＳパケットにおけるＧＯＰフラグ
をもとに検出されたＧＯＰ検出部５からのＧＯＰ検出信
号により制御されてストリームバッファメモリ１を制御
し、ＧＯＰフラグが検出されるごとに当該ＧＯＰフラグ
が検出されたＰａｃｋパケットのストリームデータを読
み出し、これを繰り返す。

【００２０】Ｐａｃｋへッダ処理部３では、ストリーム
バッファメモリ１から読み出されたＰａｃｋレイヤにお
げるＰａｃｋへッダをへッダ内におけるＰａｃｋスター
トコードおよびストリームＩＤコードをもとに分離する
とともに、分離したへッダ内に配列されてあるシステム
クロック基準のＳＣＲコード情報を抽出して、復号化側
で使用される装置内クロック信号を生成するクロック生
成部１５へ供給する。

【００２１】ＰＥＳパケット処理部４では、Ｐａｃｋへ
ッダ処理部３から入力されるＰａｃｋへッダが分離され
たＰＥＳパケットストリームから各各のＰＥＳパケット
の先頭に配列されてあるＰＥＳパケットヘッダ内のパケ
ットスタートおよびストリームＩＤコードをもとにＰＥ
Ｓパケットヘッダを分離して、その分離したへッダ内に
配列されてある時刻情報の基準となるＰＴＳコード情報
を抽出し、復号化側で使用される例えば復号化ビデオデ
ータと復号化オーディオデータとのＡＶ同期をとるタイ
ミング情報としての時刻情報を時刻情報生成部１６へ供
給するとともに、メディアごとのＰＥＳパケットに分離
（図１では、説明の都合上、文字ＰＥＳパケットを分離
する構成は省略している）してビデオＰＥＳパケットを
ビデオ出力．ポートヘ、およびオーディオ１ＰＥＳパケ
ットとオーディオ２ＰＥＳパケットとをオーディオ出力
ポートヘ出力し、さらにパケットヘッダが分離されたビ
デオＰＥＳパケットをＧＯＰ出力ポートヘ出力する。

【００２２】そして、ピクチャバッファメモリ６は、Ｐ
ＥＳパケット処理部４のビデオ出力ポートから入力され
るビデオＰＥＳパケットのピクチャストリームを記憶蓄
積し、また、オーディオバッファメモリ１９は、オーデ
ィオ出力ポートから入力されるオーディオＰＥＳパケッ
トのオーディオストリームを記憶蓄積する。

【００２３】ＧＯＰ検出部５では、ストリームバッファ
メモリ１およびピクチャバッファメモリ６の各各から、
各各のストリームデータをＧＯＰ周期で読み出すための
タイミングを生成するために、ＰＥＳパケット処理部４
のＧＯＰ出力ポートから入力されるＰＥＳパケットヘッ
ダが分離されたビデオＰＥＳパケットからその先頭に配
列されているＧＯＰフラグを検出してＧＯＰ検出信号と
して出力し、バッファメモリ制御部２へ供給する。ここ
で、最初のＧＯＰフラグはストリームバッファ１から最
初のＰａｃｋパケットが読み出されない限り検出されな
いことになるが、ストリームバッファメモリ１は読み出
し制御されなくとも所定以上のデータ量が蓄積されると
最初に格納されたデータから放出されるので、最初のＰ
ａｃｋストリームの最初のＧＯＰフラグば確実に検出さ
れることになる。

【００２４】これによって、バッファメモリ制御部２
は、前述したストリームバッファメモリ１への読み出し
を行うと同時に、ピクチャバッファメモリ６に対しても
読み出し制御を行う。つまり、ピクチャバッファメモリ
６では、バッファメモリ制御部２からの制御によりＧＯ
Ｐ周期でビデオＰＥＳパケット単位で読み出されること
になるが、実際にＭＰＥＧデコード部８へ出力されるの
は、バッファメモリ制御部７からの制御によるピクチャ
フレーム周期でピクチャ単位で読み出される。

【００２５】ビデオＭＰＥＧデコード部８では、ピクチ
ャバッファメモリ６から１ピクチャフレーム単位で、か
つ図３における１ＧＯＰ内でのピクチャ配列の順番で読
み出されるピクチャストリームデータをＭＰＥＧ復号化
して、デコードデータ格納部９の１フレームメモリ（例
えば、ＭＰＥＧ２のＮＴＳＣ方式ビデオでは７２０×４
８０画素情報分のメモリ）であるピクチャデコードデー
タフレームメモリ９０に記憶させる。

【００２６】デコードデータ格納部９のメモリ管理部９
１では、ビデオＭＰＥＧデコード部８から入力される１
ピクチャフレーム分のデコードデータがピクチャデコー
ドデータフレームメモリ９０内に揃う（つまり正常に記
憶される）と、その１ピクチャフレーム分のピクチャデ
コードデータを出力してビデオ表示処理部１０のビデオ
表示フレームメモリ１００に記憶させる。ここで、もし
ピクチャデコードデータフレームメモリ９０内に１ピク
チャフレーム分のデコードデータが全て揃わない場合、
つまりピクチャデコードデータの欠落があると、そのデ
ータ欠落のあったピクチャフレームをスタートコード情
報と最初にＩピクチャデコードデータを記憶した時から
のデコードデータの記憶順番をカウントして求めたピク
チャ位置情報等エラー情報をエラー検出信号と共に出力
する。そして、ピクチャデコードデータが全て揃って正
常に記憶された場合には、記憶完了とともに記憶正常信
号を出力し、同時にその記憶されたピクチャデコードデ
ータをビデオ表示フレームメモリ１００へ出力する。

【００２７】ビデオ表示処理部１０のビデオ表示フレー
ムメモリ１００では、ピクチャデコードデータフレーム
メモリ９０から出力される正常なピクチャデコードデー
タを数ピクチャフレーム分記憶する。つまり、メモリ管
理部９１からデータ欠落のエラー検出信号が出力され
て、ＣＰＵ制御部２５を介してエラー情報処理部１４か
らのピクチャ再送要求信号がＭＰＥＧ符号化多重側へ送
出され、その再送要求によって再送されＭＰＥＧデコー
ドされて再ぴピクチャデコードデータフレームメモリ９
０に記憶されるまでの問に、それまでビデオ表示フレー
ムメモリ１００に格納されていた数ピクチャフレーム分
のピクチャデコードデータが画面へのビデオ表示のため
に読み出されてしまうと、次のデータ欠落のあったピク
チャフレームの画面表示のところで表示画面が１つ前の
ピクチャフレームの画面を表示したままポーズ状態とな
って、その間数ピクチャフレーム分の画像が抜けてしま
うため、再送要求から再送ピクチャデコードデータの記
憶完了までの時間を稼ぐために所要ピクチャフレーム数
分のピクチャデコードデータをビデオ表示フレームメモ
リ１００内に蓄積するものである。

【００２８】そして、ビデオ表示処理部１０の表示制御
部１０１でば、バッファメモリ制御部７からの制御によ
りピクチャフレーム周期で画面表示出力のために読み出
されるビデオ表示フレームメモリ１００からの１ピクチ
ャフレームごとのピクチャデコードデータを表示タイミ
ング生成部１１から供給されるビデオ表示タイミング信
号に制御されて、ビデオＤ／Ａ変換部１１へ出力する。

【００２９】ここで、表示タイミング生成部１１が出力
するビデオ表示タイミング信号は、例えばＮＴＳＣ方式
のビデオ垂直同期信号である１／３０秒周期のフレーム
信号である。

【００３０】フレームチェック検出部１３では、デコー
ドデータフレームメモリ９０のメモリ管理部９１出力を
表示タイミング生成部１１から供給されるビデオ表示タ
イミング信号周期で監視し、ビデオ表示タイミングごと
に記憶正常信号が出力されていれば何も出力しないが、
ビデオ表示タイミングでエラー検出信号が出力されてい
ればそのエラー情報をエラー検出信号とともにエラー情
報処理部１４へ出力する。

【００３１】エラー情報処理部１４では、フレームチェ
ック検出部１３を通してメモリ管理部９１から供給され
るピクチャ位置情報等エラー情報をもとに、ＣＰＵ制御
部２５を介してＭＰＥＧ符号化多重側へ当該エラーの発
生したピクチャフレームあるいはそのピクチャフレーム
を含む１ＧＯＰ分のビデオデータの再送を要求するため
のビデオ再送要求信号を生成してＣＰＵ制御部２５へ供
給する。

【００３２】ＣＰＵ制御部２５は、クロック生成部１５
からの装置内クロック信号と時刻情報生成部１６からの
装置内時刻情報およびＧＯＰ検出部５からのＧＯＰ検出
信号等をもとにホストメモリ２３およびホストＣＰＵ１
８を介してビデオＭＰＥＧデコード部８，オーディオＭ
ＰＥＧデコード部２１およびバッファメモリ制御部７を
制御してＭＰＥＧデコード処理およびバッファメモリか
らの読み出し処理等の制御を行うとともに、エラー情報
処理部１４からのビデオ再送要求信号にもとづいて、回
線インタフェース部２４を通してＭＰＥＧ符号化多重側
へデータ欠落のあったピクチャフレーム単位あるいはＧ
ＯＰ単位のビデオデータの再送要求を行う。

【００３３】尚、エラー情報処理部１４におげるエラー
処理は、データ欠落のあったピクチャフレームあるいは
ＧＯＰ単位のビデオ再送要求を行うだけでなく、例えば
データの欠落が符号化側で発生してそのエラーが符号側
で検出されず訂正されないままで送出された場合には、
もしそのデータの欠落がＩピクチャフレームあるいはＰ
ピクチャフレームで発生している場合には、Ｉピクチャ
にもとづき予測符号化されるＰピクチャおよびＢピクチ
ャ、およびＰピクチャにもとづき予測符号化されるＢピ
クチャまでが欠落あるいはデータ誤りを発生している可
能性があるので、その時の画面表示への影響を事前に予
防するために、ＩピクチャあるいはＰピクチャでエラー
を検出したときは、それ以降のビデオ送出を停止する要
求を行うこともできる。

【００３４】

【発明の効果】以上説明したように本発明によれば、Ｍ
ＰＥＧ符号化画像データ復号装置に関し、従来の特殊な
情報をそのシステムのみで使用できる仕組みで符号化デ
ータとして、それを特定の復号装置で処理、再生可能と
する装置とは違い、ＭＰＥＧ符号化画像データが伝送回
線等からの送信手段で特殊再生やサービス情報となるメ
ニューデータおよび画面データが処理・再生でぎるデー
タ情報処理に対応した情報を制御したり、表示する手段
を有するＭＰＥＧ符号化画像データ復号装置を提供でき
る。

【００３５】これにより、たとえＭＰＥＧ符号化多重側
あるいは伝送回線等でＭＰＥＧ符号化ビデオデータに欠
落が生じても、欠落前のデータと全く同じビデオデータ
を１ピクチャフレーム単位あるいはＧＯＰ単位で表示す
ることができ、当該データ欠落に伴って数ピクチャフレ
ーム分の画像が抜けることなく連続して表示することが
できる。

【００３６】また、上記エラー情報はデータが欠落した
以後のＭＰＥＧ符号化多重側からのビデオデータの送出
を停止する要求信号として機能させることもできるの
で、データ欠落以後のＭＰＥＧ符号化ビデオデータが伝
送回線におげる雑音等の影響を受げてデータ誤りを起こ
した場合でも、誤ったピクチャフレームの表示ビデオデ
ータを出力することがないため、ビデオ視聴者に見苦し
いことによる不快感を与えないで済む。

【図面の簡単な説明】

【図１】本発明の実施の形態によるＭＰＥＧ符号化画像
データ復号装置を示すブロック図である。

【図２】図１のＭＰＥＧ符号化画像データ復号装置にお
いてマルチメディア・オン・デマンド情報をＭＰＥＧ多
重するときの多重化図の一例である。

【図３】図１のＭＰＥＧ符号化画像データ復号装置にお
ける１ＧＯＰ内でのＭＰＥＧ符号化順序および画像間予
測方法の一例を説明するための図である。

【図４】図１のＭＰＥＧ符号化画像データ復号装置にお
けるＭＰＥＧ符号化ビットストリームのストリームデー
タ配列図の一例である。

【符号の説明】

１ ストリームバッファメモリ ２ バッファメモリ制御部 ３ Ｐａｃｋへッダ処理部 ４ ＰＥＳパケット処理部 ５ ＧＯＰ検出部 ６ ピクチャバッファメモリ ７ バッファメモリ制御部 ８ ビデオＭＰＥＧデコード部 ９ デコードデータ格納部 １０ ビデオ表示処理部 １１ 表示タイミング生成部 １２ ビデオＤ／Ａ変換部 １３ フレームチェック検出部 １４ エラー情報処理部 １５ クロック生成部 １６ 時刻情報生成部 １７ ＣＰＵバス １８ ホストＣＰＵ １９ オーディオバッファメモリ ２０ ＡＶ同期タイミング生成部 ２１ オーディオＭＰＥＧデコード部 ２２ オーディオＤ／Ａ変換部 ２３ ホストメモリ ２４，２６ 回線インタフェース部 ２５ ＣＰＵ制御部 ３０ へッダ検出・分離部 ３１ ＳＣＲ抽出部 ４０ へッダ分離部 ４１ ＰＴＳ抽出部 ４２ パケット分離部 ９０ ピクチャデコードデータフレームメモリ ９１ メモリ管理部 １００ ビデオ表示フレームメモリ １０１ 表示制御部 １１０ プライベートデータメモリ １２０ グラフィックスデータメモリ １２１ グラフィックス処理部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ＭＰＥＧ符号化画像データを復号化して
   複合化画像データを生成するＭＰＥＧ符号化画像復号装
   置において、前記ＭＰＥＧ符号化画像データが前記復号
   化画像データに関するデータ処理情報をもつ場合に、前
   記復号化画像データをＭＰＥＧ符号化における１ピクチ
   ャフレーム単位で監視し、前記データ処理情報があった
   ピクチャフレームに関する前記ＭＰＥＧ符号化画像デー
   タを前記データ処理情報のあるパケット単位で送信する
   ことを特徴とするＭＰＥＧ符号化画像データ復号装置。
2. 【請求項２】 前記ＭＰＥＧ符号化画像データの入力を
   １ピクチャフレーム単位で行うことを特徴とする請求項
   １記載のＭＰＥＧ符号化画像データ復号装置。
3. 【請求項３】 前記復号化画像データは前記ＭＰＥＧ符
   号化画像データを前記ＭＰＥＧ符号化における１ピクチ
   ャフレーム単位で復号したものであり、前記復号化画像
   データを複数ピクチャフレーム分第１の記憶手段に蓄積
   格納する第１の記憶手段と、前記第１の記憶手段に蓄積
   格納された前記複数フレーム分の復号化画像データが前
   記第１の記憶手段から全て読み出され画像表示される前
   に、前記ＭＰＥＧ符号化画像データが復号されて前記第
   １の記憶手段に格納されるように送出処理を行う送出処
   理手段とを備えたことを特徴とする請求項１または２記
   載のＭＰＥＧ符号化画像データ復号装置。
4. 【請求項４】 前記データ処理情報をもつＭＰＥＧ符号
   化画像データの復号化画像データを１ピクチャフレーム
   単位で記憶する第２の記憶手段と、前記第２の記憶手段
   のデータ格納状態を監視することにより前記データ処理
   情報を検出する監視手段とを備えたことを特徴とする請
   求項１または２または３記載のＭＰＥＧ符号化画像デー
   タ復号装置。
5. 【請求項５】 伝送回線および回線入カインタフェース
   を通して入力される圧縮符号化多重側からの画像および
   音声等複数メディア各各の圧縮符号化（ＭＰＥＧ）ビッ
   トストリームを多重化した多重化ストリームを順次記憶
   蓄積し一時格納する第１の記憶手段と、 第１の制御信号に制御され読み出される前記第１の記憶
   蓄積手段からの前記多重化ストリームのバックヘッダを
   分離してシステムクロック基準のＳＣＲ情報を抽出する
   バックヘッダ処理手段と、 前記バックヘッダが分離された前記パックヘッダ分離手
   段からの多重化ストリームからパケットヘッダを分離し
   て時刻基準のＰＴＳ情報を抽出するとともに前記複数メ
   ディア各各のパケット単位に分離するパケット処理手段
   と、 前記パケット処理手段で分離されたビデオパケットのＭ
   ＰＥＧビデオストリームからプライベートデータ情報を
   検出するプライベートヘッダ検出手段と、 前記プライベートヘッダ検出手段からのプライベートヘ
   ッダ検出信号に制御されて第２の制御信号および前記第
   １の制御信号を出力する第１の制御手段と、 前記パケット処理手段で分離されたビデオパケットのＭ
   ＰＥＧビデオストリームを記憶蓄積して一時格納すると
   ともに前記第１の制御手段からの前記第２の制御信号に
   制御されて前記一時格納されている前記ＭＰＥＧビデオ
   ストリームをデータ処理情報のあるパケット単位で第１
   の読み出し制御をされる第２の記憶手段と、 第３の制御信号に制御されて第２の読み出し制御をされ
   前記第２の記憶手段から出力される１ピクチャフレーム
   単位のビデオデータをＭＰＥＧ復号するビデオＭＰＥＧ
   復号化手段と、 前記ビデオＭＰＥＧ復号化手段からの１ピクチャフレー
   ム分の復号化ビデオデータを記憶し一時格納する第３の
   記憶手段と、 前記第３の記憶手段の記憶領域への前記１ピクチャフレ
   ーム分の復号化ビデオデータの格納状態を監視して前記
   格納状態が正常のとぎは前記第３の記憶手段から格納さ
   れている前記１ピクチャフレーム分の復号化ビデオデー
   タを出力させかつ前記格納状態が異常のとぎは第１のデ
   ータ処理情報を出力する記憶管理手段と、 前記第３の記憶手段から出力される前記１ピクチャフレ
   ーム分の復号化ビデオデータを所定ピクチャフレーム分
   記憶蓄積し一時格納する第４の記憶手段と、 第４の制御信号に制御され読み出される前記第４の記憶
   手段からの前記１ピクチャフレーム単位の復号化ビデオ
   データをビデオ表示タイミングで出力制御するビデオ表
   示制御手段と、 前記ビデオ表示制御手段からの前記１ピクチャフレーム
   ごとの複合かビデオデータをディジタル／アナログ変換
   してＭＰＥＧ復号化画像信号として出力して外部のビデ
   オ視聴者へ供給するディジタル／アナログ変換手段と、 第５の制御信号に制御されて前記第３および第４の制御
   信号を出力し前記第３の制御信号を前記第２の記憶手段
   へおよび前記第４の制御信号を前記第４の記憶手段へ供
   給する第２の制御手段と、 前記ディジタル／アナログ変換手段から出力される前記
   ＭＰＥＧ復号化画像信号を外部の前記ビデオ視聴者の画
   像モニタヘ所定のタイミングで表示するため前記ビデオ
   表示タイミングを生成して前記ビデオ表示制御手段へ供
   給する表示タイミング生成手段と、 前記記憶管理手段から出力される前記第１のエラー情報
   の入力を前記表示タイミング生成手段出力の前記ビデオ
   表示タイミングと同じ周期のタイミングで監視して前記
   第１のデータ処理情報が入力されたときばそのデータ処
   理情報にもとづいて前記ＭＰＥＧ符号化多重側へ前記第
   １のデータ処理情報が出力されたビデオデータと同じピ
   クチャフレームのビデオデータの再送を要求するビデオ
   再送要求信号を出力するデータ情報処理手段と、 前記パックヘッダ処理手段で抽出された前記ＳＣＲ情報
   をもとにＭＰＥＧ復号等に使用される復号側クロック信
   号を生成するクロック生成手段と、 前記パケット処理手段で抽出された前記ＰＴＳ情報をも
   とにＭＰＥＧ復号等に使用される復号側時刻情報を生成
   する時刻情報生成手段と、 前記時刻情報生成手段出力の前記復号側時刻情報をもと
   にＭＰＥＧ復号時の画像と音声との同期をとるためのＡ
   ｖ同期タイミングを生成する同期タイミング生成手段
   と、 前記クロック生成手段からの前記復号側クロック信号，
   前記時刻情報生成手段からの前記復号側時刻情報，前記
   プライベートデータ検出手段からの前記ブライべ一トヘ
   ッダ検出信号および前記データ情報処理手段からの前記
   ビデオ再送要求信号等とを入力されてホストＣＰＵを駆
   動しＣＰＵバスを介して前記ＭＰＥＧ復号化手段におけ
   るＭＰＥＧ復号処理を制御および前記第５の制御信号を
   出力して前記第２の制御手段を制御するとともに回線出
   力インタフェースおよび前記伝送回線を通して前記ＭＰ
   ＥＧ符号多重側へ前記ビデオ再送要求信号を送出制御す
   るＣＰＵ制御手段と、 を備えたことを特徴とするＭＰＥＧ符号化画像データ復
   号装置。
6. 【請求項６】 ＭＰＥＧデコードされたビデオデータを
   １ピクチャフレーム単位で一時記憶するフレームバッフ
   ァメモリと、 前記フレームバッファメモリに１フレーム分のピクチャ
   データが欠落することなく全てが格納されたか否かを監
   視するメモリ管理手段と、 前記フレームバッファメモリから読み出される１ピクチ
   ャフレームのビデオデータを数ピクチャフレーム分一時
   格納して格納された順番に１ピクチャフレーム単位で読
   み出されるビデオ表示フレームメモリと、 前記メモリ管理手段の出力のメモリ格納情報をビデオ表
   示タイミングでチェックしてメモリ格納情報が出力され
   ていないときにはその表示タイミング直前に格納された
   ピクチャフレームにデータの欠落があったと見做してエ
   ラー情報を出力してＭＰＥＧ符号化多重側へそのデータ
   欠落のあったピクチャフレームあるいはＧＯＰのビデオ
   データがビデオ表示フレームメモリから読み出されて表
   示される以前に上記データ欠落のあった１ピクチャフレ
   ーム分のビデオデータをＭＰＥＧ符号化多重側から再送
   して当該１ピクチャフレームあるいはＧＯＰのビデオデ
   ータが本来ビデオ表示されるぺぎ時間までに再送された
   ビデオデータを格納するビデオ表示フレームメモリと、 を含むことを特徴とするＭＰＥＧ符号化画像データ復号
   装置。