JP4613860B2 - Ｍｐｅｇ符号化ストリーム復号装置 - Google Patents

Description

本発明はＭＰＥＧ符号化画像データおよびＭＰＥＧ符号化音声データを多重化したＭＰＥＧ多重化ストリーム（ＭＰＥＧトランスポート・ストリーム）を復号して復号画像データおよび復号音声データを生成するＭＰＥＧ符号化ストリーム復号装置に関するものである。

近年、ＭＰＥＧに代表される画像音声圧縮技術の発展や高速通信ネットワークの普及とともにネットワーク経由による映像・音声サービスが広まりつつある。このような通信ネットワークによる映像・音声サービスでは従来の放送型サービスと異なる特徴の１つとして、ユーザの要求に応じた、番組の種類、開始時刻の選択や、一時停止、早送り、早戻し等の特殊再生操作等が実現可能なオン・デマンド性が挙げられる。

以下に従来のＭＰＥＧ符号化ストリーム復号装置について説明する。

従来、ＭＰＥＧ符号化ストリーム復号装置は特許文献１に記載されたものが知られている。そのＭＰＥＧ符号化ストリーム復号装置を図１２に示す。

図１２は従来のＭＰＥＧ符号化ストリーム復号装置の機能ブロック図を示すものである。図１２において、１はＭＰＥＧ符号化多重データのビット・ストリームを一時記憶し蓄積するストリーム・バッファ・メモリである。２はストリーム・バッファ・メモリ１に一時記憶されているＰａｃｋストリーム・データを読み出すとともにビデオ・バッファ・メモリ６に一時格納されているビデオＰＥＳストリーム・データを読み出し制御するバッファ・メモリ制御部である。３はＰａｃｋヘッダ内のストリームＩＤを検出し、システム時刻基準の抽出およびＰａｃｋヘッダの分離をするＰａｃｋヘッダ処理部である。４はＰＥＳパケット・ヘッダ分離およびＰＥＳパケット・ヘッダ内のＰＴＳ抽出を行ない、Ｐａｃｋ毎にビデオ・パケットとオーディオ・パケットとに分離するＰＥＳパケット処理部である。５はＰａｃｋ毎のビデオ・パケットからＧＯＰビデオ・ストリームの始まりを示すＧＯＰフラグを検出するＧＯＰ検出部である。６はビデオ・ストリームを一時格納し、１ピクチャフレーム単位で読み出すビデオ・バッファ・メモリである。７はビデオ・バッファ・メモリ６から１ピクチャフレーム分のビデオ・データをピクチャ・フレーム周期で読み出すとともに、ビデオ表示処理部１０に記憶されている１ピクチャ・フレーム毎に読み出す制御信号を出力するバッファ・メモリ制御部である。８はビデオ・バッファ・メモリ６から１ピクチャ・フレーム毎に読み出されるビデオ・データをＭＰＥＧデコード処理するビデオＭＰＥＧデコード部である。９はビデオＭＰＥＧデコード部８でデコードされたビデオ・データを１ピクチャフレーム分１時記憶し、欠落等データ・エラーの有無を検出するデコードデータ格納部である。１０は１ピクチャ・フレームのビデオ・データをビデオ表示タイミングに合わせて出力するビデオ表示処理部である。１１はビデオ表示タイミング信号を出力する表示タイミング生成部である。１２は表示ビデオ・データをディジタル／アナログ（Ｄ／Ａ）変換して画像モニタへ出力するビデオＤ／Ａ変換部である。１３はデコードデータ格納部９に格納されたビデオ・データにエラーがあった場合にエラー情報とともにデータ・エラー検出信号を出力するフレーム・チェック検出部である。１４はフレーム・チェック検出部１３の出力するデータ・エラー検出信号とエラー情報を元にデータ・エラーがあったピクチャ・フレームの再送要求を出力するビデオ・エラー情報処理部である。１５はＰａｃｋヘッダ処理部３で抽出されたＳＣＲを元にＭＰＥＧデコード処理等のための装置内クロック信号を生成するクロック生成部である。１６はＰＥＳパケット処理部で抽出されたＰＴＳ情報を元にＭＰＥＧデコードされたピクチャ・フレーム・データの読み出しタイミングおよびオーディオ／ビデオ同期タイミングのための装置内時刻情報を生成する時刻情報生成部である。１７はＣＰＵバスである。１８はホストＣＰＵである。１９はＰＥＳパケット処理部４から入力されるオーディオ・ストリームを一時記憶するオーディオ・バッファ・メモリである。２０は時刻情報生成部１６の出力する装置内時刻情報に基づいてＭＰＥＧデコードされたビデオとオーディオとの同期をとるためのＡＶ同期タイミング信号を生成するＡＶ同期タイミング生成部である。２１はオーディオ・バッファ・メモリ１９から読み出されるオーディオ・ストリームをＭＰＥＧデコード処理するオーディオＭＰＥＧデコード部である。２２はオーディオＭＰＥＧデコード部の出力する復号オーディオ・データをディジタル／アナログ変換して出力するオーディオＤ／Ａ変換部である。２５はクロック生成部１５からの装置内クロック信号と時刻情報生成部１６からの装置内時刻情報とＧＯＰ検出部５からのＧＯＰ検出信号とエラー情報処理部１４からのエラー情報信号とを入力されてＣＰＵバス１７およびホストメモリ２３を介してホストＣＰＵ１８を制御しビデオＭＰＥＧデコード部８とオーディオＭＰＥＧデコード部２１とバッファ・メモリ制御部７等との間で当該データの制御・応答を行なうとともに回線インタフェース部２４を通してＭＰＥＧ符号化多重側へデータの欠落等エラーがあったピクチャ・フレームのビデオ・データを再送あるいはビデオ送出停止の要求信号等エラー情報の送出を制御するＣＰＵ制御部である。

以上のように構成された従来のＭＰＥＧ符号化ストリーム復号装置について、以下その動作について説明する。

ＭＰＥＧ多重化ビット・ストリームは伝送回線を通して回線インタフェース部２６を介してストリーム・バッファ・メモリ１に記憶蓄積される。

バッファ・メモリ制御部２は、ＧＯＰ検出部５からのＧＯＰ検出信号により制御されてストリーム・バッファ・メモリ１を制御し、ＧＯＰフラグが検出されるごとにＰａｃｋパケットのストリーム・データを読み出し、これを繰り返す。

Ｐａｃｋヘッダ処理部３では、Ｐａｃｋヘッダをヘッダ内におけるＰａｃｋスタートコードおよびストリームＩＤコードをもとにヘッダ検出分離部３０で分離するとともに、分離したヘッダ内に配列されてあるシステムクロック基準となるＳＣＲ情報をＳＣＲ抽出部３１で抽出して、復号化側で使用される装置内クロック信号を生成するクロック生成部１５へ供給する。

ＰＥＳパケット処理部４では、Ｐａｃｋヘッダが分離されたＰＥＳパケットストリームからＰＥＳパケット・ヘッダ内のパケットスタートおよびストリームＩＤコードをもとにパケット分離部１０４２、ヘッダ分離部１０４０、でＰＥＳパケット・ヘッダを分離して、その分離したヘッダ内に配列されてある時刻情報の基準となるＰＴＳ情報をＰＴＳ抽出部で抽出し、復号化側で使用されるＡＶ同期をとるタイミング情報としての時刻情報を時刻情報生成部１６へ供給するとともに、メディアごとのＰＥＳパケットに分離し出力する。

そして、ピクチャ・バッファ・メモリ６は、ＰＥＳパケット処理部４から入力されるビデオＰＥＳパケットのピクチャ・ストリームを記憶蓄積し、また、オーディオ・バッファ・メモリ１９は、入力されるオーディオＰＥＳパケットのオーディオ・ストリームを記憶蓄積する。

ＧＯＰ検出部５では、ストリーム・バッファ・メモリ１およびピクチャ・バッファ・メモリ６のそれぞれから、各ストリーム・データをＧＯＰ周期で読み出すためのタイミングを生成するため、ＰＥＳパケット処理部４のＧＯＰ出力ポートから入力されるＰＥＳパケット・ヘッダが分離されたビデオＰＥＳパケットからその先頭に配列されているＧＯＰフラグを検出してＧＯＰ検出信号として出力し、バッファ・メモリ制御部２へ供給する。

これによって、バッファ・メモリ制御部２は、ストリーム・バッファ・メモリ１への読み出しを行なうと同時に、ピクチャ・バッファ・メモリ６に対しても読み出し制御を行なう。

ビデオＭＰＥＧデコード部８では、ピクチャ・バッファ・メモリ６から１ピクチャフレーム単位で読み出されるピクチャストリームデータをＭＰＥＧ復号化して、デコードデータ格納部９の１フレームメモリ（ピクチャ・デコード・データ・フレーム・メモリ１０９０）に記憶させる。

デコードデータ格納部９のメモリ管理部１０９１では、ビデオＭＰＥＧデコード部８から入力される１ピクチャフレーム分のデコードデータがピクチャデコードデータフレームメモリ１０９０内に揃う（つまり正常に記憶される）と、その１ピクチャフレーム分のピクチャ・デコード・データを出力してビデオ表示処理部１０のビデオ表示フレーム・メモリ１１００に記憶させる。ここで、もしピクチャデコードデータフレームメモリ１０９０内に１ピクチャフレーム分のデコードデータが全て揃わない場合、つまりピクチャ・デコード・データの欠落があると、そのデータ欠落のあったピクチャ・フレームのピクチャ位置情報等エラー情報をエラー検出信号と共に出力する。そして、ピクチャ・デコード・データが全て揃って正常に記憶された場合には、記憶完了とともに記憶正常信号を出力し、同時にその記憶されたピクチャ・デコード・データをビデオ表示フレーム・メモリ１１００へ出力する。

ビデオ表示処理部１０のビデオ表示フレーム・メモリ１１００では、ピクチャデコードデータフレームメモリ１０９０から出力される正常なピクチャ・デコード・データを数ピクチャフレーム分記憶する。つまり、メモリ管理部１０９１からデータ欠落のエラー検出信号が出力されて、ＣＰＵ制御部２５を介してエラー情報処理部１４からのピクチャ再送要求信号がＭＰＥＧ符号化多重側へ送出され、その再送要求によって再送されＭＰＥＧデコードされて再びピクチャデコードデータフレームメモリ１０９０に記憶されるまでの間に、それまでビデオ表示フレーム・メモリ１１００に格納されていた数ピクチャフレーム分のピクチャ・デコード・データが画面へのビデオ表示のために読み出されてしまうと、次のデータ欠落のあったピクチャ・フレームの画面表示のところで表示画面が１つ前のピクチャ・フレームの画面を表示したままポーズ状態となって、その間数ピクチャ・フレーム分の画像が抜けてしまうため、再送要求から再送ピクチャ・デコード・データの記憶完了までの時間を稼ぐために所要ピクチャ・フレーム数分のピクチャ・デコード・データをビデオ表示フレーム・メモリ１１００内に蓄積するものである。

そして、ビデオ表示処理部１０の表示制御部１１０１では、バッファ・メモリ制御部７からの制御によりピクチャ・フレーム周期で画面表示出力のために読み出されるビデオ表示フレーム・メモリ１１００からの１ピクチャフレームごとのピクチャ・デコード・データを表示タイミング生成部１１から供給されるビデオ表示タイミング信号に制御されて、ビデオＤ／Ａ変換部１２へ出力する。

ここで、表示タイミング生成部１１が出力するビデオ表示タイミング信号は、例えばＮＴＳＣ方式のビデオ垂直同期信号である１／３０秒周期のフレーム信号である。

フレーム・チェック検出部１３では、デコードデータフレームメモリ１０９０のメモリ管理部１０９１出力を表示タイミング生成部１１から供給されるビデオ表示タイミング信号周期で監視し、ビデオ表示タイミングごとに記憶正常信号が出力されていれば何も出力しないが、ビデオ表示タイミングでエラー検出信号が出力されていればそのエラー情報をエラー検出信号とともにエラー情報処理部１４へ出力する。

エラー情報処理部１４では、フレーム・チェック検出部１３を通してメモリ管理部１０９１から供給されるピクチャ位置情報等エラー情報をもとに、ＣＰＵ制御部２５を介してＭＰＥＧ符号化多重側へ当該エラーの発生したピクチャ・フレームあるいはそのピクチャ・フレームを含む１ＧＯＰ分のビデオ・データの再送を要求するためのビデオ再送要求信号を生成してＣＰＵ制御部２５へ供給する。

ＣＰＵ制御部２５は、クロック生成部１５からの装置内クロック信号と時刻情報生成部１６からの装置内時刻情報およびＧＯＰ検出部５からのＧＯＰ検出信号等をもとにホストメモリ２３およびホストＣＰＵ１８を介してビデオＭＰＥＧデコード部８，オーディオＭＰＥＧデコード部２１およびバッファ・メモリ制御部７を制御してＭＰＥＧデコード処理およびバッファ・メモリからの読み出し処理等の制御を行なうとともに、エラー情報処理部１４からのビデオ再送要求信号にもとづいて、回線インタフェース部２４を通してＭＰＥＧ符号化多重側へデータ欠落のあったピクチャ・フレーム単位あるいはＧＯＰ単位のビデオ・データの再送要求を行なう。
特許第３０８７８２６号公報（段落番号［００１８］〜［００３２］）

しかしながら上記従来の構成では、受信したピクチャ単位で管理するため、ユーザの制御要求を受信端末側からサーバ側へ送信し、その後、要求に対応する処理結果を受信端末が受信するまで要求する結果を得られず、応答が遅れるという問題点を有していた。

例えば図１３に従来のＭＰＥＧストリーム符号化復号装置の一時停止制御におけるタイミング・チャートを示す。

まず、時刻Ｔ−２ｆから時刻Ｔ＋２ｆまでは通常再生時の状態を示している。通常再生時は順番にピクチャ・データ１３０１ａ，１３０２ａ，１３０３ａ，１３０４ａが受信される。時刻Ｔ−ｆの時点においてピクチャ・データ１３０１ａがビデオＭＰＥＧデコード部８に入力され、デコード結果の画像データはビデオ表示処理部１０に蓄積される。次に時刻Ｔの時点においてピクチャ・データ１３０２ａがビデオＭＰＥＧデコード部８に入力され、デコード結果の画像データ１３０２ｂがビデオＤ／Ａ変換部１２に出力される。続いて時刻Ｔ＋ｆの時にピクチャ・データ１３０３ａがビデオＭＰＥＧデコード部８に入力され、デコードされた画像データ１３０３ｂがビデオＤ／Ａ変換部１２に出力される。

時刻Ｔ＋２ｆの時点でユーザが一時停止制御を要求すると、ＣＰＵ制御部は回線インタフェース部２４を通してＭＰＥＧ多重化側へ一時停止制御の要求を行なう。

ＭＰＥＧ多重化側は一時停止制御要求を受信するとＭＰＥＧ符号化多重ストリームの送出を停止する。そしてＭＰＥＧ多重化側がストリームを停止するまで（＝ｄ１）に受信されるピクチャ・データ１３０５ａ，１３０６ａまでがデコード出力されることになり、ユーザが一時停止制御を要求してから実際に出力画像が停止するまでに応答遅延時間（＝ｄ３）がかかることになる。

また、そして時刻Ｔ’＋２ｆ（ただしＴ’＝Ｔ＋ｐ）の時点で再び、ユーザが再生制御を要求すると、ＣＰＵ制御部は回線インタフェース部２４を通してＭＰＥＧ多重化側へ再生制御の要求を行なう。ＭＰＥＧ多重化側は一時停止制御要求を受信するとＭＰＥＧ符号化多重ストリームの送出を開始する。そして一定の制御遅延時間（＝ｄ２）経過後、再びストリームの受信が再開されることになり、ユーザが再生制御を要求してから実際に再生画像が出力されるまでに応答遅延時間（＝ｄ４）がかかることになる。

この様に従来のＭＰＥＧストリーム符号化復号装置における一時停止制御では、一時停止を要求した時点Ｔ＋２ｆから実際に出力画像が停止するまでにデコード遅延＋制御処理遅延相当分の遅延時間を要していた。

また、応答時間を高速化するために一時停止要求時にバッファ内のデータを消去する方法も考えられるが、この場合は通常再生の再開時により多くの遅延時間を要したり、出力される映像音声に乱れたりするという問題が生じる。

本発明は上記従来の問題点を解決するもので、一時停止や早送り、早戻し等の制御要求に対して高速に応答するＭＰＥＧストリーム符号化復号装置を提供することを目的とする。

本発明の請求項１に記載の発明は、送信サーバから送出されるＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の固定的な値を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを受信し、復号するＭＰＥＧストリーム復号装置であって、ペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ＳＴＣ補正インタフェースとを備え、システム制御部は、復号された画像データおよび音声データの通常再生時から一時停止制御時または早送りまたは早戻し制御時に、システム制御部に、一時停止または早送りまたは早戻し制御信号が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持し、システム制御部は、再び、通常再生が要求された時点で、ＳＴＣ補正インタフェースにより、クロック・メモリ部に保持されたＳＴＣ値を用いて、ＳＴＣ発生部の出力するＳＴＣ値をプログラム時刻基準値に合わせるように補正する、という作用を有する。
請求項２に記載の発明は、送信サーバから送出されるＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の現在の時刻を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを受信し、復号するＭＰＥＧストリーム復号装置であって、少なくともペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ビデオ・タイム・スタンプ書き換えインタフェース部と、オーディオ・タイム・スタンプ書き換えインタフェース部とを備えたものであり、システム制御部は、復号された画像データおよび音声データの通常再生時においては、ペイロード情報解析部により抽出分離され、それぞれに対応する復号時刻情報、提示時刻情報とともにビデオＥＳバッファ部、オーディオＥＳバッファ部に一時記憶したビデオＥＳデータとオーディオＥＳデータとを所定のタイミングでビデオ・デコーダ、およびオーディオ・デコーダに入力し、システム制御部は、一時停止時には、システム制御部に一時停止制御信号が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持すると同時に、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを停止し、システム制御部は、再び、通常再生が要求された時点で、クロック・メモリ部に保持されたＳＴＣ値と、再生制御が要求されたタイミングのＳＴＣ発生部から出力されるＳＴＣ値との差分値から、ビデオ・タイム・スタンプ書き換えインタフェースにより、ビデオＥＳバッファ部に格納されている復号時刻情報及び表示時刻情報を補正し、オーディオ・タイム・スタンプ書き換えインタフェースにより、オーディオＥＳバッファ部に格納されている復号時刻情報及び提示時刻情報を補正し、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを再開するという作用を有する。

請求項３に記載の発明は、送信サーバから送出されるＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の固定的な値を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを受信し、復号するＭＰＥＧストリーム復号装置であって、少なくともペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ＳＴＣ補正インタフェースとを備えたものであり、システム制御部は、復号された画像データおよび音声データの通常再生時においては、ペイロード情報解析部により抽出分離され、それぞれに対応する復号時刻情報、提示時刻情報とともにビデオＥＳバッファ部、オーディオＥＳバッファ部に一時記憶したビデオＥＳデータとオーディオＥＳデータとを所定のタイミングでビデオ・デコーダ、およびオーディオ・デコーダに入力し、システム制御部は、一時停止時には、システム制御部に一時停止制御信号が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持すると同時に、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを停止し、システム制御部は、再び、通常再生が要求された時点で、ＳＴＣ補正インタフェースにより、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持されたＳＴＣ値に補正し、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを再開するという作用を有する。

請求項４に記載の発明は、送信サーバから送出されるＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の固定的な値を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを受信し、復号するＭＰＥＧストリーム復号装置であって、少なくともペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ＳＴＣ補正インタフェースと、タイム・スタンプ・メモリ部とを備えたものであり、システム制御部は、復号された画像データおよび音声データの早送りまたは早戻し制御時に、システム制御部に早送りまたは早戻し制御要求が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持し、また、タイム・スタンプ・メモリ部に、ビデオＥＳバッファ部に最後に受信したビデオＥＳデータの復号時刻情報の値を保持し、システム制御部は、再び、通常再生が要求された時点で、最初に受信されるビデオＥＳデータの復号時刻情報とタイム・スタンプ・メモリ部に保持された時刻値との差分値と、クロック・メモリ部に記憶されたＳＴＣ値とからＳＴＣ発生部の発生するＳＴＣ値をプログラム時刻基準値に合わせるように補正するという作用を有する。

請求項５に記載の発明は、ＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の固定的な値を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを復号するＭＰＥＧストリーム復号装置であって、少なくともペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ＳＴＣ補正インタフェースとビデオ・リオーダリング・バッファ部とを備え、システム制御部は、通常再生時においては、ペイロード情報解析部により抽出分離され、それぞれに対応する復号時刻情報、提示時刻情報とともにビデオＥＳバッファ部、オーディオＥＳバッファ部に一時記憶したビデオＥＳデータとオーディオＥＳデータとを所定のタイミングでビデオ・デコーダ、およびオーディオ・デコーダに入力し、システム制御部は、一時停止時には、同時にビデオ・デコーダ部への入力およびビデオ・リオーダリング・バッファ部の出力、オーディオ・デコーダ部への入力とを停止し、受信データが中断されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持し、システム制御部は、再び、通常再生が要求された時点で、クロック・メモリ部に保持されたＳＴＣ値と、再生制御が要求されたタイミングのＳＴＣ発生部から出力されるＳＴＣ値との差分値から、ＳＴＣ補正インタフェースによりＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持されたＳＴＣ値に補正し、ビデオＥＳバッファ部、オーディオＥＳバッファ部、ビデオ・リオーダリング・バッファ部に蓄積された各データの復号時刻情報、提示時刻情報とを補正し、ビデオ・デコーダ部への入力およびビデオ・リオーダリング・バッファ部の出力とオーディオ・デコーダ部への入力とを再開する、という作用を有する。

以上のように本発明はユーザの制御要求に対してかつ迅速かつシームレスな応答出力が得られるという優れた効果が得られる。

以下、本発明の実施の形態について、図１から図１１を用いて説明する。

（実施の形態１）
図１は本発明のＭＰＥＧ符号化ストリーム復号装置の機能ブロック図である。

図１において、１０１は送信側からリアルタイムに生成されるＰＣＲ，ＰＴＳ，ＤＴＳを含んだＭＰＥＧトランスポート・ストリームを受信するストリーム受信部、１０２はストリーム受信部１０１が受信したＭＰＥＧトランスポート・ストリームを構成する個々のトランスポート・ストリーム・パケットのヘッダ情報を解析するヘッダ情報解析部、１０３はトランスポート・ストリーム・パケットのアダプテーション・フィールド情報を解析するアダプテーション・フィールド情報解析部、１０４はトランスポート・ストリーム・パケットのペイロード情報を解析するペイロード情報解析部、１０５はビデオＥＳバッファ部、１０６はビデオ・デコーダ部、１０７はビデオ・リオーダリング・バッファ部１０８は出力モニタ部、１０９はオーディオＥＳバッファ部、１１０はオーディオ・デコーダ部、１１１は出力スピーカ部、１１２はシステム制御部、１１３はＳＴＣ発生部、１１４はクロック・メモリ部である。

１１５はビデオ・タイム・スタンプ書き換えインタフェースである。１１６はオーディオ・タイム・スタンプ書き換えインタフェースである。

図２はＭＰＥＧ画像符号化における符号化および復号時のフレーム順序を説明する模式図である。

図２において２０１ａから２１５ａは圧縮符号化前の画像データの各フレームの並び順序を示す。また２０１ｂから２１５ｂ圧縮符号化後のピクチャの並びを示す。２０１ｃから２１５ｃは復号後の画像データを表示順に並べなおした状態を示す。

ＭＰＥＧ符号化において、１枚の動画像画面（フレーム）データをピクチャと呼び、符号化の型に応じて、Ｉ（Ｉｎｔｒａ−ｃｏｄｅｄ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ）ピクチャ、Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ）ピクチャと呼ばれる３種類のピクチャが使用される。この時、Ｉピクチャは、入力された画像フレーム・データを単独で符号化するフレームである。Ｐピクチャは順方向の動き補償予測を用いるフレームである。Ｂピクチャは双方向予測を用いるフレームである。そして連続するピクチャ・データを所定数毎に区切ったＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる単位でフレーム間予測が独立して処理される。

各ＧＯＰはその基準ピクチャとなるＩピクチャを最初に符号化する。このため、ＧＯＰ構造上Ｉピクチャとなる２０３ａフレームを単独で符号化した後（２０３ｂとなる）、Ｂピクチャとなる２０１ａフレーム，２０２ａフレームは２０３ａフレームを参照して順に符号化され、圧縮符号化ストリーム（エレメンタリ・ストリーム）を形成する（それぞれ２０１ｂ，２０２ｂとなる）。

２０４ａ，２０５ａ，２０６ａにおいても同様に、２０３ａを参照して２０６ａを符号化し（２０６ｂとなる）、２０４ａ，２０５ａは２０３ａと２０６ａとを参照して順に符号化する（２０４ｂ，２０５ｂとなる）。以降、同様の処理を繰り返す。圧縮符号化ストリームとしては符号化処理の順序に従い２０３ｂ，２０１ｂ、２０２ｂ，２０６ｂ，２０４ｂ，２０５ｂ，…という順序で構成される。

一方、復号時は、圧縮符号化ストリームから２０３ｂ，２０１ｂ、２０２ｂ，２０６ｂ，２０４ｂ，２０５ｂ，…の順で符号化データを受け取り、その順序で復号を開始する。

ただし、復号順序が元の入力画像と異なるため、復号後の画像を元の画像フレーム順序に並べ替えて表示する必要がある。

図３はＭＰＥＧトランスポート・ストリームの階層構成を示す模式図である。

ビデオおよびオーディオのエレメンタリ・ストリーム（ＥＳ）にはそれぞれアクセス・ユニット（ビデオは１ピクチャ、オーディオは１オーディオ・フレーム）と呼ばれる復号・再生の単位がある。パケタイズド・エレメンタリ・ストリーム（ＰＥＳ）はエレメンタリ・ストリームをアクセス・ユニット単位で分割し、ヘッダを付加したものであり、ＰＥＳパケット・ヘッダにはそのアクセス・ユニット単位毎にどの基準時刻で復号し、いつ再生すればよいかを示すタイム・スタンプがそれぞれ、プレゼンテーション・タイム・スタンプ（ＰＴＳ），デコーディング・タイム・スタンプ（ＤＴＳ）として記述される。そして復号器のＳＴＣと各アクセス・ユニットのＰＴＳが一致した時に、各アクセス・ユニットの復号結果が復号器から出力される。また、ＭＰＥＧ−２ビデオで符号化されたストリームは復号する順序と再生する順序が異なる場合があるため、この場合にはＰＴＳに加えて復号する時刻を示すＤＴＳが付加される。これらのタイム・スタンプにより映像と音声を同期再生することができる。

さらに、ＰＥＳパケット・ヘッダには個別のストリーム種別を識別するコード（ストリームＩＤ）やパケットのサイズ、その他の制御情報など（スクランブルの有無や著作権の有無、ＣＲＣの付加など）が記述される。

そしてビデオ・エレメンタリ・ストリームやオーディオ・エレメンタリ・ストリームなどの個別ストリームが収められたＰＥＳパケットは複数のトランスポート・ストリーム（ＴＳ）・パケットのペイロードに分割して伝送される。ＴＳパケットは１８８バイトの固定長パケットであり、４バイト固定長のパケット・ヘッダと可変長のアダプテーション・フィールド（ａｄａｐｔａｔｉｏｎ ｆｉｅｌｄ）およびペイロード（ｐａｙｌｏａｄ）で構成される。パケット・ヘッダにはＰＩＤ（パケット識別子）や各種のフラグが定義されている。このＰＩＤにより個々のエレメンタリ・ストリームが識別される。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄとｐａｙｌｏａｄはどちらかだけが存在する場合と両方が存在する場合があり、その有無はパケット・ヘッダ内のフラグ（ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ）により示される。

ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄにはＰＣＲ（Ｐｒｏｇｒａｍ＿Ｃｌｏｃｋ＿Ｒｅｆｅｒｅｎｃｅ）などの情報の伝送およびＴＳパケットを１８８バイト固定長にするためのＴＳパケット内でのスタッフィング機能がある。ＰＣＲは２７ＭＨｚのタイム・スタンプで、符号化した時の基準時刻を復号器のＳＴＣで再現するためにＰＣＲの値が参照される。

図３において３０１から３０３はそれぞれ連続するビデオ・アクセス・ユニットを示し、３０４から３０７はそれぞれ連続するオーディオ・アクセス・ユニットを示す。３０８から３１０は連続するビデオＰＥＳパケットを示し、３１１から３１４は連続するオーディオＰＥＳパケットを示す。３１５から３２５はそれぞれ連続するＴＳパケットを示す。

図４はＰＥＳパケットの構造を示す模式図である。

図４において４０１はＰＥＳパケットの開始符号であるパケット開始符号プリフィックス、４０２はＰＥＳパケット内のデータ・ストリームの種類を示すストリームＩＤ、４０３はＰＥＳパケットの長さを示すＰＥＳパケット長、４０４はＰＥＳヘッダにおけるオプションデータとなるＰＥＳヘッダ・オプション、４０５はパケット長を調整するために挿入されるスタッフィング・バイト、４０６はＰＥＳパケットのデータ部に相当するＥＳデータが配置されるＰＥＳパケット・データ・バイトである。ＰＥＳヘッダ・オプションにおいて４０７は常に２ビットの固定値‘１０’となる固定ビット、４０８はＰＥＳ優先度や著作権の有無を示すフラグ１、４０９はパケット中のＰＴＳ，ＤＴＳフィールドの有無を示すＰＴＳ＿ＤＴＳフラグ、４１０はＰＥＳヘッダ・データ中の各種データ・フィールドの有無を示すフラグ２、４１１はＰＥＳヘッダの長さを示すＰＥＳヘッダ・データ長、４１２はオプション・フィールド、４１３はこのＰＥＳパケット中に始まるアクセス・ユニットの出力時刻および復号時刻を９０ｋＨｚのクロックでカウントした値を示すＰＴＳおよびＤＴＳ、４１４はフラグ２で存在が示されたデータが配置されるデータ・フィールドである。

図５（ａ）はＴＳパケットの構造を示す模式図である。先に述べたようにＴＳパケットは１８８バイトの固定長パケットで、図５（ａ）に示すように４バイトのパケット・ヘッダと、可変長のアダプテーション・フィールドおよびペイロードで構成される。

図５（ａ）において５０１はＴＳパケットの先頭を示す同期バイト、５０２はこのＴＳパケットの誤りの有無を示すトランスポート・エラー・インジケータ、５０３はこのＴＳパケット中にＰＥＳ、セクション等の先頭バイトが含まれているかどうかを示すペイロード・ユニット開始インジケータ、５０４はこのＴＳパケットの優先度を示すトランスポート優先度、５０５はこのＴＳパケットに含まれるストリーム番号を識別するＰＩＤ、５０６はペイロード部のスクランブルの有無を示すトランスポート・スクランブル制御、５０７はアダプテーション・フィールドおよびペイロードの有無を示すアダプテーション・フィールド制御、５０８はＰＩＤ毎のパケットの連続性を示す連続性指標、５０９はアダプテーション・フィールド制御５０７の値に応じてアダプテーション・フィールドまたはペイロードまたはそれらの両方となる。

図５（ｂ）はＴＳパケットにおけるアダプテーション・フィールドの構造を示す模式図である。

図５（ｂ）において５１０はアダプテーション・フィールドの長さを示すアダプテーション・フィールド長、５１１はパケットの不連続を示す不連続性インジケータ、５１２はこのＴＳパケットがランダム・アクセスする場合のポイントとなることを示すランダム・アクセス・インジケータ、５１３はこのＴＳパケットのペイロードの優先度を示すエレメンタリ・ストリーム優先度インジケータ、５１４はアダプテーション・フィールド中の各データの有無を示すフラグ、５１５はフラグ５１４に存在が示されたデータが配置されるオプション・フィールド、５１６はパケットの長さを調整するためのスタッフィング・フィールドである。

図５（ｃ）はアダプテーション・フィールドにおけるオプション・フィールドの構造を示す模式図である。

図５（ｃ）において５１７は２７ＭＨｚでカウントしたストリームの現在時刻を示すＰＣＲ（プログラム時刻基準値）、５１８はＰＣＲ５１７の値を付け替えた場合に元の値を残しておくためのＯＰＣＲ（オリジナルＰＣＲ）、５１９は編集ポイントまでの同一ＰＩＤでのＴＳパケット数を示すスプライス・カウントダウン、５２０はユーザ独自定義のデータを示すトランスポート・プライベート・データ、５２１は拡張されたアダプテーション・フィールド・データを示すアダプテーション・フィールド拡張である。

図６（ａ），（ｂ）はビデオＥＳバッファ１０５に蓄積されるデータの構成を示す模式図である。図６に示すようにビデオＥＳバッファ１０５にはピクチャ・データとともに対応するＰＴＳおよびＤＴＳの値が蓄積される。また、ＤＴＳを持たないＢピクチャ・データを受信した場合にはＤＴＳの値としてＰＴＳと同じ値を記憶するものとする。

以上のように構成されたＭＰＥＧ符号化ストリーム復号装置について図１，図６を用いてその動作を説明する。

通常再生時にはストリーム受信部１０１で受信したＭＰＥＧトランスポート・ストリームは各ＴＳパケット毎にヘッダ情報解析部１０２によってヘッダ情報が解析され、ＰＩＤに従って画像データまたは音声データに識別される。そして画像データについてはビデオＥＳバッファ部１０５に、音声データについてはオーディオＥＳバッファ部１０９にそれぞれ蓄積される。

ビデオＥＳバッファ部１０５にピクチャ単位で蓄積されたデータは、ＳＴＣ発生部１１３の出力するＳＴＣの値がＤＴＳの値と一致する毎にビデオ・デコーダ部１０６に入力される。そして復号された画像データは、対応するＰＴＳの値がＤＴＳの値と等しい場合にはそのまま出力モニタ部１０８を通して出力表示され、ＤＴＳに比べて遅れる場合には、一旦、ビデオ・リオーダリング・バッファ１０７に蓄積され出力タイミングが調整される。

オーディオＥＳバッファ部１０９にオーディオ・フレーム単位で蓄積されたデータもビデオと同様にデコードされる。

そして、映像データおよび音声データそれぞれのＤＴＳで示されるデコードのタイミングとＰＴＳで示される出力のタイミングをＳＴＣと合わせることで、出力される映像と音声とを同期させることができる。

ユーザから一時停止制御が要求された場合、一時停止制御情報がシステム制御部１１２に入力される。この時、システム制御部は一時停止制御が要求されたタイミングのＳＴＣ発生部１１３から出力されるＳＴＣ値をクロック・メモリ部１１４に記憶する。また、同時にビデオ・デコーダ部１０６およびオーディオ・デコーダ部１１０のデータ入力と出力モニタ部１０８および出力スピーカ部１１１のデータ入力を停止する。

また、ユーザからの一時停止制御要求は図には示さない通信回線を通して送信サーバ側へも通知され、一定時間の後、送信サーバからのストリームの送出が停止される。

その結果、例えば図６（ａ）に示すようなデータがビデオＥＳバッファには蓄積される。図６（ａ）ではＰ６ピクチャ・データ，Ｂ４ピクチャ・データ、Ｂ５ピクチャ・データの３つのピクチャ・データと対応するＰＴＳ，ＤＴＳの値が記憶されている状態を示している。

その後、再びユーザから再生制御が要求された場合、再生制御情報がシステム制御部１１２に入力される。この時、システム制御部は再生制御が要求されたタイミングのＳＴＣ発生部１１３から出力されるＳＴＣ値を読み出し、クロック・メモリ部１１４に記憶したＳＴＣ値との差分値から一時停止状態であった時間（＝ｐ）を算出する。そして、ビデオ・タイム・スタンプ書き換えインタフェース１１５、オーディオ・タイム・スタンプ書き換えインタフェース１１６によりビデオＥＳバッファ部に記憶された各ピクチャ・データに対応する一時停止時間分加算した値として更新する。図６（ａ）の状態からＰＴＳ，ＤＴＳを更新した結果の状態を図６（ｂ）に示す。

オーディオＥＳバッファ部に記憶された各オーディオ・フレーム・データのＰＴＳ，ＤＴＳについても同様に更新する。また、ビデオ・デコーダ部１０６およびオーディオ・デコーダ部１１０のデータ入力と出力モニタ部１０８および出力スピーカ部１１１のデータ入力を再開する。

以上の結果バッファに蓄積されたデータのＰＴＳ，ＤＴＳを再生再開時のＳＴＣ発生部１１３の発生するＳＴＣに合わせることが可能となり、バッファに蓄積されたデータから再生を再開することが可能となる。

図７は本発明の「再生〜一時停止〜再生」への状態遷移時のビデオ・データの様子を示すタイミング・チャート図である。

まず、時刻Ｔ−２ｆから時刻Ｔ＋２ｆまでは通常再生時の状態を示している。通常再生時は順番にピクチャ・データ７０１ａ，７０２ａ，７０３ａ，７０４ａが受信される。これらは各ピクチャの対応するＰＴＳ，ＤＴＳの値と共にバッファに蓄積される。時刻Ｔ−ｆの時点においてピクチャ・データ７０１ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データはビデオ・リオーダリング・バッファ１０７に蓄積される。次に時刻Ｔの時点においてピクチャ・データ７０２ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データ７０２ｂが出力モニタ部１０８に出力される。続いて時刻Ｔ＋ｆの時にピクチャ・データ７０３ａがビデオ・デコーダ部１０６に入力され、デコードされた画像データ７０３ｂが出力モニタ部１０８に出力される。

時刻Ｔ＋２ｆの時点でユーザが一時停止制御を要求すると、直ちにビデオ・デコーダ部１０６への入力および出力モニタ部１０８への入力を停止する。その後、受信されるピクチャ・データ７０５ａ，７０６ａについてはビデオＥＳバッファ部１０５に蓄積する。

そして時刻Ｔ’＋２ｆ（ただしＴ’＝Ｔ＋ｐ）の時点で再びユーザが再生制御を要求すると、ビデオ・タイム・スタンプ書き換えインタフェース１１５によりビデオＥＳバッファ部１０５に蓄積されたデータのＰＴＳ，ＤＴＳをそれぞれ更新し、ビデオ・デコーダ部１０６への入力および出力モニタ部１０８への入力を再開する。

この結果、まず、ピクチャ・データ７０４ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データはビデオ・リオーダリング・バッファ１０７に蓄積される。同時にビデオ・リオーダリング・バッファ１０７から画像データ７０１ｂが読み出され出力モニタ部１０８から出力される。続いて、時刻Ｔ’＋３ｆの時点において、ピクチャ・データ７０５ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データ７０５ｂが出力モニタ部１０８に出力される。以降も同様に処理することによって一時停止状態からシームレスに画像データを出力することが可能となる。また、オーディオ・データについてもビデオ・データと同様に処理することで、映像と音声を同期させることができる。

以上のように本実施の形態によれば通常再生時から一時停止制御時にＳＴＣ値を保持する時刻基準値保持手段を設けることにより、制御要求への応答時間を高速化し、また一時停止状態からの再生制御時にバッファ内のＰＴＳ，ＤＴＳを更新することにより高速かつシームレスに再生を再開することが可能となる。

（実施の形態２）
図８は本発明におけるＭＰＥＧ符号化ストリーム復号装置の構成を示すブロック図である。

図８において図１と同じ符号を持つ各構成要素については図１と同じ意味とする。図１の構成と異なるのはシステム制御部１１２がビデオ・タイム・スタンプ書き換えインタフェース１１５、オーディオ・タイム・スタンプ書き換えインタフェース１１６によりビデオＥＳバッファ部１０５およびビデオＥＳバッファ部１０９のデータを更新するのではなく、ＳＴＣ補正インタフェース８０１によりＳＴＣ発生部１１３の発生するＳＴＣ値を変更するようにした点である。

また、本発明において受信されるＭＰＥＧトランスポート・ストリームは送信側に予めファイルとして記録された場合の様に、ストリーム中に固定的な値としてＰＣＲ，ＰＴＳ，ＤＴＳの値が含まれているものとする。

以上の様に構成されたＭＰＥＧ符号化ストリーム復号装置について、図８を用いてその動作を説明する。

まず、ユーザから一時停止制御が要求された場合、一時停止制御情報がシステム制御部１１２に入力される。この時、システム制御部１１２は一時停止制御が要求されたタイミングのＳＴＣ発生部１１３から出力されるＳＴＣ値をクロック・メモリ部１１４に記憶する。また、同時にビデオ・デコーダ部１０６およびオーディオ・デコーダ部１１０のデータ入力と出力モニタ部１０８および出力スピーカ部１１１のデータ入力を停止する。

その後、再びユーザから再生制御が要求された場合、再生制御情報がシステム制御部１１２に入力される。この時、システム制御部１１２は再生制御が要求されたタイミングで、クロック・メモリ部１１４に記憶したＳＴＣ値を読み出し、ＳＴＣ補正インタフェース８０１によりＳＴＣ発生部１１３の発生するＳＴＣ値を書き換える。そして、ビデオ・デコーダ部１０６およびオーディオ・デコーダ部１１０のデータ入力と出力モニタ部１０８および出力スピーカ部１１１のデータ入力を再開する。

以上の結果バッファに蓄積されたデータのＰＴＳ，ＤＴＳと再生再開時にＳＴＣ発生部１１３の発生するＳＴＣとを合わせることが可能となり、バッファに蓄積されたデータの再生を再開することが可能となる。

図９は「再生〜一時停止〜再生」への状態遷移時におけるビデオ・データの様子を示すタイミング・チャート図である。

まず、時刻０から時刻４ｆまでは通常再生時の状態を示している。通常再生時は順番にピクチャ・データ９０１ａ，９０２ａ，９０３ａ，９０４ａが受信される。これらは各ピクチャの対応するＰＴＳ，ＤＴＳの値と共にバッファに蓄積される。時刻ｆの時点においてＳＴＣの値がｆとなるため、ピクチャ・データ９０１ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データはビデオ・リオーダリング・バッファ１０７に蓄積される。次にＳＴＣの値が２ｆの時点でピクチャ・データ９０２ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データ９０２ｂが出力モニタ部１０８に出力される。続いてＳＴＣの値が３ｆの時にピクチャ・データ９０３ａがビデオ・デコーダ部１０６に入力され、デコードされた画像データ９０３ｂが出力モニタ部１０８に出力される。

時刻４ｆの時点でユーザが一時停止制御を要求すると、直ちにビデオ・デコーダ部１０６への入力および出力モニタ部１０８への入力を停止する。その後、受信されるピクチャ・データ９０５ａ，９０６ａについてはビデオＥＳバッファ部１０５に蓄積する。

そして時刻ｐ＋４ｆの時点で再びユーザが再生制御を要求すると、ＳＴＣの値を一時停止が要求された時刻のＳＴＣ値であった４ｆに戻し、ビデオ・デコーダ部１０６への入力および出力モニタ部１０８への入力を再開する。

この結果、まず、ピクチャ・データ９０４ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データはビデオ・リオーダリング・バッファ１０７に蓄積される。同時にビデオ・リオーダリング・バッファ１０７から画像データ９０１ｂが読み出され出力モニタ部１０８から出力される。続いて、ＳＴＣが５ｆの時点において、ピクチャ・データ９０５ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データ９０５ｂが出力モニタ部１０８に出力される。以降も同様に処理することによって一時停止状態からシームレスに画像データを出力することが可能となる。また、オーディオ・データについてもビデオ・データと同様に処理することで、映像と音声を同期させることができる。

以上のように本実施の形態によれば通常再生時から一時停止制御時にＳＴＣ値を保持する時刻基準値保持手段を設けることにより、制御要求への応答時間を高速化し、また一時停止状態からの再生制御時にＳＴＣ値を更新することにより高速かつシームレスに再生を再開することが可能となる。

（実施の形態３）
図１０は本発明におけるＭＰＥＧ符号化ストリーム復号装置の構成を示すブロック図である。

図１０において各構成要素については図８と同様なものとする。図８の構成と異なるのは１００１にビデオＥＳバッファ部１０５に蓄積されたピクチャ・データのＤＴＳを記憶するタイム・スタンプ・メモリ部を設けた点である。

本発明において受信されるＭＰＥＧトランスポート・ストリームは送信側に予めファイルとして記録された場合の様に、ストリーム中に固定的な値としてＰＣＲ，ＰＴＳ，ＤＴＳの値が含まれているものとする。

以上の様に構成されたＭＰＥＧ符号化ストリーム復号装置について、図１０を用いてその動作を説明する。

まず、ユーザから早送り制御が要求された場合、早送り制御情報がシステム制御部１１２に入力される。この時、システム制御部は早送り制御が要求されたタイミングのＳＴＣ発生部１１３から出力されるＳＴＣ値をクロック・メモリ部１１４に記憶し、また、ビデオＥＳバッファ部１０５に最後に記憶したピクチャ・データのＤＴＳ値をタイム・スタンプ・メモリ部１００１に記憶する。また、同時にオーディオ・デコーダ部１１０のデータ入力を停止する。そして、一旦、ビデオＥＳバッファ部１０５に記憶されているピクチャ・データをクリアする。

また、ユーザからの早送り制御要求は図には示さない通信回線を通して送信サーバ側へも通知され、早送り再生中は、送信サーバからは早送り再生用のストリームが断続的に送出される。

そしてＭＰＥＧ符号化ストリーム復号装置側では受信されるストリームの中から単独で復号可能なＩピクチャのみを受信される毎にＤＴＳ，ＰＴＳに関係なくデコードおよび出力するものとする。

その後、再びユーザから再生制御が要求される場合、再生制御情報がシステム制御部１１２に入力される。この時、システム制御部１１２は再生制御が要求されたタイミングで、ビデオＥＳバッファ１０５に記憶されている全ピクチャ・データをクリアする。そして最初にビデオＥＳバッファ部１０５に記憶されるピクチャ・データのＤＴＳ値を抽出し、タイム・スタンプ・メモリ部１００１に記憶したＤＴＳ値との差分値から早送り制御により進められたストリーム上の時間増分値を算出する。そして、算出された時間増分値とクロック・メモリ部１１４に記憶されたＳＴＣ値とを用いてＳＴＣ発生部１１３の発生するＳＴＣ値を更新し、通常再生動作を再開する。

以上の結果、早送り操作によって進められたストリーム上のＰＣＲおよびＰＴＳ，ＤＴＳをＳＴＣ発生部１１３の発生するＳＴＣに合わせることが可能となり、正常に再生を再開することが可能となる。

図１１は「再生〜早送り〜再生」への状態遷移時のビデオ・データの様子を示すタイミング・チャート図である。

まず、時刻０から時刻４ｆまでは通常再生時の状態を示している。通常再生時は順番にピクチャ・データ１１０１ａ，１１０２ａ，１１０３ａ，１１０４ａが受信される。これらは各ピクチャの対応するＰＴＳ，ＤＴＳの値と共にビデオＥＳバッファ部１０５に蓄積される。時刻ｆの時点においてＳＴＣの値がｆとなるため、ピクチャ・データ１１０１ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データはビデオ・リオーダリング・バッファ１０７に蓄積される。次にＳＴＣの値が２ｆの時点でピクチャ・データ１１０２ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データ１１０２ｂが出力モニタ部１０８に出力される。続いてＳＴＣの値が３ｆの時にピクチャ・データ１１０３ａがビデオ・デコーダ部１０６に入力され、デコードされた画像データ１１０３ｂが出力モニタ部１０８に出力される。

時刻４ｆの時点でユーザが早送り再生制御を要求すると、一旦、ビデオＥＳバッファ部１０５内の全ピクチャ・データを廃棄する。そして、早送り再生制御では、単独で復号可能なＩピクチャのデータ１１０５ａ，１１０６ａをＤＴＳ，ＰＴＳとは無関係に、受信される毎にビデオ・デコーダ部１０６へ入力し、デコード結果の画像データを１１０５ｂ，１１０６ｂとして、出力モニタ部１０８から出力表示する。

そして時刻ｗ＋４ｆの時点で再びユーザが再生制御を要求すると、ＳＴＣの値を早送り制御が要求された時刻のＳＴＣ値であったＳＴＣ１（＝４ｆ）、その時点で最後に受信したピクチャ・データのＤＴＳ値Ｄ１（＝４ｆ）、早送り再生制御が要求後に最初に受信するピクチャ・データのＤＴＳ値Ｄ２（＝４６ｆ）とから、新たなＳＴＣ値をＳＴＣ２＝ＳＴＣ１＋（Ｄ２−Ｄ１）＝４ｆ＋（４６ｆ−４ｆ）＝４６ｆに更新し、通常再生動作を再開する。

この結果、時刻ｗ＋６ｆ（ＳＴＣ＝４６ｆ）の時点で、ピクチャ・データ１１０７ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データはビデオ・リオーダリング・バッファ１０７に蓄積される。続いて、ＳＴＣが４７ｆの時点において、ピクチャ・データ１１０８ａがビデオ・デコーダ部１０６に入力され、デコード結果の画像データ１１０８ｂが出力モニタ部１０８に出力される。以降も同様に処理することによって早送り再生状態から直ちに通常再生状態に移行することが可能となる。また、オーディオ・データについてもビデオ・データと同様に処理することで、映像と音声を同期させることができる。

以上のように本実施の形態によれば通常再生時からの早送り制御時に、受信したピクチャ・データのＤＴＳ値を保持する復号時刻情報保持手段と、ＳＴＣ値を保持する時刻基準値保持手段とを設けることにより、制御要求への応答時間を高速化し、また早送り再生状態からの通常再生移行時にＳＴＣ値を更新することにより高速に映像と音声との同期を合わせ、再生を再開することが可能となる。

なお、以上の説明では早送り再生時の動作について説明したが、早戻し再生、スロー再生、逆再生においても同様に制御することが可能である。

（実施の形態４）
図１４は「再生〜一時停止〜再生」への状態遷移時におけるＳＴＣおよびビデオ・データの様子を示すタイミング・チャート図である。

なお、本発明におけるＭＰＥＧ符号化ストリーム復号装置の構成は図８と同じとする。本発明のＭＰＥＧ符号化ストリーム復号装置について、図８を用いてその動作を説明する。

まず、ユーザから一時停止制御が要求された場合、一時停止制御情報がシステム制御部１１２に入力される。この時、ビデオ・デコーダ部１０６およびオーディオ・デコーダ部１１０のデータ入力と出力モニタ部１０８および出力スピーカ部１１１のデータ入力を停止する。

そして、その後、実際にストリームが中断した時点のＳＴＣ値をクロック・メモリ部１１４に記憶する
その後、再びユーザから再生制御が要求された場合、再生制御情報がシステム制御部１１２に入力される。この時、システム制御部１１２は再生制御が要求されたタイミングで、クロック・メモリ部１１４に記憶したＳＴＣ値を読み出し、ＳＴＣ補正インタフェース８０１によりＳＴＣ発生部１１３の発生するＳＴＣ値を書き換える。そして、ビデオ・デコーダ部１０６およびオーディオ・デコーダ部１１０のデータ入力と出力モニタ部１０８および出力スピーカ部１１１のデータ入力を再開する。

この時、ビデオＥＳバッファ部１０５、オーディオＥＳバッファ部１０９に蓄積されているデータに関して、実際のストリーム停止期間に相当する時間分をＰＴＳ値，ＤＴＳ値に加算し補正する。また、再開以降に受信されるデータについても時刻補正値を加算してバッファに蓄積する。

以上の結果バッファに蓄積されたデータのＰＴＳ，ＤＴＳと再生再開時にＳＴＣ発生部１１３の発生するＳＴＣとを合わせることが可能となり、バッファに蓄積されたデータの再生を再開することが可能となる。

図１４において（ａ）は時刻Ｔ０からＴ０＋１１ｆにおけるＳＴＣ値を示す。図中の丸印はその時刻でＰＣＲ情報が受信されることを示す。（ｂ）は時刻Ｔ０からＴ０＋１１ｆまでの間に受信されるフレーム・データを示す。また、（ｃ）は時刻Ｔ０からＴ０＋１１ｆの間に表示出力されるフレーム・データを示す。

まず、時刻Ｔ０から時刻Ｔ０＋４ｆまでは通常再生時の状態を示している。（ｂ）に示すようにこの間、フレーム・データ１４０１ｂ，１４０２ｂ，１４０３ｂ，１４０４ｂが受信される。これらは各フレームの対応するＰＴＳ，ＤＴＳの値と共にバッファに蓄積される。また、同時に１４０１ｃ、１４０２ｃ、１４０３ｃ、１４０４ｃの各フレームが順番に出力表示される。

時刻Ｔ０＋４ｆの時点でユーザが一時停止制御を要求すると、直ちにビデオ・デコーダ部１０６への入力および出力モニタ部１０８への入力を停止する。その後、受信されるフレーム・データ１４０５ｂ，１４０６ｂについてはビデオＥＳバッファ部１０５に蓄積する。

そして時刻Ｔ０＋７ｆの時点で再びユーザが再生制御を要求すると、ＳＴＣの値を受信が中断した時刻Ｔ０＋６ｆのＳＴＣ値Ｃ０+５ｆに戻す。また、受信が中断した時刻Ｔ０＋６ｆと再生再開が指定された時刻Ｔ０＋７ｆとの間隔＋ｆを時刻補正量とし、各バッファに蓄積されているフレーム・データのＰＴＳ，ＤＴＳの値に加算し、ビデオ・デコーダ部１０６への入力および出力モニタ部１０８への入力を再開する。さらに、また以後受信されるフレーム・データに関してもＰＴＳ，ＤＴＳ値に＋ｆ加算してバッファに蓄積するものとする。 この結果、再生再開時のＳＴＣ値はＣ０＋５ｆとなり再生が再開される。

図１５は各受信フレーム・データのＰＴＳ値、ＤＴＳ値を示す表である。図１６は各バッファに蓄積されるフレーム・データのＤＴＳ，ＰＴＳ値を示す。図中の（ａ）は受信中断時に（１）ビデオＥＳバッファおよび（２）ビデオリオーダリングバッファに蓄積されるデータを示し、（ｂ）は再生再開後にＤＴＳ値，ＰＴＳ値を補正した状態のデータ示す。

図１６（ｂ）（１）に示すように再生再開後のフレームＢ５のＤＴＳ値およびＰＴＳ値はＣ０＋５ｆに補正され、再生再開時に補正されるＳＴＣ値Ｃ０＋５ｆと一致するため、すぐにデコードおよび表示出力される。以降受信されるフレーム・データのＤＴＳ値およびＰＴＳ値についても＋ｆ分補正することで、受信されるＰＣＲ値とＳＴＣ値を一致させることが可能となる。すなわち一時停止状態からシームレスに画像データを出力することが可能となる。また、オーディオ・データについてもビデオ・データと同様に処理することで、映像と音声を同期させることができる。

以上のように本実施の形態によれば、通常再生時から一時停止制御時にＳＴＣ値を保持する時刻基準値保持手段を設けることにより、制御要求への応答時間を高速化し、また一時停止制御要求時刻から受信中断までの遅延時間と再生再開制御要求と受信再開までの遅延時間が異なる場合にも一時停止状態からの再生制御時にＳＴＣ値とＰＴＳ値，ＤＴＳ値を更新することにより高速かつシームレスに再生を再開することが可能となる。

本発明にかかるＭＰＥＧ符号化ストリーム復号装置は、通常再生からの一時停止、早送り制御等において高速かつシームレスに応答が可能となる効果を有し、ＭＰＥＧ符号化ストリームを用いたビデオ・オン・デマンド（ＶＯＤ）・システムの特殊再生制御方式等として有用である。

本発明の実施の形態１におけるＭＰＥＧ符号化ストリーム復号装置の機能ブロック図 ＭＰＥＧ画像符号化における符号化および復号時のフレーム順序を示す模式図 ＭＰＥＧトランスポート・ストリームの階層構造を示す模式図 ＰＥＳパケットの構造を示す模式図 ＴＳパケットの構造を示す模式図 本発明の実施の形態１におけるビデオＥＳバッファに蓄積されるデータの構成を示す模式図 本発明の実施の形態１における「再生〜一時停止〜再生」への状態遷移時におけるビデオ・データの様子を示すタイミング・チャート 本発明の実施の形態２におけるＭＰＥＧ符号化ストリーム復号装置の機能ブロック図 本発明の実施の形態２における「再生〜一時停止〜再生」への状態遷移時におけるビデオ・データの様子を示すタイミング・チャート 本発明の実施の形態３におけるＭＰＥＧ符号化ストリーム復号装置の機能ブロック図 本発明の実施の形態３における「再生〜早送り〜再生」への状態遷移時におけるビデオ・データの様子を示すタイミング・チャート 従来のＭＰＥＧ符号化ストリーム復号装置の機能ブロック図 従来のＭＰＥＧ符号化ストリーム復号装置における「再生〜一時停止〜再生」への状態遷移時におけるビデオ・データの様子を示すタイミング・チャート 本発明の実施の形態４における「再生〜一時停止〜再生」への状態遷移時におけるビデオ・データの様子を示すタイミング・チャート 各受信フレームデータのＤＴＳ値，ＰＴＳ値を示す図 各バッファに蓄積されるフレームデータのＤＴＳ値，ＰＴＳ値を示す図

符号の説明

１０１ ストリーム受信部
１０２ ヘッダ情報解析部
１０３ アダプテーション・フィールド情報解析部
１０４ ペイロード情報解析部
１０５ ビデオＥＳバッファ部
１０６ ビデオ・デコーダ部
１０７ ビデオ・リオーダリング・バッファ部
１０８ 出力モニタ部
１０９ オーディオＥＳバッファ部
１１０ オーディオ・デコーダ部
１１１ 出力スピーカ部
１１２ システム制御部
１１３ ＳＴＣ発生部
１１４ クロック・メモリ部
１１５ ビデオ・タイム・スタンプ書き換えインタフェース
１１６ オーディオ・タイム・スタンプ書き換えインタフェース

Claims (5)

1. 送信サーバから送出されるＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の固定的な値を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを受信し、復号するＭＰＥＧストリーム復号装置であって、
   ペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ＳＴＣ補正インタフェースとを備え、
   システム制御部は、復号された画像データおよび音声データの通常再生時から、一時停止制御時または早送りまたは早戻し制御時に、システム制御部に、一時停止または早送りまたは早戻し制御信号が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持し、
   システム制御部は、再び、通常再生が要求された時点で、ＳＴＣ補正インタフェースにより、クロック・メモリ部に保持されたＳＴＣ値を用いて、ＳＴＣ発生部の出力するＳＴＣ値をプログラム時刻基準値に合わせるように補正する
   ことを特徴とするＭＰＥＧ符号化ストリーム復号装置。
2. 送信サーバから送出されるＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の現在の時刻を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを受信し、復号するＭＰＥＧストリーム復号装置であって、
   ペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ビデオ・タイム・スタンプ書き換えインタフェース部と、オーディオ・タイム・スタンプ書き換えインタフェース部とを備え、
   システム制御部は、復号された画像データおよび音声データの通常再生時においては、ペイロード情報解析部により抽出分離され、それぞれに対応する復号時刻情報、提示時刻情報とともにビデオＥＳバッファ部、オーディオＥＳバッファ部に一時記憶したビデオＥＳデータとオーディオＥＳデータとを所定のタイミングでビデオ・デコーダ、およびオーディオ・デコーダに入力し、
   システム制御部は、一時停止時には、システム制御部に一時停止制御信号が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持すると同時に、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを停止し、
   システム制御部は、再び、通常再生が要求された時点で、クロック・メモリ部に保持されたＳＴＣ値と、再生制御が要求されたタイミングのＳＴＣ発生部から出力されるＳＴＣ値との差分値から、ビデオ・タイム・スタンプ書き換えインタフェースにより、ビデオＥＳバッファ部に格納されている復号時刻情報及び表示時刻情報を補正し、オーディオ・タイム・スタンプ書き換えインタフェースにより、オーディオＥＳバッファ部に格納されている復号時刻情報及び提示時刻情報を補正し、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを再開する
   ことを特徴とするＭＰＥＧ符号化ストリーム復号装置。
3. システム制御部は、復号された画像データおよび音声データの通常再生時においては、ペイロード情報解析部により抽出分離され、それぞれに対応する復号時刻情報、提示時刻情報とともにビデオＥＳバッファ部、オーディオＥＳバッファ部に一時記憶したビデオＥＳデータとオーディオＥＳデータとを所定のタイミングでビデオ・デコーダ、およびオーディオ・デコーダに入力し、
   システム制御部は、一時停止時には、システム制御部に一時停止制御信号が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持すると同時に、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを停止し、
   システム制御部は、再び、通常再生が要求された時点で、ＳＴＣ補正インタフェースにより、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持されたＳＴＣ値に補正し、ビデオ・デコーダ部への入力とオーディオ・デコーダ部への入力とを再開する
   ことを特徴とする請求項１記載のＭＰＥＧ符号化ストリーム復号装置。
4. さらに、タイム・スタンプ・メモリ部を備え、
   システム制御部は、復号された画像データおよび音声データの早送りまたは早戻し制御時に、システム制御部に早送りまたは早戻し制御要求が入力されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持し、また、タイム・スタンプ・メモリ部に、ビデオＥＳバッファ部に最後に受信したビデオＥＳデータの復号時刻情報の値を保持し、
   システム制御部は、再び、通常再生が要求された時点で、最初に受信されるビデオＥＳデータの復号時刻情報とタイム・スタンプ・メモリ部に保持された時刻値との差分値と、クロック・メモリ部に記憶されたＳＴＣ値とからＳＴＣ発生部の発生するＳＴＣ値をプログラム時刻基準値に合わせるように補正する
   ことを特徴とする請求項１記載のＭＰＥＧ符号化ストリーム復号装置。
5. ＭＰＥＧ圧縮符号化された画像データおよび音声データとストリーム中の固定的な値を示すプログラム時刻基準値を含むＭＰＥＧトランスポート・ストリームを復号するＭＰＥＧストリーム復号装置であって、
   ペイロード情報解析部と、ビデオＥＳバッファ部と、オーディオＥＳバッファ部と、ビデオ・デコーダ部と、オーディオ・デコーダ部と、ＳＴＣ発生部と、システム制御部と、クロック・メモリ部と、ＳＴＣ補正インタフェースとビデオ・リオーダリング・バッファ部を備え、
   システム制御部は、復号された画像データおよび音声データの通常再生時においては、ペイロード情報解析部により抽出分離され、それぞれに対応する復号時刻情報、提示時刻情報とともにビデオＥＳバッファ部、オーディオＥＳバッファ部に一時記憶したビデオＥＳデータとオーディオＥＳデータとを所定のタイミングでビデオ・デコーダ、およびオーディオ・デコーダに入力し、
   システム制御部は、一時停止時には、同時にビデオ・デコーダ部への入力およびビデオ・リオーダリング・バッファ部の出力、オーディオ・デコーダ部への入力とを停止し、受信データが中断されたタイミングで、ＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持し、
   システム制御部は、再び、通常再生が要求された時点で、クロック・メモリ部に保持されたＳＴＣ値と、再生制御が要求されたタイミングのＳＴＣ発生部から出力されるＳＴＣ値との差分値から、ＳＴＣ補正インタフェースによりＳＴＣ発生部の出力するＳＴＣ値をクロック・メモリ部に保持されたＳＴＣ値に補正し、
   ビデオＥＳバッファ部、オーディオＥＳバッファ部、ビデオ・リオーダリング・バッファ部に蓄積された各データの復号時刻情報、提示時刻情報とを補正し、ビデオ・デコーダ部への入力およびビデオ・リオーダリング・バッファ部の出力とオーディオ・デコーダ部への入力とを再開する
   ことを特徴とするＭＰＥＧ符号化ストリーム復号装置。