JPH11112947A - データ多重化装置およびデータ多重化方法、データ処理装置およびデータ処理方法、並びに伝送媒体 - Google Patents

Abstract

(57)【要約】 【課題】 多重化ストリームの中の差し替え対象エレメ
ンタリストリームを他の差し替え用エレメンタリストリ
ームに差し替える場合において、本編多重化ストリーム
を分離と再多重化を行わないようにする。 【解決手段】 多重化器１０１は、デコーダバッファを
破綻させないための所定のマージンに基づいて差し替え
対象エレメンタリストリームを多重化し、本編多重化ス
トリームを提供する。差し替え対象エレメンタリストリ
ームを多重化する際に用いられたマージンによって、差
し替え用エレメンタリストリームを符号化し、差し替え
用エレメンタリストリーム１０４に格納しておく。差し
替えスイッチ１０５は、差し替え対象エレメンタリスト
リームをが差し替え用エレメンタリストリームに差し替
え、差し替え後の多重化ストリームを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法、並びに伝送媒体に関し、特に、例
えば、デジタルテレビジョン放送において、エレメンタ
リストリームの構成要素を調整することにより、エレメ
ンタリストリームを分解したり再多重化することなく、
本編多重化ストリームの一部のエレメンタリストリーム
を他のエレメンタリストリームに差し替えることができ
るようにしたデータ処理装置およびデータ処理方法、並
びに伝送媒体に関する。

【０００２】

【従来の技術】画像信号や音響信号の差し替えは、放送
やスタジオにおける編集作業の際によく用いられる技術
である。例えば、本局から送出されてきた本編のコマー
シャルを、支局（地方局）において、その地域に属する
地域企業のコマーシャルに差し替えたり、全国ニュース
を地域ニュースに置き換える場合、画像信号や音響信号
の差し替えが必要になる。

【０００３】図７は、アナログベースバンド信号を利用
した、差し替え処理を行う従来のデータ処理装置の構成
例を示している。サーバ３０１は、差し替えるデータを
格納しており、選択スイッチ３０２により選択された場
合、格納しているデータをスイッチ３０３に供給する。
選択スイッチ３０２は、差し替えるデータが録画または
録音されているものではない、いわゆるライブからのデ
ータの場合、そのライブ情報を選択し、スイッチ３０３
に供給する。スイッチ３０３は、本編の中の差し替えら
れるデータと、サーバ３０１またはライブ情報から供給
される差し替えるデータを同期信号に同期して差し替え
る。

【０００４】例えば、地方局において、本編の全国ニュ
ースを地域ニュースに差し替えたい場合、図７の本編
が、本局から送出されてきた番組に、全国ニュースが差
し替えられるデータ（差し替え対象データ）に、そして
地域ニュースが差し替えるデータ（差し替え用データ）
に、それぞれ相当する。地域ニュースは録画されている
場合はサーバ３０１から、生放送の場合はライブ情報と
して、スイッチ３０２に直接供給され、差し替えが実行
される。

【０００５】上記は、アナログベースバンド信号を利用
した例であるが、近年、画像信号や音響信号は、デジタ
ル信号として扱われることが多くなり、そのためデジタ
ル信号に対応する差し替え装置も多く利用されてきてい
る。

【０００６】デジタル信号化された画像信号や音響信号
は、所定の規則に準拠して符号化され、多重化されてい
る。符号化方式の代表的な例として、ＭＰＥＧ（Moving
Picture Experts Group)方式があげられる。これは、I
SO/IEC JTC1/SC29（International Organization for S
tandardization/International Electrotechnical Comm
ission, Joint Technical Commitee 1/Sub-Commitee 2
9：国際標準機構／国際電気標準会議 合同技術委員会
１／専門部会２９）によって標準化されている技術であ
る。

【０００７】現在、ＭＰＥＧ方式には、２つのシステム
が存在し、ISO11172において標準化され、比較的狭い範
囲のアプリケーションに対応するＭＰＥＧ１と、ISO138
18において標準化されている広い範囲のアプリケーショ
ンに対応するＭＰＥＧ２とがある。また、それぞれのシ
ステムにおいて、システム多重化の項目がISO11172-1お
よびISO13818-1により、映像符号化の項目がISO11172-2
およびISO13818-2により、そして音声符号化の項目がIS
O11172-3およびISO13818-3により、それぞれ標準化され
ている。

【０００８】図８は、ISO/IEC13818-1に規定されている
トランスポートストリーム（いわゆるＭＰＥＧ２システ
ム規格）に基づくISO13818-2に規定されているビデオエ
レメンタリストリームの多重化の構造を示す。ビデオエ
レメンタリストリームとは、符号化されたビデオビット
ストリームのことで、ビデオのピクチャに対応するアク
セスユニットと呼ばれるデコード単位によって構成され
ている。

【０００９】このエレメンタリストリームはパケット化
され、ＰＥＳパケット（ＭＰＥＧ２システムで用いられ
るパケットの名称）と呼ばれる適当な長さの単位に分割
される。また、ＰＥＳパケットのヘッダには、ビデオか
オーデイオかの属性を識別する情報や、ＰＥＳパケット
中で最初に開始するアクセスユニットの時刻情報などが
含まれている。

【００１０】トランスポートストリームは、複数の固定
長のトランスポートパケットにより構成され、ビデオＰ
ＥＳパケットは、所定のトランスポートパケットに配置
される。各トランスポートパケットには、制御情報やビ
デオエレメンタリストリームのＰＥＳパケットなども配
置される。また、トランスポートパケットには、アクセ
スユニットのデコード時刻、表示時刻、およびデコーダ
バッファへの入力タイミングを表すクロックリファレン
スなども多重化されている。

【００１１】つまり、受信側におけるデコーダの標準的
なモデルが想定され、このデコーダモデルにおいて、正
しくデコード処理できるように、各種の情報が時分割多
重化されている。

【００１２】図９に、例えば、ISO13818-1（ＭＰＥＧ２
システム）およびISO11172-1（ＭＰＥＧ１システム）で
規定されているデコーダモデルの構成例を示す。

【００１３】このデコーダモデルは、ビデオ部分のみを
示している。スイッチ４０１はトランスポートストリー
ムに含まれるトランスポートパケットを、その種類に応
じで選択する。スイッチ４０１によって選択されたビデ
オのトランスポートパケットは、５１２バイト固定のト
ランスポートバッファ４０２に供給される。トランスポ
ートバッファ４０２にデータが存在する限り、マルチプ
レクシングバッファ４０３は一定のレートでＰＥＳパケ
ットを引き抜き、エレメンタリバッファ４０４は、マル
チプレクシングバッファ４０３からエレメンタリストリ
ームを引き抜き、デコーダ４０５に供給し、デコードさ
せる。符号化側においては、これらのバッファを破綻さ
せないように符号化を行わなければならない。

【００１４】マルチプレクシングバッファ４０３とエレ
メンタリバッファ４０４の合計のサイズは、ビデオの符
号化バッファ、いわゆるＶＢＶ（Video Buffering Veri
fier）のサイズの最大値に、ISO13818-2に規定されるプ
ロファイルとレベルにより一意に決まる所定のサイズを
加えたものである。

【００１５】次に、上記に説明されたような多重化デジ
タル信号に対応する従来の差し替え装置の構成例を図１
０に示す。

【００１６】本編多重化ストリームが分離器５０１に供
給されるようになされており、そこでは、本編多重化ス
トリームの中の制御情報を参照しながら、本編多重化ス
トリームを、ビデオデータ、オーデイオデータ、その他
のデータのエレメンタリストリームに分離する。このよ
うに本編多重化ストリームをエレメンタリストリームご
とに分離することにより、差し替えられるエレメンタリ
ストリーム、いわゆる差し替え対象エレメンタリストリ
ームを取り出すことができる。

【００１７】一方、エレメンタリストリームサーバ５０
２は、差し替え対象エレメンタリストリームに代わって
本編多重化ストリームに差し替えられるエレメンタリス
トリーム、いわゆる差し替え用エレメンタリストリーム
をスイッチ５０３に供給する。

【００１８】スイッチ５０３は、システムコントローラ
５０４の指示に基づいて、差し替え対象エレメンタリス
トリームを差し替え用エレメンタリストリームに差し換
え、多重化器５０５に供給する。多重化器５０５は、差
し替え用エレメンタリストリームと、差し替え対象エレ
メンタリストリーム以外の本編多重化ストリームのエレ
メンタリストリームを多重化し、多重化ストリームを出
力する。

【００１９】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の差し替え装置では、入力された本編多重化ス
トリームを分離し、差し替え後、再び多重化を行わなけ
ればならない。そのため、差し替え装置に分離と多重化
の機能が必要となり、装置の構成が煩雑になる。また放
送のような実時間性の高いアプリケーションでは、分離
と再多重化による遅延が問題となったり、スタジオにお
ける編集では、編集を繰り返すたびに分離と再多重化が
必要になり、手間がかかってしまう。

【００２０】本編多重化ストリームの中の差し替え対象
エレメンタリストリームを他の差し替え用エレメンタリ
ストリームに差し替えることができれば、分離と再多重
化を行う必要がなくなる。しかしながら、そのために
は、差し替え後のストリームが、図９に示したデコード
モデルを破綻させないように符号化されていなくてはな
らない。

【００２１】ISO11172-2およびISO13818-2に規定されて
いるビデオエレメンタリストリームでは、圧縮難度に応
じて不規則に発生する圧縮データを一定のデータレート
に落とし込むために、ＶＢＶバッファと呼ばれる仮想の
符号化バッファが設けられ、そのＶＢＶバッファを破綻
させない、つまり、アンダーフローまたはオーバーフロ
ーしないように、ビデオエレメンタリストリームは符号
化されている。

【００２２】しかしながら、多重化ストリームは、ビデ
オ以外のデータも多重化されているために、多重化スト
リームのデコーダバッファに占めるデータの占有量は、
ＶＢＶバッファの軌跡と等しくならない場合がある。

【００２３】この場合においても、デコーダバッファを
破綻させない限り問題はないが、ビデオエレメンタリス
トリームの差し替えを行った場合、差し替え前後のビデ
オエレメンタリストリームのＶＢＶバッファが差し替え
開始から終了までにおいて、整合がとれているにも関わ
らず、デコーダバッファが破綻してしまう場合がある。

【００２４】図１１に、ISO11172-2およびISO13818-2に
規定されているビデオエレメンタリストリームの差し替
えにおいて、アンダーフローがデコーダバッファに発生
する例を示す。

【００２５】図１１（Ａ）に、本編多重化ストリームの
中の差し替え対象ビデオエレメンタリストリームと、差
し替え用ビデオエレメンタリストリームのＶＢＶバッフ
ァの軌跡を示す。Sinは差し替え対象ビデオエレメンタ
リストリームのアクセスユニットのサイズを示し、Ssp
は差し替え用ビデオエレメンタリストリームのアクセス
ユニットのサイズを表す。例えば、差し替え対象ビデオ
エレメンタリストリームのｎ番目のアクセスユニット
は、デコード時刻Ｔnにおいて、Sin(0)分のデータがデ
コーダに引き抜かれる。同様に、差し替え用ビデオエレ
メンタリストリームのｎ番目のアクセスユニットは、デ
コード時刻Ｔnにおいて、Ssp(0)分のデータがデコーダ
に引き抜かれる。

【００２６】差し替え対象ビデオエレメンタリストリー
ムと差し替え用ビデオエレメンタリストリームのＶＢＶ
−ｄｅｌａｙは等しいため、スタートアップ時刻が一致
し、また、差し替え区間でのストリームの大きさが同じ
であることより、ＶＢＶバッファは破綻していない。

【００２７】図１１（Ｂ）は、デコーダバッファの占有
量の軌跡を示す。図１１（Ｂ）において、Ｂ１は差し替
え対象ビデオエレメンタリストリームのＶＢＶの軌跡を
表し、Ｂ２は差し替え対象ビデオエレメンタリストリー
ムのデコーダバッファの占有量の軌跡を表し、そしてＢ
３は差し替え後のエレメンタリストリームのデコーダバ
ッファの軌跡を表す。

【００２８】多重化ストリームのデータレートは、ビデ
オストリームのデータレートよりも高いため、デコーダ
バッファの軌跡（Ｂ２およびＢ３）の傾きは、ＶＢＶバ
ッファの軌跡（Ｂ１）よりも急勾配である。ただし、ビ
デオ以外のデータがデコーダに入力されている区間で
は、ビデオデコーダバッファへの入力がないため、軌跡
は水平となる。

【００２９】図１１（Ｂ）のSin(1)をデコードする直前
で、デコーダバッファの占有量は、ＶＢＶバッファの軌
跡よりＹだけ下回っているが、デコーダバッファを破綻
させない限り、上回っていても下回っていてもよい。一
方、差し替えを行った場合、差し替え開始点においてＶ
ＢＶ−ｄｅｌａｙが等しいので、Ssp(0)のデコード直前
までは、デコーダバッファの占有量の軌跡は、差し替え
を行わない場合と等しい。しかしながら、アクセスユニ
ットのサイズが異なるために、Ssp(0)のデコード以降、
デコーダバッファの占有量は差し替えを行わなかった場
合とずれが生じ、このずれと、本編の多重化時にデコー
ダの占有量がＶＢＶの軌跡を下回った量Ｙにより、デコ
ーダバッファのアンダーフローが発生する。

【００３０】図１２に、ISO11172-2およびISO13818-2に
規定されているビデオエレメンタリストリームの差し替
えにおいて、オーバーフローがデコーダバッファに発生
する例を示す。

【００３１】図１２（Ａ）に、差し替え対象ビデオエレ
メンタリストリームと差し替え用ビデオエレメンタリス
トリームのＶＢＶバッファの軌跡を示す。Sinは差し替
え対象ビデオエレメンタリストリームのアクセスユニッ
トのサイズを示し、Sspは差し替え用ビデオエレメンタ
リストリームのアクセスユニットのサイズを表す。例え
ば、差し替え対象ビデオエレメンタリストリームのｎ番
目のアクセスユニットは、デコード時刻Ｔnにおいて、S
in(0)分のデータがデコーダに引き抜かれる。同様に、
差し替え用ビデオエレメンタリストリームのｎ番目のア
クセスユニットは、デコード時刻Ｔnにおいて、Ssp(0)
分のデータがデコーダに引き抜かれる。

【００３２】差し替え対象ビデオエレメンタリストリー
ムと差し替え用ビデオエレメンタリストリームのＶＢＶ
ーｄｅｌａｙは等しいので、スタートアップ時刻が一致
し、また、差し替え区間でのストリームの大きさが同じ
であることより、ＶＢＶバッファは破綻していない。

【００３３】図１２（Ｂ）は、デコーダバッファの占有
量の軌跡を示す。図１２（Ｂ）において、Ｂ１は差し替
え対象エレメンタリストリームのＶＢＶの軌跡を表し、
Ｂ２は差し替え対象エレメンタリストリームのデコーダ
バッファの占有量の軌跡を表しし、そしてＢ３は差し替
え後のエレメンタリストリームのデコーダバッファの軌
跡を表す。

【００３４】Sin(2)をデコードする直前で、デコーダバ
ッファの占有量は、ＶＢＶバッファの軌跡よりＺだけ上
回っているが、デコーダバッファを破綻させない限り、
上回っていても下回っていてもよい。一方、差し替えを
行った場合、差し替え開始点においてＶＢＶ−ｄｅｌａ
ｙが等しいため、Ssp(0)のデコード直前までは、デコー
ダバッファの占有量の軌跡は差し替えを行わない場合と
等しい。しかしながら、アクセスユニットのサイズが異
なるために、Ssp(0)のデコード以降、デコーダバッファ
の占有量は差し替えを行わなかった場合とずれが生じ
る。このずれと、本編の多重化時にデコーダの占有量が
ＶＢＶの軌跡を上回った量Ｚにより、デコーダバッファ
のオーバーフローが発生する。

【００３５】このように、本編を多重化する際、差し替
え用ビデオエレメンタリストリームのＶＢＶの軌跡を考
慮することができないために、多重化ストリームの中の
差し替え対象ビデオエレメンタリストリームのみを他の
差し替え用ビデオエレメンタリストリームに差し替える
と、デコーダバッファを破綻させてしまう場合がある。

【００３６】本発明はこのような状況に鑑みてなされた
ものであり、上記にあげられた問題点を克服し、分離と
再多重化することなく、本編多重化ストリームの中の一
部の差し替え対象データを他の差し替え用データに差し
替えることができるようにするものである。

【００３７】

【課題を解決するための手段】請求項１に記載のデータ
多重化装置は、差し替え対象データの仮想符号化バッフ
ァにおける蓄積の軌跡と、差し替え対象データの仮想的
なデコーダバッファにおける蓄積量との差Ｕが、すべて
のデコード時刻において、予め設定したマージンｍ１以
下となり、かつ、差し替え対象データの仮想的なデコー
ダバッファにおける蓄積量と、差し替え対象データの仮
想符号化バッファにおける蓄積の軌跡との差Ｕ’が、す
べてのデコード時刻において、予め設定したマージンｍ
２以下となるように、多重化を行う多重化手段を備える
ことを特徴とする。

【００３８】請求項５に記載のデータ多重装置は、差し
替え対象データの仮想符号化バッファにおける蓄積の軌
跡と、差し替え対象データの仮想的なデコーダバッファ
における蓄積量との差Ｕが、すべてのデコード時刻にお
いて、予め設定したマージンｍ１以下となり、かつ、差
し替え対象データの仮想的なデコーダバッファにおける
蓄積量と、差し替え対象データの仮想符号化バッファに
おける蓄積の軌跡との差Ｕ’が、すべてのデコード時刻
において、予め設定したマージンｍ２以下となるよう
に、多重化を行う多重化ステップを備えることを特徴と
する。

【００３９】請求項６に記載の多重化ステップは、差し
替え対象データの仮想符号化バッファにおける蓄積の軌
跡と、差し替え対象データの仮想的なデコーダバッファ
における蓄積量との差Ｕが、すべてのデコード時刻にお
いて、予め設定したマージンｍ１以下となり、かつ、差
し替え対象データの仮想的なデコーダバッファにおける
蓄積量と、差し替え対象データの仮想符号化バッファに
おける蓄積の軌跡との差Ｕ’が、すべてのデコード時刻
において、予め設定したマージンｍ２以下となるよう
に、多重化を行う多重化ステップを備えるコンピュータ
プログラムを伝送することを特徴とする。

【００４０】請求項７に記載のデータ処理装置は、１以
上のデジタル信号を多重化した多重化ストリームの一部
の差し替え対象データであって、差し替え対象データの
仮想符号化バッファにおける蓄積の軌跡Ｖと、差し替え
対象データの仮想的なデコーダバッファにおける蓄積量
との差Ｕが、すべてのデコード時刻において、予め設定
したマージンｍ１以下となり、かつ、差し替え対象デー
タの仮想的なデコーダバッファにおける蓄積量と、差し
替え対象データの仮想符号化バッファにおける蓄積の軌
跡との差Ｕ’が、すべてのデコード時刻において、予め
設定したマージンｍ２以下となるように、多重化された
差し替え対象データを、他の差し替え用データに差し替
えるデータ処理装置において、仮想符号化バッファにお
ける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、デコーダバッファのサイズと仮想
符号化バッファのサイズの差をＢＳとするとき、仮想符
号化バッファの空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された差し替え用データを提
供する提供手段を備えることを特徴とする。

【００４１】請求項１２に記載のデータ処理方法は、１
以上のデジタル信号を多重化した多重化ストリームの一
部の差し替え対象データであって、差し替え対象データ
の仮想符号化バッファにおける蓄積の軌跡Ｖと、差し替
え対象データの仮想的なデコーダバッファにおける蓄積
量との差Ｕが、すべてのデコード時刻において、予め設
定したマージンｍ１以下となり、かつ、差し替え対象デ
ータの仮想的なデコーダバッファにおける蓄積量と、差
し替え対象データの仮想符号化バッファにおける蓄積の
軌跡との差Ｕ’が、すべてのデコード時刻において、予
め設定したマージンｍ２以下となるように、多重化され
た差し替え対象データを、他の差し替え用データに差し
替えるデータ処理方法において、仮想符号化バッファに
おける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、デコーダバッファのサイズと仮想
符号化バッファのサイズの差をＢＳとするとき、仮想符
号化バッファの空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された差し替え用データを提
供する提供ステップを備えることを特徴とする。

【００４２】請求項１３に記載の伝送媒体は、１以上の
デジタル信号を多重化した多重化ストリームの一部の差
し替え対象データであって、差し替え対象データの仮想
符号化バッファにおける蓄積の軌跡Ｖと、差し替え対象
データの仮想的なデコーダバッファにおける蓄積量との
差Ｕが、すべてのデコード時刻において、予め設定した
マージンｍ１以下となり、かつ、差し替え対象データの
仮想的なデコーダバッファにおける蓄積量と、差し替え
対象データの仮想符号化バッファにおける蓄積の軌跡と
の差Ｕ’が、すべてのデコード時刻において、予め設定
したマージンｍ２以下となるように、多重化された差し
替え対象データを、他の差し替え用データに差し替える
データ処理装置に用いるコンピュータプログラムであっ
て、仮想符号化バッファにおける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、デコーダバッファのサイズと仮想
符号化バッファのサイズの差をＢＳとするとき、仮想符
号化バッファの空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された差し替え用データを提
供する提供ステップを備えるコンピュータプログラムを
伝送することを特徴とする。

【００４３】請求項１に記載のデータ多重化装置、請求
項５に記載のデータ多重化方法、および請求項６に記載
の伝送媒体においては、差し替え対象データの仮想符号
化バッファにおける蓄積の軌跡と、差し替え対象データ
の仮想的なデコーダバッファにおける蓄積量との差Ｕ
が、すべてのデコード時刻において、予め設定したマー
ジンｍ１以下となり、かつ、差し替え対象データの仮想
的なデコーダバッファにおける蓄積量と、差し替え対象
データの仮想符号化バッファにおける蓄積の軌跡との差
Ｕ’が、すべてのデコード時刻において、予め設定した
マージンｍ２以下となるように、多重化される。

【００４４】請求項７に記載のデータ処理装置、請求項
１２に記載のデータ処理方法、および請求項１３に記載
の伝送媒体においては、１以上のデジタル信号を多重化
した多重化ストリームの一部の差し替え対象データであ
って、差し替え対象データの仮想符号化バッファにおけ
る蓄積の軌跡Ｖと、差し替え対象データの仮想的なデコ
ーダバッファにおける蓄積量との差Ｕが、すべてのデコ
ード時刻において、予め設定したマージンｍ１以下とな
り、かつ、差し替え対象データの仮想的なデコーダバッ
ファにおける蓄積量と、差し替え対象データの仮想符号
化バッファにおける蓄積の軌跡との差Ｕ’が、すべての
デコード時刻において、予め設定したマージンｍ２以下
となるように、多重化された差し替え対象データを、他
の差し替え用データに差し替えるデータ処理装置におい
て、仮想符号化バッファにおける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、デコーダバッファのサイズと仮想
符号化バッファのサイズの差をＢＳとするとき、仮想符
号化バッファの空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された差し替え用データが提
供される。

【００４５】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００４６】請求項１に記載のデータ多重装置は、デー
タ処理装置により差し替え用データに差し替えられる差
し替え対象データを一部に含む、１以上のデジタル信号
を多重化した多重化ストリームを出力するデータ多重化
装置において、差し替え対象データの仮想符号化バッフ
ァにおける蓄積の軌跡と、差し替え対象データの仮想的
なデコーダバッファにおける蓄積量との差Ｕが、すべて
のデコード時刻において、予め設定したマージンｍ１以
下となり、かつ、差し替え対象データの仮想的なデコー
ダバッファにおける蓄積量と、差し替え対象データの仮
想符号化バッファにおける蓄積の軌跡との差Ｕ’が、す
べてのデコード時刻において、予め設定したマージンｍ
２以下となるように、多重化を行う多重化手段（例え
ば、図１の多重化器１０１）を備えることを特徴とす
る。

【００４７】請求項７に記載のデータ処理装置は、１以
上のデジタル信号を多重化した多重化ストリームの一部
の差し替え対象データであって、差し替え対象データの
仮想符号化バッファにおける蓄積の軌跡Ｖと、差し替え
対象データの仮想的なデコーダバッファにおける蓄積量
との差Ｕが、すべてのデコード時刻において、予め設定
したマージンｍ１以下となり、かつ、差し替え対象デー
タの仮想的なデコーダバッファにおける蓄積量と、差し
替え対象データの仮想符号化バッファにおける蓄積の軌
跡との差Ｕ’が、すべてのデコード時刻において、予め
設定したマージンｍ２以下となるように、多重化された
差し替え対象データを、他の差し替え用データに差し替
えるデータ処理装置において、仮想符号化バッファにお
ける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、デコーダバッファのサイズと仮想
符号化バッファのサイズの差をＢＳとするとき、仮想符
号化バッファの空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された差し替え用データを提
供する提供手段（例えば、図１の差し替え用エレメンタ
リストリーム１０４）を備えることを特徴とする。

【００４８】請求項８に記載のデータ処理装置は、多重
化ストリームが、マージンｍ１，ｍ２に関する情報を含
み、多重化ストリームから、マージンｍ１，ｍ２に関す
る情報を検出する検出手段（例えば、図５のマージン情
報検出器１０２）と、検出手段の検出結果に対応して、
差し替え用データを生成する生成手段（例えば、図５の
符号化器２０１）とをさらに備えることを特徴とする。

【００４９】図１に、本発明のデータ処理装置を適用し
た第１の実施の形態の構成例を示す。

【００５０】多重化器１０１は、例えば、ISO13818-1に
準拠して符号化されたビデオエレメンタリストリームを
多重化し、本編トランスポートストリームを出力する。
マージン情報検出器１０２は、システムコントローラ１
０３により指示された差し替え対象ビデオエレメンタリ
ストリームのマージン情報を検出し、差し替え用エレメ
ンタリストリームサーバ１０４に供給する。

【００５１】差し替えスイッチ１０５は、システムコン
トローラ１０３の指示に基づき、差し替え対象ビデオエ
レメンタリストリームを差し替え用ビデオエレメンタリ
ストリームに差し替え、差し替え後のトランスポートス
トリームを出力する。

【００５２】次に、第１の実施の形態の動作例を説明す
る。デコーダバッファの破綻を回避するために、多重化
器１０１は、ビデオエレメンタリストリームを所定のマ
ージンに従って符号化し、多重化し、本編多重化ストリ
ームを提供する。

【００５３】図２は、図１１に示したアンダーフローが
発生する場合において、所定のマージンに基づいてビデ
オエレメンタリストリームを符号化することによって、
デコーダバッファに発生するアンダーフローを回避する
例を示す。

【００５４】図２（Ａ）は、差し替え対象ビデオエレメ
ンタリストリームと差し替え用ビデオエレメンタリスト
リームのＶＢＶバッファの軌跡を示す。Ｖ(0),Ｖ(1),Ｖ
(2),およびＶ(3)は、それぞれのデコード時刻での差し
替え用ビデオエレメンタリストリームのＶＢＶバッファ
の残量である。margin1はアンダーフローを回避するた
めに設けられたマージンである。

【００５５】図２（Ｂ）において、Ｂ１は差し替え対象
ビデオエレメンタリストリームのＶＢＶバッファの軌跡
を示し（図２（Ａ）に示されているものと同じ）、Ｂ２
は差し替え対象ビデオエレメンタリストリームのデコー
ダバッファの占有量の軌跡を示し、Ｂ３は差し替え後の
ビデオエレメンタリストリームのデコーダバッファの占
有量の軌跡を示す。

【００５６】Ｕ(0),Ｕ(1),Ｕ(2),およびＵ(3)は、それ
ぞれのデコード時刻での差し替え対象ビデオエレメンタ
リストリームのＶＢＶの軌跡（Ｂ１）と、差し替え対象
ビデオエレメンタリストリームのデコーダバッファの占
有量の軌跡（Ｂ２）との差を示す。この場合、例えば、
デコード時刻Ｔ1において、ＶＢＶの軌跡に比べて差し
替え対象ビデオエレメンタリストリームのＵ(1)分のデ
ータが、デコーダバッファにまだ入力されていないこと
を意味する。

【００５７】アンダーフローがデコーダバッファの占有
量が極小値となる、つまり、デコード直後において発生
しないことは、デコード時刻以外の時刻において、アン
ダーフローが発生しないことを保証する。

【００５８】デコード時刻でアンダーフローが発生する
条件は、デコード時刻ＴnにおけるＵ(n)が、Ｖ(n)より
も大きい時で、次式を満たしている時である。 ｉｆ Ｕ(n)＞Ｖ(n) then underflow

【００５９】Ｕ(n)がすべてのデコード時刻直後で、あ
る値のmargin１以下となり、つまり、Ｕ(n)＜＝margin1
を満たすように差し替え対象ビデオエレメンタリストリ
ームが符号化され、また、Ｖ(n)がすべての時刻で、mar
gin1以上となり、Ｖ(n)＞＝margin１を満たすように差
し替え対象ビデオエレメンタリストリームが符号化され
るならば、かならず、Ｕ(n)＜＝Ｍ１＜＝Ｖ(n)となり、
上記のアンダーフローが発生する条件の式を満たす場
合は存在しいないことになり、アンダーフローは発生し
ない。

【００６０】図３は、図１２に示したオーバフロが発生
する場合において、所定のマージンに基づいてビデオエ
レメンタリストリームを符号化することによって、デコ
ーダに発生するオーバーフローを回避する例を示す。

【００６１】図３（Ａ）は、差し替え対象ビデオエレメ
ンタリトリームと差し替え用ビデオエレメンタリストリ
ームのＶＢＶバッファの軌跡を示す。Ｖ'(0),Ｖ'(1),
Ｖ'(2),およびＶ'(3)は、それぞれのデコード時刻での
差し替え用ビデオエレメンタリストリームのＶＢＶバッ
ファの軌跡がＶＢＶバッファのサイズよりも少ない量を
示し、ＶＢＶバッファの空き容量を意味するものであ
る。margin2はオーバフロを回避するために設けられた
マージンである。

【００６２】図３（Ｂ）において、Ｂ１は差し替え対象
ビデオエレメンタリストリームのＶＢＶバッファの軌跡
を示し、Ｂ２は差し替え対象ビデオエレメンタリストリ
ームのデコーダバッファの占有量の軌跡を示し、Ｂ３は
差し替え後のビデオエレメンタリストリームのデコーダ
バッファの占有量の軌跡を示す。

【００６３】Ｕ'(0),Ｕ'(1),Ｕ'(2),およびＵ'(3)は、
それぞれのデコード時刻での差し替え対象ビデオエレメ
ンタリストリームのＶＢＶ（Ｂ１）の軌跡と、差し替え
対象ビデオエレメンタリストリームのデコーダバッファ
の占有量の軌跡（Ｂ２）との差を示す。つまり、この場
合、例えば、デコード時刻Ｔ1において、ＶＢＶの軌跡
に比べてＵ(1)分のデータがデコーダバッファに多く到
着していることを意味する。また、デコーダバッファの
サイズ(BSdec)は、ＶＢＶバッファのサイズ(BSvbv)に所
定のBSopを加えたものである。

【００６４】デコーダバッファの占有量が極大値とな
る、つまり、デコード時刻直前においてオーバーフロー
が発生しないことは、デコード時刻以外の時刻において
オーバーフローが発生しないことを保証する。

【００６５】デコード時刻でオーバフロが発生する条件
は、デコード時刻ＴnにおけるＵ'(n)が、Ｖ'(n)とBSop
の合計よりも大きい時で、次式を満たしているときであ
る。 ｉｆ Ｕ'(n)＞（Ｖ'(n)＋BSop) then overflow

【００６６】Ｕ(n)がすべのデコード時刻直前で、ある
値のmargin2以下となり、つまり、Ｕ'(n)＜＝margin2を
満たすように差し替え対象ビデオエレメンタリストリー
ムが符号化され、また、Ｖ'(n)がすべのデコード時刻
で、margin2−BSop以上となり、つまりＶ'(n)＜＝（mar
gin2−ＢＳOP）を満たすように差し替え用ビデオエレメ
ンタリストリームが符号化されるならば、かならず、
Ｕ'(n)＜＝Ｍ２＜＝Ｖ'(n)＋BSopとなり、オーバーフロ
ーが発生する条件の式を満たす場合は存在しないことに
なり、オーバーフローは発生しない。

【００６７】差し替え用ビデオエレメンタリストリーム
は、差し替え対象ビデオエレメンタリストリームと同じ
予め定められたマージンに基づいて符号化しておき、差
し替え用エレメンタリストリームサーバ１０４に格納し
ておくか、または、マージン検出器１０２によって検出
された差し替え対象エレメンタリストリームのマージン
情報に基づいて、そのマージンに対応するエレメンタリ
ストリームを差し替え用エレメンタリストリーム１０４
から選択する。

【００６８】マージン情報は、ISO113818-1に規定され
ているトランスポートストリームの場合、トランスポー
トストリームのアダプテーションフィールド内にあるプ
ライベートベータバイトに符号化しておくことができ、
マージン情報検出器１０２は、そのプライデートデータ
バイトに符号化されている情報を検出し、差し替え用エ
レメンタリストリームサーバ１０４に供給する。

【００６９】差し替えスイッチ１０５は、システムコン
トローラ１０３の指示に基づいて、本編トランスポート
ストリームの差し替え対象ビデオエレメンタリストリー
ムを差し替え用ビデオエレメンタリストリームに差し替
え、差し替え後のトランスポートストリームを出力す
る。

【００７０】このようにして、デコーダバッファの破綻
を回避するための分離と再多重化をすることなく、本編
多重化ストリームの一部の差し替え対象エレメンタリス
トリームを他の差し替え用エレメンタリストリームに差
し替えることができる。

【００７１】第１の実施の形態の他の動作例をとして、
ビデオエレメンタリストリームをパケット毎に差し替え
る場合の例を説明する。

【００７２】先の動作例においては、アクセスユニット
毎にデータの差し替えを実施したのであるが、この動作
例においては、パケット毎にデータの差し替えが行なわ
れるものでる。

【００７３】差し替え用エレメンタリストリームは、デ
コーダバッファが破綻しないようにマージンに基づいて
符号化され、パケット化された状態で、差し替え用エレ
メンタリストリームサーバ１０４に格納される。差し替
えスイッチ１０５は、本編トランスポートストリームの
内、差し替え開始点から終了点までの差し替え対象エレ
メンタリストリーム部分のＰＥＳパケットを、差し替え
用ビデオエレメンタリストリームのＰＥＳパケットに差
し替え、それ以外の本編トランスポートストリームはそ
のまま出力する。

【００７４】図４は、本編多重化ストリームの差し替え
対象エレメンタリストリームと差し替え用エレメンタリ
ストリームのＰＥＳパケットの構成を示す。このよう
に、ＰＥＳパケットのサイズをそれぞれ等しくし、ＰＥ
Ｓパケットに含まれる時刻情報を矛盾なく差し替えるこ
とによって、パケット毎の差し替えが可能とする。

【００７５】ビデオのデータレートは、一定のアクセス
ユニットごとのサイズ合計を一定にするようになされて
いる場合が多く、その場合、サイズの合計が等しくなる
タイミングで、ＰＥＳヘッダを挿入してＰＥＳパケット
化することによって、容易にＰＥＳパケットサイズを揃
えることができる。

【００７６】デコーダの破綻を回避するためには、先の
動作例において説明されたマージンに基づいて、差し替
え対象エレメンタリストリームと差し替え用エレメンタ
リストリームを符号化しておかなければならない。ビデ
オのデータレートは等しいものとする。

【００７７】以上の差し替え処理により、本編多重化ス
トリームを分離あるいは再多重化することなく、多重化
ストリームの中の差し替え対象エレメンタリストリーム
をその他の差し替え用エレメンタリストリームに差し替
えることができる。またアクセスユニットのサイズを拘
束しないので、画像劣化の問題を生じにくい。

【００７８】次に、図５に、本発明を適用したデータ差
し替え装置の第２の実施の形態の構成例を示す。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は適宜省略
する。

【００７９】符号化器２０１は、録画されていない、い
わゆるライブ信号を符号化し、差し替え用ビデオエレメ
ンタリストリームとして、符号化されたライブ信号を差
し替えスイッチ１０５に供給する。ここでの符号化は、
第１の実施の形態で説明されたデコーダバッファの破綻
を回避するために算出されたマージンに基づいており、
そのマージンは本編トランスポートストリームに符号化
されているものと同じである。

【００８０】差し替え対象ビデオエレメンタリストリー
ムのマージン情報は、マージン情報検出器１０２によっ
て、随時検出されるか、または、予め定めておくことも
できる。

【００８１】上記第１の実施の形態と第２の実施の形態
は、２−３プルダウンされたビデオエレメンタリストリ
ームの差し替えにも応用できる。

【００８２】図６に、２−３プルダウンされたビデオス
トリームにおけるデコーダバッファの破綻回避について
説明する。

【００８３】図６（Ａ）は、差し替え対象ストリームと
差し替え用ストリームのＶＢＶバッファの軌跡を示す。
Ｖ'(0),Ｖ'(1),Ｖ'(2),およびＶ'(3)は、それぞれのデ
コード時刻での差し替え用ビデオエレメンタリストリー
ムのＶＢＶバッファの軌跡がＶＢＶバッファのサイズよ
りも少ない量を示し、ＶＢＶバッファの空き容量を意味
するものである。margin'1はアンダーフローを回避する
ために設けられたマージンである。

【００８４】図６（Ｂ）において、Ｂ１は差し替え対象
ビデオエレメンタリストリームのＶＢＶバッファの軌跡
を示し、Ｂ２は差し替え対象ビデオエレメンタリストリ
ームのデコーダバッファの占有量の軌跡を示し、Ｂ３は
差し替え後のビデオエレメンタリストリームのデコーダ
バッファの占有量の軌跡を示す。

【００８５】Ｕ'(0),Ｕ'(1),Ｕ'(2),およびＵ'(3)は、
それぞれのデコード時刻での差し替え対象ビデオエレメ
ンタリストリームのＶＢＶ（Ｂ１）の軌跡と、差し替え
対象ビデオエレメンタリストリームのデコーダバッファ
の占有量の軌跡（Ｂ２）との差を示す。また、デコーダ
バッファのサイズ(BSdec)は、ＶＢＶバッファのサイズ
(BSvbv)に所定のBSopを加えたものである。

【００８６】２−３プルダウンされたビデオストリーム
はデコード間隔がビデオのフィールド周期の２倍もしく
は３倍になる。本編に含まれる差し替え対象ストリーム
と差し替え用ビデオストリームでプルダウンのパターン
が異なると、デコードタイミングが異なり、デコーダバ
ッファが破綻する場合がある。

【００８７】２−３プルダウンされたビデオストリーム
の場合は、第１の実施の形態で求めたマージンを、すべ
てのフィールドタイミングで満たすように差し替え対象
および差し替え用ストリームを符号化し、多重化してお
くことによって、デコーダバッファの破綻を回避するこ
とができる。第１の実施の形態においては、デコード時
刻における所定の条件を満たすようにマージンが算出さ
れた。

【００８８】従って、差し替え用ストリームのプルダウ
ンによって、デコード間隔がどのように変化しようと
も、差し替え用ストリームのデコードタイミングでは必
ずデコーダバッファを破綻させないための条件がまもら
れていることになり、プルダンパターンが異なる差し替
え用ビデオストリームで差し替えを行うことが可能とな
る。

【００８９】さらに、第１の実施の形態におけるマージ
ンによる多重化の本編の多重化時に条件を、すべての時
刻において満たすようにすることによって、デコード時
刻がフィールド周期の倍数にならないような差し替え用
ストリームによっても、デコーダバッファを破綻させな
いで差し替えを実行することができる。

【００９０】以上の実施の形態の動作例では、ISO/IEC1
3818-1に規定されているトランスポートストリームに準
拠して多重化されたISO13818-2に規定されているビデオ
エレメンタリストリームを差し替える場合について説明
した。しかしながら、本発明は、トランスポートストリ
ーム以外のデコーダバッファを破綻させないことが要求
される多重化方法にも応用できる。ISO13818-2に規定さ
れているビデオエレメンタリストリーム以外のエレメン
タリストリームにも、符号化バッファモデルを仮想し
て、データレートを符号化バッファへ入力し、デコーダ
時刻に符号化バッファから引き抜きを行った場合に、符
号化バッファが破綻しないように制御して符号化される
ビットストリームの差し替えにも応用できる。

【００９１】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに伝送する伝送媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００９２】

【発明の効果】請求項１に記載の多重化装置、請求項５
に記載の多重化方法、および請求項６に記載の伝送媒体
によれば、差し替え対象データの仮想符号化バッファに
おける蓄積の軌跡と、差し替え対象データの仮想的なデ
コーダバッファにおける蓄積量との差Ｕを、マージンｍ
１に対して所定の関係になるようにし、かつ、差し替え
対象データの仮想的なデコーダバッファにおける蓄積量
と、差し替え対象データの仮想符号化バッファにおける
蓄積の軌跡との差Ｕ’を、マージンｍ２に対して所定の
関係になるようにしたので、データ処理装置に対して、
デコーダバッファを破綻することなく、差し替え用デー
タと差し替え可能な差し替え対象データを多重化するこ
とができる。

【００９３】請求項７に記載のデータ処理装置、請求項
１２に記載のデータ処理方法、および請求項１３に記載
の伝送媒体によれば、仮想符号化バッファにおける蓄積
の軌跡Ｖが、マージンｍ１に対して所定の関係になるよ
うにし、かつ、仮想符号化バッファの空き容量Ｖ’が、
マージンｍ２とデコーダバッファのサイズと仮想符号化
バッファのサイズの差をＢＳに対して所定の関係になる
ようにしたので、任意のデジタル信号を差し替え用デー
タとし、デコーダバッファを破綻することなく、差し替
え対象データを差し替え用データと差し替えことができ
る。

【図面の簡単な説明】

【図１】本発明を適用したデータ処理装置の第１の実施
の形態の構成例を示すブロック図である。

【図２】差し替え対象と差し替え用ビデオエレメンタリ
ストリームのＶＢＶバッファの軌跡およびデコーダバッ
ファの占有量の軌跡の例を示す図である。

【図３】差し替え対象と差し替え用ビデオエレメンタリ
ストリームのＶＢＶバッファの軌跡およびデコーダバッ
ファの占有量の軌跡の他の例を示す図である。

【図４】差し替え対象ビデオＰＥＳパケットと差し替え
用ＰＥＳパケットの構造例を示す図でる。

【図５】本発明を適用したデータ処理装置の第２の実施
の形態の構成例を示すブロック図である。

【図６】差し替え対象と差し替え用ビデオエレメンタリ
ストリームのＶＢＶバッファの軌跡およびデコーダバッ
ファの占有量の軌跡の他の例を示す図である。

【図７】アナログベースバンド信号に対応する従来の差
し替え装置の構成例を示すブロック図である。

【図８】ISO/IEC12818-1に規定されているトランスポー
トストリームの構成例を示す図である。

【図９】ISO/IEC12818-1に規定されているトランスポー
トストリームに適用されるデコードモデルを示すブロッ
ク図である。

【図１０】デジタル信号に対応する従来の差し替え装置
の構成例を示すブロック図である。

【図１１】デコーダバッファがアンダーフローになる場
合の例を示す図である。

【図１２】デコーダバッファがオーバーフローになる場
合の例を示す図である。

【符号の説明】

１０１ 多重化器， １０２ マージン情報検出器，
１０３ システムコントローラ， １０４ 差し替え用
エレメンタリサーバ， １０５ 差し替えスイッチ，
２０１ 符号化器， ３０１ サーバ， ３０２ 選択
スイッチ， ３０３ スイッチ， ４０１ スイッチ，
４０２ トランスポートバッファ，４０３ マルチプ
レクシング， ４０４ エレメンタリバッファ， ４０
５ デコーダ， ５０１ 分離器， ５０２ エレメン
タリストリームサーバ， ５０３ スイッチ， ５０４
システムコントローラ， ５０５ 多重化器

Claims (13)

【特許請求の範囲】
1. 【請求項１】 データ処理装置により差し替え用データ
   に差し替えられる差し替え対象データを一部に含む、１
   以上のデジタル信号を多重化した多重化ストリームを出
   力するデータ多重化装置において、 前記差し替え対象データの仮想符号化バッファにおける
   蓄積の軌跡と、前記差し替え対象データの仮想的なデコ
   ーダバッファにおける蓄積量との差Ｕが、すべてのデコ
   ード時刻において、予め設定したマージンｍ１以下とな
   り、かつ、前記差し替え対象データの仮想的なデコーダ
   バッファにおける蓄積量と、前記差し替え対象データの
   仮想符号化バッファにおける蓄積の軌跡との差Ｕ’が、
   すべてのデコード時刻において、予め設定したマージン
   ｍ２以下となるように、多重化を行う多重化手段を備え
   ることを特徴とするデータ多重化装置。
2. 【請求項２】 前記多重化手段は、前記マージンｍ１，
   ｍ２に関する情報をさらに多重化することを特徴とする
   請求項１に記載のデータ多重化装置。
3. 【請求項３】 前記多重化手段は、前記マージンｍ１，
   ｍ２に関する情報を、ＭＰＥＧ２のトランスポートスト
   リームのトランスポートパケットにおけるアダプテーシ
   ョンフィールド内のプライベートデータバイトのフィー
   ルドに多重化することを特徴とする請求項２に記載のデ
   ータ多重化装置。
4. 【請求項４】 前記多重化手段は、すべてのフィールド
   タイミングにおいて前記マージンｍ１，ｍ２に関する条
   件が満足されるように多重化を行うことを特徴とする請
   求項１に記載のデータ多重化装置。
5. 【請求項５】 データ処理装置により差し替え用データ
   に差し替えられる差し替え対象データを一部に含む、１
   以上のデジタル信号を多重化した多重化ストリームを出
   力するデータ多重化方法において、 前記差し替え対象データの仮想符号化バッファにおける
   蓄積の軌跡と、前記差し替え対象データの仮想的なデコ
   ーダバッファにおける蓄積量との差Ｕが、すべてのデコ
   ード時刻において、予め設定したマージンｍ１以下とな
   り、かつ、前記差し替え対象データの仮想的なデコーダ
   バッファにおける蓄積量と、前記差し替え対象データの
   仮想符号化バッファにおける蓄積の軌跡との差Ｕ’が、
   すべてのデコード時刻において、予め設定したマージン
   ｍ２以下となるように、多重化を行う多重化ステップを
   備えることを特徴とするデータ多重化方法。
6. 【請求項６】 データ処理装置により差し替え用データ
   に差し替えられる差し替え対象データを一部に含む、１
   以上のデジタル信号を多重化した多重化ストリームを出
   力するデータ多重化装置に用いるコンピュータプログラ
   ムであって、 前記差し替え対象データの仮想符号化バッファにおける
   蓄積の軌跡と、前記差し替え対象データの仮想的なデコ
   ーダバッファにおける蓄積量との差Ｕが、すべてのデコ
   ード時刻において、予め設定したマージンｍ１以下とな
   り、かつ、前記差し替え対象データの仮想的なデコーダ
   バッファにおける蓄積量と、前記差し替え対象データの
   仮想符号化バッファにおける蓄積の軌跡との差Ｕ’が、
   すべてのデコード時刻において、予め設定したマージン
   ｍ２以下となるように、多重化を行う多重化ステップを
   備えるコンピュータプログラムを伝送することを特徴と
   する伝送媒体。
7. 【請求項７】 １以上のデジタル信号を多重化した多重
   化ストリームの一部の差し替え対象データであって、前
   記差し替え対象データの仮想符号化バッファにおける蓄
   積の軌跡Ｖと、前記差し替え対象データの仮想的なデコ
   ーダバッファにおける蓄積量との差Ｕが、すべてのデコ
   ード時刻において、予め設定したマージンｍ１以下とな
   り、かつ、前記差し替え対象データの仮想的なデコーダ
   バッファにおける蓄積量と、前記差し替え対象データの
   仮想符号化バッファにおける蓄積の軌跡との差Ｕ’が、
   すべてのデコード時刻において、予め設定したマージン
   ｍ２以下となるように、多重化された前記差し替え対象
   データを、他の差し替え用データに差し替えるデータ処
   理装置において、 前記仮想符号化バッファにおける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、 前記デコーダバッファのサイズと仮想符号化バッファの
   サイズの差をＢＳとするとき、前記仮想符号化バッファ
   の空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された前記差し替え用データ
   を提供する提供手段を備えることを特徴とするデータ処
   理装置。
8. 【請求項８】 前記多重化ストリームは、前記マージン
   ｍ１，ｍ２に関する情報を含み、 前記多重化ストリームから、前記マージンｍ１，ｍ２に
   関する情報を検出する検出手段と、 前記検出手段の検出結果に対応して、前記差し替え用デ
   ータを生成する生成手段とをさらに備えることを特徴と
   する請求項７に記載のデータ処理装置。
9. 【請求項９】 前記検出手段は、前記マージンｍ１，ｍ
   ２に関する情報を、ＭＰＥＧ２のトランスポートストリ
   ームのトランスポートパケットにおけるアダプテーショ
   ンフィールド内のプライベートデータバイトのフィール
   ドから検出することを特徴とする請求項８に記載のデー
   タ処理装置。
10. 【請求項１０】 前記生成手段は、前記差し替え対象デ
    ータの時刻情報に対応して、前記差し替え用のデータの
    時刻情報を書き換えることを特徴とする請求項８に記載
    のデータ処理装置。
11. 【請求項１１】 前記提供手段は、すべてのフィールド
    タイミングにおいて前記マージンｍ１，ｍ２に関する条
    件が満足されるように符号化された前記差し替え用デー
    タを提供することを特徴とする請求項７に記載のデータ
    処理装置。
12. 【請求項１２】 １以上のデジタル信号を多重化した多
    重化ストリームの一部の差し替え対象データであって、
    前記差し替え対象データの仮想符号化バッファにおける
    蓄積の軌跡Ｖと、前記差し替え対象データの仮想的なデ
    コーダバッファにおける蓄積量との差Ｕが、すべてのデ
    コード時刻において、予め設定したマージンｍ１以下と
    なり、かつ、前記差し替え対象データの仮想的なデコー
    ダバッファにおける蓄積量と、前記差し替え対象データ
    の仮想符号化バッファにおける蓄積の軌跡との差Ｕ’
    が、すべてのデコード時刻において、予め設定したマー
    ジンｍ２以下となるように、多重化された前記差し替え
    対象データを、他の差し替え用データに差し替えるデー
    タ処理方法において、 前記仮想符号化バッファにおける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、 前記デコーダバッファのサイズと仮想符号化バッファの
    サイズの差をＢＳとするとき、前記仮想符号化バッファ
    の空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された前記差し替え用データ
    を提供する提供ステップを備えることを特徴とするデー
    タ処理方法。
13. 【請求項１３】 １以上のデジタル信号を多重化した多
    重化ストリームの一部の差し替え対象データであって、
    前記差し替え対象データの仮想符号化バッファにおける
    蓄積の軌跡Ｖと、前記差し替え対象データの仮想的なデ
    コーダバッファにおける蓄積量との差Ｕが、すべてのデ
    コード時刻において、予め設定したマージンｍ１以下と
    なり、かつ、前記差し替え対象データの仮想的なデコー
    ダバッファにおける蓄積量と、前記差し替え対象データ
    の仮想符号化バッファにおける蓄積の軌跡との差Ｕ’
    が、すべてのデコード時刻において、予め設定したマー
    ジンｍ２以下となるように、多重化された前記差し替え
    対象データを、他の差し替え用データに差し替えるデー
    タ処理装置に用いるコンピュータプログラムであって、 前記仮想符号化バッファにおける蓄積の軌跡Ｖが、次式 Ｖ＞＝ｍ１ を満足するとともに、 前記デコーダバッファのサイズと仮想符号化バッファの
    サイズの差をＢＳとするとき、前記仮想符号化バッファ
    の空き容量Ｖ’が、次式 Ｖ’＞＝ｍ２−ＢＳ を満足するように、符号化された前記差し替え用データ
    を提供する提供ステップを備えるコンピュータプログラ
    ムを伝送することを特徴とする伝送媒体。