WO1999018720A1

WO1999018720A1 - Encoded stream splicing device and method, and an encoded stream generating device and method

Info

Publication number: WO1999018720A1
Application number: PCT/JP1998/004497
Authority: WO
Inventors: Katsumi Tahara; Mikita Yasuda; Shinji Negishi
Original assignee: Sony Corporation
Priority date: 1997-10-03
Filing date: 1998-10-05
Publication date: 1999-04-15
Also published as: KR20000069258A; EP0944249B1; JPH11220655A; EP0944249A1; CN1244325A; US20020080875A1; CA2273940A1; DE69838869T2; CA2273940C; KR100574186B1; JP3709721B2; EP0944249A4; DE69838869D1; JP4296604B2; CN1148955C; US6529550B2

Description

明細 ^: 符号化ストリ一ムスプライシング装置及び方法、並びに符号化ストリーム生成装置及び方法技術分野本発明は、デジタル放送システムにおいて使用される符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、並びに、符号化ストリーム生成装置及び符号化ストリーム生成方法であって、特には、 2つの符号化ストリームをストリ一ムレべルでスプライシングすることによってシームレスなスプライスドストリームを生成する符号化ス卜リームスプライシング装置及び符号化ストリームスプライシング方法、並びに、符号化ストリーム生成装置及び符号化ストリーム生成方法に関する。背景技術図 1は、現在のテレビジョン放送システムを説明するための図である。現在のテレビジョン放送システムにおいて、各家庭にテレビ番組を配信するための放送局は、全国規模のテレビ番組を制作する本局（キーステーション又はメインステーション） S «と、地方特有のテレビ番組を作成する本局系列の複数の地方局（支局） S _A、 S _B、及びとから構成されている。本局 S _Kは、全国共通のテレビ番組を作成し、その作成したテレビ番組を地方局に伝送するための放送局であって、地方局は、本局から局間伝送によって送られて来たオリジナルテレビ番組、及びそのォリジナルテレビ番組一部を地方特有向けに編集したテレビ番組の両方の番組を地方の家庭に配信するための放送局である。例えば、図 1に示されるように、地方局は、放送ェリア E .,.内の家庭に伝送するテレビ番組を作成する局であって、地方局 S _Bは、放送ェリア E _B内の家庭に伝送するテレビ番組を作成する局であって、地方局は、放送エリア内の家庭に伝送するテレビ番組を作成する局である。尚、この各地方局において行われる編集処理とは、例えば、本局から送られてきたニュース番組に、地方独自の天気予報のプログラムを挿入したり、映画やドラマ等の番組に、地方向けのコマーシャルを挿入したりする処理のことである。図 2は、各地方局における編集処理を説明するための図であって、図 2 Aは、本局において制作されたォリジナルテレビ番組 P を示し、図 2 Bは、地方局において制作された地方向けの差し替えテレビ番組 P G n«であって、図 2 Cは、地方局において編集されたテレビ番組 P G ! を示している。図 2に示された編集処理の例は、本局から伝送されてきたオリジナルテレビ番組のうち、コマーシャル C M 1、プログラム 3、及びコマーシャル C M 3を、地方局において地方向けに制作されたコマーシャル C M 1，、プログラム 3，、及びコマ —シャル C M 3 ' に置き換える編集処理の例である。この地方局における編集処理の結果、図 2 Cに示されるように、本局において生成されたテレビ番組（プログラム 1、プログラム 2、 C M 2、及びプログラム 4 ) と地方局において生成されたテレビ番組（コマ一シャル C M 1，、プログラム 3，、及び C M 3， ) とが混在する地方向けのテレビ番組が生成される。近年、現在のテレビジョン放送システムはアナログのベースバンドのテレビジョン信号を各家庭に配信するアナログ放送であるため、これらのアナログ方法システムを、デジタル技術を使用した次世代の放送システムに置換えようという試みがなされている。このデジ夕ル放送システムは、 MPEG 2 (Moving Picture Experts Group Phase2) 等の圧縮符号化技術を用いてビデオデータやオーディォデ一夕を圧縮符号化し、その符号化されたストリームを地上波や衛星波を利用して各家庭や他局に伝送するシステムである。特に、このデジタル放送システムとして提案されている放送技術の中で、ョー口ツバにおいて次世代の放送方式として提案されている DVB (Di gital Video Broadcasting) 規格が最も有力であって、この DVB 規格がデファクトスタンダートとなりつつある。

次に、図 3を参照して MP E G規格を用いて、ビデオデータとォ —ディォデ一夕を含んだプログラムを送信側システムから受信側システムに伝送する一般的なデジタル伝送システムに関して説明する。一般的なデジタル伝送システムにおいて、伝送側システム 10は、 MP E Gビデオエンコーダ 1 1と、 MP E Gオーディオエンコーダ 12と、マルチプレクサ 13とを備え、受信側システム 20は、デマルチプレクサ 2 1と、 MPEGビデオデコーダ 22と、 MPEG オーディオデコーダ 23とを備えている。

MPEGビデオエンコーダ 1 1は、ベースバンドのソースビデオデ一夕 Vを MP EG規格に基いて符号化し、その符号化したストリームをビデオエレメン夕リストリーム E Sとして出力する。 MPE Gオーディォエンコーダ 12は、ベースバンドのソースオーディォデ一夕 Aを MP E G規格に基いて符号化し、その符号化したストリ —ムをオーディオエレメン夕リストリーム E Sとして出力する。マルチプレクサ 1 3は、 M P E Gビデオエンコーダ 1 1 と M P E Gォ一ディォエンコーダ 1 2から、それぞれビデオエレメン夕リーストリームとオーディオエレメン夕リストリ一ムを受取り、それらのストリームをトランスポ一トストリ一ムバケツ卜の形態に変換し、ビデォエレメン夕リストリームを含んだトランスポートストリームパケットとオーディォエレメン夕リストリ一ムを含んだトランスポ一トストリ一ムパケットを生成する。さらに、マルチプレクサ 1 3は、ビデオエレメン夕リストリームを含んだトランスポー卜ストリームパケットとオーディォエレメン夕リストリ一ムを含んだトランスポートストリームパケッ卜とが混在するように、それぞれのトランスポートストリームバケツトを多重化し、受信システム 2 0に伝送されるトランスポートストリームを生成する。

デマルチプレクサ 2 1は、伝送路を介して伝送されたトランスポートストリームを受取り、ビデオエレメン夕リストリームを含んだトランスポートストリ一ムとオーディォエレメン夕リストリームを含んだトランスポートストリームパケットとに分離する。さらに、デマルチプレクサ 2 1は、ビデオエレメン夕リストリームを含んだトランスポートストリームバケツ卜からビデオエレメン夕リ一ストリームを生成するとともに、オーディオエレメン夕リストリームを含んだトランスポートストリームバケツ卜からオーディオエレメンタリーストリームを生成する。 M P E Gビデオデコーダ 2 2は、デマルチプレクサ 2 1からビデオエレメン夕リ一ストリームを受取り、このビデオエレメン夕リストリームを M P E G規格に基いてデコ一ドし、ベースバンドのビデオデ一夕 Vを生成する。 M P E Gオーディォデコーダ 2 2は、デマルチプレクサ 2 1からオーディオエレメン夕リ一ストリームを受取り、このオーディオエレメン夕リストリームを M P E G規格に基いてデコ一ドし、ベースバンドのオーディォデ一夕 Aを生成する。

さて、従来のァナ口グ放送システムをこのようなデジ夕ル伝送システムの技術を使用してデジタル放送システムに置き換えようとした場合、本局から地方局に向けて伝送されるテレビ番組のビデオデ一夕は、 M P E G 2規格に基いて圧縮符号化された符号化ストリ一ムとなる。従って、地方局において本局から伝送されたオリジナル符号化ストリームの一部を、地方局において制作された符号化ストリームに置換えるための編集処理を行なうためには、この編集処理の前に、一端、符号化ストリームをデコードして、ベースバンドのビデオデ一夕に戻さなければいけない。なぜなら、 M P E G規格に準じた符号化ストリームに含まれる各ビクチャの予測方向は、前後のピクチャの予測方向と相互に関連しているので、ストリーム上の任意の位置において符号化ストリームを接続することができないからである。もし強引に 2つの符号化ストリームをつなげたとすると、符号化ストリームのつなぎめが不連続になってしない、正確にデコ —ドできなくなってしまうことが発生する。

従って、図 2において説明したような編集処理を実現するためには、本局から供給されたオリジナルの符号化ストリームと、地方向けに制作された符号化ストリームの両方を一端デコ一ドし、それぞれをべ一スバンドのビデオ信号に戻すデコード処理と、 2つのべ一スパンドのビデオデ一夕を編集してオンエア用の編集されたビデオデータを生成する編集処理と、編集されたビデオデータを再び符号化して、符号化ビデオストリームを生成するという符号化処理とを行なわなくてはいけない。しかしながら、 M P E G規格に基く符号化/復号化処理は 1 0 0 %可逆の符号化/復号化処理ではないので、復号化処理及び符号化処理を繰り返すたびに画質が劣化してしまうという問題があった。

そこで、近年では、供給された符号化ストリームを復号化処理せずに、符号化ストリームの状態のまま編集することを可能にする技術が要求されるようになってきた。尚、このように符号化されたビットストリ一ムレベルで、異なる 2つの符号化ビットストリームを連結し、連結されたビットストリームを生成することを「スプライシング」と呼んでいいる。つまり、スプライシングとは、符号化ストリームの状態のままで複数のストリームを編集及び接続することを意味する。

しかしながら、このスプライシング処理を実現するためには以下のような 2つの問題点がある。

まず、第 1の問題点について説明する。

上述した M P E Gビデオエンコーダ 1 1及び M P E Gビデオデコーダ 2 2において使用されている M P E G規格では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の 3つのタイプの符号化が行われ、各符号化夕イブによる画像は、それぞれ I ピクチャ（intra coded picture ) 、 Pピクチャ（predictive coded picture) および： Bピクチャ（bidi rectional ly predictive coded picture) と呼ばれる ₀ また、 I， P , Bの各ピクチャを適切に組み合わせて、ランダムアクセスの単位となる GOP (Group of Picture) が構成される。一般的には、各ピクチャの発生符号量は、 Iピクチャが最も多く、次に Pビクチャが多く、 Bピクチャが最も少ない。

M P E G規格のようにピクチャ毎にビット発生量が異なる符号化方法では、得られる符号化ビヅトストリーム（以下、単にストリームとも言う。）をビデオデコーダにおいて正確に復号化して画像を得るためには、ビデオデコーダ 2 2における入力バッファ内のデー夕占有量を、ビデオエンコーダ 1 1で把握していなければならない。そこで、 MP E G規格では、ビデオデコーダ 2 2における入力バッファに対応するバッファとして 'VBV (Video Buffering Verifi er) ノッファ，という仮想バッファを想定し、ビデオエンコーダ 1 1では、 VBVバッファを破綻、つまりアンダフローやオーバフロ一させないように、符号化処理を行なうように定義されている。例えば、この VB Vバッファの容量は、伝送される信号の規格に応じて決められており、メインプロファイル ' メインレベル（MP@M L) のスタンダードビデオ信号の場合であれば、 1. 7 5Mビットの容量を有している。ビデオエンコーダ 1 1は、この VBVバヅファをオーバフローやアンダフ口一させないように、各ピクチャのビット発生量をコントロールする。

次に、図 4を参照して、 VB Vバッファについて説明する。

図 4 Aは、本局において制作されたプログラム 1とコマーシャル CM 1とを含んだォリジナルテレビ番組を、ビデオエンコーダで符号化したォリジナルストリーム S と、そのオリジナルストリーム S Τ, に対応する VB Vバッファのデータ占有量の軌跡を示す図である。図 4 Βは、地方向けに制作されたコマーシャルであって、オリジナルテレビ番組のコマーシャル C M 1の部分に差し替えられるコマーシャル C M 1，を、地方局のビデオエンコーダで符号化した差し替えストリーム S と、その差し替えストリーム S Τ π»の V B V バッファのデータ占有量の軌跡を示す図である。尚、以下の説明において、本局から支局に伝送されたオリジナルテレビ番組を符号化したストリ一ムの一部が支局において作成された新たなストリ一ムによって置き換えられるので、このォリジナルテビ番組を符号化したオリジナルストリームを、古いストリームであることを示す ' S ノと表現し、オリジナルストリーム S 。の一部に新たに差し替えられる差し替えストリームを ' S T ' と表現する。図 4 Cは、スプライスポイント S Pにおいてオリジナルストリーム S に対して差し替えストリ一ム S Τ »πをスプライシングすることによって得られたスプライスドストリーム S T m ( spl iced stream ) と、そのスプライスドストリ一ム S T の V B Vバッファのデ一夕占有量の軌跡を示す図である。

尚、図 4において、 V B Vバッファのデータ占有量の軌跡において、右上がり部分（傾き部分）は伝送ビットレートを表し、垂直に落ちている部分は各ピクチャの再生のためにビデオデコーダがデコ —ダバッファから引き出すビット量を表している。ビデオデコーダがこのデコーダバッファからビットを引き出すタイミングは、デコ —デイングタイムスタンプ（D T S ) と呼ばれる情報によって指定される。なお、図 4において I， P， Bは、それぞれ Iピクチャ， Pピクチャ， Bピクチャを表している。

ォリジナル符号化ストリーム S T。_t。は本局のビデオエンコーダ符号化されたストリームであって、差し替えストリーム S T nwは地方局のビデオエンコーダで符号化されたストリ一ムであるので、ォリジナル符号化ストリ一ム S と差し替えス卜リーム S τ«««とは、それそれのビデオエンコーダで全く関係無く符号化されたストリームである。よって、地方局のビデオエンコーダは、本局のビデオェンコ一ダの VBVバッファのデ一夕占有量の軌跡を全く知らずに、独自に差し替えストリーム S T を生成するための符号化処理を行っているので、スプライスポイント S Ρにおけるオリジナルストリ一ム S Τ 。の VB Vバッファのデ一夕占有量 VB と、スプライスボイント S Pにおける差し替えストリーム S 1¹«₁»の：6¥バヅファのデ一夕占有量 VBV™とは異なってしまう。

つまり、スプライスドストリーム S T のスプライスポイント S P の前後において、 VB Vバッファのデータ占有量の軌跡が不連続にならないようにするためには、スプライスドストリーム S T における差し替えス卜リーム S T の VB Vバヅファのデータ占有量の初期レベルは、 VB Vバッファのデ一夕占有量 VB V。u,にしなければいけない。その結果、図 4に示したように、オリジナルストリーム S T の VB Vバッファのデータ占有量 VB V。よりも、差し替えス卜リーム S の VB Vバヅファのデータ占有量 V B V» の値が小さい場合には、スプライスドストリーム S T における差し替えストリーム S T »の部分で、 VB Vバッファがオーバーフローしてしまう。また、逆に、ォリジナルストリ一ム S T の VB Vバッファのデ一夕占有量 VB V ょりも、差し替えストリーム S 1\ の¥8 バッファのデ一夕占有量 VB Vn«の値が大きい場合には、スプライスストリーム S T における差し替えストリーム S Τπ»の部分で、 VB Vバヅファがァンダーフローしてしまう。次に、第 2の問題について説明する。

MP E G規格に基いて符号化されたストリームのへッダには、符号化情報を示すさまざまなデータエレメントゃフラグが記述されており、これらのデ一夕エレメントゃフラグを使用して符号化ス卜リ一ムを復号化するようになされている。

図 2に示されたォリジナルテレビ番組の本編を構成するプログラム 1、プログラム 2、プログラム 3及びプログラム 4は、ビデオ力メラ等によって撮影された 2 9. 9 7 H z (約 30 H z ) のフレームレ一トを有する N T S C方式のテレビジョン信号とは限らず、 2 4 H z (毎秒 24コマ）のフレームレ一トを有する映画素材からテレビジョン信号に変換された信号であることもある。一般的に、このように 24 H zの映画素材を 2 9. 9 7 H zのテレビジョン信号に変換する処理を、ォリジナル素材における 2個のフィ一ルドを、所定のシーケンスで 3個のフィ一ルドに変換する処理を含むことから、 ' 2 ： 3プルダウン処理，と呼んでいる。

図 5は、この 2 ： 3プルダウン処理を説明するための図である。図 5において、 T 1から T 8は 24 H zのフレーム周波数を有する映画素材のトップフィ一ルドを示し、 B 1から B 9は 24 H zのフレーム周波数を有する映画素材のボトムフィールドを示している。さらに、図 5において示された楕円及び三角形は、トヅプフィ一ルドとボトムフィ一ルドから構成されるフレームの構造を示している。具体的には、この 2 ： 3プルダウン処理において、 24 H zのフレーム周波数を有する映画素材（ 8個のトツプフィ一ルド T 1〜T 8、及び 8個のボトムフィールド Β 1〜Β 8 ) に、ボトムフィ一ルド； Β 2を繰り返すことによって生成されたリピートフィールド Β 2 ' 、トップフィールド T 4を繰り返すことによって生成されたリピ一トフィールド Τ 4 ' 、ボトムフィールド Β 6を繰り返すことによつて生成されたリピートフィールド Β 6 ' 、及びトップフィールド Τ 8を繰り返すことによって生成されたリピートフィールド Τ 8 ' の 4つのリピートフィ一ルドを挿入する処理が行われる。その結果、この 2 ： 3プルダウン処理によって、 2 4 Η ζのフレーム周波数を有する映画素材から 2 9 . 9 7 Η ζのフレーム周波数を有するテレビジョン信号が生成される。

M P E Gエンコーダにおいて、 2 ： 3プルダウン処理されたテレビジョン信号は、ビデオエンコーダにおいてそのまま符号化処理されるのではなく、 2 ： 3プルダウン処理されたテレビジョン信号からリピートフィールドを除去してから、符号化処が行われる。図 5 に示した例では、 2 ： 3プルダウンされたテレビジョン信号から、リピートフィールド Β 2 ' 、 Τ 4，、 Β 6 ' 及び Τ 8，が除去される。このように符号化処理前にリピートフィールドを除去する理由は、このリピートフィールドは、 2 ： 3プルダウン処理時に挿入された冗長なフィールドであって、圧縮符号化効率を向上させるために削除したとしても何ら画質劣化が発生しないからである。

また、 M P E G規格においては、符号化ストリームをデコードする際に、フレームを構成する 2つのフィールドのいずれかのフィ一ルドを繰り返すことによって、リピートフィールドを生成するか否かを示す ' repeat_first— field ' というフラグを記述することを定義付けている。具体的には、 M P E Gデコーダは、符号化ストリ —ムをデコ一ドする際に、符号化ストリーム中のフラグ「repeat_f irst f ield 」が「 1」の場合にはリピートフィールドを生成し、符号化ストリ一ム中のフラグ「repeat— first— field 」が「0」の場合にはリピートフィ一ルドを生成しないという処理を行なう。

図 5に示した例の場合には、トップフィールド T 1とボトムフィ —ルド B 1とから構成されるフレームを符号化したストリームの「 repeat— first_field 」は「 0」であって、トップフィールド T 2とボトムフィールド B 2とから構成されるフレームを符号化したストリームの「 repeat— first_field 」は「 1」であって、トップフィールド T 3とボトムフィールド B 3とから構成されるフレームを符号化したストリ一ムの「 repeat_first_field 」は「0」であつて、トップフィールド T 4とボトムフィ一ルド B 4とから構成されるフレームを符号化したストリームの「 repeat— first_field 」は「 1」であるので、トップフィールド T 2とボトムフィールド B 2とから構成されるフレームの符号化ストリームをデコードする時には、リピートフィールド B 2 ' を生成し、トップフィールド T 4 とボトムフィールド B 4とから構成されるフレームの符号化ス卜リ —ムをデコードする時には、リビートフィールド B 4，を生成する処理を行なう。

さらに、 MP E G規格においては、フレームを構成する 2つのフィールドのうち、最初のフィ一ルドがトップフィ一ルドかボトムフィ一ルドかを示す ' top— field— first ' というフラグを、符号化ストリーム中に記述することを定義している。具体的には、「top— fi eld— first」が「 1」である場合には、トップフィールドがボトムフィールドよりも時間的に早いフレーム構造であることを示し、「to P_field— firstj が「0」の場合には、トップフィールドがボトムフィ一ルドよりも時間的に早いフレーム構造であることを示す。図 5に示した例では、トヅプフィールド T 1 とボトムフィールド B 1から構成されるフレームの符号化ストリームの「top_f ield— fi rst」は「 0」であって、トヅプフィールド T 2とボトムフィールド B 2から構成されるフレームの符号化ス卜リ一ムの「topjield_fi rst」は「 1」であって、トップフィールド T 3とボトムフィールド B 3から構成されるフレームの符号化ストリームの「top_field— fi rst」は「 0」であって、トップフィールド T 4とボトムフィールド B 4から構成されるフレームの符号化ストリームの「top— f ield_fi rstj は「 1」である。

次に、図 6を参照して、符号化ストリームをスプライシング処理したときの「top_field_f irst」及び「 repeat— first— field 」等の M P E G規格において定義されているフラグに関して発生する問題点について説明する。

図 6 Aは、本局において制作されたォリジナルテレビ番組を符号ィ匕したオリジナルストリーム S T OLDのフレーム構造を示している図であって、図 6 Bは、地方局において制作された地方向けのコマ一シャル C 1，を符号化した差し替えストリ一ム S T NEWのフレーム構造を示している図であって、図 6 Cは、スプライシング処理されたスプライスドストリーム S T SPLのフレーム構造を示している図である。

ォリジナルストリ一ム S T OLDにおけるプログラム 1及びプログラム 2は、共に 2 ： 3プルダウン処理された符号化ストリームであつて、本編のコマーシャル C M 1の各フレームは、「 top— field— fir st 」が「0」となっているフレーム構造の符号化ストリームである。また、図 6 Bに示された、地方コマーシャル C M 1 ' は、オリジナルテレビ番組のコマーシャル CM 1の部分に差し替えられる符号化ストリームであって、「top— f ield_f irstj が「 1」となっているフレーム構造の符号化ストリームである。図 6 Cに示されたスプライスドストリーム S T は、プログラム 1で示されるオリジナルストリ —ム S T^の後に、差し替えストリーム S Τ» をスプライスし、さらに、差し替えストリーム S Τ«_Ε»の後に、プログラム 2で示されるオリジナルストリーム S Τ をスプライスすることによって生成されたストリ一ムである。つまり、スプライスドストリーム S Tmは、ォリジナルストリーム S の本編コマーシャル CM 1の替わりに地方コマ —シャル CM 1，を揷入したストリームである。

図 6に示した本局において制作されたコマーシャル CM 1の各フレームは、 top_field_firstが「0」のフレーム構造の符号化ストリームであって、地方局において制作されたコマーシャル CM 1，は、 top_field— firstが「 1」のフレーム構造の符号化ストリームであることを示している。

図 6 A及び図 6 Bに示したように、コマーシャル CM 1のフレーム構造と、コマーシャル CM 1に対して差し替えられる差し替えコマーシャル CM 1，のフレーム構造とが異なる場合に、オリジナルストリーム S P のスプライスポイント S P 1で、プログラム 1のストリームの後にコマーシャル CM 1，のストリームをスプライスすると、スプライスドストリーム S T においてフィールドのギャップが生じてしまう。フィールドのギャップとは、図 6 Cに示されたように、スプライスポイント S P 1におけるボトムフィールド B 6が、スプライスドストリーム S T から脱落し、トップフィールドとボトムフィールドの繰り返しパターンが不連続になっていることを意味している。

このようにフィールドのギヤップが生じてフィールドパターンが不連続になっている符号化ス卜リームは、 M P E G規格違反の符号化ストリームであって、通常の M P E Gデコーダでは正常に復号化できない。

また、図 6 A及び図 6 Bに示したように、オリジナルストリーム S P のスプライスポイント S P 2で、コマーシャル C M 1 ' のストリームの後にプログラム 2のストリームをスプライスすると、スプライスドストリーム S T においてフィールドの重複が生じてします。このフィールドの重複とは、図 6 Cに示されたように、スプライスポイント S P 2におけるボトムフィールド b 1 2及びボトムフィールド B 1 2が同じ表示時間に存在することになつてしまうことを意味している。

このようにフィールドの重複が生じてフィールドパターンが不連続になっている符号化ストリームは、 M P E G規格違反の符号化ストリームであって、通常の M P E Gデコーダでは正常に復号化できない。

つまり、単純にスプラシング処理を行なうと、フィールドパ夕一ン /フレームパターンが不連続になってしまい、 M P E G規格に準じたスプライスドストリ一ムを生成することができなかった。発明の開示本発明の目的は、スプライシングされたストリームの V B Vバッファのデ一夕占有量の軌跡が連続であって、且つ、 V B Vバッファば破綻しないシームレスなスプライシング処理を実現するための符号化ストリームスプライシング装置を提供することにある。さらには、スプライシングポイント前後における、符号化ストリームのストリーム構造が不連続にならないシームレスなスプライシング処理を実現するための符号化ストリームスプライシング装置を提供することにある。

本発明の、符号化ストリームスプライシング装置及び符号化ストリーム生成装置によれば、第 1の符号化ストリームのシンタックスを解析することによって、第 1の符号化ストリームの符号化パラメ一夕を抽出するストリーム解析手段と、ストリーム解析手段によつて得られた第 1の符号化ストリームの符号化パラメ一夕に基いて、スプライシングポィントにおいて第 1の符号化ストリームと第 2の符号化ストリームとがシームレスに接続されるように、第 2の符号化ストリームの符号化パラメ一夕を変更し、第 1の符号化ストリームと符号化パラメ一夕が変更された第 2の符号化ストリームとをスプライシングするスプライシング手段とを備えることによって、スプラィシングされたストリームの V B Vバヅファのデ一夕占有量の軌跡が連続であって、且つ、 V B Vバッファば破綻しないシームレスなスプライシング処理を実現することができる。また、本発明によれば、スプライシングポイント前後における、符号化ストリームのストリーム構造が不連続にならない整合性の取れたシームレスなス卜リームを生成することのできるスプライシング処理を実現できる。

また、本発明の符号化ストリームスプライシング方法及び符号化ストリーム生成方法によれば、第 1の符号化ストリームのシンタツクスを解析することによって、第 1の符号化ストリームの符号化パラメ一夕を抽出するストリーム解析ステップと、ストリーム解析ステツプによって得られた第 1の符号化ストリームの符号化パラメ一夕に基いて、スプライシングポィントにおいて第 1の符号化ストリ一ムと第 2の符号化ストリームとがシームレスに接続されるように、第 2の符号化ストリームの符号化パラメ一夕を変更し、第 1の符号化ストリームと符号化パラメ一夕が変更された第 2の符号化ストリームとをスプライシングするスブライシングステッブとを行なうことによって、スプライシングされたス卜リームの V B Vバッファのデ一夕占有量の軌跡が連続であって、且つ、 V B Vバッファば破綻しないシームレスなスプライシング処理を実現することができる。また、本発明によれば、スプライシングポイント前後における、符号化ストリームのストリーム構造が不連続にならない整合性の取れたシームレスなストリームを生成することのできるスプライシング処理を実現できる。図面の簡単な説明図 1は、一般的なテレビジョン放送システムを説明するための図である。

図 2は、地方局におけるテレビ番組の編集処理を説明するための図である。

図 3は、 M P E G規格を用いた一般的なデジタル伝送システムを説明するための図である。

図 4 A〜図 4 Cは、 V B Vバヅファの制御について説明するための図である。

図 5は、 2 ： 3プルダウン処理を説明するための図である。

図 6 A〜図 6 Cは、符号化ストリームをスプライシング処理したときに発生する問題点を説明するための図である。

図 7は、本発明の実施の形態に係る符号化ストリームスプライシング装置を含むデジタル放送システムを全体構成を示すプロック図である。

図 8は、本局 3 0の M P E Gエンコーダブロック 3 5及び地方局 4 0のエンコーダプロックの構成を詳細に説明するためのプロヅク図である。

図 9 A〜図 9 Dは、ストリーム変換回路においてエレメン夕リ一ス卜リームからトランスポートストリームを生成するときの処理を説明するための図である。

図 1 0は、 M P E Gのビデオエレメン夕リーストリームのシーケンスのシンタックスを説明するための図である。

図 1 1は、シーケンスヘッダ（sequence— header) のシンタックスを説明するための図である。

図 1 2は、シーケンスエクステンション（sequence_extension) のシンタックスを説明するための図である。

図 1 3は、エクステンションアンドュ一ザデータ（extens ion_an d_user_data) のシン夕ックスを説明するための図である。

図 1 4は、グループォブピクチャへッダ（group— of_picture—hea der) のシンタックスを説明するための図である。

図 1 5は、ピクチャヘッダ（picture— headr) のシンタックスを説明するための図である。図 1 6は、ピクチャコ一ディングエクステンション（picture_co ding_extens ion) のシン夕ヅクスを説明するための図である。

図 1 7は、ピクチャへッダ（picture— data) のシンタックスを説明するための図である。

図 1 8は、トランスポートストリームバケツ卜のシンタックスを説明するための図である。

図 1 9は、ァダプテーシヨンフィールド（adaptation_f ie ld) のシン夕ックスを説明するための図である。

図 2 0は、地方局の簡単な構成及びストリームスプライサの構成を説明するためのブロック図である。

図 2 1 A内示図 2 1 Cは、ストリームスプライサの V B Vバッファに関する処理を説明するための図である。

図 2 2 A〜図 2 2 Bは、ストリ一ムスプライサの top_f ield_firs t及び r epeat— f i r s t— f i e 1 dに関する第 1の処理例を説明するための図である。

図 2 3 A〜図 2 3 Cは、ストリ一ムスブラィサの top— f ie ld—f irs t及び repeatj i rst_f i e 1 dに関する第 2の処理例を説明するための図である。発明を実施するための最良の形態図 7は、本発明の実施の形態に係る符号化ス卜リームスプライシング装置を含むデジタル放送システムを構成を示す図である。

図 7に示されているように、一般的には、デジタル放送システムは主局（Key station) 3 0と、この主局系列の地方局 4 0とから構成されている。

主局 3 0は、系列の地方局に対して共通のテレビプログラムを制作及び伝送するための放送局であって、放送システムコトローラ 3 1 と、素材サーバ 3 2と、 C Mサーバ 3 3と、マトリヅクススイツチヤブロック 3 4と、 M P E Gエンコーダブロック 3 5と、マルチプレクサ 3 6と、変調回路 3 7とから構成されている。

放送システムコトロ一ラ 3 1は、素材サーバ 3 2、 C Mサーバ 3 3、マトリックススィッチャブロック 3 4、 M P E Gエンコーダブロック 3 5、マルチプレクサ 3 6、及び変調回路 3 7等の放送局に設けられている全ての装置及び回路を統合的に管理及びコントロールするシステムである。この放送システムコトロ一ラ 3 1は、番組供給会社から供給された番組素材及びプロモーション素材ゃ自局で作成した番組素材や C M素材などのあらゆる素材の放映時間を管理するための番組編成表が登録されており、放送番組編成システム 1 は、この番組編成表に従って、上述した各装置及び回路を制御する。この番組編成表は、例えば、 1時間単位又は 1 日単位の放送番組スケジュールが記録されているィベント情報ファイル、及び 1 5秒単位の放送番組のタイムスケジュールが記録されている運行情報ファィル等から構成されている。

素材サーバ 3 2は、テレビ番組の本編として放送される映画番組、スポーツ番組、娯楽番組、ニュース番組等のビデオデータ及びォ一ディォデ一夕を格納すると共に、放送システムコントロ一ラ 3 1によって指定されたプログラムを、番組編成表のタイムスケジュールに従ったタイミングで出力するためのサーバである。また、この映画番組とは、先に説明したように、 2 4 H zのフレーム周波数を有するフィルム素材から 2 ： 3プルダウン処理することによって 3 0 H zのフレーム周波数を有するテレビジョン信号に変換されたビデォデ一夕である。この素材サーバ 3 2から本編のプログラムとして出力されたビデオデ一夕及びオーディオデ一夕はマ卜リックススィヅチヤブロック 3 4に供給される。例えば、図 2に示した例では、プログラム 1、プログラム 2、プログラム 3及びプログラム 4等がこの素材サーバ 3 2に記録されている。尚、この素材サーバ 3 2に記憶されているビデオデータ及びオーディオデ一夕は、圧縮符号化されていないベースバンドのビデオデータ及びオーディオデータである。

C Mサーバ 3 3は、素材サーバ 3 2から再生された本編のプログラム間に挿入されるコマーシャルを格納すると共に、放送システムコントローラ 3 1によって指定されたコマーシャルを、番組編成表のタイムスケジュールに従ったタイミングで出力するためのサーバである。この C Mサーバ 3 3からコマーシャルとして出力されたビデォデ一夕及びオーディオデータはマトリックススィッチャ 3 4に供給される。例えば、図 2に示した例では、コマーシャル C M 1、コマーシャル C M 2、及びコマーシャル C M 3等が、この C Mサーバ 3 3に記録されている。尚、この C Mサーバ 3 3に記憶されているビデオデータ及びオーディオデ一夕は、圧縮符号化されていないベースバンドのビデオデータ及びオーディオデータである。

マトリックススィッチヤブロック 3 5は、スポーツ中継やニュース番組等のライブプログラム、素材サーバ 3 2から出力された本編プログラム、及び C Mサーバ 3 3から出力されたコマーシャルプログラムをそれぞれルーティングするマトリックス回路を有している。さらに、マトリックススィッチャブロック 3 5は、放送システムコントローラによって決定された番組編成表のタイムスケジュールに従ったタイミングで、素材サーバ 3 2から供給された本編プログラムと C Mサーバ 3 3から供給されたコマーシャルプログラムを接続してスィヅチングするスィヅチング回路を有している。このスィッチング回路によって、本編プログラムと C Mプログラムをスィツチングすることによって、例えば図 2に示した伝送プログラム P G 0L Dを生成することができる。

M P E Gエンコーダプロック 3 5は、マトリックススィッチャブロックから出力されたベースバンドのビデオデータ及びオーディオデ一夕を M P E G 2規格に基いて符号化するためのプロックであつて、複数のビデオエンコーダ及びオーディオエンコーダを有している。

マルチプレクサ 3 6は、 M P E Gエンコーダブロック 3 5から出力された 9チャンネルのトランスポートス卜リームを多重化して、 1つの多重化トランスポートストリームを生成する。従って、出力される多重化トランスポートストリーム中には、 1から 9チャンネルまでの符号化ビデオエレメン夕リーストリ一ムを含んだトランスポートス卜リームバケツ卜と 1チャンネルから 9チャンネルまでの符号化オーディォエレメンタリーストリームを含んだトランスポートストリームバケツトとが混在しているストリームである。

変調回路 3 7は、トランスポートストリームを Q P S K変調して、その変調されたデータを伝送路を介して、地方局 4 0及び家庭 6 1 に ίΕ达す。

次に、地方局 4 0の全体構成に関して、図 7を参照して説明する。地方局 4 0は、本局から送られてきた共通のテレビプログラムを地方向けに編集し、地方向けに編集されたテレビ番組みを各家庭に放映するめの放送局であって、放送システムコ一トローラ 4 1 と、復調回路 4 2と、デマルチプレクサ 4 3 と、ストリーム変換回路 4 4と、素材サーバ 4 6と、 C Mサーバ 4 7と、エンコーダプロヅク 4 8と、ストリームサーバ 4 9と、ストリームスプライサ 5 0と、ストリームプロセッサ 5 1 と、マルチプレクサ 5 2と、変調回路 5 3とを備えている。

放送システムコトロ一ラ 4 1は、本局 3 0の放送システムコントローラ 3 1 と同じように、復調回路 4 2、デマルチプレクサ 4 3、ストリーム変換回路 4 4、素材サーバ 4 6、 C Mサーバ 4 7、ェンコーダブロック 4 8、ストリームサーバ 4 9、ストリ一ムスプライサ 5 0、ストリームプロセッサ 5 1、マルチプレクサ 5 2、変調回路 5 3等の地方局に設けられている全ての装置及び回路を統合的に管理及びコントロールするシステムである。この放送システムコントローラ 4 1は、本局 3 0における放送システムコントローラ 3 1 と同様に、本局 3 0から供給された伝送プログラムに対して、自局で作成した番組や C Mなどを挿入した編集テレビ番組の放映時間を管理するための番組編成表が登録されており、この番組編成表に従つて、上述した各装置及び回路を制御する。

復調回路 4 2は、伝送路を介して本局 3 0から伝送された伝送ピログラムを Q P S K復調することによって、トランスポ一トストリームを生成する。

デマルチプレクサ 4 3は、復調回路 4 2から出力されたトランスポ一トスリームをデマルチプレックスして 9チャンネルのトランスポートストリームを生成し、それぞれのチャンネルのトランスポートストリ一ムをストリーム変換回路 4 4に出力する。つまり、このデマルチプレクサ 4 3は、本局 3 0のマルチプレクサ 3 6とは逆の処理を行なう。

ストリーム変換回路 4 4は、デマルチプレクサ 4 3から供給されたトランスポ一トストリームをエレメン夕リーストリームの形態に変換するための回路である。

素材サーバ 4 6は、地方向けのテレビ番組として放送される娯楽番組、ニュース番組等のビデオデ一夕及びオーディオデータを格納しているサーバである。 C Mサーバ 4 7は、本局 3 0から供給された本編プログラム間に挿入される地方向けコマーシャルのビデオデ —夕及びォ一ディォデ一夕を格納するためのサーバである。この素材サーバ 4 6及び C Mサーバ 4 7に記憶されているビデオデ一夕及びオーディオデ一夕は、圧縮符号化されていないベースバンドのビデォデ一夕及びオーディオデータである。

エンコーダプロック 4 8は、素材サーバ 4 6及び C Mサーバ 4 7 から供給された複数チャンネルのビデオデータ及び複数チャンエルのオーディオデ一夕を符号化するためのプロックであって、複数チヤンネルに対応した複数のビデオエンコーダ及び複数のォ一ディォエンコーダを備えている。このエンコーダブロック 4 8と本局 3 0 の M P E Gエンコーダブロック 3 5との違いは、本局 3 0の M P E Gエンコーダブロック 3 5はトランスポートス卜リームを出力するのに対して、この地方局 4 0のエンコーダブロック 4 8は、エレメン夕リーストリーム出力する点で異なっているが、このエンコーダプロック 4 8の実質的な機能及び処理は本局 3 0の M P E Gェンコ一ダブロック 3 5と全く同じである。エンコーダブロック 4 8から出力された複数チヤンネルのエレメン夕リーストリームのうち 3チヤンネル分のエレメン夕リーストリームが、ストリームサーバ 4 9 に供給され、残りのチャンネルのエレメンタリ一ストリームは、ストリームスプライサ 5 0に供給される。

ストリームサーバ 4 9は、エンコーダプロヅクから供給された 3 チヤンネル分のェレメンタリーストリ一ムを受取り、ストリ一ムの状態でランダムアクセス可能な記録媒体にストリームの状態で記録すると共に、放送システムコントローラ 4 1からの制御にしたがつて、そのエレメンタリーストリームをランダムァセクス可能な記録媒体から再生する。

ス卜リ一ムスプライサ 5 0は、エンコーダブロック 4 8及びストリームサーバ 4 9から供給された複数のエレメン夕リースをルーティングして所定の出力ラインに出力すると共に、本局 3 0から供給されたエレメンタリーストリームと、地方局 4 0において生成されたエレメン夕リーストリームとをストリームレベルでスプライシングするためのプロヅクである。このストリ一ムスプライサ 5 0における処理は、詳しくは後述する。

ストリーム変換回路 5 1は、ストリームスプライサ 5 0からスプライスドストリームとして出力されたエレメンタリーストリームを受けとり、このエレメン夕リ一ストリームをトランスポートストリ —ムに変換する回路である。

マルチプレクサ 5 2は、本局 3 0のマルチプレクサ 3 6と同じように、ストリーム変換回路から出力された 9チャンネルのトランスポートストリームを多重化して、 1つの多重化トランスポ一トストリームを生成する。

変調回路 5 3は、トランスポートストリームを Q P S K変調して、その変調されたデータを伝送路を介して、各家庭 6 2に配信する。図 8は、本局 3 0の MP E Gエンコーダブロック 3 5及び地方局 40のエンコーダプロック 48の構成を詳細に説明するためのプロック図である。本局 3 0の MP E Gエンコーダプロック 3 5と地方局 4◦のエンコーダプロック 48とは実質的に同じ構成であるので、本局 30の MP E Gエンコーダプロヅク 3 5を例にあげて、その構成及び昨日を説明する。

MP E Gェンコ一ダブ口ック 3 5は、この MP E Gエンコーダブロック 3 5の全ての回路を集中的に制御するためのエンコーダコントロ一ラ 3 50と、供給された複数チャンネルのビデオデータをェンコ一ドするための複数の MP E Gビデオエンコーダ 3 5 1 - 1 V ~3 5 1— 9 Vと、ビデオデータにそれぞれ対応する複数のオーディォデ一夕を MP E G 2規格に基いて符号化するための MP E Gォ —ディォエンコーダ 3 5 1— 1 A〜3 5 1— 9 Aとを有している。さらに、 MP E Gエンコーダブロック 3 5は、各ビデオェンコ一ダ 3 5 1— I V〜 3 5 1— 9 Vからそれぞれ出力された符号化エレメン夕リーストリーム（E S) をトランスポートストリームに変換するストリーム変換回路 3 52— I V〜 3 5 2— 9 Vと、各オーディォエンコーダ 3 5 1— 1 A〜3 5 1一 9 Aからそれぞれ出力された符号化エレメンタリーストリーム（E S) をトランスポートストリームに変換するストリーム変換回路 3 52— 1 Α〜3 52— 9 Α と、第 1チャンネル（ l c h) のビデオエレメンタリーストリームを含んだトランスポートストリームと、第 1チャンネル（ 1 c h) のオーディオエレメンタリーストリームを含んだトランスポートストリームとをトランスポートストリームパケッ卜単位で多重化するマルチプレクサ 3 5 3— 1と、第 2チャンネル（ 2 c h) のビデオエレメンタリーストリームを含んだトランスポートストリームと、第 2チャンネル（ 2 c h) のオーディオエレメンタリーストリームを含んだトランスポ一トストリームとをトランスポートス卜リームパケット単位で多重化するマルチプレクサ 3 53— 2と、第 9チャンネル（ 9 c h) のビデオエレメンタリーストリームを含んだトランスポートストリームと、第 9チャンネル（ 9 c h) のォ一ディォエレメン夕リーストリームを含んだトランスポートス卜リ一ムとをトランスポ一トス卜リームバケツト単位で多重化するマルチプレクサ 3 53— 9とを備えている。

図 8に示した M P E Gエンコーダブロック 3 5は、 9チャンネルの伝送プログラムをェンコ一ドする構成となっているが、 9チャンネルに限らず何チヤンネルであっても良いことは言うまでもない。図 8に示した MP E Gエンコーダプロック 3 5は、各チヤンネルの伝送プログラムの伝送レ一トを、符号化するビデオデータの絵柄に応じてダイナミックに変化させる統計多重という制御を行なう。この統計多重という手法は、あるチャンネルの伝送プログラムのピクチャの絵柄が比較的簡単であって、このピクチャを符号化するためにそれほど多くのビットを必要としない場合であって、一方、その他のプログラムのピクチャの絵柄が比較的難しく、このピクチャを符号化するために多くのビットを必要とすような場合には、あるチェンネルのピクチャを符号化するためのビットを、その他のチヤンネルのピクチャを符号化するビッ卜に割当てることによって、伝送路の伝送レートを効率良くしょうすることができる方法である。以下に、このようにダイナミックに各ビデオエンコーダの符号化レ一トを変化させる方法について簡単に説明する。

各ビデオエンコーダ 3 5 1— 1 V〜 3 5 1— 9 Vは、まず、符号化処理の前に行われる動き補償の結果得られた動き補償残差ゃィントラ A C等の統計量から、符号化対象となっているピクチャを符号化するためにどの程度のビッ卜量が必要かを示すディフィカルティデ一夕（ Diff iculty Data ) D 1〜D 9を生成する。このディフィカルテイデ一夕とは、符号化難易度を示す情報であって、ディフィカルティが大きいということは符号化対象となっているピクチャの絵柄が複雑であることを表わし、ディフィカルティが小さいということは符号化対象となっているピクチャの絵柄が簡単であることを表わしている。このディフィカルテイデ一夕は、ビデオエンコーダにおける符号化処理時に使用される、ィントラ A Cや動き補償残差 ( M E残差）等の統計量に基いて、概算することができる。

エンコーダコントローラ 3 5 0は、各ビデオエンコーダ 3 5 1— I V〜 3 5 1— 9 Vからそれぞれ出力されたディフィカルテイデ一夕 D 1〜D 9を受取り、それらのディフイカルティデ一夕 D 1〜D 9に基いて、各ビデオエンコーダ 3 5 1— 1 V〜 3 5 1— 9 Vに対する夕一ゲットビットレ一ト R 1〜R 9をそれぞれ演算する。具体的には、以下の式（ 1 ) に示すように、エンコーダコントロ一ラ 3 5 0は、伝送路のトータル伝送レート Total— Rate を、ディフイカルティデータ D 1〜D 9を用いて比例配分することによって、夕一ゲットビットレート R 1〜 R 9を求めることができる。

R i = ( D i /∑ D k ) x Total Rate · · ' ( 1 ) 式（ 1 ) において、「R i」は「 i」チャンネルの伝送プログラムのターゲヅトビッ卜レート、「 D i」は「 i」チャンネルの伝送プログラムのピクチャを符号化するためのディフィカルテイデ一夕、「 ∑ 」は k= l〜 9チャンネルのディフイカルティデ一夕の総和を意味する。

エンコーダコントローラ 350は、式（ 1 ) に基いて演算した夕ーゲットビットレート R 1〜R 9を、それぞれ対応するビデオェンコーダ 35 1— IV〜 35 1— 9 Vに供給する。この夕一ゲッ卜ビットレート R 1〜R 9を演算する単位は、各ピクチャ毎であっても良いし、また GO P単位であっても良い。

ビデオエンコーダ 35 1— 1 V〜 35 1— 9 Vは、エンコーダコントロ一ラ 350から供給された夕一ゲットビットレート R 1〜R 9をそれぞれ受取り、この夕ーゲットビヅトレート R 1~R 9に対応するように符号化処理を行なう。このように符号化するピクチャの符号化難易度を示すディフィカルテイデ一夕に基いて、各ビデオエンコーダから出力される符号化ストリ一ムのビットレートをダイナミックに変更することによって、符号化すべきピクチャの符号化難易度に対して最適な量のビットを割り当てることができ、さらに、各ビデオエンコーダからそれぞれ出力されるビットレートの総量が、伝送路のトータル伝送レート Totaし Rate をオーバーフロ一することがない。

ストリーム変換回路 352— I V〜 352— 9 V及び、ストリ一ム変換回路 352— 1 A〜 352— 9 Aは、共に、エレメンタリーストリームをトランスポートストリームに変換するための回路である。図 9を参照して、ビデオエンコーダ 35 1 - 1 Vにおいて、供給されたソースビデオデ一夕を符号化してビデオエレメン夕リ一ストリームを生成し、そのビデオエレメンタリーストリームを、ストリーム変換回路 352— 1 Vにおいてトランスポートストリームに変換する例を挙げて、ビデオエレメン夕リ一ストリームからトランスポートストリームを生成する過程について説明する。

図 9 Aは、ビデオエンコーダ 35 1 - 1 Vに供給されるソ一スビデォデ一夕を示し、図 9 Bは、ビデオエンコーダ 35 1— 1 Vから出力されたビデオエレメンタリーストリーム（E S) を示し、図 9 Cは、バケツライズドエレメンタリーストリーム（PE S) 、図 9 Dは、トランスポ一トストリーム（ T S ) を示している。

図 9 Bに示したストリーム V 1、 V2、 V 3及び V 4のように、 MP E G 2規格において符号化されたエレメン夕リ一ストリームのデータ量は、ビデオフレームのピクチャタイプ（ Iピクチャ、 Pビクチャ又は Bピクチャ）及び動き補償の有無に応じて異なってくる。図 9 Cに示したパケッタイズドエレメンタリーストリーム（PE S) は、その複数のエレメン夕リ一ストリームをパケット化し、その先頭に PE Sヘッダを付加することによって生成される。例えば、この PE Sヘッダには、 P E Sパケットの開始を示す 24 〔bit 〕のバケツト開始コードと、 P E Sパケッ卜の実データ部分に収容されるストリームデータの種別（例えばビデオや音声等の種別）を示す 8 〔bit 〕のストリーム I Dと、以降に続くデータの長さを示す 16 (bit 〕のパケット長と、値「10」を示すコードデ一夕と、各種フラグ情報が格納されるフラグ制御部と、コンディショナル ' コーディング部のデータの長さを示す 8 〔bit 〕の PE Sヘッダ長と、 P T S ( Presentation Time Stamp ) と呼ばれる再生出力の時間情報や D T S ( Decoding Time Stamp ) と呼ばれる復号時の時刻管理情報、或いはデ一夕量調整のためのスタッフイングバイト等が格納される可変長のコンディショナル · コーディング部とによって構成される。

トランスポートストリーム（T S ) は、 4バイトの T Sヘッダと 1 8 4バイ卜の実デ一夕が記録されるペイロード部とから成るトランスポ一トストリームバケツトのデ一夕列である。このトランスポ一トストリ一ムパケット（ T Sパケット）を生成するためには、まず、 P E Sパケットのデ一夕ストリームを 1 8 4バイト毎に分解し、その 1 8 4バイ卜の実デ一夕を T Sバケツ卜のペイロード部に挿入し、その 1 8 4バイ卜のペイ口一ドのデ一夕に 4バイ卜の T Sへッダを付加することによってトランスポートストリームパケットが生成される。

次に、図 1 0から図 1 7を参照してエレメンタリーストリームのシン夕ックス及び構造について説明すると共に、図 1 8から図 1 9 を参照してトランスポ一トストリームのシン夕ックス及び構造について詳しく説明する。

図 1 0は、 M P E Gのビデオエレメンタリーストリームのシン夕ックスを表わした図である。ビデオエンコーダプロック 3 5内の各ビデオエンコーダ 3 5 1— 1 V〜 3 5 1— 9 Vは、この図 1 0に示されたシン夕ックスに従った符号化エレメン夕リ一ストリームを生成する。以下に説明するシンタックスにおいて、関数や条件文は細活字で表わされ、データエレメントは、太活字で表されている。デ —夕項目は、その名称、ビット長及びそのタイプ ·伝送順序を示す二一モニック（Mnemonic) で記述されている。

まず、この図 1 0に示されているシンタックスにおいて使用されている関数について説明する。実際には、この図 1 0に示されているシンタックスは、ビデオデコーダ側において伝送された符号化ストリームから所定の意味のあるデ一夕を抽出するために使用されるシン夕ヅクスである。ビデオエンコーダ側において使用されるシンタックスは、図 1 0に示されたシン夕ックスから if分や while文等の条件文を省略したシンタックスである。

video一 sequesce( )におレヽて最初に H己述されてレヽる next—start— cod e()関数は、ビットストリーム中に記述されているスタートコードを探すための関数である。この図 6に示されたシンタックスに従って生成された符号化ストリームには、まず最初に、 sequence_header ()関数と sequence_extension()関数によって定義されたデ一夕エレメントが記述されている。この sequence— header()関数は、 MP E G ビットストリ一ムのシーケンスレイヤのヘッダデ一夕を定義するための関数であって、 sequence— extension()関数は、 MP E Gビットストリームのシーケンスレイヤの拡張デ一夕を定義するための関数である。

sequence_extension()関数の次に配置されている do{ }while構文は、 while文によって定義されている条件が真である間、 do文の { } 内の関数に基いて記述されたデ一夕エレメントが符号化デ一タストリーム中に記述されていることを示す構文である。この while文に使用されている nextbits()関数は、ビットストリーム中に記述されているビヅト又はビット列と、参照されるデ一夕エレメントとを比較するための関数である。この図 6し示されたシン夕ックスの例では、 nextbits( )関数は、ビットストリーム中のビット列とビデオシーケンスの終わりを示す sequence_end_codeとを比較し、ビットストリ一ム中のビット歹 ijと sequence—end一 codeとが一致しなレ、とき（こ、この w hi le文の条件が真となる。従って、 sequence— extension( )関数の次に配置されている do{ hi le構文は、ビットストリーム中に、ビデォシーケンスの終わりを示す sequence— end_codeが現れない間、 do文中の関数によって定義されたデータエレメン卜が符号化ビットストリーム中に記述されていることを示している。

符号化ビットストリームにおいて、 sequence— extens ion( )関数によって定義された各データエレメン卜の次には、 extension— and_us er_data( 0 )関数によって定義されたデータエレメントが記述されている。この extension— and__user_data( 0 )関数は、 M P E Gビットストリ一ムのシーケンスレイヤにおける拡張デ一夕とユーザデータを定義するための関数である。

この extension— and— user一 data( O )関数の次に配置されている do { }whi le構文は、 whi le文によって定義されている条件が真である間、 do文の { }内の関数に基いて記述されたデータエレメントが、ビットス卜リームに記述されていることを示す関数である。この whi le文において使用されている nextbits( )関数は、ビットストリーム中に現れるビッ卜又はビッ卜列と、 picture— start_code又は group— start— codeとの一致を判断するための関数であるって、ビットストリーム中（こ現れるビッ卜又 (まビヅ卜歹と、 picture— start— code又 (ま group— start_codeとが一致する場合には、 whi le文によって定義された条件が真となる。よって、この do{ hi le構文は、符号化ビヅトストリ一ム中（こおヽて、 picture start code又（ま group start codeが現れた場合には、そのスタートコードの次に、 do文中の関数によって定義されたデ一夕エレメントのコードが記述されていることを示している。

この do文の最初に記述されている if文は、符号化ビットストリーム中に group一 start— codeが現れた場合、という条件を示しいる。この if文による条件は真である場合には、符号化ビットストリーム中 (こ ίま、この group一 start— codeの次（こ group— of— picture— header( )関数及び extension— and— user_data( l )関数（こよつて定義されてレヽるデー夕エレメン卜が順に記述されている。

この group—of_picture_header( )関数は、 M P E G符号化ビットストリームの G O Pレイヤのヘッダデータを定義するための関数であつて、 extension_and_user— data( l )関数は、 M P E G符^化ビットストリームの G O Pレイヤの拡張デ一夕及びユーザデ一夕を定義するための関数である。

さらに、この符号化ビットストリームにおいて、 group_of_pictu re_header( )関数及び extension— and— user— data( l )関数によつて定！^ されているデ一夕エレメン卜の次には、 picture— header( )関数と pi cture— coding— extension( )関数によつて定義されたデータェレメン卜が記述されている。もちろん、先に説明した if文の条件が真とならなレヽ場合（こ（ま、 group— of—picture— header( )関数及び extension一 and_user— data( l )関数によって定義されているデ一夕エレメントは記述されていないので、 extens ion— and—user— data( 0 )関数によって定義されているデ一夕エレメン卜の次に、 picture— header( )関数、 picture— coding— extension( )関数及び extension— and— user— data( 2 ) 関数によって定義されたデ一夕エレメン卜が記述されている。この picture— header( )関数は、 M P E G符号化ビットストリ一ムのピクチャレイヤのヘッダデータを定義するための関数であって、 picture— coding_extension( )関数は、 M P E G符号化ビットストリ —ムのピクチャレイヤの第 1の拡張データを定義するための関数である。 extension_and_user— data(2 )関数は、 M P E G符号化ビットストリームのピクチャレイヤの拡張データ及びユーザデータを定義するための関数である。この extension— and_user_data(2 )関数によつて定義されるユーザデータは、ピクチャレイヤに記述されているデータであって、各ピクチャ毎に記述することのできるデータであるので、本発明においては、この extension— and_user—data( 2 )関数によって定義されるユーザデータとして、タイムコード情報を記述するようにしている。

符号化ビットストリームにおいて、ピクチャレイヤのユーザデー夕の次には、 picture— data( )関数によって定義されるデ一夕エレメントが記述されている。この picture— data( )関数は、スライスレイャ及びマクロプロックレイヤに関するデ一夕エレメントを記述するための関数である。

この picture_data( )関数の次に記述されている whi le文は、この w hile文によって定義されている条件が真である間、次の if文の条件判断を行うための関数である。この whi le文において使用されている nextbits( )関数は、符号化ビットストリーム中に、 picture— start— code又は group_start_codeが記述されているか否かを判断するための関数であって、ビットストリーム中に picture— start— code又は gr oup一 st art— c odeが記述されている場合には、この wh i 1 e文によって定義された条件が真となる。次の if文は、符号化ビヅトストリーム中に sequence— end_code が記述されているか否かを判断するための条件文であって、 sequence _end_code が記述されていないのであれば、 sequence_header( )関数と sequence— extens ion( )関数とによって定義されたデ一夕エレメントが記述されていることを示している。 sequence— end—codeは符号化ビデオストリームのシーケンスの終わりを示すコードであるので、符号化ストリ一ムが終了しない限り、符号化ストリーム中には sequ ence— header ( )関数と sequence_extens ion( )関数とによつて定義されたデ一夕エレメントが記述されている。

この sequence— header( )関数と sequence— extens ion( )関数によって記述されたデータエレメントは、ビデオストリームのシーケンスの先頭に記述された sequence_header( )関数と sequence— extens ion( )関数によって記述されたデ一夕エレメントと全く同じである。このように同じデータをス卜リーム中に記述する理由は、ビットストリーム受信装置側でデータストリームの途中（例えばピクチャレイヤに対応するビットストリーム部分）から受信が開始された場合に、シ —ケンスレイヤのデ一夕を受信できなくなり、ストリームをデコード出来なくなることを防止するためである。

この最後の sequence— header( )関数と sequence_extens ion( ) 数とによって定義されたデータエレメントの次、つまり、デ一タストリ —ムの最後には、シーケンスの終わりを示す 3 2ビットの sequence —end— codeが記述されている。

以下に、 sequence— header( )関数、 sequence—extension( )関数、 e xtens ion— and— user一 data( O )関数、 group— of— pi cture— header ( ) (¾敛及び extens i on_and_user_data( 1 )関数について詳細に説明する。図 1 1は、 sequence_header( )関数のシンタックスを説明するための図である。この sequence_header( )関数によって定義されたデ一夕エレメントは、 sequence_header_codeヽ sequence_header— present— f lag、 horizontal— s ize— value、 vertical— si ze— value、 aspect— rat io— information、 frame— rate— code、 bit— rate— value、 marker— bit、 VBV_buff er_size— value、 constrained— parameter— flag、 load— intr a— quantizer— matrix、 intra— quant izer—matrix、 load_non_intra_q uantizer_matrix、及び non_intra— quantizer— matrix等である。

sequence— header_codeは、シ一ケンスレイヤのスター卜同期コ一ドを表すデ一夕である。 sequence— header—present一 f lagは、 sequen cejieader内のデータが有効か無効かを示すデータである。 hori zo ntal— s ize一 valueは、画像の水平方向の画素数の下位 12ビッ卜から成るデ一夕である。 vertical— size— valueは、画像の縦のライン数の下 12ビットからなるテ一夕である。 aspect— ratio— informationは、画素のァスぺクト比（縦横比）または表示画面ァスぺクト比を表すデータである。 frame_rate— codeは、画像の表示周期を表すデータである。 bit_rate_valueは、発生ビッ卜量に対する制限のためのビット · レートの下位 18ビット（400bsp単位で切り上げる）データである。 marker_bitは、ス夕一トコ一ドエミュレ一ションを防止するために挿入されるビットデ一夕である。 VBV_buffer_size_valueは、発生符号量制御用の仮想バッファ（ビデオバッファべリファイャ一）の大きさを決める値の下位 10ビットデ一夕である。 constrained_parame ter_f lagは、各パラメ一夕が制限以内であることを示すデータである。 load— intra— quantizer— matrixは、イン卜ラ MB用量子化マ卜リヅクス · デ一夕の在を示すデ一夕である。 intra— quantizer matrix は、ィントラ M B用量子化マトリックスの値を示すデータである。 load— non— intra— quantizer一 matrixは、非ィン卜ラ M B用量子ィ匕マ卜リヅクス ·デ一夕の？？在を示すデ一夕である。 non— intra— quantize rjnatrixは、非ィントラ M B用量子化マトリックスの値を表すデ一夕である。

図 1 2は sequence— extension( )関数のシン夕ックスを説明するための図である。この sequence_extens ion( )関数によって定義されたデ一夕エレメントとは、 extension_start_code_N extension_start_ code—identif ier、 sequence— extension— present— f lag、 proi i le— an d_leve l— indication、 progressive— sequence、 chroma— format；、 hor i zontal一 si ze— extension、 vertical_si ze— extens ion、 bit— rate— ex tension^ vbv— buffer_size— extens ion、 low_delay、 frame— rate— ex tens ion— n 、及び frame— rate_extension— d等のデ一夕エレメントである。

extension— start— codeは、エクステンションデ一夕のス夕一卜同期コードを表すデータである。 extension— start— code— identif ierは、どの拡張データが送られるかを示すデ一夕である。 sequence— exten s ion_present_flagは、シーケンスェクステンション内のデータが有効であるか無効であるかを示すスデ一夕である。 prof i 1 e_and_leve し indicationは、ビデオデータのプロフアイルとレベルを指定するための 5—夕である。 progressive— sequenceは、ビデオデ一夕が順次走査であることを示すデータである。 chroma_formatは、ビデオデ —夕の色差フォーマツトを指定するためのデ一夕である。 horizont al— s ize— extensionは、シーケンスへヅダの horizntal— si ze— valueにカロえる上位 2 ビヅ卜のデータである。 vertical s ize extensionは、シ一ケンスへッダの vertical—si ze一 value力 Πえる上位 2ビットのデ一夕である。 bit— rate— extensionは、シーケンスヘッダの bit— rate— v alueに加える上位 1 2ビットのデ一夕である。 vbvjmffer— size_ex tens ionは、シ——ケンスへッ夕'、の vbv— buf fer— si ze_valueにカロえる上位 8 ビットのデータである。 low— delayは、 Bピクチャを含まないことを示すデータである。 frame— rate— extension—nは、シーケンスへッダの frame_rate_codeと組み合わせてフレームレートを得るためのデ一夕である。 irame— rate— extens ion— dは、シーケンスヘッダの fr ame_rate— codeと組み合わせてフレームレートを得るためのデ一夕である。

図 1 3は、 extens ion— and— user_data( i )関数のシンタックスを説明するための図である。この extens ion_and— user_data( i )関数は、「i」が 2以外のときは、 extension_data( )関数によって定義されるデ一夕エレメントは記述せずに、 user— data( )関数によって定義されるデータエレメントのみを言己述する。よって、 extension— and— user — data( O )関数は、 user_data( )関数によって定義されるデータエレメントのみを記述する。

図 1 4は、 group— of_picture—header( )関数のシンタックスを説明するための図である。この group— of— picture— header( )関数によって定義されたデータエレメントは、 group一 start_code、 group_of_pic ture_header_present_f l ags time— code、 c losed— gop、及び broken— l inkから構成される。

group_start— codeは、 G O Pレイヤの開始同期コ一ドを示すデ一夕である。 group— of— picture— header— present— f lagは、 group— oi — picture_header内のデ一夕エレメン卜が有効であるか無効であるかを示すデ一夕である。 time— codeは、 G 0 Pの先頭ビクチャのシ一ケンスの先頭からの時間を示すタイムコードである。 c losed_gopは、 G 0 P内の画像が他の G 0 Pから独立再生可能なことを示すフラグデ一夕である。 broken— l inkは、編集などのために G〇 P内の先頭の Bピクチャが正確に再生できないことを示すフラグデ一夕である。 extension— and— user—data( 1 )関数は、 extension— and— user— data ( 0 )関数と同じように、 user— data( )関数によって定義されるデータエレメントのみを記述するための関数である。

次に、図 1 5から図 1 7を参照して、符号化ストリームのピクチャレイヤに関するデ一夕エレメントを記述するための picture_head rリ関数、 picture— coding— extension( )関数、 extens ions— and— user _data( 2 )及び picture— data( )について説明する。

図 1 5は picture_headr( )関数のシン夕ックスを説明するための図である。この picture_headr( )関数によって定義されたデータエレメントは、 picture— start— code、 temporal— reference、 picture— codi ng— type、 vbv— delay、 ful l_pel— forward— vector、 forward— f—code、 ful l— pel_backward__vector、 backward— f一 code、 extra— bit一 picture、及び extra一 information一 pictureである。

具体的には、 picture_start— codeは、ピクチャレイヤの開始同期コードを表すデ一夕である。 temporaし referenceは、ピクチャの表示順を示す番号で G O Pの先頭でリセッ卜されるデータである。 pi cture— coding— typeは、ピクチャタイプを示すデ一夕である。

vbv_delayは、 V B Vバヅファの初期状態を示すデータであって、各ピクチャ毎に設定されている。送信側システムから受信側システムに伝送された符号化エレメンタリ一ストリームのピクチャは、受信側システムに設けられた V B Vバッファにバッフアリングされ、 D T S ( Decoding Time Stamp) によって指定された時間に、この V B Vバッファから引き出され（読み出され）、デコーダに供給される。 vbv_de layによって定義される時間は、復号化対象のピクチャが V B Vバッファにバッファリングされ始めてから、符号化対象のピクチャが V B Vバッファから引き出される時間、つまり D T Sによつて指定された時間までを意味する。本発明の符号化ストリームスプライシング装置においては、このピクチャヘッダに格納された vb V— de layを使用することによって、 V B Vバッファのデ一夕占有量な不連続にならないシームレスなスプライシングを実現するようにしている。詳しくは後述する。

ful l— pel— forward_vectorは、順方向動きべクトルの精度が整数単位か半画素単位かを示すデ一夕である。 forward— f_codeは、順方向動きべクトル探索範囲を表すデータである。 ful l— peし backward_ve ctorは、逆方向動きべクトルの精度が整数単位か半画素単位かを示すデータである。 backward— f— codeは、逆方向動きべクトル探索範囲を表すデ一夕である。 extra— bit— pictureは、後続する追加情報の存在を示すフラグである。この extra_bit— pictureが「 1」の場合には、次に extra— information— pictureが存在し、 extra一 bit— picture が「0」の場合には、これに続くデータが無いことを示している。 extra— information— pictureは、規格において予約された情報である。図 1 6は、 picture_coding_extens ion( )関数のシンタックスを説明するための図である。この picture— coding_extension( )関数によつて定義されたデ一夕エレメントとは、 extension_start_code、 ex tension_start code identif iers ： f _code[0] [0]、 f code [0] [ l ]、 f — code[l][0]、 f— code[l] [1]、 intra— dc—precision、 picture— struc ture、 top— field— first、 frame— predictive— frame— dct、 concealme nt— motion— vectors、 q— scale— type、 intra— vlc_format、 alternate — scan、 repeatj irt— f ield、 chroma— 420_type、 progressive— frame、 composite— display_flag、 v— axis、 field— sequence、 sub— carrier、 burst— amplitude、及び sub—carrier— phaseから構成される。

extension_start— codeは、ピクチャレイヤのェクステンションデ —夕のスタートを示す開始コ一ドである。 extension— start— code— i dentifierは、どの拡張デ一夕が送られるかを示すコードである。 f— code[0][0]は、フォア一ド方向の水平動きべクトル探索範囲を表すデータである。 f_code[0][l]は、フォア一ド方向の垂直動きべクトル探索範囲を表すデ一夕である。 f— code[l][0]は、バヅクワード方向の水平動きべクトル探索範囲を表すデータである。： f_code[l] [1]は、バックワード方向の垂直動きべクトル探索範囲を表すデ一夕である。 intra_dc— precisionは、 DC係数の精度を表すデータである。 picture_structureは、フレームストラクチャかフィールドス卜ラクチヤかを示すデ一夕である。フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。 top_field_firstは、フレームストラクチャの場合、最初のフィ一ルドがトップフィ一ルドであるのかボトムフィ一ルドであるのかを示すフラグである。 frame— predictive一 frame_dctは、フレーム ' ストラクチャの場合、フレーム ' モード D CTの予測がフレーム 'モ ―ドだけであることを示すデータである。 concealment— motion_vec torsは、イントラマクロプロヅクに伝送エラーを隠蔽するための動きべクトルがついていることを示すデ一夕である。 q— scale typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。 intra_vlc_formatは、イントラマクロブロックに、別の 2次元 V L Cを使うかどうかを示すデータである。 alternate_scanは、ジグザグスキャンを使うか、オル夕ネート ' スキャンを使うかの選択を表すデータである。

repeat_f irst— f ieldは、復号化時にリピートフィールドを生成するか否かを示すフラグであって、復号化時の処理において、 repeat —first— f ield が「 1」の場合にはリピートフィールドを生成し、 r epeatjirst— f ieldが「0」の場合にはリピートフィールドを生成しないという処理を行なう。 chroma_420— typeは、信号フォーマットが 4 : 2 : 0の場合、次の progressive— frame と同じ値、そうでない場合は 0を表すデータである。 progress ive— frameは、このピクチャが、順次走査できているかどうかを示すデ一夕である。 composite— display_flagは、ソース信号がコンポジット信号であったかどうかを示すデ一夕である。 V— axisは、ソース信号が、 P A Lの場合に使われるデ一夕である。 field_sequenceは、ソース信号が、 P A Lの場合に使われるデ一夕である。 sub— carrierは、ソース信号が、 P A Lの場合に使われるデ一夕である。 burst一 ampl itudeは、ソース信号が、 P A Lの場合に使われるデータである。 sub一 carrier_phaseは、ソース信号が、 P A Lの場合に使われるデ一夕である。

extension_and_user一 data( 2 )関数は、図 1 3に示したように、符号化ビットストリーム中にエクステンションスタートコード extens ion— start— code が存在する場合には、 extension— data( )関数によつて定義されるデ一夕エレメン卜が記述されている。但し、ビットストリ一ム中にエクステンションスタートコ一ドが存在しない場合には extension_data()関数によって定義されるデ一夕エレメントはビットストリーム中には記述されていない。この extension— data( ) 関数によって定義されているデータエレメン卜の次には、ビットストリーム中にユーザデ一夕スター卜コ一ド user— data— start— codeが存在する場合には、 user— data()関数によって定義されるデ一夕エレメントが記述されている。

図 1 7は、 picture— data()関数のシンタックスを説明するための図である。この picture_data()関数によって定義されるデータエレメントは、 slice()関数によって定義されるデ一夕エレメントである。但し、ビットストリーム中に、 slice()関数のス夕一トコ一ドを示す slice_start_codeが存在しない場合には、この slice()関数によって定義されるデ一夕エレメントはビットストリーム中に記述されていない。

slice()関数は、スライスレイヤに関するデ一夕エレメントを記述するための関数であって、具体的には、 slice— start— code、 slice— quantiser— scale一 code、 intra— slice— flag、 intra— slice、 reserve d_bits、 extra_bit— slice、 extra一 information— si ice、及び extra一 bit_slice 等のデータエレメントと、 macroblock( )関数によって定義されるデータエレメントを記述するための関数である。

slice_start_codeは、 slice( )関数によって定義されるデータエレメン卜のスタートを示すス夕一トコ一ドである。 si ice一 quantiser— scale_codeは、このスライスレィャに存在するマク口ブロヅクに対して設定された量子化ステツプサイズを示すデータである。しかし、各マクロブロック毎に、 quantiser— scale— codeが設定されている場合には、各マクロブロックに対して設定された macroblock quant is er_scale_codeのデ一夕が優先して使用される。 intra— si ice— f lagは、ビットス卜リーム中に intra_sl ice及び reserved— bitsが存在するか否かを示すフラグである。 intra— sl iceは、スライスレイヤ中にノンイントラマクロプロックが存在するか否かを示すデータである。スライスレイヤにおけるマクロブロックのいずれかがノンィントラマクロブロックである場合には、 intra— s i iceは「 0」となり、スライスレイヤにおけるマクロブロックの全てがノンイントラマクロプロヅクである場合には、 intra_sl iceは「 1」となる。 reserved_bits は、 7ビットのデータであって「0」の値を取る。 extra_bit_sl ic eは、符号化ストリームとして追加の情報が存在することを示すフラグであって、次に extra_infonnation_s l iceが存在する場合には「 1」に設定される。追加の情報が存在しない場合には「0」に設定される。

macroblock( )関数は、マクロブロックレイャに関するデ一夕エレメン卜を記述するための関数であって、具体的には、 macroblock_e scape、 macroblock— address_increment、及び macroblock_quantise r_scale一 code等のデ一夕エレメン卜と、 macroblock一 modes( )関数、及び macroblock一 vecters( s )関数によって定義されたデータエレメントを記述するための関数である。

macroblock— escapeは、参照マクロブロックと前のマクロブロックとの水平方向の差が 3 4以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマク口ブロックとの水平方向の差が 3 4以上の場合には、 macroblock_address— incrementの値に 3 3をプラスする。 macroblock— address— incrementは、参照マクロフロヅクと前のマクロブ口ックとの水平方向の差を示すデ一夕である。もし、この macroblock— address— incrementの前に macroblock— escapeが 1つ存在するのであれば、この macroblock_address— incrementの値に 3 3をプラスした値が、実際の参照マクロプロヅクと前のマクロブロックとの水平方向の差分を示すデ一夕となる。 macroblock_qua ntiser— scal e— codeは、各マク口プロック毎に設定された量子化ステップサイズである。各スライスレイヤには、スライスレイヤの量子化ステヅプサイズを示す si ice— quantiser— scale— codeが設定されているが、参照マク口ブロヅクに対して macroblock— quantiser— scale —codeが設定されている場合には、この量子化ステップサイズを選択する。

次に、図 1 8及び図 1 9を参照して、トランスポートストリームバケツ卜の構造及びトランスポートストリームパケッ卜のシンタツクスについて詳しく説明する。 .、

トランスポートストリームパケットは、 4バイトのヘッダと、各種のデータ及びデ一夕エレメントを格納するための 1 8 4バイトのベーロード部とから構成されている。

トランスポートストリ一ムバケツ卜のへッダ部は、 sync— byte、 t ransport— error— indicator、 payload一 unit— start一 indicator、 tran sport— priority、 P ID、 transport— scrambl ing— control、 adaptatio n_f ield_control_N continuity— counter、及び adaptation— f ield等の各種フィールドから構成されている。

sync_byteとは、ビットストリーム中から同期パターンを検出するための固定の 8 ビットのフィールドである。値は ' 01000111 ' ( Ox 47) の固定値で定義され、このストリーム中のこのビットパターンを検出することによって、同期を検出することができる。 transport— error— indicatorは、 1ビットのフラグである、「 1」に設定されると、少なくとも 1ビッ卜の訂正できないビットエラ一がトランスポートストリームバケツトに存在することを示す。

payload_unit— start_indicatorは、 1ビヅ卜のフラグである。ビデォ /オーディォデ一夕等のエレメンタリーデータまたはプログラム仕様情報（P S I ) を伝送するトランスポートストリームパケットに対して規範的な意味を有するデ一夕である。トランスポ一トストリームバケツ卜のペイロードがエレメン夕リーデ一夕を含む場合、 payload— unit— start— indicatorは、次の意味を有する。 payload— un it— start_indicatorが「 1」の場合には、このトランスポートストリームバケツ卜のペイ口一ドの最初に、エレメン夕リーデ一夕が揷入されていることを示し、 payload—unit— start— indicatorが「0」の場合には、このトランスポ一トストリ一ムパケッ卜のペイ口一ドの最初に、エレメン夕リーデ一夕が揷入されていないことを示す。もし、 payload— unit— start— indicatorが「 1」にセッ卜されると、ただ一つの P E Sバケツトが任意のトランスポートストリームパケッ卜で開始することを示す。一方、トランスポートストリームパケッ卜のペイロードが P S Iデータを含む場合、 payload— unit— start —indicatorは、次の意味を有する。もし、トランスポートパケットが P S Iセクションの第 1バイトを伝送する場合、 payload— unit— s tart— indicatorは「 1」となる。もし、トランスポ一トストリ一ムバケツ卜が P S Iセクションの第 1バイトを伝送していない場合、 payloaa— unit— start— indicatorは「0」となる。尚、トランスポ一トストリームパケッ卜がヌルバケツトの場合にも、 payload_unit_s tart indicatorは「 0」となる。 transport_priorityは、トランスポートバケツ卜の優先度を示す 1 ビッ卜の識別子である。この transport_priorityが「 1」に設定されると、このトランスポートパケットは、同一のパケット識別子 P I Dをもつパケッ卜であって、この transport— priorityが「 1」でないパケットより優先度が高いことを示している。冽えば、この transport_priorityのバケツト識別子を設定することによって、一つのエレメン夕リーストリーム内において任意のバケツトに優先度をつけることができる。

transport— scrambl ing一 control^；、トランスポ—— 卜ス卜リームノケットペイロードのスクランプリングモードを示す 2ビットのデ一夕である。スクランプリングモードとは、ペイロードに格納されたデータがスクランプされているか否か及びそのスクラングルの種類を示すためのモードである。トランスポートストリームバケツ卜へヅダ、およびァダブテーシヨンフィールドは、スクランブルキ一K sによってスクランブルされてはならないように規格化されている。よって、この transport—scrambl ing— controlによって、卜ランスポ一トストリームパケットペイロードに格納されたデ一夕がスクランブルされているか否かを判断することができる。

adaptation— field— controlは、このトランスポートストリームのパケットヘッダにァダプテーションフィ一ルド及び/又はペイ口一ドがくることを示す 2ビットのデ一夕である。具体的には、パケットへッダにペイロードデ一夕のみが配置される場合には、この adap tionjield—controlは「 0 1」となり、ノケヅトヘッダにァダプテーションフィ一ルドのみが配置される場合には、この adaptation f ie ld controlは「 1 0」となり、バケツトヘッダにァダプテ一シヨンフィ一ルドとペイロードとが配置される場合には、この adapta tion_f ield_controlは「 1 1」となる。

continuity— counterは、連続して伝送された同じ P I Dをもつパケッ卜が、伝送途中で一部欠落又は捨てられか否かを示すためのデ —夕である。具体的には、 continuity— counterは、同一の P I Dを有する各トランスポートス卜リームバケツトごとに増加する 4ビットのフィールドである。但し、この contimlty— comterがカウントされるときは、パケットへッダにアダムテーシヨンフィールドが配置されている場合である。

adaptation_f ield ( ) は、個別ストリームに関する付加情報ゃス夕ヅフイングバイト等をオプションとして挿入するためのフィ一ルドである。このァダプテ一シヨンフィールドによって、個別ストリームの動的な状態変化に関するあらゆる情報をデータと一緒に伝送することができる。

図 1 9は、 adaptation_f ield ( ) のシンタックスを説明するための図である。この adaptation_field ( ) は、 adaptation_f ield— le ngth、 discontinuity— counter、 randam— access— inaicator、 elemnt ary— stream— priority_indicator、 OPCR— flag、 spl ic ing— point— f la g、 transport— private一 data— f lag、 adaptation— f ield— extension— f lag、 program—c lock— reference ( PCR) 、 original_program_clock_ reference ( OPCR) 、 spl ice— countdown、、 transport— private— dat a— length、 private— data、 adaptation— f ield— extens ion— length、 1 t _f lag( leagal_time_ indow_f lag) piecewise— rate— f lag、及び s eamless_spl ice_flag等の各種フィールドから構成されている。 adaptation r ield lengthは、この adaptation f ield lengthの次に続くァダプテ一シヨンフィールドのバイト数を示すデ一夕である。 adaptation— f ield_controlが「 1 1」の場合には、 adaptat ion— f ie Id— lengthは 0から 1 8 2 ビットであって、 adaptation_f ield— cont rolが「 1 0」の場合には、 adaptation— f ield— lengthは 1 8 3 ビヅトとなる。尚、トランスポートストリームのペイ口一ドを満たすだけのエレメン夕リ一ストリームが無い場合には、ビッ卜を満たすためのスタッフイング処理が必要となる。

discontinuity— counterは、同じ P I Dを有する複数のパケッ卜の途中において、システムクロヅクリフアレンス（ S C R ) がリセヅ卜され、システムクロックリファレンスが不連続になっているか否かを示すデ一夕である。もし、システムクロックリファレンスが不連続の場合には、この discontinuity_counterは「 1」となり、システムクロックリファレンスが連続している場合には、この disconti nuity— counterは「0」となる。尚、このシステムクロヅクリファレンスとは、ビデオ及びオーディォのデコードするための M P E Gデコーダにおいて、デコーダ側のシステムタイムクロヅクの値をェンコーダ側において意図したタイミングに設定するための参照情報である。

randam— access— indicatorは、ビデオのシーケンスへッダ又はォ一ディォのフレームの始まりを示すデータである。つまり、この rand am—access_indicatorは、デ一夕エレメン卜のランダムアクセスを行うときに、ビデオ又はオーディオのアクセスポイント（フレームの始まりのこと）であることを示すためのデ一夕である。

e lemntary— stream— priority一 indicatorは、同一の P I Dを有するパケッ卜において、このトランスポートス卜リームパケッ卜のペイロード中で伝送されるエレメン夕リーストリームデ一夕の優先度を示すデ一夕である。例えば、エレメンタリーストリームがビデオデ一夕が、そのビデオデータがイントラ符号化されている場合に、 el emntary_stream_priority— indicatorが「 1」にセヅ卜される。それに対して、ィン夕一符号化されているビデオデ一夕を含んだトランスポ一卜ス卜リ一ムの elemntary— stream_priority— indicatorは、

「 0」にセッ卜される。

PCR— flagは、ァダプテ一シヨンフィールド内に P C R (program. clock_refrence) デ一夕が存在するか否かを示すデ一夕でる。ァダプテ一ションフィールド内に P CRデータが存在する場合には、 PC R— flagが「 1」にセットされ、 P CRデータが存在しない場合には、 PCR— flagが「0」にセットされる。尚、この P C Rデータとは、受信機側のデコーダにおいて、伝送されたデータをデコードするデコ一ド処理のタイミングを得るために使用されるデータである。

OPCR— flagは、ァダプテーシヨンフィ一ルド内に 0 P C R (origin al— program—clock— refrence)デ一夕が存在するか否かを示すデータでる。ァダプテ一ションフィ一ルド内に OP CRデータが存在する場合には、 OPCR— flagが「 1」にセッ卜され、 O P CRデ一夕が存在しない場合には、 0PCR_flagが「0」にセットされる。この OP CR データとは、スプラインシング処理等によって、複数のオリジナルトランスポートストリームから 1つのトランスポ一トストリームを再構築したときのに使用されるデ一夕であって、あるオリジナルトランスポ一トストリ一ムの P C Rデ一夕を表わすデータである。 splicing_point_flagは、トランスポ一トレベルでの編集ポィント

(スプライスポイント）を示すための splice countdounがァダプテーシヨンフィ一ルド内に存在するか否かを示すデータである。ァダプテ一シヨンフィ一ルド内に splice— countdounが存在する場合には、この splicing_point_flagは「 1」であって、ァダプテ一シヨンフィ一ノレド内（こ splice— countdoun力 s '存在する場合（こ（ま、この splicing一 p oint— flagは「0」である。

transport_private_data_f lagtt ァ夕"フ。テーシヨンフィ一ノレド内に、任意のユーザデータを記述するためのプライべ一卜が存在するか否かを示すためのデータである。ァダプテーシヨンフィールド内 (こフ。ライべ一卜が存在する場合（こ（ま、この transport— private— data —flagは「 1」にセットされ、ァダプテ一シヨンフィールド内にプラィベー卜が存在しなヽ場合【こ（ま、この transport— private— data— f la gは「 0」にセッ卜される。

adaptation— field— extension_f lag (ま、ァ夕、'プテーシヨンフィーゾレド内に、拡張フィ一ルド存在するか否かを示すためのデータである。ァダプテ一ションフィールド内に拡張フィールドが存在する場合には、この adaptation— field— extension— flagは「 1」にセッ卜され、ァダプテ一シヨンフィ一ルド内に拡張フィ一ルドが存在しない場合には、この adaptation— field_extension— flagは「0」にセットされる。

program_clock_reference (PCR) は、送信側とクロックの位相に対して受信機側のクロックの位相を同期させるときに参照する基準クロックである。この P CRデ一夕には、トランスポートパケットが生成された時間が格納されている。この P CRは、、 33ビットの program一 clock— reference— baseと 9ビットの program_clocLrefer ence extensionとの 42ビットから構成されるデ一夕である。 prog ram— c locLreference— extensionによって 0〜 2 9 9までのシステムクロックをカウン卜し、 2 9 9から 0にリセッ卜される際のキャリ ——によって、 program— c lock_reference— baseに 1 ビッ卜を力 tl算することによって、 2 4時間をカウントすることができる。

origmal_program_c lock_reference ( 0PCR) は、あるトランスホ一トストリームから単一プログラムのトランスポートストリームを再構成するときに使用されるデ一夕である。単一プログラムドランスボートストリームが完全に再構成された場合、この original_pro gram— c lock— referenceは program— c lock— referenceにコビーされる。 spl ice— countdownは、同一 P I Dのトランスポ一トストリ一ムノケヅトにおいて、トランスポートストリ一ムパケヅトレベルで編集可能（スプライシング処理可能）なボイン卜までのバケツ卜の数を示すデ一夕である。従って、編集可能なスプライシングポイントのトランスポートストリ一ムパケッ卜では、 spl ice— countdownは「0」である。 spl ice_countdownが「 0」になるトランスポートノ、' ケヅトで、トランスポートストリームバケツトペイロードの最終バィ卜は、符号化されたピクチャの最後のバイトとすることによって、スプライシング処理が可能となる。

このスプライシング処理とは、トランスポートレベルで行われる 2つの異なるエレメンタリーストリームを連結し、 1つの新しいトランスポートストリームを生成する処理のことである。そして、スプライシング処理として、復号の不連続性を発生しないシームレススプライスと、復号の不連続性を引き起こすノンシームレススプラィスとに分けることができる。符号の不連続性を発生しないとは、新しく後ろにつなげられたストリームのアクセスユニットの復号時間と、スプライス前の古いストリームのアクセスュニヅトの復号時間と間の矛盾が無いことを示し、符号の不連続性を発生するとは、新しく後ろにつなげられたストリームのアクセスュニットの復号時間に対して、スプライス前の占いス卜リームのアクセスュニッ卜の復号時間の矛盾が生じることを示している。

transport_private— data一 length (ま、ァ夕'、フ。テーシヨンフィ一ノレドにおけるブライデートデータのバイト数を示すデータである。

private— dataは、規格では特に規定されておらず、ァダプテ一ションフィールドにおいて任意のユーザデ一夕を記述することができるフィールドである。

adaptation— field— extension— lengthは、ァダプテーシヨンフィ一ルドにおけるァダプテ一ションフィ一ルドエクステンションのデ一夕長を示すデータである。

ltw_f lag( leagal— time— window— f lag)は、ァダプテ一シヨンフィ一ルドにおいて表示ウインドウのオフセット値を示す ltw_offsetが存在するか否かを示すデータでる。

piecewise— rate— f lagは、ァダプテーシヨンフィ一ルドにおいて p iecewise_rateが存在するか否かを示すデ一夕でる。

seamless— spl ice_flagは、スプライシングポイントが、通常のスプライシングポィントか、シームレススプライシングポィントであるかを示すデ一夕である。この seamless—spl ice— f lagが「0」の時は、スプライシングポィン卜が通常のスプライシングポィントであることを示し、この seamless— spl ice_f lagが「 1」の時は、スプライシングポイントがシームレススプイシングポイントであることを示している。通常のスプライシングポイントとは、スプライシングポイントが P E Sバケツ卜の区切りに存在する場合であって、このスプライシングポィン卜の直前のスプライシングパケッ卜がァクセスユニットで終了し、次の同じ P I Dを有するトランスポートパケヅトが P E Sバケツ卜のへッダで開始している場合である。これに対して、シームレススプライシングポイントとは、 P E Sパケットの途中にスプライシングポイントがある場合であって、新しく後ろにつなげられたストリームのアクセスュニットの復号時間と、スプラィス前の古いストリームのアクセスュニットの復号時間との間に矛盾が無いようにするために、古いストリームの特性の- 部を、新しいストリームの特性として使う場合である。

次に、本局 3 0から伝送されたきたストリ一ム S T OLDと地方局 4 0において生成されたス卜リーム S T NEWとをスプライシングするスプライシング処理について、図 2 0から図 2 3を参照して説明する。図 2 0は、図 7において説明した地方局 4 0の制御をよりわかりやすく説明するために、複数チヤンネルうちのある 1チャンネルのみを残して、他のチャンネルを省略した図である。本発明においては、スプライシング処理に関する実施例として 3つのスプライシング処理に関する実施例を有している。以下に、第 1、第 2及び第 3 のスプライシング処理に関する実施例を順に説明する。

第 1のスプライシング処理に関する実施例は、伝送プログラムの符号化ストリーム S T OLDが本局 3 0から伝送されてくる前に、新しく挿入されるコマーシャル C M ' の符号化ストリ一ム S T NEWが既に生成されている場合に行われるスプライシング処理に関する実施例である。つまり、伝送プログラムにおけるコマーシャル C Mの符号化ストリーム S T OLD部分に、既に前もって符号化されていコマーシャル C M 1，のストリームを挿入する場合である。通常、コマーシャルというものは何度も繰り返して放映されるので、その度にコマ一シャルのビデオデータを符号化するのでは効率的ではない。そこで、地方向けのコマーシャル C M 1 ' のビデオデ一夕を符号化し、その符号化ストリ一ム T S NEWをストリームサーバ 4 9に予め記憶しておく。そして、本局 3 0から置換えられるコマーシャル C M 1の符号化ストリーム S T OLDが伝送されてきたときに、このストリームサーバ 4 9から地方向けのコマーシャル C M 1，の符号化ストリーム S T NEWを再生することによって、同じコマーシャルを何度も符号化する処理を省くことができる。このような場合に、以下に具体的に説明する第 1のスプライシング処理が行われる。

まず地方局 4 0において、伝送プログラムのコマーシャル C M 1 の部分に置換えられる地方向けのコマーシャル C M 1 ' を符号化し、符号化ストリーム S T NEWをストリームサーバ 4 9に格納する初期処理について説明する。放送システムコントローラ 4 1は、伝送プログラムのコマーシャル C Mの部分に置換えられるコマーシャル C M 1 ⁵ のビデオデ一夕を再生するように C Mサーバ 4 7を制御する。そして、エンコーダ 4 8 1は、 C Mサーバ 4 7から再生されたべ一スバンドのビデオデータを受取り、このビデオデータの各ピクチャの符号化難易度（Difficulty) D iをエンコーダコントローラ 4 8 0に供給する。エンコーダコントローラ 4 8 0は、図 8において説明したエンコーダコントローラ 3 5 0と同じように、エンコーダ 4 8 1が適切な符号化ビットを発生するようにエンコーダ 4 8 1に対してターゲヅトビヅトレート R iを供給する。エンコーダ 4 8 1は、エンコーダコントロ一ラ 4 8 0から供給された夕一ゲットビットレ —ト R iに基いて符号化処理を行なうことによって、最適なビットレートの符号化工レメン夕リーストリーム S T NEWを生成することができる。エンコーダ 4 8 1から出力された符号化エレメン夕リーストリーム S TNEWは、ストリームサーバ 4 9に供給される。ストリ一ムサーバ 4 9は、符号化工レメン夕リーストリームをストリームの状態のまま、ランダムアクセス可能な記録媒体に記録する。これで、符号化ストリ一ム S TNEWをストリームサーバ 49に格納する初期処理は終了する。

次に、本局から伝送されてきた伝送プログラムの符号化ストリーム S TOLDと、上述した初期処理によってストリームサーバ 4 9に格納された符号化ストリ一ム S T NEWとをスプライシングするスプライシング処理について説明する。

本局 3 0から伝送されてきた符号化ストリーム S T0LDは、ス卜リーム変換回路 44においてトランスポートストリームの形式からェレメン夕リーストリームの形式に変換される。エレメン夕リーストリームの形式に変換された符号化ストリ一ム S TOLDは、ストリームスプライサ 5 0に供給される。

ストリームスプライサ 5 0は、図 2 0に示されているように、スプライスコントローラ 5 0 0、スィッチ回路 5 0 1、ストリーム解析回路 5 0 2、ストリームプロセッサ 5 0 3、及びスプライシング回路 5 0 4を備えている。

この第 1のスプライシング処理に関する実施例では、スプライスコントローラ 5 0 0は、スィッチ回路 5 0 1の入力端子を「 a」に切換え、ストリ一ムサーバ 4 9から供給されたエレメン夕リーストリーム S TNEWをス卜リーム解析回路 5 0 2に供給する。ストリ一ム解析回路 5 0 2は、符号化ストリ一ム S T OLD及び符号化ストリ一ム S T NEWのシン夕ックスを解析する回路である。具体的には、ストリーム解析回路 5 0 2は、図 1 0及び図 1 5に開示された符号化ス卜リームのシンタックスから理解できるように、符号化ストリーム S T OLD中に記述された 3 2 ビットの picture— start— cod eを探すことによって、ストリ一ム中においてピクチャヘッダに関する情報が記述された場所を把握する。次に、ストリーム解析回路 5 0 2は、 picture_start_codeの 1 1 ビット後から始まる 3ビットの picture_coding— typeを見つけることによって、ピクチャタイプを把握すると共に、この 3ビッ卜の picture— coding一 typeの次に記述された 1 6 ビッ卜の vbv_de layから、符号化ピクチャの vbv_delayを把握することができる。

さらに、ストリーム解析回路 5 0 2は、図 1 0及び図 1 5に開示された符号化ストリームのシン夕ックスから理解できるように、符号化ストリーム S T OLD及び符号化ストリ一ム S T NEW中に記述された 3 2ビットの extension_start_codeを探すことによって、ストリ —ム中においてピクチャコーディングエクステンションに関する情報が記述された場所を把握する。次に、ストリーム解析回路 5 0 2 は、 picture_start— codeの 2 5ビット後から記述された 1 ビットの top_f ield—f irstと、その top_f ield_f irstの 6ビット後から記述された repeat一 first_f ieldとを探すことによって、符号化ピクチャのフレーム構造を把握することができる。例えば、符号化ピクチャの rtop_f ield_f irstj が「 1」である場合には、トップフィールドがボトムフィールドよりも時間的に早いフレーム構造であることを示し、「top f ie ld f i rst j が「 0」の場合には、トップフィールドがボトムフィールドよりも時間的に早いフレーム構造であることを示す。また、符号化ストリ一ム中のフラグ「top_field— firstj が

「0」であって且つ「repeat_first一 field」が「1」の場合には、復号化時にトップフィールドからリピートフィールドが生成されるようなピクチャ構造であることを示し、符号化ストリ一ム中のフラグ「top— field— firstj が「0」であって且つ「repeat— first_f iel d」が「 1」の場合には、復号化時にボトムフィールドからリピ一トフィールドが生成されるようなピクチャ構造を有していることを示している。

丄した、 picture— coding— type、 vbv— delay、 top— field— first及び repeat— first— fieldは、各ピクチャ毎に符号化ストリームから抽出され、スプライスコントローラ 500に供給される。ストリーム解析回路 502に供給されたエレメン夕リーストリーム S TOLD及びエレメンタリーストリーム S TNEWは、そのままエレメンタリーストリーム S TOLD及びエレメンタリーストリーム S TNEWとしてストリ —ムプロセッサ 503に供給される。

さらに、ストリーム解析回路 502は、供給されたストリ一ム S T OLDとストリーム S T NEWのビット数をカウントするためのカウン夕を備えており、このカウント値と各ピクチヤの発生ビット量とに基いて、各ピクチャ毎に VB Vバッファのデ一夕残量をシュミレーシヨンするようにしている。ストリーム解析回路 502において演算された各ピクチャ毎の VBVバッファのデ一夕残量も、スプライスコントローラ 500に供給される

ストリームプロセッサ 503は、ストリーム S T0LDとストリーム S TNEWとをスプライシングすることによって生成されるスプライスドストリーム S TSPLがシームレスなストリームとなるように、このストリーム S TOLD及びストリーム S TNEWのストリーム構造、デ一夕エレメント及びフラグを変更するための回路である。このストリームプロセッサ 503の具体的な処理を、図 2 1を参照して説明する。

図 2 1 Aは、本局 30から供給されたオリジナルストリーム S T OLDと、そのストリーム S TOLDの VB Vバヅファのデータ占有量の軌跡を示す図であって、図 2 1 Bは、ストリームサーバ 49に記憶された差し替えストリーム ST NEWと、そのストリーム S TNEWの V BVバッファのデータ占有量の軌跡を示す図であって、図 2 1 Bは、スプライシングポィント S P 1及び S P 2において、ストリーム S TOLDとストリーム S T NEWとをスプライシングしたスプライスドストリーム S TSPLと、そのスブライスドストリーム S TSPLの VB V バヅファのデ一夕占有量の軌跡を示す図である。尚、図 2 1 Aにおいて、 DTS (デコーディングタイムスタンプ）を示し、 SP lvb Vは、 VB Vバッファのデ一夕占有量の軌跡上における第 1のスプライシングポイントを示し、 SP 2vbvは、 VBVバッファデータ占有量の軌跡上における第 2のスプライシングポィントを示し、 VO(I 6)は、ピクチャ B 5が VBVバッファから引き出されたときに VB Vバヅファ上にバッファリングされているピクチャ I 6のデータ量を示し、 GB(I6)は、ピクチャ I 6の発生ビット量を示し、 VD(I 6)は、ピクチャ I 6の vbv— delayの値を示し、 VO(B7)は、ピクチャ I 6が V B Vバッファから引き出されたときに V B Vバッファ上にバヅファリングされているピクチャ B 7のデータ量を示し、 GB(B 11)は、ピクチャ B 1 1の発生ビット量を示し、 VD(I12)は、ピクチヤ I 12の vbv_delayの値を示し、 VO(I12)は、ピクチャ B 1 1 が V B Vバッファから引き出されたときに V B Vバッファ上にバヅファリングされているピクチャ I 12のデータ量を示している。また、図 2 1 Bにおいて、 GB(I6' )は、ビクチャ I 6，の発生ビヅト量を示し、 VD(I6')は、ピクチャ 1 6，の vbv_delayの値を示し、 VO(I6' )は、 VBVにおける第 1のスプライシングポイント S Ρ 1 vbvにおけるピクチャ I 6 ' の V B Vバッファにバッファリングされているデ一夕量を示し、 GB(Bll')は、ピクチャ B 1 1，の発生ビット量を示し、 V〇（I12')は、 VBVにおける第 2のスプライシングポイント S Ρ 2 vbvにおけるピクチャ B 12 ' の V B Vバッファにバッファリングされているデ一夕量を示している。また、図 2 1 C において、 GB(I6")は、スプライスドストリーム S TSPLがシームレスなストリームとなるようにストリーム処理されたピクチャ I 6 "の発生ビヅト量を示し、 VD(I6" )は、ピクチャ I 6 " の vbv_del ayの値を示し、 GB(B11")は、スプライスドストリーム S T SPLがシ —ムレスなストリームとなるようにストリーム処理されたピクチャ B 1 1 " の発生ビット量を示している。

ォリジナルストリーム S TOLDは本局 30において符号化されたストリ一ムであって、差し替えストリ一ム S TNEWは地方局 40において符号化されたストリームであるので、ストリーム S TOLDとストリ —ム S T NEWとは、それぞれのビデオエンコーダで全く関係無く符号化されたストリームである。つまり、ストリーム S TOLDにおける最初のピクチャ I 6の vbv_delayの値 VD (16)と、ストリーム S TNEW における最初のピクチャ I 6，の vbv一 delayの値 VD (16，）とは同じ値ではない。つまり、このような場合には、 VBVバッファにおけるストリームスプライスボイント S P lvbvのタイミングにおいて、オリジナルストリーム S TOLDの VBVハツファのデータ占有量 VO (16)と、差し替えストリーム S TNEWの VB Vバッファのデータ占有量 VO(I6，）とは異なってしまう。

つまり、本発明の背景技術において説明したように、スプライスポイント S P 1において、ス卜リーム S T OLDとストリ一ム S T NEW とを単純にスプライスしてしまうと、単純にスプライスされたストリームの VB Vバッファのデータ占有量が不連続になるか又はォーバ一フロー/アンダーフローしてしまう。

そこで、ストリ一ムスプライサ 50では、ストリーム解析回路 5 02においてストリーム S TOLD及びストリ一ム S TNEWから抽出されたデ一夕エレメントに基いて、スプライスドストリーム S TSPLがスプライスポイントにおいてシームレスなストリームとなるように、ストリームプロセッサ 503において、供給されたストリーム S T OLD及びストリ一ム S TNEWのストリーム構造に関してストリーム処理を行なっている。その処理を以下に説明する。

スプライスコントローラ 500は、ストリーム S TOLDに関するデ —夕エレメントとして、各ピクチャ毎に、 picture— coding_type、 v bv_delay, top_f ield_f irst及び repeat_f irst— f ield等の情報、各ピクチャにおける発生ビヅト量、各ビクチャにおける VBVバッファのデータ占有量をストリーム解析回路 502から受け取る。図 2 1 においては、例えば、ピクチャ I 6における vbv_delayの値を VD (16)と表わし、ピクチャ I 6における発生ビット量を GB (16)と表わし、ピクチャ I 6における VB Vバッファのデ一夕占有量を VO (16)というように表わしている。次に、スプライスポイント S P 1におけるスプライスコントローラ 500とストリームプロセッサ 503の VBVバッファに関する処理について説明する。

まず、スプライスコントローラ 500は、スプライシングポイント S P 1における、ォリジナルストリーム S TOLDのピクチャ I 6の vbv_delayの値 VD (16)と、差し替えストリ一ム S TNEWのピクチャ I 6，の vbv— delayの値 VDU6' )とが異なると判断した場合には、差し替えストリ一ム S TNEW中に記述されたピクチャ I 6 ' の vbv_d elayの値を VD(I6，）から V D ( 16)に書き換えるようにス卜リームプ口セッサ 503に指示を与える。

ストリ一ムプロセヅサ 503は、スプライスコントローラ 500 からの指示に従って、差し替えストリーム S TNEWのピクチャへヅダ中に記述された 16ビッ卜の vbv_delayの値を VD(I6' )から VD(I 6)に書き換える。

ここで、単に、差し替えストリーム S TNEWにおける vbv— delayの値を VD(I6，）から VD(I6)に書き換え、この書き換えた vbv— delay に従って VBVバッファからビットストリームを引き出そうとすると、ピクチャ 16' の発生ビット量が足りないので、 VBVバッファがアンダーフローしてしまう。そこで、スプライスコントローラ 500は、差し替えストリ一ム S TNEWのピクチャ I 6，の発生ビット量 GB(I6')が、シームレスなスプライスドス卜リーム ST SPLのピクチャ I 6" の発生ビット量 GB(I6")になるように、差し替えストリ一ム S TNEWのピクチャ I 6⁵ のに対してス夕ッフィングバイトを挿入する処理を行なう。このスタッフイングバイトとは、「0」のダミービッ卜から構成されるデータである。スタッフィングバイトを挿入する処理を行うために、スプライスコントローラ 50 0は、ストリーム S TOLDにおけるピクチャ I 6及びピクチャ B 7に関する情報として受け取った発生ビット量 GB(I 6)、 VB Vバッファのデータ占有量 V 0 (16)、及びストリーム S T NEWにおけるピクチャ I 6 ' に関する情報として受け取った発生ビヅト量 GB (16' )、 VB Vバヅファのデ一夕占有量 V 0(16，）を使用して、挿入すべきス夕ヅフィングバイトのデ一夕量を演算する。具体的には、下記の式（ 2 ) に基いてス夕ヅフィングバイト S B 1 [by te] が演算される。

S B 1 [byte]= { G B ( 16" )— G B ( 16，） } / 8

= { GB(I6)- GB(I6' ) + V 0 (B7) - V 0 (Β7' ) } / 8

… ( 2) スプライスコントロ一ラ 500は、上式（ 2 ) に従って演算したス夕フィングバイト S Β 1を、ストリーム S TNEWの中に挿入するようにストリームプロセッサ 503を制御する.

ストリームプロセッサ 503は、スプライスコントローラ 500 からの指令に従って、ス夕フィングバイト S Β 1を、ストリーム S TNEWの中に記述する。スタッフィングバイトをストリ一ム中に記述する位置としては、符号化ストリーム S TNEWのピクチャ I 6のピクチヤヘッダのスタートコ一ドの前が最も望ましいが、他のス夕一トコ一ドの前であっても問題はない。

以上が、スプライスポイント S P 1におけるスプライスコント口 —ラ 500とストリームプロセッサ 5 03の VB Vバヅファに関する制御である。次に、スプライスポイント S P 2におけるスプライスコント口一ラ 5 00とストリームプロセッサ 503の VBVバッファに関する制御について説明する。

単に、スプライスポイント S P 2において、ストリーム S TNEWとストリーム S TOLDとをスプライシングしたとすると、ストリーム S TNEWの最後のピクチャ B 1 1，の発生ビット量 GB(B11，）が足りないので、ストリーム S TNEWの最初のピクチャ I 1 2の VB Vバッファのデータ占有量の軌跡と連続にならない。その結果、 VBVバッファがアンダーフロー又はオーバーフローしてしまう。

そこで、スプライスコントローラ 50 0は、 VBVバッファにおけるスプライスポイント S P 2vbvにおいて、 VB Vバヅファの軌跡が連続になるように、ストリーム S TNEWの最後のピクチャ B 1 1 ' の発生符号量 GB(B1 )が、図 2 1 Cのピクチャ B 1 1 " の発生符号量 GB(11")となるように、ストリーム S TNEW中にスタッフィングバイトを挿入する処理を行なう。

スタッフィングバイトを挿入する処理を行うために、スプライスコントローラ 500は、ストリーム S T OLDにおけるピクチャ I 1 2 に関する情報として受け取った VO(I12)、ストリーム S TNEWの最後のピクチャ 1 1，の発生ビット量 GB(B11，）、及びストリ一ム S TNEWのピクチャ 1 2，の VB Vバッファのデ一夕占有量 VO(I12 ' )を使用して、挿入すべきスタッフィングバイトのデ一夕量を演算する。尚、具体的には、下記の式（ 2 ) に基いてスタッフイングバイト S B 2 [byte] が演算される。

SB 2 [byte] = { GB(B11")_ GB(B11， ) } / 8

= { V〇（I12， ) 一 VO(I12) } / 8 … ( 3) 尚、デ一夕占有量 V〇（I12' )とは、最後のピクチャ Β 1 1，を V Β Vバヅファから引き出した後のストリーム S T NEWに関する V B V バッファのデ一夕占有量であると言い換えることができ、ストリ一ム S TNEWのビヅ卜数をカウン卜することによって VBVの軌跡を把握しているストリーム解析回路 502によって、容易にこのデ一夕占有量 V 0(112' )検出することができる。

このスプライスコントローラ 500は、上式（ 3 ) に従って演算したス夕フィングバイト S B 2を、ストリーム S TNEW中に挿入するようにストリームプロセッサ 503を制御する.

ストリームプロセッサ 503は、スプライスコントローラ 500 からの指令に従って、ス夕フィングバイ卜 S B 2を、ストリーム S TNEWのピクチャ B 1 1，に関する情報として記述する。スタッフィングバイトをストリ一ム中に記述する位置としては、符号化ストリ —ム S T NEWのピクチャ B 1 1 ' のピクチャヘッダのス夕一トコ一ドの前が最も望ましい。

以上が、スプライスポイント S P 2におけるスプライスコント口 —ラ 500とストリームプロセッサ 5 0 3の VBVバッファに関する制御である。

図 22を参照して、スプライスボイント S P 1におけるスプライスコントローラ 5 0 0とストリームプロセッサ 503の top— field_ first及び repeat_first_field等のフラグに関する第 1の処理例を説明する。

図 22 Aは、本局 30において制作されたプログラム 1とコマ一シャル CM 1とプログラム 2から構成されるテレビ番組 PGOLDのフレーム構造と、そのテレビ番組 P GOLDを符号化したときの符号化ストリ一ム S TOLDを示している図である。図 22 Bは、地方局 40において制作された差し替えコマーシャル CM 1 ' のフレーム構造と、その差し替えコマーシャル CM 1 ' をを符号化したときの符号化ストリーム S TNEWを示している図である。図 22 Cは、オリジナルストリーム S TOLDと差し替えストリ一ム S TNEWとをスプライシングしたときに生成されるスプライスドストリーム S TSPLと、そのスプライスドストリーム S TSPLをデコ一ドしたときのフレーム構造を示している図である。

スプライスコントローラ 500は、ストリーム解析回路 502から供給されたストリーム S TOLDにおけるコマーシャル CM 1の各ビクチャの top— field_firstと、差し替えス卜リーム S TNEWにおけるコマーシャル CM 1 ' の top_field_firstとを比較する。もし、ストリ一ム S TOLDにおける top_field_firstと、差し替えストリーム S TNEWにおける top一 field— firstとが一致するのであれば、フィ一ルド構造が同じであるので、 top_field— first及び repeat— first_fiel d等のフラグに関する処理は必要ない。しかし、図 22に示すように、ォリジナルコマーシャル CM 1の topjield— firstが「0」であって、差し替えコマーシャル CM 1，の top— field_firstが「 1」である場合には、図 6において説明したようなフィ一ルドの不連続及び重複という問題が発生する。

そこで、本発明のストリームスプライサ 50は、スプライシング処理によってフィールドが欠けたり重複したりするような MP E G ストリーム違反のストリームが生成されないように、スプライシングポイン卜付近のピクチャの top field first及び repeat first_fi eldを書き換えるようにしている。

図 22に示された例においては、スプライスコントローラ 500 は、トップフィールド T 4とボトムフィールド B 4とからフレームが構成されるピクチャ P 3の repeat— first— fieldを 0から 1に書き換えるようにストリームプロセッサ 5 0 3を制御する。さらに、スプライスコントローラ 500は、スプライスポイント S P 2においてシームレスなストリームとなるように、トップフィールド t 1 0 とボトムフィールド b 1 1からフレームが構成されるピクチャ P 9 ，の repeat— first_fieldを 0から 1に書き換えるようにストリームプロセッサ 5 03を制御する。また、スプライスコントローラ 50 0は、ピクチャ P 9，の repeat— first— fieldを書き換えたことによつて、コマーシャル CM 1，がオリジナルコマーシャル CM 1に対して 1フレーム時間だけシフトしたので、プログラム 2において最初にディスプレイに表示されるピクチャ B 1 3を、ストリーム S T OLD中から削除するようにストリームプロセッサ 5 03を制御する。ス卜リームプロセッサ 503は、スプライスコントローラ 50 0 の指示に基いて、ォリジナルストリ一ム S TOLDにおいてピクチャ P 3に関する picture— coding— extensionのス夕一卜コードを探し、その中の repeat— first_fieldの値を 0から 1に書き換える。よって、このように repeat— first— fieldの値が書き換えられたピクチャ P 3 をデコードすると、リピートフィールド B 4，が生成されるので、スプライスボイント S P 1においてフィ一ルドが連続することになる。同様に、ストリームプロセッサ 5 0 3は、差し替えストリ一ム S TNEWにおいてピクチャ P 9 ' に関する picture— coding_extensio nのス夕一トコ一ドを探し、その中の repeat first fieldの値を 0から 1に書き換える。このように repeat— first— fieldの値が書き換えられたピクチャ P 9 ' をデコードすると、リピートフィールド t l 0，が生成されるので、スプライスポイント S P 2においてフィールドが連続することになる。また、ストリームプロセッサ 503、ォリジナルストリ一ム S TOLDにおいてピクチャ B 1 3に関するデー夕エレメントが記述された部分を、ストリーム S TOLD中から削除又はヌルデータに置き換える。

図 2 3は、図 22において説明した top— field_first及び repeat— first_field等のフラグに関する処理の他の処理例を表わしたものである。図 23を参照して、スプライスポイント S P 1及び S P 2におけるスプライスコントロ一ラ 50 0とストリームプロセッサ 50 3の top— fieldjirst及び repeat_first— field等のフラグに関する第 2の処理例を説明する。

図 23に示された処理例においては、スプライスコントローラ 5 00は、スプライスポイント S P 1におけるプログラム 1とコマ一シャル C M 1 ' とのつなぎめにおけるフィールドが連続するように、トップフィール F t 5とボトムフィ一ルド b 6とから構成されるピクチャ B 7，の top_field_firstを 1から 0に書き換えると共に、ピクチャ B 7 ' の repeat_first_fieldを 0から 1に書き換えるようにストリームプロセッサ 50 3を制御する。さらに、スプライスコントロ一ラ 500は、スプライスポイント S P 2においてコマーシャル CM 1 ' とプログラム 2のつなぎめにおけるフィールドが連続するように、トップフィールド T 1 1とボトムフィールド B 1 1から構成されるピクチャ B 1 3の top_field_firstを 1から 0に書き換えるようにストリームプロセッサ 503を制御する。さらに、スプライスコントローラ 5 00は、トップフィールド T 1 2とボトムフィールド B 1 2から構成されるピクチャ B 1 4の top_field— firstを 1 から 0に書き換えると共に、 repeat_first_fieldを 1から 0に書き換えるようにストリームプロセッサ 5 0 3を制御する。

ストリ一ムプロセヅサ 5 0 3は、スプライスコントローラ 500 の制御に従って、差し替えス卜リーム S TNEWにおいてピクチャ B 7 ，に関する picture_coding— extensionのス夕一トコ一ドを探し、そのストリーム中の top—field— firstを 1から 0に書き換えると共に、 repeat_first_fieldを 0から 1に書き換える。よって、このように top— field_first及び repeat_first_fieldの値が書き換えられたピクチヤ B 7 ' をデコードすると、ボトムフィールド b 6の表示時間が 1フレーム分だけシフトし、かつ、リピートフィールド b 6，が生成されるので、スプライスポイント S P 1においてフィールドが連続することになる。同様に、ストリームプロセッサ 50 3は、オリジナルストリーム S TOLDにおいてピクチャ B 1 3に関する picture —coding— extensionのス夕一トコードを探し、その中の top— field— f irstを 1から 0に書き換える。さらに、ストリームプロセッサ 50 3は、ォリジナルストリ一ム S T0LDにおいてピクチャ B 1 4に関する top— field_firstを 1から 0に書き換えると共に、 repeat_f irst— fieldを 1から 0に書き換える。よって、このように top— field_fir st及び repeat— first_fieldの値が書き換えられたピクチャ B 1 3及び B 1 4をデコードすると、ボトムフィールド B 1 1及び B 1 2の表示時間が 1フレーム分だけシフ卜するので、スプライスポイント S P 2においてフィールドが連続することになる。

ここで、図 22に示された第 1の処理例と、図 23に示された第 2の処理例とを比較すると、図 2 2 Cから理解できるように、差し替えられたコマーシャル C M 1，の最初に表示されるピクチャ B 7 ，が、オリジナルコマーシャル C M 1の最初に表示されるピクチャ B 7よりも、 1フィールドだけずれているので、差し替えられたコマーシャル C M 1 ' の表示タイミングが 1フィールドだけ遅れてしまう。表示が 1フィールド遅れた程度では、人間の目にはほとんどその遅れは分からない。しかしながら、放送局ではクライアンド会社からのコマーシャルを放映することによって収入を得ているので、プログラム 1等の本編を放映することよりもコマーシャルを遅れなく正確に放映することが要求される場合がある。このような正確な表示時間が要求される場合には、図 2 3に示された第 2の処理例が有効である。図 2 3に示された第 2の処理例のように、ビクチャ B 7，の topjield— f irst及び repeat_f irst— fieldの値を書き換えることによって、差し替えられたコマーシャル C M 1，の最初のピクチャ B 7，を、オリジナルコマーシャル C M 1の最初に表示されるピクチャに対して遅れ無く正確に表示することができる。

つまり、ス卜リームプロセッサ 5 0 3から出力されたストリーム S T NEWの V B Vバヅファのデ一夕占有量の軌跡は、ストリーム S T 0 )の V B Vバッファのデ一夕占有量の軌跡と整合性が取れており、且つ、フィールドパターン/フレームパターンに関する整合性が取れている。よって、スプライスコントローラ 5 0 0からの制御信号に基いてスプライシング回路 5 0 4のスィヅチング動作を制御することによって、スプライスポイント S P 1で、ストリーム S T OLDの後にストリーム S T NEWを接続し、スプライスポイント S P 2で、ストリーム S T NEWの後にストリ一ム S T OLDを接続することによって生成されたストリームであって、そのスプライスポイント S P 1及び S P 2において、 V B Vバッファのデ一夕占有量の軌跡が連続しており、且つフィ一ルドパターン/フレームパターンが連続になつているスプライスドストリーム S T SPLが生成される。

次に、第 2のスプライシング処理に関する実施例について説明する。第 2のスプライシング処理に関する実施例は、伝送プログラムの符号化ストリーム S T OLDが本局 3 0から伝送されてきたときに、新しく挿入されるコマーシャル C M，を符号化して符号化ストリーム S T NEWを生成する場合に行われるスプラィシング処理に関する実施例である。つまり、本局 3 0から伝送されてきた伝送プログラムの符号化ストリーム S T OLDを解析し、その解析結果に基いて、新しく挿入されるコマーシャル C M 1 ' を符号化するという方法である。まず、本局 3 0から伝送されてきた符号化ストリーム S T 0LDは、ストリーム変換回路 4 4においてトランスポートストリームの形式からエレメンタリーストリームの形式に変換される。エレメンタリ

—ストリームの形式に変換された符号化ストリ一ム S T OLDは、ス卜リームスプライサ 5 0のストリーム解析回路 5 0 2に供給される。ストリームスブラィサ 5 0のストリーム解析回路 5 0 2は、符号化ストリ一ム S T OLDのストリームシン夕ックスを解析するための回路である。この第 2のスプライシング処理に関する実施例においては、このストリーム解析回路 5 0 2は、符号化ストリーム S T OLDのシン夕ックスの解析のみを行い、差し替えストリ一ム S T NEWのシン夕ックスの解析は行なわない。

具体的には、まず、ストリーム解析回路 5 0 2は、図 1 0及び図 1 5に開示された符号化ストリームのシン夕ックスから理解できるように、ォリジナルストリ一ム S T OLD中に記述された 3 2ビットの picture_start_codeを探すことによって、ストリーム中においてピクチャヘッダに関する情報が記述された場所を把握する。次に、ストリーム解析回路 5 0 2は、 picture— start_codeの 1 1 ビット後から始まる 3 ビヅ卜の picture_coding— typeを見つけることによって、ピクチャタイプを把握すると共に、この 3ビットの picture— coding —typeの次に記述された 1 6ビッ卜の vbv— delayから、符号化ピクチャの vbv— delayを把握することができる。

さらに、ストリーム解析回路 5 0 2は、図 1 0及び図 1 5に開示された符号化ストリームのシンタックスから理解できるように、符号化ストリーム S T OLD中に記述された 3 2ビットの extension_sta rt— codeを探すことによって、ストリーム中においてピクチャコ一ディングエクステンションに関する情報が記述された場所を把握する。次に、ストリーム解析回路 5 0 2は、 picture— start— codeの 2 5ビヅト後から記述された 1 ビットの top— f ield—firstと、その top_f ie ld_f irstの 6ビット後から記述された repeat— f irst— f ieldとを探すことによって、符号化ピクチャのフレーム構造を把握することができる。

ストリーム解析回路 5 0 2は、オリジナルストリーム S T OLD中から各ピクチャ毎に抽出された、 picture— coding— type vbv— delay top_f ield— f irst及び repeat— f irst— f ield等のデータエレメントを、スプライスコントロ一ラ 5 0 0を介して、放送システムコントロ一ラ 4 1に供給する。尚、ォリジナルストリ一ム S T OLDの全ピクチャのデ一夕エレメントを送る必要は無く、伝送プログラムにおけるコマーシャル C M 1に対応するピクチャの picture coding type, vbv — delay、 top— field_first及び repeat— first— field等のデータエレメン卜のみであっても良い。

次に、放送システムコントローラ 4 1は、伝送プログラムのコマ一シャル CMの部分に差し替えられるコマーシャル CM 1 ' のビデォデ一夕を再生するように CMサーバ 4 7を制御する。さらに、放送システムコントローラ 4 1は、オリジナルストリーム S TOLDから抽出された picture— coding— type、 vbv— delay、 top— f ield_f irst及び repeat— first— fieldを、エンコーダブロック 48のエンコーダコントロ一ラ 48 0に供給する。

エンコーダコントロ一ラ 480は、放送システムコントローラ 4 1から供給された picture— coding_type、 vbv— delay、 top— field— fi rst及び repeat— first_fieldを使用して、差し替えコマーシャル CM 1，のベースバンドビデオデータをェンコ一ドするようにェンコ一ダ 48 1を制御する。すなわち、オリジナルコマーシャル CM 1の符号化ストリーム S TOLDの picture— coding_type、 vbv— delayヽ top _field— first及び repeat— first_fieldと、差し替えコマーシャル C M l，を符号化したストリーム S TNEWの picture— coding_type、 v bv_delay、 top_f ield— f irst及び repeat_f irst_f ieldとが全く同じになるように、差し替えコマーシャル CM 1，を符号化する。その結果、オリジナルコマーシャル CM 1の符号化ス卜リーム S TOLDの p icture_coding— type、 vbv一 delay、 top— field— first及び repeat— fir stjieldと、全く同じ picture— coding_type、 vbv— delay、 top— fie Id— first及び repeat_first— fieldを有した符号化したストリーム S TNEWが生成される。

スプライスコントローラ 5 0 1は、スイッチ回路 50 1の入力端子を「b」に切換え、エンコーダ 4 8 1から出力されたエレメン夕リーストリ一ム S TNEWをストリーム解析回路 5 0 2に供給する。この第 2のスプライシング処理に関する実施例においては、このストリーム解析回路 5 0 2は、符号化ストリ一ム S TOLDのシン夕ックスの解析のみを行い、差し替えストリーム S TNEWのシンタツクスの解析は行なわないので、ストリーム S TNEWは、ストリーム解析回路 5 0 2において解析処理されずにそのまま出力される。

ストリームプロセッサ 5 0 3は、この第 2のスプライシング処理に関する実施例では、ストリーム解析回路 5 0 2から出力されたストリ一ム S TOLD及びストリ一ム S TNEWにおけるデ一夕エレメントを変更するようなストリーム処理は必要ないので、ストリーム S T OLDとストリーム S TNEWとのフレーム同期を合わせる同期合わせ処理（フレームシンクロナイゼ一シヨン）のみを行なう。具体的には、このストリームプロセッサ 5 0 3は、数フレーム分の F I F Oバヅファを有しており、差し替えストリーム S TNEWがエンコーダ 4 8 1 から出力されるまで、この F I F Oバッファにストリ一ム S TOLDをノソファリングしておくことによって、ストリーム S T OLDとストリ —ム S TNEWのフレーム同期を合わせることができる。フレーム同期合わせ処理されたストリーム S TOLDとストリーム S TNEWは、スプライシング回路 5 0 4に供給される。

スプライスコントローラ 5 0 0は、スプライシングポィント S P 1においてストリ一ム S TOLDの後にストリーム S TNEWが接続され、スプライシングポィント S P 2においてストリ一ム S TNEWの次にストリーム S TOLDが接続されるように、スプライシング回路 5 04のスイッチングを制御する。その結果、スプライシング回路 5 04からは、スプライスドストリーム S TSPLが出力される。

単純にスプライシング回路 5 0 4において、ストリーム S TOLDとストリーム S TNEWとをスィツチングしているだけであるが、スプライスドス卜リーム S TSPLの VB Vバッファのデ一夕占有量の軌跡は連続となっており、且つ、スプライスポイントにおけるフレームパ夕一ンも連続している。なぜなら、オリジナルストリーム S TOLDをストリ一ムのシン夕ックスの解析結果を基に、ストリーム S TNEWを符号化処理しているので、ォリジナルストリ一ム S TOLDに対して整合性の取れたストリーム S TNEWを生成しているので、スプライスドストリーム S TSPLの VB Vバヅファの軌跡は、ォリジナルストリ一ム S TOLDの VB Vバヅファの軌跡と全く同じであって、生成されたスプライスドストリーム S TSPLのフレーム構造は、ォリジナルストリーム S TOLDのフレーム構造と全く同じであるからである。

従って、この第 2の実施例によれば、本局から伝送されてきたォリジナル符号化ス卜リーム S TOLDのシン夕ックスを解析し、その解析結果に応じて、符号化ストリーム S TOLDと同じストリーム構造及び符号化パラメ一夕を有するように、差し替えコマーシャル CM 1 ' を符号化しているので、それぞれ別に生成された、符号化ストリ —ム S TOLDと符号化ストリ一ム S TNEWをスプライシングする際に、符号化ストリーム S TOLDと符号化ストリーム S TNEWとの整合性を合わせることなる簡単にスプライシングを行なうことができ、その結果、 MP E G規格に準じた且つシームレスなスプライスドストリ —ム S TSPLを生成することができる。

次に、第 3のスプライシング処理に関する実施例について説明する。第 3のスプライシング処理に関する実施例は、オリジナルコマ一シャル CM 1の符号化ストリ一ム S TOLD及び、差し替えられるコマーシャル CM 1，の符号化ストリーム S TNEWを生成する前に、予め、オリジナルコマーシャル CM 1の符号化ストリーム S TOLDと差し替えコマーシャル CM 1，の符号化ストリーム S T NEWを符号化するためのの符号化パラメ一夕を決定しておき、その決っている符号化パラメ一夕に基いてオリジナルコマーシャル CM 1及び差し替えコマーシャル CM 1，を符号化するという処理である。例えば、この符号化パラメ一夕とは、既に説明した、 picture— coding_type、 v bv— delay、 top— f ield— first及び repeat— first— fieldなどや発生ビット量等によって示される情報である。

まず、本局 3 0において、オリジナルコマーシャル CM 1を符号化するための符号化パラメ一夕として、 picture一 coding— type、 vbv — delay、 top— iield_f irst及び repeat一: f irst— f ieldを決定する。本局 30の放送システムコントロ一ラ 3 1は、その符号化パラメ一夕を、 MP E Gエンコーダブロック 3 5のエンコーダコン卜ローラ 3 50 に供給すると共に、通信回線を使用して各地方局 40の放送システムコントローラ 4 1にも供給する。

エンコーダコントローラ 3 5 0は、放送システムコントロ一ラ 3 1から供給された picture— coding— type、 vbv— delay、 top— field— fi rst及び repeat— first_fieldなどの符号化パラメ一夕を使用してオリジナルコマーシャル CM 1のビデオデ一夕を符号化するようにビデォエンコーダ 3 5 1— 1 Vを制御する。すなわち、ビデオェンコ一ダ 3 5 1— 1 Vから出力された符号化ストリーム S TOLDは、 pictu re— coding— type、 vbv— delay、 top— field— first及び repeat— first— f ieldなどの符号化パラメ一夕に基いているストリ一ムである。ビデオエンコーダ 3 5 1— 1 Vから出力された符号化ストリーム S T OLDは、マルチプレクサ 3 6及び変調回路 3 7を介して地方局 4 0に供給される。

一方、地方局 4 0は、本局 3 0の放送システムコントローラ 3 1 から供給された picture— coding— type、 vbv— delay、 top— f ield— iirs t及び repeat_f irst_field等の符号化パラメ一夕を、エンコーダプロック 4 8のエンコーダコントロ一ラ 4 8 0に供給する。

エンコーダコントローラ 4 8 0は、放送システムコントローラ 4 1から供給された picture_coding— type、 vbv— delay、 top_f ield_f i rst及び repeat一 f irst— fieldを使用して、差し替えコマーシャル C M 1，のベースバンドビデオデータをェンコ一ドするようにェンコ一ダ 4 8 1を制御する。すなわち、ォリジナルコマーシャル C M 1の符号化ス卜リーム S T OLDの picture— coding— type、 vbv— delay、 top —field— f irst及び repeat_f irst— fieldと、全く同じ picture— codin g_type_N vbv_delay、 top_f ield— f irst及び repeat_f irst一 f ie ldを有した符号化したストリ一ム S T NEWが生成される。

スプライスコントローラ 5 0 1は、スィツチ回路 5 0 1の入力端子を「b」に切換え、エンコーダ 4 8 1から出力されたエレメン夕リーストリーム S T NEWをストリーム解析回路 5 0 2に供給する。この第 3のスプライシング処理に関する実施例においては、このストリーム解析回路 5 0 2は、符号化ストリーム S T OLD及び符号化ストリーム S T NEWのシン夕ヅクスの解析は行なわない。

ストリームプロセッサ 5 0 3は、この第 2のスプライシング処理に関する実施例では、ストリーム解析回路 5 0 2から出力されたストリ一ム S T OLD及びストリーム S T NEWにおけるデ一夕エレメントを変更するようなストリーム処理は必要ないので、ストリーム S T OLDとストリーム S T NEWとのフレーム同期を合わせる同期合わせ処理（フレームシンクロナイゼ一シヨン）のみを行なう。具体的には、このストリームプロセッサ 503は、数フレーム分の F I F Oバッファを有しており、差し替えストリーム S T NEWがエンコーダ 48 1 から出力されるまで、この F I F Oバッファにストリーム S T OLDをバッファリングしておくことによって、ストリーム S TOLDとストリ —ム S T NEWのフレーム同期を合わせることができる。フレーム同期合わせ処理されたストリ一ム S TOLDとストリ一ム S TNEWは、スプライシング回路 5 04に供給される。

スプライスコントローラ 500は、スプライシングポイン卜 S P 1においてストリーム S TOLDの後にストリーム S T NEWが接続され、スプライシングポィント S P 2においてストリーム S TNEWの次にストリーム S TOLDが接続されるように、スブライシング回路 504のスイッチングを制御する。その結果、スプライシング回路 5 04からは、スプライスドストリーム S TSPLが出力される。

単純にスプライシング回路 504において、ストリーム S TOLDとストリーム S TNEWとをスィツチングしているだけであるが、スプライスドストリーム S TSPLの VB Vバッファのデ一夕占有量の軌跡は連続となっており、且つ、スプライスポイントにおけるフレームパ夕一ンも連続している。なぜなら、予め本局 30の放送システムコントローラ 3 1において決定された、 picture— coding— type、 vbv_d elay、 top_field_first及び repeat— first— fieldなどの符号化パラメ一夕を使用して、オリジナルコマーシャル CM 1及び差し替えコマ —シャル CM 1 ' が符号化されているからである。従って、この第 3の実施例によれば、本局及び地方局間において、予め符号化パラメ一夕を決定しておき、その決められた符号化パメ夕一夕に基いて本局においてオリジナルコマーシャル CM 1を符号化した符号化ストリーム S TOLDを生成し、さらに、その決められた符号化パメ夕一夕に基いて本局において差し替えコマーシャル CM 1⁵ を符号化した符号化ストリーム S TNEWを生成するようにしているので、それぞれ別に生成された、符号化ストリーム S TOLDと符号化ストリ一ム S TNEWをスプライシングする際に、符号化ストリーム S TOLDと符号化ストリーム S T NEWとの整合性を合わせることなる簡単にスプライシングを行なうことができ、その結果、 MP E G規格に準じた且つシームレスなスプライスドストリーム S TSPLを生成することができる。

Claims

請求の範囲

1 . 第 1の符号化ストリームと第 2の符号化ストリームとをスプライシングポィントにおいてスプライシングする符号化ストリームスプライシング装置において、

上記第 1の符号化ス卜リームのシン夕ヅクスを解析することによつて、上記第 1の符号化ストリームの符号化パラメ一夕を抽出するストリーム解析手段と、

上記ストリーム解析手段によって得られた上記第 1の符号化ストリームの符号化パラメ一夕に基いて、上記スプライシングポィントにおいて上記第 1の符号化ストリームと上記第 2の符号化ストリームとがシームレスに接続されるように、上記第 2の符号化ストリームの符号化パラメ一夕を変更し、上記第 1の符号化ストリームと上記符号化パラメ一夕が変更された第 2の符号化ストリ一ムとをスプライシングするスプライシング手段と

を備えたことを特徴とする符号化ストリームスプライシング装置。

2 . 上記ストリーム解析手段によって抽出される符号化パラメ一夕は、 V B Vバッファの初期状態を示すデータ vbv— delayであることを特徴とする請求の範囲第 1項記載の符号化ストリームスプライシング装置。

3 . 上記スプライシング手段は、上記第 2の符号化ストリームにおけるスプライスポィント後の最初のピクチャの上記 vbv— delayの値を、上記第 1の符号化ストリ一ムにおけるスプライスポイント後の最初のピクチャの vbv— delayの値に書き換えることを特徴とする請求の範囲第 2項記載の符号化ストリ一ムスプライシング装置。

4 . 上記スプライシング手段は、上記第 2の符号化ストリームにおけるスプライスボイント後の最初のピクチャの発生ビット量が、上記書き換えられた vbv_de layの値に対応するビット量となるように、上記第 2の符号化ストリームにス夕ッフィングバイトを挿入することを特徴とする請求の範囲第 3項記載の符号化ストリームスプライシング装置。

5 . 上記スプライシング手段は、上記スタッフイングバイトのデ一夕量を、上記第 1の符号化ストリ一ムにおけるスプライスポイント後の最初のピクチャの発生ビット量、及び上記第 2の符号化ス卜リームにおけるスプライスポィント後の最初のピクチャの発生ビット量に基いて演算することを特徴とする請求の範囲第 4項記載の符号化ストリ一ムスプライシング装置。

6 . 上記スプライシング手段は、上記スタツフィングバイトのデ —夕量を、上記第 1の符号化ストリームのスプライスポイントにおける V B Vバッファのデ一夕占有量と、上記第 2の符号化ストリームのスプライスポィントにおける V B Vバッファのデ一夕占有量とに基いて演算することを特徴とする請求の範囲第 5記載の符号化ストリームスプライシング装置。

7 . 上記ストリーム解析手段によって抽出される符号化パラメ一夕は、復号時にリピートフィールドを生成するか否かを示すフラグ repeat_f irst_f ieldであることを特徴とする請求の範囲第 1項記載の符号化ストリームスプライシング装置。

8 . 上記スプライシング手段は、上記第 1の符号化ストリームにおけるスプライスポイント前のピクチャのフレーム構造と、上記第 2の符号化ストリームにおけるスプライスポイント後のピクチャのフレーム構造との整合性が取れるように、上記第 1の符号化ストリームにおけるスプライスポィント前のピクチャの repeat_f irst— f ie Idの値、又は、上記第 2の符号化ストリームにおけるスプライスポィント後のピクチャの repeat_f irst— f ie ldの値を変更することを特徴とする請求の範囲第 7項記載の符号化ストリームスプライシング

9 . 上記ストリーム解析手段によって抽出される符号化パラメ一夕は、最初のフィ一ルドがトップフィールドであるかボトムフィ一ルドであるかを示すフラグ top_f ield—f irstであることを特徴とする請求の範囲第 1項記載の符号化ストリームスプライシング装置。

1 0 . 上記スプライシング手段は、上記第 1の符号化ストリームにおけるスプライスボイント前のピクチャのフレーム構造と、上記第 2の符号化ストリームにおけるスプライスボイント後のピクチャのフレーム構造との整合性が取れるように、上記第 1の符号化ストリームにおけるスプライスポイント前のピクチャの top_f ield—firs tの値、又は、上記第 2の符号化ストリームにおけるスプライスボイント後のピクチャの top_field_f irstの値を変更することを特徴とする請求の範囲第 9項記載の符号化ストリ一ムスプライシング装置。

1 1 . 第 1の符号化ストリ一ムと第 2の符号化ストリームとをスプライシングポィントにおいてスプライシングする符号化ストリ一ムスプライシング方法において、

上記第 1の符号化ストリ一ムのシン夕ックスを解析することによつて、上記第 1の符号化ストリームの符号化パラメ一夕を抽出するストリーム解析ステップと、上記ストリーム解析ステップによって得られた上記第 1の符号化ストリ一ムの符号化パラメ一夕に基いて、上記スプライシングポィン卜において上記第 1の符号化ストリームと上記第 2の符号化ス卜リ —ムとがシームレスに接続されるように、上記第 2の符号化ストリームの符号化パラメ一夕を変更し、上記第 1の符号化ストリームと上記符号化パラメ一夕が変更された第 2の符号化ストリームとをスプライシングするスプライシングステップと

を備えたことを特徴とする符号化ストリームスプライシング方法。

1 2 . 上記ストリーム解析ステツプによって抽出される符号化パラメ一夕は、 V B Vバヅファの初期状態を示すデータ vbv— delayであることを特徴とする請求の範囲第 1 1項記載の符号化ス卜リームスブラィシング方法。

1 3 . 上記スプライシングステップは、上記第 2の符号化ストリ —ムにおけるスプライスポイント後の最初のピクチャの vbv— delayの値を、上記第 1の符号化ストリームにおけるスプライスボイント後の最初のピクチャの vbv— delayの値に書き換えることを特徴とする請求の範囲第 1 2項記載の符号化ストリームスプライシング方法。

1 4 . 上記スプライシングステップは、上記第 2の符号化ストリームにおけるスプライスポイント後の最初のピクチャの発生ビット量が、上記書き換えられた vbv— delayの値に対応するビット量となるように、上記第 2の符号化ストリームにスタッフィングバイトを挿入することを特徴とする請求の範囲第 1 3項記載の符号化ストリームスプライシング方法。

1 5 . 上記スプライシングステツプは、上記スタツフィングバイトのデ一夕量を、上記第 1の符号化ストリームにおけるスプライスボイント後の最初のピクチャの発生ビット量、及び上記第 2の符号化ストリームにおけるスプライスボイント後の最初のピクチャの発生ビット量に基いて演算することを特徴とする請求の範囲第 1 4項記載の符号化ストリ一ムスプライシング方法。

1 6 . 上記スブライシングステップは、上記スタツフィングバイトのデ一夕量を、上記第 1の符号化ストリームのスプライスボイントにおける V B Vバッファのデータ占有量と、上記第 2の符号化ストリ一ムのスプライスポイントにおける V B Vバッファのデータ占有量とに基いて演算することを特徴とする請求の範囲第 1 5項記載の符号化ストリ一ムスプライシング方法。

1 7 . 上記ス卜リーム解析ステップによって抽出される符号化パラメ一夕は、復号時にリピ一トフィールドを生成するか否かを示すフラグ repeat一 first_f ieldであることを特徴とする請求の範囲第 1 1項記載の符号化ストリームスプライシング方法。

1 8 . 上記スプライシングステップは、上記第 1の符号化ストリ —ムにおけるスプライスポイント前のピクチャのフレーム構造と、上記第 2の符号化ストリームにおけるスプライスボイント後のピクチヤのフレーム構造との整合性が取れるように、上記第 1の符号化ストリームにおけるスプライスボイント前のピクチャの repeat_f ir st_f ieldの値、又は、上記第 2の符号化ストリームにおけるスプライスポイント後のピクチャの repeat_first_f ieldの値を変更することを特徴とする請求の範囲第 1 7項記載の符号化ストリ一ムスブラィシング方法。

1 9 . 上記ストリーム解析ステップによって抽出される符号化パラメ一夕は、最初のフィールドがトップフィ一ルドであるのかボトムフィールドであるのかを示すフラグ topjieldjirstであることを特徴とする請求の範囲第 1 1項記載の符号化ストリームスプライシング方法。

2 0 . 上記スプライシングステップは、上記第 1の符号化ストリ —ムにおけるスプライスポイント前のビクチャのフレーム構造と、上記第 2の符号化ストリームにおけるスプライスボイント後のピクチヤのフレーム構造との整合性が取れるように、上記第 1の符号化ス卜リームにおけるスプライスポイント前のピクチャの top— field— f irstの値、又は、上記第 2の符号化ストリームにおけるスプライスボイント後のピクチャの top— f ield_f irstの値を変更することを特徴とする請求の範囲第 1 9項記載の符号化ストリームスプライシング方 ί¾。

2 1 . 第 1の符号化ストリームと第 2の符号化ストリームとをスプライシングポイントにおいてスプライシングすることによってスプライスド符号化ストリームを生成する符号化ストリーム生成装置において、

上記第 1の符号化ストリームのシン夕ックスを解析することによつて、上記第 1の符号化ストリームの符号化パラメ一夕を抽出するストリーム解析手段と、

上記ストリーム解析手段によって得られた上記第 1の符号化ストリームの符号化パラメ一夕に基いて、上記スプライシングポィントにおいて上記第 1の符号化ストリームと上記第 2の符号化ストリームとがシームレスに接続されるように、上記第 2の符号化ストリームの符号化パラメ一夕を変更し、上記第 1の符号化ストリームと上記符号化パラメ一夕が変更された第 2の符号化ストリームとをスプライシングするスプライシング手段と

を備えたことを特徴とする符号化ストリーム生成装置。

2 2 . 第 1の符号化ストリームと第 2の符号化ストリ一ムとをスプライシングポィントにおいてスプライシングすることによってスプライスド符号化ストリームを生成する符号化ストリーム生成方法において、

上記第 1の符号化ストリームのシン夕ックスを解析することによつて、上記第 1の符号化ストリームの符号化パラメ一夕を抽出するストリーム解析ステップと、

上記ストリ一ム解析ステツプによって得られた上記第 1の符号化ストリームの符号化パラメ一夕に基いて、上記スプライシングポィン卜において上記第 1の符号化ストリームと上記第 2の符号化ストリームとがシームレスに接続されるように、上記第 2の符号化ストリームの符号化パラメータを変更し、上記第 1の符号化ストリームと上記符号化パラメ一夕が変更された第 2の符号化ストリームとをスプライシングするスプライシングステップと

を備えたことを特徴とする符号化ストリーム生成方法。