WO2000046995A1

WO2000046995A1 - Encoding system, encoding method, decoding system, decoding method, multiplexing device, multiplexing method, display system and display method

Info

Publication number: WO2000046995A1
Application number: PCT/JP2000/000629
Authority: WO
Inventors: Katsumi Tahara; Yoshihiro Murakami
Original assignee: Sony Corporation
Priority date: 1999-02-05
Filing date: 2000-02-04
Publication date: 2000-08-10
Also published as: EP1069777A1; US20090252231A1; EP1069777A4; US8160134B2; US7551672B1

Description

明細書エンコーディングシステム、エンコーディング方法、デコーディングシステム、デコーディング方法、多重化装置、多重化方法、表示システム及び表示方法。技術分野

本発明は入力ビデオデータを符号化するためェンコ一ディングシステム及び符号化ストリームをデコードするためのデコ一ディングシステムに関する。背景技術

近年、テレビジョンプログラムを制作及び放送する放送局においては、ビデオデ一夕を圧縮/ 符号化するために、 I SO/I EC 13818 として規定されている MP E G (M o V i n g P i c ture Expe rt s

Group) 技術が一般的に使われるようになつてきた。特に、ビデオカメラなどによって生成されたビデオデ一夕を、テ一ブやディスクなどのランダムァクセス可能な記録媒体素材に記録する場合や、放送局内において制作されたビデオプログラムを、ケ一ブルや衛星を介して伝送する場合には、この MP EGがデファクトスタンダードになりつつある。

この MP EG技術は、ピクチャ間の予測符号化方式を用いることによって、圧縮効率を向上させることができる符号化技術である。具体的には、 MPEG規格においては、フレーム内予測やフレーム予測を組み合わせた複数の予測符号化を採用しており、その予測方式に従って、各ピクチャは Iビクチャ（Int ra P i c ture) Pピクチャ（Pred i ct ive P i c ture ) または Bピクチヤ (B id i re ct i onal ly pred i c t ive P i c ture) のいずれかのビクチャタイプを使用してエンコード処理が行われる。 Iピクチャは、他のビクチヤからの予測が行われず、フレーム内符号化処理されたピクチャであり、 Pビクチャは、時間的に前（過去）の Iピクチャ又は Pピクチャからフレーム間順方向予測符号化されたピクチャであり、 Bピクチャは、時間的に前（過去）の Iピクチャ又は Pビクチャと、時間的に後（未来）の Iピクチャ又は Pピクチャとの両方向のピクチヤから双方向予測符号化されたピクチャである。

まず、図 1を参照して、放送局内において制作された複数のビデオプログラムを多重化するための多重化システムについて説明する。

MP EGエンコーダ 11〜19は、受け取ったソースビデオプログラム V 1〜 V9ビデオプログラムを、上述した MP EG規格に基づいてエンコードすることによって、それぞれ符号化ストリームを生成する。この符号化ストリームをエレメン夕リースリームとも称する。

バケツタイザ 21〜29は、 MP EGエンコーダ 1 1〜19から出力されたェレメン夕リーストリームをそれぞれ受け取り、エレメン夕リーストリームをパケヅト化することによってバケツタイズドエレメンタリーストリーム（PES) を生成する。このパケッタイザの処理については、詳しくは後述することにする。

トランスポ一トストリーム生成回路（TS Gen) 31〜39は、パケヅ夕ィザ 21〜29から出力されたパッケタイズドエレメン夕リ一ストリームから、 188バイトのトランスポートストリームバケツ卜から構成されるトランスポ一トストリームをそれそれ生成する。

システムターゲットデコーダバッファ（STD Buf f er) 41〜44は、トランスポートストリーム生成回路から出力されたトランスポートストリームを受け取り、ノッファリングする。この STDバッファは、 MPEGデコーダ側の受信バッファがオーバ一フロー及びアンダーフ口一しないようにシュミレ一シヨンを目的として設けられたバッファであって、 MP EG規格によって決まっている固定容量のバヅファである。

多重化回路 40は、システムターゲットデコーダバッファ 41〜44から、トランスポ一トストリームをそれぞれ受け取り、スケージュ一リングに多重化処理を実行する。次に、図 2を参照して、図 1において説明した多重化システムのパケッタイザ 21〜29のバケツティング処理、及びそのパケッティング処理の際に発生するディレイについて詳細に説明する。

図 2 Aは、 MP E Gエンコーダに供給されたソースビデオデータのピクチャ順を表しており、この図に示された符号化の例では、ソースビデオデ一夕を I、 B 、 B、 P、 B、 B、 P、 …という GOP構造で符号化処理を行う一般的な例を示している。

図 2Bは、 MP E Gエンコーダによって符号化された符号化ストリーム（エレメンタリ一ストリーム）のビクチャ順を表している。既に説明したように、 Bビクチャ B 2及び Bピクチャ B 3は、 Iピクチャ I 1と Pピクチャ P 4の両方のビクチャから予測符号化されているピクチャであるので、符号化ストリーム中におけるピクチャの順番は、 I、 P、 B、 B、 P、 B、 B、 P、 …となる。

図 2 Cは、バケツタイザ一によって生成されたバケツタイズドエレメン夕リ一ストリーム（PES) を表している。パケヅタイザ一は、エンコーダから出力された符号化ストリームをパケット化し、そのバケツトに PE Sヘッダを付加するための回路であるので、バケツタイズドエレメン夕リーストリームにおけるピクチヤ順は、エンコーダから出力された符号化ストリームのビクチャ順と同じである o

バケツタイザ一の行うバケツティングの処理はそれほど時間を必要としない。しかしながら、図 2Bと図 2 Cを比較すると理解できるように、エレメンタリーストリームに対してバケツタイズドエレメン夕リーストリームが、 4フレームだけ遅延している。この遅延の理由について以下に詳細に説明する。

前述したように、 MPEG規格では、 MPEGデコーダーにおける各ピクチャのデコ一ディング処理のタイミングをデコ一ディングタイムスタンプ（D T S) というデ一夕で規定しており、復号化ビデオデ一夕の表示タイミングをプレゼンテ一シヨンタイムスタンプ（P T S) というデ一夕で規定している。従って、 M PEGデコーダは、この DTSに基づくタイミングで符号化ストリームの各ピクチヤをデコードしなければいけなくて、また、 P T Sに基づくタイミングで、復号化ビデオデ一夕を出力しなければいけない。

このようなデコ一ディング処理を可能にするために、 M P E G規格においては、符号化ストリームを伝送したり多重化したりする場合には、各ピクチャに P T Sと D T Sを設定しなければいけないという規定がある。さらに、 M P E G規格では、その P T Sと D T Sの情報を、 P E Sヘッダに記述しなければいけないという規定がある。つまり、パケタイズドエレメンタリーストリームを生成するパケッタイザ一が、 P T Sと D T Sを生成しなければいけない。

次に、バケツ夕一ザ一が図 2 Bに示されたエレメン夕リーストリ一ムを M P E Gエンコーダから受け取った後の、バケツタイザ一の P T Sの確定処理について説明する。

第 1番目に受け取ったビクチャ I 1は、 Iピクチャであるので、第 1番目に表示されなければいけないピクチャということで、 P T Sを決定することは簡単である。例えば一例として、このビクチャ I Iの P T Sを「 1」とする。

第 1番目のピクチャ I 1の次に受け取る第 2番目のビクチャ P 4は Pピクチヤである。図 2 Aに示されたソースビデオのピクチャ順からも理解できるように、この Pピクチャ P 4は、この Pピクチャ P 4の後に続いている複数の Bピクチャの後に表示されなければいけない。しかしながら、バケツタイザ一は、このピクチヤ P 4を受け取った時点（t 5 ) では、このピクチャ P 4の後に、いくつの B ビクチャが連続で伝送されてくるかはわからないのである。従って、このピクチャ P 4を受け取った時点（t 5 ) では、ピクチャ P 4の P T Sを決定することはできないのである。そこで、バケツタイザ一は、最初のピクチャ I 1と第 2番目のビクチャ P 4をバッファリングする。このバッファリング処理は、ピクチャ P 4の P T Sを確定することができるまで続けないといけない。

第 3及び第 4番目のピクチャ B 2及び B 3は、 Bピクチャであるので、 P T S を直ぐに決定することができる。つまり、ピクチャ B 2の P T Sは「2」であり、ピクチャ B 3の P T Sは「3」である。第 5番目のピクチャ P 7は Pピクチヤであるので、この Pピクチャを受け取つた時点（t 8 ) で、パケヅタイザ一は、第 2番目のピクチャ P 4の後に 2つの B ピクチャが連続していたことを始めて知ることができ、この Pピクチャ P 7を受け取った時点（t 8 ) で、ピクチャ P 4の P T Sは「4」であると確定できるのである。つまり、バケツタイザ一は、この Pピクチャ P 7を受け取った時点（t 8 ) で、 Iビクチャと Pピクチャの間に 2つの Bピクチャが存在する G O P構造 ( 1、 Ρ、 Β、 Β、 Ρ ···) であったことを知ることができ、すべてのピクチャの P T Sを決定することができるのである。

以上のような P T Sの確定処理を行うためには、パケッタイザ一は、時刻 t 4 で受けとつたエレメン夕リーストリームを、時刻 t 8までバッファリングしないといけない。つまり、この P T Sを確定するための処理に、 4フレーム分の遅延が発生するのである。

この図 2に示した、 Iピクチャと Pピクチャの間に 2つの Bピクチャが存在するような G 0 P構造の場合には、上述したように 4フレームの遅延が発生するが、 Iピクチャと Pピクチャの間に 4つの Bピクチャが存在するような G O P構造の場合には、 6フレームの遅延が発生する。つまり、 P T Sを確定するための処理に、 Iピクチャを Pピクチヤの間に存在する Bビクチヤの数を Nとすると、（ N + 2 ) フレーム分の遅延が発生するという問題があつた。

さらに、パケッタイザ一を設計する際にも問題が発生する。例えば、 4フレームの遅延を発生させるためだけであれば、バッファリング用として 4つのフレームメモリを備えれば十分である。しかしながら、図 1に示したように、パケッ夕ィザには様々な G O P構造を有したストリームが供給されることになるため、どのような符号化ストリームのどのような G O P構造にも対応できるように、 Iピクチャと Pビクチャの間に存在する Bピクチヤの最大数を想定して、フレームメモリの数を設計しなければいけない。一例として、リーズナブルな想定数として Bピクチャの最大数を「5個」と想定すると、図 1に示したように、 9つのビデォプログラムを多重化する多重化システムの場合には、 9個のバケツタイザ一が必要になってくるので、合計 45個のフレームメモリを用意しなければいけない。その結果、このような多重化システムを実現するためには、装置が高価になるという問題点があった。

さらに、図 3に示すように、取材現場において取材したビデオデ一夕を各家庭まで伝送には、取材現場からメイン放送局への伝送、メイン放送局内での伝送、メイン放送局から地方局への伝送、及び地方放送局から家庭への伝送等が存在し、全ての伝送プロセスにおいて、パケッタイズドエレマンタリ一ストリームを生成する処理が必要になってくる。その結果、各伝送プロセスにおいて、パケッ夕ィズドエレマン夕リーストリームを生成する際のディレイが発生及び蓄積され、大きなディレイとなるという問題があった。発明の開示

本発明は、入力ビデオデ一夕を符号化するためェンコ一ディングシステム及び複数の符号化ストリームを多重化するための多重化システムに関する。具体的には、符号化ストリームを遅延無くパケットすることを可能にするェンコ一ディングシステム、デコ一ディングシステムを提案するものである。

符号化ストリーム中に、入力ビデオデ一夕のピクチャオーダを示す情報を記述し、バケツタイズドエレメン夕リーストリーム（PES) パケヅトを生成する際にそのビクチャオーダに関する情報を使用することによって、 PE Sバケツト生成処理に伴うディレイの発生を防止することができるシステム及び方法を提供するものである。

M P E Gェンコーダは、入力ビデオデータのフィ一ルド数から得られた情報に基づいて PTS— c 011] 1:及び0丁3— 0 011111:を生成し、そのデ一夕を符号化ストリーム中にピクチャオーダーに関する情報として記述する。バケツタイズドエレメン夕リーストリームを生成するためのパケヅタイザ一は、符号化ストリーム中に記述されている P T S_c o un t及び D TS— c ountを取り出し、この PTS 0 011111:及び0丁 3 countに基づいて、プレゼンテ一シヨンタイムスタンプ及びデコ一ディングタイムスタンプを生成し、 P E Sへヅダとして付加する。

入力ビデオデータを符号化するためのェンコ一ディングシステムにおいて、入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、エレメンタリーストーム中に、エレメンタリーストリームのピクチャオーダに関する情報を記述し、エレメンタリーストリームを受け取り、エレメン夕リーストリーム中に記述されているビクチャオーダ一に関する情報から、エレメン夕リーストリームに関するタイムスタンプ情報を生成する。

入力ビデオデータを符号化するためのェンコ一ディングシステムにおいて、入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、エレメンタリーストリーム中に、エレメンタリーストリームのピクチャオーダ一に関する情報を記述し、エレメン夕リーストリーム中に記述されているビクチャオーダ一に関する情報に基づいて、エレメン夕リーストリームをパケット化する。

入力ビデオデータを符号化するためのェンコ一ディングシステムにおいて、入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、エレメンタリーストリーム中に、エレメンタリーストリームのピクチャオーダに関する情報を記述し、エレメン夕リ一ストリーム中に記述されているビクチャオーダ一に関する情報に基づいて、エレメン夕リーストリームをパケット化する。

入力ビデオデータを符号化するためのェンコ一ディングシステムにおいて、入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、エレメンタリーストリームに、エレメンタリーストリームのデコード処理及び/又はプレゼンテーション処理に関するタイムスタンプ情報を多重化し、エレメンタリーストリームを受け取り、エレメンタリーストリーム中に記述されているタイムスタンプ情報に基づいて、エレメン夕リーストリームに関するストリームプロセスを行う。復数の入力ビデオデータを符号化するェンコ一ディングシステムにおいて、複数の入力ビデオデ一夕を符号化することによって複数のエレメン夕リーストリ一ムを生成するとともに、エレメン夕リーストリームのデコ一ド処理及び/又はプレゼンテ一シヨン処理に関するタイムスタンプ情報を、各エレメン夕リーストリ —ム中に記述し、複数のエレメンタリーストリームを受け取り、各エレメンタリーストリーム中に付加されているタイムスタンプ情報に基づいて、複数のエレメン夕リーストリームを多重化する。

入力ビデオデ一夕を符号化するためのェンコ一ディングシステムにおいて、ェレメン夕リーストリームを生成するために入力ビデオデ一夕を符号化し、エレメン夕リーストリームからパケッタイズドエレメン夕リーストリームを生成し、ケッタイズドエレメン夕リーストリームのヘッダに記述されるタイムスタンプを生成するための情報を、エレメン夕リーストリーム中に記述する。

複数の入力ビデオデ一夕を符号化することによって生成された複数のエレメン夕リーストリームを多重化するための多重化装置において、複数のエレメン夕リ —ストリームから、複数のエレメン夕リーストリームに夫々関連付けられたタイムスタンプに関する情報を抽出する手段と、各エレメンタリーストリ一ムから抽出したタイムスタンプに関する情報に基づいて、複数のエレメン夕リーストリ一ムを多重化する手段とを備える。

ソースビデオデ一夕を符号化する事によって生成された符号化ストリームをデドするためのデコーディングシステムにおいて、符号化ストリーム中に含まれているデコーディングタイムスタンプを抽出し、デコーディングタイムスタンプに基づいて、符号化ストリームをデコードするようになされ、デコーディングタイムスタンプは、ソースビデオデ一夕のフィ一ルド数に基づいて生成された情報とする。

ソースビデオデ一夕を符号化することによって生成された符号化ストリームを、デコードすることによって復号化ビデオデ一夕を生成し、復号化ビデオデータを表示するための表示システムにおいて、符号化ストリーム中に含まれていたプレゼンテーシヨンタイムスタンプを抽出し、復号化ビデオデ一夕を生成するために符号化ストリームをデコ一ドし、プレゼンテーションタイムスタンプに従って、復号化ビデオデ一夕を表示するようになされ、プレゼンテーションタイムス夕ンプは、ソースビデオデ一夕のフィールド数に基づいて生成された情報とする。図面の簡単な説明

図 1は、従来の MP E Gエンコーダ及び MP E Gデコーダを有するシステムの多重化システムの構成を示すプロック図である。

図 2は、各 GOPピクチャの構造を示す略線図である。

図 3は、ビデオデ一夕の流れを示す略線的ブロック図である。

図 4は、本発明によるェンコ一ド /デコ一ドシステムの構成を示すプロヅク図である。

図 5は、エレメン夕リストリーム及びトランスポートストリームを示す略線図である。

図 6は、 MP E Gエンコーダの構成を示すプロヅク図である。

図 7は、 3— 2プルダウン処理の説明に供する略線図である。

図 8は、ビデオデ一夕の全画素エリア及びアクティブビデオエリアを示す略線図である。

図 9は、各フレームの構造を示す略線図である。

図 10は、 video s e q u e n c eのシンタックスを示す略線図である ο

図 11は、 s equence h e a d e rのシンタックスを示す略線図である。

図 12は、 s equence e x t e n t i o nのシンタックスを示す略線図である。

図 13は、 ext ens i on and us er dat aのシンタックスを示す略線図である。図 14は、 us er d a t aのシンタックスを示す略線図である。

図 15は、 dat a I Dのシンタックスを示す略線図である。

図 16は、 V— Phaseのシン夕ックスを示す略線図である。

図 17は、 H— Phas eのシンタックスを示す略線図である。

図 18は、 t ime c o d eのシンタックスを示す略線図である。

図 19は、 t ime c o d eのシン夕ヅクスを示す略線図である。

図 20は、 p i c ture o r d e rのシンタックスを示す略線図である。図 21は、 anc i l lary d a t aのシンタックスを示す略線図である ο

図 22は、 group of i cture headerのシンタックスを示す略線図である。

図 23は、 p i cture h e a d e rのシンタックスを示す略線図である ο

図 24は、 p i cture ce rd ing ext ens i onのシンタツクスを示す略線図である。

図 25は、 p i c ture d a t aのシンタックスを示す略線図である。図 26は、シーケンスレイヤ、 GO Pレイヤ、ピクチャレイヤの各デ一夕を示す略線図である。

図 27は、エンコーダ側の多重化部の構成を示すブロック図である。

図 28は、ソ一スビデオデータから PE Sパケット及び T Sバケツトを生成する方法の説明に供する略線図である。

図 29は、 PE Sヘッダのデータ構成を示す略線図である。

図 30は、各ピクチャの配列を示す略線図である。

図 31は、 MP E Gデコーダの構成を示すブロック図である。発明を実施するための最良の形態

図 4は、メイン放送局 141及び地方放送局 171からなる放送システムを表している図である。

メイン放送局 141には、複数のエディティングプロセッシングスタジオ 1 45A〜145D、複数の MPE Gエンコーダ 142 A〜 142Dと、複数の MP EGデコーダ 144A〜144Dと、少なくとも 1つのマルチプレクサ 16 2Aと少なくとも 1つのデマルチプセクサ 161 Aとを備えている。また、この放送局内 141には、 SMPTE 305 Mとして定義されている S D T I— CP (Ser ial Dat a Transi er Int e rf ace— Cont e n t Package) ネヅトワーク 150を備え、各 MP E Gエンコーダ、各 MP E Gデコーダ、マルチプレクサ 162 A及びデマルチプレクサ 161 Aが、 SDTI— CPネットワーク 150を介してエレメン夕リーストリームを送受信するすることができる。 SDTI— CPは、 MPEGのエレメンタリーストリ —ムを伝送するために提案された通信フォーマツトであって、 SMPTE 305 Mとして定義されている。尚、この SDT I— CPネットワーク 150上に転送されたエレメンタリーストリ一ムは、 E S— o ve r— SDT I— CPと表現されている。

エディティング Zプロセッシングスタジオ 145 A〜 145 Dは、ビデオサ一バ一、ビデオ編集機、特殊効果装置及びビデオスィッチャなどを備えているス夕ジォである。 MP E Gデコーダから復号化されたベーバンドのビデオデ一夕を受け取り、そのベースバンドのビデオデータに対して、編集や画像処理を行ったあと、編集ビデオデ一夕又は画像処理ビデオデ一夕を、 MPEGエンコーダに出力する。すなわち、エディティング /プロセッシングスタジオ 145 A〜 145 D は、符号化ストリームのストリームプロセッシングではなく、ベースバンドビデォ信号の編集や画像処理を行うためのプロセッシングュニットでる。

MP EGエンコーダ 142 A〜l 42Dは、エディティング /プロセッシングスタジオ 145 A~ 145 Dからべ一スパンドの入力ビデオ信号を受け取り、その入力ビデオデータを、前述した MPEG規格に従ってエンコードし、エレメン夕リーストリーム（ES) を生成するための装置である。 MP EGエンコーダによって生成されたエレメン夕リーストリームは、 SDT I— CPネヅトワーク 1 50を介して、 MPEGデコーダ 144A〜144 Dのうちのいずれかの MP E Gデコーダ又はマルチプレクサ 162 Aに供給される。

MP EGデコーダ 144A〜144Dは、 M P E Gエンコーダ 142 A〜 14 2 D又はデマルチプレクサ 161Aから、 SDT I— CPネットワーク 150を介して供給されたエレメン夕リーストリームを受け取り、 MP E G規格に基づいてデコード処理を行う。マルチプレクサ 162 Aは、メイン放送局内 141において制作された複数のビデオプログラムを地方局 171又は各家庭に配信するために、多重化することによって一つのトランスポートストリームを生成するための回路である。具体的には、 SDT I— CPネットワーク 150を介して複数のビデオプログラムに対応する複数のエレメン夕リーストリーム受けとり、各ェレメン夕リーストリームをバケツト化することによってパケヅタイズドエレメン夕リーストリームを生成し、そのバケツタイズドエレメン夕リーストリ一ムからトランスポートストリームパケットを生成する。複数のビデオプログラムから生成されたトランスポ一トストリームパケットを多重化することによって、マルチプレクサ 162 Aは多重化されたトランスポートストリームを生成する。尚、このマルチプレクサ 162 Aの構成及び処理については、後述する。

複数のビデオプログラムの伝送先が地方局 171の場合には、マルチプレクサ 162 Aによって生成された多重化トランスポートストリームは、地方局 171 のデマルチプレクサ 161 Bに ATMや衛星回線などのネヅトヮ一クを介して供給される。地方局 171は、規模こそメイン局 141と異なるが、全く同じシステム構成を有しているので、詳細については説明を省略する。

複数のビデオプログラムの伝送先が地方局 171の場合には、マルチプレクサ 162 Aによって生成された多重化トランスポ一トストリームは、各家庭のセットトヅプボックス内に設けられている MPEGデコーダ 17 OAに、 ATMゃ衛星回線などのネットワークを介して供給され、デコードされたビデオデ一夕が T Vセットに供給される。図 5は、放送局内において SDT I—CPネヅトヮ一クを介して伝送されるェレメン夕リーストリームと、公衆ネットワークを介しで伝送されるトランスポートストリームとの違いを表している。

放送局内においては、エレメンタリーストリームは、 SDTI— CPネットヮ —クを使用して伝送される。この SDT I— CPネットワーク 150は、 SMP TE 259 Mによって規格化されている SD I (Ser ial Dat a I nt erf ace) をベースとした 270Mb p sの伝送速度を可能にしている通信フォーマットであって、 MPEG方式のエレメン夕リストリーム（ES) をそのまま伝送することが可能であり、スタジオ内のような閉じたネットワークに適している。具体的には、図 5 Aに示すように、ビデオデ一夕のフレーム単位で、ビデオデータ「V」とオーディオデータ「A」がパッキングされており、フレームシンク（点線）により区切られたフレーム境界で、簡単に編集を行うことができる。

放送局間の伝送や公衆ネットワークを使用する際には、トランスポートストリ —ムの形態でビデオデ一夕が伝送される。トランスポートストリームは、伝送容量の少ない公衆ネットワークにおいてもデ一夕転送を可能にするために、図 5B に示すように、ビデオデ一夕やオーディオなどのずベてのコンテンツは、 188 バイ卜の単位にパッキングされて伝送される。同様に、「V」はビデオデ一夕のトランスポートストリームバケツトと示し、「A」はオーディオデ一夕のトランスポートストリームパケットを示し、空白は空きデータのバケツトを示している次に、図 6を参照して、 MP EGエンコーダ 142 A〜l 42Dについて説明する。

まず最初に、この MP EGエンコーダに供給される入力ビデオデ一夕について補足する。この実施例においては、この入力ビデオデ一夕は、 24Hzのフレームレ一トを有していたソースビデオデ一夕に対して、 3— 2プルダウン処理を行うことによって生成された 30Hzのビデオデ一夕である。具体的には、 24 P

Hzのフレームレートを有したオリジナルのソースビデオデ一夕は、各フレーム F l、 F2、 ……がそれぞれ 2つのフィールド（トップフィールド t 1、 t 2、 ······及びボトムフィールド b 1、 b 2、 …… ) から構成されいるビデオデータであって、 3— 2プルダウン処理では、図 7Aに示すように、トップフィールドファーストである第 1のフレーム F 1ではトツプフィールド t 1を繰り返してリピートフィールド t 1 'を生成することにより 3フィールドで 1つのフレームを構成し、また、ボトムフィールドファーストである第 3のフレーム F 3ではボトムフィールド b 3を繰り返してリピートフィールド b 3 'を生成する。このようにして、 3— 2プルダウン処理では、 3フィールド構成のフレームと 2フィ一ルド構成のフレームを交互に繰り返すことにより、フレームレートが 24Hzのソ —スビデオデ一夕から、図 7 Aのようなフレームレートが 30 H zのビデオデー夕を生成することができる。

尚、この実施例では、入力ビデオデータが、 3— 2プルダウン処理によって生成された入力ビデオデータの例を示しているが、本発明は、入力ビデオデータが 3-2プルダウンされたビデオデ一夕の実施例に限られるものではなく、オリジナルソースビデオが 30 H zのフレームレートを有するビデオデータであって、 3-2プルダウン処理が施されていないビデオデータの場合であっても問題無く適用できるものである。

図 6に示された MPEGエンコーダは、補助デ一夕分離回路 101、フィールドカウン夕 102、逆 3— 2プルダウン回路 103、エンコーディングコント口 —ラ一 104、動きべクトル検出回路 105、スィツチ回路 1 1 1、 DCT回路 112、量子化回路 113、逆量子化回路 1 14、逆 D C T回路 115、加算回路 1 16、メモリ 1 17及び 118、動き補償回路 119、演算回路 120、 1 21、 122、可変長符号化回路 125及び送信バッファ 126を備えている。補助データ分離回路 101は、入力ビデオデ一夕のブランキング期間から、ァンシラリーデ一夕を抽出する回路である。具体的には、図 8に示したように、入力ビデオデータの垂直ブランキング期間に挿入されているアンシラリーデ一夕と、そのアンシラリーデ一夕が挿入されているライン番号を抽出する。このアンシラリーデ—夕としては、テレテキストデ—夕、クローズドキャプションデ—夕、

SMPTE RP 164において定義されている' V I T C (Vert i ca l Int erval T ime Code ) や R P 196において定義されている LTC (L inear T ime C o d e ) 等であるが、これのみに限定する必要はない。本実施例においては、抽出したアンシラリ一データに関する情報は、 Anc i l lar y_d at aとしてコントローラ 104に供給されるとともに、ライン番号に関する情報は、 L i ne— numb e rとしてコントローラ 104に供給される。また、 VI TCに関する情報は、 Time— code— 1 としてコントローラ 104に供給され、 LTCに関する情報は、 T ime— c o de— 2としてコント口一ラ 104に供給される。

また、補助デ一夕分離回路 101は、入力ビデオデータが有する固有情報を入力ビデオデ一夕から抽出する。この固有情報とは、例えば、図 8に示したように、入力ビデオデータの全画素エリア AR 1に対するアクティブビデオエリア AR 2が存在する位置を示すデータであり、具体的には、アクティブビデオアリアの垂直方向の開始位置を示すライン数及び水平方向の開始位置を示すサンプル数などである。本実施例においては、アクティブビデオアリアの垂直方向の位置に関する情報は、 V— p h a s eアクティブビデオァリァの水平方向の位置に関する情報は、 H— pha s eとしてコントロ一ラ 104に供給される。その他の固有情報の例としては、入力ビデオデ一夕に付与されたソース名称、撮影場所、撮影時間などである。

補助デ一夕分離部 101から出力された入力ビデオデータは、続くフィールドカウン夕 102に供給される。フィールドカウン夕 102は、入力ビデオデ一夕の各フレームを構成するフィ一ルドを各フレームごとにカウントする回路である。フィールドカウン夕 102は、そのフレーム毎のカウント情報を、 F i e l d — I Dとしてコントローラ 104に供給する。たとえは、図 7Aに示したような入力ビデオデータがこのフィールドカウン夕 102に供給された場合には、フレ —ム F 1には 3つのフィールドが存在するので、カウント情報として、「0」、「 1」及び「2」の F i e ld— I Dが出力され、フレーム F 2には 2つのフィ一ルドが存在するので、カウント情報として、「0」及び「1」の F ie ld— I Dが出力される。

さらに、このフィールドカウン夕 102は、入力ビデオデータのフィールドをカウントすることによってカウントアップされる 2つのカウン夕を備え、この力ゥン夕によるカウント値に関する情報を PT S— c ount e r及び DT S— c ount e rとしてコントローラ 104に出力する。

E Sヘッダを生成するときに、 PTS— c ount e rはプレゼンテーションタイムスタンプ（PTS) を生成するための情報として使用され、 DTS— c 0 unt e rはデコ一ディングタイムスタンプ（DTS) を生成するための情報として使用される。

この PTS— count e r及び D TS— c ount e rについて、図 9を参照して詳細に説明する。

図 9は、入力ビデオデ一夕の各フレームのフレーム構造と、各フレームにおける PTS— c ount e r及び D TS— count e rの関係を示している図である。図 9について詳細に説明する前に、 R e p e a t_f i r s t_f i e 1 d及び T o p_f i e ld— f i r stフラグについて補足しておく。 R e p e a t— f i r s t_f i e 1 dのフラグの" 1" は、 MPEGデコ一ド時に、リピートフィールドを作成する必要があることを意味し、 Repeat— f ir s t— f i e 1 dのフラグの" 0"は、 MP EGデコード時に、リビートフィールドを作成する必要がないことを意味する。 T 0 p_f i e 1 d_f i r s tのフラグは、フレームを構成するフィールドのうち、最初のフィールドがトップフィ —ルドであるのか、またはボトムフィールドであるのかを表している。 Top_ f i e ld_f ir s tフラグの" 1"は、トップフィ一ルドがボトムフィ一ルドより時間的に早いフレーム構造であることを表しており、 Top— f ie Id f i r s tフラグの" 0 " は、ボトムフィ一ルドがトップフィ一ルドより時間的に早いフレーム構造であることを表している。

図 9 Aは、図 7 Aにおいて説明した入力ビデオデ一夕に関するフレーム構造について説明するための図である。具体的には、最初のフレーム F 1をデコードする際に、単純にトップフィールドとボトムフィールドからなるフレームを生成するのではなく、トツプフィ一ルドをコピーしてリピ一トフィ一ルドを作成することで、 3フィールドからなるフレームを生成する必要がある。従って、対応する Repeat— f i rst— f i e l dのフラグは" 1" となり、 To p_f i e 1 d_f i r s tのフラグは" 1 " となる。

フレーム F 2のデコード処理においては、リピートフィールドを生成する必要がないので、 R e p e a t— f i r s t— f i e 1 dのフラグは" 0" とされ、ボトムフィ一ルドがトップフィールドより時間的に早いフレームであるため、 T o p— f i e 1 d— f i r s tのフラグは" 0" とされる。

フレーム F 3のデコ一ド処理においては、そのボトムフィ一ルドをコピーしてリピ一トフィールドが作成され、符号化フレームが 3フィールドに変換されなければいけない。従って、 R e p e a t_f i r s t_f i e 1 dのフラグは" 1" とされ、 T o p_f i e 1 d_f i r s tのフラグは" 0" とされる。フレーム F 4のデコード処理において、リビ一トフィ一ルドが作成する必要はないので、 R e p e a t_f i r s t_f i e 1 dのフラグは" 0" とされ、 T ο ρ— f i e 1 d— f i r s tのフラグは 1とされる。

さて、上述したように、 PTS— c ount e rは PTSの基になるタイムス夕ンプ情報であるので、入力ビデオデータのフレーム順と一致している情報でなければいけない。具体的には、この P T S— c o un t e rは、 0から 127まで増加した後、再び 0に戻るカウント動作を行うカウン夕一によって生成される値である。従って、カウン夕 PTS— count e rの値は、図 9 Bに示すように変化する。

具体的に説明すると、入力ビデオデ一夕において、最初のフレーム F 1は Iピクチャであり、最初に表示しなければいけないピクチャであるので、 PTS c o un t e r の値は" 0"である。

2番目のフレーム F 2の PTS— c ount e rの値は、フレーム F 1の PT S— c oun t e rの値" 0"に、フレーム F 1に含まれているフィ一ルド数 "3"を加算した値" 3" (=0 + 3) となる。

3番目のフレーム F 3の PTS— c ount e rの値は、フレーム F2の PT S— c o un t e rの値" 3"に、フレーム F 2に含まれているフィ一ルド数 "2" を加算した値" 5" (=3 + 2) となる。 4番目のフレーム F4の PTS — c ount e rの値は、フレーム F 3の PTS— c ount e rの値" 5"に、フレーム F2に含まれているフィールド数 " 3"を加算した値" 8" (=5 + 3) となる。フレーム F 5以降の PTS— c ount e rの値も同様に算出され ο

さらに、 D T S— c o un t e rは、 D T Sの基になるタイムスタンプ情報であるので、入力ビデオデ一夕のフレーム順では無くて、符号化ストリーム中のピクチャ順と一致する情報でなければいけない。

図 9 Cを参照して、具体的に説明すると、最初のフレーム F 1は、 Iピクチャであるので、フレーム F 1が表示される表示タイミングょりフレーム F 1がデコ —ドされるタイミングが 1フレーム分だけ早くなくてはいけない。すなわち、フレーム F 1の前のフレーム F 0は 2つのフィ一ルドから構成されているため、 D TS— count e rの値は、表示タイムスタンプ P TS— c ount er = 0 を基準時間としたとき、基準時間 "0" より "3" フィールド分だけ前の値" 1 25" となる。尚、 DT S— c ount e rは 27 (= 128) のモジュロで表されるため、その値は 0から 127の間の値を循環する。

フレーム F 1の次に符号化されるフレーム F 4の D T S— c ount e rの値は、フレーム F 1の DTS— count e rの値 " 125" に、フレーム F 1のフィールド数 "3" を加えた値 "0" (= 128 = 125 + 3) となる。

次に符号化されるフレーム F 2は Bピクチヤであるため、 D T S— c ount e rの値は、 PTS c ount e rと同じ値になり、その値は" 3" となる。同様に、次に符号化されるフレーム F 3も Bピクチヤであるので、 DTS— c o unt erの値は、 P T S_c o u n t e rの値と同一とされ、その値は" 5" とされる。以下、フレーム F 7以降の D TS— c ount e rの値も、同様に算出されるので、ここでは、その説明を省略する。

フィールドカウン夕一 102は、上述した決まりに従って、 PTS— coun t e r及び DT S— c o un t e rを生成し、コントローラ 104に供給する。逆 3— 2プルダウン回路 103は、フィールドカウン夕 102から出力されたビデオデ一夕を受け取り、逆 3— 2プルダウン処理を行う。この逆 3— 2ブルダゥン処理回路 103は、図 7Aに示すような 3— 2プルダウン処理により得られた 30 H zのフレームレートのビデオデ一夕を受け取って、 24 H zのフレームレートのビデオデ一夕を生成するための回路である。具体的には、逆 3— 2プルダウン処理回路 7は、図 7 Bに示すように、 3— 2プルダウン処理によって挿入されたリピートフィールド t 1 '及び b3 'を除去することによって、 30Hz のフレームレートのビデオデータを、 24 H zのフレームレートのビデオデ一夕に変換する。逆プルダウン処理回路 103は、リビートフィールドを除去する際に、供給されたビデオデータのフレーム構造を解析し、所定間隔で出現するリピ —トフィールドであると認定したフィ一ルドのみを除去するようにしている。よつて、逆プルダウン処理回路 103は、ビデオデータのフレーム構造を解析したときに、フレーム構造を表す情報として、 R e p e a t— f i r s t— f i e 1 dと T op— f i e 1 d_f i r s tのフラグを生成し、コントローラ 104に供給する。

動きべクトル検出回路 105は、逆 3— 2プルダウン処理回路 103から出力されたビデオデ一夕を、マクロブロック単位で受け取り、予め設定されている所定のシーケンスに従って、各フレームの画像デ一夕を、 Iピクチャ、 Pビクチャ、又は Bビクチャとして処理する。シーケンシャルに入力される各フレームの画像を、 I、 P又は Bのいずれのビクチャとして処理するかは、オペレータによつて指定される GOP構造に基づいて予め定められている。検出された動きべクトル M Vは、コントローラ 1 0 4及び動き補償回路 1 1 9に供給される。

スィッチ回路 1 1 1は、画像内予測モードが設定されたとき、スィッチを接点 aに切り換える。従って、このマクロブロックデ一夕は、 Iピクチャのデ一夕と同様に、 D C T回路 1 1 2、量子化回路 1 1 3、可変長符号化回路 1 2 5及び送信バッファ 1 2 6を介して伝送路に伝送される。また、この量子化デ一夕は、逆量子化回路 1 1 4、逆 D C T回路 1 1 5、及び演算器 1 1 6を介しての後方予測画像用のフレームメモリ 1 1 7に供給される。また、前方予測モードが設定された場合、スィッチ 1 1 1が接点 bに切り換えられると共に、の前方予測画像用のフレームメモリ 1 1 8に記憶されている画像デ一夕（この場合 Iピクチャの画像デ一夕）が読み出され、動き補償回路 1 1 9により、動きベクトル検出回路 1 0 5がから供給されている動きべクトル M Vに基づいて動き補償が行われる。すなわち、動き補償回路 1 1 9は、前方予測モードの設定が指令されたとき、前方予測画像用のメモリ 1 1 8の読出しアドレスを、動きぺクトル検出回路 1 0 5が、現在出力しているマクロブロックの位置に対応する位置から動きべクトルに対応する分だけずらしてデ一夕を読み出し、予測画像デ一夕を生成する。

動き補償回路 1 1 9より出力された予測画像データは、演算器 1 2 0に供給される。演算器 1 2 0は、参照画像のマクロブロックのデ一夕から、動き補償回路 1 1 9より供給された、このマクロプロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、 0 ( 1¹回路1 1 2、量子化回路 1 1 3、可変長符号化回路 1 2 5及び送信バッファ 1 2 6を介して伝送路に伝送される。また、この差分デ一夕は、逆量子化回路 1 1 4、及び I D C T 回路 1 1 5により局所的に復号され、演算器 1 1 6に入力される。

この演算器 1 1 6にはまた、演算器 1 2 0に供給されている予測画像デ一夕と同一のデ一夕が供給されている。演算器 1 1 6は、 1 0〇1¹回路1 1 5が出力する差分データに、動き補償回路 1 1 9が出力する予測画像データを加算する。これにより、元の（復号した） Pピクチャの画像データが得られる。この Pビクチャの画像データは、フレームメモリの後方予測画像部 1 1 7に供給されて記憶される。

動きベクトル検出回路 1 0 5は、このように、 Iビクチャと Pピクチャのデ一夕が前方予測画像部 1 1 8と後方予測画像部 1 1 7にそれぞれ記憶された後、次に Bピクチヤの処理を実行する。画像内予測モ一ド又は前方予測モードの時、スィッチ 1 1 1は接点 a又は bに切り換えられる。このとき、 Pビクチャにおける場合と同様の処理が行われ、デ一夕が伝送される。

これに対して、後方予測モード又は両方向予測モードが設定されたとき、スィツチ 1 1 1は接点 c又は dにそれぞれ切り換えられる。

スィッチ 1 1 1が接点 cに切り換えられている後方予測モードのとき、後方予測画像部 1 1 7に記憶されている画像（現在の場合、 Pビクチャの画像）データが読み出され、動き補償回路 1 1 9により、動きベクトル検出回路 1 0 5が出力する動きべクトルに対応して動き補償される。すなわち、動き補償回路 1 1 9は、後方予測モードの設定が指定されたとき、後方予測画像部 1 1 7の読み出しァドレスを、動きベクトル 1 0 5が、現在出力しているマクロブロックの位置に対応する位置から動きべクトルに対応する分だけずらしてデ一夕を読み出し、予測画像デ一夕を生成する。

動き補償回路 1 1 9より出力された予測画像データは、演算器 1 2 1に供給される。演算器 1 2 1は、参照画像のマクロブロックのデ一夕から、動き補償回路 1 1 9より供給された予測画像デ一夕を減算し、その差分を出力する。この差分デ一夕は、 D C T回路 1 1 2、量子化回路 1 1 3、可変長符号化回路 1 2 5及び送信バッファ 1 2 6を介して伝送路に伝送される。

スィッチ 1 1 1が接点 dに切り換えられている両方向予測モードのとき、前方予測画像部 1 1 8に記憶されている画像（現在の場合、 Iビクチャの画像）デー夕と、後方予測画像部 1 1 7に記憶されている画像（現在の場合、 Pピクチャの画像）デ一夕が読み出され、動き補償回路 1 1 9により、動きベクトル検出回路 1 0 5が出力する動きべクトルに対応して動き補償される。

すなわち、動き補償回路 1 1 9は、両方向予測モードの設定が指定されたとき、前方予測画像部 118と後方予測画像部 117の読み出しアドレスを、動きべクトル検出回路 105がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の 2つとなる）に対応する分だけずらしてデータを読み出し、予測画像デ一夕を生成する。動き補償回路 119より出力された予測画像デ一夕は、演算器 1 22に供給される。演算器 122は、動きべクトル検出回路 105より供給された参照画像のマクロブロックのデ一夕から、動き補償回路 119より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、 D C T回路 1 12、量子化回路 1 13、可変長符号化回路 125及び送信バッファ 126を介して伝送路に伝送される。

Bビチクャの画像は、他の画像の予測画像とされることがないため、フレームメモリ 117、 118には記憶されない。

コントローラ 104は、上述した予測モードに関する処理、 DCTモードに関する処理及び量子化に関する処理に携わる全ての回路をコントロールする。さらには、コントローラ 104は、各ビクチャのエンコーディング処理において発生した、動きベクトル、ピクチャタイプ、予測モード、 DCTモード、量子化ステップなどの全てのコ一ディングパラメ一夕を、可変長符号化回路 125に供給する ο

また、コントローラ 104は、補助デ一夕分離回路 101から、 V— phas e、 H— phas e、 T ime― c ode 1 _s T ime― code 2、 An c i 11 a r _d a t a及び L i n e— numb e rに関する情報を受け取ると共に、フィ一ルドカウン夕 102から DT S— c ount e rPT S_c o u n t e r及び F i e 1 d— I Dに関する情報を受け取る。コントローラ 104は、受け取った、 V— phas e、 H— phas e、 T ime— c ode l、 Time― code 2、 Anc i l lary― d a t a、 L ine― numb er、 DTS— c ount er P T S— c o u n t e r及び F i e 1 d— I Dに関する情報を、 MPEG_E S_e d i t i ng_i nf ormat i on (i) として可変長符号化回路 125に供給する。

可変長符号化回路 125は、量子化回路 113から量子化された DC T係数及びコントローラ 104から供給されたコ一ディングパラメ一夕を可変長符号化すると共に、 MP E G規格において定められているエレメン夕リーストリームのシンタックスに従って、符号化ストリームを生成する。

実施例の特徴ある点として、さらに、可変長符号化回路 125は、コント口一ラ 104から MPE G— E S— ed i t ing— inf ormat i on ( i ) として供給された情報を可変長符号化し、符号化ストリーム中に挿入する処理を行う。符号化ストリームのシン夕ックス及び MPEG— E S_e d i t i n _ inf o rmat i on ( i) のシン夕ヅクスについては、詳しくは後述する。次に、図 10乃至図 26を参照してビットストリームのシン夕ヅクスについて説明する。尚、図 26は、図 10から図 25において説明している詳細なシン夕ックスを、より理解しやすい形式で MP EG符号化ストリームのデ一夕構造を示している説明図である。

図 10は、 MP E Gのビデオストリームのシン夕ヅクスを表わした図である。 MPEGエンコーダ 42は、この図 10に示されたシンタックスに従った符号化エレメン夕リストリームを生成する。以下に説明するシンタックスにおいて、関数や条件文は細活字で表わされ、デ一夕エレメントは、太活字で表されている。デ一夕項目は、その名称、ビット長およびそのタイプ ·伝送順序を示す二一モニヅク（Mnemoni c) で記述されている。

まず、この図 10に示されているシンタックスにおいて使用されている関数について説明する。実際には、この図 10に示されているシンタックスは、 MPE Gデコーダ 44側において、伝送されてきた符号化ビットストリームから所定の意味のあるデ一夕エレメントを抽出するために使用されるシン夕ヅクスである。 MP EGエンコーダ 42側において使用されるシンタックスは、図 10に示されたシン夕ックスから i f文や wh i 1 e文等の条件文を省略したシンタックスである。 vide o_s equence () において最初に言 3述されている n e x t— st ar t_c o d e () は、ビットストリーム中に記述されているス夕一トコードを探すための関数である。この図 10に示されたシンタックスに従って生成された符号化ストリームには、まず最初に、 s e q u e n c e— h e a d e r ( ) と s e q u e n c e一 ext ens i on () によって定義されたデ一夕エレメントが記述されている。この s equenc e— heade r () は、 MPE Gビヅトストリームのシーケンスレイヤのヘッダデ一夕を定義するための関数であって、 s equence— ext ens i on () は、 MPEGビヅトストリ —ムのシーケンスレイヤの拡張デ一夕を定義するための関数である。

s equence― ext ens i on () の次に酉己置されてレヽる d o 1_ } whi l e構文は、 wh i 1 e文によって定義されている条件が真である間、 d o文の { } 内の関数に基いて記述されたデータエレメントが符号化デ一夕ストリーム中に記述されていることを示す構文である。この wh i 1 e文に使用されている nextb i t s () は、ビットストリーム中に記述されているビット又はビット列と、参照されるデ一夕エレメントとを比較するための関数である。この図 10に示されたシンタックスの例では、 nextbi t s () は、ビットストリーム中のビヅト列とビデオシーケンスの終わりを示す s e q u e n c e_e n d_c odeとを比較し、ビットストリーム中のビット列と s e q u e n c e — end— c odeとが一致しないときに、この wh i 1 e文の条件が真となる。従って、 s e q u e n c e_e xt ens i on () の次に配置されている d o { } whi l e構文は、ビットストリーム中に、ビデオシーケンスの終わりを示す s e q u e n c e_e n d_c odeが現れない間、 d o文中の関数によつて定義されたデータエレメン卜が符号化ビットストリーム中に記述されていることを示している。

符号化ビヅトストリ一ムにおいて、 s e q u e n c e— e X t e n s i o n ( ) によって定義された各デ一夕エレメン卜の次には、 ext ens i o n— a n d— us e r— dat a (0) によって定義されたデ一夕エレメントが記述されている。この ext ens i o n— a n d_u s er— dat a (0) は、 MP EGビヅトストリームのシーケンスレイヤにおける拡張デ一夕とユーザデ一夕を定義するための関数である。この ext ens i on —and —us e r一 dat a (0) の次に配置されている do { } whi l e 構文は、 whi le 文によって定義されている条件が真である間、 do文の

{ } 内の関数に基いて記述されたデ一夕エレメントが、ビットストリームに記述されていることを示す関数である。この whi le 文において使用されている next b i t s () は、ビットストリーム中に現れるビット又はビット列と、 p i c ture ― s t art ― code又は group ― s t art — c odeとの一致を判断するための関数であるって、ビットストリ一ム中に現れるビット又はビット列と、 pi c ture —s t art — code又は g roup —s t art — c o d eとが一致する場合には、 wh i 1 e 文によって定義された条件が真となる。よって、この do {

} whi l e 構文は、符号化ビヅトストリーム中において、 p i cture ― s t art ― code又は group ― s t art ― c odeが現れた場合には、そのスタートコードの次に、 d o文中の関数によって定義されたデ一夕エレメントのコードが記述されていることを示している。この d o文の最初に記述されている i f文は、符号化ビットストリーム中に g r o up —s t art —codeが現れた場合、という条件を示しいる。この i f文による条件は真である場合には、符号化ビットストリーム中には、この group — s t art ― codeの次に group ― of― i cture ― head e r () および ext ens i on ― and ― u ser― dat a (1) によって定義されているデ一夕エレメントが順に記述されている。この g r o up —of—p i c ture 一 h e a d e r () は、 MP E G符号化ビヅトストリ一ムの GOP レイヤのへヅダデ一夕を定義するための関数であって、 ext ens i on ― and ― us er― dat a (1) は、 MPEG符号化ビットストリームの GO P レイヤの拡張デ一夕およびユーザデ一夕を定義するための関数である。

さらに、この符号化ビットストリームにおいて、 g r o up— o f— p i c t ur e― he ad e r () および ext ens i o n― a n d― us e r― a a t a ( 1) によって定義されているデータエレメントの次には、 p i c t ur e ― he ad e r () と p i c t ur e― c o d i n ― ext ens i on u によって定義されたデ一夕エレメントが記述されている。もちろん、先に説明した i f文の条件が真とならない場合には、 g r 0 up— o f _p i c t u r e ― h e a d e r () および ext e ns i on― an d― u s e r― dat a ( 1) によって定義されているデ一夕エレメントは記述されていないので、 ext ens i o n一 and― us e r― d at a (, ϋ ) によって定義されているデ一夕エレメントの次に、 p i c t ur e一 he ad e r ()ヽ p i c t ur e一 c o d 1 n ― ex t ens i on () および ext ens i o n― a n d― u s e r_d a t a (2) によって定義されたデ一夕エレメントが記述されている。この p i c t u r e— h e a d e r () は、 M P E G符号化ビットストリームのピクチャレイヤのヘッダデ一夕を定義するための関数であって、 p i c t u r e_c od i n g_e x t ens i on () は、 MPE G符号化ビットストリ一ムのピクチャレイヤの第 1の拡張デ一夕を定義するための関数である。 ext e n s i o n_and_u s e r_d a t a (2) は、 MP EG符号化ビットストリームのピクチャレイャの拡張デ一夕およびユーザデ一夕を定義するための関数である。この ex t ens i on一 and一 us e r一 dat a ( 2 によって定義されるユーザデータは、ピクチャレイヤに記述されているデ一夕であって、各ピクチャ毎に記述することのできるデータである。

符号化ビヅトストリームにおいて、ピクチャレイヤのユーザデータの次には、 p i c t ur e— d at a () によって定義されるデ一夕エレメントが記述されている。この p i c t u r e一 d a t a () は、スライスレイヤおよびマクロブ口ックレイヤに関するデ一夕エレメントを記述するための関数である。

この p i c t ur e dat a () の次に記述されている wh i 1 e文は、この wh i 1 e文によって定義されている条件が真である間、次の i f文の条件判断を行うための関数である。この wh i 1 e文において使用されている nex t b i t s () は、符号化ビットストリーム中に、 p i c t ur e_s t ar t— c o d e又は g r o up— s t ar t_c o d eが記述されているか否かを判断するための関数であって、ビットストリーム中に p i c t ur e— s t ar t— c o d e又は g r o u p_s t ar t— c o d eが記述されている場合には、この wh i 1 e文によって定義された条件が真となる。

次の i f文は、符号化ビットストリーム中に s e q u e n c e_e nd_c o d eが記述されているか否かを判断するための条件文であって、 s e qu e n c e— e n d_c o d eが言己述されていないのであれば'、 s e q u e n c e_h e a d e r () と s e q u e n c e— e x t e n s i o n () とによって定義されたデ一夕エレメントが記述されていることを示している。 s e quenc e— e nd —c o d eは符号化ビデオストリームのシーケンスの終わりを示すコ一ドであるので、符号化ストリームが終了しない限り、符号化ストリーム中には s e q u e n c e― he ad e r () と s e quen c e― ext e ns i on () とによって定義されたデ一夕エレメン卜が記述されている。

この s e que n c e一 he ad e r () と s e q u e n c e一 e x t ens i on () によって記述されたデ一夕エレメントは、ビデオストリームのシーケンスの先に Βΰ述された s e q u e n c e一 he ad e r () と s equenc e— ext ens i o n () によって記述されたデ一夕エレメントと全く同じである。このように同じデ一夕をストリーム中に記述する理由は、ビットストリ一ム受信装置側でデータストリ一ムの途中（例えばピクチャレイヤに対応するビットストリーム部分）から受信が開始された場合に、シーケンスレイヤのデ一夕を受信できなくなり、ストリームをデコード出来なくなることを防止するためである。

この最後の s e q u e n c e一 he ad e r () と s e q u e n c e一 e x t e ns i on () とによって定義されたデ一夕エレメントの次、つまり、デ一夕ストリームの最後には、シーケンスの終わりを示す 2ビットの s e quenc e _e nd— c o d eが記述されている。

以下に、 s e quenc e― he ad e r ()、 s e quen c e― e x t e n s i o n ()、 ex t ens i o n― and― u s e r― da t a (0)、 g r

0 u p― o f― p i c t ur e― he ad e r ()、 i c t ur e― he ad e r ()、 p i c t ur e― c o d i ng― ex t ens i on ()、および p i c t u r e_d a t a () について詳細に説明する。

図 1 1は、 s e quenc e_h e a d e r () のシン夕ヅクスを説明するための図である。この s e quenc e_h e a d e r () によって定義されたデ —夕エレメントは、 s e quenc e― he ad e r― c o d e、 h o r i z o nt a丄一 s i z e一 v a iue、 ve r t i c a l一 s i z e一 v a 1 u e、 a s p e c t― r a t i o― i n f o rmat i on、 f r ame― rat e― c o d e、 b i t― r at e― va lue、 ma rke r― b i t、 vbv― b u f f e r― s i z e― v a lue、 c ons t ra i ne d― p a r a m e t e r― f l ag、 l o ad― int r a― quant i z e r一 ma t r i x、 i nt r a― quant i z e r一 mat r ix [64]、 l o ad― n o n―

1 n t r a― quant i z e r― ma t r i x および no n― i n t r a― quant i z e r― m a t r i x等である。

s e q u e n c e一 he a d e r― c o deは、シーケンスレイヤのスタート同期コ一ドを表すデ一夕である。 ho r i z ont a l― s i z e― v a 1 u e は、画像の水平方向の画素数の下位 12ビットから成るデ一夕である。 ve r t i c a l_s i z e_v a 1 u eは、画像の縦のライン数の下位 12ビットからなるデータである。 a s p e c t― r a t i o― i nf o rmat i onは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデ一夕である。 f r ame— r a t e— c o d eは、画像の表示周期を表すデ一夕である。 b i t_r a t e— v a 1 u eは、発生ビット量に対する制限のためのビヅト · レ一トの下位 18ビット（400 b sp 単位で切り上げる）デ一夕である。 ma r k e r_b i tは、ス夕一トコ一ドエミュレ一シヨンを防止するために挿入されるビヅトデ一夕である。 V b V— b u f f Θ r_s i z e— v a 1 u eは、発生符号量制御用の仮想バッファ（ビデオバッファべリファイヤー）の大きさを決める値の下位 10ビットデ一夕である。 cons t raine d一 p a r am e t er— f l agは、各パラメ一夕が制限以内であることを示すデータである。 1

0 a d一 i n t r a一 quant i z e r― ma t r ixは、イントラ MB用量子化マトリヅクス ·デ一夕の存在を示すデ一夕である。 i nt r a— quant

1 z e r_ma t r i x [64] は、イントラ MB用量子化マトリックスの値を示す^ ~一夕である。 l oad― no n― int ra一 quant i z e r _ m a t r i xは、非ィントラ MB用量子化マトリックス ·デ一夕の存在を示すデ一夕である。 n o n一 1 n t r a― q u a n t ι z e r一 ma t r i xは、非ィントラ MB用量子化マトリックスの値を表すデ一夕である。

図 12は s equence— ext ens i on () のシンタックスを説明するための図である。この s e q u e n c e— e X t e n s i o n () によって定義されたデ一夕エレメントとは、 ext ens i o n— s t art— c ode、 ext ens i o n― s t art― code― i dent if i ers prof i 1 e一 and― 1 eve 1― i n d i cat i on、 p r o g r e s s i v e ― s equences chroma― f ormat、 hor i z ont al― s i ze一 ext ens i on、 ve rt i c a 1― s i z e― ext ens i o n、 b i t― rat e― ext ens i o n vbv― buf f er― s i z e ― ext ens i on、 l ow― d e 1 a y f rame― rat e― e x t e n s i o n― n、および f rame― rat e― e x t ens i o n― d等のデ —夕エレメントである。

ext ens i on_st art— codeは、ェクステンションデ一夕のス夕 ―ト同期コ一ドを表すデ一夕である。 ext ens i o n― s t art― cod e_i dent if i e rは、どの拡張データが送られるかを示すデ一夕である。 prof i l e and l eve l ind i cat i onは、ビデオデ一夕のプロファイルとレベルを指定するためのデ一夕である。 p r o gr e s s i V e_s e qu e n c eは、ビデオデ一夕が順次走査であることを示すデ一夕である。 c h r oma— f 0 r ma tは、ビデオデ一夕の色差フォーマットを指定するためのデ一夕である。 ho r i z ont a l― s i z e― ex t ens i o nは、シーケンスへヅダの h o r i znt a l— s i z e_v a 1 eに力 Bえる上位 2ビットのデ一夕である。 V e r t i c a 1— s i z e_e x t e n s i o nは、シーケンスへッダの ve r t i c a 1 _ s i z e— va l ue力 Dえる上位 2ビヅトのデ一夕である。 b i t— r a t e_e x t e n s i o nは、シーケンスへヅダの b i t _r a t e_v a lueに加える上位 12ビットのデ一夕である。 vbv一 buf f e r一 s i z e― ext ens i o nは、シーケンスへヅダの vb V— buf f e r_s i z e_v a 1 u eに加える上位 8ビッ卜のデ一夕である。 l ow_d e l ayは、 Bピクチャを含まないことを示すデータである。 f r ame― r at e― ext ens i on _ n{ま、シーケンスヘッグの f r ame_r a t e_c o d eと組み合わせてフレームレートを得るためのデ一夕である。： f r am e— r a t e_e X t e n s i o n— dは、シーケンスへッダの f r ame— r at e— c o d eと組み合わせてフレームレ一トを得るためのデ一夕である。

図 1 3は、 ext e ns i o n— a n d_u s e r— d a t a ( i ) のシン夕ヅクスを説明するための図である。この ex t e ns i o n— a n d_u s e r — d a t a ( i ) は、「 i」が 1以外のときは、 ex t ens i o n— d a t a () によって定義されるデータエレメントは記述せずに、 u s e r— da t a ( ) によって定義されるデ一夕エレメントのみを記述する。よって、 ext ens i o n― and― u s e r― d at a (0) は、 us e r― d a t a () によつて定義されるデ一夕エレメントのみを記述する。

まず、図 13に示されているシン夕ックスにおいて使用

されている関数について説明する。 nex t b i t s () は、ビットストリーム中に現れるビヅトまたはビット列と、次に復号されるデ一夕エレメントとを比較するための関数である。

図 14の u s e r_d a t a () は、本実施例の特徴のあつ点を説明している図である。図 14に示すように、 us e r— d a t a () は、 u s e r_d a t a― s t art― c ode, V— phase (), H— phas e (), T im e― code (), P i c ture― order (), Anc i l lary― da t a (), hi s t o ry— dat a ()，および us er— dat a () に関するデ一夕エレメントを記述するための関数である。

us er— dat a— s t art— codeは、 MPE G方式のビヅトストリ一ムのピクチャレイヤのユーザデ一夕エリアの閧始を示すためのスタートコ一ドである。この us e r_d a t a— s t art— c od eの次に記述されている i f文は、 us e r_d a t a ( i ) の iが" 0"のとき、次に記述されている wh i 1 e構文を実行する。この whi l e構文は、ビットストリーム中に、 2 3個の" 0" とそれに続く" 1"から構成される 24ビットのデ一夕が現れない限り真となる。

この 23個の" 0" とそれに続く" 1"から構成される 24ビットのデ一夕は、すべてのスタートコードの先頭に付与されるデ一夕であって、すべてのス夕一トコ一ドは、この 24ビヅトの後ろに設けられることによって、 next bi t s () は、ビットストリーム中において、各スタートコードの位置を見つけることができる。

wh i 1 e構文が真のとき、 us e r_d a t a ( i ) の iが" 0 " のときをしめしているので、これはシーケンスレイヤの e X t n t i o n— a n d_u s e r_d a t a ( 0 ) を示すことになる。つまり、図 26において、シ一ケンスレイヤにおいて、 e X t n t i 0 n一 a n d— u s e r— d a t a (0) 20 5に関するデータエレメントが記述されていることを示している。その次に記述されている i f文の nextb i t s () は、 V— Phas eを示すビヅト列（ D a t a— I D) を検出すると、そのビット列（D a t a— I D) の次ビットから V— Phas e () で示される V— P h a s eのデ一夕エレメントが記述されていることを知る。次の E l se if文の nextb i t s () は、 H— Ph a s eを示すビヅト列（ D a t a— I D ) を検出すると、そのビット列（ D a t a_I D) の次ビヅ卜から H— Phas e () で示される H— P ha s eのデ一夕エレメントが記述されていることを知る。

つまり、図 26に示したように V— Pha s e () 220及び H— Phas e () 221に関するデ一夕エレメントは、シーケンスレイヤのュ一ザデ一夕エリァに記述されているということを意味する。

ここで、図 15に示すように、 V— Phas eの Dat a— IDは、" 01" を表すビット列であり、 H— Pha s eの D a t a— I Dは、" 02" を表すビット列である。

ビットストリームに記述される V— P ha s e () のシンタックスについて、図 16を参照して説明する。まず、 D a t a— I Dは、前述したように、その D a t a— I Dの次のビット列のデータエレメントが V— P h a s eであることを表す 8ビットのデ一夕であり、図 15で示した値" 01"である。 V— Pha s eは、画像信号のフレームにおいて、符号化される最初のラインを示す 16ビットのデ一夕である。言いかえると、 V— Phas eは、アクティブビデオエリアの垂直方向のライン位置を示すデータである。

ビヅトストリームに記述される H— Pha s e () のシンタックスについて、図 17を参照して説明する。まず、 Da t a— I Dは、前述したように、その D at a— IDの次のビット列のデ一夕エレメントが H— Pha s eであることを表す 8ビットのデ一夕であり、図 15で示した値" 02"である。 H— Phas eは、画像信号フレームにおいて、符号化される最初のサンプルを示す 8ビットのデ一夕である。言いかえると、 H— Phas eは、アクティブビデオエリアの水平方向の画素サンプル位置を示すデ一夕である。

図 14に戻って、次の E 1 s e i f文は、 e x t n t i o n— a n d_u s e r_d a t a ( i ) の iが 2のとき、次に記述されている wh i 1 e構文を実行する。 wh i 1 e構文の内容は前述した場合と同様であるので、ここではその説明を省略する。

wh i 1 e構文が真のとき、次の i f文において、 nex t b i t s () は、 T ime c o d e 1を示すビット列を検出するか、または、 T ime c o d e 2を示すビット列を検出すると、そのビット列の次ビットから T ime_c o d e () で示される T ime c o d eのデ一夕エレメントが記述されていることを知る。つまり、 ex t nt i o n— a n d_u s e r_d a t a ( i ) の i が 2のときとは、このユーザデ一夕がビクチャレイヤにあることを意味し、つまり、図 2 6に示すように、この T ime— c o d e () 24 1によって表されるデ一夕エレメントは、ピクチャレイヤのュ一ザ一で夕エリアに記述されているデータであるということである。

T ime c o d e lの D a t a— I Dは、図 1 5に示すように、" 03" を表すビット列であり、 T ime c o d e 1のデ一夕は、画像の垂直ブランキング期間に揷入されたタイムコ一ドを示す、 V I T C (Ve r t i c a l I n— t e r V a 1 T ime C o d e) である。 T ime c o d e 2の D a t a — I Dは、図 1 5に示すように、" 04" を表すビット列であり、 T ime c o d e 2のデ一夕は、記録媒体のタイムコードトラックに記録されたタイムコ一ドを示す、 LT C (L o ng i t ud i na 1 T ime C o d e又は L i ne a r T ime C o d e ) である。

図 1 8及び図 1 9は、 T ime c o d e () のシンタックスを示している図である。図 1 8に示されているように、タイムコードは、 72ビットのデ一夕で表されており、図 1 9具体的なデータ構造を示している

図 1 9において、 c o 10 r— f r ame— f 1 a gは、カラ一フレーム情報に関するコントロールフラグを表わし、次の D r 0 p__f r ame— f l a gは、ドロップフレームに関するコントロールフラグを表わしている。次の 3ビット目から 8ビット目までの 6ビットは、タイムコードの 'フレーム' の部分を表わし、 f i e 1 d— p h a s eは、フェイズコレクションに関するコントロールフラグを表わし、 1 0ビット目から 1 6ビット目までの 7ビットは、タイムコードの '秒' の部分を表わしている。 17ビット目、 34ビヅト目、 51ビット目及び 68ビヅト目の ' 1' は、前述したように 0が 23個連続しないようにするためのマ一力一ビットであって、このように所定間隔でマ一カービットを挿入することによって、ス夕一トコ一ドエミュレ一シヨンを防止することができる。

18ビット目、 26ビット目及び 27ビット目の b inar y_ r o u pは、バイナリグループに関するコントロールフラグを表わし、 19ビット目から 2 5ビット目の 7ビットは、タイムコードの '分' の部分を表わし、 28ビヅト目から 33ビット目の 6ビットは、タイムコードの '時，の部分を表わしている。図 14の E l s e i：文において、 next b i t s O は、 P i ctur e 0 r d e rを示すビット列を検出すると、そのビット列の次ビットから P i cture— Orde r () で示される P i c ture Orderのデ一タエレメントが記述されていることを知る。ここで、 P i c t u r e— 0 r d e r ( ) の D a t a— I Dは、図 15に示すように、" 05" を表すビヅト列である。実際に、エンコーダでエレメン夕リストリーム（ES) に挿入する P i c tu re— Order () のシンタックスを、図 20を参照して説明する。まず、 D at a— I Dは前述したように、その Dat a— ID以降のデ一夕が P i c t u r e_0 r d e rのデータであることを示す 8ビヅトのデ一夕であり、その値は" 05"である。 D T S— p r e s e n c eは、符号化順序 D T S— c o un t e rの有無を表す 1ビットのデ一夕である。例えば、 Bピクチャのように D T S— c ount er = PTS— c ount e rとなる場合、表示順序 P T S— c ount e rのみが存在し、 D T S_p r e s e η c eのビヅトは" 0" となる。逆に、 Pピクチャおよび Iビクチャの場合、符号化順序 DTS— count e rと表示順序 P T S— c o un t e rは同一ではないので、表示順序 P T S_c ount e rと符号化順序 DT S— c ount e rの双方が存在し、 DT S— p resenceのビットは 1となる。尚、 P i c ture一 Order () に関するデ一夕エレメントは、図 26に示したように、 T ime— Code () と同じょうに、ピクチャレイヤのユーザ一デ一夕エリァに記述されている。 PTS— c ount e rは、前述したように、 MP E Gエンコーダ内のフィールドカウン夕 102によって生成される値であって、入力ビデオデータにおいて 1フィールドが入力されるごとにカウントアップを行う、表示順序を表す 7ビットのデ一夕である。この 7ビットのデ一夕は、 0から 127までの値をとるモジュロである。 if文以降は、 D T S— p r e s e n c eのビットが 1のとき、すなわち、 Pピクチャおよび Iピクチャのとき、 D T S— c o un t e rのカウントアップが実行される。

M a r k e r— b i t sは、 us e r d a t aの記述されたビット列が、偶然に前述したスタートコードと一致し、画像破錠を引き起こす可能正が高い、ス夕一トコ一ドエミュレ一シヨンを防止するために、 16ビヅトごとに挿入されるビットである。

DTS— count e rは、 MPE Gエンコーダ内のフィールドカウン夕 10 2によって生成される値で、 1フィ一ルド分の符号化画像デ一夕が符号化されるごとにカウントアップを行う、符号化順序を表す 7ビットのデ一夕である。この 7ビットのデ一夕は、 0から 127までの値をとるモジュロである。

図 14に戻って、その次に記述されている wh i 1 e 構文も、内容は前述した場合と同様であるので、ここではその説明を省略する。 whi l e構文が真のとき、次の i f文において、 nextb i t s () は、 Anc i l l ary d a t aを示すビヅト列を検出すると、そのビヅト列の次ビッ卜から Anc i l l a r y 一 dat a () で示される Anc i l l ary d a t aのデ一夕エレメン卜が記述されていることを知る。 Anc i l lar y_d a t a () の D a t a— IDは、図 15に示すように、" 07"を表すビット列である。尚、 An c i 11 a r y_d a t a () に関するデ一夕エレメントは、図 26に示したように、 P i cture—Order () や T ime— Code () と同じように、ピクチャレイヤのユーザ一デ一夕エリァに記述されている。

この補助データに識別子を付加する an c i l l ary d a t aのシン夕ヅクスを図 21を参照して説明する。 Anc i l l ary dat a () はピクチヤレイヤの us er dat aとして揷入され、デ一夕としては Fi e ld 識別子（F i e 1 d一 I D)ヽラインの番号（L i ne— numb e r) およびアンシラリーデ一夕（anc i l l ary dat a) が揷入される。

Dat a— IDは、 us e r dat a 領域において、 anc i l lary d a t aであることを示す 8ビヅトのデ一夕であり、その値は図 15に示したように" 07"である。

F i e 1 d— I Dは 2ビットのデ一夕であり、入力ビデオデータがプログレッシブビデオであるか否かを示すフラグである p r ogre s s iv e_s e q u e n c e_f 1 a gの値が" 0"のとき、つまり、入力ビデオがイン夕一レースのビデオデ一夕であるとき、符号化フレーム内のフィ一ルドごとに F i e 1 d — I Dが付加される。

この F i e ld —IDについて、図 7を参照して説明する。

repeat— f i rs t —： f i e ld に" 0 " が設定されているとき、この符号化フレームにはフィールドが 2枚存在し、 F i e ld— IDは、最初のフィールドに" 0"、およびその次のフィールドに" 1 " が設定される。 rep e a t— f i r s t— f i e 1 dに" 1 " が設定されているとき、この符号化フレームにはフィールドが 3枚存在し、 F i e 1 d— I Dとしては、最初のフィ一ルドに" 0"が設定され、それ以降のフィールドに" 1"," 2"が設定される。図 7 Cを参照して、さらに詳しく説明する。図 7 C の符号化ストリームは、図 7Bに示される入力ビデオデ一夕を符号化したときの、符号化ストリームに関する図である。この符号化ストリームは、複数のアクセスユニット（AU1、 A U2...) からなるエレメンタリーストリームから構成されており、図 7 Cは、そのエレメン夕リーストリーム中にアンシ夕リーデ一夕と F i e 1 d— I Dに関する情報が記述されていることを示している図である。

この符号化ストリームは、フレーム F 1に関しては、 Fi e l d— IDとして 0、 1及び 2が設定されている。つまり、 Fi e ld— ID = 0のときに、そのフィールドに関連するアンシラリーデ一夕「0」がストリーム中に記述され、 F i e 1 d— I D= 1のときに、そのフィールドに関連するアンシラリーデ一夕「 1」がストリーム中に記述され、 F i e 1 d— I D = 2のときに、そのフィ一ルドに関連するアンシラリーデ一夕「2」がストリーム中に記述される。つまり、フレーム F 1に関するピクチャにおいて、図 26に示すように、 Anc i l l a r y_d a t a () 243に関するデ一夕エレメントは、フレーム F 1内のフィ —ルド数だけ繰り返されることを意味している。

F i e ld― IDは、 progre s s ive― s equenc e― f la の値が" 1"のとき、つまり入力ビデオデ一夕が 1であるとき、符号化フレームごとに付加される。 F ie ld— IDには、 r e p e a t— f i r s t— f i e 1 dと T o p_f i e 1 d_f i r s tにともに" 0"が設定されているとき、その符号化フレームは 1枚の p ro gres s ive f r am eが存在するので、値" 0"が設定され、 r e p e a t_f i r s t_f i e 1 dに値" 1"およびで o p_f i e 1 d_f i r s tに値" 0"が設定されているとき、その符号化フレームは 2枚の p rogre s s ive f r ameが存在するので、値，， 0，，，，， 1"が設定され、 repeat— f i r st— f i e ldと Top— f i e 1 d_f i r s tにともに" 1"が設定されているとき、その符号化フレ —ムは 3枚の p rogre s s ive f r ameが存在するので、値" 0"乃至" 2"が設定される。

L i n e_numb e rは、 14ビットのデ一夕であり、各フレームにおけるアンシラリーデ一夕が記述されている、 ITU— R BT. 656-3, SMP TE274M, SMPTE 293M₅ S MP T E 296 Mで規定されたライン番号を示す。

An c i 11 a r y— d a t a— 1 e ng t hは、 16ビヅトのデ一夕であり、 anc i l lary― dat a― p a y 1 o a dのテ一夕； ¾を示 A n c ι l iar y_d a t a— p ay 1 o a dは、 22ビヅトのデ一夕からなる補助デ一夕の内容を表しており、 Anc i l lar y_d a t a— p ayl oadの A nc i l lary d a t a_l e n g t hの値が jの値（初期値 0) より大きいとき、値 j (Anc i l l ar y_d a t a— 1 e n g t hのデ一夕長）を 1 だけィンクリメントして、その jの値のビット列目から記述される。

次の Wh i 1 e 構文は、 byt eal igned () のためのシン夕ヅクスを表しており、次のデ一夕が b yt eal igned () でないとき（Wh i 1 _e構文が真のとき）、 Zero— b i t ( 1ビットのデ一夕" 0 ") を記述する。図 14に戻って、次の E 1 s e i f文において、 nex t b i t s () は、 Hi s t o ry d a t aを示すビット列を検出すると、そのビット列の次ビットから Hi st or y_d a t a () で示される H i s t o r y dat aのデ —夕エレメントが記述されていることを知る。 H i s t ory— dat a () の D a t a— I Dは、図 15に示すように、" 08" を表すビット列であり、 D a t a— IDが" 08"で示されるデータは、符号化パラメ一夕の履歴情報を含む Hi s t orydat aを表している。この Hi s t or y_d a t a () については、 US特許出願 09/265723 に詳しく説明されているので、ここでは省略する。

最後の i f文において、 nextb i t s () は、 us er dat aを示すビット列を検出すると、そのビット列の次ビットから u s e r— d a t a () で示される u s e r_d a t aのデ一夕エレメン卜が記述されていることを知る。図 14の nextb i t s () が、それぞれのデ一夕エレメントが記述されていることを知るビット列は、図 15に示す Dat a— IDとして記述されている。ただし、 Dat a— IDとして" 00"を使用することは禁止されている。 D at a— IDが" 80"で示されるデ一夕は、制御フラグを表しており、 Dat a— I Dが" F F"で示されるデ一夕は、 us e r dat aを表している。図 22は、 g r o u p一 o f一 p i c t u r e一] 1 e a d e r () のシンタヅクスを説明するための図である。この group— o f _p i c t u r e_h e a d e r () によって定義されたデ一夕エレメントは、 group— s t art ― code、 t ime― c oae、 c l os ed― gop、および broken — 1 i nkから構成される。 gr oup— s t ar t— c o d eは、 G 0 Pレイヤの開始同期コ一ドを示すデ一夕である。 t ime— c o d eは、 G 0 Pの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。 c l o s e d— gopは、 GOP内の画像が他の GOP から独立再生可能なことを示すフラグデ一夕である。 b r o k e n— 1 i nkは、編集などのために G 0 P内の先頭の Bピクチャが正確に再生できないことを示すフラグデ一夕である。 ex t ens i o n_a nd_u s 6 r― d at a 1) は、 ext ens i on― and― us e r― dat a 、 0 ) と同じように、 us e r— d a t a () によって定義されるデ一夕エレメントのみを記述するための関数である。

次に、図 23乃至図 25を参照して、符号化ストリームのピクチャレイヤに関するデ一夕エレメントを記述するための p i c t u r e— h e a d r ()、 P i c t u r e― c o d i ng― ext ens i on ()、および p i c t ur e一 da t a () について説明する。

図 23は p i c t u r e— h e a d r () のシンタックスを説明するための図である。この p i c t u r e— h e a d r () によって定義されたデ一夕エレメントは、 p i c t ur e一 s t ar t― c o d e、 t emp o r a l― r e f e r e n c e s i c t ur e― c o d in ― t yp e、 v b v― d e l ay、 f u l 1― e l― f o r w a r d― v e c t o r、 f o rwa rd― f― c o d e、 f u l l― p e l― ba ckward― ve c t o r、 b a c kwar d ― f― c o d e、 e t r a― b i t― p i c t ur e、および ext r a― i n f o rmat i o n― p i c t u r eである。

具体的には、 p i c t u r e— s t a r t— c o d eは、ピクチャレイヤの閧始同期コ一ドを表すデータである。 t e mp o r a 1— r e f e r enc eは、ピクチャの表示順を示す番号で、 GOPの先頭でリセットされるデ一夕である。 p i c t u r e_c o d i n g_t y p eは、ピクチャ夕ィプを示すデ一夕である。

vb V d e l ayは、 V B Vバヅファの初期状態を示すデ一夕であって、各ビクチャ毎に設定されている。送信側システムから受信側システムに伝送された符号化エレメン夕リストリームのビクチャは、受信側システムに設けられた VB Vバッファにバッファリングされ、 DTS (De cod ing Time St amp) によって指定された時刻に、この VBV バッファから引き出され (読み出され）、デコーダに供給される。 vb v—d e 1 ayによって定義される時間は、復号化対象のピクチャが V B Vバッファにバッファリングされ始めてから、符号化対象のビクチャが VBVバッファから引き出されるまでの時間、つまり D T Sによって指定された時刻までの時間を意味する。このピクチャヘッダに格納された vb v— d e 1 ayを使用することによって、 VB Vバッファのデ一夕占有量が不連続にならないシームレスなスプライシングが実現できる。 f u 11— p e l_f o r wa r d_v e c t o rは、順方向動きべクトルの精度が整数単位か半画素単位かを示すデータである。 f o rwa r d— f— c o deは、順方向動きベクトル探索範囲を表すデ一夕である。 f ul l— pe l— b a c kwa r d_v e c t o rは、逆方向動きぺクトルの精度が整数単位か半画素単位かを示すデ一夕である。 b a c kwa r d— f _c o d eは、逆方向動きべクトル探索範囲を表すデ一夕である。 e X t r a— b i t_ i c t u r e は、後続する追加情報の存在を示すフラグである。この ex t r a— b i t— p i c tureが「1」の場合には、次に e x t r a— i n f o r ma t i o n— i ctureが存在し、 e x t r a— b i t— p i c tureが「0」の場合には、これに続くデ一夕が無いことを示している。 ex t r a— i nf 0 rma t i on— p i c t ur eは、規格において予約された情報である。

図 24は、 p i c ture一 c od i n g_e xt ens i on () のシン夕ヅクスを説明するための図である。この p i ct ure— cod ing— ext ens i on () によって定義されたデ一夕エレメントは、 ex t ens i o n ― s t art― code、 ext ens i o n― s t art― c ode― i d e n t i f i e r, f _c ode [0] [0]、 f _c ode [0] [1]ヽ f _c o de [1J [0]_N f code [l] [l]_N int ra d c pre c i s i on、 p i cture― s t ruc ture、 t op― f i e l d一 f i rs t 、 f rame― pred i ct ive― f rame― dct、 c oncealm e n t― mot i on― ve ct o rs、 q― s cal e一 t ype、 i n t r a― vi e― f o r m a t s al t e rnat e― s c a n repeat― f i r s t― f i e ld、 chroma― 420― type、 progre s s i v e― f r a m e s c ompo s i t e― d i sp lay― f 1 a g、 v― ax i s、 f i e ld― s equenc e、 sub― carr i ers burst― amp l i tude、および sub― c a r r i e r― h a s eから構成される o

ext ens i on —s t art —c odeは、ピクチャレイヤのェクステンシヨンデ一夕のスタートを示す開始コードである。 ext ens i on — s t art — c o d e— i d e n t i f i e rは、どの拡張デ一夕が送られるかを示すコードである。 f _c o d e [0] [0] は、フォア一ド方向の水平動きべクトル探索範囲を表すデ一夕である。 f —code [0] [1] は、フォァ一ド方向の垂直動きベクトル探索範囲を表すデ一夕である。 f —code [1] [0] は、バックワード方向の水平動きベクトル探索範囲を表すデ一夕である。 f — c 0 d e [ 1 ] [ 1 ] は、ノックヮ一ド方向の垂直動きべクトル探索範囲を表すデ一夕である。 int ra _d c_p re c i s i on は、 D C係数の精度を表すデ一夕である。 p i c t u r e —s t ruc ture は、フレームストラクチャかフィールドストラクチャかを示すデ一夕である。これは、フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示す。 t op —f i e l d —f i rs t は、フレームストラクチヤの場合、最初のフィールドがトップフィールドであるのか、ボトムフィールドであるのかを示すフラグである。 f rame „p red i c t iv e_f r ame — d c t は、フレーム ·ストラクチャの場合、フレーム 'モード DC T の予測がフレーム ·モードだけであることを示すデ一夕である。 conc e a lment mo t i on ve c t ors は、イントラマ.クロブロックに伝送エラーを隠蔽するための動きべクトルがついていることを示すデ一夕である

。 q —s cal e —t ypeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデ一夕である。 int ra —vi e — f or matは、イントラマクロブロックに、別の 2次元 VLC (可変長符号）を使うかどうかを示すデータである。 alt ernat e —s canは、ジグザグスキャンを使うか、オル夕ネート ·スキャンを使うかの選択を表すデ一夕である。 repeat— f i r s t —f i e ld は、復号化時にリピートフィールドを生成するか否かを示すブラグであって、復号化時の処理において、 repeat— f i rst —f i e ld が「 1」の場合にはリピートフィ一ルドを生成し、 repeat— f i r s t —f i e ld が「0」の場合にはリビートフィールドを生成しないという処理が行われる。

c h r oma— 420 — t yp eは、信号フォーマツトが 4 ： 2 ： 0の場合、次の p r 0 g r e s s i V e —f r ameと同じ値、そうでない場合は 0を表すデータである。 progre s s ive —f rame は、そのピクチャが、順次走査できているかどうかを示すデ一夕である。 compo s i t e ― d i sp l ay —f lagは、ソース信号がコンポジット信号であったかどうかを示すデータである。 V —ax i sは、ソース信号が、 PAL の場合に使われるデ一夕である。： f i e ld —s equenc eは、ソース信号が、 PA L の場合に使われるデ一夕である。 sub —carr i er は、ソース信号が、 PAL の場合に使われるデ一夕である。 burst — ampl i tu d e は、ソース信号が、 PAL の場合に使われるデ一夕である。 sub _ carr i er —phas e は、ソース信号が、 PAL の場合に使われるデータである。

図 25は、 p i cture — dat a () のシン夕ヅクスを説明するための図である。この p i cture 一 dat a () によって定義されるデ一夕エレメントは、 s l i ce () によって定義されるデ一夕エレメントである。但し、ビットストリーム中に、 s l i c e () のス夕一トコードを示す s 1 i c e — s t ar t — c o d eが存在しない場合には、この s i i c e () によつて定義されるデ一夕エレメントはビットストリーム中に記述されていない。 s l i c e () は、スライスレイヤに関するデ一夕エレメントを記述するための関数であって、具体的には、 s 1 i c e —s t ar t — c o de、 s l i c e ― quant i s e r ― s c a l e ― c od e、 i nt r a ― s l i c e ― f l a int r a ― s l i c e 、 r e s e rve d― b i t s、 e t r a ― b i t ― s i i c e 、 ex t r a ― i n f o r m a t i o n ― s l i c e 、および ex t r a ― b i t ― s l i c e 等のデ一夕エレメントと、 ma c r ob l o ck () によって定義されるデ一夕エレメントを記述するための関数である。

s l i c e ― s t ar t ― c o d eは、 s l i c e () によって定義されるデ一夕エレメントのスタートを示すスタートコードである。 s l i c e _ quant i s e r _s c a l e_c o d eは、このスライスレイヤに存在するマクロブロックに対して設定された量子化ステツプサイズを示すデータである。しかし、各マク口ブロック毎に、 quant i s e r ― s c a l e ― c o d eが設定されている場合には、各マクロプロックに対して設定された ma c r o D l o ck― quant i s e r ― s c a l e ― c o d eのデ一夕が優先して使用される。 i nt ra —s l i c e —f l agは、ビヅトストリ一ム中に int r a ― s l i c e および r e s e rve d― b i t sが在するか否かを示すフラグである。 i n t r a —s l i c e は、スライスレイヤ中にノンィントラマクロブロックが存在するか否かを示すデ一夕である。スライスレイヤにおけるマクロブロックのいずれかがノンィントラマクロブロックである場合には、 int r a —s l i c e は「 0」となり、スライスレイヤにおけるマクロブロックの全てがノンイントラマクロブロックである場合には、 i nt r a — s l i c e は「1」となる。： r e s e rve d― b i t sは、 7ビットのデ一夕であって「0」の値を取る。 e X t r a —b i t —s l i c e は、符号化ストリームとして追加の情報が存在することを示すフラグであって、次に e x t r a 一 inf o rma t i on 一 s l i c e が存在する場合には「1」に設定される。追加の情報が存在しない場合には「0」に設定される。 ma c r ob l o c k () は、マクロブロックレイヤに関するデ一夕エレメントを記述するための関数であって、具体的には、 ma c r o b 1 o c k— e s c ap e、 ma c r o b l o ck― add r e s s 一 inc r ement 、および ma c r o b l o ck― quant i s e r 一 s c a l e ― c o d e等のデ一夕エレメントと、 mac r o b l o ck一 mo d e s () 、および m a c r ob l o ck _v e c t e r s ( s ) によって定義されたデ一夕エレメントを記述するための関数である。

ma c r ob l o c k_e s c a p eは、参照マクロプロックと前のマクロブロックとの水平方向の差が 34以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマクロブロックとの水平方向の差が 34以上の場合には、 ma c r o b l o c k― aad r e s s 一 i nc r ement の値に 33 プラスする。 ma c r ob l o c 一 a d d r e s s ― i nc r ement は、参照マクロブロックと前のマクロプロックとの水平方向の差を示すデ一夕である。もし、この ma c r ob l o ck一 add r e s s 一 i nc r emen t の前に ma c r o b 1 o c k— e s c a p eが 1つ存在するのであれば、この ma c r ob l o ck― addr e s s ― i nc r ement の値に 33 をプラスした値が、実際の参照マクロプロヅクと前のマクロプロックとの水平方向の差分を示すデ一夕となる。 ma c r ob l o c k― quant i s e r ― s c a l e —c o d eは、各マクロブロック毎に設定された量子化ステップサィズである。各スライスレイヤには、スライスレイヤの量子化ステップサイズを示す s i i c e ― quant i s e r ― s c a l e ― c o d eが設定されているが、参照マクロプロヅクに対して ma c r o b 1 o c k_q u a n t i s e r —s c a l e — c o d eが設定されている場合には、この量子化ステツプサイズを選択する。

次に、図 27を参照して、マルチプレクサ 162 Aについて説明する。マルチプレクサ 162 Aは、複数のパケヅタイザ 301— 309と、複数のトランスポートストリ一ム生成回路（TS Gen. ) 311— 319と、複数のシステム夕一ゲットデコーダバッファ（STD Buf f er) 321-32 9と、多重化回路 330と、多重化コントローラ 300とを備えている。

パケッタイザ 301—309は、 MPE Gエンコーダからそれぞれ出力されたエレメンタリーストリームを受け取り、エレメンタリーストリームをパケット化することによってパケヅタイズドエレメンタリーストリーム（PES) を生成する o

図 28は、エレメンタリーストリーム（ES)、パケヅタイズドエレメンタリ —ストリーム（PES)、そして、トランスポートトリ一ムパケットの関連を説明するための図である。

ソースビデオデ一夕を符号化すると、例えば図 28Bに示すような、各ァクセスュニヅテ AU 1、 AU2、から構成されるエレメンタリーストリームが形成される。図 28Cは、バケツタイザ一のパケット化処理に関して説明している図であって、パケヅタイザ一は、複数のアクセスユニットをパッキングし、そのバケツ卜の先頭部分に PE Sヘッダを付加する。

図 29は、この PE Sヘッダを説明するための図面である。図 29に示すように、 PESヘッダは、パケット開始コード、ストリーム ID、パケット長、記号「10」、フラグ制御コード、 PESヘッダ長、コンデイショナルコーディングから構成される。 MPEG規格では、このコンデイショナルコーディングに、プレゼンテ一シヨンタイムスタンプ（P T S) 及びデコ一ディングタイムスタンプ (D T S) の情報を入れないといけないと決められている。

トランスポ一トストリ一ム生成回路（T S Gen. ) 31 1— 319は、パケッタイザ 301— 309から出力されたパッケタイズドエレメン夕リーストリームから、図 28 Dに示すように、 188バイ卜のトランスポートストリームパケットからなるトランスポートストリームをそれぞれ生成する。

システムターゲットデコーダバッファ（S TD Buf f er) 321-32 9は、トランスポートストリーム生成回路 311-319から出力されたトランスポ一トストリ一ムを受け取り、ノソファリングする。この STDバッファは、 MP E Gデコーダ側の受信バッファがオーバーフロー及びアンダーフローしないようにシユミレ一シヨンを目的として設けられたバッファであって、 MP EG規格によって決まっている固定容量のバッファである。

多重化回路 330は、システム夕一ゲットデコーダバッファ 321—329から、トランスポートストリームをそれぞれ受け取り、コントローラ 300によつて設定されたスケージュ一リングに従って多重化処理を実行する。

次に、各バケツタイザ一の詳細な構成及び処理につい.て、図 27及び図 30を参照して説明する。

各パケッタイザは、受け取ったエレメン夕リストリームをバッファリングするためのバッファ 341と、その受け取ったエレメン夕リストリームのシン夕ヅクスをパージング（解析）するためのパージング回路 342と、バッファから出力されたエレメン夕リーストリームをバケツト化するバケツト化回路 343を備えている。

パージング回路 342は、エレメンタリーストリームから、そのエレメンタリ —ストリーム中に記述された P T S —count er 及び D T S — cou n t e r を抽出し、その PTS —count er 及び D T S — coun t e r をパケヅト化回路 343に供給する。具体的には、パージング回路 34 2は、受け取ったエレメンタリーストリームを可変長符号化し、ストリーム中に含まれているス夕一トコ一ドなどの特殊なデ一夕エレメントを検索する。このパ —ジング処理は、 PTS —count er 及び D T S —c ount er を抽出することが目的であるので、シーケンスレイヤは GO Pレイヤのス夕一トコードは無視し、まず、ビクチャレイヤのス夕一トコ一ドを検索する。次に、 3 2ビットの u s e r_d a t a— s t a r t —code をストリーム中から見つけることによってピクチャレイャのユーザデ一タエリアを見つけることができる。次に、このユーザデ一夕エリアにおいて、 Pi cture orde r () に関するデ一夕エレメントを見つけるために、 "05" D a t a— I D を探す。この P i c t u r e — o rder () 関数の 10ビット目から 16 ビット目及び 17ビット目から 23ビット目には、 PTS —c ount er と DTS— c ount er が夫々記述されているので、パージング回路 34 2、この PTS —count er と DTS— c ount e r とを抜き出して、パケット化回路 343に供給する。

パケット化回路 3'43は、パージング回路 342から P T S — count e r 及び DTS —count er を受け取り、この PTS — count e r 及び DTS —count er に関する情報に基づいて P T Sと D T Sを新たに生成する。本実施例では、？丁3の値として？丁3 —c ount er の値そのものを使用し、 D T Sの値として、 D T S —count er の値そのものを使用するようにしている。

図 30は、本実施例のパケタイザを使用した場合において発生する最小遅延について説明するための図である。図 3 OAは、入力ビデオデ一夕を表し、図 30 Bは、その入力ビデオデータを符号化した際のエレメン夕リーストリームを表しており、図 30Cは、本実施例の MPEGエンコーダによって生成した符号化ストリームを使用し、本実施例のパケッタイザ一を使用した際の、バケツタイズドエレメンタリーストリームを表している。

この図 30 Aと図 30 Bについては、図 2 A及び図 2 Bと同じである。しかしながら、図 2 Cと図 30 Cを比較すると理解できるように、従来は、 PTSを決定するバケツタイズドエレメンタリーストリームを生成する、つまり、 PTSを決定するためには、 Iピクチャを Pピクチヤの間に存在する Bピクチヤの数を N とすると（N+2) フレーム分の遅延が発生していたという問題については説明済みである。

本実施例のェンコ一ディング方法及びバケツト化方法によれば、符号化ストリ —ムから P T Sを決定する遅延を 1フレーム時間に押さえることができる。さらに、 Iピクチャを Pピクチヤの間に存在する Bピクチヤの数に限らず、 Iピクチャを Pピクチヤの間に何枚もの Bピクチャが存在していたとしても、 1フレームの最小遅延となる。また、図 27のような 9チャンネル用のパケッタイザを設計しょうとしたときに、 9個のフレームメモリで実現できるという、極めて大きなな効果がある。

次に、図 31を参照して、 MPEGデコーダ 144A— 144Dについて説明する。各 MP EGデコーダは、受信バッファ 401と、可変長復号化回路 402 と、逆量子化回路 403と、逆 DCT回路 404と、コントローラ 405と、演算回路 41 1と、動き補償回路 412と、メモリ 413及び 414と、送信バッファ 415と、バースバンドビデオ生成回路 416と、多重化回路 417とを備えている。

可変長復号回路 402は、受信バッファからエレメン夕リーストリームを受け取り、そのエレメンタリーストリームに対して可変長復号化処理を行うことによつて所定のデ一夕長を有したデ一夕エレメントからなるストリームを生成する。さらに、可変長復号回路 402は、可変長復号化されたデータストリームのシンタックスをパージング（解析）することによって、ストリーム中から全てのコ一デイングパラメ一夕を抽出し、コントローラ 405に供給する。ストリーム中に重畳することが MP EG規格によって義務付けられているコ一ディングパラメ一夕の例としては、ビクチャタイプ、動きベクトル、予測モード、 DCTモード、量子化スケールコード、量子化テーブル情報等であって、基本的には、この符号化ストリームを生成する符号化処理において発生したパラメ一夕である。

本実施例のユニークな点は、可変長符号化回路 402は、上述した MP EG格によって定められているコ一ディングパラメ一夕だけではなく、エレメン夕リ一ストリームのュ一ザ一デ一夕エリアに MPEG —ES— Ed i t ing _ inf o rma t i on () として記述されている情報を抽出することが、本実施例の特徴である。具体的には、符号化ストリーム中のシーケンスレイヤのュ —ザデ一夕エリアには、 V— phas e () H-phas e () に関する情報が MPEG .ES— Ed i t ing inf o rma t i o n () として記述されており、符号化ストリーム中のビクチャレイヤのユーザデータエリァには、 Time— c ode ()、 Pi cture— orde r () 、 A nc i l lary一 dat a ()、 Hi s t ory― dat a () に! る情報が MPEG —ES— Ed i t ing _i nf o rma t i o n () として記述されており、可変長符号化回路 402は、ストリーム中から、これらの V— phas e () H— phas e () 、 T ime— code ()、 P i cture― o rder () 、 . Anc i l lar ― a a t a () 及び Hi s t ory— dat a () に関連する情報を抽出し、コントローラ 405に供給する。

逆量子化回路 403は、可変長復号化回路 402より供給された可変長復号化された DCT係数デ一夕を、同じく可変長復号化回路 402から供給された量子化スケールに基づいて逆量子化し、逆 DC T回路 404に出力する。

逆 DCT回路 404は、逆量子化回路 403から供給された量子化 DCT係数に対して、逆離散コサイン変換処理を施し、逆 D CTされた画像データとして、演算器 411に供給される。

逆 DC T回路 404より演算器 41 1に供給された画像データが、 Iピクチャのデータである場合、そのデ一夕は演算器 411より出力され、演算器 411の後に入力される画像デ一夕（Pビクチャ又は Bビクチャのデ一夕）の予測画像デ —夕生成のために、フレームメモリの前方予測画像部 414に供給されて記憶される。

逆 D CT回路 404より供給された画像デ一夕が、その 1フレーム前の画像デ —夕を予測画像データとする Pビクチャのデータであり、前方予測モ一ドのデ一夕である場合、フレームメモリの前方予測画像部 414に記憶されている、 1フレーム前の画像デ一夕（Iビクチャのデ一夕）が読み出され、動き補償回路 41 2で可変長復号化回路 402より出力された動きべクトルに対応する動き補償が施される。そして、演算器 411において、逆 DCT回路 404より供給された画像デ一夕（差分のデータ）と加算され、出力される。この加算されたデ一夕、すなわち、復号された Pピクチャのデ一夕は、演算器 4 1 1に後に入力される画像データ（Bピクチャ又は Pビクチャのデ一夕）の予測画像データ生成のために、フレームメモリの後方予測画像部 4 1 3に供給されて記憶される。

Pビクチャのデータであっても、画像内予測モードのデータは、 Iピクチャのデータと同様に、演算器 4 1 1において処理は行われず、そのまま後方予測画像部 4 1 3に記憶される。

この Pピクチャは、次の Bピクチャの次に表示されるべき画像であるため、この時点では、まだフォ一マツト変換回路 3 2へ出力されない（上述したように、 Bビクチャの後に入力された Pピクチヤが、 Bピクチャより先に処理され、伝送されている）。

逆 D C T回路 4 0 4より供給された画像デ一夕が、 Bピクチャのデ一夕である場合、可変長復号化回路 4 0 2より供給された予測モードに対応して、フレームメモリの前方予測画像部 4 1 4に記憶されている Iピクチャの画像デ一夕（前方予測モードの場合)、後方予測画像部 4 1 3に記憶されている Pピクチャの画像デ一夕（後方予測モ一ドの場合）、又は、その両方の画像データ（両方向予測モ —ドの場合）が読み出され、動き補償回路 4 1 2において、可変長復号化回路 4 0 2より出力された動きべクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合)、予測画像は生成されない。

このようにして、動き補償回路 4 1 2で動き補償が施されたデータは、演算器 4 1 1において、逆 D C T回路 4 0 4の出力と加算される。この加算出力は、バッファ 4 1 5を介してベースバンドビデオ生成回路 4 1 6に供給される。この送信バッファ 4 1 5から出力されるビデオデ一夕は、アクティブビデオエリアのみのビデオデータであってブランキング期間などの補助的データは付与されていない o

コントローラ 4 0 5は、可変長復号化回路 4 0 2から供給されたビクチャタイプ、動きベクトル、予測モード、 D C Tモード、量子化スケールコード、量子化 W 5

テーブル情報等のコ一ディングパラメ一夕に関する情報にもとづいて、上述した各回路のオペレーションをコントロールする。

さらには、コントローラ 405は、可変長符号化回路 402から MPEG— E S— Ed i t ing _ i n f o r m a t i o n () として供給された V— phas e 及び H— phas e に関する情報に基づいて、ペースバンドビデォ生成回路 416をコントロールする。符号化ストリーム中から抽出された V -phas e は、入力ビデオデ一夕の全画素エリアにおけるアクティブビデオエリアの垂直方向の位置を示しており、また、その H— phas e は、入力ビデォデ一夕の全画素エリアにおけるアクティブビデオエリアの水平方向の位置を示している。よって、コントローラ 405は、バッファ 415から出力された復号化ビデオデ一夕を、ブランキングイメージを有した全画素エリア上に、 V— p ha s e 及び H— p ha s eによって示される垂直及び水平位置にマヅピングするようにべ一スバンドビデオ生成回路をコントロールする、または、 V_p hase 及び H—p ha s eによって示される垂直及び水平位置に基づいて、アクティブエリアの復号ビデオデ一夕と、全画素エリアのブランキングィメージを合成するようにベースバンドビデオ生成回路をコントロールする。その結果、ベースバンドビデオ生成回路 416から出力されるビデオデータは、 MPEG エンコーダに供給された入力ビデオデータのブランキング期間と全く同じブランキング期間を有している。

コントローラは 405は、符号化ストリームから抽出された Anc i 11 a r ― d a t a、 L ine

— unmber、 F i e 1 d— I D、 T ime — c ode— 1 及び T ime —code— 2 を供給する、又は F i e 1 d

― IDに基づいて、 Anc i l lary 一 d a t a、 T ime一 code一 1 又は T ime_c o d e— 2 の多重化回路 417の多重化処理をコントロールする。具体的には、既に図 7 Cにおいて説明したように、 F i e ld —IDはフィールド毎に付与された Anc i 11 a r y d a t aと関連付けされているので、多重化回路 417はこの F i e 1 d _I Dによって同定されるフィ一ルドのブランキング期間に、 F i e ld —IDと関連付けられている An c i 11 a r y — d a t aを重畳する。例えば、 F i e 1 d —IDが「2」の場合には、フレームにおいて 3番目のフィールドであることがわかるので、符号化ストリーム中において、 Fi e ld — I Dが「2」に関連するアンシラリーデ —夕として伝送されてきた An c i 11 a r y —dat aを、 Fi e ld _ IDが「2」の 3番目のフィールドのブランキング期間に重畳する。多重化回路 417は、さらに、 Anc i l lary —d a t aをブランキング期間に重畳する際、 Anc i l l ary — d a t aと一緒に伝送されている L i n e— u nmb e rによって指定されるライン位置に、その Anc i l l ary —da t aを重畳する。

従って、多重化回路 417から出力されたビデオデータは、 MPEGェンコ一ダに供給された入力ビデオデ一夕と全く同じブランキング期間、全く同じ位置のアクティブビデオェリァ、全く同じライン位置にかつ同じ内容のアンシラリデ一夕を有している。

よって、本実施例によれば、ビデオデータを送信側システムから受信側システムに伝送する際に、 MP EGエンコード及びデコード処理を行ったとしても、そのコ一ディング処理によって入力ビデオデータがそもそも有している固有情報や入力ビデオデ一夕に付加されたアンシラリーデ一夕が無くなることはない。産業上の利用可能性

本発明は放送局等で頻繁にビデオデータをェンコ一ド及びデコードする際に利用できる。

Claims

請求の範囲

1 . 入力ビデオデ一夕を符号化するためのェンコ一ディングシステムにおいて、上記入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、上記エレメンタリーストーム中に、上記エレメンタリーストリームのピクチャオーダに関する情報を記述するための符号化手段と、

上記エレメン夕リーストリームを受け取り、上記エレメン夕リーストリーム中に記述されている上記ピクチャオーダ一に関する情報から、上記エレメン夕リーストリームに関するタイムスタンプ情報を生成する生成手段と

を備えたことを特徴とするェンコ一ディングシステム。

2 . 上記符号化手段は、上記ピクチャオーダ一に関する情報を、上記エレメン夕リーストリームのビクチャレイヤに記述することを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

3 . 上記ビクチャオーダ一に関する情報は、上記エレメンタリーストリームのピクチャレイヤに P i c t u r e— o r d e r ( ) として記述されていることを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

4 . 上記ピクチャオーダ一に関する情報は、上記エレメンタリーストリームのビクチャレイヤに挿入されており、

上記生成手段は、上記エレメン夕リーストリームのシン夕ックスをパージングすることによって、上記ピクチャオーダ一に関する情報を上記エレメン夕リーストリームから抽出することを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

5 . 上記タイムスタンプ情報は、プレゼンテーションタイムスタンプ及び/又はデコーディングタイムスタンプを含んでいることを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

6 . 上記生成手段は、上記エレメンタリーストリームをパケット化することによつてパケヅタイズドエレメンタリーストリームを生成する手段を有し、上記パケヅタイズドエレメンタリーストリームのへヅダに、上記タイムスタンプ情報を付加することを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

7 . 上記生成手段は、上記エレメンタリーストリームをパケット化することによつてパケッタイズドエレメン夕リーストリームを生成する手段を有し、上記タイムスタンプ情報を使用して、上記パケヅタイズドエレメンタリーストリームのへッダとして、上記タイムスタンプ情報を付加することを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

8 . 上記タイムスタンプ情報は、プレゼンテーションタイムスタンプ及び/又はデコ一ディングタイムスタンプを含んでおり、

上記生成手段は、上記エレメン夕リーストリームをバケツト化することによつてバケツタイズドエレメン夕リーストリームを生成し、上記パケッタイズドエレメン夕リーストリームのヘッダとして、上記プレゼンテーションタイムスタンプ及び/又はデコーディングタイムスタンプを付加することを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

9 . 上記ピクチャオーダーに関する情報は、上記入力ビデオデータのフィールドをカウン卜することによって生成されることを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

1 0 . 上記入力ビデオデ一夕は、 2 4ヘルツのフレーム周波数を有するソースビデォデ一夕を、 3— 2プルダウン処理を行うことによって生成された 3 0ヘルツのフレーム周波数を有するビデオデータであって、

上記 3 0ヘルツのフレーム周波数を有する入力ビデオデータのフィールドをカゥントするためのカウント手段と、

上記カウント手段と上記符号化手段との間に接続され、上記 3 0ヘルツのフレーム周波数を有する入力ビデオデ一夕を、 2 4ヘルツのフレーム周波数を有するビデオデータに変換するための逆 3— 2プルダウン処理を行うための逆プルダウン処理手段と、

をさらに備え、

上記符号化手段は、上記カウント手段からのカウント情報に基づいて、上記夕ィムスタンプ情報を生成することを特徴とする請求の範囲第 1項に記載のェンコ一ディングシステム。

1 1 . 入力ビデオデ一夕を符号化するためのエンコーディングシステムにおいて上記入力ビデオデータを符号化することによってエレメン夕リーストリームを生成するとともに、上記エレメンタリーストリーム中に、上記エレメンタリーストリームのピクチャオーダ一に関する情報を記述するための符号化手段と、上記エレメン夕リーストリーム中に記述されている上記ピクチャオーダーに関する情報に基づいて、上記エレメン夕リーストリームをパケヅト化するバケツ夕ィザ一と

を備えたことを特徴とするェンコ一ディングシステム。

1 2 . 入力ビデオデ一夕を符号化するためのエンコーディングシステムにおいて、そのエンコーディングシステムは以下からなる。

上記入力ビデオデ一夕を符号化することによってエレメン夕リーストリーム生成する符号化手段。上記エレメンタリーストリームは、プレゼンテーションタイムスタンプを生成するために使用される情報が、そのエレメン夕リーストリーム中に記述されている。

上記エレメン夕リーストリーム中に記述されている上記プレゼンテーション夕ィムスタンプを生成するために使用される情報に基づいて、上記エレメン夕リーストリームをバケツト化するバケツタイザ一。

1 3 . 入力ビデオデ一夕を符号化するためのエンコーディングシステムにおいて上記入力ビデオデータを符号化することによってエレメン夕リーストリームを生成するとともに、上記エレメンタリーストリーム中に、上記エレメンタリーストリ一ムのピクチャオーダに関する情報を記述するための符号化手段と、上記エレメン夕リーストリーム中に記述されている上記ピクチャオーダ一に関する情報に基づいて、上記エレメン夕リーストリームをバケツト化するバケツ夕ィザ一と

を備えたことを特徴とするェンコ一ディングシステム。

1 4 . 入力ビデオデ一夕を符号化するためのェンコ一ディングシステムにおいて上記入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、上記エレメンタリーストリームに、上記エレメンタリーストリームのデコード処理及び/又はプレゼンテーション処理に関するタイムスタンプ情報を多重化するための符号化手段と、

上記エレメン夕リーストリームを受け取り、上記エレメン夕リーストリーム中に記述されている上記タイムスタンプ情報に基づいて、上記エレメン夕リーストリームに関するストリームプロセスを行う処理手段と

を備えたことを特徴とするェンコ一ディングシステム。

1 5 . 復数の入力ビデオデ一夕を符号化するェンコ一ディングシステムにおいて上記複数の入力ビデオデ一夕を符号化することによつて複数のェレメン夕リーストリームを生成するとともに、上記エレメン夕リーストリームのデコ一ド処理及び/又はプレゼンテーション処理に関するタイムスタンプ情報を、上記各エレメン夕リーストリーム中に記述するための符号化手段と、

上記複数のエレメン夕リーストリームを受け取り、上記各エレメン夕リーストリーム中に付加されている上記タイムスタンプ情報に基づいて、上記複数のエレメン夕リーストリームを多重化する多重化手段と

を備えたことを特徴とするェンコ一ディングシステム。

1 6 . 入力ビデオデータを符号化するためのエンコーディングシステムにおいてエレメン夕リーストリームを生成するために上記入力ビデオデ一夕を符号化するエンコーダと、

上記エレメン夕リーストリームからパケッタイズドエレメンタリーストリームを生成するためのパケッタイザ一と

を備え、

上記エンコーダは、上記バケツタイズドエレメン夕リーストリームのヘッダに記述されるタイムスタンプを生成するための情報を、上記エレメンタリーストリ —ム中に記述することを特徴とするェンコ一ディングシステム。

1 7 . 入力ビデオデ一夕を符号化するためのエンコーディングシステムにおいてエレメン夕リーストリームを生成するために上記入力ビデオデータを符号化するエンコーダと、

上記エレメン夕リーストリームからバケツタイズドエレメン夕リーストリームを生成するためのパケッタイザ一と

を備え、

上記エンコーダは、上記バケツタイズドエレメンタリーストリームのヘッダに記述されるタイムスタンプを生成するために使用される情報を、上記パケッタイザ一に伝送することを特徴とするェンコ一ディングシステム。

1 8 . 入力ビデオデ一夕を符号化するためのエンコーディング方法において、上記入力ビデオデータを符号化することによってエレメン夕リーストリ一ム生成するとともに、上記エレメンタリーストリーム中に、上記エレメンタリーストリームのビクチャオーダ一に関する情報を記述するステップと、

上記エレメン夕リーストリーム中に記述されている上記ピクチャオーダーに関する情報に基づいて、上記エレメン夕リーストリームをバケツト化するステップと

からなるェンコ一ディング方法。

1 9 . 入力ビデオデ一夕を符号化するためのエンコーディング方法において、そのェンコ一ディング方法は以下からなる。

上記入力ビデオデ一夕を符号化することによってエレメン夕リーストリ一ムを生成するステップ。上記エレメンタリーストリームは、プレゼンテーションタイムスタンプを生成するために使用される情報が、そのエレメン夕リーストリーム中に記述されている。

上記エレメン夕リーストリーム中に記述されている上記プレゼンテーション夕ィムスタンプを生成するために使用される情報に基づいて、上記エレメンタリ一ストリームをバケツト化するステップ。

2 0 . 入力ビデオデータを符号化するためのェンコ一ディング方法において、上記入力ビデオデ一夕を符号化することによってエレメン夕リーストリームを生成するとともに、上記エレメンタリーストリームに、上記エレメンタリーストリームのデコ一ド処理及び/又はプレゼンテーション処理に関するタイムスタンプ情報を多重化するステップと、

上記エレメン夕リーストリームを受け取り、上記エレメン夕リーストリ一ム中に記述されている上記タイムスタンプ情報に基づいて、上記ェレメン夕リーストリームに関するストリームプロセッシングを行うステップと

を備えたことを特徴とするェンコ一ディング方法。

2 1 . 複数の入力ビデオデ一夕を符号化するためのエンコーディング方法において、

上記複数の入力ビデオデ一夕を符号化することによって複数のエレメン夕リーストリームを生成するとともに、上記エレメン夕リーストリームのデコ一ド処理及び/又はプレゼンテーション処理に関するタイムスタンプ情報を、上記各エレメン夕リーストリーム中に記述するステップと、

上記複数のエレメン夕リ一ストリームを受け取り、上記各エレメン夕リーストリーム中に付加されている上記タイムスタンプ情報に基づいて、上記複数のエレメン夕リーストリームを多重化するステップと

を備えたことを特徴とするェンコ一ディング方法。

2 2 . 入力ビデオデ一夕を符号化するためのェンコ一ディング方法において、エレメンタリーストリームを生成するために上記入力ビデオデ一夕を符号化する符号化ステップと、

上記エレメン夕リーストリームからバケツタイズドエレメンタリーストリームを生成するステップと

を備え、

上記符号化ステップにおいて、上記バケツタイザ一のヘッダに記述されるタイムスタンプを生成するための情報が、上記エレメン夕リーストリーム中に記述されることを特徴とするェンコ一ディング方法。

2 3 . 入力ビデオデータを符号化するためのェンコ一ディング方法において、エレメン夕リーストリームを生成するために上記入力ビデオデータを符号化するステップと、

上記エレメン夕リーストリームとタイムスタンプを生成するために使用される情報を伝送するステップと、

上記方法に基づいて、上記エレメン夕リ一ストリームからバケツタイズドエレメン夕リーストリームを生成するステップ

とからなるェンコ一ディング方法。

2 4 . 複数の入力ビデオデ一夕を符号化するためのェンコ一ディング方法において、

上記複数の入力ビデオデータを符号化することによつて複数のエレメン夕リーストリームを生成するステップと、

上記エレメン夕リーストリームのデコ一ド処理及び/又はプレゼンテーション処理に関するタイムスタンプ情報を、上記各エレメン夕リーストリーム中に記述するステップと、

からなるェンコ一ディング方法。

2 5 . 複数の入力ビデオデータを符号化することによって生成された複数のエレメン夕リーストリームを多重化するための多重化装置において、

上記複数のエレメン夕リーストリームから、上記複数のエレメン夕リーストリ —ムに夫々関連付けられたタイムスタンプに関する情報を抽出する手段と、上記各エレメン夕リーストリームから抽出した上記タイムスタンプに関する情報に基づいて、上記複数のエレメン夕リーストリームを多重化する手段とを備えたことを特徴とする多重化装置。

2 6 . 複数の入力ビデオデータを符号化することによって生成された複数のエレメン夕リーストリ一ムを多重化するための多重化方法において、

上記複数のエレメン夕リーストリームから、上記複数のエレメン夕リーストリ —ムに夫々関連付けられたタイムスタンプに関する情報を抽出するステップと、上記各エレメン夕リーストリームから抽出した上記タイムスタンプに関する情報に基づいて、上記複数のエレメン夕リーストリームを多重化するステップとを備えたことを特徴とする多重化方法。

2 7 . ソースビデオデ一夕を符号化する事によって生成された符号化ストリームをデコ一ドするためのデコ一ディングシステムにおいて、

上記符号化ストリーム中に含まれているデコ一ディングタイムスタンプを抽出する手段と、

上記デコ一ディングタイムスタンプに基づいて、上記符号化ストリームをデコ —ドする手段とを備え、

上記デコ一ディングタイムスタンプは、上記ソースビデオデ一夕のフィ一ルド数に基づいて生成された情報であることを特徴とするデコ一ディングシステム。

2 8 . ソースビデオデータを符号化することによって生成された符号化ストリ一ムをデコードするためのデコ一ディング方法において、

上記符号化ストリ一ム中に含まれているデコ一ディングタイムスタンプを抽出するステップと、

上記デコ一ディングタイムスタンプに基づいて、上記符号化ストリームをデコードするステップとからなり、上記デコ一ディングタイムスタンプは、上記ソースビデオデータのフィ一ルド数に基づいて生成された情報であることを特徴とするデコ一ディング方法。

2 9 . ソースビデオデータを符号化することによって生成された符号化ストリ一ムを、デコードすることによって復号化ビデオデータを生成し、上記復号化ビデォデ一夕を表示するための表示システムにおいて、

上記符号化ストリーム中に含まれていたプレゼンテーションタイムスタンプを抽出する手段と、

上記復号化ビデオデ一夕を生成するために上記符号化ストリームをデコードする手段と、

上記プレゼンテ一シヨンタイムスタンプに従って、上記復号化ビデオデータを表示する手段と

を備え、

上記プレゼンテーションタイムスタンプは、上記ソースビデオデ一夕のフィールド数に基づいて生成された情報であることを特徴とする表示システム。

3 0 . ソースビデオデ一夕を符号化することによって生成された符号化ストリームを、デコードすることによって復号化ビデオデータを生成し、上記復号化ビデォデ一夕を表示するための表示方法において、

上記符号化ストリーム中に含まれていたプレゼンテーションタイムスタンプを抽出するステップと、

上記復号化ビデオデータを生成するために上記符号化ストリームをデコードするステップと、

上記プレゼンテーションタイムスタンプに従って、上記復号化ビデオデ一夕を表示するステップと

を備え、

上記符号化ストリーム中に含まれていたプレゼンテーションタイムスタンプは、上記ソースビデオデータのフィ一ルド数に基づいて生成された情報であることを特徴とする表示方法。