JPH1083632A - ディジタル信号符号化方法および装置、ディジタル信号伝送方法、並びに信号記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数の多重化ストリームを切り換えて再生す
る際に、復号バッファを破綻させずに映像や音声を連続
的に再生可能とする。 【解決手段】 ３種類のビデオストリームＶＳ₀,ＶＳ₁,
ＶＳ₂ のアクセスユニットの大きさをそれぞれアクセス
ユニット検出器５３a,５３b,５３c で検出し、最大値検
出器５３で最大のアクセスユニットサイズを検出して、
これを仮想的なビデオストリームのアクセスユニットと
する。スケジューラ５４は、この仮想的なビデオストリ
ームと他の多重化すべきエレメンタリーストリームの情
報に基づいて、パケット化の制御情報を各パケット化器
５５a,５５b,５５c に送り、実際のビデオストリームＶ
Ｓ₀,ＶＳ₁,ＶＳ₂ 毎に他のエレメンタリーストリームと
多重化してパケット化を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号及び音
響信号などを、例えば光磁気ディスクや磁気テープなど
の記録媒体に記録し、これを再生してディスプレイなど
に表示したり、テレビ会議システム、テレビ電話システ
ム、放送用機器など、動画像信号及び音響信号などを伝
送路を介して送信側から受信側に伝送し、受信側におい
て、これを受信し、表示する場合などに用いて好適な、
ディジタル信号符号化方法および装置、ディジタル信号
伝送方法、並びに信号記録媒体に関する。

【０００２】

【従来の技術】映像信号や音声信号などを、光磁気ディ
スクや磁気テープなどの記録媒体に記録し、それらを再
生してディスプレイなどに表示したり、テレビ会議シス
テム、テレビ電話システムなどにおいて、送信側が、所
定の伝送路を介して、それらの信号を伝送し、受信側
が、それらの信号を受信し、表示する場合などにおい
て、最近、これらの信号は、Ａ／Ｄ変換した後、いわゆ
るＭＰＥＧ（Moving PictureExperts Group）方式で符
号化して取り扱われることが多くなりつつある。

【０００３】ここで、上記ＭＰＥＧとは、ＩＳＯ／ＩＥ
Ｃ ＪＴＣ１／ＳＣ２９（International Organization
for Standardization / International Electrotechni
calCommission, Joint Technical Commitee 1 / Sub Co
mmitee 29：国際標準化機構／国際電気標準会議、合同
技術委員会１／専門部会２９）の蓄積用動画像符号化の
検討組織の略称であり、ＭＰＥＧ１標準としてISO11172
が、ＭＰＥＧ２標準としてISO13818がある。これらの国
際標準において、マルチメディア多重化の項目でISO111
72-1及びISO13818-1が、映像の項目でISO11172-2及びIS
O13818-2が、また音声の項目でISO11172-3及びISO13818
-3がそれぞれ標準化されている。

【０００４】通常、映像と音声は同時に扱うので、一般
的なシステムにおいては、映像信号、音声信号および、
関連するデータといった複数のデータをまとめて（多重
化して）記録・伝送する。そして、再生するときに、多
重化されたデータを、映像信号や音声信号といったデー
タの種類別に分離した後復号して、それらのデータを同
期させて再生する。

【０００５】データを多重化する場合、所定の数の映像
信号および音声信号を個別に符号化し、各信号に対する
符号化ストリームを生成した後、それらの符号化ストリ
ームが多重化される。

【０００６】ＭＰＥＧシステム（ISO/IEC13818-1 ある
いは ISO/IEC11172-1）では、この多重化ストリームを
規定している。以下にこのＭＰＥＧシステムにおけるデ
コーダモデルおよび多重化ストリームの構造について説
明する。ここでは説明を簡単にするためＭＰＥＧ２（IS
O/IEC13818-1）プログラムストリームおよびＭＰＥＧ１
システム（ISO/IEC11172-1）ストリームについて述べる
が、ＭＰＥＧ２システムのトランスポートストリーム
（ISO/IEC13818-1）もＭＰＥＧ２プログラムストリーム
と同様の原理によりデコードされる。

【０００７】ＭＰＥＧシステムでは、仮想的なデコーダ
のモデル（ＳＴＤ：システムターゲットデコーダ）が規
定されていて、多重化システムストリームは、このＳＴ
Ｄにおいて正しく、すなわちバッファの破綻をきたさな
いように、復号されるものとして定義されている。

【０００８】ここでこのＳＴＤ（システムターゲットデ
コーダ）の動作を説明する。図６はＳＴＤ（システムタ
ーゲットデコーダ）の一例の概略構成を表し、図７
（Ａ）及び（Ｂ）は、ＭＰＥＧ２システムのプログラム
ストリームの構造及びＭＰＥＧ２トランスポートストリ
ームの構造をそれぞれ示す。

【０００９】ＳＴＤは内部にシステムタイムクロック
（ＳＴＣ：System Time Clock）１６と呼ばれる基準時
計を持っている。このＳＴＣ１６はある時間間隔で増加
している。一方ＭＰＥＧ２システムのプログラムストリ
ームは複数のアクセスユニットで構成されており、その
ストリームには、図７に示すようにシステムクロックリ
ファレンス（ＳＣＲ：System Clock Reference）と呼ば
れる時間情報がパックヘッダとよばれる領域にエンコー
ドされている。デコーダはＳＴＣがＳＣＲに等しくなる
とその該当するパック、すなわちプログラムストリーム
の構成単位を、あるレート、すなわちパックヘッダの m
ux_rate field にエンコードされている値で読み出す。

【００１０】読み出されたパックは直ちにその構成単位
であるパケットの種類に応じて、分離器１１で各エレメ
ンタリーストリーム、すなわちビデオストリームやオー
ディオストリームなどに分離され、各エレメンタリース
トリームのデコーダバッファ、すなわちビデオバッファ
１２やオーディオバッファ１４に入力される。

【００１１】パケットヘッダには、図７に示すように、
デコーディングタイムスタンプ（ＤＴＳ：Decoding Tim
e Stamp）、プレゼンテーションタイムスタンプ（ＰＴ
Ｓ：Presentation Time Stamp）と呼ばれる時間情報を
記述するフィールドが用意されていて、それぞれエレメ
ンタリーストリームのデコード単位（アクセスユニッ
ト）のデコードされるべき時刻と表示されるべき時刻を
表している。特に、ＰＴＳは、アクセスユニットが表示
される時刻を表しており、ＤＴＳは、アクセスユニット
が復号される時刻を表している。ただし、ＤＴＳ＝ＰＴ
Ｓとなるアクセスユニットについては、ＰＴＳの値のみ
エンコードされる。デコーダバッファ１２に入力された
アクセスユニットは、このＳＴＣの値がＤＴＳの値に等
しくなったときにバッファから引き抜かれて各デコー
ダ、すなわちビデオデコーダ１３やオーディオデコーダ
１５に入力されデコードされる。

【００１２】このようにＳＴＤ（システムターゲットデ
コーダ）においては、同じ基準時計ＳＴＣ１６に対する
デコード時刻の情報が、各エレメンタリーストリームの
パケットにエンコードされているため、ビデオ、オーデ
ィオ、その他のデータを同期させて再生することが可能
となっている。

【００１３】また、多重化においては、このＳＴＤの各
エレメンタリーストリームのデコーダバッファがオーバ
ーフローおよびアンダーフローしないように、ＳＴＤへ
のパックの供給時刻ＳＣＲ（システムクロックリファレ
ンス）が決定され、アクセスユニットをパケット化する
ことが要求される。ここで、上記オーバーフローとは、
バッファに供給されるデータがバッファ容量を越えてし
まうことを意味し、アンダーフローは、アクセスユニッ
トがデコードされるべき時刻にバッファにまだ到達して
いない状態を示す。このようなデコード時のバッファの
破綻なく、上記オーバーフローやアンダーフローを生じ
させないように、複数のビットストリームを多重化する
技術を、本件出願人は、先に特願平７−３４１９５１号
の明細書および図面において提案している。

【００１４】以上は、図７の（Ａ）のＭＰＥＧ２プログ
ラムストリームについての説明であるが、図７の（Ｂ）
のＭＰＥＧ２トランスポートストリームについても同様
な構造を持つ。図７の（Ｂ）のトランスポートストリー
ムヘッダは、上記ISO/IEC13818-1において規定される、
同期バイト（sync_byte） から巡回カウンタ（continui
ty_counter）までの４バイトのことである。クロックリ
ファレンス及びデコード時刻は、図７の（Ａ）のＭＰＥ
Ｇプログラムストリームの場合と同様である。

【００１５】ＭＰＥＧビデオにはＧＯＰ（Group of Pic
tures ：グループオブピクチャ）という構造があり、こ
の単位で独立して、すなわち該当するＧＯＰをデコード
するのに前のＧＯＰに属するピクチャを必要としないよ
うに、エンコーディングを行うことができる。よって複
数のビデオストリームがある時、ＧＯＰを切り替えの単
位として複数のビデオストリームを切り替えることがで
きる。

【００１６】いま、上記の条件、すなわちビデオストリ
ームがＧＯＰで閉じている条件でエンコードされている
２種類の異なるプログラムストリームがあって、それぞ
れを独立に多重化を行う場合を考える。ただし、プログ
ラムストリームの切り替えを可能とするために、ＧＯＰ
の境界が同一のビデオパケット中に含まれることがない
ように制約を与える。

【００１７】図８は、このような条件で２本のプログラ
ムストリームのそれぞれを独立に多重化する場合の例及
びその２つのプログラムストリームを選択的に切り換え
て出力する場合の例を示している。図８の（ａ）に示す
ように、プログラムストリームＰＳ０のパックＰＫ０と
パックＰＫ１にビデオストリームＶ０のＧＯＰ０のデー
タが、プログラムストリームＰＳ０のパックＰＫ２とパ
ックＰＫ３にビデオＶ０のＧＯＰ１のデータが多重化さ
れている。また、図８の（ｂ）に示すように、プログラ
ムストリームＰＳ１のパックＰＫ０、ＰＫ１、ＰＫ２に
ビデオＶ１のＧＯＰ０のデータが、プログラムストリー
ムＰＳ１のパックＰＫ３にビデオＶ１のＧＯＰ１のデー
タが多重化されている。

【００１８】これらの図８の（ａ）、（ｂ）に示すよう
な別々に多重化された２本のプログラムストリームが１
つの記録媒体に記録されていて、例えば図６の読取装置
１０が選択的にプログラムストリームをパック単位で切
り替えて出力することができるシステムを想定すると
き、上述したＧＯＰ（グループオブピクチャ）の独立性
により、プログラムストリームを切り替え点において切
り替えたとき、ビデオ再生を途切れさせることなく連続
的に再生することが可能となる。

【００１９】例えば、図８の（ｃ）に示すように、プロ
グラムストリームＰＳ０のパックＰＫ０、ＰＫ１を読み
出した後、続けてプログラムストリームＰＳ１のパック
ＰＫ３を読み出せば、図６のビデオバッファ１２には、
ビデオＶ０のＧＯＰ０のデータが入力された後、ビデオ
Ｖ１のＧＯＰ１のデータが入力されるので、ビデオＶ０
からビデオＶ１に映像が切り替わっても連続的に再生す
ることが可能になる。この例では２本のプログラムスト
リームが記録媒体に記録されているとしたが、２本以上
でも同様である。以下これらのＧＯＰの切替え点のパッ
クをエントリーポイントと呼ぶ。

【００２０】

【発明が解決しようとする課題】ところで、記録媒体に
複数のプログラムストリームが記録されていて、読取装
置がエントリーポイントにおいて読み出すプログラムス
トリームを選択的に切り替える機能を持っているとき、
媒体に記録される複数のプログラムストリームの多重化
を、各々独立に通常の方法で行うと、デコーダで正しく
デコードできない場合が生じる。これは次の２つの理由
による。

【００２１】理由１．ＳＣＲ（システムクロックリファ
レンス）の不整合 パックヘッダにエンコードされるＳＣＲは、デコーダへ
の読み出し開始時間を示すので、読み出されてデコーダ
に入力される２つの隣接するパックについて、 （後のパックにエンコードされているＳＣＲ）≧（前の
パックにエンコードされているＳＣＲ）＋（前パックの
転送時間） すなわち、 （後のパックにエンコードされているＳＣＲ）≧（前の
パックにエンコードされているＳＣＲ）＋（前パックの
大きさ）／（読み出しレート） の条件を満足しなければならない。従って、プログラム
ストリームＰＳ０をパックＰＫ０，ＰＫ１，ＰＫ２，Ｐ
Ｋ３，…と順に読み出す場合には上記の条件が成り立っ
ても（個々のプログラムストリームは上記条件が成り立
つように多重化されている）、図８の（ｃ）に示すよう
に、プログラムストリームＰＳ０をパックＰＫ０，ＰＫ
１と読み出した後に、エントリーポイントでプログラム
ストリームを切り替えて、プログラムストリームＰＳ１
のパックＰＫ３を読み出してデコーダに入力しようとす
ると、プログラムストリームＰＳ０とプログラムストリ
ームＰＳ１の多重化はそれぞれ独立に行われているの
で、上記の条件を満足できなくなること、すなわち前の
パックを読み終わったときに、ＳＴＣ（システムタイム
クロック）が後のパックにエンコードされているＳＣＲ
（システムクロックリファレンス）の値より大きくな
り、後のパックを読み出すことができなくなることがあ
る。

【００２２】理由２．バッファの破綻 読取装置が読み出すプログラムストリームの切り替えを
行うと、結果としてデコーダバッファの破綻（オーバー
フロー、アンダーフロー）が生じる可能性がある。

【００２３】この理由２を、図９を参照しながら説明す
る。図９は、ビデオデコーダバッファにおけるデータの
占有量の遷移を表している。ここで図９の（ａ）は、例
えば図８の（ａ）に示すようなプログラムストリームＰ
Ｓ０をパックＰＫ０，ＰＫ１，ＰＫ２，ＰＫ３，…と順
に読み出した時のバッファの状態であり、（ア）はビデ
オＶ０のＧＯＰ０のデータ、（イ）はビデオＶ０のＧＯ
Ｐ１のデータである。図９の（ｂ）は、例えば図８の
（ｂ）に示すようなプログラムストリームＰＳ１をパッ
クＰＫ０，ＰＫ１，ＰＫ２，ＰＫ３，…と順に読み出し
た時のバッファの状態であり、（ウ）はビデオＶ１のＧ
ＯＰ０のデータ、（エ）はビデオＶ１のＧＯＰ１のデー
タである。図９の（ａ），（ｂ）ともに、それぞれ連続
したプログラムストリームであるから、当然バッファは
破綻することなく多重化されているはずである。ところ
が、この例のように多重化されたプログラムストリーム
を、例えば図８の（ｃ）に示すように、読取装置がプロ
グラムストリームＰＳ０のパックＰＫ０，ＰＫ１と読ん
だ後、ビデオを切り替えるために、プログラムストリー
ムＰＳ１のパックＰＫ３を読んだとすると、バッファに
はビデオＶ０のＧＯＰ０のデータが入力された後ビデオ
Ｖ１のＧＯＰ１のデータが供給されるので、バッファの
占有量の遷移は、図９の（ｃ）のようになる。ここで
（オ）はビデオＶ０のＧＯＰ０のデータであり、（カ）
はビデオＶ１のＧＯＰ１のデータである。

【００２４】ビデオＶ１のＧＯＰ１のデータをデコード
するときに、読み出しはＳＣＲ（システムクロックリフ
ァレンス）によって、バッファからの引き抜きはＤＴＳ
（デコーディングタイムスタンプ）によって決まり、デ
ータの入力および引き抜きタイミングは（カ）と同様に
なるので、図９の（ｃ）のようにバッファのオーバーフ
ローが発生してしまう。

【００２５】本発明は、上述した実情に鑑みてなされた
ものであり、アクセスユニットの読みだしタイミングと
そのデコードされた後のバッファの状態を複数のプログ
ラムストリームについて同じにすることにより、複数の
プログラムストリームをエントリーポイントにおいて切
り替えて読み出したときに、ＳＣＲの不整合が発生する
ことなく、またバッファの破綻が起こらないようなプロ
グラムストリームを生成し得るようなディジタル信号符
号化方法および装置、ディジタル信号伝送方法、並びに
これらの方法や装置により得られたディジタル信号が記
録されたディジタル信号記録媒体の提供を目的とする。

【００２６】

【課題を解決するための手段】本発明は、上述したよう
な課題を解決するために、ディジタル信号のビットスト
リームを符号化する際に、複数のディジタル信号のビッ
トストリームを受信し、上記複数のディジタル信号のビ
ットストリームの符号化単位であるアクセスユニットの
大きさとデコード時刻とを検出し、各デコード時刻毎
に、検出された複数のディジタルビットストリームの複
数のアクセスユニットの大きさを比較して、アクセスユ
ニットの最大値を選択し、各デコード時刻においてアク
セスユニットの大きさが上記選択された最大値に等しく
なるように仮想ストリームを構成し、上記複数のディジ
タル信号のビットストリームを符号化する際に、上記ア
クセスユニットが上記仮想ストリームのアクセスユニッ
トの大きさに満たないときに、上記ディジタル信号のビ
ットストリームのアクセスユニットの大きさと上記仮想
ストリームのアクセスユニットの大きさとの差分に対し
て、パディングパケットを用いてパケット化することを
特徴とする。

【００２７】すなわち、本発明は、複数のディジタル信
号のビットストリームの符号化単位であるアクセスユニ
ットの大きさとデコード時刻とを検出し、デコード時刻
毎に、得られる複数のアクセスユニットの大きさを比較
して、それらの最大値を選択し、デコード時刻において
アクセスユニットの大きさが上記選択された最大値に等
しくなるような仮想ストリームを構成し、各々のディジ
タル信号のビットストリームを符号化する際に、アクセ
スユニットが上記仮想ストリームのアクセスユニットの
大きさに満たないときに、その差分と大きさの等しいパ
ディングパケットを用いてパケット化することを特徴と
する。この場合、上記パケット化する際、アクセスユニ
ットが仮想的なビデオストリームのアクセスユニットの
大きさに満たない場合には、その差分と大きさの等しい
パディングパケットをパケット化するか、あるいは差分
の大きさがパックの大きさよりも大きいときは何もパケ
ット化しないことが好ましい。

【００２８】また本発明は、さらに、パケット化して得
られるストリームを１つのチャネルとして複数のチャネ
ルを持つトランスポートストリームに符号化して伝送す
ることを特徴とする。

【００２９】具体的には、複数のいわゆるＭＰＥＧビデ
オストリームのアクセスユニットの大きさとデコード
（表示）時刻を検出する手段と、デコード時刻毎に各々
のビデオストリームに属するアクセスユニットの最大値
を選択する手段と、デコード時刻においてアクセスユニ
ットの大きさが選ばれた最大値に等しくなるような１つ
の仮想的なビデオストリームを構成する手段と、この仮
想的なビデオストリームをあたかも実在するビデオスト
リームのように扱いデコーダへの供給時刻（クロックリ
フレンス）およびパケットの大きさ決定する手段と、実
際に各々のビデオストリームをパケット化する際、アク
セスユニットが仮想的なビデオストリームのアクセスユ
ニットの大きさに満たない場合には、その差分と大きさ
の等しいパディングパケットをパケット化する手段と、
差分の大きさがパックの大きさよりも大きいときはなに
もパケット化しない手段をもつ。

【００３０】また、本発明の他の具体的な構成として
は、複数のＭＰＥＧビデオストリームのアクセスユニッ
トの大きさとデコード（表示）時刻を検出する手段と、
デコード時刻毎に、得られる複数のアクセスユニットの
大きさを比較して、それらの最大値を選択する手段と、
デコード時刻においてアクセスユニットの大きさが選ば
れた最大値に等しくなるような１つの仮想的なビデオス
トリームを構成する手段と、ビデオストリームとしてこ
の仮想的なビデオストリームをあたかも実在するビデオ
ストリームのように扱い、オーディオその他のストリー
ムと共に、それらのデコーダへの供給時刻（クロックリ
ファレンス）およびパケットの大きさ決定する手段と、
実際に各々のビデオストリームをパケット化する際、ア
クセスユニットが仮想的なビデオストリームのアクセス
ユニットの大きさに満たない場合には、その差分と大き
さの等しいパディングパケットをパケット化する手段
と、パケット化して得られるストリームを１つのチャン
ネルとして、複数のチャンネル持つＭＰＥＧトランスポ
ートストリームに符号化して伝送する手段をもつ。

【００３１】

【発明の実施の形態】以下、本発明に係る実施の形態に
ついて、図面を参照しながら説明する。

【００３２】図１は、本発明に係るディジタル信号符号
化装置の実施の形態の概略構成を示している。この第１
の実施の形態においては、同一シーンを異なるカメラア
ングルから撮影した複数のビデオ、例えば３種類のビデ
オストリームＶＳ₀〜ＶＳ₂についての符号化を考える。

【００３３】同じシーンを撮影したものであるから、当
然オーディオや字幕データなどのような、上記ビデオス
トリームＶＳ₀〜ＶＳ₂と一緒に多重化すべきデータ（オ
ーディオストリームＡＳや、その他のストリームＴＳ
等）は、３つのビデオストリームＶＳ₀〜ＶＳ₂に対して
全く同一のものを使うことができるため、それぞれ１つ
のストリームが３つのビデオストリームＶＳ₀〜ＶＳ₂と
多重化される。最終的に得られるプログラムストリーム
（ＰＳ₀〜ＰＳ₂）を復号側においてＧＯＰ（グループオ
ブピクチャ）毎に切り替えて再生するとき、切替え点に
おいて連続的にビデオが再生可能であるためには、切替
え点の時刻とフィールドパリティ（トップフィールドで
始まるかボトムフィールドで始まるか）がビデオストリ
ーム毎に同一である必要がある。この条件を満たすため
に、ここではビデオのピクチャタイプ、トップフィール
ドファーストフラグ、リピートファーストフィールドフ
ラグはカメラアングルの異なるビデオで同じようにコー
ディングを行うが、実際には必ずしも同一にする必要は
ない。

【００３４】なお、トップフィールドファーストフラグ
及びリピートファーストフラグは、ＭＰＥＧ２において
定義されているフラグであり、トップフィールドファー
ストフラグはインターレースフレームを画面表示する場
合、トップフィールドとボトムフィールドのどちらを始
めに出力するかを示すフラグである。また、リピートフ
ァーストフラグは、例えば映画等のフィルムソース（２
４コマ）をインターレースビデオ信号（３０フレーム）
に変換する場合、３：２プルダウン手法を用いて生成さ
れた信号を符号化する際に除去される冗長フィールドを
示すフラグのことである。

【００３５】本実施の形態のシステムでは、異なるカメ
ラアングルに対するビデオストリームをデコードすると
き、どのビデオストリームをデコードしてもバッファか
らアクセスユニットを引き抜いた（デコード）後のビデ
オバッファの状態が同じになるように多重化することが
可能である。これにより、ＧＯＰ単位でプログラムスト
リームを切り替えたときにバッファの状態を同じにする
ことができ、その結果、バッファの破綻無くシームレス
なビデオ再生が可能となっている。以下、本実施の形態
のシステムを説明する。

【００３６】図１において、アクセスユニット検出器５
０，５１，５２a〜５２cは、各エレメンタリーストリー
ムのアクセスユニットの大きさとそのアクセスユニット
のデコード時刻ＤＴＳ（表示時刻とデコード時刻が異な
る場合は表示時刻ＰＴＳも）を検出する。エレメンタリ
ーストリームのエンコーダと多重化器が一体のシステム
では、これらの情報はエンコーダが出力できる可能性が
大きく、その時はエンコーダの出力値を用いることがで
きる。図１の例では、オーディオストリームＡＳがアク
セスユニット検出器５０に送られ、異なるカメラアング
ルから撮影されエンコードされた例えば３種類のビデオ
ストリームＶＳ₀,ＶＳ₁,ＶＳ₂ がそれぞれアクセスユニ
ット検出器５２a,５２b,５２c に送られ、その他のスト
リームＴＳがアクセスユニット検出器５１に送られる。
そして、各アクセスユニット検出器５０，５１，５２ａ
〜５２ｃにおいて、それぞれのエレメンタリーストリー
ムのアクセスユニットの大きさとデコード時刻ＤＴＳ
（必要に応じてＰＴＳ）等が検出される。

【００３７】最大値検出器５３は、アクセスユニット検
出器５２a,５２b,５２c からの、３種類のビデオストリ
ームＶＳ₀,ＶＳ₁,ＶＳ₂ より各々得られるアクセスユニ
ットの大きさを比較し、アクセスユニットの最大値をデ
コード時刻毎に選択する。

【００３８】図２にこの選択の様子を示す。図２ではわ
かりやすいように各々のビデオストリームＶＳ₀,ＶＳ₁,
ＶＳ₂ に対するアクセスユニットを時間的にずらして書
いているが、これらは同一のデコード時刻ｔ_n （ｎ＝
１，２，・・・）に対するアクセスユニットの大きさを
表している。デコード時刻ｔ_N 毎にアクセスユニットの
最大値が仮想的なビデオストリームＰＶＳのアクセスユ
ニットとして選ばれている。仮想的なビデオストリーム
ＰＶＳは、このデコード間隔とアクセスユニットの大き
さをもつものと考える。

【００３９】スケジューラ５４は、この仮想的なビデオ
ストリームＰＶＳとその他の多重化すべきエレメンタリ
ーストリーム、すなわちオーディオストリームＡＳと、
字幕データなどのその他のストリームＴＳについての、
アクセスユニットの大きさとデコード時刻の情報を受け
取って、パケット化すべきエレメンタリーストリームの
種類、パケットの大きさ、パックに付けるＳＣＲ（シス
テムクロックリファレンス）などの制御情報を出力す
る。このスケジューラ５４は通常の多重化方式において
用いるものと同一でよい。例えば、このスケジューリン
グの技術として、本件出願人が先に特願平７−３４１９
５１号の明細書および図面に開示した技術等を用いるこ
とができる。また、他のスケジューリングの技術を用い
てもよい。

【００４０】パケット化器５５a,５５b,５５c は、スケ
ジューラ５４によって出力された制御情報を用いて、エ
レメンタリーストリームのパケット化を行う。ただしス
ケジューラ５４は仮想的なビデオストリーム（仮想ビデ
オ）ＰＶＳに対してスケジューリングを行っているの
で、得られる制御情報をそのまま用いて実際のビデオス
トリーム（実ビデオ）をパケット化しても、アクセスユ
ニットの引き抜き時におけるバッファの占有量は必ずし
も同じにならない。ところが、 （実ビデオのアクセスユニットの大きさ）≦（仮想ビデ
オのアクセスユニットの大きさ） が常に成り立つので、パケット化を行う際、ビデオのア
クセスユニットの大きさが仮想ビデオのアクセスユニッ
トの大きさに満たない場合にパディングパケットをパケ
ット化すると、バッファから引き抜かれた（デコードさ
れた）後のバッファの状態は、異なるアングルのビデオ
によらず一定になる。

【００４１】図３を用いてこれらのパケット化器５５a
〜５５cの動作を説明する。

【００４２】図３の（ａ）は仮想的なビデオのアクセス
ユニットPVAUの大きさを表し、図３の（ｂ）は実際に多
重化すべきビデオのアクセスユニットＶAUの大きさを表
す。図３の（ｃ）の実線は、多重化スケジューラによっ
て、仮想ビデオがパケットにどのように分割されるかを
示している。このスケジューラの出力情報を用いて実際
にビデオパケットＶＰをパケット化するときは、仮想ビ
デオと実際のビデオストリームの各アクセスユニットPV
AUとＶAUとの大きさに差があるため、図３の斜線（ハッ
チング）が施された部分を調整しなければならない。パ
ケット化器５５ａ〜５５ｃは、図３の（ｃ）で斜線が施
された部分において、図３の（ｄ）に示すように、パデ
ィングパケットＰＰを出力する機能を持つ。ビデオスト
リームが図３の（ｄ）のようにパケット化されることに
より、他のエレメメンタリーストリームを多重化して生
成されるプログラムストリームは図３の（ｅ）のように
なる。この例では、各パケット化器においてビデオ、オ
ーディオ、字幕データそれぞれ１ストリームについての
多重化を行った例を示している。

【００４３】また、このように仮想ビデオと実際のビデ
オストリームのアクセスユニットの差分を調整すると
き、パディングパケットＰＰそれ自体でパックを構成し
ている場合には、このパディングパケットＰＰを転送し
なくても、各エレメンタリーストリームのバッファの遷
移には全く影響を与えない。多重化におけるオーバーヘ
ッドを減らすため、すなわち無駄なデータの蓄積を防ぐ
ため、このような場合には、パケット化器５５ａ〜５５
ｃはパディングパケットＰＰをパケット化しない機能を
もつ。本例において、図３の（ｄ）のｘで示す部分のパ
ディングパケットＰＰは、それ自体がパックを構成して
いるので、図３の（ｅ）のプログラムストリーム中には
パケット化されていない。ただし、パケット化器５５ａ
〜５５ｃのハードウェアを簡略化したいようなときに
は、パディングパケットＰＰを全てパケット化しても差
し支えないが、多重化のオーバーヘッドは増える。

【００４４】本例の多重化器によって多重化を行ったと
きのバッファの挙動は、例えば図４のようになる。この
図４において、点線は仮想的なビデオに対してスケジュ
ーリングを行ったときのビデオバッファの状態の遷移を
表す。実線は、仮想的なビデオストリームに対してスケ
ジューリングを行って得られる情報をもとに実際のビデ
オストリームを多重化したときのビデオバッファの状態
を表している。また、時刻ｔ₁,ｔ₂,ｔ₃,・・・は、デコ
ード時刻を表している。

【００４５】この図４中の×印までは、仮想ビデオと同
じタイミングでビデオバッファへのロードが行われる。
一方、図４中の×印から○印までの区間では、上記した
ように仮想ビデオと実ビデオ（実際のビデオストリー
ム）のアクセスユニットとの差分がパディングパケット
で置き換えられるので、ビデオバッファへのロードは行
われず、次のアクセスユニットのロードの開始点（図中
○印のところ）、あるいはデコード時刻ｔ_n （ｎ＝１，
２，・・・）になるまでバッファのデータ量は変わらな
い。

【００４６】この結果、全ての時刻において、 （実際のビデオのバッファ占有量）≦（仮想的なビデオ
のバッファ占有量） が常に成り立つ。

【００４７】したがって、異なるカメラアングルから撮
影されたビデオデータを符号化し、本方法により多重化
を行って生成される複数のプログラムストリームは、全
ての時刻によって上記の関係式を満足する。よって、仮
想ビデオがバッファの破綻無く多重化されているなら
ば、これらのプログラムストリームをエントリーポイン
トで切り替えてデコードしても、バッファの破綻は起き
ない。

【００４８】そして、これらのプログラムストリームＰ
Ｓ₀，ＰＳ₁及びＰＳ₂ が、例えばディスク等の記録媒体
５６に記録される。

【００４９】次に、２つの異なるカメラアングルから撮
影されエンコードされたビデオを多重化する様子を図５
に表す。図５の（ａ）はビデオＶ０のアクセスユニット
の大きさを表し、（ｂ）はビデオＶ１のビデオアクセス
ユニットの大きさを表す。この例では、ＧＯＰ０，ＧＯ
Ｐ１両方とも４枚のアクセスユニットから構成されてい
る。ＧＯＰは、ＭＰＥＧ２に定義されているグループオ
ブピクチャの意味である。図５の（ｃ）は、アクセスユ
ニットの大きさのどちらか大きな方を選択することによ
って得られる、仮想ビデオのアクセスユニットの大きさ
を表す。図５の（ｄ）は、仮想ビデオに対してスケジュ
ーリングを行った結果、仮想ビデオがどのようにパケッ
タイズされるかを示している。実際のビデオを多重化す
るときは、図５の（ｅ），（ｆ）に示すように、仮想ビ
デオとの差分が生じるときはパディングを行う。ただ
し、仮想ビデオのパケットが３つ以上のパケットに分割
されるときには、図５の（ｅ），（ｆ）のようにパディ
ングパケットを後詰めして２つのパケットにしてしまっ
てもよい。スケジューリングの結果として、仮想ビデオ
に対するプログラムストリームが図５の（ｇ）のように
多重化されるとすると、本実施の形態を用いて実ビデオ
を多重化してできるプログラムストリームは図５の
（ｈ），（ｉ）のようになる。

【００５０】こうしてできるプログラムストリームは、
図５の（ｈ），（ｉ）のどの矢印に従って切り替えてデ
コーダに入力しても、上に示したようにバッファの破綻
を引き起こすことなく、映像・音声のシームレスな再生
が可能になる。なお、この例では２つのビデオを考えた
が３つ以上のビデオに対しても同様である。

【００５１】以上説明した例においては、プログラムス
トリームに対して本発明の実施の形態の方法を適用した
が、伝送用途に使われるトランスポートストリームに対
しても、本方法は有効である。トランスポートストリー
ムでは、一本のストリームが複数のチャネルで構成さ
れ、各チャネルが一つの独立したストリームに相当して
いる。また各チャネルは、各々独立してタイムベースを
もつことができる。したがって、上記の複数プログラム
ストリームに対する方法をそのまま各チャネルに対して
行い、複数チャネルのストリームの一本のトランスポー
トストリームに多重化し、その多重化されたトランスポ
ートストリームを伝送する。それにより、複数のチャン
ネルを切り替えたときに、異なるカメラアングルから撮
影された映像にシームレスに切り替えることが可能にな
る。

【００５２】また、上述した実施の形態では、異なるカ
メラアングルから撮影された映像を多重化することを考
えたが、全く内容の関係の無い画像に関しても本発明は
適用可能である。また、本発明は、ビデオにとどまらず
オーディオやその他のデータについても適用可能であ
る。

【００５３】

【発明の効果】本発明によれば、複数のディジタル信号
のビットストリームの符号化単位であるアクセスユニッ
トの大きさとデコード時刻とを検出し、デコード時刻毎
に、得られる複数のアクセスユニットの大きさを比較し
て、それらの最大値を選択し、デコード時刻においてア
クセスユニットの大きさが上記選択された最大値に等し
くなるような仮想ストリームを構成し、各々のディジタ
ル信号のビットストリームをパケット化する際に、アク
セスユニットが上記仮想ストリームのアクセスユニット
の大きさに満たないときに、その差分と大きさの等しい
パディングパケットを用いてパケット化しているため、
複数のディジタル信号のビットストリームを切り替えて
復号しても、復号バッファを破綻させずに連続的に再生
することができる。

【００５４】すなわち、本発明によれば、複数の多重化
ストリームを切り替えて再生する機能をもつシステム用
に多重化を行う際、エレメンタリーストリームからアク
セスユニットの大きさとデコード時刻を求め、各デコー
ド時刻毎にアクセスユニットの最大値を選び、その最大
値をアクセスユニットの大きさとする仮想的なビデオス
トリームを考えて多重化のスケジューリングを行い、実
際のビデオを多重化するときに仮想ビデオと実ビデオの
差分が生じるときはパディングを行うことにより、複数
の多重化ストリームを切り替えて再生するときに、バッ
ファの破綻を起こさず、かつ映像や音声を途切れさせる
ことが無いようにできる。ここで、この複数の多重化ス
トリームは蓄積媒体の各部に記録されていても良いし、
複数ストリームをさらに一本のトランスポートストリー
ムにまとめられて放送に用いられても良い。

【図面の簡単な説明】

【図１】本発明の実施の形態となるディジタル信号符号
化装置の概略構成を示すブロック図である。

【図２】仮想ビデオのアクセスユニットの決定を説明す
るための図である。

【図３】上記実施の形態によって生成されるプログラム
ストリームの一例を説明するための図である。

【図４】上記実施の形態によって生成されるプログラム
ストリームをデコードしたときのバッファの挙動を説明
するための図である。

【図５】上記実施の形態を２つの異なるカメラアングル
に対するビデオデータに対して適用したときに得られる
プログラムストリームを説明するための図である。

【図６】いわゆるＭＰＥＧ規格におけるシステムターゲ
ットデコーダ（ＳＴＤ）の概略構成を示すブロック図で
ある。

【図７】いわゆるＭＰＥＧ規格におけるプログラムスト
リームおよびトランスポートストリームの構造の一例を
示す図である。

【図８】２本のプログラムストリームをそれぞれ独立に
多重化したときに得られるストリーム及び２本のプログ
ラムストリームを切り替えたときに得られるストリーム
の一例を説明するための図である。

【図９】プログラムストリーム切り替え時におけるバッ
ファの挙動を説明するための図である。

【符号の説明】

５０，５１，５２a〜５２c アクセスユニット検出器、
５３ 最大値検出器、 ５４ スケジューラ、 ５５
a〜５５c パケット化器

フロントページの続き (72)発明者 根岸 慎治 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】ディジタル信号のビットストリームを符号
   化するディジタル信号符号化方法において、 複数のディジタル信号のビットストリームを受信する工
   程と、 上記複数のディジタル信号のビットストリームの符号化
   単位であるアクセスユニットの大きさとデコード時刻と
   を検出する工程と、 各デコード時刻毎に、検出された複数のディジタルビッ
   トストリームの複数のアクセスユニットの大きさを比較
   して、アクセスユニットの最大値を選択する工程と、 各デコード時刻においてアクセスユニットの大きさが上
   記選択された最大値に等しくなるように仮想ストリーム
   を構成する工程と、 上記複数のディジタル信号のビットストリームを符号化
   する際に、上記アクセスユニットが上記仮想ストリーム
   のアクセスユニットの大きさに満たないときに、上記デ
   ィジタル信号のビットストリームのアクセスユニットの
   大きさと上記仮想ストリームのアクセスユニットの大き
   さとの差分に対して、パディングパケットを用いてパケ
   ット化する工程とを有することを特徴とするディジタル
   信号符号化方法。
2. 【請求項２】上記複数のディジタル信号のビットストリ
   ームの各々は、ビデオストリームであり、 少なくともオーディオストリームを受信する工程と、 上記仮想ストリームを仮のビデオストリームとして、上
   記仮想ストリームと上記少なくともオーディオストリー
   ムを用いて、デコーダへの供給時刻及びパケットの大き
   さを決定する工程とを有し、 上記パケット化工程は、上記デコーダへの供給時刻及び
   パケットの大きさの情報を使用して、上記ビデオストリ
   ーム及びオーディオストリームをパケット化することを
   特徴とする請求項１記載のディジタル信号符号化方法。
3. 【請求項３】ディジタル信号のビットストリームを符号
   化するディジタル信号符号化装置において、 複数のディジタル信号のビットストリームを受信する受
   信手段と、 複数のディジタル信号のビットストリームの符号化単位
   であるアクセスユニットの大きさとデコード時刻とを検
   出するアクセスユニット検出手段と、 各デコード時刻毎に、検出された複数のディビットスト
   リームの複数のアクセスユニットの大きさを比較して、
   アクセスユニットの最大値を選択する最大値選択手段
   と、 各デコード時刻においてアクセスユニットの大きさが上
   記選択された最大値に等しくなるような仮想ストリーム
   を構成するスケジューラ手段と、 各々のディジタル信号のビットストリームを符号化する
   際に、アクセスユニットが上記仮想ストリームのアクセ
   スユニットの大きさに満たないときに、上記ディジタル
   信号のビットストリームのアクセスユニットの大きさと
   上記仮想ストリームのアクセスユニットの大きさとの差
   分に対して、パディングパケットを用いてパケット化す
   るパケット化手段とを有して成ることを特徴とするディ
   ジタル信号符号化装置。
4. 【請求項４】上記複数のディジタル信号のビットストリ
   ームの各々は、ビデオストリームであり、 少なくともオーディオストリームを受信する受信端子を
   有し、 上記スケジューラ手段は、上記仮想ストリームを仮のビ
   デオストリームとして、上記仮想ストリームと上記少な
   くともオーディオストリームを用いて、デコーダへの供
   給時刻及びパケットの大きさを決定し、 上記パケット化手段は、上記デコーダへの供給時刻及び
   パケットの大きさの情報を使用して、上記ビデオストリ
   ーム及びオーディオストリームをパケット化することを
   特徴とする請求項３記載のディジタル信号符号化装置。
5. 【請求項５】ディジタル信号を伝送するディジタル信号
   伝送方法において、 複数のディジタル信号のビットストリームを受信する工
   程と、 上記複数のディジタル信号のビットストリームの符号化
   単位であるアクセスユニットの大きさとデコード時刻と
   を検出する工程と、 各デコード時刻毎に、検出された複数のディジタルビッ
   トストリームの複数のアクセスユニットの大きさを比較
   して、アクセスユニットの最大値を選択する工程と、 各デコード時刻においてアクセスユニットの大きさが上
   記選択された最大値に等しくなるように仮想ストリーム
   を構成する工程と、 上記複数のディジタル信号のビットストリームを符号化
   する際に、上記アクセスユニットが上記仮想ストリーム
   のアクセスユニットの大きさに満たないときに、上記デ
   ィジタル信号のビットストリームのアクセスユニットの
   大きさと上記仮想ストリームのアクセスユニットの大き
   さとの差分に対して、パディングパケットを用いてパケ
   ット化する工程と、 上記夫々パケット化された複数のストリームを１つのス
   トリームとして伝送する工程とを有することを特徴とす
   るディジタル信号伝送方法。
6. 【請求項６】上記複数のディジタル信号のビットストリ
   ームの各々は、ビデオストリームであり、 少なくともオーディオストリームを受信する工程と、 上記仮想ストリームを仮のビデオストリームとして、上
   記仮想ストリームと上記少なくともオーディオストリー
   ムを用いて、デコーダへの供給時刻及びパケットの大き
   さを決定する工程とを有し、 上記パケット化工程は、上記デコーダへの供給時刻及び
   パケットの大きさの情報を使用して、上記ビデオストリ
   ーム及びオーディオストリームをパケット化することを
   特徴とする請求項５記載のディジタル信号伝送方法。
7. 【請求項７】記録信号が記録される信号記録媒体におい
   て、 上記記録信号は、 複数のディジタル信号のビットストリームを受信する工
   程と、 上記複数のディジタル信号のビットストリームの符号化
   単位であるアクセスユニットの大きさとデコード時刻と
   を検出する工程と、 各デコード時刻毎に、検出された複数のディジタルビッ
   トストリームの複数のアクセスユニットの大きさを比較
   して、アクセスユニットの最大値を選択する工程と、 各デコード時刻においてアクセスユニットの大きさが上
   記選択された最大値に等しくなるように仮想ストリーム
   を構成する工程と、 上記複数のディジタル信号のビットストリームを符号化
   する際に、上記アクセスユニットが上記仮想ストリーム
   のアクセスユニットの大きさに満たないときに、上記デ
   ィジタル信号のビットストリームのアクセスユニットの
   大きさと上記仮想ストリームのアクセスユニットの大き
   さとの差分に対して、パディングパケットを用いてパケ
   ット化する工程とにより得られるものであることを特徴
   とする信号記録媒体。
8. 【請求項８】上記複数のディジタル信号のビットストリ
   ームの各々は、ビデオストリームであり、 少なくともオーディオストリームを受信する工程と、 上記仮想ストリームを仮のビデオストリームとして、上
   記仮想ストリームと上記少なくともオーディオストリー
   ムを用いて、デコーダへの供給時刻及びパケットの大き
   さを決定する工程とを有し、 上記パケット化工程は、上記デコーダへの供給時刻及び
   パケットの大きさの情報を使用して、上記ビデオストリ
   ーム及びオーディオストリームをパケット化することを
   特徴とする請求項７記載の信号記録媒体。