JPH08335371A - ストリーム多重装置、ストリーム多重方法及び蓄積メディア - Google Patents
ストリーム多重装置、ストリーム多重方法及び蓄積メディアInfo
- Publication number
- JPH08335371A JPH08335371A JP7142141A JP14214195A JPH08335371A JP H08335371 A JPH08335371 A JP H08335371A JP 7142141 A JP7142141 A JP 7142141A JP 14214195 A JP14214195 A JP 14214195A JP H08335371 A JPH08335371 A JP H08335371A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- stream
- unit
- data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
(57)【要約】
【目的】 ランダムアクセス時の再生復帰時間を短縮す
る。 【構成】 音声ストリームの１フレームをなす各パケッ
トのシステムストリーム上の多重位置を、これらパケッ
トがフレームの復号時刻または再現時刻に全体としてほ
ぼ最も近い位置に後ろより詰めてそれぞれ配置されるよ
うに、最後のフレームから順にそれぞれ特定する。次に
ビデオストリームの１ピクチャをなす各パケットのシス
テムストリーム上の多重位置を、これらパケットがピク
チャの復号時刻または再現時刻に全体としてほぼ最も近
い位置に後ろより詰めてそれぞれ配置されるように、最
後のピクチャから順に、音声パケットの配置位置を避け
てそれぞれ特定する。そして特定した各位置に従って音
声、ビデオの各パケットの多重化を行い、システムスト
リームを作成する。
る。 【構成】 音声ストリームの１フレームをなす各パケッ
トのシステムストリーム上の多重位置を、これらパケッ
トがフレームの復号時刻または再現時刻に全体としてほ
ぼ最も近い位置に後ろより詰めてそれぞれ配置されるよ
うに、最後のフレームから順にそれぞれ特定する。次に
ビデオストリームの１ピクチャをなす各パケットのシス
テムストリーム上の多重位置を、これらパケットがピク
チャの復号時刻または再現時刻に全体としてほぼ最も近
い位置に後ろより詰めてそれぞれ配置されるように、最
後のピクチャから順に、音声パケットの配置位置を避け
てそれぞれ特定する。そして特定した各位置に従って音
声、ビデオの各パケットの多重化を行い、システムスト
リームを作成する。
Description
【０００１】
【産業上の利用分野】本発明は、複数の符号化されたス
トリームを多重するストリーム多重装置、ストリーム多
重方法に関する。また、本発明は多重されたストリーム
が蓄積された蓄積メディアに関する。
トリームを多重するストリーム多重装置、ストリーム多
重方法に関する。また、本発明は多重されたストリーム
が蓄積された蓄積メディアに関する。
【０００２】
【従来の技術】符号化されたビデオストリームとオーデ
ィオストリームを多重して単一ストリーム（システムス
トリーム）化する際の多重方式、及び各ストリーム間の
復号時における同期確立方式を規定するものに、ディジ
タル蓄積メディアを対象としたMPEG2 のSYSTEMパート(I
SO/IEC 13818-1）のプログラムストリーム(MPEG2/PS)が
ある。
ィオストリームを多重して単一ストリーム（システムス
トリーム）化する際の多重方式、及び各ストリーム間の
復号時における同期確立方式を規定するものに、ディジ
タル蓄積メディアを対象としたMPEG2 のSYSTEMパート(I
SO/IEC 13818-1）のプログラムストリーム(MPEG2/PS)が
ある。
【０００３】このMPEG2/PSの多重方式では、各ストリー
ムを所定の長さに分割するとともに、その分割されたデ
ータの先頭にパケットヘッダと呼ばれる付随情報を付加
してパケットを構成し、このパケットを単位として各ス
トリームの多重を行うものとされている。パケットヘッ
ダには、復号・再現時に必要となるパケットスタートコ
ード、ストリーム識別符号、復号時刻・再現時刻等が記
述される。通常、このパケットのデータ長は、蓄積メデ
ィアのセクタ長に整合されるように定められる。 一
方、MPEG2/PSの同期確立方式は、エンコーダで意図した
時刻をデコーダで再現するためのＳＣＲ(System Clock
Reference)と呼ばれる参照基準時刻と、ＤＴＳ（Decodi
ng Time Stamp) 、ＰＴＳ(Presentation Time Stamp)
と呼ばれる各ストリームの復号・再現時刻をＳＣＲ相対
で示す時刻情報の伝送により行われる。 図７はMPEG2/
PSのデータ構造をパックレイヤ及びパケットレイヤの階
層に分けて示す図である。同図に示すように、データは
パックの単位で構成される。パックはパックヘッダ、シ
ステムヘッダ及びパケットからなる。パックヘッダには
パックスタートコード、ＳＣＲ、システムストリームの
ビットレート等が記述されている。システムヘッダには
ストリーム全体のパラメータが記述されている。このシ
ステムヘッダは少なくとも最初のパックに付加される。
またパケットはパケットヘッダと１つの単位ストリーム
のパケットデータから構成される。パケットヘッダには
パケットスタートコード、パケット長、ＰＴＳ、ＤＴＳ
等が記述されている。
ムを所定の長さに分割するとともに、その分割されたデ
ータの先頭にパケットヘッダと呼ばれる付随情報を付加
してパケットを構成し、このパケットを単位として各ス
トリームの多重を行うものとされている。パケットヘッ
ダには、復号・再現時に必要となるパケットスタートコ
ード、ストリーム識別符号、復号時刻・再現時刻等が記
述される。通常、このパケットのデータ長は、蓄積メデ
ィアのセクタ長に整合されるように定められる。 一
方、MPEG2/PSの同期確立方式は、エンコーダで意図した
時刻をデコーダで再現するためのＳＣＲ(System Clock
Reference)と呼ばれる参照基準時刻と、ＤＴＳ（Decodi
ng Time Stamp) 、ＰＴＳ(Presentation Time Stamp)
と呼ばれる各ストリームの復号・再現時刻をＳＣＲ相対
で示す時刻情報の伝送により行われる。 図７はMPEG2/
PSのデータ構造をパックレイヤ及びパケットレイヤの階
層に分けて示す図である。同図に示すように、データは
パックの単位で構成される。パックはパックヘッダ、シ
ステムヘッダ及びパケットからなる。パックヘッダには
パックスタートコード、ＳＣＲ、システムストリームの
ビットレート等が記述されている。システムヘッダには
ストリーム全体のパラメータが記述されている。このシ
ステムヘッダは少なくとも最初のパックに付加される。
またパケットはパケットヘッダと１つの単位ストリーム
のパケットデータから構成される。パケットヘッダには
パケットスタートコード、パケット長、ＰＴＳ、ＤＴＳ
等が記述されている。
【０００４】図８はMPEG2/PSにおいてその技術仕様を定
めるために用いる、ＳＴＤ(SystemTarget Decoder）と
呼ばれる理想復号器の構成を示す図である。MPEG2/PS規
格では、このＳＴＤを定義することにより、同期やバッ
ファ管理を規定している。以下にこのＳＴＤの動作を説
明する。
めるために用いる、ＳＴＤ(SystemTarget Decoder）と
呼ばれる理想復号器の構成を示す図である。MPEG2/PS規
格では、このＳＴＤを定義することにより、同期やバッ
ファ管理を規定している。以下にこのＳＴＤの動作を説
明する。
【０００５】システムストリームの第ｉ番目のバイトＭ
（ｉ）は、時刻ｔｍ（ｉ）にＳＴＤに入力される。この
時刻ｔｍ（ｉ）は、そのバイトが属するパックのパック
ヘッダに記述されるＳＣＲ、すなわちＳＣＲフィールド
の最終バイトＭ（ｉ´）がＳＴＤに入力される時刻ｔｍ
（ｉ´）とビットレートから算出することができる。ま
た、ＳＴＤに入力されたシステムストリーム中の単位ス
トリームｎのパケットデータは。入力バッファＢｎに瞬
時に入力される。この入力バッファｎの大きさＢＳｎは
シンタックス上に記述されている。
（ｉ）は、時刻ｔｍ（ｉ）にＳＴＤに入力される。この
時刻ｔｍ（ｉ）は、そのバイトが属するパックのパック
ヘッダに記述されるＳＣＲ、すなわちＳＣＲフィールド
の最終バイトＭ（ｉ´）がＳＴＤに入力される時刻ｔｍ
（ｉ´）とビットレートから算出することができる。ま
た、ＳＴＤに入力されたシステムストリーム中の単位ス
トリームｎのパケットデータは。入力バッファＢｎに瞬
時に入力される。この入力バッファｎの大きさＢＳｎは
シンタックス上に記述されている。
【０００６】入力バッファＢｎからは、バッファ中に最
も長い期間蓄積されている、単位ストスリーム中ｊ番目
のアクセスユニットＡｎ（ｊ）が、時刻ｔｄｎ（ｊ）に
おいて瞬時に除去されるとともに、デコーダＤｎにより
瞬時にデコードされて１つのｋ番目に再現されるプレゼ
ンテーションユニットＰｎ（ｋ）として出力される。こ
こでアクセスユニットとは、例えば、ISO/IEC 11172-2
により規格化されているＭＰＥＧ１ビデオあるいは、IS
O/IEC 13818-2 により規格化されているＭＰＥＧ２ビデ
オの場合、Ｉ、Ｐ、Ｂピクチャであり、オーディオの場
合、デコード最小単位であるオーディオフレームであ
る。
も長い期間蓄積されている、単位ストスリーム中ｊ番目
のアクセスユニットＡｎ（ｊ）が、時刻ｔｄｎ（ｊ）に
おいて瞬時に除去されるとともに、デコーダＤｎにより
瞬時にデコードされて１つのｋ番目に再現されるプレゼ
ンテーションユニットＰｎ（ｋ）として出力される。こ
こでアクセスユニットとは、例えば、ISO/IEC 11172-2
により規格化されているＭＰＥＧ１ビデオあるいは、IS
O/IEC 13818-2 により規格化されているＭＰＥＧ２ビデ
オの場合、Ｉ、Ｐ、Ｂピクチャであり、オーディオの場
合、デコード最小単位であるオーディオフレームであ
る。
【０００７】プレゼンテーションユニットＡｎ（ｋ）
は、時刻ｔｐｎ（ｋ）において瞬時に再現される。この
際、ストリームｎがＭＰＥＧビデオの場合、ＳＴＤより
出力される前に順序再編用バッファＯｎによりＩまたは
Ｐピクチャを遅延させることにより、アクセスユニット
順からプレゼンテーションユニット順への順序入れ替え
を行う。
は、時刻ｔｐｎ（ｋ）において瞬時に再現される。この
際、ストリームｎがＭＰＥＧビデオの場合、ＳＴＤより
出力される前に順序再編用バッファＯｎによりＩまたは
Ｐピクチャを遅延させることにより、アクセスユニット
順からプレゼンテーションユニット順への順序入れ替え
を行う。
【０００８】前述のように、各パックのＳＣＲには、Ｓ
ＣＲフィールドの最終バイトのＳＴＤへの入力時刻ｔｍ
（ｉ´）を記述し、各パケットのＰＴＳ、ＤＴＳには、
それぞれ各パケット中の最初のアクセスユニットのデコ
ード時刻ｔｄｎ（ｊ）及び再現時刻ｔｐｎ（ｋ）を記述
する。このデコード時刻ｔｄｎ（ｊ）と再現時刻ｔｐｎ
（ｋ）が同じ場合にはＤＴＳは省略できる。
ＣＲフィールドの最終バイトのＳＴＤへの入力時刻ｔｍ
（ｉ´）を記述し、各パケットのＰＴＳ、ＤＴＳには、
それぞれ各パケット中の最初のアクセスユニットのデコ
ード時刻ｔｄｎ（ｊ）及び再現時刻ｔｐｎ（ｋ）を記述
する。このデコード時刻ｔｄｎ（ｊ）と再現時刻ｔｐｎ
（ｋ）が同じ場合にはＤＴＳは省略できる。
【０００９】以上のようにデコーダは、システムストリ
ーム上に記述されている時刻情報に基づいてデコード、
再現を行うことにより各ストリーム間の復号器における
同期を確立することができる。
ーム上に記述されている時刻情報に基づいてデコード、
再現を行うことにより各ストリーム間の復号器における
同期を確立することができる。
【００１０】一方、エンコードでは、システムストリー
ムを作成する際にシンタックスを遵守することはもちろ
ん、上記ＳＴＤを仮想復号器とし、図９に示すように、
ＳＴＤにおける各入力バッファの全ての時刻ｔにおいて
オーバーフロー、アンダーフローしない、すなわち各入
力バッファのフルネスＦｎ（ｔ）が、０以上かつ入力バ
ッファサイズＢＳｎ以下であるようなバッファ管理に基
づき、システムストリームを作成する必要がある。ま
た、ＳＴＤのバッファでの蓄積時間はビデオ（動画）、
オーディオともに１秒以下と定められている。
ムを作成する際にシンタックスを遵守することはもちろ
ん、上記ＳＴＤを仮想復号器とし、図９に示すように、
ＳＴＤにおける各入力バッファの全ての時刻ｔにおいて
オーバーフロー、アンダーフローしない、すなわち各入
力バッファのフルネスＦｎ（ｔ）が、０以上かつ入力バ
ッファサイズＢＳｎ以下であるようなバッファ管理に基
づき、システムストリームを作成する必要がある。ま
た、ＳＴＤのバッファでの蓄積時間はビデオ（動画）、
オーディオともに１秒以下と定められている。
【００１１】図１０はシステムエンコーダの構成を示す
図である。このエンコーダは、１本のＭＰＥＧビデオス
トリームとこれと同時に再生される１本の固定レートで
符号化されたオーディオストリームを、それぞれ所定の
長さのパケットデータに分割し多重してシステムストリ
ームを作成し、ディスクやテープ等の蓄積メディアに記
録する。なお、ここでいうパケットとは、パケットデー
タ、パケットヘッダ及びそれに先行するパックヘッダを
示すこととし、そのパケット長は、蓄積メディアのセク
タ長に整合させるため、ビデオ、オーディオともに一定
長としている。このシステムエンコーダにおいて、ＭＰ
ＥＧビデオストリームは、入力端子１より入力され、ス
トリーム記録部２に一時的に記録される。また、所定の
符号化方式により圧縮符号化された固定レートのオーデ
ィオストリームは、入力端子３より入力され、ストリー
ム記録部４に一時的に記録される。多重部５は、制御部
６からの多重制御情報に基づき、各ストリーム記録部
２、４より選択的に各ストリームのパケットデータを読
み込み、パケットデータに同期情報等のヘッダデータを
それぞれ付加してストリーム記録部７に記録する。これ
により、時分割多重されたシステムストリームが得られ
る。さらにこのシステムストリームは、蓄積メディア記
録部８によって、誤り訂正符号の付加等、蓄積メディア
に依存した形式に変換され、蓄積メディア９に記録され
る。
図である。このエンコーダは、１本のＭＰＥＧビデオス
トリームとこれと同時に再生される１本の固定レートで
符号化されたオーディオストリームを、それぞれ所定の
長さのパケットデータに分割し多重してシステムストリ
ームを作成し、ディスクやテープ等の蓄積メディアに記
録する。なお、ここでいうパケットとは、パケットデー
タ、パケットヘッダ及びそれに先行するパックヘッダを
示すこととし、そのパケット長は、蓄積メディアのセク
タ長に整合させるため、ビデオ、オーディオともに一定
長としている。このシステムエンコーダにおいて、ＭＰ
ＥＧビデオストリームは、入力端子１より入力され、ス
トリーム記録部２に一時的に記録される。また、所定の
符号化方式により圧縮符号化された固定レートのオーデ
ィオストリームは、入力端子３より入力され、ストリー
ム記録部４に一時的に記録される。多重部５は、制御部
６からの多重制御情報に基づき、各ストリーム記録部
２、４より選択的に各ストリームのパケットデータを読
み込み、パケットデータに同期情報等のヘッダデータを
それぞれ付加してストリーム記録部７に記録する。これ
により、時分割多重されたシステムストリームが得られ
る。さらにこのシステムストリームは、蓄積メディア記
録部８によって、誤り訂正符号の付加等、蓄積メディア
に依存した形式に変換され、蓄積メディア９に記録され
る。
【００１２】ここで制御部６は、ストリーム記録部２及
びストリーム記録部４より各ストリームのデータを得る
とともに前述のＳＴＤを仮想デコーダとしてバッファ管
理を行いながら多重部５を制御する。この際、ビデオ符
号化時のバッファ管理に基づいてビデオパケットの多重
位置を管理することにより、ＳＴＤバッファ管理を行う
ことができる。
びストリーム記録部４より各ストリームのデータを得る
とともに前述のＳＴＤを仮想デコーダとしてバッファ管
理を行いながら多重部５を制御する。この際、ビデオ符
号化時のバッファ管理に基づいてビデオパケットの多重
位置を管理することにより、ＳＴＤバッファ管理を行う
ことができる。
【００１３】ここで、ＭＰＥＧ２ビデオ符号化方式によ
るビデオ符号化時のバッファ管理について説明する。
るビデオ符号化時のバッファ管理について説明する。
【００１４】ＭＰＥＧ２ビデオでは、ＶＢＶ（Video Bu
ffer Verifier)と呼ばれる、MPEG2/PSにおけるＳＴＤの
ような仮想復号器によるバッファ管理を行っている。こ
れはデコーダの入力バッファをモデリングし、これをオ
ーバーフロー及びアンダーフローさせないように符号量
制御を行うことによって、ビデオデコーダでのデコード
の連続性を保証するものである。
ffer Verifier)と呼ばれる、MPEG2/PSにおけるＳＴＤの
ような仮想復号器によるバッファ管理を行っている。こ
れはデコーダの入力バッファをモデリングし、これをオ
ーバーフロー及びアンダーフローさせないように符号量
制御を行うことによって、ビデオデコーダでのデコード
の連続性を保証するものである。
【００１５】ＭＰＥＧ２ビデオのＶＢＶの動作規定は、
ピクチャヘッダ中の vbv_delayフィールドに、各ピクチ
ャがデコードされる直前のＶＢＶバッファの蓄積量を記
述する場合と、そうでない場合と異なっているが、ここ
では例として後者の場合についてのＶＢＶの振る舞いを
図１１に示す。
ピクチャヘッダ中の vbv_delayフィールドに、各ピクチ
ャがデコードされる直前のＶＢＶバッファの蓄積量を記
述する場合と、そうでない場合と異なっているが、ここ
では例として後者の場合についてのＶＢＶの振る舞いを
図１１に示す。
【００１６】ＶＢＶバッファは、ＢＳｖｂｖの容量を持
ち、その初期値は０である。ＶＢＶバッファの蓄積量が
ＢＳｖｂｖ未満であれば最大ビットレートＲｖｍａｘで
データがバッファに入力され、蓄積量がＢＳｖｂｖであ
ればデータは入力されない。最初のピクチャは、ＶＢＶ
バッファの初期値０の状態から、最大ビットレートＲｖ
ｍａｘでピクチャスタートコード以降のデータが蓄積さ
れ、その蓄積量がＶＢＶバッファ容量ＢＳｖｂｖとなっ
た瞬間にデコードされる。以降のピクチャがデコードさ
れる時刻は、フレームレート、そのピクチャ及び過去の
ピクチャのピクチャ構造（フレーム構造／フィールド構
造）、ピクチャタイプ（Ｉ／Ｐ／Ｂ）、表示フィールド
数等のストリーム上の情報により求めることができる。
ち、その初期値は０である。ＶＢＶバッファの蓄積量が
ＢＳｖｂｖ未満であれば最大ビットレートＲｖｍａｘで
データがバッファに入力され、蓄積量がＢＳｖｂｖであ
ればデータは入力されない。最初のピクチャは、ＶＢＶ
バッファの初期値０の状態から、最大ビットレートＲｖ
ｍａｘでピクチャスタートコード以降のデータが蓄積さ
れ、その蓄積量がＶＢＶバッファ容量ＢＳｖｂｖとなっ
た瞬間にデコードされる。以降のピクチャがデコードさ
れる時刻は、フレームレート、そのピクチャ及び過去の
ピクチャのピクチャ構造（フレーム構造／フィールド構
造）、ピクチャタイプ（Ｉ／Ｐ／Ｂ）、表示フィールド
数等のストリーム上の情報により求めることができる。
【００１７】制御部６は、これを利用してビデオパケッ
トを多重する位置を決定する。すなわち、ｊ番目のピク
チャがデコードされる直前の、ビデオＳＴＤバッファの
蓄積量が、同時刻におけるＭＰＥＧ２ビデオ規定のＶＢ
Ｖバッファの蓄積量以上、かつビデオのＳＴＤバッファ
サイズ以下となるようにする。これにより、全ての時刻
においてビデオのＳＴＤバッファがオーバーフローある
いはアンダーフローしないように、ビデオパケットを多
重することができる。
トを多重する位置を決定する。すなわち、ｊ番目のピク
チャがデコードされる直前の、ビデオＳＴＤバッファの
蓄積量が、同時刻におけるＭＰＥＧ２ビデオ規定のＶＢ
Ｖバッファの蓄積量以上、かつビデオのＳＴＤバッファ
サイズ以下となるようにする。これにより、全ての時刻
においてビデオのＳＴＤバッファがオーバーフローある
いはアンダーフローしないように、ビデオパケットを多
重することができる。
【００１８】次に図１２を参照して制御部６によるパケ
ット多重制御の手順を説明する。
ット多重制御の手順を説明する。
【００１９】まずシステム時刻をクリアするとともに、
ビデオ及びオーディオのＳＴＤバッファをクリアする
（ステップ１）。ここでシステム時刻とは、ＳＴＤにお
ける基準時刻をエンコード側で仮想したものである。
ビデオ及びオーディオのＳＴＤバッファをクリアする
（ステップ１）。ここでシステム時刻とは、ＳＴＤにお
ける基準時刻をエンコード側で仮想したものである。
【００２０】次に、ストリーム記録手段２に記録されて
いるＭＰＥＧ２ビデオストリームより、必要なヘッダデ
ータ（パックヘッダ、パケットヘッダ）を読込み、フレ
ームレート、最大ビットレート、ＶＢＶサイズ等のシー
ケンス全体に関する情報を得るとともに、最初のピクチ
ャのデコード時刻及び再現時刻及び、最初のピクチャが
デコードされる直前のＶＢＶバッファ蓄積量を算出す
る。続いて同様に、ストリーム記録手段４に記録されて
いるオーディオストリームのヘッダを読込み、ビットレ
ート、１オーディオフレームのサイズ等の情報を得る
（ステップ２）。
いるＭＰＥＧ２ビデオストリームより、必要なヘッダデ
ータ（パックヘッダ、パケットヘッダ）を読込み、フレ
ームレート、最大ビットレート、ＶＢＶサイズ等のシー
ケンス全体に関する情報を得るとともに、最初のピクチ
ャのデコード時刻及び再現時刻及び、最初のピクチャが
デコードされる直前のＶＢＶバッファ蓄積量を算出す
る。続いて同様に、ストリーム記録手段４に記録されて
いるオーディオストリームのヘッダを読込み、ビットレ
ート、１オーディオフレームのサイズ等の情報を得る
（ステップ２）。
【００２１】以上が前処理であり、次にパケット多重制
御を行う。まずビデオのＳＴＤバッファの蓄積量が、次
のピクチャのデコード時刻直前のＶＢＶバッファの蓄積
量未満であり、かつビデオパケットのＳＴＤへの入力が
可能、すなわちビデオのＳＴＤバッファの空き容量が所
定のビデオパケットデータサイズ以上であり、そのパケ
ット中のピクチャデータのデコード時刻とＳＴＤへの入
力時刻との差が１秒以内であるかどうかの判定を行う
（ステップ３）。ビデオのＳＴＤバッファの蓄積量が次
のピクチャのデコード時刻直前のＶＢＶバッファ蓄積量
未満ということは、次のピクチャ以降のデコードによっ
てアンダーフローが生じないという保証がないことを意
味し、さらなるデータの転送を行う必要がある。
御を行う。まずビデオのＳＴＤバッファの蓄積量が、次
のピクチャのデコード時刻直前のＶＢＶバッファの蓄積
量未満であり、かつビデオパケットのＳＴＤへの入力が
可能、すなわちビデオのＳＴＤバッファの空き容量が所
定のビデオパケットデータサイズ以上であり、そのパケ
ット中のピクチャデータのデコード時刻とＳＴＤへの入
力時刻との差が１秒以内であるかどうかの判定を行う
（ステップ３）。ビデオのＳＴＤバッファの蓄積量が次
のピクチャのデコード時刻直前のＶＢＶバッファ蓄積量
未満ということは、次のピクチャ以降のデコードによっ
てアンダーフローが生じないという保証がないことを意
味し、さらなるデータの転送を行う必要がある。
【００２２】この判定結果が真であれば、制御部６は多
重部５に対しビデオパケットを多重するように制御する
とともに、システム時刻、先頭データを含む最初のピク
チャのデコード時刻あるいは再現時刻に基づいた再生同
期情報を、ヘッドデータ中に記述する値として多重部５
に供給する（ステップ４）。さらにビデオのＳＴＤバッ
ファ蓄積量をビデオパケットデータのサイズ分増加し
（ステップ５）、システム時刻を多重バイト数相当の時
間分更新する（ステップ６）。これにより、ＳＴＤに、
今多重したパケットが仮想的に入力されたことになる。
重部５に対しビデオパケットを多重するように制御する
とともに、システム時刻、先頭データを含む最初のピク
チャのデコード時刻あるいは再現時刻に基づいた再生同
期情報を、ヘッドデータ中に記述する値として多重部５
に供給する（ステップ４）。さらにビデオのＳＴＤバッ
ファ蓄積量をビデオパケットデータのサイズ分増加し
（ステップ５）、システム時刻を多重バイト数相当の時
間分更新する（ステップ６）。これにより、ＳＴＤに、
今多重したパケットが仮想的に入力されたことになる。
【００２３】またステップ３の判定結果が偽である場合
には、オーディオパケットのＳＴＤへの入力が可能かど
うか、すなわちオーディオのＳＴＤバッファの空き容量
が所定のオーディオパケットデータ長以上であり、その
パケット中のオーディオフレームデータのデコード時刻
とＳＴＤへの入力時刻との差が１秒以上であるか判定を
行う（ステップ７）。この判定結果が真であれば、制御
部６は多重部５に対しオーディオパケットを多重するよ
うに制御するとともに、ビデオパケットと同様に、シス
テム時刻、先頭データを含む最初のオーディオフレーム
の再現時刻に基づいた再生同期情報を、ヘッダデータ中
に記述する値として多重部５に供給する（ステップ
８）。さらに、オーディオのＳＴＤバッファの蓄積量
を、オーディオパケットデータのサイズ分増加し（ステ
ップ９）、システム時刻を多重バイト数相当の時間分更
新する（ステップ１０）。
には、オーディオパケットのＳＴＤへの入力が可能かど
うか、すなわちオーディオのＳＴＤバッファの空き容量
が所定のオーディオパケットデータ長以上であり、その
パケット中のオーディオフレームデータのデコード時刻
とＳＴＤへの入力時刻との差が１秒以上であるか判定を
行う（ステップ７）。この判定結果が真であれば、制御
部６は多重部５に対しオーディオパケットを多重するよ
うに制御するとともに、ビデオパケットと同様に、シス
テム時刻、先頭データを含む最初のオーディオフレーム
の再現時刻に基づいた再生同期情報を、ヘッダデータ中
に記述する値として多重部５に供給する（ステップ
８）。さらに、オーディオのＳＴＤバッファの蓄積量
を、オーディオパケットデータのサイズ分増加し（ステ
ップ９）、システム時刻を多重バイト数相当の時間分更
新する（ステップ１０）。
【００２４】また、ステップ７の判定結果が偽、すなわ
ち転送可能なオーディオパケットが無い場合には、ビデ
オパケットが転送可能であるかどうかの判定を行い（ス
テップ１１）、真であれば、前述のビデオ多重制御を行
う。つまり、多重できるビデオパケットがあれば前倒し
で多重しておくことにより、後にオーディオパケットを
多重することのできる時間を増加することができる。ま
たステップ１１の判定結果が偽である場合は、ビデオ、
オーディオのパケットのどちらも多重せずに、システム
時刻の更新のみを行う（ステップ１２）。
ち転送可能なオーディオパケットが無い場合には、ビデ
オパケットが転送可能であるかどうかの判定を行い（ス
テップ１１）、真であれば、前述のビデオ多重制御を行
う。つまり、多重できるビデオパケットがあれば前倒し
で多重しておくことにより、後にオーディオパケットを
多重することのできる時間を増加することができる。ま
たステップ１１の判定結果が偽である場合は、ビデオ、
オーディオのパケットのどちらも多重せずに、システム
時刻の更新のみを行う（ステップ１２）。
【００２５】上記、ステップ３からステップ１２までの
パケット多重制御が行われた後、ＳＴＤにおける仮想デ
コード処理を行う。すなわち、システム時刻が次のピク
チャのデコード時刻以上であれば（ステップ１３）、ビ
デオのＳＴＤバッファの蓄積量より、そのピクチャサイ
ズを減算（仮想的にデコード）するとともに（ステップ
１４）、次のピクチャがデコードされる直前のＶＢＶバ
ッファの蓄積量を算出する（ステップ１５）。また、シ
ステム時刻が次のオーディオフレームのデコード時刻以
上であれば（ステップ１６）、オーディオのＳＴＤバッ
ファの蓄積量より、オーディオフレームサイズを減算す
る（ステップ１７）。
パケット多重制御が行われた後、ＳＴＤにおける仮想デ
コード処理を行う。すなわち、システム時刻が次のピク
チャのデコード時刻以上であれば（ステップ１３）、ビ
デオのＳＴＤバッファの蓄積量より、そのピクチャサイ
ズを減算（仮想的にデコード）するとともに（ステップ
１４）、次のピクチャがデコードされる直前のＶＢＶバ
ッファの蓄積量を算出する（ステップ１５）。また、シ
ステム時刻が次のオーディオフレームのデコード時刻以
上であれば（ステップ１６）、オーディオのＳＴＤバッ
ファの蓄積量より、オーディオフレームサイズを減算す
る（ステップ１７）。
【００２６】この仮想デコード処理により、ビデオ、オ
ーディオいずれかのＳＴＤバッファの蓄積量が負となれ
ば、すなわちこのストリームをデコードするとバッファ
がアンダーフローすることになり、システムストリーム
の規定を満たさない。したがって、この場合、エラー終
了となる（ステップ１８）。またビデオ、オーディオの
全てのパケットの多重が完了したら正常終了となり（ス
テップ１９）、未多重パケットがあれば、ステップ３の
判定に戻る。
ーディオいずれかのＳＴＤバッファの蓄積量が負となれ
ば、すなわちこのストリームをデコードするとバッファ
がアンダーフローすることになり、システムストリーム
の規定を満たさない。したがって、この場合、エラー終
了となる（ステップ１８）。またビデオ、オーディオの
全てのパケットの多重が完了したら正常終了となり（ス
テップ１９）、未多重パケットがあれば、ステップ３の
判定に戻る。
【００２７】このように各パケットを多重する時刻の制
御を行うことにより、デコードの連続性を保証するシス
テムストリームを作成することができる。
御を行うことにより、デコードの連続性を保証するシス
テムストリームを作成することができる。
【００２８】図１３は、上記ストリーム多重化方式によ
り作成されたシステムストリーム（ａ）とビデオＳＴＤ
バッファの蓄積量の変移（ｂ）を示す図である。同図
（ａ）において、０〜２１は第０番目から第２１番目ま
でのピクチャデータの位置（ＳＴＤへの入力時刻）を示
し、斜線部はオーディオデータの位置を示している。こ
こで、例えば第１２ピクチャは、ＳＴＤへ入力されてか
らデコードされるまでに５Ｔの時間を要することがわか
る。
り作成されたシステムストリーム（ａ）とビデオＳＴＤ
バッファの蓄積量の変移（ｂ）を示す図である。同図
（ａ）において、０〜２１は第０番目から第２１番目ま
でのピクチャデータの位置（ＳＴＤへの入力時刻）を示
し、斜線部はオーディオデータの位置を示している。こ
こで、例えば第１２ピクチャは、ＳＴＤへ入力されてか
らデコードされるまでに５Ｔの時間を要することがわか
る。
【００２９】なお上記では、MPEG2/PSを例として述べた
が、MPEG1 として考えてもよい。
が、MPEG1 として考えてもよい。
【００３０】
【発明が解決しようとする課題】しかしながら、上記ス
トリーム多重方式では、ビデオ、オーディオともにＳＴ
Ｄバッファに空きがあればできる限りストリームをＳＴ
Ｄに入力するように意図されているため、ＳＴＤへの入
力時刻とデコーダ時刻との差が平均して大きくなり、そ
のストリームに対してのランダムアクセス時に、再生復
帰時間が長くなるという問題がある。
トリーム多重方式では、ビデオ、オーディオともにＳＴ
Ｄバッファに空きがあればできる限りストリームをＳＴ
Ｄに入力するように意図されているため、ＳＴＤへの入
力時刻とデコーダ時刻との差が平均して大きくなり、そ
のストリームに対してのランダムアクセス時に、再生復
帰時間が長くなるという問題がある。
【００３１】また、上記ストリーム多重方式では、ビデ
オのパケットを優先して多重しているため、オーディオ
パケットを多重できる時刻が制約を受ける。このため、
各ストリームの符号化レートがシステムストリームの符
号化レートに占める割合が高い場合、オーディオのＳＴ
Ｄバッファのアンダーフローが生じやすくなり、多重が
不可となる恐れがある。このような事態を避けるために
は、ビデオあるいはオーディオの符号化レートを低くす
る必要があり、画質、音質の劣化をもたらす。さらに、
上記ストリーム多重方式では、ビデオ、オーディオの各
ストリームがその全体を通して多重可能である保証の下
に多重を行うことができない。
オのパケットを優先して多重しているため、オーディオ
パケットを多重できる時刻が制約を受ける。このため、
各ストリームの符号化レートがシステムストリームの符
号化レートに占める割合が高い場合、オーディオのＳＴ
Ｄバッファのアンダーフローが生じやすくなり、多重が
不可となる恐れがある。このような事態を避けるために
は、ビデオあるいはオーディオの符号化レートを低くす
る必要があり、画質、音質の劣化をもたらす。さらに、
上記ストリーム多重方式では、ビデオ、オーディオの各
ストリームがその全体を通して多重可能である保証の下
に多重を行うことができない。
【００３２】本発明はこのような課題を解決するための
もので、ランダムアクセス時における再生復帰時間を短
縮することのできるストリーム多重装置、ストリーム多
重方法及び蓄積メディアの提供を目的とする。
もので、ランダムアクセス時における再生復帰時間を短
縮することのできるストリーム多重装置、ストリーム多
重方法及び蓄積メディアの提供を目的とする。
【００３３】また、本発明は、多重できるデータ量の増
大化を図れるストリーム多重装置、ストリーム多重方法
の提供を目的とする。
大化を図れるストリーム多重装置、ストリーム多重方法
の提供を目的とする。
【００３４】さらに、本発明は、実際にストリームの多
重を行う前に、各ストリームがその全体を通して多重可
能であることの保証を得たり、或いは多重不可であるこ
とを知ることのできるストリーム多重装置、ストリーム
多重方法の提供を目的とする。
重を行う前に、各ストリームがその全体を通して多重可
能であることの保証を得たり、或いは多重不可であるこ
とを知ることのできるストリーム多重装置、ストリーム
多重方法の提供を目的とする。
【００３５】
【課題を解決するための手段】本発明は上記した目的を
達成するために、例えば音声ストリーム等の第１の単位
ストリーム中の所定長の第３のデータ単位を第１パケッ
トのデータ部として、それぞれの第１パケットの単一ス
トリーム上の多重位置を、これら第１パケットがこれに
含まれる最初のアクセスユニットである第１のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、第１の単位ストリームの最後の第１
パケットから順にそれぞれ特定する。また、ビデオスト
リーム等の第２の単位ストリーム中の所定長の第３のデ
ータ単位を第２パケットのデータ部として、それぞれの
第２パケットの単一ストリーム上の多重位置を、これら
第２パケットがこれに含まれる最初のアクセスユニット
である第２のデータ単位の復号開始時刻にほぼ最も近い
位置に後ろより詰めて配置されるように、第２の単位ス
トリームの最後の第２パケットから順にかつ第１パケッ
トの配置位置を避けてそれぞれ特定する。そして、第１
記録手段及び第２記録手段からそれぞれ第３のデータ単
位を読み出し、それぞれに再生時刻等のヘッダ情報を付
加して第１パケット及び第２パケットとなし、これら第
１パケット及び第２のパケットを前記特定された位置に
従って多重する。
達成するために、例えば音声ストリーム等の第１の単位
ストリーム中の所定長の第３のデータ単位を第１パケッ
トのデータ部として、それぞれの第１パケットの単一ス
トリーム上の多重位置を、これら第１パケットがこれに
含まれる最初のアクセスユニットである第１のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、第１の単位ストリームの最後の第１
パケットから順にそれぞれ特定する。また、ビデオスト
リーム等の第２の単位ストリーム中の所定長の第３のデ
ータ単位を第２パケットのデータ部として、それぞれの
第２パケットの単一ストリーム上の多重位置を、これら
第２パケットがこれに含まれる最初のアクセスユニット
である第２のデータ単位の復号開始時刻にほぼ最も近い
位置に後ろより詰めて配置されるように、第２の単位ス
トリームの最後の第２パケットから順にかつ第１パケッ
トの配置位置を避けてそれぞれ特定する。そして、第１
記録手段及び第２記録手段からそれぞれ第３のデータ単
位を読み出し、それぞれに再生時刻等のヘッダ情報を付
加して第１パケット及び第２パケットとなし、これら第
１パケット及び第２のパケットを前記特定された位置に
従って多重する。
【００３６】さらに本発明は、単一ストリーム上の、そ
れぞれ第１パケットまたは第２パケット中に含まれる最
初の第１のデータ単位または第２のデータ単位の復号時
刻に当たる位置の直前に、第１パケットまたは第２のパ
ケットが配置されるように、第１パケット及び第２パケ
ットの位置を特定することを特徴とする。
れぞれ第１パケットまたは第２パケット中に含まれる最
初の第１のデータ単位または第２のデータ単位の復号時
刻に当たる位置の直前に、第１パケットまたは第２のパ
ケットが配置されるように、第１パケット及び第２パケ
ットの位置を特定することを特徴とする。
【００３７】さらに本発明は、単一ストリーム上の、そ
れぞれ第１パケットまたは第２パケット中に含まれる最
初の第１のデータ単位または第２のデータ単位の復号時
刻に当たる位置と第１パケットまたは第２パケットとの
間の連続する無データ期間が１パケット分未満となるよ
うに、第１パケット及び第２パケットの位置を特定する
ことを特徴とする。
れぞれ第１パケットまたは第２パケット中に含まれる最
初の第１のデータ単位または第２のデータ単位の復号時
刻に当たる位置と第１パケットまたは第２パケットとの
間の連続する無データ期間が１パケット分未満となるよ
うに、第１パケット及び第２パケットの位置を特定する
ことを特徴とする。
【００３８】さらに本発明は、第１パケット及び第２パ
ケットのサイズをほぼ同一とし、単一ストリーム上に配
置される全ての第１パケット及び第２パケットが復号器
に入力される時刻が、１つのパケットの復号器への転送
に要する時刻の倍数となるように、第１パケット及び第
２パケットの位置を特定することを特徴とする。
ケットのサイズをほぼ同一とし、単一ストリーム上に配
置される全ての第１パケット及び第２パケットが復号器
に入力される時刻が、１つのパケットの復号器への転送
に要する時刻の倍数となるように、第１パケット及び第
２パケットの位置を特定することを特徴とする。
【００３９】
【作用】本発明においては、ＳＴＤへの入力時刻と復号
時刻との差が平均して小さい多重化ストリームを作成す
ることができる。したがって、ランダムアクセス時にお
ける再生復帰時間を短縮することができる。
時刻との差が平均して小さい多重化ストリームを作成す
ることができる。したがって、ランダムアクセス時にお
ける再生復帰時間を短縮することができる。
【００４０】また本発明においては、音声ストリームの
配置を特定した後にビデオストリームの配置を特定する
ことにより、容量の比較的小さい音声ストリーム用の入
力バッファにおいてアンダーフローが生じる危険が減
り、多重不可の確率を低減でき、また結果的に多重でき
るデータ量の増大を図れる。
配置を特定した後にビデオストリームの配置を特定する
ことにより、容量の比較的小さい音声ストリーム用の入
力バッファにおいてアンダーフローが生じる危険が減
り、多重不可の確率を低減でき、また結果的に多重でき
るデータ量の増大を図れる。
【００４１】さらに本発明においては、各ストリームの
配置を特定する処理の段階で、各ストリームがその全体
を通して多重可能であることの保証を得たり、或いは多
重不可であることを知ることができる。
配置を特定する処理の段階で、各ストリームがその全体
を通して多重可能であることの保証を得たり、或いは多
重不可であることを知ることができる。
【００４２】さらに本発明においては、第１パケット及
び第２パケットのサイズをほぼ同一とし、単一ストリー
ム上に配置される全ての第１パケット及び第２パケット
が復号器に入力される時刻が１つのパケットの復号器へ
の転送に要する時刻の倍数となるように第１パケット及
び第２パケットの位置を特定することで、無駄なくデー
タを多重することができ、より多くのデータ多重が可能
になる。
び第２パケットのサイズをほぼ同一とし、単一ストリー
ム上に配置される全ての第１パケット及び第２パケット
が復号器に入力される時刻が１つのパケットの復号器へ
の転送に要する時刻の倍数となるように第１パケット及
び第２パケットの位置を特定することで、無駄なくデー
タを多重することができ、より多くのデータ多重が可能
になる。
【００４３】
【実施例】以下、本発明の実施例を説明する。
【００４４】図１は本発明の一実施例であるシステムエ
ンコーダの構成を示す図である。
ンコーダの構成を示す図である。
【００４５】このシステムエンコーダにおいて、ＭＰＥ
Ｇビデオストリームは入力端子１１より入力され、スト
リーム記録部１２に一時的に記録される。また、所定の
符号化方式により圧縮符号化された固定レートのオーデ
ィオストリームは、入力端子１３より入力され、ストリ
ーム記録部１４に一時的に記録される。多重部１５は、
制御部１６からの多重制御情報に基づき、各ストリーム
記録部１２、１４より選択的に各ストリームのパケット
データを読み込み、パケットデータに同期情報等のヘッ
ダデータをそれぞれ付加してストリーム記録部１７にシ
ステムストリームとして記録する。さらにこのシステム
ストリームは、蓄積メディア記録部１８によって、誤り
訂正符号の付加等、蓄積メディアに依存した形式に変換
され、蓄積メディア１９に記録される。また、システム
エンコーダは、多重部１５を制御するために必要な多重
制御情報を記録する制御情報記録部２０を有している。
Ｇビデオストリームは入力端子１１より入力され、スト
リーム記録部１２に一時的に記録される。また、所定の
符号化方式により圧縮符号化された固定レートのオーデ
ィオストリームは、入力端子１３より入力され、ストリ
ーム記録部１４に一時的に記録される。多重部１５は、
制御部１６からの多重制御情報に基づき、各ストリーム
記録部１２、１４より選択的に各ストリームのパケット
データを読み込み、パケットデータに同期情報等のヘッ
ダデータをそれぞれ付加してストリーム記録部１７にシ
ステムストリームとして記録する。さらにこのシステム
ストリームは、蓄積メディア記録部１８によって、誤り
訂正符号の付加等、蓄積メディアに依存した形式に変換
され、蓄積メディア１９に記録される。また、システム
エンコーダは、多重部１５を制御するために必要な多重
制御情報を記録する制御情報記録部２０を有している。
【００４６】制御部１６は、実際にシステムストリーム
を作成する前に、ビデオ、オーディオの全パケットの多
重位置（配置位置）を決定し、その多重制御情報を制御
情報記録部２０に記録する。そして実際にシステムスト
リームを作成する際に、制御情報記録部２０より順次パ
ケットの多重制御情報を読み出してこれを多重部１６に
供給する。
を作成する前に、ビデオ、オーディオの全パケットの多
重位置（配置位置）を決定し、その多重制御情報を制御
情報記録部２０に記録する。そして実際にシステムスト
リームを作成する際に、制御情報記録部２０より順次パ
ケットの多重制御情報を読み出してこれを多重部１６に
供給する。
【００４７】制御情報記録部２０は、ＳＴＤのバッファ
を満たすのに要する時間とストリームをデコードしてい
る期間中、間断無くパケットが多重されているとした場
合の、パケット数分の情報を十分記録できるものとし、
記録位置が何番目であるかにより、その多重時刻が決ま
るものとする。すなわち、第ｋ番目の位置に多重制御情
報が記録されたパケットは、１パケットの転送時間×ｋ
の多重時刻に多重される（その時刻にデコーダに入力さ
れる）ように、ヘッダデータ中の参照基準時刻を記述す
るようにする。制御部１６は、各パケット毎に配置位置
を求め、制御情報記録部２０の対応するアドレスに、ス
トリームＩＤ及びヘッダ用の同期情報を記録する。
を満たすのに要する時間とストリームをデコードしてい
る期間中、間断無くパケットが多重されているとした場
合の、パケット数分の情報を十分記録できるものとし、
記録位置が何番目であるかにより、その多重時刻が決ま
るものとする。すなわち、第ｋ番目の位置に多重制御情
報が記録されたパケットは、１パケットの転送時間×ｋ
の多重時刻に多重される（その時刻にデコーダに入力さ
れる）ように、ヘッダデータ中の参照基準時刻を記述す
るようにする。制御部１６は、各パケット毎に配置位置
を求め、制御情報記録部２０の対応するアドレスに、ス
トリームＩＤ及びヘッダ用の同期情報を記録する。
【００４８】図２はかかる制御部１６のパケット配置及
び多重の制御手順を示すフローチャートである。
び多重の制御手順を示すフローチャートである。
【００４９】パケット配置は、まずオーディオパケット
から始める。制御部１６は、まずオーディオパケットの
配置を決めるために、オーディオストリームのヘッダデ
ータをストリーム記録手段１４より読み込み、ビットレ
ート、１オーディオフレームのサイズ等の情報を得る
（ステップ１）。
から始める。制御部１６は、まずオーディオパケットの
配置を決めるために、オーディオストリームのヘッダデ
ータをストリーム記録手段１４より読み込み、ビットレ
ート、１オーディオフレームのサイズ等の情報を得る
（ステップ１）。
【００５０】次に制御部１６は、オーディオの未配置パ
ケット中の最後のパケット（仮に第１のパケットと呼
ぶ。）の最も後ろの配置可能位置、すなわち、そのパケ
ットに含まれる最初のオーディオフレームデータのデコ
ード時刻までにそのオーディオフレームデータを転送す
ることができる最も後ろの位置を求め（ステップ２）、
これに対応する制御情報記録部２０の記録位置にオーデ
ィオストリームＩＤと同期情報を記録する（ステップ
３）。
ケット中の最後のパケット（仮に第１のパケットと呼
ぶ。）の最も後ろの配置可能位置、すなわち、そのパケ
ットに含まれる最初のオーディオフレームデータのデコ
ード時刻までにそのオーディオフレームデータを転送す
ることができる最も後ろの位置を求め（ステップ２）、
これに対応する制御情報記録部２０の記録位置にオーデ
ィオストリームＩＤと同期情報を記録する（ステップ
３）。
【００５１】続いて制御部１６は、次に配置すべきパケ
ット（第１のパケットの１つ前のパケット；仮に第２の
パケットと呼ぶ。）中でオーディオフレームが切り替わ
るかどうかを判断する（ステップ４）。オーディオフレ
ームが切り替わらない場合、第２のパケットのデコード
時刻は第１のパケットのそれと同じであることから、第
１のパケットの配置位置の１つ前の位置を第２のパケッ
トの配置位置として決定し（ステップ５）、またオーデ
ィオフレームが切り替わる場合、ステップ２の最終配置
可能位置の算出に戻る。そして全てオーディオパケット
の配置が完了するまでこれを繰り返す。
ット（第１のパケットの１つ前のパケット；仮に第２の
パケットと呼ぶ。）中でオーディオフレームが切り替わ
るかどうかを判断する（ステップ４）。オーディオフレ
ームが切り替わらない場合、第２のパケットのデコード
時刻は第１のパケットのそれと同じであることから、第
１のパケットの配置位置の１つ前の位置を第２のパケッ
トの配置位置として決定し（ステップ５）、またオーデ
ィオフレームが切り替わる場合、ステップ２の最終配置
可能位置の算出に戻る。そして全てオーディオパケット
の配置が完了するまでこれを繰り返す。
【００５２】このオーディオパケットの配置について図
３を用いて具体的に説明する。
３を用いて具体的に説明する。
【００５３】同図において、オーディオストリーム中の
フレーム１〜フレーム３は、所定長のパケットデータＡ
Ｐ１〜ＡＰ５に分割される。いま、次に配置するパケッ
トがＡＰ４であるとする。パケットＡＰ４中には、フレ
ームの切り替わりがあるため、まずその最も後ろの配置
可能位置、すなわちパケットＡＰ４のデータ中に含まれ
る最初のオーディオフレームであるフレーム２のデコー
ド時刻までにそのデータを転送することのできるパケッ
ト位置を求める。図では、配置位置１５がこれに当た
り、パケットＡＰ４をここに配置、すなわち制御情報記
録部２０にこのパケットの多重制御情報を記録する。次
に、１つ前のパケットＡＰ３の配置を行う。このパケッ
トＡＰ３中にはフレームの切り替わりがなく、全てフレ
ーム２のデータである。したがって、パケットＡＰ３
は、既にパケットＡＰ４が配置された位置１５の１つ前
の位置１４に配置される。次のパケットＡＰ２中には、
フレームの切り替わりがあるため、パケットＡＰ４の場
合と同様に最終配置可能位置を求め、そこに配置する。
パケットＡＰ１・・・についても同様に配置する。
フレーム１〜フレーム３は、所定長のパケットデータＡ
Ｐ１〜ＡＰ５に分割される。いま、次に配置するパケッ
トがＡＰ４であるとする。パケットＡＰ４中には、フレ
ームの切り替わりがあるため、まずその最も後ろの配置
可能位置、すなわちパケットＡＰ４のデータ中に含まれ
る最初のオーディオフレームであるフレーム２のデコー
ド時刻までにそのデータを転送することのできるパケッ
ト位置を求める。図では、配置位置１５がこれに当た
り、パケットＡＰ４をここに配置、すなわち制御情報記
録部２０にこのパケットの多重制御情報を記録する。次
に、１つ前のパケットＡＰ３の配置を行う。このパケッ
トＡＰ３中にはフレームの切り替わりがなく、全てフレ
ーム２のデータである。したがって、パケットＡＰ３
は、既にパケットＡＰ４が配置された位置１５の１つ前
の位置１４に配置される。次のパケットＡＰ２中には、
フレームの切り替わりがあるため、パケットＡＰ４の場
合と同様に最終配置可能位置を求め、そこに配置する。
パケットＡＰ１・・・についても同様に配置する。
【００５４】オーディオパケットの配置が全て終了した
ら、次にビデオパケットの配置位置を決める。まず制御
部１６はビデオストリームのヘッダデータをストリーム
記録手段１２より読み込み、最大ビットレート等の全体
情報を得る（ステップ７）。次に制御部１６は、ビデオ
の未配置パケット中の最後のパケット（仮に第１のパケ
ットと呼ぶ。）の最も後ろの配置可能位置、すなわち、
その第１のパケット中に含まれる最初のピクチャデータ
のデコード時刻までにそのピクチャデータを転送するこ
とができる最も後ろの位置を求める（ステップ８）。但
し、そのパケット位置に他のパケット（オーディオパケ
ット）が配置済みである場合には、未配置パケット位置
が見つかるまで、パケット位置を一つずつ前にしていく
（ステップ９、１０）。未配置パケット位置が見つかれ
ば、次に、そのパケット位置にパケットを配置可能、す
なわちＳＴＤへの入力時刻とバッファの蓄積量が規定を
満たしているかどうを判断する（ステップ１１）。配置
可能であれば、制御情報記録部２０の対応する位置にビ
デオストリームＩＤ及びヘッダ情報等の多重制御情報を
書き込む（ステップ１２）。また配置不可能であればエ
ラー終了する。ここで、バッファの蓄積量の規定を満た
しているかどうかは、あるピクチャｊがデコードされる
時刻において未配置であるピクチャｊ以降のデータ量
が、ビデオＳＴＤバッファサイズ以内かどうかにより判
定できる。すなわち、ビデオＳＴＤバッファサイズより
大きい場合はＳＴＤ規定を満たすストリームが作成でき
ないことを意味する。
ら、次にビデオパケットの配置位置を決める。まず制御
部１６はビデオストリームのヘッダデータをストリーム
記録手段１２より読み込み、最大ビットレート等の全体
情報を得る（ステップ７）。次に制御部１６は、ビデオ
の未配置パケット中の最後のパケット（仮に第１のパケ
ットと呼ぶ。）の最も後ろの配置可能位置、すなわち、
その第１のパケット中に含まれる最初のピクチャデータ
のデコード時刻までにそのピクチャデータを転送するこ
とができる最も後ろの位置を求める（ステップ８）。但
し、そのパケット位置に他のパケット（オーディオパケ
ット）が配置済みである場合には、未配置パケット位置
が見つかるまで、パケット位置を一つずつ前にしていく
（ステップ９、１０）。未配置パケット位置が見つかれ
ば、次に、そのパケット位置にパケットを配置可能、す
なわちＳＴＤへの入力時刻とバッファの蓄積量が規定を
満たしているかどうを判断する（ステップ１１）。配置
可能であれば、制御情報記録部２０の対応する位置にビ
デオストリームＩＤ及びヘッダ情報等の多重制御情報を
書き込む（ステップ１２）。また配置不可能であればエ
ラー終了する。ここで、バッファの蓄積量の規定を満た
しているかどうかは、あるピクチャｊがデコードされる
時刻において未配置であるピクチャｊ以降のデータ量
が、ビデオＳＴＤバッファサイズ以内かどうかにより判
定できる。すなわち、ビデオＳＴＤバッファサイズより
大きい場合はＳＴＤ規定を満たすストリームが作成でき
ないことを意味する。
【００５５】続いて制御部１６は、次に配置すべきパケ
ット（第１のパケットの１つ前のパケット；仮に第２の
パケットと呼ぶ。）中でピクチャが切り替わるかどうか
を判断する（ステップ１３）。ピクチャが切り替わらな
い場合、第２のパケットのデコード時刻は第１のパケッ
トのそれと同じであることから、第１のパケットの配置
位置の１つ前の位置を第２のパケットの配置位置として
決定し（ステップ１０）、またピクチャが切り替わる場
合、ステップ８の最終配置可能位置の算出に戻る。そし
て全てビデオパケットの配置が完了するまでこれを繰り
返す。
ット（第１のパケットの１つ前のパケット；仮に第２の
パケットと呼ぶ。）中でピクチャが切り替わるかどうか
を判断する（ステップ１３）。ピクチャが切り替わらな
い場合、第２のパケットのデコード時刻は第１のパケッ
トのそれと同じであることから、第１のパケットの配置
位置の１つ前の位置を第２のパケットの配置位置として
決定し（ステップ１０）、またピクチャが切り替わる場
合、ステップ８の最終配置可能位置の算出に戻る。そし
て全てビデオパケットの配置が完了するまでこれを繰り
返す。
【００５６】このビデオパケットの配置について図４を
用いて具体的に説明する。
用いて具体的に説明する。
【００５７】同図において、ビデオストリーム中のピク
チャ１〜ピクチャ３は、所定長のパケットデータＶＰ１
〜ＶＰ９に分割される。いま、次に配置するパケットが
ＶＰ９であるとする。パケットＶＰ９中にはピクチャの
切り替わりがあるため、その最も後ろの配置可能位置、
すなわちパケットＶＰ９のデータ中に含まれる最初のピ
クチャであるピクチャ２のデコード時刻までにそのデー
タを転送することのできるパケット位置を求める。図で
は、配置位置１７がこれに当たり、パケットＶＰ９をこ
こに配置、すなわち制御情報記録部２０にこのパケット
の多重制御情報を記録する。次に、１つ前のパケットＶ
Ｐ８の配置を行う。このパケットＶＰ８中にはピクチャ
の切り替わりがなく、全てピクチャ２のデータである。
したがって、パケットＶＰ８は、既にパケットＶＰ９が
配置されている位置１７の１つ前の位置１６に配置され
る。同様にパケットＶＰ７中にもピクチャの切り替わり
はないが、配置位置１５及び１４には、既にオーディオ
パケットが配置済みであるため、パケットＶＰ７はその
手前の位置１３に配置される。パケットＶＰ６〜パケッ
トＶＰ３については全てピクチャ２のデータのみにより
構成されているので、配置位置１２〜９に後ろから続け
て配置する。次のパケットＶＰ２にはフレーム１とフレ
ーム２との切り替わりがあるので、パケットＶＰ９と同
様に最終配置可能位置（位置８）を求め、そこにパケッ
トＶＰ２を配置する。パケットＶＰ１・・・についても
同様に配置する。
チャ１〜ピクチャ３は、所定長のパケットデータＶＰ１
〜ＶＰ９に分割される。いま、次に配置するパケットが
ＶＰ９であるとする。パケットＶＰ９中にはピクチャの
切り替わりがあるため、その最も後ろの配置可能位置、
すなわちパケットＶＰ９のデータ中に含まれる最初のピ
クチャであるピクチャ２のデコード時刻までにそのデー
タを転送することのできるパケット位置を求める。図で
は、配置位置１７がこれに当たり、パケットＶＰ９をこ
こに配置、すなわち制御情報記録部２０にこのパケット
の多重制御情報を記録する。次に、１つ前のパケットＶ
Ｐ８の配置を行う。このパケットＶＰ８中にはピクチャ
の切り替わりがなく、全てピクチャ２のデータである。
したがって、パケットＶＰ８は、既にパケットＶＰ９が
配置されている位置１７の１つ前の位置１６に配置され
る。同様にパケットＶＰ７中にもピクチャの切り替わり
はないが、配置位置１５及び１４には、既にオーディオ
パケットが配置済みであるため、パケットＶＰ７はその
手前の位置１３に配置される。パケットＶＰ６〜パケッ
トＶＰ３については全てピクチャ２のデータのみにより
構成されているので、配置位置１２〜９に後ろから続け
て配置する。次のパケットＶＰ２にはフレーム１とフレ
ーム２との切り替わりがあるので、パケットＶＰ９と同
様に最終配置可能位置（位置８）を求め、そこにパケッ
トＶＰ２を配置する。パケットＶＰ１・・・についても
同様に配置する。
【００５８】全てのオーディオ・ビデオパケットの配置
が終了した後、制御部１６は、配置情報記録部２０より
多重制御情報を最初から読み出して、これを多重部１５
に与え、多重制御を行う。
が終了した後、制御部１６は、配置情報記録部２０より
多重制御情報を最初から読み出して、これを多重部１５
に与え、多重制御を行う。
【００５９】図５は上記方法により作成されたシステム
ストリーム（ａ）とビデオＳＴＤバッファの蓄積量の変
移（ｂ）を示す図である。同図（ａ）において、０〜２
１は第０番目から第２１番目までのピクチャデータの位
置（ＳＴＤへの入力時刻）を示し、斜線部はオーディオ
データの位置を示している。ここで、例えば第１２ピク
チャデータがＳＴＤに入力されてからデコードされるま
でに要する時間は、１．５Ｔとなり、図１３に示した従
来例の場合の５Ｔに比べ大幅に短縮できたことがわか
る。したがって、本実施例のストリーム多重方式によれ
ば、アクセスから再生復帰までの時間を短縮することが
できる。
ストリーム（ａ）とビデオＳＴＤバッファの蓄積量の変
移（ｂ）を示す図である。同図（ａ）において、０〜２
１は第０番目から第２１番目までのピクチャデータの位
置（ＳＴＤへの入力時刻）を示し、斜線部はオーディオ
データの位置を示している。ここで、例えば第１２ピク
チャデータがＳＴＤに入力されてからデコードされるま
でに要する時間は、１．５Ｔとなり、図１３に示した従
来例の場合の５Ｔに比べ大幅に短縮できたことがわか
る。したがって、本実施例のストリーム多重方式によれ
ば、アクセスから再生復帰までの時間を短縮することが
できる。
【００６０】また、ビデオパケットよりも先にオーディ
オパケットの配置を行うことによって、オーディオパケ
ットを配置する際の制約を削減できる。もちろんこの場
合、ビデオパケットの配置においてオーディオパケット
の配置位置による制約が生じることになるが、ビデオデ
コーダは比較的大きな容量の入力バッファを有し、また
本実施例においてはＶＢＶバッファ管理に拠らずに配置
位置を決定できるので、そのバッファを有効に使用すれ
ば、ビデオパケットを配置する際の制約は実質的に問題
のない程度に抑制できる。したがって、本実施例のスト
リーム多重方式によれば、従来の方式に比べ、オーディ
オ及びビデオともに、パケット配置におけるフレキシビ
リティが向上し、結果的により多くのデータ多重が可能
となる。よって、高画質化、高音質化あるいは多チャン
ネル化を図ることができる。
オパケットの配置を行うことによって、オーディオパケ
ットを配置する際の制約を削減できる。もちろんこの場
合、ビデオパケットの配置においてオーディオパケット
の配置位置による制約が生じることになるが、ビデオデ
コーダは比較的大きな容量の入力バッファを有し、また
本実施例においてはＶＢＶバッファ管理に拠らずに配置
位置を決定できるので、そのバッファを有効に使用すれ
ば、ビデオパケットを配置する際の制約は実質的に問題
のない程度に抑制できる。したがって、本実施例のスト
リーム多重方式によれば、従来の方式に比べ、オーディ
オ及びビデオともに、パケット配置におけるフレキシビ
リティが向上し、結果的により多くのデータ多重が可能
となる。よって、高画質化、高音質化あるいは多チャン
ネル化を図ることができる。
【００６１】また、各パケット間のデコーダへの入力時
刻の差が、１パケットのデコーダへの転送に要する時間
の倍数となるように各パケットの配置位置を制御するこ
とにより、無駄無くデータを多重することができ、更に
より多くのデータ多重が可能となる。
刻の差が、１パケットのデコーダへの転送に要する時間
の倍数となるように各パケットの配置位置を制御するこ
とにより、無駄無くデータを多重することができ、更に
より多くのデータ多重が可能となる。
【００６２】また、本実施例のストリーム多重方式で
は、実際にシステムストリームを作成する前に、ビデ
オ、オーディオの全パケットの多重位置を決定する、つ
まり、大量のストリームデータの読み書きは全てのパケ
ットの配置が完了した後に行うので、システムストリー
ム化が可能かどうかの判定を迅速に行うことができる。
は、実際にシステムストリームを作成する前に、ビデ
オ、オーディオの全パケットの多重位置を決定する、つ
まり、大量のストリームデータの読み書きは全てのパケ
ットの配置が完了した後に行うので、システムストリー
ム化が可能かどうかの判定を迅速に行うことができる。
【００６３】さらに、この多重制御情報を保存しておく
ことによって、再度同じシステムストリームを作成する
際、あるいは、このシステムストリームに他のデータを
多重する際に、多重制御情報を利用でき、配置位置計算
時間を短縮することができる。 次に、本発明の他の実
施例を説明する。
ことによって、再度同じシステムストリームを作成する
際、あるいは、このシステムストリームに他のデータを
多重する際に、多重制御情報を利用でき、配置位置計算
時間を短縮することができる。 次に、本発明の他の実
施例を説明する。
【００６４】図６は、図１の実施例で説明したストリー
ム多重方式で作成されたシステムストリームを記録媒体
に記録するのではなく、伝送部６１を通じて伝送するよ
うに構成した場合の例である。伝送部６１は、ストリー
ム記録部１７に得られたシステムストリームを伝送メデ
ィア固有の信号形態に適合させるように再編成するとと
もに変調し、ケーブル等の伝送路に出力する。
ム多重方式で作成されたシステムストリームを記録媒体
に記録するのではなく、伝送部６１を通じて伝送するよ
うに構成した場合の例である。伝送部６１は、ストリー
ム記録部１７に得られたシステムストリームを伝送メデ
ィア固有の信号形態に適合させるように再編成するとと
もに変調し、ケーブル等の伝送路に出力する。
【００６５】
【発明の効果】以上述べたように、本発明によれば、Ｓ
ＴＤへの入力時刻と復号時刻との差が平均して小さい多
重化ストリームを作成することができる。したがって、
ランダムアクセス時における再生復帰時間を短縮するこ
とができる。
ＴＤへの入力時刻と復号時刻との差が平均して小さい多
重化ストリームを作成することができる。したがって、
ランダムアクセス時における再生復帰時間を短縮するこ
とができる。
【００６６】また本発明によれば、音声ストリームの配
置を特定した後にビデオストリームの配置を特定するこ
とにより、容量の比較的小さい音声ストリーム用の入力
バッファにおいてアンダーフローが生じる危険が減り、
多重不可の確率を低減でき、また結果的に多重できるデ
ータ量の増大を図れる。
置を特定した後にビデオストリームの配置を特定するこ
とにより、容量の比較的小さい音声ストリーム用の入力
バッファにおいてアンダーフローが生じる危険が減り、
多重不可の確率を低減でき、また結果的に多重できるデ
ータ量の増大を図れる。
【００６７】さらに本発明によれば、各ストリームの配
置を特定する処理の段階で、各ストリームがその全体を
通して多重可能であることの保証を得たり、或いは多重
不可であることを知ることができる。
置を特定する処理の段階で、各ストリームがその全体を
通して多重可能であることの保証を得たり、或いは多重
不可であることを知ることができる。
【００６８】さらに本発明によれば、第１パケット及び
第２パケットのサイズをほぼ同一とし、単一ストリーム
上に配置される全ての第１パケット及び第２パケットが
復号器に入力される時刻が１つのパケットの復号器への
転送に要する時刻の倍数となるように第１パケット及び
第２パケットの位置を特定することで、無駄なくデータ
を多重することができ、より多くのデータ多重が可能に
なる。
第２パケットのサイズをほぼ同一とし、単一ストリーム
上に配置される全ての第１パケット及び第２パケットが
復号器に入力される時刻が１つのパケットの復号器への
転送に要する時刻の倍数となるように第１パケット及び
第２パケットの位置を特定することで、無駄なくデータ
を多重することができ、より多くのデータ多重が可能に
なる。
【図１】本発明の一実施例であるシステムエンコーダの
構成を示す図
構成を示す図
【図２】図１の実施例によるパケット多重制御の手順を
示すフローチャート
示すフローチャート
【図３】図１の実施例によるオーディオパケットの配置
方法を説明するための図
方法を説明するための図
【図４】図１の実施例によるビデオパケットの配置方法
を説明するための図
を説明するための図
【図５】図１の実施例により作成されたシステムストリ
ーム及びビデオＳＴＤバッファの蓄積量の変移を示す図
ーム及びビデオＳＴＤバッファの蓄積量の変移を示す図
【図６】本発明の他の実施例を示す図
【図７】ＭＰＥＧ２／ＰＳのデータ構造を示す図
【図８】ＳＴＤ（理想復号器）の構成を示す図
【図９】図８に示したＳＴＤ（理想復号器）の入力バッ
ファ状態を示す図
ファ状態を示す図
【図１０】従来のシステムエンコーダの構成を示す図
【図１１】ＭＰＥＧ２ビデオの符号化で用いるＶＢＶ
（仮想復号器）の動作を示す図
（仮想復号器）の動作を示す図
【図１２】従来のパケット多重制御の手順を示すフロー
チャート
チャート
【図１３】従来のストリーム多重化方式により作成され
たシステムストリーム及びビデオＳＴＤバッファの蓄積
量の変移を示す図
たシステムストリーム及びビデオＳＴＤバッファの蓄積
量の変移を示す図
１２、１４、１７……ストリーム記録部 １５……多重部 １６……制御部 １８……蓄積メディア記録部 １９……蓄積メディア ２０……制御情報記録部
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/081 Ｈ０４Ｎ 7/08 １０１
Claims (16)
- 【請求項１】 復号時におけるアクセス単位である第１
のデータ単位よりなる第１の単位ストリームと、復号時
におけるアクセス単位である第２のデータ単位よりなる
第２の単位ストリームを含む、少なくとも２つ以上の符
号化された単位ストリームを、それぞれ所定長の第３の
データ単位に分割するとともに、この第３のデータ単位
毎に再生時刻等のヘッダ情報を付加してパケット化し、
該パケットを単位として単一ストリーム上に多重化する
ストリーム多重装置において、 入力された前記第１の単位ストリームを記録する第１記
録手段と、 入力された前記第２の単位ストリームを記録する第２記
録手段と、 前記第１記録手段に記録された第１の単位ストリーム中
の前記第３のデータ単位を第１パケットのデータ部とし
て、それぞれの前記第１パケットの前記単一ストリーム
上の多重位置を、これら第１パケットがこれに含まれる
最初の前記第１のデータ単位の復号開始時刻にほぼ最も
近い位置に後ろより詰めて配置されるように、前記第１
の単位ストリームの最後の第１パケットから順にそれぞ
れ特定する第１のパケット位置特定手段と、 前記第２記録手段に記録された第２の単位ストリーム中
の前記第３のデータ単位を第２パケットのデータ部とし
て、それぞれの前記第２パケットの前記単一ストリーム
上の多重位置を、これら第２パケットがこれに含まれる
最初の前記第２のデータ単位の復号開始時刻にほぼ最も
近い位置に後ろより詰めて配置されるように、前記第２
の単位ストリームの最後の第２パケットから順にかつ前
記第１パケットの配置位置を避けてそれぞれ特定する第
２のパケット位置特定手段と、 前記第１記録手段及び前記第２記録手段からそれぞれ前
記第３のデータ単位を読み出し、それぞれに再生時刻等
のヘッダ情報を付加して第１パケット及び第２パケット
となし、これら第１パケット及び第２のパケットを前記
第１及び第２のパケット位置特定手段によって特定され
た位置に従って多重する多重手段とを具備することを特
徴とするストリーム多重装置。 - 【請求項２】 請求項１記載のストリーム多重装置にお
いて、 前記第１の単位ストリームが音声ストリームであり、前
記第２の単位ストリームがビデオストリームであること
を特徴とするストリーム多重装置。 - 【請求項３】 請求項１または２記載のストリーム多重
装置において、 前記第１のパケット位置特定手段及び前記第２のパケッ
ト位置特定手段は、前記単一ストリーム上の、それぞれ
前記第１パケットまたは第２パケット中に含まれる最初
の前記第１のデータ単位または前記第２のデータ単位の
復号時刻に当たる位置の直前に、前記第１パケットまた
は前記第２のパケットが配置されるように、前記第１パ
ケット及び前記第２パケットの位置を特定することを特
徴とするストリーム多重装置。 - 【請求項４】 請求項１または２記載のストリーム多重
装置において、 前記第１のパケット位置特定手段及び前記第２のパケッ
ト位置特定手段は、前記単一ストリーム上の、それぞれ
前記第１パケットまたは第２パケット中に含まれる最初
の前記第１のデータ単位または前記第２のデータ単位の
復号時刻に当たる位置と前記第１パケットまたは前記第
２パケットとの間の連続する無データ期間が１パケット
分未満となるように、前記第１パケット及び前記第２パ
ケットの位置を特定することを特徴とするストリーム多
重装置。 - 【請求項５】 請求項１または２記載のストリーム多重
装置において、 前記第１のパケット位置特定手段及び前記第２のパケッ
ト位置特定手段によってそれぞれ特定されたパケット配
置位置に関する情報を記録するパケット位置記録手段を
さらに有し、 前記多重手段は、第１の単位ストリーム及び第２の単位
ストリームのすべてのパケットの配置位置に関する情報
が前記パケット位置記録手段に記録された後、該パケッ
ト位置記録手段に記録された情報に基づいて前記第１パ
ケット及び第２パケットを多重することを特徴とするス
トリーム多重装置。 - 【請求項６】 請求項１乃至５記載のいずれかのストリ
ーム多重装置において、 前記第１パケット及び前記第
２パケットのサイズをほぼ同一とし、 前記第１のパケット位置特定手段及び前記第２のパケッ
ト位置特定手段は、前記単一ストリーム上に配置される
全ての前記第１パケット及び前記第２パケットが復号器
に入力される時刻が、１つのパケットの前記復号器への
転送に要する時刻の倍数となるように、前記第１パケッ
ト及び前記第２パケットの位置を特定することを特徴と
するストリーム多重装置。 - 【請求項７】 復号時におけるアクセス単位である第１
のデータ単位よりなる第１の単位ストリームと、復号時
におけるアクセス単位である第２のデータ単位よりなる
第２の単位ストリームを含む、少なくとも２つ以上の符
号化された単位ストリームを、それぞれ所定長の第３の
データ単位に分割するとともに、この第３のデータ単位
毎に再生時刻等のヘッダ情報を付加してパケット化し、
該パケットを単位として単一ストリーム上に多重化する
ストリーム多重方法において、 前記第１の単位ストリーム中の前記第３のデータ単位を
第１パケットのデータ部として、それぞれの前記第１パ
ケットの前記単一ストリーム上の多重位置を、これら第
１パケットがこれに含まれる最初の前記第１のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、前記第１の単位ストリームの最後の
第１パケットから順にそれぞれ特定する工程と、 前記第２の単位ストリーム中の前記第３のデータ単位を
第２パケットのデータ部として、それぞれの前記第２パ
ケットの前記単一ストリーム上の多重位置を、これら第
２パケットがこれに含まれる最初の前記第２のデータ単
位の復号開始時刻にほぼ最も近い位置に後ろより詰めて
配置されるように、前記第２の単位ストリームの最後の
第２パケットから順にかつ前記第１パケットの配置位置
を避けてそれぞれ特定する工程と、 前記第１の単位ストリーム及び第２の単位ストリームを
それぞれ所定長の第３のデータ単位に分割し、分割した
データそれぞれに再生時刻等のヘッダ情報を付加して第
１パケット及び第２パケットとなし、これら第１パケッ
ト及び第２のパケットを前記特定された位置に従って前
記単一ストリーム上に多重化する工程とを有することを
特徴とするストリーム多重方法。 - 【請求項８】 請求項７記載のストリーム多重方法にお
いて、 前記第１の単位ストリームが音声ストリームであり、前
記第２の単位ストリームがビデオストリームであること
を特徴とするストリーム多重方法。 - 【請求項９】 請求項７または８記載のストリーム多重
方法において、 前記単一ストリーム上の、それぞれ前記第１パケットま
たは第２パケット中に含まれる最初の前記第１のデータ
単位または前記第２のデータ単位の復号時刻に当たる位
置の直前に、前記第１パケットまたは前記第２のパケッ
トが配置されるように、前記第１パケット及び前記第２
パケットの位置を特定することを特徴とするストリーム
多重方法。 - 【請求項１０】 請求項７または８記載のストリーム多
重方法において、 前記単一ストリーム上の、それぞれ前記第１パケットま
たは第２パケット中に含まれる最初の前記第１のデータ
単位または前記第２のデータ単位の復号時刻に当たる位
置と前記第１パケットまたは前記第２パケットとの間の
連続する無データ期間が１パケット分未満となるよう
に、前記第１パケット及び前記第２パケットの位置を特
定することを特徴とするストリーム多重方法。 - 【請求項１１】 請求項７乃至１０記載のいずれかのス
トリーム多重方法において、 前記第１パケット及び前記第２パケットのサイズをほぼ
同一とし、 前記単一ストリーム上に配置される全ての前記第１パケ
ット及び前記第２パケットが復号器に入力される時刻
が、１つのパケットの前記復号器への転送に要する時刻
の倍数となるように、前記第１パケット及び前記第２パ
ケットの位置を特定することを特徴とするストリーム多
重方法。 - 【請求項１２】 復号時におけるアクセス単位である第
１のデータ単位よりなる第１の単位ストリームと、復号
時におけるアクセス単位である第２のデータ単位よりな
る第２の単位ストリームを含む、少なくとも２つ以上の
符号化された単位ストリームを、それぞれ所定長の第３
のデータ単位に分割するとともに、この第３のデータ単
位毎に再生時刻等のヘッダ情報を付加してパケット化
し、多重化して単一ストリームとして記録した蓄積メデ
ィアにおいて、 前記単一ストリーム上に、前記第１の単位ストリームを
なす複数の第１パケットが、これに含まれる最初の前記
第１のデータ単位の復号開始時刻にほぼ最も近い位置に
後ろより詰めて配置され、前記第２の単位ストリームを
なす複数の第２パケットが、これに含まれる最初の前記
第２のデータ単位の復号開始時刻にほぼ最も近い位置に
後ろより詰めてかつ前記第１パケットの配置位置を避け
て配置されてなることを特徴とする蓄積メディア。 - 【請求項１３】 請求項１２記載の蓄積メディアにおい
て、 前記第１の単位ストリームが音声ストリームであり、前
記第２の単位ストリームがビデオストリームであること
を特徴とする蓄積メディア。 - 【請求項１４】 請求項１２または１３記載の蓄積メデ
ィアにおいて、 前記単一ストリーム上の、それぞれ前記第１パケットま
たは第２パケット中に含まれる最初の前記第１のデータ
単位または前記第２のデータ単位の復号時刻に当たる位
置の直前に、前記第１パケットまたは前記第２のパケッ
トが配置されていることを特徴とする蓄積メディア。 - 【請求項１５】 請求項１２または１３記載の蓄積メデ
ィアにおいて、 前記単一ストリーム上の、それぞれ前記第１パケットま
たは第２パケット中に含まれる最初の前記第１のデータ
単位または前記第２のデータ単位の復号時刻に当たる位
置と前記第１パケットまたは前記第２パケットとの間の
連続する無データ期間が１パケット分未満であることを
特徴とする蓄積メディア。 - 【請求項１６】 請求項１２乃至１５記載のいずれかの
蓄積メディアにおいて、 前記第１パケット及び前記第
２パケットのサイズがほぼ同一であり、 前記単一ストリーム上に配置される全ての前記第１パケ
ット及び前記第２パケットが復号器に入力される時刻
が、１つのパケットの前記復号器への転送に要する時刻
の倍数となるような位置に前記第１パケット及び前記第
２パケットが配置されていることを特徴とする蓄積メデ
ィア。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14214195A JP3403865B2 (ja) | 1995-06-08 | 1995-06-08 | ストリーム多重装置およびストリーム多重方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14214195A JP3403865B2 (ja) | 1995-06-08 | 1995-06-08 | ストリーム多重装置およびストリーム多重方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08335371A true JPH08335371A (ja) | 1996-12-17 |
| JP3403865B2 JP3403865B2 (ja) | 2003-05-06 |
Family
ID=15308326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14214195A Expired - Fee Related JP3403865B2 (ja) | 1995-06-08 | 1995-06-08 | ストリーム多重装置およびストリーム多重方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3403865B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004034654A1 (ja) * | 2002-10-08 | 2004-04-22 | Matsushita Electric Industrial Co., Ltd. | 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム |
| JP2006211476A (ja) * | 2005-01-31 | 2006-08-10 | Nec Electronics Corp | データ多重化装置 |
| CN1293538C (zh) * | 1997-11-21 | 2007-01-03 | 日本胜利株式会社 | 音频信号的编码装置、唱盘以及盘重放装置 |
| JP2009147827A (ja) * | 2007-12-17 | 2009-07-02 | Canon Inc | 記録装置、その制御方法、プログラム |
-
1995
- 1995-06-08 JP JP14214195A patent/JP3403865B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1293538C (zh) * | 1997-11-21 | 2007-01-03 | 日本胜利株式会社 | 音频信号的编码装置、唱盘以及盘重放装置 |
| CN1319051C (zh) * | 1997-11-21 | 2007-05-30 | 日本胜利株式会社 | 音频信号的编码装置、唱盘以及盘重放装置 |
| WO2004034654A1 (ja) * | 2002-10-08 | 2004-04-22 | Matsushita Electric Industrial Co., Ltd. | 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム |
| JP2006211476A (ja) * | 2005-01-31 | 2006-08-10 | Nec Electronics Corp | データ多重化装置 |
| JP2009147827A (ja) * | 2007-12-17 | 2009-07-02 | Canon Inc | 記録装置、その制御方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3403865B2 (ja) | 2003-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6807363B1 (en) | Digital moving picture data player system having a time-based access list | |
| JP4487374B2 (ja) | 符号化装置及び符号化方法並びに多重化装置及び多重化方法 | |
| JP3605826B2 (ja) | ビデオおよびオーディオ信号処理システムにおける補助情報のための合理的入力バッファの回路配列 | |
| JP4294090B2 (ja) | Ｍｐｅｇ情報信号変換システム | |
| KR100733856B1 (ko) | 데이터 스트림을 변환하는 방법 및 장치 | |
| KR100821575B1 (ko) | 디지털 비디오 기록물의 데이터 처리 장치 및 방법과, 데이터 처리 방법에 의해 생성되는 기록물을 기록한 컴퓨터가 판독할 수 있는 기록매체와, 데이터 재생장치 및 데이터 재생방법 및, 데이터 재생방법에 의해 편집된 데이터 시퀀스를 재생하는 신호를 기록한 컴퓨터로 판독할 수 있는 기록매체 | |
| JP4970688B2 (ja) | デジタルビデオ記録物を作成、再生する方法及び装置と、この方法を用いて作成されたデジタルビデオ記録物 | |
| US6754276B1 (en) | System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period | |
| JP3240017B2 (ja) | Ｍｐｅｇ信号記録方法およびｍｐｅｇ信号再生方法 | |
| US5838876A (en) | Frame-accurate edit and playback in digital stream recording | |
| US7054546B2 (en) | Data multiplexing method, data recorded medium, data recording apparatus and data recording program | |
| US8233780B2 (en) | Reproducing apparatus and method, and recording medium | |
| US7706667B2 (en) | Recording apparatus and method, reproducing apparatus and method, recording medium, and program | |
| JPH0787444A (ja) | 圧縮符号化データ記録方法 | |
| EP1995731B1 (en) | Method to guarantee seamless playback of data streams | |
| JP2006518962A (ja) | ブラウザブルスライドショー提供のためのデータ復号装置、その復号方法及びそのための情報保存媒体 | |
| JP4309940B2 (ja) | ストリーム多重装置、ストリーム多重方法および記録媒体 | |
| CN100380959C (zh) | 信息处理装置、信息处理方法 | |
| JPH09509036A (ja) | エンコーダシステムのレベルバッファ管理 | |
| US20050108773A1 (en) | Information storage medium with AV data including non-multiplexed streams recorded thereon, and method of and apparatus for recording and reproducing the same | |
| JP3651699B2 (ja) | 復号化装置及び符号化復号化装置 | |
| JP3403865B2 (ja) | ストリーム多重装置およびストリーム多重方法 | |
| KR20040007705A (ko) | 데이터 기록 방법, 데이터 편집 방법 및 데이터 복호 방법, 및 그 장치, 및 기록 매체 | |
| JP2001043616A (ja) | 記録方法、記録媒体及び記録装置 | |
| JP2006521661A (ja) | 再生装置、再生方法及びその記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080229 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090228 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |