JP4997720B2 - 多重化装置、多重化方法、プログラム、および記録媒体 - Google Patents

Description

本発明は、多重化装置、多重化方法、プログラム、および記録媒体に関し、特に、基本ストリームと拡張ストリームからなる、階層符号化されたオーディオストリームを、受信側の能力を考慮して多重化することができるようにした多重化装置、多重化方法、プログラム、および記録媒体に関する。

ビデオストリームやオーディオストリームをパケット化して符号化（多重化）する方式のひとつに、MPEG（Moving Picture Experts Group）トランスポートストリーム（以下、MPEG2-TSと称する）がある。

図１は、送信装置１１がMPEG2-TSを用いて符号化する場合における制約を説明する図である。送信装置１１は、ビデオストリームやオーディオストリームを、MPEG2-TSの方式で符号化し、送信する。このとき、送信装置１１は、仮想的な受信装置１２を想定し、送信装置１１が送信したMPEG2-TSをその仮想的な受信装置１２が有する仮想デコーダ２１で復号できるように、MPEG2-TSのビデオストリームやオーディオストリームをパケット化するタイミングを決定する。ここで、仮想的な受信装置１２は、例えば、ISO/IEC 13818-1 MPEG2 systems規格で規定されているところのT-STD(Transport stream Standard Target Decoder)である仮想デコーダ２１を有している。

図２は、図１の仮想デコーダ２１の構成例を示す図である。すなわち、図２の仮想デコーダ２１は、MPEG2 systems規格で規定されているT-STDモデルである。

MPEG2 systems規格では、MPEG1ビデオ、MPEG2ビデオ、およびMPEG4 AVCなどのMPEG規格で規定されているビデオストリームと、MPEG1オーディオ、MPEG2 AACオーディオなどのMPEG規格で規定されているオーディオストリームとを、MPEG2-TSの方式で符号化する場合の制限を定めている。すなわち、送信装置１１（図１）は、図２の仮想デコーダ２１でデコード可能となるように、ビデオストリームやオーディオストリームをエンコードする。換言すれば、送信装置１１は、図２の仮想デコーダ２１のモデルの制限に収まるように、ビデオストリームやオーディオストリームをデコードするとともにパケット化する。

仮想的な受信装置１２（図１）に送信されてきたMPEG2-TSは、仮想デコーダ２１に供給される。仮想デコーダ２１に供給されたMPEG2-TSは、図２に示されるように、フィルタ４１によって、パケットの種類ごとにフィルタリングされる。

具体的には、MPEG2-TSは、複数のパケットにより構成されており、各パケットには、そのパケットを識別するためのPID（Packet Identification）が付されている。フィルタ４１は、MPEG2-TSを構成する各パケットに付されたPIDに基づいて、ビデオストリームを構成するＴＳパケットを、ビデオストリームを処理するためのビデオデータデコード処理部５０に供給し、オーディオストリームを構成するＴＳパケットを、オーディオストリームを処理するためのオーディオデータデコード処理部６０に供給し、システムに関するＴＳパケットを、システムに関するデータを処理するためのシステムデータデコード処理部７０に供給する。

ビデオストリーム処理部５０には、トランスポートバッファ（図中、ＴＢｖと記述する）５１、マルチプレクスバッファ（図中、ＭＢｖと記述する）５２、エレメンタリバッファ（図中、ＥＢｖと記述する）５３、ビデオデコーダ（図中、Ｄｖと記述する）５４、およびアウトプットリオーダリングバッファ（図中、Ｏｖと記述する）５５が設けられている。

ビデオストリームを構成するＴＳパケットが、フィルタ４１を介してビデオストリーム処理部５０に供給されると、トランスポートバッファ５１に蓄積される。トランスポートバッファ５１に蓄積されたＴＳパケットは、所定のタイミングでマルチプレクスバッファ５２に供給されてスムージングされた後、エレメンタリバッファ５３に供給される。ビデオデコーダ５４は、エレメンタリバッファ５３に蓄積されているビデオアクセスユニットを所定のタイミングで引き抜き、それを復号して出力する。復号されたデータのうちの一部は、アウトプットリオーダリングバッファ５５を介して端子５６から出力され、それ以外のデータは、端子５７から出力されて再生される。

オーディオストリーム処理部６０には、トランスポートバッファ（図中、ＴＢｎと記述する）６１、エレメンタリバッファ（図中、Ｂｎと記述する）６２、およびオーディオデコーダ（図中、Ｄｎと記述する）６３が設けられている。

オーディオストリームを構成するＴＳパケットが、フィルタ４１を介してオーディオストリーム処理部６０に供給されると、トランスポートバッファ６１に蓄積される。このトランスポートバッファ６１のサイズ（容量）は５１２バイトとされる。エレメンタリバッファ６２のサイズは、オーディオ符号化方法（MPEG1オーディオやMPEG2 AACオーディオなど）によって異なるものとされている。ここで、Ｒｘｎは、トランスポートバッファ６１からのリークレートであり、トランスポートバッファ６１にデータが入っている場合、トランスポートバッファ６１からのデータは、Ｒｘｎのレート（速度）でエレメンタリバッファ６２に供給され、トランスポートバッファ６１にデータが入っていない場合、トランスポートバッファ６１からのデータは、エレメンタリバッファ６２には供給されない（すなわちＲｘｎ＝０となる）。

オーディオデコーダ６３は、エレメンタリバッファ６２に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き復号するとともに、端子６４を介して出力し、再生する。具体的には、オーディオデコーダ６３は、オーディオアクセスユニットのPTS（Presentation Time Stamp）が、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ６２から引き抜く。ここで、オーディオアクセスユニットとは、オーディオストリームを構成する符号化単位であり、また、それが復号単位となる。

また、システムデータデコード処理部７０には、トランスポートバッファ（図中、TBsysと記述する）７１、エレメンタリバッファ（図中、Bsys記述する）７２、およびシステムデコーダ（図中、Dsysと記述する）７３が設けられている。

システムに関するＴＳパケットが、フィルタ４１を介してシステムデータデコード処理部７０に供給されると、トランスポートバッファ７１に蓄積される。トランスポートバッファ７１に蓄積されたデータは、エレメンタリバッファ７２に供給される。システムデコーダ７３は、エレメンタリバッファ７２に蓄積されているシステムアクセスユニットを所定のタイミングで引き抜き復号し、端子７４を介して出力する。

このような図２の仮想デコーダ２１を有する仮想的な受信装置１２によって正しくデコードできるように、図１の送信装置１１は、ビデオストリームやオーディオストリームをパケット化し、送信するタイミングを決定して符号化する必要がある。

すなわち、送信装置１１は、例えば図２の仮想デコーダ２１（T-STD）の中のオーディオデコーダモデルでいえば、トランスポートバッファ６１がオーバーフローすることなく、かつ、エレメンタリバッファ６２がオーバーフローおよびアンダーフローすることがないように、オーディオストリームのパケット化タイミングを決定し、符号化しなければならない。

ところで、受信装置（再生装置）には、特許文献１に示されるような基本ストリームと、基本ストリームに対して拡張性を有する拡張ストリームを処理して再生するものが提案されている。
特開平１１−３１３６２号公報

しかしながら、送信装置１１が、基本ストリームに対して拡張性を有する拡張ストリームからなる階層符号化されたストリームを多重化して送信する場合、図２の仮想デコーダ２１を有する仮想的な受信装置１２を想定したとき、基本ストリームと拡張ストリームの両方に対応した受信装置（実際の図示せぬ受信装置）ではデコード可能であるが、基本ストリームのみに対応した受信装置（実際の図示せぬ受信装置）においては、必ずしもデコード可能ではなく、トランスポートバッファ６１がオーバーフローしたり、エレメンタリバッファ６２がオーバーフローおよびアンダーフローする可能性があった。

すなわち、送信装置１１が基本ストリームと拡張ストリームからなる階層符号化されたストリームを送信する場合、仮想的な受信装置１２が有する仮想デコーダ２１を図２のように想定しただけであると、基本ストリームのみを受信する受信装置で十分にデコードできない場合があった。

本発明はこのような状況に鑑みてなされたものであり、基本ストリームと拡張ストリームからなる、階層符号化されたオーディオストリームを、受信側で確実にデコードできるように、受信側の能力を考慮してエンコードし、多重化して送信するものである。

本発明の一側面の多重化装置は、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコード手段と、前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化手段と、前記ＴＳパケット化手段によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御手段と、前記制御手段により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化手段とが設けられている。
前記基本ストリームのＴＳパケットのトランスポートプライオリティと、前記拡張ストリームのＴＳパケットのトランスポートプライオリティは異なるようにすることができる。
前記基本ストリームのストリームＩＤと、前記拡張ストリームのストリームＩＤは異なるようにすることができる。

前記エンコード手段によりエンコードされた前記基本ストリームの１アクセスユニットは固定長とされるようにすることができる。

前記制御手段は、前記エンコード手段によりエンコードされた前記基本ストリームのＴＳパケットの再生単位の時間に基づいて、配置する前記基本ストリームのＴＳパケットの間隔を算出させ、算出した前記間隔で、前記基本ストリームのＴＳパケットを配置するよう制御させた後、配置した前記基本ストリームのＴＳパケットと対となる前記拡張ストリームのＴＳパケットをさらに配置するよう制御させるようにすることができる。

前記基本ストリームは、基本オーディオストリームであるとともに、前記拡張ストリームは、拡張オーディオストリームであり、前記制御手段は、前記エンコード手段によりエンコードされた前記基本オーディオストリームの周波数と、前記基本オーディオストリームの１アクセスユニットのサンプル数に基づいて、配置する前記基本オーディオストリームのＴＳパケットの間隔を算出し、算出した前記間隔で、前記基本オーディオストリームのＴＳパケットを配置するよう制御させた後、配置した前記基本オーディオストリームのＴＳパケットと対となる前記拡張オーディオストリームのＴＳパケットをさらに配置するよう制御させるようにすることができる。

前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＰＥＳパケットにパケット化させるとともに、ＰＴＳを付すＰＥＳパケット化手段をさらに設け、前記ＴＳパケット化手段は、前記ＰＥＳパケット化手段によりパケット化された複数の前記ＰＥＳパケットを、それぞれＴＳパケットにパケット化させ、前記制御手段は、前記ＴＳパケット化手段によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するとともに、同じＰＴＳ（Presentation Time Stamp）を持つＰＥＳパケットがパケット化されたＴＳパケットについて、前記基本ストリームのＴＳパケットの後に、前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御させ、前記多重化手段は、前記制御手段により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化させるようにすることができる。

前記多重化手段により多重化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを、記録媒体に記録させるよう制御する記録制御手段をさらに設けるようにすることができる。

前記入力したストリームには、オーディオストリームとビデオストリームのうちの少なくとも一方が含まれるようにすることができる。

前記制御手段は、エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローおよびアンダーフローしないように、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットの配置を制御させるようにすることができる。

前記エレメンタリバッファの第１の容量は、第２の容量より小さく、前記エレメンタリバッファへの入力ビットレートである第１のレートは、第２のレートより遅いようにすることができる。

本発明の一側面の多重化方法（またはプログラム）は、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳパケットにパケット化するＴＳパケット化ステップと、前記ＴＳパケット化ステップの処理によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御ステップと、前記制御ステップの処理により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化ステップとを含む（または含む処理をコンピュータに実行させる）多重化方法（またはプログラム）である。
本発明の一側面の記録媒体は、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化ステップと、前記ＴＳパケット化ステップの処理によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御ステップと、前記制御ステップの処理により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化ステップとを含む処理により生成された、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットの多重化結果が記録されている記録媒体である。

本発明の一側面においては、入力したストリームが基本ストリームと拡張ストリームとを含むようにエンコードされて同一のパケットＩＤのＴＳパケットにパケット化され、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置が制御され、制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとが多重化される。

多重化装置は、独立した装置であってもよいし、送信装置の多重化処理を行うブロックであってもよい。

本発明の一側面によれば、ストリームを、受信側の能力を考慮してエンコードし、多重化することができる。特に、本発明の一側面によれば、基本ストリームと拡張ストリームからなる、階層符号化されたオーディオストリームを、受信側で円滑にデコードできるように、エンコードして多重化することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の多重化装置（例えば、図４の送信装置１１１または図１５の送信装置１１１）は、第１に、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコード手段（例えば、図４または図１５のオーディオエンコーダ１３２）と、前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化手段（例えば、図４のＴＳパケット化部１３７、または、図１５の基本ＴＳパケット化部４０２−１と拡張ＴＳパケット化部４０２−２）と、前記ＴＳパケット化手段によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御手段（例えば、図４または図１５の制御部１３５）と、前記制御手段により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化手段（例えば、図４のＴＳパケット化部１３７、または、図１５の多重化処理部４０３）を備える。

この多重化装置の前記制御手段は、前記エンコード手段によりエンコードされた前記基本ストリームのＴＳパケットの再生単位の時間に基づいて、配置する前記基本ストリームのＴＳパケットの間隔を算出し（例えば、図２１のステップＳ２５１の処理で時間Ｔ４１を算出し）、算出した前記間隔で、前記基本ストリームのＴＳパケットを配置するよう制御した後（例えば、図２１のステップＳ２５２）、配置した前記基本ストリームのＴＳパケットと対となる前記拡張ストリームのＴＳパケットをさらに配置するよう制御する（例えば、図２１のステップＳ２５４）。

この多重化装置は、前記エンコード手段によりエンコード前記基本ストリームと前記拡張ストリームとを、それぞれＰＥＳ（Packetized Elementarty Stream）パケットにパケット化するとともに、ＰＴＳ（Presentation Time Stamp）を付すＰＥＳパケット化手段（例えば、図４または図１５のＰＥＳパケット化部１３６）をさらに設け、前記ＴＳパケット化手段は、前記ＰＥＳパケット化手段によりパケット化された複数の前記ＰＥＳパケットを、それぞれＴＳパケットにパケット化し（例えば、図１９のステップＳ２１７）、前記制御手段は、前記パケット化手段によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後（例えば、図２１のステップＳ２５２）、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するとともに（例えば、図２１のステップＳ２５４）、同じＰＴＳ（Presentation Time Stamp）を持つＰＥＳパケットがパケット化されたＴＳパケットについて、前記基本ストリームのＴＳパケットの後に、前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御し、前記多重化手段は、前記制御手段により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する（例えば、図２１のステップＳ２５８）。

この多重化装置の前記制御手段は、エレメンタリバッファの容量が第１の容量（例えば、ｂｎ０）、前記エレメンタリバッファへの入力ビットレートが第１のレート（例えば、ｒｘｎ０）と想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置（例えば、ｂｎ０，ｒｘｎ０と想定された仮想的な受信装置１１２）と、エレメンタリバッファの容量が第２の容量（例えば、ｂｎ１）、前記エレメンタリバッファへの入力ビットレートが第２のレート（例えば、ｒｘｎ１）と想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置（例えば、ｂｎ１，ｒｘｎ１と想定された仮想的な受信装置１１２）との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローおよびアンダーフローしないように、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットの配置を制御する（例えば、図９のステップＳ１８または図２１の処理）。

本発明の一側面の多重化方法またはプログラムは、入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップ（例えば、図８のステップＳ１２または図１９のステップＳ２１２）と、前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化ステップ（例えば、図８のステップＳ１７または図１９のステップＳ２１７）と、前記ＴＳパケット化ステップの処理によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後（例えば、図２１のステップＳ２５２）、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置する（例えば、図２１のステップＳ２５４）よう、ＴＳパケットの配置を制御する制御ステップ（例えば、図９のステップＳ１８または図２１のステップＳ２５１乃至ステップＳ２５７）と、前記制御ステップの処理により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化ステップ（例えば、図９のステップＳ１９または図２１のステップＳ２５８）とを含む（または含む処理をコンピュータに実行させる）。

以下、図を参照して、本発明の第１実施の形態について説明する。

図３は、本発明を適用した送信装置１１１がMPEG（Moving Picture Experts Group）2-TS（Transport stream）（以下、MPEG2-TSと称する）の方式を用いてオーディオストリームを符号化する場合の制約を説明する図である。

この送信装置１１１は、例えば、放送局などのように複数のMPEG2-TSパケットからなるストリームを送信する装置である。例えば、送信装置１１１は、ビデオストリームやオーディオストリームを、受信側の仮想的な受信装置１１２を想定しながらMPEG2-TSの方式を用いて符号化し、実際の受信装置（図示せず）に送信する。また、例えば、送信装置１１１は、仮想的な受信装置１１２を想定しながらMPEG2-TSの方式を用いて符号化（ＴＳパケットを多重化し）、このストリームを、ドライブを介して磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成されるリムーバブルメディアに記録させる（すなわち、この例の場合、送信装置１１１は、リムーバブルメディアにストリームを送信する）。リムーバブルメディアに記録されたストリームは、例えば、実際の受信装置（図示せず）に読み出される。すなわち、送信装置１１１は、リムーバブルメディアを介して図示せぬ受信装置にストリームを送信することも可能な構成とされている。

なお、本実施の形態においては、送信装置１１１が、オーディオストリームを符号化し、これをＴＳパケット化（MPEG2-TSパケットと）し、多重化して送信するものとして説明する。また、本実施の形態では、基本ストリームに対して拡張性を有する拡張ストリームからなる階層符号化されたオーディオストリームを符号化して送信する場合について説明する。ここで、基本オーディオストリームと拡張オーディオストリームの関係としては、基本オーディオストリーム単体だけでオーディオを再生することができ、基本オーディオストリームと拡張オーディオストリームの両方をデコードすると、基本オーディオストリームのみを再生した場合よりも、オーディオの再生品質が高くなったり、また、機能性が高くなったりするものとする。また、基本オーディオストリームの１アクセスユニットは固定長とされる。拡張オーディオストリームの１アクセスユニットは、固定長とは限らず、可変長であることもあり得る。

送信装置１１１は、オーディオストリームを、MPEG2-TSの方式を用いて符号化する。このとき、送信装置１１１は、自分自身のなかで仮想的な受信装置１１２を想定し、送信装置１１１が送信するMPEG2-TSをその仮想的な受信装置１１２が有する仮想デコーダ１２１で復号できるように、MPEG2-TSのオーディオストリームをパケット化し、送信するタイミングを決定する。なお、仮想デコーダ１２１の構成例は、図７を用いて後述する。

図４は、図３の送信装置１１１の構成例を示すブロック図である。

送信装置１１１には、入力部１３１、オーディオエンコーダ１３２、バッファ１３３、抽出情報付加部１３４、制御部１３５、ＰＥＳパケット化部１３６、ＴＳパケット化部１３７、および送信部１３８が設けられている。また、バッファ１３３には、基本バッファ１４１と拡張バッファ１４２が設けられている。

入力部１３１には、送信対象のオーディオストリームが入力される。入力部１３１に入力されたオーディオストリームはオーディオエンコーダ１３２に供給される。

オーディオエンコーダ１３２は、入力部１３１から供給されたオーディオストリームをエンコード（符号化）し、バッファ１３３に供給する。図４のオーディオエンコーダ１３２は、階層符号化に対応したエンコーダである。すなわち、オーディオエンコーダ１３２は、入力されたオーディオストリームを、基本オーディオストリームと拡張オーディオストリームとを含むようにエンコードすることができる。詳細には、オーディオエンコーダ１３２は、オーディオストリームを、基本オーディオストリームと拡張オーディオストリームとを含むようにエンコードし、エンコードした基本オーディオストリームをバッファ１３３の基本バッファ１４１に供給するとともに、拡張オーディオストリームをバッファ１３３の拡張バッファ１４２に供給する。

基本バッファ１４１は、基本オーディオストリームを格納（バッファリング）し、拡張バッファ１４２は、拡張オーディオストリームを格納（バッファリング）する。そして、基本バッファ１４１と拡張バッファ１４２のそれぞれは、制御部１３５からの制御に基づいて、自分自身に格納されているオーディオストリームを読み出し、ＰＥＳパケット化部１３６に供給する。

制御部１３５は、バッファ１３３に格納（バッファリング）されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリーム）を監視したり、ＰＥＳパケット化部１３６、ＴＳパケット化部１３７、および送信部１３８の各部を制御したりする。また、制御部１３５は、ＰＴＳ（Presentation Time Stamp）を管理する。さらに、制御部１３５は、後述する図７の仮想デコーダ１２１のバッファ占有量の計算を行い、ＴＳパケットの送信タイミングを決定（調整）する。すなわち、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算に基づいて、送信部１３８が送信するＴＳパケットの送信タイミングを調整（制御）する。

ＰＥＳパケット化部１３６は、基本バッファ１４１と拡張バッファ１４２のそれぞれから供給されるオーディオストリームを、制御部１３５からの制御に基づいてＰＥＳパケット化する。具体的には、ＰＥＳパケット化部１３６は、基本バッファ１４１と拡張バッファ１４２のそれぞれを制御して基本オーディオストリームと拡張オーディオストリームのそれぞれを取得し、それぞれのオーディオストリームをＰＥＳパケットにそれぞれパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、各ＰＥＳパケットに格納する。すなわち、ＰＥＳパケット化部１３６から出力されるＰＥＳパケットには、それぞれＰＴＳが格納されている。

なお、ＰＥＳパケット化部１３６は、抽出情報付加部１３４からストリームＩＤ（例えば、stream_id_extension）が供給されてきた場合には、取得した基本オーディオストリームと拡張オーディオストリームのそれぞれを、抽出情報付加部１３４から供給されたストリームＩＤ（例えば、stream_id_extension）のうちの対応する１つを持つＰＥＳパケットにそれぞれパケット化するようにすればよい。各ＰＥＳパケットのそれぞれのストリームＩＤは、対応するＰＥＳパケットの種類を識別するためのものである。ＰＥＳパケットの種類とは、基本オーディオストリームと拡張オーディオストリームのうちのいずれかとなる。例えば、基本オーディオストリームの種類のＰＥＳパケットとは、基本オーディオストリームのうちの少なくとも一部のデータが含まれているＰＥＳパケットを指す。従って、受信側の図３の仮想的な受信装置１１２で、所望のオーディオストリームの種類のＰＥＳパケットを選択するためには、そのＰＥＳパケットに付されているストリームＩＤの値を認識すればよい。

本実施の形態では、上述した各ＰＥＳパケットのそれぞれが所定の順番で連続してＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されるとする。この場合、結果として複数のＰＥＳパケットからなる１つのストリーム（以下、ＰＥＳまたはＰＥＳパケットストリームと称する）がＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されることになる。なお、ＰＥＳパケットストリームの具体例については、図５と図６を参照して後述する。

ＴＳパケット化部１３７は、制御部１３５からの制御に基づいて、ＰＥＳパケット化部１３６から供給されたＰＥＳパケットストリームをＴＳパケット（トランスポートストリームパケット）にパケット化する。

抽出情報付加部１３４は、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類のストリームの抽出がデコード側（図３の仮想的な受信装置１１２側）で可能となるように、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤ（Identification）を、ＴＳパケット化部１３７に供給する。すなわち、抽出情報付加部１３４は、基本オーディオストリームと拡張オーディオストリームのそれぞれを識別するための識別情報（ＩＤ）を、ＴＳパケット化部１３７に供給する。

このＩＤには、例えば、トランスポートパケットヘッダにあるTransport_priorityフラグを用いることができる。抽出情報付加部１３４は、基本オーディオストリームを伝送するトランスポートパケットには、Transport_priority＝１をセットし、拡張オーディオストリームを伝送するトランスポートパケットには、Transport_priority＝０をセットするような情報（抽出情報）を、ＴＳパケット化部１３７に供給する。

なお、抽出情報付加部１３４は、ＴＳパケット化部１３７に抽出情報としてＩＤを供給するだけでなく、ＰＥＳパケット化部１３６にさらに抽出情報を送信するようにしてもよい。例えば、抽出情報付加部１３４は、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類のストリームの抽出がデコード側（例えば、図３の仮想的な受信装置１１２側）で可能となるように、基本オーディオストリームと拡張オーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤを、ＰＥＳパケット化部１４６に供給する。ＰＥＳパケット化部１４６は、生成したＰＥＳパケットのそれぞれに、抽出情報付加部１３４から供給されたＩＤを付す。

このＩＤについて、本実施の形態では、Stream_idまたはStream_id_extensionを用いる。Stream_idは、MPEG2 systems規格で規定されているＰＥＳパケットヘッダにあるStream_idを指す。また、Stream_id_extensionは、MPEG2 systems規格Amendment2(2003)で規定されているＰＥＳパケットヘッダにあるStream_id_extensionを指す。オーディオストリームがMPEG Audio(MPEG-1/-2 Audio, MPEG AAC)以外のストリームである場合、Stream_id_extensionを採用すると好適である。Stream_id_extensionを用いる場合、MPEG2 systems規格Amendment2(2003)は、Stream_idに「1111 1101」（extended_stream_idを意味する値）をセットすることを規定している。また、MPEG2 systems規格Amendment2(2003)は、ストリームの種類（基本オーディオストリームと拡張オーディオストリーム）を識別するユニークな値のStream_id_extensionの使用ができることを規定している。

なお、実際には、図４の送信装置１１１がオーディオストリーム以外のデータとして、システムデータやビデオデータもデコードしているが、ここでは、オーディオストリームを送信する場合についてのみ説明した。

以上、図４を参照して、送信装置１１１の構成例について説明した。

次に、図５と図６を参照して、図４の送信装置１１１から送信されるＴＳ、即ち、本発明が適用されるＴＳの一例として、基本オーディオストリームと拡張オーディオストリームが多重化されたＴＳ（トランスポートストリーム）の構造を説明する。図５の例において、１段目の基本オーディオストリーム１８１と拡張オーディオストリーム１８２は、図４のオーディオエンコーダ１３２によりエンコードされて出力された状態を示しており、２段目のＰＥＳパケットストリーム１９１は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて出力された状態を示しており、３段目のＴＳ２０１は、図４のＴＳパケット化部１３７によりＴＳパケット化されて出力された状態を示している。

図５の例において、ＴＳ（MPEG2-TS）は、ＰＡＴ(Program Association Table)に対応するＴＳパケット２２１およびＰＭＴ（Program Map Table）に対応するＴＳパケット２２２、並びに、基本オーディオストリーム１８１および拡張オーディオストリーム１８２に対応するＴＳパケット２４１乃至２５０を含むように構成されている。

基本オーディオストリーム１８１と拡張オーディオストリーム１８２とは何れも、所定のオーディオサンプル数を１つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には例えば、基本オーディオストリーム１８１は、ＢＳ(１),ＢＳ(２)，・・・，ＢＳ（ｎ）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。同様に例えば、拡張オーディオストリーム１８２は、Ｅｘｔ１(１),Ｅｘｔ１(２)，・・・，Ｅｘｔ１（ｎ）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。係る基本オーディオストリーム１８１と（第１の）拡張オーディオストリーム１８２とにおいて、添え字の同じもの同士、例えば、ＢＳ(１)とＥｘｔ１(１)とは、同期して図４のオーディオエンコーダ１３２によりエンコードされるとともに、同期して図示せぬ受信装置により再生（デコード）される。なお、ｎは任意の自然数とされる。

図４のＰＥＳパケット化部１３６は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２とを、図５に示されるように、それぞれ別のストリームＩＤのＰＥＳパケットにパケット化する。具体的には、図５の例では、基本オーディオストリーム１８１に対応するＰＥＳパケットのストリームＩＤは、「PESH Id_ex＝ｂ１」と記述されているように「Stream_id_extension＝ｂ１」とされ、一方、拡張オーディオストリーム１８２に対応するＰＥＳパケットのストリームＩＤは、「PESH Id_ex＝ｂ２」と記述されているように「Stream_id_extension＝ｂ２」とされている。なお、ｎ'は任意の自然数とされる。

このようにして、ＰＥＳパケット化部１３６は、図５に示されるＰＥＳパケットストリーム１９１を生成して、ＴＳパケット化部１３７に供給する。

これに対して、ＴＳパケット化部１３７は、ＰＥＳパケットストリーム１９１を構成する各ＰＥＳパケットのそれぞれを、図５の３段目に示されるように、同一のＰＩＤのＴＳパケットのそれぞれにパケット化して多重化する。具体的には、ＴＳパケット化部１３７は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２のそれぞれのＰＥＳパケットを、図５に示されるように、それぞれ別のＩＤを持つトランスポートパケットにパケット化する。図５の例では、基本オーディオストリーム１８１のトランスポートパケットのＩＤは、「ＰＩＤ＝ａ０,ｔｐ＝１」と記述されているように「transport_priority＝１」とされ、一方、拡張オーディオストリーム１８２のトランスポートパケットのＩＤは、「ＰＩＤ＝ａ０,ｔｐ＝０」と記述されているように、「transport_priority＝０」とされている。これにより、ＴＳパケット化部１３７により、トランスポートストリーム（ＴＳ）２０１が生成される（ＴＳパケット化される）。

このように、１本のストリームに対しては同一のＰＩＤが付され、１本のストリームに含まれる基本オーディオストリームおよび拡張オーディオストリームを識別するために、それぞれ異なるｔｐ（transport_priority）が付される。

なお、本実施の形態においては、トランスポートストリームの中で、基本オーディオストリーム、そして拡張オーディオストリームの順番に、同期して再生される符号化単位が並んで符号化されていなければならない（すなわち、トランスポートストリームの中で、ＢＳ(１), Ｅｘｔ１(１)，ＢＳ(２)，Ｅｘｔ１(２)・・・，ＢＳ（ｎ）Ｅｘｔ１(ｎ)の順番に並んで符号化されていなければならない）。

図６は、ＴＳ２８１が、ＰＡＴに対応するＴＳパケット２２１およびＰＭＴに対応するＴＳパケット２２２、並びに、基本オーディオストリーム１８１を含むように構成されている場合の例である。すなわち、図６の例においては、ＴＳ２８１は、基本オーディオストリーム１８１のみを多重化したトランスポートストリームの構造を示している。図５と図６を比較するに、図５から基本オーディオストリームのみを抜き出したものが図６とされている。なお、図中、図５と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。

図６の例において、１段目の基本オーディオストリーム１８１は、図４のオーディオエンコーダ１３２によりエンコードされて出力された状態を示しており、２段目のＰＥＳパケットストリーム２７１は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて出力された状態を示しており、３段目のＴＳ２８１は、図４のＴＳパケット化部１３７によりＴＳパケット化されて出力された状態を示している。

図４のＰＥＳパケット化部１３６は、基本オーディオストリーム１８１を、図６に示されるように、同一のストリームＩＤのＰＥＳパケットにパケット化する。具体的には、図６の例では、基本オーディオストリーム１８１に対応するＰＥＳパケットのストリームＩＤは、「PESH Id_ex＝ｂ１」と記述されているように「Stream_id_extension＝ｂ１」とされる。このように、ＰＥＳパケット化部１３６は、図６に示されるＰＥＳパケットストリーム２７１を生成して、ＴＳパケット化部１３７に供給する。

これに対して、ＴＳパケット化部１３７は、ＰＥＳパケットストリーム２７１を構成する各ＰＥＳパケットのそれぞれを、図６の３段目に示されるように、同一のＰＩＤのＴＳパケットのそれぞれにパケット化して多重化し、トランスポートストリーム２８１とする。ＴＳパケット化部１３７は、基本オーディオストリーム１８１のそれぞれのＰＥＳパケットを、図６に示されるように、同一のＩＤを持つトランスポートパケット２９１乃至２９６にパケット化する。具体的には、図６の例では、基本オーディオストリーム１８１のトランスポートパケットのＩＤは、「ＰＩＤ＝ａ０,ｔｐ＝１」と記述されているように「transport_priority＝１」とされる。

このように、１本のストリームに対して同一のＰＩＤが付されるとともに、そのストリームに含まれるストリームの種類が基本オーディオストリームのみである場合には、同じｔｐ（transport_priority）が付される。

本実施の形態においては、送信装置１１１が、基本オーディオストリームと拡張オーディオストリームの構造を有する階層化符号化されたオーディオストリームを送信する場合に、仮想的な受信装置１１２（図３）の能力に応じてＴＳパケットの送信のタイミングを調整するようにする。すなわち、仮想的な受信装置１１２が基本オーディオストリームと拡張オーディオストリームの両方に対応した（基本オーディオストリームと拡張オーディオストリームの両方をデコード可能な）仮想的な受信装置である場合であっても、仮想的な受信装置１１２が基本オーディオストリームのみに対応した（基本オーディオストリームのみデコード可能な）受信装置である場合であっても、それらの仮想的な受信装置１１２のバッファがオーバーフローおよびアンダーフローせずにデコード可能となるように、送信装置１１１側で、エンコードしたＴＳパケットを送信するタイミングを調整するようにする。

具体的には、送信装置１１１は、図５に示されるＴＳ２０１をデコード可能な仮想的な受信装置（第１の仮想的な受信装置）と、図６に示されるＴＳ２８１のみをデコード可能な受信装置（第２の仮想的な受信装置）とに対応するように、タイミングを調整して、図５に示されるＴＳ２０１を構成するＴＳパケットを送信するようにする。すなわち、送信装置１１１は、仮想的な受信装置１１２が基本オーディオストリームのみを抽出して復号する場合に、所定のサイズの基本オーディオストリーム用のデコーダバッファをオーバーフローおよびアンダーフローすることがないように、階層化符号化されたオーディオストリームのパケット化タイミング（パケットの送信タイミング）を調整する。

そのために、仮想的な受信装置１１２が、基本オーディオストリームのデコード能力しか持たない場合、すなわち、図６に示される基本オーディオストリーム１８１のＴＳ２８１のみをデコードする能力を有する場合に、仮想的な受信装置１１２が有するオーディオバッファの最低限必要なサイズ（容量）を決め、さらに、そのオーディオバッファへの入力ビットレートの値を決める。

また、仮想的な受信装置１１２が、基本オーディオストリームと拡張オーディオストリームの両方のデコード能力を持つ場合、すなわち、図５に示される基本オーディオストリーム１８１と拡張オーディオストリーム１８２の両方をデコードする能力を有する場合に、仮想的な受信装置１１２が有するオーディオバッファの最低限必要なサイズ（容量）を決め、さらに、そのオーディオバッファへの入力ビットレートの値を決める。

なお、ここで、オーディオバッファのサイズは、図２のエレメンタリバッファ６２のサイズに対応し、オーディオバッファへの入力ビットレートの値は、図２のＲｘｎに対応する。

すなわち、仮想的な受信装置１１２が、基本オーディオストリームをデコードする能力しか有していない場合、または、基本オーディオストリームと拡張オーディオストリームの両方をデコードする能力を有する場合の、２種類の仮想的な受信装置のそれぞれについて、オーディオバッファのサイズとオーディオバッファへの入力ビットレートの値を設定する。

本実施の形態においては、基本オーディオストリームのデコード能力しか有さない仮想的な受信装置１１２のエレメンタリバッファのサイズをＢｎ＝ｂｎ０、オーディオバッファへの入力ビットレートの値（オーディオバッファへのリークレート）をＲｘｎ＝rｘｎ０とする。また、基本オーディオストリームと拡張オーディオストリームの両方をデコードする能力を有する仮想的な受信装置１１２のエレメンタリバッファのサイズをＢｎ＝ｂｎ１、オーディオバッファへの入力ビットレートの値（オーディオバッファへのリークレート）をＲｘｎ＝rｘｎ1とする。また、ｂｎ０＜ｂｎ１、rｘｎ０＜rｘｎ1が成立するものとする。すなわち、エレメンタリバッファの容量ｂｎ０は、容量ｂｎ１より小さく、エレメンタリバッファへの入力ビットレートの値rｘｎ０は、値rｘｎ1より小さいことが成立するものとする。

図７は、基本オーディオストリームと拡張オーディオストリームとを多重化するトランスポートストリームの符号化制約のための仮想的なデコーダ１２１のモデルを説明する図である。すなわち、送信装置１１１が、基本オーディオストリームと拡張オーディオストリームを、MPEG2-TSの方式でエンコードして送信する場合に想定する仮想的な受信装置１１２が有する仮想デコーダ１２１（図３）モデルの構成例が、図７に示されている。換言すれば、図７は、送信装置１１１が基本オーディオストリームと拡張オーディオストリームとをデコードし、パケット化して送信する場合に想定する仮想デコーダ１２１のモデルとされる。

仮想的な受信装置１１２に送信されてきたMPEG2-TSは、仮想デコーダ１２１に供給される。仮想デコーダ１２１に供給されたMPEG2-TSは、図７に示されるように、フィルタ１４１によって、パケットの種類ごとにフィルタリングされる。

具体的には、MPEG2-TSは、複数のパケットにより構成されており、各パケットには、そのパケットを識別するためのPID（Packet Identification）が付されている。フィルタ１４１は、MPEG2-TSを構成する各パケットに付されたPIDに基づいて、ビデオストリームを構成するＴＳパケットを、ビデオストリームを処理するためのビデオデータデコード処理部３５０に供給し、オーディオストリームを構成するＴＳパケットを、オーディオストリームを処理するためのオーディオデータデコード処理部３６０に供給し、システムに関するＴＳパケットを、システムに関するデータを処理するためのシステムデータデコード処理部３７０に供給する。

ビデオストリーム処理部３５０には、トランスポートバッファ（図中、ＴＢｖと記述する）３５１、マルチプレクスバッファ（図中、ＭＢｖと記述する）３５２、エレメンタリバッファ（図中、ＥＢｖと記述する）３５３、ビデオデコーダ（図中、Ｄｖと記述する）３５４、およびアウトプットリオーダリングバッファ（図中、Ｏｖと記述する）３５５が設けられている。

ビデオストリームを構成するＴＳパケットが、フィルタ３４１を介してビデオストリーム処理部３５０に供給されると、トランスポートバッファ３５１に蓄積される。そして、所定のビットレートでマルチプレクスバッファ３５２にデータが供給される。マルチプレクスバッファ３５２は、供給されたデータを蓄積してスムージングした後、所定のビットレートでエレメンタリバッファ３５３にデータを供給する。ビデオデコーダ３５４は、エレメンタリバッファ３５３に蓄積されているビデオアクセスユニットを所定のタイミングで引き抜き、それを復号して出力する。復号されたデータのうちの一部は、アウトプットリオーダリングバッファ３５５を介して端子３５６から出力され、その他のデータは、端子３５７から出力され、再生される。

オーディオデータデコード処理部３６０には、トランスポートプリオリティフィルタ（Transport priority filter）３６１、トランスポートバッファ（図中、ＴＢｎと記述する）３６２、エレメンタリバッファ（図中、Ｂｎと記述する）３６３、およびオーディオデコーダ（図中、Ｄｎと記述する）３６４が設けられている。

オーディオストリームを構成するＴＳパケットが、フィルタ３４１を介してオーディオデータデコード処理部３６０に供給されると、トランスポートプリオリティフィルタ３６１は、仮想デコーダ１２１の能力に応じて、ＴＳパケットのフィルタリングを行う。例えば、トランスポートプリオリティフィルタ３６１は、ＴＳパケットに付されたｔｐの値（図５参照）に基づいて、フィルタリングを行う。トランスポートプリオリティフィルタ３６１によりフィルタリングされたＴＳパケットは、後段のトランスポートバッファ３６２に供給される。トランスポートバッファ３６２は、トランスポートプリオリティフィルタ３６１によりフィルタリングされて供給されてきたＴＳパケットを蓄積する。ここで、トランスポートバッファ３６２のサイズ（容量）は、５１２バイトである。

トランスポートバッファ３６２に蓄積されたＴＳパケットは、仮想デコーダ１２１の能力に応じたレートＲｘｎでエレメンタリバッファ３６３に供給される。Ｒｘｎは、トランスポートバッファ３６２からのLeak rate（リークレート）であり、トランスポートバッファ３６２にデータが入っている場合、データはＲｘｎのレートでトランスポートバッファ３６２からエレメンタリバッファ３６３へ入力される。また、トランスポートバッファ３６２にデータが入っていない場合、Ｒｘｎは０となる。

エレメンタリバッファ３６３は、トランスポートバッファ３６２からＲｘｎのビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３のサイズは、オーディオ符号化方法（MPEG1オーディオやMPEG2 AACオーディオなど）によって異なるものとされている。なお、トランスポートバッファ３６２にデータが入っている場合にはトランスポートバッファ３６２から、Ｒｘｎのビットレート（速度）でエレメンタリバッファ３６３に供給されるが、トランスポートバッファ３６２にデータが入っていない場合には、トランスポートバッファ３６２からのデータは、エレメンタリバッファ３６３には供給されない（すなわちＲｘｎ＝０となる）。

オーディオデコーダ３６４は、エレメンタリバッファ３６３に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３６５を介して出力し、再生する。具体的には、オーディオデコーダ３６４は、オーディオアクセスユニットのPTS（Presentation Time Stamp）が、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜く。ここで、オーディオアクセスユニットとは、オーディオストリームを構成する符号化単位であり、また、それが復号単位となる。

ここで、図７のオーディオデコード処理部３６０において、仮想デコーダ１２１の能力に応じて変更する値について説明する。

（１）基本オーディオストリームと拡張オーディオストリームを多重化するトランスポートストリームから基本オーディオストリームを抽出してデコードする場合、または、基本オーディオストリームだけを多重化するトランスポートストリームをデコードする場合に、仮想デコーダ１２１（第１の仮想的な受信装置の第１の仮想デコーダ）は、以下を満たすものとする。
（１−１）トランスポートプリオリティフィルタ３６１は、ｔｐ＝１（Transport_priority＝１）のＴＳパケットだけを選択し、トランスポートバッファ３６２へ供給する。
（１−２）トランスポートバッファ３６２からエレメンタリバッファ３６３への入力ビットレートの値Ｒｘｎをｒｘｎ０とする。
（１−３）エレメンタリバッファ３６３の容量Ｂｎをｂｎ０とする。

（２）基本オーディオストリームと拡張オーディオストリームを多重化するトランスポートストリームから基本オーディオストリームと拡張オーディオストリームの両方をデコードする場合、仮想デコーダ１２１（第２の仮想的な受信装置の第２の仮想デコーダ）は、以下を満たすものとする。
（２−１）トランスポートプリオリティフィルタ３６１は、すべてのトランスポートパケット（ｔｐ＝０およびｔｐ＝１（Transport_priority＝０，１）のＴＳパケット）をトランスポートバッファ３６２へ供給する。
（２−２）トランスポートバッファ３６２からエレメンタリバッファ３６３への入力ビットレートの値Ｒｘｎをｒｘｎ１とする。
（２−３）エレメンタリバッファ３６３の容量Ｂｎをｂｎ１とする。

このように、トランスポートプリオリティフィルタ３６１のフィルタ条件（（１−１）および（２−１）、エレメンタリバッファ３６３への入力ビットレートの値（（１−２）および（２−２））、並びに、エレメンタリバッファ３６３の容量（（１−３）および（２−３））が、仮想デコーダ１２１の能力によって異なるものとなる。送信装置１１１は、この（１）で想定された第１の仮想的な受信装置と、（２）で想定された第２の仮想的な受信装置で、エレメンタリバッファの容量がオーバーフローおよびアンダーフローしないように、送信タイミングを制御してＴＳパケットを送信するようにする。なお、以下において、仮想的な受信装置１１２に含まれる仮想デコーダ１２１に（１）の条件を当てはめたものを、第１の仮想的な受信装置１１２と第１の仮想デコーダ１２１と称し、仮想的な受信装置１１２に含まれる仮想デコーダ１２１に（２）の条件を当てはめたものを、第２の仮想的な受信装置１１２と第２の仮想デコーダ１２１と称する。

また、システムデータデコード処理部３７０には、トランスポートバッファ（図中、TBsysと記述する）３７１、エレメンタリバッファ（図中、Bsys記述する）３７２、およびシステムデコーダ（図中、Dsysと記述する）３７３が設けられている。

システムに関するＴＳパケットが、フィルタ３４１を介してシステムデータデコード処理部３７０に供給されると、トランスポートバッファ３７１に蓄積される。トランスポートバッファ３７１に蓄積されたデータは、エレメンタリバッファ３７２に供給される。システムデコーダ３７３は、エレメンタリバッファ７２に蓄積されているシステムアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３７４を介して出力する。

なお、システムに関するＴＳパケットには、例えば、図５や図６のＰＡＴのＴＳパケット２２１やＰＭＴのＴＳパケット２２２が含まれる。

このような図７の仮想デコーダ１２１を有する仮想的な受信装置１１２によって正しくデコードされるように、図４の送信装置１１１は、基本オーディオストリームと拡張オーディオストリームのトランスポートストリームをパケット化し、送信するタイミングを決定して符号化する必要がある。

すなわち、送信装置１１１は、例えば図７の仮想デコーダ１２１の中のトランスポートバッファ３６２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３がオーバーフローおよびアンダーフローすることがないように、オーディオストリームのパケット化タイミングを決定し、符号化しなければならない。

そのため、送信装置１１１は、図５の基本オーディオストリームと拡張オーディオストリームとを多重化したトランスポートストリームを、上述した（１）と（２）の条件を満たすように、オーディオストリームのパケット化タイミングを調整する。すなわち、送信装置１１１は、第１の仮想的な受信装置と第２の仮想的な受信装置のそれぞれのバッファがオーバーフローおよびアンダーフローしないようなタイミングで、ＴＳパケットの送信のタイミングを制御する。換言すれば、図７のオーディオデコーダ１２１モデルの、トランスポートバッファ３６２がオーバーフローすることなく、また、エレメンタリバッファ３６３がオーバーフローおよびアンダーフローすることがないように、送信装置１１１は、オーディオストリームのパケット化タイミングを決定し、符号化する。

次に、これまでに説明した送信装置１１１が、仮想的な受信装置１１２の能力を考慮して、オーディオストリームをエンコードおよびパケット化し、送信する場合の処理を説明する。図８と図９は、図４の送信装置１１１における、ＴＳパケット送信処理を説明するフローチャートである。なお、この処理は、送信装置１１１の電源がオンされ、入力部１３１にオーディオストリームが入力されたとき開始される。

ステップＳ１１において、入力部１３１は、オーディオストリームの入力を受け付け、受け付けたオーディオストリームをオーディオエンコーダ１３２に出力する。

ステップＳ１２において、オーディオエンコーダ１３２は、オーディオストリームを、基本オーディオストリームと（基本オーディオストリームに対して拡張性を有する）拡張オーディオストリームとを含むようにエンコードする。その結果、オーディオエンコーダ１３２からは、図５に示される基本オーディオストリーム１８１と拡張オーディオストリーム１８２が（縦に）同期して出力される。

ステップＳ１３において、オーディオエンコーダ１３２は、エンコードしたオーディオストリームをレベル（ストリームの種類）ごとに分けてそれぞれ出力する。具体的には、オーディオエンコーダ１３２は、基本オーディオストリームをバッファ１３３の基本バッファ１４１に出力し、拡張オーディオストリームをバッファ１３３の拡張バッファ１４２に出力する。

ステップＳ１４において、基本バッファ１４１と拡張バッファ１４２は、オーディオエンコーダ１３２から供給されたオーディオストリームをそれぞれ格納（バッファリング）する。具体的には、基本バッファ１４１は、オーディオエンコーダ１３２から供給されてきた、エンコードされている基本オーディオストリームを格納し、拡張バッファ１４２は、オーディオエンコーダ１３２から供給されてきた、エンコードされている拡張オーディオストリームを格納する。

ステップＳ１５において、制御部１３５は、送るべきＰＴＳのオーディオアクセスユニットがあるか否かを判定し、送るべきＰＴＳのオーディオアクセスユニットがバッファ１３３にあると判定するまで処理を待機する。制御部１３５は、バッファ１３３に格納されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリーム）を監視するとともに、ＰＴＳを管理しているので、これらに基づいてステップＳ１５の判定を行う。オーディオアクセスユニット（例えば、ＢＳ（１）、ＢＳ（２）、・・・、ＢＳ（ｎ））のそれぞれは固定長（例えば、時間Ｔ０）とされているので、制御部１３５は、例えば、ＰＴＳ＝Ｔ０×ｊ（ｊは図５の括弧で示される添え字の数）に対応するオーディオアクセスユニット（図５の括弧で示される添え字ｊに対応するオーディオアクセスユニット）が、バッファ１３３に格納されたか否かを判定する。ステップＳ１５において、送るべきＰＴＳのオーディオアクセスユニットがあると判定された場合、制御部１３５は、そのオーディオアクセスユニットに対応するＰＴＳをＰＥＳパケット化部１３６に供給するとともに、ＰＥＳパケット化部１３６にＰＥＳパケット化を指令し、処理をステップＳ１６に進める。

ＰＥＳパケット化部１３６は、ステップＳ１６において、オーディオアクセスユニットをＰＥＳパケット化する。例えば、ＰＥＳパケット化部１３６は、基本バッファ１４１と拡張バッファ１４２のそれぞれを制御して基本オーディオストリームと拡張オーディオストリームを取得し（ＰＴＳに対応するオーディオアクセスユニットを取得し）、それぞれのオーディオストリームを、ＰＥＳパケットにそれぞれパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、ＰＥＳパケットストリームを構成するＰＥＳパケットのそれぞれに格納する。ＰＥＳパケット化部１３６は、生成したＰＥＳパケット（例えば、図５のＰＥＳパケットストリーム１９１の中で、このステップＳ１６の処理でＰＥＳパケット化したＰＥＳパケット）を、ＴＳパケット化部１３７に供給する。

ステップＳ１７において、ＴＳパケット化部１３７は、ＰＥＳパケット化部１３６から供給されてきたＰＥＳパケットをＴＳパケット化し、ＴＳパケット化したＴＳパケットを送信部１３８に供給する。具体的には、ＴＳパケット化部１３７は、基本オーディオストリーム１８１と拡張オーディオストリーム１８２のそれぞれのＰＥＳパケットを、図５の３段目に示されるように、それぞれ別のＩＤを持つＴＳパケットにパケット化する。これにより、図５に示されるように、基本オーディオストリーム１８１のＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝１」が含まれ、拡張オーディオストリーム１８２のＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝０」が含まれる。

ステップＳ１８において、制御部１３５は、図７の仮想デコーダ１２１のバッファ占有量の計算に基づいて、ＴＳパケットの送信タイミングを決定する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダのバッファ占有量の計算に基づいて（すなわち、２つの条件下における仮想デコーダ１２１のバッファ占有量の計算に基づいて）、ＴＳパケットの送信タイミングを決定し、その送信タイミングでＴＳパケットを送信するよう、送信部１３８を制御する。なお、この図７の仮想デコーダ１２１（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算の処理については、図１０と図１２を参照して後述する。

ステップＳ１９において、送信部１３８は、制御部１３５によるステップＳ１８の処理で決定された送信タイミングで、ＴＳパケット化部１３７から供給されたＴＳパケットを受信側の受信装置に送信する。この受信装置は、図３の仮想的な受信装置１１２ではなく、実際にＴＳパケットを受信する（デコーダを有する）図示せぬ受信装置である。なお、この例では、図示せぬ受信装置に送信するようにしたが、送信部１３８がドライブに送信し、リムーバブルメディアに記録させるようにしてもよい。

ステップＳ２０において、制御部１３５は、終了するか否かを判定する。例えば、制御部１３５は、入力部１３１へのオーディオストリームの入力が終了した場合や、ユーザによりＴＳパケット送信処理の終了が指令された場合や、１本のオーディオストリームの送信が終了した場合などに、処理を終了すると判定する。ステップＳ２０において、終了しないと判定された場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、再びオーディオストリームの入力が受け付けられてＴＳパケット化され、仮想デコーダ１２１のバッファ占有量の計算に基づいて送信タイミングが制御されたＴＳパケットが送信される。ステップＳ２０において、終了すると判定された場合、処理は終了される。

図８と図９の処理により、図７の仮想デコーダ１２１の（２つの条件下における）バッファ占有量の計算に基づいて、送信タイミングが制御されたＴＳパケットが送信されるので、図７の仮想デコーダ１２１モデルに対応するデコーダを有する受信装置（図示せず）であれば、この処理で送信されたＴＳパケットを確実にデコードすることができる。

次に、図９のステップＳ１８で制御部１３５により実行される、仮想デコーダ（２つの条件下における仮想デコーダ１２１）のバッファ占有量の計算を、図１０乃至図１３を参照して説明する。

最初に、図１０のフローチャートを参照して、基本オーディオストリームに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１が基本オーディオストリームのみをデコード可能であると想定して、すなわち、受信側の仮想デコーダ１２１が、第１の仮想デコーダであると想定して実行する処理である。換言すれば、制御部１３５は、図６の基本オーディオストリーム１８１のみを送信することを仮定してＴＳパケットのデコード（送信）タイミングを計算する処理である。

ステップＳ４１において、制御部１３５は、図７の仮想デコーダ１２１（第１の仮想デコーダ）のトランスポートバッファ３６２にｔｐ＝１のＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御する。すなわち、トランスポートバッファ３６２に基本オーディオストリームに対応するＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御する。

ステップＳ４２において、制御部１３５は、図７の仮想デコーダ１２１のエレメンタリバッファ３６３（Ｂｎ＝ｂｎ０）に空きがあれば、トランスポートバッファ３６２からＲｘｎ（＝ｒｘｎ０）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３に供給するものとして計算する。上述したように、第１の仮想デコーダのエレメンタリバッファ３６３への入力ビットレートはＲｘｎ＝ｒｘｎ０であるので、ｒｘｎ０のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３の記憶容量はＢｎ＝ｂｎ０であるものとして計算される。

ステップＳ４３において、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給するものとして計算する。例えば、仮想デコーダ１２１のシステムタイムクロックが、図１１に示されるようにｔ＝ＰＴＳ０（横軸ｔは時刻を示す）となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ０とされるオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。同様に、図１１においてｔ＝ＰＴＳ１となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ１とされる（ＰＴＳ１が付された）オーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。その後、処理は終了される。

なお、図１０の処理は、図９のステップＳ１８の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。

このように、制御部１３５は、基本オーディオストリームのみをデコード可能なデコーダ（第１の仮想デコーダ）を想定してデコーダのバッファ占有量を計算する。すなわち、制御部１３５は、図７を用いて上述した条件（１）の３つの項目を想定して、第１の仮想デコーダ１２１のバッファ占有量を計算し、ＴＳパケットの送信タイミングを決定する。これにより、基本オーディオストリームのみをデコード可能なデコーダ（実際のデコーダ）は、バッファ占有量をオーバーフローやアンダーフローすることなく、確実に基本オーディオストリームをデコードすることができる。

次に、図１２のフローチャートを参照して、基本オーディオストリームと拡張オーディオストリームに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１が基本オーディオストリームと拡張オーディオストリームをデコード可能であると想定して、すなわち、受信側の仮想デコーダ１２１が、第２の仮想デコーダであると想定して実行する処理である。換言すれば、制御部１３５は、図５の基本オーディオストリーム１８１および拡張オーディオストリーム１８２を送信することを仮定してＴＳパケットのデコード（送信）タイミングを計算する処理である。

ステップＳ８１において、制御部１３５は、図７の仮想デコーダ１２１（第２の仮想デコーダ）のトランスポートバッファ３６２にｔｐ＝１のＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御し、その上でトランスポートバッファ３６２にｔｐ＝０のＴＳパケットを入れる空きがあれば、そのＴＳパケットを送信するよう送信部１３８を制御する。すなわち、トランスポートバッファ３６２に基本オーディオストリームに対応するＴＳパケットを入れる空きがあれば、ＴＳパケットを送信するよう送信部１３８を制御し（図１０のステップＳ４１の条件を満たし）、さらに、トランスポートバッファ３６２に拡張オーディオストリームのＴＳパケットを入れる空きがあれば、そのＴＳパケットを送信するよう送信部１３８を制御する。

ステップＳ８２において、制御部１３５は、図７の仮想デコーダ１２１のエレメンタリバッファ３６３（Ｂｎ＝ｂｎ１）に空きがあれば、トランスポートバッファ３６２からＲｘｎ（＝ｒｘｎ１）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３に供給するものとして計算する。上述したように、第２の仮想デコーダのエレメンタリバッファ３６３への入力ビットレートはＲｘｎ＝ｒｘｎ１であるので、ｒｘｎ１のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３の記憶容量はＢｎ＝ｂｎ１であるものとして計算される。

ステップＳ８３において、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給するものとして計算する。例えば、仮想デコーダ１２１のシステムタイムクロックが、図１１に示されるようにｔ＝ＰＴＳ０（横軸ｔは時刻を示す）となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ０とされるオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。同様に、図１１においてｔ＝ＰＴＳ１となった場合、制御部１３５は、ＰＴＳ＝ＰＴＳ１とされる（ＰＴＳ１が付された）オーディオアクセスユニットをエレメンタリバッファ３６３から引き抜き、オーディオデコーダ３６４に供給されるものとして計算する。その後、処理は終了される。

なお、図１２の処理は、図９のステップＳ１８の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。すなわち、図９のステップＳ１８の処理を実行する場合に、図１０と図１２の処理が並行して実行される。より具体的には、図９のステップＳ１９の処理を実行する場合に、制御部１３５は、最初に、図１０の処理により基本オーディオストリームに対応するＴＳパケットの送信のタイミングを計算し、さらに、図１２の処理により、基本オーディオストリームおよび拡張オーディオストリームに対応するＴＳパケットの送信のタイミングを計算し、このような処理を繰り返し実行する（再び図１０の処理が実行され、その後、再び図１２の処理が実行される）。

換言すれば、制御部１３５は、第１の仮想デコーダを有する第１の仮想的な受信装置のエレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算した後、さらに、第２の仮想デコーダを有する第２の仮想的な受信装置のエレメンタリバッファがオーバーフローおよびアンダーフローしないようなタイミングを計算し、これらのタイミングを満たすように、ＴＳパケットを送信するよう制御する。

このように、制御部１３５は、基本オーディオストリームと拡張オーディオストリームをデコード可能な仮想デコーダ（第２の仮想デコーダ）を想定してデコーダのバッファ占有量を計算する。すなわち、制御部１３５は、図７を用いて上述した条件（２）の３つの項目を想定して、第２の仮想デコーダ１２１のバッファ占有量を計算し、ＴＳパケットの送信タイミングを決定する。これにより、基本オーディオストリームと拡張オーディオストリームをデコード可能なデコーダ（実際のデコーダ）は、バッファ占有量をオーバーフローやアンダーフローすることなく、確実に基本オーディオストリームと拡張オーディオストリームをデコードすることができる。

送信装置１１１の制御部１３５は、図１０と図１２の処理を並行して繰り返し実行し、仮想デコーダ１２１のバッファ占有量を計算することで、ＴＳパケットの送信タイミングを調整（決定する）ようにしたので、基本オーディオストリームのみに対応する第１の仮想デコーダ１２１であっても、基本オーディオストリームと拡張オーディオストリームの両方に対応する第２の仮想デコーダ１２１であっても、デコードを行うことができる。すなわち、実際に送信装置１１１から送信されたＴＳパケットを受信する受信装置が、基本オーディオストリームのみしかデコードできない場合であっても、基本オーディオストリームと拡張オーディオストリームの両方デコードできる場合であっても、それぞれの受信装置が有するバッファをオーバーフローおよびアンダーフローさせることなく、円滑にデコードすることができる。

例えば、図４の送信装置１１１が基本オーディオストリームと拡張オーディオストリームとに対応するＴＳパケットを実際の図示せぬ受信装置に送信する場合に、制御部１３５が図９のステップＳ１８の処理として図１２の処理のみを実行した場合（すなわち、第２の仮想デコーダを想定した場合）、ＴＳパケットは、図１３Ａに示されるようなタイミングで送信される。図１３Ａの例では、時刻ｔ１，ｔ４，ｔ７で基本オーディオストリームのＴＳパケットが送信され、時刻ｔ２，ｔ５，ｔ８で拡張オーディオストリームのＴＳパケットが送信され、時刻ｔ３，ｔ６，ｔ９でその他のＴＳパケット（図中、ＥＴＣで記述されているパケット）が送信される。このとき、１番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４１）が送信された後、２番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４２）が送信されるまでの時間は時間Ｔ１とされる。

一方、図４の送信装置１１１が基本オーディオストリームと拡張オーディオストリームとに対応するＴＳパケットを実際の図示せぬ受信装置に送信する場合に、制御部１３５が図９のステップＳ１８の処理として図１２の処理と並行して、さらに図１０の処理を実行した場合（すなわち、第１と第２の仮想デコーダを想定した場合）、ＴＳパケットは、図１３Ｂに示されるようなタイミングで送信される。図１３Ｂの例では、時刻ｔ１１，ｔ１４，ｔ１７で基本オーディオストリームのＴＳパケットが送信され、時刻ｔ１２，ｔ１５，ｔ１８で拡張オーディオストリームのＴＳパケットが送信され、時刻ｔ１３，ｔ１６，ｔ１９でその他のＴＳパケット（図中、ＥＴＣで記述されているパケット）が送信される。このとき、１番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４１）が送信された後、２番目の基本オーディオストリームのＴＳパケット（図５の例の場合、ＴＳパケット２４２）が送信されるまでの時間は時間Ｔ１１とされる。

図１３Ａと図１３Ｂを比較するに、基本オーディオストリームを送信した後、次の基本オーディオストリームを送信するまでの時間に差（時間Ｔ１１−Ｔ１）が出ている。図１３Ｂに示されるようなタイミングで送信した場合、基本オーディオストリームのみにしか対応していないデコーダであってもバッファ（エレメンタリバッファ３６３）のオーバーフローやアンダーフローが生じることなく、円滑にデコードを行うことができるが、図１３Ａに示されるようなタイミングで送信した場合、基本オーディオストリームのみにしか対応していないデコーダでは、バッファ（エレメンタリバッファ３６３）のオーバーフロー（図１３の例ではオーバーフロー）が生じることがある。このことは、図１３Ａのタイミングで送信するための仮想デコーダ１２１として、基本オーディオストリームと拡張オーディオストリームに対応しているデコーダのみを想定したためである。基本オーディオストリームと拡張オーディオストリームに対応しているデコーダでは、そのエレメンタリバッファ３６３のデータ容量（ｂｎ１）やエレメンタリバッファ３６３への入力ビットレートの値（ｒｘｎ１）が、基本オーディオストリームのみに対応しているデコーダのそれ（ｂｎ０，ｒｘｎ０）と比較して大きい。そのため、基本オーディオストリームのみに対応しているデコーダに、図１３ＡのタイミングでＴＳパケットが送信されてきた場合に、ＴＳパケットのオーバーフローやアンダーフローが生じることになるが、図１２の条件に加えて、図１０を用いて上述した基本オーディオストリームのみに対応する第１の仮想デコーダのバッファ占有量を考慮することで、基本オーディオストリームのみにしか対応していないデコーダであっても円滑にデコードを行うことができる。

以上により、基本オーディオストリームと拡張オーディオストリームからなる階層化符号化されたオーディオストリームをMPEG2-TSに符号化して送信する場合に、基本オーディオストリームのみにしか対応していないデコーダを有する第１の仮想的な受信装置１１２でも復号できるように、受信側の受信装置の能力を考慮してＴＳパケットを送信することができる。すなわち、仮想的な受信装置１１２が基本オーディオストリームのみしかデコードできないデコーダ（第１の仮想デコーダ）を有していたり、仮想的な受信装置１１２が基本オーディオストリームのみを抽出したデコードする場合に、所定のサイズの基本オーディオストリーム用のデコーダバッファをオーバーフローおよびアンダーフローすることがないように、送信装置１１１側で、階層化符号化されたオーディオストリーム（基本オーディオストリームと拡張オーディオストリームからなるオーディオストリーム）のパケット化（パケットの送信）タイミングを決定するようにしたので、基本オーディオストリームのみを受信側でデコードする場合であっても、円滑にデコードすることができる。

すなわち、送信装置１１１は、基本オーディオストリームのみしかデコードできないデコーダ（第１の仮想デコーダ）を有する仮想的な第１の受信装置と、基本オーディオストリームおよび拡張オーディオストリームをデコードできるデコーダ（第２の仮想デコーダ）を有する仮想的な第２の受信装置との両方で、トランスポートバッファ３６２がオーバーフローしないように、かつ、エレメンタリバッファの容量がオーバーフローおよびアンダーフローしないように、階層化符号化されたオーディオストリームのＴＳパケットの送信タイミングを決定するようにしたので、基本オーディオストリームのみを受信側でデコードする場合であっても、円滑にデコードすることができる。

なお、以上の例では、ＴＳパケット化部１３７がＴＳパケット化して多重化し、送信部１３８が、制御部１３５からの制御に基づくタイミングで、多重化されたトランスポートストリームを順次送信するようにしたが、ＴＳパケット化部１３７がＴＳパケット化した複数のＴＳパケットを、制御部１３５からの制御に基づくタイミングで多重化し、送信部は、単にその多重化されたトランスポートストリームを順次送信するようにしてもよい。すなわち、多重化されたＴＳの送信タイミングを制御するようにしてもよいし、ＴＳパケットを多重化するときにその配置（タイミング）を制御するようにしても、同様のＴＳが送信されることになり、このことは等価と考えられる。

次に、ＴＳパケットを多重化してトランスポートストリームとする場合の他の方法について、第２実施の形態として説明する。この実施の形態では、送信装置のＴＳパケット化部がＴＳパケット化し、多重化するときに、多重化のタイミングを調整するものとして説明する。

基本オーディオストリームが固定長符号化方式により符号化されている場合、すなわち１アクセスユニットが固定長である場合、基本オーディオストリームをＴＳパケット化したＴＳパケットと、ビデオストリームのＴＳパケットと、その他のストリームのＴＳパケットとを多重化するとき、例えば、図１４に示されるような多重化の方法が用いられることがある。

図１４においては、まず、オーディオストリームの１アクセスユニット（固定長である１アクセスユニット）が、十分広い間隔で等間隔になるように時間軸上に配置される。図１４の例の場合、その間隔は、時間Ｔ３１とされる。そして、配置されたオーディオストリームの間（時間軸上で空いている空間）に、ビデオストリームやその他のデータが配置される。このようにすることで、簡単に多重化するためのＴＳパケットの配置を決定し、多重化することができる。

図１４の例では、オーディオストリームが基本オーディオストリームのみにエンコードされて出力される場合であるが、次に、オーディオストリームが、基本オーディオストリームと拡張オーディオストリームとにエンコードされて出力される場合の多重化方法について、以下に説明していく。

図１５は、本発明を適用した他の送信装置１１１の構成例である。図中、図４と対応する部分については、同一の符号を付してあり、その説明は繰り返しになるので省略する。この図１５の送信装置１１１は、複数のＴＳパケットからなるトランスポートストリーム（ＴＳ）を送信する装置である。例えば、送信装置１１１は、仮想的な受信装置１１２を想定しながらMPEG2-TSの方式を用いて符号化（ＴＳパケットを多重化し）、このストリームを、ドライブを介して磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成されるリムーバブルメディアに記録させる（すなわち、この例の場合、送信装置１１１は、ドライブにストリームを送信する）。図１５の送信装置１１１は、予め多重化する対象となるオーディオストリームが決まっている場合に、多重化を行い、トランスポートストリームを送信（ドライブに送信、または受信装置に送信）する装置である。

図１５と図４とを比較するに、図１５においては、ＰＥＳパケット化部１３６に、基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２とが設けられている。また、図１５においては、ＴＳパケット化部１３７に、基本ＴＳパケット化部４０２−１、拡張ＴＳパケット化部４０２−２、および、多重化処理部４０３が設けられている。

基本ＰＥＳパケット化部４０１−１は、基本バッファ１４１に格納されている基本オーディオストリームを取得し、これをＰＥＳパケット化してＴＳパケット化部１３７に供給する。拡張ＰＥＳパケット化部４０１−２は、拡張バッファ１４２に格納されている拡張オーディオストリームを取得し、これをＰＥＳパケット化してＴＳパケット化部１３７に供給する。すなわち、ＰＥＳパケット化部１３６では、基本オーディオストリームと拡張オーディオストリームとが、別々にＰＥＳパケット化される。その結果、ＰＥＳパケット化部１３６からは、基本オーディオストリームのＰＥＳパケットストリーム（以下、基本オーディオＰＥＳとも称する）と、拡張オーディオストリームのＰＥＳパケットストリーム（以下、拡張オーディオＰＥＳとも称する）との２本のＰＥＳ（ＰＥＳパケットストリーム）が出力される。基本オーディオＰＥＳは、ＴＳパケット化部１３７の基本ＴＳパケット化部４０２−１に供給され、拡張オーディオＰＥＳパケットストリームは、ＴＳパケット化部１３７の拡張ＴＳパケット化部４０２−２に供給される。

基本ＴＳパケット化部４０２−１は、基本オーディオＰＥＳを、制御部１３５からの制御に基づいてＴＳパケット化し、これを、多重化処理部４０３に供給する。また、拡張ＴＳパケット化部４０２−２は、拡張オーディオＰＥＳを、制御部１３５からの制御に基づいてＴＳパケット化し、これを、多重化処理部４０３に供給する。多重化処理部４０３は、基本ＴＳパケット化処理部４０２−１から供給された基本オーディオストリームのＴＳパケット（以下、基本オーディオＴＳパケットと称する）と、拡張ＴＳパケット化処理部４０２−２から供給された拡張オーディオストリームのＴＳパケット（以下、拡張オーディオＴＳパケットと称する）とを、制御部１３５からの制御に基づいて多重化することで、ＴＳ（トランスポートストリーム）とし、送信部１３８に供給する。

なお、図１５の送信装置１１１において、ＰＥＳパケット化部１３６とＴＳパケット化部１３７以外の構成は、上述した図４と同様であるので、その説明は省略する。また、本実施の形態では、送信装置１１１の送信部１３８が受信装置に対してMPEG2-TSを送信するものとして説明しているが、送信部１３８がドライブを介して、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成されるリムーバブルメディアに記録させるようにしてもよい。例えば、送信部１３８がリムーバブルメディアにMPEG2-TSを記録させ、受信装置がリムーバブルメディアからMPEG2-TSを読み出すことで、受信装置にMPEG2-TSが送信される。

次に、図１６を参照して、オーディオストリームがＴＳパケット化されて多重化されるまでの流れについて説明する。なお、図中、図５と対応する部分については、同一の符号を付してあり、その説明は繰り返しになるので省略する。

図１６の例において、１段目の基本オーディオストリーム１８１と拡張オーディオストリーム１８２は、図１５のオーディオエンコーダ１３２によりエンコードされて出力された状態を示しており、２段目の基本オーディオＰＥＳ４１１と拡張オーディオＰＥＳ４１２は、図１５のＰＥＳパケット化部１３６の基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２とによりそれぞれＰＥＳパケット化されて出力された状態を示しており、３段目の基本オーディオＴＳ４１３と拡張オーディオＴＳ４１４は、図１５の基本ＴＳパケット化部４０２−１と拡張ＴＳパケット化部４０２−２とにそれぞれＴＳパケット化されて出力された状態を示しており、４段目のＴＳ２０１は、図１５の多重化処理部４０３により多重化されて出力された状態を示している。

すなわち、基本オーディオストリーム１８１は、基本ＰＥＳパケット化部４０１−１によりＰＥＳパケット化されて基本オーディオＰＥＳ４１１とされ、これがさらに基本ＴＳパケット化部４０２−１によりＴＳパケット化されて基本オーディオＴＳ４１３とされる。また、拡張オーディオストリーム１８２は、拡張ＰＥＳパケット化部４０１−２によりＰＥＳパケット化されて拡張オーディオＰＥＳ４１２とされ、これがさらに拡張ＴＳパケット化処理部４０２−２によりＴＳパケット化されて拡張オーディオＴＳ４１４とされる。そして、基本オーディオＴＳ４１３と、拡張オーディオＴＳ４１４とが多重化処理部４０３により多重化されることで、ＴＳ２０１が生成される。ここで、基本オーディオＴＳ４１３は、複数の基本オーディオＴＳパケットにより構成され、拡張オーディオＴＳ４１４は、複数の拡張オーディオＴＳパケットにより構成される。

多重化処理部４０３は、複数の基本オーディオＴＳパケット（基本オーディオＴＳ４１３）と複数の拡張オーディオＴＳパケット（拡張オーディオＴＳ４１４）とを、制御部１３５が決定した配置に基づいて多重化し、ＴＳ２０１を生成する。このとき、制御部１３５は、基本オーディオＴＳパケットを配置した後、基本オーディオＴＳパケットに対応する拡張オーディオＴＳパケットを、基本オーディオＴＳパケットと対となるようにＴＳパケットの配置を制御する。

このように、図５では、基本オーディオストリーム１８１と拡張オーディオストリーム１８２とが１本のＰＥＳ（ＰＥＳパケットストリーム）１９１とされたが、図１６においては、基本オーディオストリーム１８１と拡張オーディオストリーム１８２とが別々にＰＥＳパケット化され、基本オーディオＰＥＳストリーム４１１と拡張オーディオＰＥＳストリーム４１２とされる。すなわち、ＰＥＳパケット化部１３６は、基本オーディオストリームと拡張オーディオストリームの順番を考えずに、取得した基本オーディオストリームと拡張オーディオストリームとをそれぞれＰＥＳパケット化する。

なお、図１５と図１６では、オーディオストリームについて説明したが、実際には、ビデオストリームやその他のデータ（システムデータ）のＴＳパケットも多重化され、ＴＳとして送信される。この例を、図１７を参照して簡単に説明する。

オーディオストリームは、上述したように、ステップＳ１０１でオーディオエンコーダ１３２（図１５）に入力されると、ステップＳ１０２でオーディオエンコーダ１３２により符号化され（エンコードされ）、ステップＳ１０３で、基本オーディオＥＳ（基本オーディオエレメンタリストリーム）と、拡張オーディオＥＳ（拡張オーディオエレメンタリストリーム）とにわかれてＰＥＳパケット化部１３６の基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２とにそれぞれ出力される。基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２は、ステップＳ１０４において、基本オーディオＥＳと拡張オーディオＥＳとをそれぞれＰＥＳパケット化し、基本オーディオＰＥＳと拡張オーディオＰＥＳとを、ステップＳ１０５においてＴＳパケット化部１３７の基本ＴＳパケット化部４０２−１と拡張ＴＳパケット化部４０２−２とにそれぞれ供給する。

基本ＴＳパケット化部４０２−１と拡張ＴＳパケット化部４０２−２は、ステップＳ１０６において、基本オーディオＰＥＳと拡張オーディオＰＥＳとをそれぞれＴＳパケット化し、ステップＳ１０７において、複数の基本オーディオＴＳパケット（基本オーディオＴＳ）と複数の拡張オーディオＴＳパケット（拡張オーディオＴＳ）とをそれぞれ多重化処理部４０３に供給する。

ここで、ステップＳ１０３でオーディオエンコーダ１３２から出力される基本オーディオＥＳと拡張オーディオＥＳとは、図１６の基本オーディオストリーム１８１と拡張オーディオストリーム１８２とにそれぞれ対応している。また、ステップＳ１０５でＰＥＳパケット化部１３６の基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２からそれぞれ出力される基本オーディオＰＥＳと拡張オーディオＰＥＳは、図１６の基本オーディオＰＥＳ４１１と拡張オーディオＰＥＳ４１２とにそれぞれ対応している。また、ステップＳ１０７でＴＳパケット化部１３７の基本ＴＳパケット化部４０２−１と拡張ＴＳパケット化部４０１−２からそれぞれ出力される基本オーディオＴＳと拡張オーディオＴＳとは、図１６の基本オーディオＴＳ４１３と拡張オーディオＴＳ４１４とにそれぞれ対応している。

なお、ビデオストリームやその他のＥＳも、オーディオストリームと同様にＴＳパケット化される。ビデオストリームは、例えば、MPEG２，MPEG4-AVCなどMPEGの規格で想定されているストリームである。その他のＥＳには、例えば、グラフィックスストリームやテキストサブタイトル（テキスト字幕データ）などのストリームが含まれる。

具体的には、ビデオストリームの場合、ステップＳ１１１でビデオストリームがビデオエンコーダ（図示せず）に入力されると、ステップＳ１１２でビデオエンコーダにより符号化され、ステップＳ１１３で出力される。そして、ステップＳ１１４において、ビデオＥＳがＰＥＳパケット化され、ビデオＰＥＳがステップＳ１１５で出力される。また、ステップＳ１１６において、ビデオＰＥＳがＴＳパケット化され、ステップＳ１１７において、複数のＴＳパケットがＴＳパケット化部１３７の多重化処理部４０３に供給される。

また、その他のＥＳの場合、ステップＳ１３１でその他のＥＳ（既に符号化されているその他のデータのＥＳ）がＰＥＳパケット化部（図示せず）に入力されると、ステップＳ１３２でその他のＥＳがＰＥＳパケット化され、その他のＰＥＳがステップＳ１３３で出力される。また、ステップＳ１３４において、その他のＰＥＳがＴＳパケット化され、ステップＳ１３５において、複数のＴＳパケットがＴＳパケット化部１３７の多重化処理部４０３に供給される。

そして、ＴＳパケット化部１３７の多重化処理部４０３は、ステップＳ１０７で供給された基本オーディオＴＳと拡張オーディオＴＳ、ステップＳ１１７で供給された複数のビデオのＴＳパケット（ビデオのＴＳ）、およびステップＳ１３５で供給された複数のその他のＴＳパケット（その他のＴＳ）にそれぞれ含まれるＴＳパケットを、ステップＳ１４１において、制御部１３５からの制御に基づくタイミングで多重化し、多重化して生成したMPEG2-TS（ＴＳ）を、ステップＳ１４２において出力する。このとき、図７に示されるような仮想デコーダ１２１（図３）モデルを満たすようにMPEG2-TSが生成される。

このようにして、オーディオ、ビデオ、およびその他のデータのＴＳパケットが多重化され、MPEG2-TSとして出力される。

なおこのとき、図１６を用いて説明したように、PAT２２１とPMT２２２も、多重化されるＴＳパケットに含まれる。この場合、PAT２２１とPMT２２２には、ビデオ、オーディオ、および、その他のデータに対応するデータが含まれる。

次に、多重化されるＴＳパケット、すなわち、図１７のステップＳ１０７、ステップＳ１１７、およびステップＳ１３５の処理で出力されるＴＳパケットの例について、図１８を参照して説明する。

図１８において、ビデオのＴＳ（複数のビデオのＴＳパケット）４３１は、図１７のステップＳ１１７の処理で出力されるものであり、基本オーディオＴＳ（複数の基本オーディオＴＳパケット）４３２と拡張オーディオＴＳ（複数の拡張オーディオＴＳパケット）４３３は、図１７のステップＳ１０７の処理で出力されるものであり、その他のＴＳ（複数のその他のＴＳパケット）４３４は、図１７のステップＳ１３５の処理で出力されるものである。ここで、基本オーディオＴＳ（複数の基本オーディオＴＳパケット）４３２と拡張オーディオＴＳ（複数の拡張オーディオＴＳパケット）４３３は、上述した図１６の基本オーディオＴＳ４１３，拡張オーディオＴＳ４１４にそれぞれ対応している。

図１８に示されるように、ビデオのＴＳ４３１を構成する複数のＴＳパケットのそれぞれのヘッダには、同一のＰＩＤが付されている。具体的には、ビデオのＴＳ４３１を構成する複数のＴＳパケットのそれぞれのＰＩＤは、ＰＩＤ＝Ｖ０とされている。

また、基本オーディオＴＳ４３２と拡張オーディオＴＳ４３３とを構成する複数のＴＳパケットのそれぞれのヘッダには、同一のＰＩＤが付されているとともに、異なるＩＤが付されている。具体的には、基本オーディオＴＳ４３２と拡張オーディオＴＳ４３３を構成する複数のＴＳパケットのそれぞれのＰＩＤは、ＰＩＤ＝ａ０が付されている。また、基本オーディオＴＳ４３２を構成する複数のＴＳパケットのそれぞれのヘッダには、「ｔｐ＝１」が付され、拡張オーディオＴＳ４３３を構成する複数のＴＳパケットのそれぞれのヘッダには「ｔｐ＝０」が付されている。（上述した図５と同様）。このように、オーディオストリームに対して同一のＰＩＤが付され、基本オーディオストリームおよび拡張オーディオストリームを識別するために、それぞれ異なるｔｐ（transport_priority）が付される。

さらに、その他のＴＳ４３４を構成する複数のＴＳパケットのそれぞれのヘッダには、同一のＰＩＤが付されている。具体的には、その他のＴＳ４３４を構成する複数のＴＳパケットのそれぞれのＰＩＤは、ＰＩＤ＝Ｅ０とされている。なお、図１８においては、その他のＴＳパケットのＰＩＤを１つ（ＰＩＤ＝Ｅ０）としているが、例えば、その他のＴＳパケットに、インタラクティブグラフィックスストリームと、プレゼンテーショングラフィックスストリームなどの２種類のストリームが含まれていた場合には、それぞれの種類のストリームに対して、別々のＰＩＤが割り当てられる。すなわち、その他のＴＳに２種類のストリームが含まれている場合には、その他のＴＳパケットの中で２種類のＰＩＤが割り当てられる。

このように、ビデオストリームとオーディオストリーム（基本および拡張オーディオストリーム）とその他のＥＳとで、異なるＰＩＤを付してＴＳパケット化するようにしているので、ＰＩＤを確認するだけで、そのＴＳパケットの種類（ビデオであるかオーディオであるかその他のＥＳであるか）を識別することができる。また、オーディオストリームのＴＳパケットが、基本オーディオＴＳパケットであるか拡張オーディオＴＳパケットであるか（すなわち、基本オーディオストリーム１８１であるか拡張オーディオストリーム１８２であるか）も、ＴＳパケットのヘッダに付されているｔｐフラグを確認するだけで、識別することができる。

このようなビデオのＴＳ４３１、基本オーディオＴＳ４３２、拡張オーディオＴＳ４３３、およびその他のＴＳ４３４が、図１７のステップＳ１４１の処理で多重化され、１本のトランスポートストリームとされる。すなわち、図１３までに記載した第１実施の形態とは異なり（図１３までの例では、基本オーディオＴＳと拡張オーディオＴＳが１本のＴＳとされて多重化されたが）、第２実施の形態においては、基本オーディオＴＳ４３２と拡張オーディオＴＳ４３３とは、別々のＴＳとして多重化部４０３に入力される。

上述したように、図１５の送信装置１１１は、トランスポートストリームを送信する場合に、仮想的な受信装置１１２（図３）の能力に応じてＴＳパケットの送信（多重化）のタイミングを調整するようにする。すなわち、仮想的な受信装置１１２が基本オーディオストリームと拡張オーディオストリームの両方に対応した（基本オーディオストリームと拡張オーディオストリームの両方をデコード可能な）仮想的な受信装置である場合であっても、仮想的な受信装置１１２が基本オーディオストリームのみに対応した（基本オーディオストリームのみデコード可能な）受信装置である場合であっても、それらの仮想的な受信装置１１２のバッファがオーバーフローおよびアンダーフローせずにデコード可能となるように、送信装置１１１側で、エンコードしたＴＳパケットを多重化するタイミングを調整するようにする。

ここで、図１５の送信装置１１１が想定する仮想的な受信装置１１２については、図４の送信装置１１１と同様に、図７に示されるような仮想デコーダ１２１（図３）モデルを想定する。すなわち、図１５の送信装置１１１は、基本オーディオストリームと拡張オーディオストリームとをデコードし、パケット化する場合に、図７の仮想デコーダ１２１のモデルを想定する。なお、図７の説明および図７の内部の条件（１）と（２）については上述したので省略する。

図１５の送信装置１１１は、図７の仮想デコーダ１２１を満たすように、すなわち、図１６の基本オーディオＴＳ４１３を構成する複数の基本オーディオＴＳパケットと、拡張オーディオＴＳ４１４を構成する複数の拡張オーディオＴＳパケットとを、上述した（１）と（２）の条件を満たすように、多重化してトランスポートストリーム２０１を生成する。換言すれば、送信装置１１１は、第１の仮想的な受信装置と第２の仮想的な受信装置のそれぞれのバッファがオーバーフローおよびアンダーフローしないようなタイミングで、ＴＳパケットの多重化のタイミングを制御する。つまり、図７のオーディオデコーダ１２１モデルの、トランスポートバッファ３６２がオーバーフローすることなく、また、エレメンタリバッファ３６３がオーバーフローおよびアンダーフローすることがないように、送信装置１１１は、多重化するＴＳパケットを順次決定し、多重化し、これを送信する。

次に、図１５の送信装置が、仮想的な受信装置１１２の能力を考慮して、オーディオストリームをエンコードしてＰＥＳパケット化してＴＳパケット化し、多重化して送信する場合の処理を説明する。図１９と図２０は、図１５の送信装置１１１における、ＴＳパケット送信処理を説明するフローチャートである。なお、この処理は、送信装置１１１の電源がオンされ、入力部１３１にオーディオストリームが入力されたとき開始される。

ステップＳ２１１乃至ステップＳ２１５の処理は、上述した図８のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略し、ステップＳ２１６以降について説明する。

ステップＳ２１５において送るべきＰＴＳのオーディオアクセスユニットがあると判定された場合、処理はステップＳ２１６に進み、ＰＥＳパケット化部１３６は、オーディオアクセスユニットをＰＥＳパケット化する。具体的には、ＰＥＳパケット化部１３６の基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２が、基本オーディオストリームと拡張オーディオストリームとをそれぞれ取得し、ＰＥＳパケット化する。

より詳細には、ＰＥＳパケット化部１３６の基本ＰＥＳパケット化部４０１−１は、基本バッファ１４１を制御して、基本オーディオストリームを取得し（ＰＴＳに対応するオーディオアクセスユニットを取得し）、取得したオーディオストリームを、ＰＥＳパケットにパケット化する。このとき、基本ＰＥＳパケット化部４０１−１は、制御部１３５から供給されてきたＰＴＳを、基本オーディオＰＥＳを構成するＰＥＳパケットのそれぞれに格納する（図１６の基本オーディオＰＥＳ４１１参照）。また、ＰＥＳパケット化部１３６の拡張ＰＥＳパケット化部４０１−２は、拡張バッファ１４２を制御して、拡張オーディオストリームを取得し（ＰＴＳに対応するオーディオアクセスユニットを取得し）、取得したオーディオストリームを、ＰＥＳパケットにパケット化する。このとき、拡張ＰＥＳパケット化部４０１−２は、制御部１３５から供給されてきたＰＴＳを、拡張オーディオＰＥＳを構成するＰＥＳパケットのそれぞれに格納する（図１６の拡張オーディオＰＥＳ４１２参照）。

基本ＰＥＳパケット化部４０１−１は、生成したＰＥＳパケット（例えば、図１６の基本オーディオＰＥＳ４１１の中で、このステップＳ２１６の処理でＰＥＳパケット化したＰＥＳパケット）を、ＴＳパケット化部１３７の基本ＴＳパケット化部４０２−１に供給する。また、拡張ＰＥＳパケット化部４０１−２は、生成したＰＥＳパケット（例えば、図１６の拡張オーディオＰＥＳ４１２の中で、このステップＳ２１６の処理でＰＥＳパケット化したＰＥＳパケット）を、ＴＳパケット化部１３７の拡張ＴＳパケット化部４０２−２に供給する。

ステップＳ２１７において、ＴＳパケット化部１３７の基本ＴＳパケット化部４０２−１と拡張ＴＳパケット化部４０２−２は、基本ＰＥＳパケット化部４０１−１と拡張ＰＥＳパケット化部４０１−２からそれぞれ供給されてきた基本オーディオＰＥＳパケットと拡張オーディオＰＥＳパケットをそれぞれＴＳパケット化し、生成したＴＳパケットを、多重化処理部４０３に供給する。すなわち、基本ＴＳパケット化部４０２−１は、ＰＥＳパケット化部１３６の基本ＰＥＳパケット化部４０１−１から供給されてきた基本オーディオＰＥＳパケットをＴＳパケット化し、ＴＳパケット化して生成した基本オーディオＴＳパケットを、多重化処理部４０３に供給する。また、拡張ＴＳパケット化部４０２−２は、ＰＥＳパケット化部１３６の拡張ＰＥＳパケット化部４０１−２から供給されてきた拡張オーディオＰＥＳパケットをＴＳパケット化し、ＴＳパケット化して生成した拡張オーディオＴＳパケットを、多重化処理部４０３に供給する。

このとき、ＴＳパケット化された基本オーディオＴＳパケットと、拡張オーディオＴＳパケットの各ＴＳヘッダには、図１６に示されるように、同一のＰＩＤが付されているとともに、異なるtransport_priorityの値が付されている。図１６の例の場合、基本オーディオＴＳパケット（基本オーディオＴＳ４１１を構成する複数の基本オーディオＴＳパケット）の各ヘッダには「ＰＩＤ＝ａ０，ｔｐ＝１」が含まれ、拡張オーディオＴＳパケット（拡張オーディオＴＳ４１２を構成する複数の拡張オーディオＴＳパケット）の各ヘッダには、「ＰＩＤ＝ａ０，ｔｐ＝０」が含まれる。

ステップＳ２１８において、多重化処理部４０３は、制御部１３５からの制御に基づいて、ＴＳパケット多重化処理を実行する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダのバッファ占有量の計算（２つの条件下における図７の仮想デコーダ１２１のバッファ占有量の計算）に基づいて、多重化するＴＳパケット（基本オーディオＴＳパケットと拡張オーディオＴＳパケットとのうちのいずれかのＴＳパケット）を決定し、多重化すると決定されたＴＳパケットを多重化するよう、多重化部１３８を制御する。そして、多重化処理部４０３は、この制御部１３５からの制御に基づいて、ＴＳパケットを多重化し、トランスポートストリーム２０１を生成する。多重化処理部４０３は、多重化して生成したトランスポートストリーム２０１を、送信部１３８に供給する。なお、ＴＳパケット多重化処理の詳細については、図２１を参照して後述する。

なお、多重化できるＴＳパケットが複数ある場合、制御部１３５は、多重化できるＴＳパケットの中でDTS（Decoding Time Stamp）が早いものから順に多重化するよう制御してもよいし、仮想デコーダ１２１のバッファ占有量が少ない方のＴＳパケットから順に多重化するよう制御してもよい。

また、多重化するＴＳパケットの中に、図１８に示されるようなビデオのＴＳ４３１を構成するビデオのＴＳパケットやその他のＴＳ４３４を構成するその他のＴＳパケットが含まれる場合には、制御部１３５は、基本オーディオＴＳパケット、拡張オーディオＴＳパケット、ビデオのＴＳパケット、および、その他のＴＳパケットの中から、多重化するＴＳパケットを決定する。

ステップＳ２１９において、送信部１３８は、ＴＳパケット化部１３７の多重化処理部４０３から供給されてきたトランスポートストリーム２０１（図１６）を送信する。送信部１３８は、例えば、図示せぬドライブを制御して、リムーバブルメディアにトランスポートストリーム（MPEG2-TS）を送信したり、図示せぬ通信部を制御して、ネットワークを介して、受信装置にトランスポートストリームを送信したりする。この受信装置は、図７を参照して説明した仮想的な受信装置１２０ではなく、実際にMPEG2-TSを受信する（デコーダを有する）受信装置である。

ステップＳ２２０において、制御部１３５は、終了するか否かを判定する。例えば、制御部１３５は、入力部１３１へのオーディオデータの入力が終了した場合や、ユーザによりＴＳパケット送信処理の終了が指令された場合や、１本のオーディオストリームの送信が終了した場合などに、処理を終了すると判定する。ステップＳ２２０において、終了しないと判定された場合、処理はステップＳ２１１に戻り、それ以降の処理が繰り返される。すなわち、再びオーディオデータの入力が受け付けられてＴＳパケット化され、仮想デコーダ１２１のバッファ占有量の計算に基づいて多重化するＴＳパケットが決定されて多重化され、多重化された結果生成されたトランスポートストリームが送信される。ステップＳ２２０において、終了すると判定された場合、処理は終了される。

図１９と図２０の処理により、第１の仮想デコーダと第２の仮想デコーダ（条件（１）と条件（２）における図７の仮想デコーダ１２１）のバッファ占有量の計算に基づいて、ＴＳパケットが多重化されるので、図７の仮想デコーダ１２１のモデルに対応するデコーダを有する受信装置（図示せず）であれば、確実にデコード（復号）することができる。

次に、図２１のフローチャートを参照して、図２０のステップＳ２１８で実行される、ＴＳパケット多重化処理の詳細な例を説明する。なお、この処理は、送信するストリームが決定されている状態で開始される。

ステップＳ２５１において、制御部１３５は、基本オーディオストリームの周波数とオーディオストリームの１アクセスユニットのサンプル数（オーディオフレームのサンプル数）に基づいて、基本オーディオＴＳパケットを時間軸上に等間隔に配置する間隔（時間）を算出する。

例えば、基本オーディオストリームのサンプリング周波数が４８KHｚであり、１アクセスユニット（オーディオフレーム）のサンプル数が５１２である場合、１アクセスユニットは、約１０ミリ秒とされるので、１アクセスユニットをひとつのまとまりとして配置する場合、等間隔に配置する間隔は、時間１０ミリ秒とされる。なお、ここでは、基本オーディオストリームの周波数と基本オーディオストリームの１アクセスユニットのサンプル数に基づいて、基本オーディオＴＳパケットを時間軸上に等間隔に配置する間隔（時間）を算出するようにしたが、これに限らず、基本オーディオストリームのＴＳパケットの再生単位の時間に基づいて、基本オーディオＴＳパケットを時間軸上に等間隔に配置する間隔（時間）を算出するようにしてもよい。具体的な例としては、上述した例（基本オーディオストリームのサンプリング周波数が４８KHｚであり、１アクセスユニット（オーディオフレーム）のサンプル数が５１２である例）において、１アクセスユニットを１０個のＴＳパケットとして送信する場合には、１つのＴＳパケットを、１ミリ秒の間隔で配置するようにしてもよい。なお、以下において、このとき算出された間隔を時間Ｔ４１とする。

ステップＳ２５２において、制御部１３５は、基本オーディオＴＳパケットを、ステップＳ２５１の処理で算出した間隔（時間）Ｔ４１で配置する。例えば、制御部１３５は、図２２に示されるように、基本オーディオＴＳパケットを、時間Ｔ４１の間隔で配置する。なお、この間隔（時間Ｔ４１）は、拡張オーディオＴＳパケット、ビデオのＴＳパケット、およびその他のＴＳパケットが配置されうるだけの広さを有する間隔とされる。

なお、この実施の形態において、基本オーディオストリームの１アクセスユニットは固定長であるものとしていたが、基本オーディオストリームの１アクセスユニットが可変長である場合、アクセスユニットのサイズが異なってくるため、その場合には、等間隔ではなく、ほぼ等間隔で配置されることになる。

図２２において、Audio ＢＳは、基本オーディオＴＳパケットを示し、Audio Extは、拡張オーディオＴＳパケットを示し、Videoは、ビデオのＴＳパケットを示し、Etcは、その他のＴＳパケットを示している。また、横軸は時刻を示しており、図中右側に行くほど時刻が経過している。

図２２に示されるように、基本オーディオＴＳパケット４５１−１乃至４５１−４が、時間Ｔ４１の間隔で配置されている。ここで、基本オーディオＴＳパケット４５１−１乃至４５１−４については、付された符号が大きい方が、後（時間的に後）に符号化されたパケットであることを示している。すなわち、基本オーディオＴＳパケット４５１−１より基本オーディオＴＳパケット４５１−２の方が後に符号化されたパケットであり、基本オーディオＴＳパケット４５１−２より基本オーディオＴＳパケット４５１−３の方が後に符号化されたパケットであり、基本オーディオＴＳパケット４５１−３より基本オーディオＴＳパケット４５１−４の方が後に符号化されたパケットである。

図２１に戻って、ステップＳ２５３において、制御部１３５は、基本オーディオＴＳパケットを全て配置し終えたか否かを判定し、基本オーディオＴＳパケットを全て配置し終えたと判定されるまでこの処理は繰り返される。例えば、制御部１３５は、図１６の基本オーディオＴＳ４１３を構成する複数の基本オーディオＴＳパケットを、図２２に示されるように、時間Ｔ４１の間隔で全て配置し終えたか否かを判定する。ステップＳ２５３において、基本オーディオＴＳパケットを全て配置し終えたと判定された場合、処理はステップＳ２５４に進む。

ステップＳ２５４において、制御部１３５は、基本オーディオＴＳパケットに対応する拡張オーディオＴＳパケットを、基本オーディオＴＳパケットの対になるように配置する。基本オーディオストリームと拡張オーディオストリームとの関係については、拡張オーディオストリームをデコード（再生）する場合に、それに対応するＰＴＳを有する基本オーディオストリームが必要である関係がある。また、各オーディオストリームのＰＥＳパケットに付されたＰＴＳ（プレゼンテーションタイムスタンプ）について、基本オーディオストリームのＰＥＳパケットがＴＳパケット化された基本オーディオＴＳパケットの後に、拡張オーディオストリームのＰＥＳパケットがＴＳパケット化された拡張オーディオＴＳパケットが配置される必要がある。すなわち、ここで、基本オーディオＴＳパケットに対応する拡張オーディオＴＳパケットとは、同じＰＴＳを有するＰＥＳパケットがＴＳパケット化されたＴＳパケットのことを示す。

なお、このとき、同じＰＴＳを有する基本オーディオＴＳパケットと拡張オーディオＴＳパケットとの間に、ビデオのＴＳパケットやその他のＴＳパケットは配置されうるが、異なるＰＴＳを有する基本オーディオＴＳパケットや拡張オーディオＴＳパケットは配置されないものとする。すなわち、基本オーディオＴＳパケットと拡張オーディオＴＳパケットに格納されているＰＴＳを取り出したときに、そのＰＴＳが時系列に並んでいるものとされる。

図２２の例の場合、基本オーディオＴＳパケット４５１−１には、拡張オーディオＴＳパケット４５２−１が対応しており、基本オーディオＴＳパケット４５１−２には、拡張オーディオＴＳパケット４５２−２が対応しており、基本オーディオＴＳパケット４５１−３には、拡張オーディオＴＳパケット４５２−３が対応している。このように、制御部１３５は、基本オーディオＴＳパケットに対応する拡張オーディオＴＳパケットを、基本オーディオＴＳパケットの後に配置する。

ステップＳ２５５において、制御部１３５は、拡張オーディオＴＳパケットを全て配置し終えたか否かを判定し、拡張オーディオＴＳパケットを全て配置し終えたと判定されるまでこの処理は繰り返される。例えば、制御部１３５は、図１６の拡張オーディオＴＳ４１４を構成する複数の拡張オーディオＴＳパケットを、図２２に示されるように、全て配置し終えたか否かを判定する。ステップＳ２５５において、拡張オーディオＴＳパケットを全て配置し終えたと判定された場合、処理はステップＳ２５６に進む。なお、基本オーディオストリームの１アクセスユニットは固定長であるが、拡張オーディオストリームの１アクセスユニットは固定長であるとは限らない。また、オーディオストリームのビットレートはビデオストリームに比べて十分低いものとされる。

ステップＳ２５６において、制御部１３５は、空いている箇所にビデオのＴＳパケットやその他のＴＳパケットを配置する。具体的には、基本オーディオＴＳパケットと拡張オーディオＴＳパケットとを、ステップＳ２５５までの処理で配置し終えたので、残りの空間（時間軸上の空間）に、送信するビデオストリームのＴＳパケットやその他のＴＳパケットを配置する。例えば、制御部１３５は、図１８のビデオのＴＳ４３１を構成する複数のＴＳパケットや、その他のＴＳ４３４を構成する複数のＴＳパケットを、基本オーディオＴＳパケット４５１−１乃至４５１−４，並びに、拡張オーディオＴＳパケット４５２−１乃至４５２−３が配置された後の空いた空間に配置する。なお、ビデオのＴＳパケットやその他のＴＳパケットを送信しない場合、すなわち、ストリームにビデオストリームやその他のストリームが含まれない場合には、ステップＳ２５６とステップＳ２５７の処理は省略される。

図２２の例の場合、拡張オーディオＴＳパケット４５２−１の後に、ビデオのＴＳパケット４５３−１，４５３−２が配置され、基本オーディオＴＳパケット４５１−２の後にビデオのＴＳパケット４５３−３が配置され、拡張オーディオＴＳパケット４５２−２の後にビデオのＴＳパケット４５３−４が配置されている。また、拡張オーディオＴＳパケット４５２−３の後に、ビデオのＴＳパケット４５３−５，その他のＴＳパケット４５４−１が配置されている。このようにして、制御部１３５は、送信する複数のＴＳパケットの多重化の配置（多重化のタイミング）を決定する。

ステップＳ２５７において、制御部１３５は、ビデオのＴＳパケットとその他のＴＳパケットを全て配置し終えたか否かを判定し、ビデオのＴＳパケットとその他のＴＳパケットを全て配置し終えたと判定されるまでこの処理は繰り返される。例えば、制御部１３５は、図１８のビデオのＴＳ４３１を構成する複数のＴＳパケットと、図１８のその他のＴＳ４３４を構成する複数のＴＳパケットとを、図２２に示されるように、全て配置し終えたか否かを判定する。ステップＳ２５７において、ビデオのＴＳパケットとその他のＴＳパケットを全て配置し終えたと判定された場合、処理はステップＳ２５８に進む。

ステップＳ２５８において、ＴＳパケット化部１３７の多重化処理部４０３は、制御部１３５により決定された配置に基づいて、各ＴＳパケットを多重化する。これにより、図２２に示されるような配置に基づいて、各ＴＳパケットが多重化され、トランスポートストリーム（ＴＳ）が生成される。

ステップＳ２５９において、制御部１３５は、ステップＳ２５８の処理で多重化して生成したトランスポートストリームが、想定している図７の仮想デコーダ１２１のモデルを満たすことを確認する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダ（図７の仮想デコーダ１２１に条件（１）と条件（２）を当てはめることにより想定される２つの仮想デコーダ）で、ステップＳ２５８の処理で生成したトランスポートストリームをデコードするよう想定し、デコード可能であるか否かを確認する。このようにすることで、生成したトランスポートストリームが、仮想デコーダ１２１で確実に再生可能であることを確認することができる。ステップＳ２５９の処理の後、処理は終了される。

図２１の処理により、基本オーディオＴＳパケットを等間隔（時間Ｔ４１）で配置した後、対応する拡張オーディオＴＳパケットを配置し、さらに残りのＴＳパケットを配置して多重化するようにしたので、ＴＳパケットの多重化のための配置を容易に算出し、多重化することができる。

なお、図２２の例においては、拡張オーディオＴＳパケットが、対応する基本オーディオＴＳパケットの後ろであれば、基本オーディオＴＳパケットと拡張オーディオＴＳパケットとの間にビデオのＴＳパケットやその他のＴＳパケットが配置されていてもよい例を示しているが、図２３に示されるように、対となるオーディオＴＳパケットを連続して配置するようにしてもよい。なお、図中、図２２と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。また、図２３において、Audio ＢＳは、基本オーディオＴＳパケットを示し、Audio Extは、拡張オーディオＴＳパケットを示し、Videoは、ビデオのＴＳパケットを示し、Etcは、その他のＴＳパケットを示している。また、横軸は時刻を示しており、図中右側に行くほど時刻が経過している。

図２３においては、基本オーディオＴＳパケット（図中、Audio BSと記述されている）４５１−１乃至４５１−４が、時間Ｔ４１の間隔で配置されており、基本オーディオＴＳパケット４５１−１の後に拡張オーディオＴＳパケット４５２−１が配置され、基本オーディオＴＳパケット４５１−２の後に拡張オーディオＴＳパケット４５２−２が配置され、基本オーディオＴＳパケット４５１−３の後に拡張オーディオＴＳパケット４５２−３が配置されている。また、基本オーディオＴＳパケット４５１−１の前にビデオのＴＳパケット４５３−１が配置され、拡張オーディオＴＳパケット４５２−１の後にビデオのＴＳパケット４５３−２乃至４５３−４が配置されている。また、拡張オーディオＴＳパケット４５２−２の後にビデオのＴＳパケット４５３−５，４５３−６が配置され、拡張オーディオＴＳパケット４５２−３の後に、ビデオのＴＳパケット４５３−７とその他のＴＳパケット４５４−１が配置されている。

図２３に示すように、同じＰＴＳを有する基本オーディオＴＳパケットと拡張オーディオＴＳパケットとを並んで配置するようにしてもよいし、図２２に示すように、同じＰＴＳを有する基本オーディオＴＳパケットと拡張オーディオＴＳパケットの間に、ビデオのＴＳパケットやその他のＴＳパケットを配置するようにしてもよい。すなわち、オーディオのＰＴＳの値が逆にならなければ、その詳細な配置は自由とすることができる。

このように、第２実施の形態においては、図２１に示されるように、固定長符号化方式によりエンコードされた基本オーディオストリームのＴＳパケットを等間隔で配置した後、それに対応する拡張オーディオストリームのＴＳパケットを配置するようにしたので、簡単な方法で、多重化の配置を求めることができ、より容易に多重化を行うことができる。

また、基本オーディオストリームと拡張オーディオストリームのＴＳパケットを、多重化するときに、多重化のタイミングが、仮想的な受信装置の能力を考慮して調整されるようにすることで、受信側の能力を考慮したＴＳを送信するようにしたので、受信側において、円滑にデコードすることができる。

なお、本発明は、オーディオエンコーダを有する送信装置１１１に限らず、エンコードを行う全ての情報処理装置に適用することができる。また、送信装置１１１に限らず、ＴＳパケット化を行い、多重化して、ＴＳを生成する多重化装置に適用することもできる。すなわち、送信装置１１１の多重化処理を行うブロックであってもよいし、独立した多重化装置であってもよい。

さらに、以上の例では、本発明をオーディオストリームのエンコード、デコードに適用した場合について説明したが、これに限らず、ビデオストリームのエンコード、デコードに適用することもできる。すなわち、本発明は、オーディオストリームまたはビデオストリームなどの各種のストリームに適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図２４に示されるようなパーソナルコンピュータ５００により実行される。

図２４において、CPU５０１は、ROM５０２に記憶されているプログラム、または、記憶部５０８からRAM５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２４に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来、送信装置がMPEG2-TSを用いて符号化する場合における制約を説明する図である。 図１のデコーダの構成例を示す図である。 本発明を適用した送信装置がMPEG2-TSの方式を用いてオーディオストリームを符号化する場合の制約を説明する図である。 図３の送信装置の構成例を示す図である。 基本オーディオストリームと拡張オーディオストリームが多重化されたＴＳの構造を説明する図である。 基本オーディオストリームが多重化されたＴＳの構造を説明する図である。 図３の仮想的なデコーダのモデルを説明する図である。 ＴＳパケット送信処理を説明するフローチャートである。 ＴＳパケット送信処理を説明するフローチャートである。 基本オーディオストリームに対するバッファ占有量の計算処理を説明するフローチャートである。 デコーダのシステムタイムクロックを説明する図である。 基本オーディオストリームと拡張オーディオストリームに対するバッファ占有量の計算処理を説明するフローチャートである。 ＴＳパケットの送信タイミングを説明する図である。 ＴＳパケットの配置を説明する図である。 本発明を適用した他の送信装置の構成例を示す図である。 基本オーディオストリームと拡張オーディオストリームが多重化されたＴＳの構造を説明する図である。 ビデオストリーム、オーディオストリーム、およびその他のＥＳが多重化されるまでの流れを説明する図である。 ビデオストリーム、オーディオストリーム、およびその他のＥＳがそれぞれＴＳパケット化された例を説明する図である。 ＴＳパケット送信処理の他の例を説明するフローチャートである。 ＴＳパケット送信処理の他の例を説明するフローチャートである。 ＴＳパケット多重化処理の詳細な例を説明するフローチャートである。 ビデオストリーム、オーディオストリーム、およびその他のＥＳを多重化する配置の例を示す図である。 ビデオストリーム、オーディオストリーム、およびその他のＥＳを多重化する配置の他の例を示す図である。 パーソナルコンピュータの構成例を示す図である。

符号の説明

１１１ 送信装置， １１２ 仮想的な受信装置， １２１ 仮想デコーダ， １３１ 入力部， １３２ オーディオエンコーダ， １３３ バッファ， １３４ 抽出情報付加部， １３５ 制御部， １３６ ＰＥＳパケット化部， １３７ ＴＳパケット化部， １３８ 送信部， １４１ 基本バッファ， １４２ 拡張バッファ， １８１ 基本オーディオストリーム， １８２ 拡張オーディオストリーム， １９１ ＰＥＳ， ２０１ トランスポートストリーム， ３４１ ＰＩＤフィルタ， ３６１ トランスポートプリオリティフィルタ， ３６２ トランスポートバッファ， ３６３ エレメンタリバッファ， ３６４ オーディオデコーダ， ４０１−１ 基本ＰＥＳパケット化部， ４０１−２ 拡張ＰＥＳパケット化部， ４０２−１ 基本ＴＳパケット化部， ４０２−２ 拡張ＴＳパケット化部， ４０３ 多重化部， ４１１ 基本オーディオＰＥＳ， ４１２ 拡張オーディオＰＥＳ， ４１３ 基本オーディオＴＳ， ４１４ 拡張オーディオＴＳ， ４３１ ビデオのＴＳ， ４３２ 基本オーディオＴＳ， ４３３ 拡張オーディオＴＳ， ４３４ その他のＴＳ， ４５１ 基本オーディオＴＳパケット， ４５２ 拡張オーディオＴＳパケット

Claims (14)

1. 入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコード手段と、
   前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化手段と、
   前記ＴＳパケット化手段によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御手段と、
   前記制御手段により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化手段と
   を備える多重化装置。
2. 前記基本ストリームのＴＳパケットのトランスポートプライオリティと、前記拡張ストリームのＴＳパケットのトランスポートプライオリティは異なる
   請求項１に記載の多重化装置。
3. 前記基本ストリームのストリームＩＤと、前記拡張ストリームのストリームＩＤは異なる
   請求項１に記載の多重化装置。
4. 前記エンコード手段によりエンコードされた前記基本ストリームの１アクセスユニットは固定長とされる
   請求項１に記載の多重化装置。
5. 前記制御手段は、
   前記エンコード手段によりエンコードされた前記基本ストリームのＴＳパケットの再生単位の時間に基づいて、配置する前記基本ストリームのＴＳパケットの間隔を算出し、
   算出した前記間隔で、前記基本ストリームのＴＳパケットを配置するよう制御した後、
   配置した前記基本ストリームのＴＳパケットと対となる前記拡張ストリームのＴＳパケットをさらに配置するよう制御する
   請求項１に記載の多重化装置。
6. 前記基本ストリームは、基本オーディオストリームであるとともに、前記拡張ストリームは、拡張オーディオストリームであり、
   前記制御手段は、
   前記エンコード手段によりエンコードされた前記基本オーディオストリームの周波数と、前記基本オーディオストリームの１アクセスユニットのサンプル数に基づいて、配置する前記基本オーディオストリームのＴＳパケットの間隔を算出し、
   算出した前記間隔で、前記基本オーディオストリームのＴＳパケットを配置するよう制御した後、
   配置した前記基本オーディオストリームのＴＳパケットと対となる前記拡張オーディオストリームのＴＳパケットをさらに配置するよう制御する
   請求項１に記載の多重化装置。
7. 前記エンコード手段によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれＰＥＳ（Packetized Elementary Stream）パケットにパケット化するとともに、ＰＴＳ（Presentation Time Stamp）を付すＰＥＳパケット化手段をさらに備え、
   前記ＴＳパケット化手段は、前記ＰＥＳパケット化手段によりパケット化された複数の前記ＰＥＳパケットを、それぞれＴＳパケットにパケット化し、
   前記制御手段は、前記ＴＳパケット化手段によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するとともに、同じＰＴＳ（Presentation Time Stamp）を持つＰＥＳパケットがパケット化されたＴＳパケットについて、前記基本ストリームのＴＳパケットの後に、前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御し、
   前記多重化手段は、前記制御手段により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する
   請求項１に記載の多重化装置。
8. 前記多重化手段により多重化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを、記録媒体に記録させるよう制御する記録制御手段を
   さらに備える請求項１に記載の多重化装置。
9. 前記入力したストリームには、オーディオストリームとビデオストリームのうちの少なくとも一方が含まれる
   請求項１に記載の多重化装置。
10. 前記制御手段は、
    エレメンタリバッファの容量が第１の容量、前記エレメンタリバッファへの入力ビットレートが第１のレートと想定した、前記基本ストリームのみに対応している第１の仮想デコーダを有する第１の仮想的な受信装置と、エレメンタリバッファの容量が第２の容量、前記エレメンタリバッファへの入力ビットレートが第２のレートと想定した、前記基本ストリームと前記拡張ストリームとに対応している第２の仮想デコーダを有する第２の仮想的な受信装置との２つの仮想的な受信装置のそれぞれの前記エレメンタリバッファがオーバーフローおよびアンダーフローしないように、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットの配置を制御する
    請求項１に記載の多重化装置。
11. 前記エレメンタリバッファの第１の容量は、第２の容量より小さく、
    前記エレメンタリバッファへの入力ビットレートである第１のレートは、第２のレートより遅い
    請求項１０に記載の多重化装置。
12. 入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、
    前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化ステップと、
    前記ＴＳパケット化ステップの処理によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御ステップと、
    前記制御ステップの処理により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化ステップと
    を含む多重化方法。
13. 入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、
    前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化ステップと、
    前記ＴＳパケット化ステップの処理によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御ステップと、
    前記制御ステップの処理により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化ステップと
    を含む処理をコンピュータに実行させるプログラム。
14. 入力したストリームを、基本ストリームと基本ストリームに対して拡張性を有する拡張ストリームとを含むようにエンコードするエンコードステップと、
    前記エンコードステップの処理によりエンコードされた前記基本ストリームと前記拡張ストリームとを、それぞれ同一のパケットＩＤのＴＳ（Transport Stream）パケットにパケット化するＴＳパケット化ステップと、
    前記ＴＳパケット化ステップの処理によりパケット化された前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとのうち、前記基本ストリームのＴＳパケットを配置した後、配置した前記基本ストリームのＴＳパケットに対となる前記拡張ストリームのＴＳパケットを配置するよう、ＴＳパケットの配置を制御する制御ステップと、
    前記制御ステップの処理により制御された前記ＴＳパケットの配置に基づいて、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットとを多重化する多重化ステップと
    を含む処理により生成された、前記基本ストリームのＴＳパケットと前記拡張ストリームのＴＳパケットの多重化結果が記録されている
    記録媒体。

Images