WO2005076622A1

WO2005076622A1 - 情報処理装置および情報処理方法、プログラム、並びにデータ構造

Info

Publication number: WO2005076622A1
Application number: PCT/JP2004/016532
Authority: WO
Inventors: Motoki Kato
Original assignee: Sony Corporation
Priority date: 2004-02-06
Filing date: 2004-11-08
Publication date: 2005-08-18
Also published as: CA2553708C; CA2553708A1; EP1713276A1; CN1926872B; JPWO2005076622A1; KR20070001125A; US20070165676A1; EP1713276B1; US8483053B2; JP5263364B2; CN1926872A; JP2012042972A; JP4964467B2; KR101073950B1; EP1713276A4

Abstract

　本発明は、基本ストリームと複数段階の拡張ストリームを含むストリームを処理する情報処理装置および情報処理方法、プログラム、並びにデータ構造に関する。送信装置は、オーディオストリームをエンコードして、基本ストリームＢＳ、第１乃至第ｎの拡張ストリームＥｘｔ１乃至ＥｘｔＮとする。また、送信装置は、テーブル９０，９１を参照して、それぞれストリームの種類毎にPIDを付したＴＳパケット９２、並びに９３−１乃至９３−ｎと、テーブルのＴＳパケット９０，９１を生成して、受信装置に送信する。受信装置は、テーブルのＴＳパケット９０，９１を参照して、自分が処理できるストリームの種類を判別し、自分が処理できるストリームに関連付けられたPIDが付されているＴＳパケットを選択して、デコードする。本発明は、エンコードやデコードを行う送信装置、受信装置に適用することができる。

Description

明細書

情報処理装置および情報処理方法、プログラム、並びにデータ構造技術分野

[0001] 本発明は、情報処理装置および情報処理方法、プログラム、並びにデータ構造に関し、特に、基本ストリームと複数段階の拡張ストリームを含むストリームを処理する情報処理装置および情報処理方法、プログラム、並びにデータ構造に関する。

背景技術

[0002] MPEG (Moving Picture Experts Group) 2オーディオストリームは、 MPEG1オーディォデコーダでも再生できるように後方互換性がある。すなわち、 MPEG2オーディオストリームは、基本部分としての MPEG1オーディオストリーム部分と、それの拡張部分としての MPEG2オーディオ部分を含む構造とされて!/、る。

[0003] DVD (Digital Versatile Disc)ビデオのフォーマットでは、 MPEG2オーディオストリームをプログラムストリーム（Program Stream)に多重化する技術が開示されている（例えば、非特許文献 1)。図 1は、 DVDビデオのフォーマットにおけるプログラムストリーム 1 の構造を示す図である。図 1のプログラムストリーム 1には、ビデオパック（Video Pack) 11、 MEPG2オーディオパック（Audio Pack) 12、および複数のパック（Pack) 13— 1乃至 13— j (jは任意の自然数）が含まれて、る。

[0004] MPEG2オーディオパック 12には、パックヘッダ（Pack Header) 21、 PES (Packetized

Elementary Stream)パケットヘッダ 22、 MPEG1オーディオデータ（Base) 23、 PESパケットヘッダ 24、および MPEG2オーディオデータ（Extension) 25が含まれる。また、 MPEG2オーディオパック 12のペイロードは、 PESパケットヘッダ 22と MPEG1オーディォデータ 23からなる MPEG1オーディオの PESパケット、および PESパケットヘッダ 24と MPEG2オーディオデータ 25からなる MPEG2オーディオの拡張部分の PESパケットを持つ。

[0005] この MPEG2オーディオパック 12を再生する場合、 MPEG1オーディオストリームしかデコードできな、再生装置（MPEG 1のみに対応した再生装置）は MPEG 1オーディオストリーム部分である PESパケットヘッダ 22および MPEG1オーディオデータ 23だけを分離して再生し、 MPEG2オーディオストリームまでデコードできる再生装置 (拡張ォ一ディォストリームまでの再生能力を持った再生装置)では、基本と拡張の両方のォ一ディォストリームを分離して再生する。具体的には、後者の再生装置では、 PESパケットヘッダ 22および MPEG1オーディオデータ 23の他に、 MPEG2拡張オーディオストリームである PESパケットヘッダ 24および MPEG2オーディオデータ 25を再生する非特許文献 1 : DVD Specifications for Read- Only Disc Part 3;Versionl.l 発明の開示

発明が解決しょうとする課題

[0006] し力しながら、近年のストリームにおける拡張性に対し、図 1に示されるようなプログラムストリームの場合には、ストリーム構造をフォーマットとして決めてしまうため、さらなるオーディオストリームの拡張を追加することができないという課題があった。

[0007] このことは、拡張性の縮小に繋がるとともに、再生装置の共通化を実現しにくいという課題となる。

[0008] また、オーディオストリームを放送する場合、 TS (Transport Stream)に適用させて放送するのが一般的であるが、図 1に示されるようなプログラムストリームの符号ィ匕方法では、 TSに適用するには適していない。具体的には、ノック（例えば、図 1の MPEG 2オーディオパック 12)に相当する TSパケットは、 188バイト長と比較的小さいので、この中に基本部分（MPEG1)と拡張部分（MPEG2)の 2個の PESパケットを多重化した場合、符号化効率が悪!ヽとヽぅ問題がある。

[0009] 本発明はこのような状況に鑑みてなされたものであり、基本ストリームと複数段階の拡張ストリームを含むストリームをエンコードし、デコードできるようにするものである。課題を解決するための手段

[0010] 本発明の第 1の情報処理装置は、入力したストリームを、基本ストリーム、並びに基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのうち、少なくとも基本ストリームと第 1の拡張ストリームを含むようにエンコードするエンコード手段と、ェンコード手段によりエンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別する IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルを生成するテーブル生成手段と、ェンコード手段によりエンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれに、対応する IDを付加する付加手段と、付加手段により IDが付加された基本ストリーム、第 1乃至第 nの拡張ストリーム、並びにテーブルを、それぞれ TSパケットにパケット化するパケット化手段とを備えることを特徴とする。

[0011] 本発明の第 1の情報処理方法は、入力したストリームを、基本ストリーム、並びに基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのうち、少なくとも基本ストリームと第 1の拡張ストリームを含むようにエンコードするエンコードステップと、エンコードステップの処理によりエンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別する IDと、基本ストリーム、並びに第 1乃至第 n の拡張ストリームとを関連付ける情報が記載されたテーブルを生成するテーブル生成ステップと、エンコードステップの処理によりエンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれに、対応する IDを付加する付加ステップと、付加ステップの処理により IDが付加された基本ストリーム、第 1乃至第 nの拡張ストリーム、並びにテーブルを、それぞれ TSパケットにパケットィ匕するパケット化ステップとを含むことを特徴とする。

[0012] 本発明の第 1のプログラムは、入力したストリームを、基本ストリーム、並びに基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのうち、少なくとも基本ストリームと第 1の拡張ストリームを含むようにエンコードするエンコードステップと、ェンコードステップの処理によりエンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別する IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルを生成するテーブル生成ステップと、エンコードステップの処理によりエンコードされた基本ストリーム、並びに第 1 乃至第 nの拡張ストリームのそれぞれに、対応する IDを付加する付加ステップと、付カロステップの処理により IDが付加された基本ストリーム、第 1乃至第 nの拡張ストリーム、並びにテーブルを、それぞれ TSパケットにパケットィ匕するパケットィ匕ステップとを含む処理をコンピュータに実行させることを特徴とする。

[0013] 第 1の本発明によれば、入力したストリームが、基本ストリーム、並びに第 1乃至第 n の拡張ストリームのうち、少なくとも基本ストリームと第 1の拡張ストリームを含むようにエンコードされ、エンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別する IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが生成され、エンコードされた基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれに、対応する IDが付加され、基本ストリーム、第 1乃至第 nの拡張ストリーム、並びにテーブルが、それぞれ TSパケットにパケットィ匕される。

[0014] 本発明の第 2の情報処理装置は、基本ストリームを構成する TSパケット、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する T Sパケット、並びに、 TSパケットを識別する IDと TSパケットで構成される基本ストリームまたは第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されて、る TSパケットを含むストリームを入力する入力手段と、入力手段により入力された TSパケットに格納されているテーブルを参照し、自分が処理できるストリームの種類を判断する判断手段と、判断手段により自分が処理できると判断されたストリームに関連付けられた IDが付された TSパケットを、ストリーム力も選択する選択手段と、選択手段により選択された TSパケットをデコードするデコード手段とを備えることを特徴とする。

[0015] 選択手段により選択された TSパケットを、 ID毎にバッファリングするバッファ手段をさらに備えるものとすることができる。

[0016] 本発明の第 2の情報処理方法は、基本ストリームを構成する TSパケット、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する T Sパケット、並びに、 TSパケットを識別する IDと TSパケットで構成される基本ストリームまたは第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されて、る TSパケットを含むストリームを入力する入力ステップと、入力ステップの処理により入力された TSパケットに格納されているテーブルを参照し、自分が処理できるストリームの種類を判断する判断ステップと、判断ステップの処理により自分が処理できると判断されたストリームに関連付けられた IDが付された TSパケットを、ストリーム力選択する選択ステップと、選択ステップの処理により選択された TSパケットをデコードするデコードステップとを含むことを特徴とする。

[0017] 本発明の第 2のプログラムは、基本ストリームを構成する TSパケット、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケット、並びに、 TSパケットを識別する IDと TSパケットで構成される基本ストリームまたは第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されて、る TSパケットを含むストリームを入力する入力ステップと、入力ステップの処理により入力された TSパケットに格納されているテーブルを参照し、自分が処理できるストリームの種類を判断する判断ステップと、判断ステップの処理により自分が処理できると判断されたストリームに関連付けられた IDが付された TSパケットを、ストリームから選択する選択ステップと、選択ステップの処理により選択された TSパケットをデコードするデコードステップとを含む処理をコンピュータに実行させることを特徴とする。

[0018] 第 2の本発明によれば、基本ストリームを構成する TSパケット、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケット、並びに、 TSパケットを識別する IDと TS パケットで構成される基本ストリームまたは第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されている TSパケットを含むストリームが入力され、テーブルが参照されて、自分が処理できるストリームの種類が判断され、自分が処理できると判断されたストリームに関連付けられた IDが付された TSパケットが、ストリームから選択され、デコードされる。

[0019] 本発明の第 1のデータ構造は、全体ストリームには、基本ストリームを構成する TS パケットと、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットと、基本ストリームまたは第 1乃至第 nの拡張ストリームを構成する TSパケットと、これらの TSパケットと識別する IDとを関連付ける情報が記載されたテーブルが格納されている TS パケットとが含まれ、基本ストリームを構成する TSパケットと、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットのそれぞれのヘッダには、 TSパケットを識別する IDが含まれることを特徴とする。

[0020] 全体ストリームに含まれる基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットは、同時刻に再生される TS パケットが連続して、かつ、基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並べられているものとすることができる。

[0021] 第 3の本発明によれば、全体ストリームには、基本ストリームを構成する TSパケットと、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットと、基本ストリームまたは第 1乃至第 nの拡張ストリームを構成する TSパケットと、これらの TSパケットと識別する IDとを関連付ける情報が記載されたテーブルが格納されている TSパケットとが含まれ、基本ストリームを構成する TSパケットと、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットのそれぞれのヘッダには、 TSパケットを識別する IDが含まれる。

[0022] 本発明の第 3の情報処理装置は、基本ストリームと基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも基本ストリームをエンコードするエンコード手段と、基本ストリーム、並びに第 1乃至第 n の拡張ストリームのうち、エンコード手段によりエンコードされたものに、全体ストリームを識別するために利用される、同一の第 1の IDを付加する第 1の付加手段と、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、エンコード手段によりエンコードされたものに、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDを付加する第 2の付加手段と、第 1の付加手段と第 2の付加手段により第 1の IDと第 2の IDが付加された基本ストリーム、並びに、第 1乃至第 nの拡張ストリームを、それぞれ TSパケットにパケットィ匕するパケットィ匕手段とを備えることを特徴とする。

[0023] エンコード手段は、全体ストリームに含まれる基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットを、同時刻に再生される TSパケットが連続するように、かつ、基本ストリームを構成する TSバケツト、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並ぶようにエンコードするものとすることができる。

[0024] エンコード手段は、基本ストリームのそれぞれの同期単位に対応する第 1乃至第 n の拡張ストリームのうちのいずれかの同期単位が存在する場合、その同期単位において、第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームと、基本ストリームとをエンコードするちのとすることができる。

[0025] エンコード手段は、基本ストリームのそれぞれの同期単位に対応する第 1乃至第 n の拡張ストリームのうちのいずれかの同期単位が存在する場合、その同期単位において、第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームと、基本ストリームとをエンコードし、その同期単位において、第 1乃至第 nの拡張ストリームのうちの存在しない拡張ストリームはエンコードしないようにすることで、全体ストリームを可変ビットレートでエンコードするものとすることができる。

[0026] 本発明の第 3の情報処理方法は、基本ストリームと基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも基本ストリームをエンコードするエンコードステップと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、全体ストリームを識別するために利用される、同一の第 1の IDを付加する第 1の付カロステップと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、エンコードステツプの処理によりエンコードされたものに、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDを付加する第 2の付加ステップと、第 1の付加ステップと第 2の付加ステップの処理により第 1の IDと第 2の IDが付加された基本ストリーム、並びに、第 1乃至第 nの拡張ストリームを、それぞれ TSパケットにパケットィ匕するパケット化ステップとを含むことを特徴とする。

[0027] 本発明の第 3のプログラムは、基本ストリームと基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも基本ストリームをエンコードするエンコードステップと、基本ストリーム、並びに第 1乃至第 n の拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、全体ストリームを識別するために利用される、同一の第 1の IDを付加する第 1の付加ステツプと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、エンコードステップの処理によりエンコードされたものに、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDを付加する第 2の付加ステップと、第 1の付加ステップと第 2の付加ステップの処理により第 1の IDと第 2の IDが付加された基本ストリーム、並びに、第 1乃至第 nの拡張ストリームを、それぞれ TSパケットにパケットイ匕するパケット化ステップとを含む処理をコンピュータに実行させることを特徴とする。

[0028] 第 4の本発明によれば、基本ストリームと基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも基本ストリームがエンコードされ、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、エンコードされたものに、全体ストリームを識別するために利用される、同一の第 1の I Dが付加されるとともに、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDが付加され、それぞれ TSパケットにパケットィ匕される

[0029] 本発明の第 4の情報処理装置は、基本ストリームを構成する TSパケットと、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットとが含まれうる全体ストリームを入力する入力手段と、入力手段により入力された TSパケットのそれぞれに格納されてヽる、全体ストリームを識別するために利用される第 1の IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あら力じめ設定されて、る所定の条件とに基づ!/、て、自分が処理できる TSパケットを、全体ストリームから選択する選択手段と、選択手段により選択された TSパケットをデコードするデコード手段とを備えることを特徴とする。

[0030] 入力手段には、同時刻に再生される基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットが連続するように、かつ、基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並んだ全体ストリームが入力されるものとすることがでさる。

[0031] 入力手段に入力される全体ストリームには、少なくともエンコードされている基本ストリームが含まれ、基本ストリームのそれぞれの同期単位に対応する第 1乃至第 nの拡張ストリームが可変ビットレートでエンコードされてさらに含まれるものとすることができる。 [0032] 本発明の第 4の情報処理方法は、基本ストリームを構成する TSパケットと、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットとが含まれうる全体ストリームを入力する入力ステップと、入力ステップの処理により入力された TSパケットのそれぞれに格納されている、全体ストリームを識別するために利用される第 1の IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あら力じめ設定されて、る所定の条件とに基づいて、自分が処理できる TSパケットを、全体ストリームから選択する選択ステップと、選択ステップの処理により選択された TSパケットをデコードするデコードステップとを含むことを特徴とする。

[0033] 本発明の第 4のプログラムは、基本ストリームを構成する TSパケットと、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TS パケットとが含まれうる全体ストリームを入力する入力ステップと、入力ステップの処理により入力された TSパケットのそれぞれに格納されている、全体ストリームを識別するために利用される第 1の IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あら力じめ設定されている所定の条件とに基づいて、自分が処理できる TSパケットを、全体ストリームから選択する選択ステップと、選択ステップの処理により選択された TSパケットをデコードするデコードステップとを含む処理をコンピュータに実行させることを特徴とする。

[0034] 第 5の本発明によれば、基本ストリームを構成する TSパケットと、基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットとが含まれうる全体ストリームが入力され、 TSパケットのそれぞれに格納されて、る、全体ストリームを識別するために利用される第 1の IDと、基本ストリーム、並びに第 1 乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あら力じめ設定されている所定の条件とに基づいて、自分が処理できる TSパケットが、全体ストリームから選択され、デコードされる。

[0035] 本発明の第 2のデータ構造は、全体ストリームには、基本ストリームを構成する TS パケットと、基本ストリームのそれぞれの同期単位に対応する第 1乃至第 nの拡張ストリームのうちのいずれかの同期単位が存在する場合には、その同期単位において、第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームを構成する TSパケットとが含まれ、基本ストリームを構成する TSパケットと、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットのそれぞれのヘッダには、全体ストリームを識別するために利用される第 1の IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDとが含まれることを特徴とする。

[0036] 全体ストリームに含まれる基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットは、同時刻に再生される TS パケットが連続して、かつ、基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並べられている。

[0037] 全体ストリームには、少なくとも基本ストリームが含まれ、基本ストリームのそれぞれの同期単位に対応する第 1乃至第 nの拡張ストリームを構成する TSパケットの個数が可変長とされてさらに含まれるものとすることができる。

[0038] 第 6の本発明によれば、全体ストリームには、基本ストリームを構成する TSパケットと、基本ストリームのそれぞれの同期単位に対応する第 1乃至第 nの拡張ストリームのうちのいずれかの同期単位が存在する場合には、その同期単位において、第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームを構成する TSパケットとが含まれ、基本ストリームを構成する TSパケットと、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットのそれぞれのヘッダには、全体ストリームを識別するために利用される第 1の IDと、基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDとが含まれる。

発明の効果

[0039] 第 1の本発明によれば、ストリームの拡張に対応した処理を行うことができる。特に、本発明によれば、ストリームが拡張された場合においても、受信側の情報処理装置に対応するようにエンコードを行うことができる。

[0040] 第 2の本発明によれば、ストリームの拡張に対応した処理を行うことができる。特に、本発明によれば、拡張されたストリームが入力された場合においても、自分の処理能力に応じてデコードすることができる。

[0041] 第 3の本発明によれば、ストリームの拡張に対応したデータ構造とすることができる。特に、本発明によれば、ストリームが拡張された場合においても、受信側の情報処理装置に対応するデータ構造とすることができる。

[0042] 第 4の本発明によれば、ストリームの拡張に対応した処理を行うことができる。特に、本発明によれば、ストリームが拡張された場合においても、受信側の情報処理装置に対応するようにエンコードを行うことができる。

[0043] 第 5の本発明によれば、ストリームの拡張に対応した処理を行うことができる。特に、本発明によれば、拡張されたストリームが入力された場合においても、自分の処理能力に応じてデコードすることができる。

[0044] 第 6の本発明によれば、ストリームの拡張に対応したデータ構造とすることができる。

特に、本発明によれば、ストリームが拡張された場合においても、受信側の情報処理装置に対応するデータ構造とすることができる。

図面の簡単な説明

[0045] [図 1]DVDビデオのフォーマットにおけるプログラムストリームの構造を示す図である。

[図 2]本発明を適用した第 1の実施の形態の送受信システムの全体の構成例を示す図である。

[図 3]図 2の送信装置の構成例を示すブロック図である。

[図 4]基本オーディオストリームと複数段階の拡張オーディオストリームを多重化した T Sの構造を説明する図である。

[図 5]基本オーディオストリームと複数段階の拡張オーディオストリームを多重化した T Sの構造を説明する図である。

[図 6]図 3の送信装置における TSパケット送信処理を説明するフローチャートである。

[図 7]PATのテーブルの例を説明する図である。

[図 8]PMTのテーブルの例を説明する図である。

[図 9]TSパケット生成処理を説明するフローチャートである。

[図 10]図 2の受信装置の構成例を示すブロック図である。

[図 11]基本オーディオストリームだけを復号できるオーディオストリーム処理部の構成例を示す図である。

[図 12]図 10の受信装置における TSパケット受信処理を説明するフローチャートである。

[図 13]図 11のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。

[図 14]基本オーディオストリームと第 1の拡張オーディオストリームを復号できるォーディォストリーム処理部の構成例を示す図である。

圆 15]基本オーディオストリームと第 1、第 2の拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。

圆 16]基本オーディオストリームと第 1乃至第 nの拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。

[図 17]図 16のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。

圆 18]基本オーディオストリームと第 1乃至第 nの拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。

圆 19]TSパケットの順番を説明する図である。

圆 20]本発明を適用した第 2の実施の形態の送信装置の構成例を示すブロック図である。

[図 21]PMTのテーブルの他の例を説明する図である。

圆 22]基本オーディオストリームと複数段階の拡張オーディオストリームを多重化した TSの構造を説明する図である。

圆 23]基本オーディオストリームと複数段階の拡張オーディオストリームを多重化した TSの構造を説明する図である。

[図 24]TSパケット生成処理を説明するフローチャートである。

圆 25]図 23に対応する TSパケットの構造を説明する図である。

[図 26]基本オーディオストリームと第 1の拡張オーディオストリームを多重化した TSの構造を説明する図である。

圆 27]図 26に対応する TSパケットの構造を説明する図である。

圆 28]基本オーディオストリームと第 1乃至第 nの拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。 [図 29]TSパケットの順番を説明する図である。

[図 30]図 28のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。

[図 31]図 28のオーディオストリーム処理部におけるオーディオストリーム処理を説明するフローチャートである。

[図 32]基本オーディオストリームと第 1の拡張オーディオストリームを復号できるォーディォストリーム処理部の構成例を示す図である。

[図 33]TSパケットの順番を説明する図である。

[図 34]基本オーディオストリームと第 1、第 2の拡張オーディオストリームを復号できるオーディオストリーム処理部の構成例を示す図である。

[図 35]TSパケットの順番を説明する図である。

[図 36]パーソナルコンピュータを説明する図である。

[図 37]TSパケットの他の構成例を説明する図である。

符号の説明

[0046] 40 送受信システム， 41 送信装置， 42 受信装置， 71 入力部， 72 ォーディォエンコーダ， 73 基本バッファ， 74— 1乃至 74— n 拡張バッファ， 76 TS パケット化部， 77 送信部， 90乃至 92、 93— 1乃至 93— n TSパケット， 121 受信部， 122 オーディオストリーム処理部， 123 出力部， 151 入力部， 15 2 フィルタ制御部， 153 PIDフィルタ， 154 基本バッファ， 155 オーディオデコーダ， 201 PIDフィルタ， 202 拡張バッファ， 203 オーディオデコーダ， 2 31 PIDフィルタ， 232 オーディオデコーダ， 261 PIDフィルタ， 262 オーディォデコーダ， 301 PIDフィルタ， 302 バッファ， 303 オーディオデコーダ， 310 送信装置， 311 抽出情報付加部， 312 TSパケット化部， 313 Sub— id 付加部， 404 Sub jdフィルタ制御部， 405 Subjdフィルタ

発明を実施するための最良の形態

[0047] 以下、図 2乃至図 19を参照して、本発明の第 1の実施の形態について説明する。

[0048] 図 2は、本発明を適用した送受信システムの全体の構成例を示す図である。

[0049] この送受信システム 40には、送信装置 41と受信装置 42が設けられている。送信装置 41は、例えば、放送局などのように複数の TSパケットからなるストリームを送信する装置であり、受信装置 42は、例えば、家庭内のセットトップボックスなどの、家庭内におヽてストリームを受信する装置である。

[0050] 本実施の形態では、送信装置 41でオーディオストリームが符号ィ匕されるとともに、 T Sパケット化されて送信され、受信装置 42で、 TSパケットが受信され、復号され、ォ一ディォストリームが取得される。

[0051] 図 3は、図 2の送信装置 41の構成例を示すブロック図である。

[0052] 送信装置 41には、入力部 71、オーディオエンコーダ 72、基本バッファ 73、拡張バッファ 74— 1乃至 74— n、抽出情報付加部 75、 TSパケットィ匕部 76、および送信部 77 が設けられている。 nは 1以上の任意の自然数である。

[0053] 入力部 71には、送信するオーディオストリームが入力される。オーディオエンコーダ 72は、オーディオストリームをエンコード（符号ィ匕）する。図 3のオーディオエンコーダ 72は、第 n段の拡張オーディオストリームに対応したエンコーダである。すなわちォ一ディォエンコーダ 72は、オーディオストリームを、基本ストリーム、並びに第 1段から第 n段までの複数段階の拡張オーディオストリームとしてエンコードすることができる。

[0054] 本実施の形態では、段数 nが大き、値であるほど、拡張性が高ぐオーディオの再生品質が高くなつたり、機能性が高くなる。オーディオエンコーダ 72は、オーディオストリームを基本ストリームと第 1乃至第 nの拡張ストリームにエンコードし、それぞれ対応する基本バッファ 73、並びに、対応する段数の拡張バッファ 74— 1乃至 74— nにェンコードしたストリームを供給する。例えば、オーディオエンコーダ 72は、エンコードした基本オーディオストリーム（BS)を基本バッファ 73に供給し、エンコードした第 1の拡張オーディオストリーム (Extl)を拡張バッファ 74— 1に供給し、エンコードした第 2 の拡張オーディオストリーム（Ext2)を拡張バッファ 74— 2に供給し、同様に、ェンコードした第 nの拡張オーディオストリーム (ExtN)を拡張バッファ 74— nに供給する。ここで、拡張オーディオストリームの段数とバッファの符号は対応している。なお、基本オーディオストリームを BSと記述し、第 1乃至第 nの拡張オーディオストリームを、それぞれ Extl乃至 ExtNと記述する。

[0055] なお、本実施の形態のオーディオエンコーダ 72は、オーディオストリームを、基本ストリーム、並びに第 1乃至第 nの拡張オーディオストリームに分離した後、それぞれをエンコードするようにしてもよいし、オーディオストリームをエンコードした結果、基本ストリーム、並びに第 1乃至第 nの拡張オーディオストリームが出力されるようにしてもよい。

[0056] 基本バッファ 73は、基本オーディオストリームを格納 (バッファリング）し、拡張バッファ 74-1乃至 74-nは、それぞれ第 1乃至第 nの拡張オーディオストリームを格納 (バッファリング）する。そして、 TSパケットィ匕部 76からの制御に基づいて、それぞれ基本ノッファ 73、拡張バッファ 74— 1乃至 74— nに格納されているオーディオストリームを

BJCみ出す。

[0057] 抽出情報付加部 75は、基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリームの中から、所望の段数の拡張オーディオストリームをデコード側で抽出するために、抽出情報であるテーブルを生成する。このテーブルには、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームのそれぞれを識別する ID ( 第 1の実施の形態においては PID (Packet Identification) )と、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームとを関連付ける情報が記述されている。具体的には、テープノレは、 PAT (Program Association Table)と PMT (Program Map Table)により構成されている。なお、テーブルの詳細については、図 7と図 8を参照して後述する。抽出情報付加部 75は、テーブルを、 TSパケットィ匕部 76に供給する

[0058] TSパケット化部 76は、基本バッファ 73、並びに拡張バッファ 74—1乃至 74— nを制御して基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを取得するとともに、抽出情報付加部 75から供給されたテーブルを取得する。また TS パケットィ匕部 76は、テーブルを TSパケットィ匕したり、テーブルに基づいて基本オーディォストリーム、並びに第 1乃至第 nの拡張オーディオストリームをそれぞれ TSバケツト化する (TSパケットを生成する)。このとき、 TSパケットィ匕部 76は、ストリームの種類（基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリーム）を識別する PIDをテーブルに基づいて付加する。 TSパケットィ匕部 76は、生成した TSバケツトを送信部 77に供給する。送信部 77は、 TSパケットを送信する。このとき、複数の T Sパケットが連続して送信されるため、結果として (複数の TSパケットからなる） 1つのストリームが送信されることになる。

[0059] この第 1の実施の形態においては、 PIDは、 MPEGの TSを構成する各パケット（TS パケット（トランスポートストリームパケット)）を識別するためのものであり、各パケットには、ユニークな値の PIDが付されるようになされている。すなわち、受信側の受信装置 42で、所望の段数の拡張オーディオストリームのパケットを選択するためには、そのパケットに付されている PIDの値が必要となる。

[0060] 次に、図 4と図 5を参照して、基本オーディオストリームと複数段階の拡張オーディォストリームを多重化した TS (トランスポートストリーム）の構造を説明する。

[0061] 図 4の例の場合、 TSは、基本オーディオストリーム 81、第 1の拡張オーディオストリーム 82-1乃至第 nの拡張オーディオストリーム 82-nにより構成されている。また、基本オーディオストリーム 81と第 1乃至第 nの拡張オーディオストリーム 82-1乃至 82- nは、ともに、所定のオーディオサンプル数を 1つの単位として符号ィ匕されており、それぞれの単位毎に括弧で示す添え字で区切って示して、る。具体的な例としては、基本オーディオストリーム 81は、 BS(1),BS(2), · · · , BS (n)というように、複数の単位に分離され、符号化されている。また、添え字の同じもの同士、例えば、 BS(l),Extl( l),Ext2(l)、 · · ·、 ExtN(l)は、同期してオーディオエンコーダ 72にエンコードされるとともに、同期して再生 (デコード)される。

[0062] TSパケットィ匕部 76は、これらの基本オーディオストリーム 81と第 1乃至第 nの拡張オーディオストリーム 82— 1乃至 82— nを、図 5に示されるように、それぞれ別々の PID ( パケット ID)の TSパケットで多重化する。 1つの TSパケットには、例えば、 188ノイト長のデータが格納される。

[0063] 図 5の TSストリームには、 PAT(Program Association Table)が記載されたテーブルの TSノケット 90、 PMT (Program Map Table)が記載されたテーブルの TSパケット 91 、 PID = aOである基本オーディオストリーム（BS)の TSパケット 92、 PID = alである第 1の拡張オーディオストリーム（Extl)の TSノケット 93—1、 PID = a2である第 2の拡張オーディオストリーム（Ext2)の TSパケット 93— 2、 · · ·、 PID = aNである第 nの拡張ォ一ディォストリーム（ExtN)の TSパケット 93— nが含まれている。ここで、テーブルの T Sパケット 91は所定の周期毎に送信装置 41によって送信されるものである。

[0064] 本実施の形態では、再生側の受信装置 42は、少なくとも、基本オーディオストリーム (BS)をデコードする能力を持つとする。また、再生側の受信装置 42が、所定の第 m段階 (mは 1以上の自然数であり、 m≤nである)までの拡張オーディオストリームを再生可能な場合、受信装置 42は、基本オーディオストリームと第 1乃至第 mまでの拡張オーディオストリームをデコードすることができる。基本オーディオストリームと拡張オーディオストリームの関係としては、例えば、 nが大きな値の拡張オーディオストリームまでをデコードできるほど、オーディオの再生品質が高くなつたり、また、機能性が高くなつたりする。

[0065] 次に、図 6のフローチャートを参照して、図 3の送信装置 41における、 TSパケット送信処理を説明する。なお、この処理は、送信装置 41の電源がオンされ、入力部 71にオーディオストリームが入力されたとき開始される。

[0066] ステップ S11において、入力部 71は、オーディオストリームの入力を受け付け、ステップ S12において、受け付けたオーディオストリームをオーディオエンコーダ 72に出力する。

[0067] ステップ S13において、オーディオエンコーダ 72は、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームをエンコードする。その結果、オーディォエンコーダ 72からは、図 4に示される基本オーディオストリーム、並びに、第 1乃至第 nの拡張オーディオストリームが、（縦に）同期して出力される。

[0068] ステップ S14において、オーディオエンコーダ 72は、エンコードしたオーディオストリームをレベル (ストリームの種類)ごとに分けてそれぞれ出力する。具体的には、ォーディォエンコーダ 72は、エンコードした基本オーディオストリームを基本バッファ 73に出力し、エンコードした第 1の拡張オーディオストリームを拡張バッファ 74— 1に出力し、エンコードした第 2の拡張オーディオストリームを拡張バッファ 74— 2に出力し、ェンコードした第 nの拡張オーディオストリームを拡張バッファ 74-nに出力する。

[0069] ステップ S15において、基本バッファ 73、並びに、第 1乃至第 nの拡張バッファ 74— 1乃至 74— nは、エンコードされたオーディオストリームをそれぞれ格納する（バッファリングする）。 [0070] ステップ S16において、基本バッファ 73、並びに、第 1乃至第 nの拡張バッファ 74— 1乃至 74— nは、それぞれ所定のタイミングでエンコードされたオーディオストリームを出力する。なお実際には、 TSパケットィ匕部 76がそれぞれのバッファ（基本バッファ 73 、並びに第 1乃至第 nの拡張バッファ 74— 1乃至 74— n)力もオーディオストリームを読み出すよう制御している。

[0071] ステップ S17において、抽出情報付加部 75は、テーブルを生成し、 TSパケットィ匕部 76に供給する。具体的には、抽出情報付加部 75は、図 7および図 8に示されるようなテーブルを生成し、これを TSパケットィ匕部 76に供給する。

[0072] 図 7には、 PAT (Program Association Table)が記述されて!、る。具体的には、

program- numberに対する PMT-PIDがそれぞれ記述されており、図 7の例の場合、 program— number 1に对する PMT— PIDは Xであり、 program— number2に对する

PMT- PIDは Yである。この PMT- PIDの値は、図 8の PMT (Program Map Table)で参照される。図 8においては、 PIDが Xの場合の stream_entryが記述されている。具体的には、 BASE— PID = aO、 Extl_PID = al,Ext2_PID = a2, · · ·、 ExtN— PID = aNと記述されている。図 7と図 8によれば、基本オーディオストリーム（BS)の PIDが aOであり、第 1の拡張オーディオストリーム Extlの PIDが alであり、第 2の拡張オーディオストリーム Ex t2の PIDが a2であり、同様に、第 nの拡張オーディオストリーム ExtNの PIDが aNであることがわ力る。これにより、図 5に示されるように、エンコードレベルに対する PIDを識另 Uすることがでさる。

[0073] 本実施の形態では、 PATと PMTは、それぞれ異なる TSパケットで送信される。すなわち、図 5に示されるように、 PATが記載されたテーブルの TSパケット 90と、 PMTが記載されたテーブルの TSパケット 91として送信される。

[0074] 図 6に戻って、ステップ S18において、 TSパケット化部 76は、 TSパケット生成処理を実行する。なお、この処理の詳細は、図 9を参照して後述する。 TSパケットィ匕部 76 により生成された TSパケットは、送信部 77に出力される。

[0075] ステップ S 19において、送信部 77は、 TSパケット（複数の TSパケットからなるォーディォストリーム）を受信装置 42に対して送信する。具体的には、テーブルの TSパケット 90、 91、基本オーディオストリームの TSパケット 92、第 1乃至第 nの拡張オーディォストリームの TSパケット 93— 1乃至 93— nを含むストリームが送信される。その後、処理は終了される。本実施の形態では、 TSパケットを受信装置 42に対して送信するようにしたが、図示せぬ各種の記録媒体に記録させるようにしてもよい。また、受信装置 42に TSパケットを送信する場合に、ー且、記録媒体に記録して、その記録媒体を受信装置 42に提供することで、間接的に送信するようにしてもよい。

[0076] 次に、図 6のステップ S18の TSパケット生成処理の詳細を、図 9のフローチャートを参照して説明する。

[0077] ステップ S31において、 TSパケット化部 76は、テーブルを取得する。このテーブルは、図 6のステップ S 17で生成された、図 7および図 8に示されるようなテーブルである。すなわち、テーブルには、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームのそれぞれを識別する PIDと、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームのそれぞれを識別する情報が記載された情報が含まれている。

[0078] ステップ S32において、 TSパケットィ匕部 76は、テープノレを TSパケットィ匕して（テーブルに基づいて TSパケットを生成し）、送信部 77に出力する（なお、送信部 77はこれを受信装置 42に送信する）。これにより、図 5の PATが記述された TSパケット 90、 PMTが記述された TSパケットが生成され、送信部 77に出力される。なお、この処理では、 1回だけ TSパケットが送信されるようにしたが、実際には所定の時間毎にテーブルが記述された TSパケットが送信される。これにより、ストリームの途中で受信装置 42が受信し始めた場合においても、受信装置 42は、テーブルを取得できるため確実にデコードすることができる。

[0079] ステップ S33において、 TSパケット化部 76は、テーブルに基づいて、基本バッファ 73、並びに第 1乃至第 nの拡張バッファ 74—1乃至 74— nからのオーディオストリームのそれぞれに PIDを付す。なお、テーブルはステップ S31の処理で TSパケットィ匕されて送信された力ここでは、 TSパケットィ匕部 76が保持しているものとする。これにより、基本オーディオストリーム (BS)に PID = aOが付され、第 1の拡張オーディオストリーム（Extl)に PID = alが付され、第 2の拡張オーディオストリーム（Ext2)に PID = a2 が付され、以下同様にして、第 nの拡張オーディオストリーム (ExtN)に PID = aNが付される。

[0080] ステップ S34において、 TSパケットィ匕部 76は、基本バッファ 73、並びに第 1乃至第 nの拡張バッファ 74—1乃至 74— nからのオーディオストリームに基づいて、それぞれ TSパケットを生成する。図 5に示されるように、これらの基本オーディオストリームと第 1乃至第 nの拡張オーディオストリームは、それぞれ別々の PID (パケット ID)の TSパケットとして生成される。すなわち、ストリームの種類を判別するための PID力TSパケットに付される。

[0081] ステップ S35において、 TSパケットィ匕部 76は、生成した TSパケットを送信部 77に出力する。その後、処理は図 6のステップ S18に戻る。

[0082] 図 6および図 9の処理により、第 nの拡張オーディオストリームをエンコード可能な送信装置 41は、エンコードしたデータを、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームに分けるとともに、テーブルに基づいて PIDを付し、 TS パケットィ匕して送信するとともに、テーブルを TSパケットィ匕して送信する。換言すると、ストリームの種類を識別する PIDが付された複数の TSパケットと、テーブルの TSパケットを含むオーディオストリームが受信装置 42に対して送信される。

[0083] 送信装置 41が送信するストリームには、基本オーディオストリームを構成する TSパケット、第 1乃至第 nの拡張オーディオストリームを構成する TSパケット、これらの TS パケットを識別する PIDと基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリームとを関連付ける情報が記載されたテーブルの TSパケットが含まれるとともに、基本オーディオストリームを構成する TSパケットおよび第 1乃至第 nの拡張オーディォストリームを構成する TSパケットには、オーディオストリームの種類を識別するための PIDが付されているので、受信側では、自分の処理能力に合わせたデコードを行うことができる。以下に受信側の受信装置 42について説明する。

[0084] 図 10は、図 2の受信装置 42の構成例を示すブロック図である。

[0085] 受信装置 42は、受信部 121、オーディオストリーム処理部 122、および出力部 123 により構成されている。受信部 121は、 TSパケットを受信し、オーディオストリーム処理部 122は、オーディオストリームに関する処理を実行する。具体的には、オーディォストリーム処理部 122は、受信した TSパケットをデコードするなどして、オーディオストリームを取り出す。出力部 123は、オーディオストリーム処理部 122により処理されたオーディオストリームを出力する。

[0086] このオーディオストリーム処理部 122は、そのデコード能力によって、取り出すォーディォストリームが異なってくる。以下、このオーディオストリーム処理部 122について説明する。

[0087] 図 11は、基本オーディオストリームだけを復号することができるオーディオデコーダを有するオーディオストリーム処理部 122の構成例を示す図である。

[0088] 図 11のオーディオストリーム処理部 122には、入力部 151、フィルタ制御部 152、 PIDフィルタ 153、基本バッファ 154、およびオーディオデコーダ 155が設けられている。

[0089] 入力部 151は、図 10の受信部 121から供給されるオーディオストリームの TSバケツトの入力を受け付ける。入力部 151は、オーディオストリームの TSパケットのうち、テ一ブル（図 7、図 8で説明したテーブル）の TSパケットをフィルタ制御部 152に供給し、それ以外の TSパケット（例えば、図 5の PIDが付された基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSパケット）を PIDフィルタ 153に供給する。また、例えば、入力部 151は、受信部 121でビデオストリームとオーディオストリームの TSパケットが受信された場合、オーディオストリームの TSパケットのみを取得する。

[0090] フィルタ制御部 152は、取得したテーブルに基づいて、 PIDフィルタ 153の動作を制御する。具体的には、フィルタ制御部 152は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部 152は、自分が処理できるストリームの PIDをテーブル力も参照し、自分が処理できるストリームに関連付けられた PIDが付された TSパケットを選択するように PIDフィルタ 153を制御する。例えば、フィルタ制御部 152は、デコードできるストリームの種類に関連づけられた PIDの番号を、選択する PIDの番号としてフィルタ 153に通知する。

[0091] PIDフィルタ 153は、フィルタ制御部 152からの制御に基づいて、 TSパケットを選択する（取り出す)。具体的には、フィルタ制御部 152から通知された PIDに基づいて、同じ PIDが付された TSパケットを選択し、それぞれ対応するバッファに供給する。各バッファは、 PIDフィルタ 153により選択された TSパケットを格納（バッファリング）する。オーディオデコーダ 155は、各バッファに格納されている TSパケットを取得し、これをデコードする。

[0092] 図 11の例の場合、オーディオストリーム処理部 122は、基本オーディオストリームに対応するオーディオデコーダ 155のみを有し、第 1乃至第 nの拡張オーディオストリームをデコードできる能力がない。この場合、フィルタ制御部 152は、自分が処理できるストリームの種類が基本オーディオストリームのみであることを記憶しており、テーブルから、基本オーディオストリームに対応する PIDを参照する。この場合、オーディオストリーム処理部 122は、 BASE_PID力自分が処理できるストリームの種類であると判断し、テーブル力も PID = aOを参照する。そして、フィルタ制御部 152は、デコードできるストリームの PIDが付された TSパケットを選択するように PIDフィルタ 153を制御する。例えば、フィルタ制御部 152は、デコードできるストリームの IDを通過させてよい PID の番号を PIDフィルタ 153に通知する。 PIDフィルタ 153は、フィルタ制御部 152から通知された PID、すなわち PID = aOに基づいて、 PID = aOが付された TSパケットを選択し、これを基本バッファ 154に供給する。このとき、第 1乃至第 nの拡張オーディオストリームの TSパケットが供給されてきた場合、 PIDフィルタ 153は、そのパケットを選択しない。すなわち、 PID = aOが付された基本オーディオストリームの TSパケットのみが供給されてきた場合に、 PIDフィルタ 153は、その TSパケットを選択して、後段の基本バッファ 154に供給する。

[0093] 基本バッファ 154は、 PIDフィルタ 153により選択され、供給された基本オーディオストリームの TSパケットを格納する。基本バッファ 154は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 155に対する同期を取るために動作する。図 11の例では、基本バッファ 154を 1つだけ設けるようにした力受信側の TSパケットの同期を取るためのバッファと、オーディオデコーダ 155に対する同期を取るためのバッファを 2つ直列に設けるようにしてもよい。オーディオデコーダ 155は、基本オーディオストリームの TSパケットをデコードし、デコードした基本オーディオストリームを出力する [0094] 次に、図 12のフローチャートを参照して、図 10の受信装置 42における TSパケット受信処理を説明する。なお、この処理は、受信装置 42に TSパケットを受信する指令力されたとき開始される。

[0095] ステップ S51において、受信装置 42の受信部 121は、 TSパケット（複数の TSパケットからなるストリーム）を受信する。この TSパケットは、例えば、上述した図 6のステツプ S19の処理で、送信装置 41により送信された TSパケットとされる。

[0096] ステップ S52において、受信部 121は、オーディオストリームの TSパケットを抽出し、オーディオストリーム処理部 122に供給する。例えば、受信部 121が受信した TSパケットにビデオストリームの TSパケットが含まれていた場合には、受信部 121は、ォーディォストリームの TSパケットのみを抽出して、オーディオストリーム処理部 122に供給する。

[0097] ステップ S53において、オーディオストリーム処理部 122は、オーディオストリームの TSパケット（すなわち、複数の TSパケットからなるオーディオストリーム）をオーディオストリーム処理部 122のデコード能力に応じてデコード処理するオーディオストリーム処理を実行する。この処理の詳細は、図 13を参照して後述する。オーディオストリーム処理部 122によりオーディオストリーム処理されたオーディオストリームは、出力部 1 23に供給される。

[0098] ステップ S54において、出力部 123は、デコードされたオーディオストリームを出力する。例えば、図示せぬスピーカなどに出力する。その後、処理は終了される。

[0099] 図 12の処理により、 TSパケットが受信され、オーディオストリームの TSパケットがォ一ディォストリーム処理 (デコード)されて出力される。

[0100] 次に、図 13のフローチャートを参照して、図 12のステップ S53の一例である、基本オーディオストリーム処理を説明する。この処理は、図 11のオーディオストリーム処理部 122により実行される処理である。すなわち、基本オーディオストリームのみをデコードできるオーディオストリーム処理部 122が実行する処理である。

[0101] ステップ S71において、入力部 151はオーディオストリームの TSパケット（複数の T Sパケットからなるオーディオストリーム）の入力を受け付ける。ここで、オーディオストリームの TSパケットは、上述した図 6のステップ S19で送信装置 41により送信された、テーブルの TSパケット、基本オーディオストリームの TSパケット、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットを含むオーディオストリームのことを示している。

[0102] ステップ S72において、入力部 151は、テーブルの TSパケットをフィルタ制御部 15 2に供給する。具体的には、オーディオストリームの TSパケットには、テーブルの TS パケット、基本オーディオストリームの TSパケット、並びに、第 1乃至第 nの拡張ォーディォストリームの TSパケットが含まれているので、入力部 151は、これらの TSバケツトのうち、テーブルの TSパケットをフィルタ制御部 152に供給する。

[0103] ステップ S73において、入力部 151は、 PIDが付されている TSパケットを PIDフィルタ 153に供給する。具体的には、図 5において、 PIDが付されている基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットを PIDフィルタ 153に供給する。

[0104] ステップ S74において、フィルタ制御部 152は、テーブルを参照して、オーディオデコーダ 155が処理できるストリームの種類を判断する。具体的には、フィルタ制御部 1 52は、自分が処理できるストリームの種類が基本オーディオストリームであることを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部 152は、自分が処理できるストリームの PIDをテーブル力も参照し、自分が処理できる基本ストリームに関連付けられた PID = aOが付された TSバケツトを選択するように PIDフィルタ 153を制御する。

[0105] ステップ S75において、 PIDフィルタ 153は、フィルタ制御部 152からの制御（判断）に基づいて、対応する TSパケットを選択し、基本バッファ 154に供給する。具体的には、フィルタ制御部 152からの制御に基づいて、 PIDフィルタ 153は、 PID = aOである TSパケット、すなわち、基本オーディオストリームの TSパケットを選択し、これを基本ノッファ 154に供給する。

[0106] ステップ S76において、基本バッファ 154は、供給された TSパケットを格納する。このとき格納された TSパケットは、基本オーディオストリームの TSパケットである。

[0107] ステップ S77において、基本バッファ 154は、所定のタイミングで TSパケットをォーディォデコーダ 155に出力する。 [0108] ステップ S78において、オーディオデコーダ 155は、供給された基本オーディオストリームの TSパケットをデコードし、ステップ S79において、デコードしたオーディオストリームを出力する。

[0109] このように、 TSノケットに、 PIDが付されているとともに、テーブルに PIDと TSパケットの種類 (基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSパケット）の関係が記載されてヽるので、図 11に示されるような基本オーディオストリームのみをデコード可能なオーディオストリーム処理部 122 (受信装置 42)においても、基本オーディオストリームに対応する TSパケットのみを選択してデコードすることができる。すなわち、複数段階に拡張されたオーディオストリームが送信されてきた場合においても、図 11のオーディオストリーム処理部 122を備える受信装置 42においては、基本オーディオストリームのみを取り出し、再生することができる。

[0110] 次に、基本オーディオストリームと第 1の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部 122について、図 14 を参照して説明する。

[0111] 図 14は、基本オーディオストリームと第 1の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部 122の構成例を示す図である。図中、図 11と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。

[0112] 図 14のオーディオストリーム処理部 122は、図 11のオーディオストリーム処理部 12 2に、第 1の拡張バッファ 202をカ卩え、オーディオデコーダ 203が基本オーディオストリームだけでなぐ第 1の拡張オーディオストリームをもデコード可能とするものである。また、 PIDフィルタ 153は、基本オーディオストリームだけでなぐ第 1の拡張オーディォストリームをも抽出可能とする。

[0113] 図 14のオーディオストリーム処理部 122には、入力部 151、フィルタ制御部 152、

PIDフィルタ 201、基本バッファ 154、第 1の拡張バッファ 202、並びにオーディオデコーダ 203が設けられて!/、る。

[0114] フィルタ制御部 152は、テーブルに基づいて、 PIDフィルタ 201の動作を制御する。

具体的には、フィルタ制御部 152は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部 152は、自分が処理できるストリームの PIDをテーブル力も参照し、自分が処理できるストリームに関連付けられた PIDが付された TSパケットを選択するように PIDフィルタ 201を制御する。図 14の例の場合、フィルタ制御部 152は、 PID = aO が付された TSパケットを基本バッファ 154に供給するよう制御するとともに、 PID = al が付された TSパケットを第 1の拡張バッファ 202に供給するよう制御する。 PIDフィルタ 201は、フィルタ制御部 152からの制御に基づいて、 TSパケットを取り出す。すなわち、 PIDフィルタ 201は、 PID = aOが付された TSパケットを選択して基本バッファ 15 4に供給し、 PID = alが付された TSパケットを選択して第 1の拡張バッファ 202に供給する。

[0115] 基本バッファ 154は、 PIDフィルタ 201により取り出された基本オーディオストリームの TSパケットを格納（バッファリング）し、第 1の拡張バッファ 202は、 PIDフィルタ 201 により取り出された第 1の拡張オーディオストリームの TSパケットを格納する。オーディォデコーダ 203は、基本バッファ 154と第 1の拡張バッファ 202に格納されている T Sパケットを取得し、これをデコードする。

[0116] 図 14の例の場合、オーディオストリーム処理部 122は、基本オーディオストリームと第 1の拡張オーディオストリームに対応するオーディオデコーダ 203を有し、第 2乃至第 nの拡張オーディオストリームをデコードする能力がない。この場合、 PIDフィルタ 2 01は、フィルタ制御部 152からの制御（フィルタ制御部 152の判断）に基づいて、 PID =a0の TSパケットと、 PID = alの TSパケットを取り出す。すなわち、第 2乃至第 nの拡張オーディオストリームの TSパケットが供給されてきた場合、 PIDフィルタ 201は、そのパケットを選択せず、 PID = aOが付された基本オーディオストリームの TSパケットが供給されてきた場合、そのパケットを選択して、後段の基本バッファ 154に供給し、 PID = a 1が付された第 1の拡張オーディオストリームの TSパケットが供給されてきた場合、そのパケットを選択して、後段の第 1の拡張バッファ 202に供給する。

[0117] 基本バッファ 154は、 PIDフィルタ 201により選択され、供給された基本オーディオストリームの TSパケット（PID = aO)を格納する。基本バッファ 154は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 203に対する同期を取るために動作する。第 1の拡張バッファ 202は、 PIDフィルタ 201により選択され、供給された第 1の拡張オーディオストリームの TSパケット（PID = al)を格納する。第 1の拡張バッファ 202は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 203に対する同期を取るために動作する。なお、図 14の例では、基本バッファ 154、拡張バッファ 202を 1 つずつ設けるようにした力受信側の TSパケットの同期を取るためのバッファと、ォーディォデコーダ 203に対する同期を取るためのバッファをそれぞれ 2つ直列に設けるようにしてもよい。オーディオデコーダ 203は、基本オーディオストリームの TSパケットと、第 1の拡張オーディオストリームの TSパケットをデコードし、デコードした基本ォーディォストリームと第 1の拡張オーディオストリームを出力する。

[0118] このように、基本オーディオストリームと第 1の拡張オーディオストリームを復号 (デコード）可能な受信装置 42 (図 14のオーディオストリーム処理部 122)においては、基本オーディオストリームと第 1の拡張オーディオストリームだけを分離して再生することができる。

[0119] 次に、基本オーディオストリーム、並びに第 1および第 2の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部 122 について、図 15を参照して説明する。

[0120] 図 15は、基本オーディオストリームと第 1、第 2の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部 122の構成例を示す図である。図中、図 11および図 14と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。

[0121] 図 15のオーディオストリーム処理部 122は、図 14の第 1の拡張バッファ 202を第 1 の拡張バッファ 202— 1とし、第 2の拡張バッファ 202— 2をカ卩え、オーディオデコーダ 2 32が基本オーディオストリームと第 1の拡張オーディオストリームだけでなぐ第 2の拡張オーディオストリームをもデコード可能とするものである。また、 PIDフィルタ 231は、基本オーディオストリーム、並びに第 1および第 2の拡張オーディオストリームをも抽出可能なとする。

[0122] 図 15のオーディオストリーム処理部 122には、入力部 151、フィルタ制御部 152、 PIDフィルタ 231、基本バッファ 154、第 1の拡張バッファ 202— 1、第 2の拡張バッファ 202— 2、およびオーディオデコーダ 232が設けられている。

[0123] フィルタ制御部 152は、自分が処理できるストリームの種類を記憶しており、テープルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部 152は、自分が処理できるストリームの PIDをテーブル力参照し、自分が処理できるストリームに関連付けられた PIDが付された TSパケットを選択するように PIDフィルタ 201を制御する。図 15の例の場合、フィルタ制御部 152は、 PID = aOが付された TS パケットを基本バッファ 154に供給するよう制御し、 PID = a 1が付された TSパケットを第 1の拡張バッファ 202に供給するよう制御し、 PID = a2が付された TSパケットを第 2 の拡張バッファ 202-2に供給するよう制御する。 PIDフィルタ 231は、フィルタ制御部 152力もの制御に基づいて、 TSパケットを取り出す。すなわち、 PIDフィルタ 231は、 PID = aOが付された TSパケットを選択して基本バッファ 154に供給し、 PID = a 1が付された TSパケットを選択して第 1の拡張バッファ 202— 1に供給し、 PID = a2が付された TSパケットを選択して第 2の拡張バッファ 202— 2に供給する。

[0124] 第 2の拡張バッファ 202— 2は、 PIDフィルタ 231により選択された第 2の拡張オーディォストリームの TSパケットを格納する。オーディオデコーダ 232は、基本バッファ 15 4、第 1、第 2の拡張バッファ 202— 1, 202— 2に格納されている TSパケットを取得し、これをデコードする。

[0125] 図 15の例の場合、オーディオストリーム処理部 122は、基本オーディオストリーム、第 1、第 2の拡張オーディオストリームに対応するオーディオデコーダ 232を有し、第 3乃至第 nの拡張オーディオストリームをデコードする能力がない。この場合、 PIDフィルタ 231は、フィルタ制御部 152からの制御に基づいて、 PID = aOの TSパケット、 PID =alの TSパケット、および PID = a2の TSパケットを取り出す（選択する）。すなわち、第 3乃至第 nの拡張オーディオストリームの TSパケットが供給されてきた場合、 PIDフィルタ 231は、そのパケットを選択せず、 PID = aOが付された基本オーディオストリームの TSパケットが供給されてきた場合、そのパケットを選択して、後段の基本バッファ 154に供給し、 PID = a 1が付された第 1の拡張オーディオストリームの TSパケットが供給されてきた場合、そのパケットを選択して、後段の第 1の拡張バッファ 202— 1に供給し、 PID = a2が付された第 2の拡張オーディオストリームの TSパケットが供給されてきた場合、そのパケットを選択して、後段の第 2の拡張バッファ 202— 2に供給する。

[0126] 基本バッファ 154は、 PIDフィルタ 231により選択され、供給された基本オーディオストリームの TSパケット（PID = aO)を格納する。基本バッファ 154は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 232に対する同期を取るために動作する。第 1の拡張バッファ 202— 1は、 PIDフィルタ 231により選択され、供給された第 1の拡張オーディオストリームの TSパケット（PID = al)を格納する。第 1の拡張バッファ 2 02— 1は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 232に対する同期を取るために動作する。第 2の拡張バッファ 202-2は、 PIDフィルタ 231により選択され、供給された第 2の拡張オーディオストリームの TSパケット (PID = a2)を格納する。第 1の拡張バッファ 202— 2は、受信側の TSパケットの同期を取り、また、ォ一ディォデコーダ 232に対する同期を取るために動作する。

[0127] なお、図 15の例では、基本バッファ 154、拡張バッファ 202— 1、および 202— 2を 1 つずつ設けるようにした力受信側の TSパケットの同期を取るためのバッファと、ォーディォデコーダ 232に対する同期を取るためのバッファをそれぞれ 2つ直列に設けるようにしてもよい。オーディオデコーダ 232は、基本オーディオストリームの TSパケット、並びに第 1、第 2の拡張オーディオストリームの TSパケットをデコードし、デコードした基本オーディオストリーム、並びに第 1、第 2の拡張オーディオストリームを出力する

[0128] このように、基本オーディオストリーム、並びに第 1、第 2の拡張オーディオストリームを復号 (デコード)可能な受信装置 42 (図 15のオーディオストリーム処理部 122)においては、基本オーディオストリーム、並びに第 1、第 2の拡張オーディオストリームだけを分離して再生することができる。

[0129] 次に、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部 122について、図 16を参照して説明する。

[0130] 図 16は、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部 1 22の構成例を示す図である。図中、図 15と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。

[0131] 図 16のオーディオストリーム処理部 122は、図 15に第 3乃至第 nの拡張バッファ 20 2— 3乃至 203— nをカ卩え、オーディオデコーダ 262が基本オーディオストリーム、第 1、第 2の拡張オーディオストリームだけでなぐ第 3乃至第 nの拡張オーディオストリームをもデコード可能とするものである。また、 PIDフィルタ 261は、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームをも抽出可能とする。

[0132] 図 16のオーディオストリーム処理部 122には、入力部 151、フィルタ制御部 152、

PIDフィルタ 261、基本バッファ 154、第 1乃至第 nの拡張バッファ 202—1乃至 202— n 、並びにオーディオデコーダ 262が設けられて!/、る。

[0133] フィルタ制御部 152は、自分が処理できるストリームの種類として基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部 15 2は、自分が処理できるストリームの PIDをテーブル力参照し、自分が処理できるストリームに関連付けられた PIDが付された TSパケットを選択するように PIDフィルタ 261 を制御する。図 16の例の場合、フィルタ制御部 152は、 PID = aOが付された TSパケットを基本バッファ 154に供給するよう制御し、 PID = a 1が付された TSパケットを第 1 の拡張バッファ 202— 1に供給するよう制御し、 PID = a2が付された TSパケットを第 2 の拡張バッファ 202— 2に供給するよう制御し、同様にして、 PID = aNが付された TS パケットを第 nの拡張バッファ 202— nに供給するよう制御する。 PIDフィルタ 261は、フィルタ制御部 152からの制御に基づいて、 TSパケットを取り出す。すなわち、 PIDフィルタ 261は、 PID = aOが付された TSパケットを選択して基本バッファ 154に供給し、 PID = alが付された TSパケットを選択して第 1の拡張バッファ 202— 1に供給し、 PID =a2が付された TSパケットを選択して第 2の拡張バッファ 202— 2に供給し、同様にして、 PID = aNが付された TSパケットを選択して第 nの拡張バッファ 202— nに供給する。

[0134] 第 3乃至第 nの拡張バッファ 202— 3乃至 202— nは、 PIDフィルタ 261により取り出された第 3乃至第 nの拡張オーディオストリームの TSパケットをそれぞれ格納する。ォ一ディォデコーダ 262は、基本バッファ 154、第 1乃至第 nの拡張バッファ 202—1乃至 202— nに格納されている TSパケットを取得し、これをデコードする。

[0135] 図 16の例の場合、オーディオストリーム処理部 122は、基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリームに対応するオーディオデコーダ 262を有している。すなわち、受信された第 nまでの拡張オーディオストリームを全てデコードする能力を持つ。この場合、 PIDフィルタ 261は、フィルタ制御部 152からの制御に基づいて、 PID = aO乃至 aNの TSパケットを取り出し、それぞれ対応するバッファ（基本バッファ 154、並びに第 1乃至第 nの拡張バッファ 202— 1乃至 202— n)に供給する。

[0136] 基本バッファ 154は、 PIDフィルタ 261により選択され、供給された基本オーディオストリームの TSパケット（PID = aO)を格納する。基本バッファ 154は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 262に対する同期を取るために動作する。第 1の拡張バッファ 202— 1は、 PIDフィルタ 261により選択され、供給された第 1の拡張オーディオストリームの TSパケット（PID = al)を格納する。第 1の拡張バッファ 2 02— 1は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 262に対する同期を取るために動作する。第 2の拡張バッファ 202— 2は、 PIDフィルタ 261により選択され、供給された第 2の拡張オーディオストリームの TSパケット (PID = a2)を格納する。第 1の拡張バッファ 202— 2は、受信側の TSパケットの同期を取り、また、ォ一ディォデコーダ 262に対する同期を取るために動作する。同様にして、第 nの拡張バッファ 202— nは、 PIDフィルタ 261により選択され、供給された第 nの拡張オーディォストリームの TSパケット（PID = aN)を格納する。第 1の拡張バッファ 202— nは、受信側の TSパケットの同期を取り、また、オーディオデコーダ 262に対する同期を取るために動作する。なお、図 16の例では、基本バッファ 154、拡張バッファ 202— 1乃至 202— nを 1つずつ設けるようにした力受信側の TSパケットの同期を取るためのバッファと、オーディオデコーダ 262に対する同期を取るためのバッファをそれぞれ 2つ直列に設けるようにしてもよい。オーディオデコーダ 262は、基本オーディオストリームの TSパケット、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットをデコードし、デコードした基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを出力する。

[0137] 次に、図 17のフローチャートを参照して、図 12のステップ S53の一例である、第 n 段のオーディオストリーム処理を説明する。この処理は、図 16のオーディオストリーム処理部 122により実行される処理である。すなわち、基本オーディオストリームにカロえ、第 1乃至第 nの拡張オーディオストリームをデコードできるオーディオストリーム処理部 122が実行する処理である。

[0138] ステップ S91において、入力部 151はオーディオストリームの TSパケットの入力（複数の TSパケットからなるオーディオストリーム）を受け付ける。このオーディオストリームの TSパケットは、上述した図 6のステップ S19で送信装置 41により送信された、テ一ブルの TSパケット、基本オーディオストリーム TSパケット、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットを含むオーディオストリームである。

[0139] ステップ S92において、入力部 151は、テーブルの TSパケットをフィルタ制御部 15 2に供給する。具体的には、オーディオストリームの TSパケットには、テーブルの TS パケット、基本オーディオストリームの TSパケット、並びに、第 1乃至第 nの拡張ォーディォストリームの TSパケットが含まれているので、入力部 151は、これらの TSバケツトのうち、テーブルの TSパケットをフィルタ制御部 152に供給する。

[0140] ステップ S93において、入力部 151は、 PIDが付されている TSパケットを PIDフィルタ 261に供給する。具体的には、図 5において、 PIDが付されている基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットを PIDフィルタ 261に供給する。

[0141] ステップ S94において、フィルタ制御部 152は、テーブルを参照して、オーディオデコーダ 262が処理できるストリームの種類を判断する。具体的には、フィルタ制御部 1 52は、自分が処理できるストリームの種類力基本オーディオストリーム、並びに第 1 乃至第 nの拡張オーディオストリームであることを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類、すなわち、テーブルの中から基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを判断する。換言すると、フィルタ制御部 152は、自分が処理できるストリームの種類を、テーブルを参照して判断し、そのストリームに関連付けられた PIDを、自分が処理できるストリームの種類と判断する。また、フィルタ制御部 152は、基本ストリームに関連付けられた PID = aOが付された TSパケット、第 1乃至第 nの拡張オーディオストリームに関連付けられた PID = al乃至 aNが付された TSパケットを選択するように PIDフィルタ 261を制御する。

[0142] このように、フィルタ制御部 152は、基本オーディオストリームの TSパケット、並びに、第 1乃至第 nの拡張オーディオストリームの TSパケットをそれぞれ基本バッファ 154 、並びに第 1乃至第 nの拡張バッファ 202—1乃至 202— nに供給するよう PIDフィルタ 261を制御する。図 17の処理の場合、オーディオデコーダ 262は、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームをデコードする能力を有しているため、フィルタ制御部 152は、 PID = aO, al, a2, · · , aNが付された TSバケツトをそれぞれ対応するノッファに供給するよう、 PIDフィルタ 261を制御する。

[0143] ステップ S95において、 PIDフィルタ 261は、フィルタ制御部 152からの判断（自分が処理できると判断されたストリームの種類）に基づいて、スィッチを選択し、対応する TSパケットを後段のバッファに供給する。具体的には、 PIDフィルタ 261は、 PID = a 0である TSパケット、すなわち、基本オーディオストリームの TSパケットを、スィッチで選択し、後段の基本バッファ 154に供給する。また、 PIDフィルタ 261は、 PID = al乃至 aNである TSパケット、すなわち、第 1乃至第 nの拡張オーディオストリームの TSパケットをスィッチで選択し、後段の第 1乃至第 nの拡張バッファ 202— 1乃至 202— nにそれぞれ供給する。

[0144] ステップ S96において、基本バッファ 154、並びに第 1乃至第 nの拡張バッファ 202 —1乃至 202— nは、供給された TSパケットをそれぞれ格納する。

[0145] ステップ S97において、基本バッファ 154、並びに第 1乃至第 nの拡張バッファ 202

1乃至 202— nは、所定のタイミングで TSパケットをオーディオデコーダ 262に出力する。

[0146] ステップ S98にお!/、て、オーディオデコーダ 262は、供給された基本オーディオストリームの TSパケットをデコードし、ステップ S99において、デコードしたオーディオストリームを出力する。

[0147] このように、受信するストリームには、基本オーディオストリームを構成する TSバケツト、第 1乃至第 nの拡張オーディオストリームを構成する TSパケット、これらの TSパケットを識別する PIDと基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリ一ムとを関連付ける情報が記載されたテーブルの TSパケットが含まれるとともに、基本オーディオストリームを構成する TSパケットおよび第 1乃至第 nの拡張オーディオストリームを構成する TSパケットには、オーディオストリームの種類を識別するための PIDが付されているので、図 17に示されるような基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリームをデコード可能なオーディオストリーム処理部 122 ( 受信装置 42)においても、デコードを行うことができる。

[0148] なお、基本オーディオストリーム、並びに第 1乃至第 m (mは、 1以上 n以下の自然数である）の拡張オーディオストリームを復号 (デコード)可能な受信装置 42においては、基本オーディオストリーム、並びに第 1乃至第 mの拡張オーディオストリームを分離して再生することができる。

[0149] 次に、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを復号可能なオーディオストリーム処理部 122を備えた受信装置 42の他の構成例を説明する。図 18は、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを復号するオーディオストリーム処理部 122の構成例を示す図である。

[0150] 図 18のオーディオストリーム処理部 122では、 TSの多重化方法に制限が加えられる。具体的には、 TSの中で、基本オーディオストリーム、並びに、第 1乃至第 nの拡張オーディオストリームの順番に、同期して再生される符号ィ匕の単位が並んで符号ィ匕されていなければならない。すなわち、 TSの中で、 BS (l) ,Extl (l) , Ext2 (l) , - - -E xtN (l) ,BS (2) ,Ext2 (2) , · · -ExtN (2)の順番に並んで符号化されて!/、なければならない。換言すれば、受信装置 42の受信部 121により受信された TSパケットは、図 19に示されるように、 BS (1) ,Extl (1) ,Ext2 (l) , · · -ExtN (l) ,BS (2) ,Ext2 (2) , · · -ExtN (2)の順に入力部 151に入力され、入力部 151は、 BS (1) ,Extl (1) , Ex t2 (1) , · · -ExtN (l) ,BS (2) ,Ext2 (2) , · · -ExtN (2)の順に PIDフィルタ 301に TS パケットを供給する。すなわち、全体のストリームに含まれる基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットは、同時刻に再生される TSパケットが連続して、かつ、基本ストリームを構成する TS パケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並べられている（エンコーダ側の送信装置 41が、この順番に並べて TSパケットを出力している）。 [0151] なお、基本オーディオストリームのそれぞれの同期単位に対応する拡張オーディオストリームの同期単位は、必ずしも存在しなくても良い。例えば、全体のストリームが、基本オーディオストリームと第 1の拡張ストリーム力も構成されるとき、基本オーディオストリームのそれぞれの同期単位に対応する拡張オーディオストリームの同期単位がすべて存在する場合は、 BS (1) ,Extl (1) ,BS (2) ,Extl (2) ,BS (3) ,Extl (3) , · · · の並びになるように、 TSパケットが並ぶが、例えば、 BS (2)に対応する Extl (2)が存在しない場合は、図 37に示されるように、 BS (l) ,Extl (l) ,BS (2) ,BS (3) ,Extl (3) , · · ·の並びになるように、 TSパケットが並ぶ。

[0152] すなわち、オーディオストリームには、少なくとも基本オーディオストリームを構成する TSパケットが含まれ、基本オーディオストリームのそれぞれの同期単位に対応する第 1乃至第 nの拡張オーディオストリームを構成する TSパケットの個数が可変長とされてさらに含まれる。換言すれば、 1本のオーディオストリームには、基本オーディオストリームが少なくとも含まれるとともに、第 1乃至第 nの拡張オーディオストリームが含まれうるものとされる。また、基本オーディオストリームのそれぞれの同期単位（同じ時刻に再生される、所定の単位）に対応する第 1乃至第 nの拡張オーディオストリームのうちのいずれかの同期単位が存在する場合には、その同期単位において第 1乃至第 nの拡張オーディオストリームのうちの存在する拡張ストリームがエンコードされる。その結果、基本オーディオストリームは、オーディオストリーム全体にわたって含まれる力拡張オーディオストリームを構成する TSパケットの数は可変長とされる (第 1の拡張オーディオストリームに対応する TSパケットだけが含まれたり、第 1乃至第 3の拡張オーディオストリームに対応するそれぞれの TSパケットが含まれたりする）。

[0153] このような符号ィ匕方法は、オーディオストリームを可変ビットレートで符号ィ匕する場合において、オリジナルのオーディオ信号の情報量が少ない部分（時間区間）で、基本ストリームの情報だけで十分であり、拡張ストリームの情報が必要ない場合に用いられる。拡張ストリームの情報が存在しない時間区間のビットレートは小さく抑えられる。

[0154] 図 18のオーディオストリーム処理部 122には、入力部 151、フィルタ制御部 152、 PIDフィルタ 301、ノッファ 302、およびオーディオデコーダ 303が設けられている。

[0155] フィルタ制御部 152は、 PID = aO乃至 aNが付された TSパケットをバッファ 302に供給するよう PIDフィルタ 301を制御する。 PIDフィルタ 301は、フィルタ制御部 152からの制御に基づいて、 TSパケットを取り出す。すなわち、 PIDフィルタ 301は、 PID = aO 乃至 aNが付された TSパケットを順次バッファ 302に供給する。このとき、 TSの中で、 BS(l),Extl(l),Ext2(l),···ExtN(l),BS(2),Ext2(2),···ExtN(2)の順番に並んで符号化されているため、 PIDフィルタ 301は、 TSの中で、 BS(l),Extl(l), Ext2(l),'''ExtN(l),BS(2),Ext2(2),— ExtN(2)の順番で、 TSパケットをバッファ 302に供給する。

[0156] バッファ 302は、 BS (1) ,Extl (1) ,Ext2(l) , · · -ExtN(l) ,BS (2) ,Ext2 (2),··· , ExtN (2)の順番に並んで供給された TSパケットを格納する。オーディオデコーダ 303は、バッファ 302に格納されている TSパケットを取得し、これをデコードする。

[0157] 図 18の例の場合、オーディオストリーム処理部 122は、基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリームに対応するオーディオデコーダ 303を有している。すなわち、受信された基本オーディオストリーム、並びに第 1乃至第 nまでの拡張オーディオストリームを全てデコードする能力を持つ。この場合、 PIDフィルタ 30 1は、フィルタ制御部 152からの制御に基づいて、 PID = aO乃至 aNの TSパケットを取り出し、バッファ 302に供給する。

[0158] ノッファ 302は、 PIDフィルタ 301により順次選択され、供給されたオーディオストリームの TSパケット（PID = aO乃至 aN)を格納する。ノッファ 302は、受信側の TSパケットの同期を取り、また、オーディオデコーダ 303に対する同期を取るために動作する。なお、図 18の例では、ノッファ 302を 1つ設けるようにした力受信側の TSパケットの同期を取るためのバッファと、オーディオデコーダ 303に対する同期を取るためのノッファを 2つ直列に設けるようにしてもよい。オーディオデコーダ 303は、基本ォーディォストリームの TSパケット、並びに第 1乃至第 nの拡張オーディオストリームの TS パケットを順次デコードし、デコードした基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを出力する。

[0159] 図 18によれば、ノッファの数を図 16より少なくすることができ、もって低コストで実現することができる。また、図 16では、図 18に比べてバッファの数は多いが、符号化の TSパケットの順番に制限がな、と、う利点がある。 [0160] 以上の第 1の実施の形態によれば、基本オーディオストリームと複数段階の拡張ォ一ディォストリームの多重化ストリーム力オーディオを再生する場合に、基本オーディォストリームだけの復号能力を持った受信装置 42 (例えば、図 11のオーディオストリーム処理部 122を有する受信装置 42)では基本オーディオストリームだけを分離して再生でき、所定の段階 nの拡張オーディオストリームまでの再生能力を持った再生装置 42 (例えば、図 16のオーディオストリーム処理部 122を有する受信装置 42)では、基本とその段階 nまでの拡張オーディオストリームを分離して再生できるようにするための、多重化ストリームの符号ィ匕および復号方法を提供することができる。

[0161] すなわち、基本オーディオストリームと複数段階の拡張ストリームを含むストリームを受信側の処理能力に応じてデコードできるようにエンコードすることができる。換言すれば、受信側の装置は、基本オーディオストリームと複数段階の拡張ストリームを含むストリームが送信されてきた場合に、自分が処理できるストリームの種類を判断し、自分が処理できるストリームのみをデコードして再生することができる。

[0162] また、各 TSパケットに PIDを付すとともにテーブルを付加すればよいため、トランスポートストリームへ容易に適用することができる。

[0163] 以上、本発明の第 1の実施の形態では、 MPEG-TSを構成する各パケット (TSパケット）を識別するために PIDを用いるようにし、この PIDに基づいて、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームのそれぞれを識別するようにしたが、以下に、 MPEG- TSを構成する各パケット (TSパケット）を識別するために Subjdを用いるようにし、 Subjdに基づいて、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームのそれぞれを識別する場合の例を、図 20乃至図 3 5を用いて、本発明の第 2の実施の形態として説明する。なお、第 1の実施の形態と重複する実施の形態については、適宜、第 1の実施の形態（図 1乃至図 19)を参照して説明する。

[0164] この第 2の実施の形態の送受信システムは、上述した図 2の送受信システム 40と同様である。以下に、この実施の形態の送受信システム 40を構成する、送信装置と受信装置の構成例について説明する。

[0165] 図 20は、本発明の第 2の実施の形態における送信装置の構成例を示すブロック図である。

[0166] 送信装置 310には、入力部 71、オーディオエンコーダ 72、基本バッファ 73、拡張ノッファ 74—1乃至 74—n、および送信部 77の他、抽出情報付加部 311および TSパケットイ匕部 312が設けられている。なお、 nは 1以上の任意の自然数（1以上の整数値 )である。また、図中、図 3と対応する部分については、同一の符号を付してあり、その詳細な説明は、繰り返しになるので省略する。すなわち、入力部 71、オーディオェンコーダ 72、基本バッファ 73、および拡張バッファ 74—1乃至 74— n、および送信部 77 の各部は、上述した図 3の各部と同様の機能を有する。

[0167] 抽出情報付加部 311は、デコード側で 1本のオーディオストリームを抽出するために、抽出情報であるテーブル (PATと PMT)を生成する。ここで、 1本のオーディオストリームの例としては、所定の映画 (コンテンツ)の日本語音声であったり、英語音声であったりする。このテーブルでは、所定の種類のオーディオストリームを定義している。例えば、抽出情報付加部 311は、上述した図 7に示される PATと、図 21に示される PMTを生成し、 TSパケット化部 312に供給する。

[0168] 図 21は、トランスポートストリーム（TS)の PMTの例を示す図である。上述した図 8 ( 第 1の実施の形態）では、 stream_entryOに、複数の PIDが記述（エントリ）されているが、図 21の例では、オーディオストリームの符号化方式を示す Audio_stream_type (符号化タイプを示す情報）と、 1つの PIDとが記述される。ここで、 TSの PATは、図 7と同様である。

[0169] 具体的には、図 7の PMT-PIDの値が、図 21の PMTで参照される。図 21においては、 PIDが Xの場合の stream_entryが記述されている。すなわち、 Audio_stream_typeと、 Audio_PID = aOとが記述されている。図 7と図 21によれば、同種のオーディオストリーム（1本のオーディオストリーム）を識別することができる。換言すれば、図 7と図 21のテーブル（PATと PMT)により、 1つのコンテンツに対応する 1本のオーディオストリームを識別することができる。

[0170] 図 20に戻って、 TSパケットィ匕部 312には、 3 1)」(1付加部313が設けられてぃる。

Subjd付加部 313には、 Sub jdと TSパケットの種類とを関係付けた所定の条件があら力じめ設定されており、 Subjd付加部 313は、その条件に従って、 TSパケットのへッダに Subjdを付加する。例えば、 3 1)」(1付加部313は、基本バッファ 73から供給されてきた基本オーディオストリーム（BS)には Subjd =0を付カ卩し、第 1の拡張バッファ 74 —1から供給されてきた第 1のオーディオストリーム（Extl)には Sub_id= 1を付カロし、第 2の拡張バッファ 74— 2から供給されてきた第 2のオーディオストリーム (Ext2)には Sub_id= 2を付加し、同様にして、第 nの拡張バッファ 74— n力も供給されてきた第 nのオーディオストリーム (ExtN)には Subjd =Nを付加する、といった条件が設定されている。なお、この条件と同様の条件が、後述する受信側 (デコーダ側）にも設定されている。

[0171] TSパケット化部 312は、基本バッファ 73、並びに拡張バッファ 74— 1乃至 74— nを制御して基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを取得するとともに、抽出情報付加部 311から供給されたテーブル（図 7と図 21)を取得する。また TSパケットィ匕部 312は、テーブルを TSパケットィ匕したり、 Subjd付加部 3 13に設定されている所定の条件とテーブルとに従って、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームをそれぞれ TSパケットィ匕する (TSパケットを生成する）。このとき、 TSパケットィ匕部 312は、 1本のオーディオストリームに対して共通する識別情報である PIDを TSパケットのヘッダ部に付加するとともに、 TSパケット化部 312の Subjd付加部 313は、ストリームの種類（基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリーム）を識別するための Subjdを、所定の条件に従って TSパケットのヘッダ部に付加する。また、 TSパケットィ匕部 312は、生成した TSパケットを送信部 77に供給する。

[0172] 送信部 77は、 TSパケットを送信する。このとき、複数の TSパケットが連続して送信されるため、結果として (複数の TSパケットからなる） 1つのストリームが送信されることになる。

[0173] 本発明の第 2の実施の形態においては、 PIDは、 TSパケットのエンコードの種類の拡張性を示す情報ではなぐ 1本のオーディオストリームを識別するための情報であり、 Subjdは、 TSパケットのエンコードの種類の拡張性を示す情報である。すなわち、 Subjdによれば、ストリームの種類 (基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリーム）を識別することができる。各 TSパケットのヘッダには、この Subjdが付加されているので、デコーダ側の受信装置において、所望の段数の拡張オーディオストリームのパケットを選択することができる。

[0174] 次に、基本オーディオストリームと複数段階の拡張オーディオストリームとを多重化した TS (トランスポートストリーム）の構造を、図 22と図 23を参照して説明する。

[0175] TSパケットィ匕部 312 (Subjd付加部 313)は、上述した図 4の基本オーディオストリーム 81と第 1乃至第 nの拡張オーディオストリーム 82— 1乃至 82— nとに対して、図 22 に示されるように、ヘッダ部に、同一（共通の） PID (PID = aO)を付加するとともに、それぞれ別々の Sub— id (パケット ID)を付カ卩し、 TSパケットとする。なお、 1つの TSバケツトには、例えば、 188バイト長のデータが格納される。

[0176] 図 22の TSストリームには、 PATが記載されたテーブルの TSパケット 320 (図 5の PAT90、すなわち図 7の PATと同様の情報）、 PMTが記載されたテーブルの TSパケット 321 (図 21の PMTと同様の情報）、 PID = aOであり Sub_id=0である基本オーディォストリーム（BS)の TSノケット 322、 PID = aOであり Sub— id= 1である第 1の拡張ォーディォストリーム（Extl)の TSパケット 323— 1、 PID = aOであり Sub— id= 2である第 2の拡張オーディオストリーム（Ext2)の TSパケット 323— 2、 · · ·、 PID = aOであり Sub— id =Nである第 nの拡張オーディオストリーム（ExtN)の TSパケット 323— nが含まれている。ここで、テーブルの TSパケット 320, 321は所定の周期毎に送信装置 310によつて送信されるものである。また、 PIDは、トランスポートパケットヘッダの PIDを示す。

[0177] なお、図 4の基本オーディオストリーム 81、並びに第 1乃至第 nの拡張オーディオストリーム 82—1乃至 82— nは、何れも、所定のオーディオサンプル数を 1つの単位として符号ィ匕されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には、基本オーディオストリーム 81は、 BS(1),BS(2), · · · , BS (n)というように、複数の単位に分離されて符号化されている。同様に例えば、第 1の拡張オーディォストリーム 82— 1は、 Extl(l),Extl(2), · · · , Extl (n)というように、複数の単位に分離されて符号化されている。係る基本オーディオストリーム 81、並びに第 1乃至第 nの拡張オーディオストリーム 82— nにおいて、添え字の同じもの同士、例えば、 BS (1)、並びに Extl(l)乃至 ExtN(l)とは、同期して図 20のオーディオエンコーダ 72によりエンコードされるとともに、同期して受信側の受信装置 42により再生 (デコード)される。

[0178] ここで、図 22の基本オーディオストリームと複数段階の拡張オーディオストリームとを多重化した TS (トランスポートストリーム）の構造を、図 23を参照してより詳細に説明する。

[0179] TSパケットィ匕部 312は、最初に、図 23の基本オーディオストリーム 81、並びに第 1 乃至第 nの拡張オーディオストリーム 82— 1乃至 82— n (図 23中の上段部）を、図 23 中の中段に示されるように、 PESパケットストリーム化し、 PESパケットストリーム 330とする。ここで、 PESHは、 PESパケットヘッダを示す。次に、 TSパケット化部 312は、 PES パケットストリーム 330を構成する各 PESパケットのそれぞれを、図 23の下段に示されるように、 TSパケットィ匕して多重化し、 TSノケット 333乃至 340とする。このとき、 T Sパケットィ匕部 312は、 Subjd付加部 313に設定されている条件と、抽出情報付加部 311から供給されるテーブルとに従って、各 TSパケットのヘッダ部に PIDと Subjdとを付加する。ここで PIDは、 Transport packet Headerの PIDを示し、 Sidは Subjdを示す。なお、実際には、 TSパケットィ匕部 312は、その他の各種情報も付加する力これらについては本発明とは直接関係がないためここでは説明を省略する。また、 TSパケット化部 312は、抽出情報付加部 311から供給されたテーブルを TSパケットにパケット化する。すなわち、 TSパケット化部 312は、抽出情報付加部 311から供給されたテ一ブルのうちの、 PATを TSノケット 331に、 PMTを TSノケット 332に、それぞれパケット化する。

[0180] このとき、図 23の下段に示されるように、 1つの TSパケットに 1オーディオフレーム（ BS (1)全体や、 Extl (l)の全体など）が含まれている訳ではない。具体的には、 1つの TSパケットには、所定のデータ長のデータが格納されるので、 1オーディオフレーム (例えば、 BS (1)全体)が、複数の TSパケットに分割 (分離)される。図 23の例の場合、 BS (1)は、 TSパケット 333と TSパケット 334に分割される。

[0181] なお、図 23の例では、 PMTの TSパケット 332は、 PATの TSパケット 331の後であつて TSパケット 333よりも前に送信部 77から送信されるように図示されているが、実際には、所定の周期毎に送信部 77から送信されるものである。

[0182] 図 22と図 23に示される第 2の実施の形態では、 1つのオーディオストリームに対応する各 TSパケットの PID、即ち、そのオーディオストリームについての基本オーディオストリーム並びに第 1乃至第 nの拡張オーディオストリームの全種類に対応する各 TS パケットの PIDは同一（PID = aO)とされている。このことは、受信装置側の本実施の形態の構成 (この構成については図 28以降の図面を参照して後述する）にあわせるためである。従って、受信装置の構成によっては、オーディオストリームについての基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの全種類に対応する各 TSパケットの PIDの全てを同一にする必要は必ずしも無い。例えば、基本ォ一ディォストリーム、並びに、第 1乃至第 nの拡張オーディオストリームの各種類を単位として、それぞれの種類の TSパケットに対して異なる PIDを付してもょ、。

[0183] 次に、図 20の送信装置 310における TSパケット送信処理について説明する。基本的には、図 6のフローチャートで示される処理と同様であるので、図 6のフローチヤ一トを流用して、図 6の処理と異なる点についてのみ説明する。ステップ S11乃至ステツプ S16の処理は、図 6を用いて上述した処理と同様であるのでその説明は省略する

[0184] ステップ S17において、図 20の抽出情報付加部 311は、テーブルを生成し、 TSパケットイ匕部 312に供給する。具体的には、抽出情報付加部 311は、図 7および図 21 に示されるような PATと PMTのテーブルを生成し、これを TSパケットィ匕部 311に供給する。

[0185] ステップ S18において、 TSパケットィ匕部 312は、 TSパケット生成処理を実行する。

なお、この処理の詳細は、図 24を参照して後述する。 TSパケットィ匕部 312により生成された TSパケットは、送信部 77に出力される。

[0186] ステップ S 19において、送信部 77は、 TSパケット（複数の TSパケットからなるォーディォストリーム）を受信装置 42 (図 10)に対して送信する。具体的には、 PATと PMT (テープノレ）の TSノ^^ット 320, 321、 ^す一ディ: ストリーム TSノゲット 322、 3fe びに第 1乃至第 nの拡張オーディオストリームの TSパケット 323— 1乃至 323— nを含むストリームが受信装置 42に対して送信される。その後、処理は終了される。なお、本実施の形態では、 TSパケットを受信装置 42 (図 10)に対して送信するようにしたが、図示せぬ各種の記録媒体に記録させるようにしてもよい。また、ー且、記録媒体に記録して、その記録媒体を受信装置 42 (図 10)に提供することで、間接的に送信するようにしてちょい。

[0187] 次に、第 2の実施の形態における、図 6のステップ S18の TSパケット生成処理の詳細を、図 24のフローチャートを参照して説明する。

[0188] ステップ S131において、 TSパケット化部 312は、テーブル (PATと PMT)を取得する

。このテーブルは、図 6のステップ S 17で生成された、図 7および図 21に示される PAT と PMTである。

[0189] ステップ S132において、 TSパケット化部 312は、テーブル (PATと PMT)を TSパケットイ匕して (PATと PMTに基づいて TSパケットを生成し）、送信部 77に出力する。なお、送信部 77はこのテーブルを受信装置 42に送信する。これにより、図 7の PATが記述された TSパケット 320、 PMTが記述された TSパケット 321 (図 22参照）が生成され、送信部 77に出力される。なお、この処理では、 1回だけ TSパケットが送信されるようにしたが、実際には所定の時間毎にテーブルが記述された TSパケットが送信される。これにより、ストリームの途中で受信装置が受信し始めた場合においても、受信装置は、テーブルを取得できるため確実にデコードすることができる。

[0190] ステップ S 133において、 TSパケット化部 312は、 3 1)」(1付加部313に設定されている所定の条件と、テーブルとに従って、基本バッファ 73、並びに第 1乃至第 nの拡張バッファ 74— 1乃至 74— nからのオーディオストリームのそれぞれに PIDと Subjdとを付す。なお、テーブルそのものはステップ S131の処理で TSパケットィ匕されて送信されたが、ここでは、 TSパケットィ匕部 312が保持しているものとする。 TSパケットィ匕部 3 12は、このテーブルに従って、基本バッファ 73、並びに第 1乃至第 nの拡張バッファ 74— 1乃至 74— nからのオーディオストリームのそれぞれに PID = aOをそれぞれ付カロするとともに、 Subjd付加部 313に設定されている所定の条件に従って、対応する Subjdをそれぞれ付加する。ここで、第 2の実施の形態においては、 PID = aO (同一）とされ、 Subjdの値が 0, 1, 2, · · · , Nと変化する。

[0191] この処理により、基本オーディオストリーム（BS)に PID = aO, Subjd =0が付カ卩され、第 1の拡張オーディオストリーム（Extl)に PID = aO, Subjd = 1が付加され、第 2の拡張オーディオストリーム（Ext2)に PID = aO, Subjd = 2が付カ卩され、同様にして、第 nの拡張オーディオストリーム（ExtN)に PID = aO, Sub_id=Nが付カ卩される。すなわち、ストリームの種類毎に異なる識別情報が付加される。

[0192] ステップ S134において、 TSパケットィ匕部 312は、基本バッファ 73、並びに第 1乃至第 nの拡張バッファ 74— 1乃至 74— nからのオーディオストリームに基づいて、それぞれ TSパケットを生成する。これ〖こより、図 22に示されるように、これらの基本オーディォストリームと第 1乃至第 nの拡張オーディオストリームは、それぞれ同一の PIDが付されるとともに、それぞれ異なる Subjdが付され、 TSパケットとして生成される。なお、詳細には、同じ 1オーディオフレームである場合には、同じ Subjdが付される（図 23の Sid参照)。

[0193] ステップ S 135において、 TSパケットィ匕部 312は、生成した TSパケットを送信部 77 に出力する。その後、処理は図 6のステップ S18に戻る。

[0194] 図 6および図 24の処理により、第 nの拡張オーディオストリームをエンコード可能な送信装置 310 (図 20)は、エンコードしたデータを、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームに分けるとともに、 Subjd付加部 313に設定されている条件とテーブルとに基づいて、 PIDおよび Subjdを付し、 TSパケットィ匕して送信する。また、送信装置 310は、 PATと PMTのテーブルを TSパケットィ匕して送信する。すなわち、送信装置 310 (図 20)は、ストリームの種類を識別する Subjdをへッダ部に付した複数の TSパケットと、テーブルの TSパケットを含むオーディオストリームを受信装置 42に対して送信する。

[0195] 送信装置 310が送信するストリームには、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを構成する TSパケットと、 PATと PMTが記述された TSパケットとが含まれるとともに、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを構成する TSパケットのヘッダには、 1本のオーディオストリームを識別する PIDと、オーディオストリームに含まれる TSパケットのそれぞれの種類を識別するための Subjdとが含まれるので、受信側では、自分の処理能力に合わせたデコードを行うことができる。

[0196] 次に、送信装置 310により送信される TSパケットの構成例を説明する。図 25は、図 22の TS (トランスポートストリーム）の基本オーディオストリーム、並びに第 1乃至第 n の拡張オーディオストリームを伝送する TSパケットの構造を示す図である。

[0197] 図 25に示される MPEG2 systemsの TSパケットヘッダのシンタクスでは、

Adaptation_fieldOの中に、 private_data_byteを入れるようにすることができる。この private_data_byteの 1バイトを Subjdの目的〖こ使うよう〖こする。図 25の例の場合、 Sub_idと記述されて、る箇所力 ¾rivate_data_byteとされて、る。

[0198] より詳細には、 transport_packetの sync_byteから Subjdまでの記述により、 TSバケツトのヘッダ部が構成され (すなわち、 PIDや Subjdが記述され）、 payloadの記述により、実データ（オーディオストリーム）が構成される。図 22の例の場合、 TSパケット 322の前半 PID = aO、 Sub_id=0と記述されているブロックが TSパケットのヘッダ部とされ、 T Sノケット 322の後半、 BSと記述されているブロックが TSパケットのペイロード部とされる。

[0199] ま 7こ、 adaptation— neldの adaptation— nelajengthには、 adaptation— fieldのァ ~~タぉカ ²¹ 記述され、 flagはその他の情報とされる。また、 transport_priate_data_flagは、 private_dataの有無を示すフラグであり、図 25の例では 1、すなわち、 private_dataがあることをしてヽる。 3;た、 transport_priate_data_lengsには、 pnvate_dataのァ ~~タ ¾力記述され、図 25の例では 1、すなわち、 private_data (Subjd)のデータ長が 1バイトであることを示している。さらに、 Subjdが private_dataとして設定されている。 Subjdのデータ長は、 transport_priate_data_lengs = lで記述されているように、 1ノイトとされる。すなわち、 Subjdには、 TSパケットの種類に応じて、 0, 1, 2, · · · , nの値が記述される。具体的には、基本オーディオストリームに対応する TSパケットの場合、 0が記述され、第 1の拡張オーディオストリームに対応する TSパケットの場合、 1が記述される。このように、 TSパケットのヘッダ部に、 PIDと Subjdとが記述される。

[0200] 図 23,図 25の例では、基本オーディオストリームと複数段階の拡張オーディオストリーム力もなるオーディオストリームの TSパケットの構造について説明した力次に、基本オーディオストリームと拡張オーディオストリームが第 1段階までしかないオーディォストリームの TSパケットについて図 26と図 27を参照して説明する。

[0201] 図 26は、基本オーディオストリームと第 1の拡張オーディオストリームを多重化した場合のトランスポートストリームの構造を説明する図である。図中、図 23と対応する部分につ、ては同一の符号を付してある。

[0202] 図 26では、 TSパケットの種類を識別するために Sub jdではなく、 transport_priority ( 図 26中では tpと記述する）を用いる。 TSパケットィ匕部 312は、最初に、図 26の基本オーディオストリーム 81および第 1の拡張オーディオストリーム 82-1 (図 26中の上段部）を、図 26の中段に示されるように、 PESパケットストリーム化し、 PESパケットストリーム 370とする。次に、 TSパケット化部 312は、 PESパケットストリーム 370を構成する各 PESパケットのそれぞれを、図 26の下段に示されるように、 TSパケットィ匕して多重化し、 TSノケット 371乃至 378とする。このとき、 TSパケット化部 312は、 Sub— id付カロ部 313に設定されている条件と、抽出情報付加部 311から供給されるテーブルとに従って、各 TSパケットのヘッダ部に PIDと transport_priorityとを付カ卩する。なお、実際には、 TSパケットィ匕部 312は、その他の各種情報も付加する。また、 TSパケットィ匕部 312は、抽出情報付加部 311から供給されたテーブル (PATと PMT)を TSパケットにパケット化する。すなわち、 TSパケット化部 312は、 PATを TSノケット 331に、 PMT を TSノケット 332に、それぞれパケット化する。

[0203] 図 27は、図 26の TS (トランスポートストリーム）の基本オーディオストリーム、および第 1の拡張オーディオストリームを伝送する TSパケットの構造を示す図である。

[0204] 図 27に示される MPEG2 systemsの TSパケットヘッダのシンタクスでは、

transport_priorityフラグを使って、そのトランスポートパケットのペイロードのデータが、基本オーディオストリームであるか、第 1の拡張オーディオストリームであるかを区別する。図 27の例の場合、 transport_priority= lであれば基本オーディオストリームを示し、 transport_priority=0であれば第 1の拡張オーディオストリームを示す。このように、優先度の高いストリーム（基本オーディオストリーム）に対して transport_priority= 1を付している。

[0205] なお、図 27の transport_packetの sync_byteから continuity_counterまでの記述により、 TSパケットのヘッダ部が構成され（すなわち、 PIDや transport_priorityが記述され）、 payloadの記述により、実データ（オーディオストリーム）が構成される。図 26の例の場合、 TSパケット 371の前半 PID = aO、 tp = 1と記述されているブロックが TSパケットのヘッダ部とされ、 TSパケット 371の後半、 BSと記述されているブロックが TSバケツトのペイロード部とされる。

[0206] オーディオストリーム力基本オーディオストリームと第 1の拡張オーディオストリームのみで構成される場合に、 TSパケットを図 27に示されるような構造とすることで、図 2 5の TSパケットの構造と比較して、より、ヘッダのデータ量を減らすことができる。なお、勿論、オーディオストリームが基本オーディオストリームと第 1の拡張オーディオストリームのみ力もなる場合に、図 25の TSパケットの構造を用いるようにしてもょ、。

[0207] また、トランスポートパケットヘッダの中での Sub jdの定義の方法は、図 25と図 27の方法に限らず、他のシンタクスフィールドを適用することも可能である。

[0208] 次に、第 2の実施の形態における再生側の受信装置 42 (図 10)の構成例について説明する。本実施の形態では、再生側の受信装置 42は、少なくとも、基本オーディォストリーム (BS)をデコードする能力を有する。また、再生側の受信装置 42が、所定の第 m段階 (mは 1以上の自然数であり、 m≤nである)までの拡張オーディオストリームを再生可能な場合、受信装置 42 (図 10)は、基本オーディオストリームと第 1乃至第 mまでの拡張オーディオストリームをデコードすることができる。基本オーディオストリームと拡張オーディオストリームの関係としては、例えば、 nが大きな値の拡張ォーディォストリームまでをデコードできるほど、オーディオの再生品質が高くなつたり、また、機能性が高くなつたりする。

[0209] 最初に、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームを復号可能なオーディオストリーム処理部 122を備えた受信装置 42 (図 10)の第 2の実施の形態における構成例を、図 28を参照して説明する。図 28の例では、図 18および図 19の場合と同様に、 TSの多重化方法に制限が加えられた場合にストリーム処理を実行するオーディオストリーム処理部 122について説明する。すなわち、図 28は、 TSの中で、基本オーディオストリーム、並びに、第 1乃至第 nの拡張オーディオストリームの順番に、同期して再生される符号ィ匕の単位が並んで符号化される場合に適用されるオーディオストリーム処理部 122の例である。換言すれば、全体のストリームに含まれる基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットは、同時刻に再生される TSパケットが連続して、かつ、基本ストリームを構成する TSパケット、並びに、第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並べられて、る（エンコーダ側の送信装置 41力この順番に並べて TSパケットを出力している）。

[0210] 図 28のオーディオストリーム処理部 122には、入力部 401、 PIDフィルタ制御部 402 、 PIDフィルタ 403、 Subjdフィルタ制御部 404、 3 1)」(1フィルタ405、バッファ 406、およびオーディオデコーダ 407が設けられて!/、る。

[0211] 入力部 401は、（図 10の）受信部 121から供給されるオーディオストリームの TSパケット（基本オーディオストリーム、並びに、第 1乃至第 nの拡張オーディオストリームの順番に、同期して再生される符号ィ匕の単位が並んで入力される TSパケット）の入力を受け付ける。入力部 401は、オーディオストリームの TSパケットのうち、テーブル (図 7と図 21を用、て上述した PATと PMTのテーブル）の TSパケットを PIDフィルタ制御部 402に供給し、それ以外の TSパケット（例えば、図 23の PIDや Subjdが付された基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSパケット）を PIDフィルタ 403に供給する。また、入力部 401は、 PIDや Subjdが付された基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSバケツト（PATと PMT以外の TSパケット）のヘッダ部を、 Subjdフィルタ制御部 404に供給する。例えば、入力部 401に入力されるオーディオストリームの TSパケットが図 25に示される構成であった場合、図 25の sync_byteから Subjdまでのヘッダ部を Subjdフィルタ制御部 404に供給し、入力部 401に入力されるオーディオストリームの TSパケットが図 27に示される構成であった場合、図 27の sync_byteから continuity_counterまでのヘッダ部を Subjdフィルタ制御部 404に供給する。

[0212] PIDフィルタ制御部 402は、取得したテーブル（図 7および図 21)に基づいて、 PID フィルタ 403の動作を制御する。例えば、 PIDフィルタ制御部 402は、図 7および図 21 の PATと PMTに基づ!/、て、 TSパケットのヘッダ部に記述されて!、る Audio_PID = aOである TSパケットを、 Subjdフィルタ 404に供給させるよう、 PIDフィルタ 403の動作を制御する（PIDフィルタ 403のスィッチを切り換える）。

[0213] PIDフィルタ 403は、 PIDフィルタ制御部 402からの制御に基づいて、 TSパケットを選択する（取り出す)。例えば、 PIDフィルタ 403は、 PIDフィルタ制御部 402からの制御に基づいて、ヘッダに記述されている PID = aOである TSパケットを、後段の Subjd フィルタ 405に供給する。

[0214] Subjdフィルタ制御部 404は、入力部 401から供給された TSパケットのヘッダ部に記述されている Subjdの情報（値）と、 Subjdフィルタ制御部 404にあら力じめ設定されている所定の条件とに基づいて、 Subjdフィルタ 405の動作を制御する。 Subjdフィルタ制御部 404には、上述した送信装置 310 (図 20)の Subjd付加部 313に設定されている条件と同じ条件が設定されているので、 Subjdフィルタ制御部 404は、この設定されている条件と、入力部 401から供給された TSパケットの Subjdの値に基づいて、オーディオデコーダ 407が処理可能なストリームの種類を判断し、 Subjdフィルタ 40 5の動作を制御する（Subjdフィルタ 405のスィッチを切り換える）。図 28の例の場合、 Subjdフィルタ制御部 404は、オーディオデコーダ 407が処理可能なストリームの種類力基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームであると判断し、 Sub_id=0乃至 Nが付された TSパケットを、バッファ 406に供給するよう Subjdフィルタ 405を制御する。

[0215] Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づ!/、て、 TSバケツトを選択する（取り出す)。具体的には、 Subjdフィルタ 405は、 Subjdフィルタ制御部 4 04からの制御に基づいて、ヘッダに記述されている Subjdの値に対応するスィッチを選択する。例えば、 Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいて、 TSパケットのヘッダ部に記述されている Subjdの値が 0, 1, 2, · · · , Nである TSパケットを、後段のバッファ 406に順次供給する。このとき、図 22や図 23に示されるように、 TSの中で、 BS (1) ,Extl (1) , Ext2 (l) , · · -ExtN (l) ,BS (2) ,Ext2 (2) , · · · , ExtN (2)の順番に並んで符号化されているため、 Subjdフィルタ 405は、図 29 に示されるように、 TSの中で、 BS (1) ,Extl (1) , Ext2 (l) , · · -ExtN (l) ,BS (2) ,E xt2 (2) , ' · · , ExtN (2)の順番で、 TSパケットのペイロードデータをバッファ 406に供給する。

[0216] ノッファ 406は、 Subjdフィルタ 405から供給された TSパケットを格納（バッファリング）する。このバッファ 406は、オーディオデコーダ 407に対する同期を取るために動作するオーディオバッファである。具体的には、ノッファ 406は、 BS (1) ,Extl (1) ,Ε xt2 (l) , - - - , ExtN (1) ,BS (2) ,Ext2 (2) , · · · , ExtN (2)の順番に並んで供給された TSパケット（データ）を格納する。また、ノッファ 406は、バッファリングしている TS パケットを、所定のタイミングでオーディオデコーダ 407に出力する（すなわち、ォーディォデコーダ 407は、バッファ 406に格納されている TSパケットを、所定のタイミングで取得する）。オーディオデコーダ 407は、ノッファ 406から供給された TSパケットをデコードする。オーディオデコーダ 407は、デコードしたオーディオストリームを、後段の出力部 123 (図 10)に供給する。

[0217] 第 2の実施の形態における、図 28によれば、 PIDの値をストリームの種類 (基本ォーディォストリーム、並びに第 1乃至第 nの拡張オーディオストリーム）で異なる値を用いないようにし、 Subjdの値をストリームの種類で異なる値を用いるようにしたので、基本と拡張を組み合わせたオーディオストリームを 1つの実体と考えて、それに 1つの PID の値を与えて管理することができる。このことは、基本オーディオストリームと複数段階の拡張オーディオストリームを 1つのストリームとして管理するアプリケーションに適用した場合に、特に有効となる。

[0218] なお、図 28のオーディオストリーム処理部 122を設けた受信装置 42 (図 10)における TSパケット受信処理の処理は、基本的には、図 12の処理と同様であるが、図 12のステップ S53のオーディオストリーム処理の詳細が異なる。そこで、図 30と図 31のフローチャートを用いて、図 12のステップ S53の処理の一例である、第 n段の拡張ォーディォストリーム処理を説明する。この処理は、図 28のオーディオストリーム処理部 1 22により実行される処理である。すなわち、基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームをデコードできるオーディオストリーム処理部 122 が実行する処理である。

[0219] ステップ S171において、入力部 401はオーディオストリームの TSパケットの入力（複数の TSパケットからなるオーディオストリーム）を受け付ける。このオーディオストリームの TSパケットは、上述した図 6のステップ S19で送信装置 41により送信された、テーブル（図 7と図 21)の TSパケット、基本オーディオストリーム TSパケット、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットを含む 1本のオーディオストリームである。

[0220] ステップ S172において、入力部 401は、テーブル（図 7と図 21)の TSパケットを PID フィルタ制御部 402に供給する。具体的には、オーディオストリームの TSパケットには、テーブル（PATと PMT)の TSパケット、基本オーディオストリームの TSパケット、並びに、第 1乃至第 nの拡張オーディオストリームの TSパケットが含まれているので（図 22、図 23参照）、入力部 401は、これらの TSパケットのうち、テーブル（図 7と図 21) の TSパケットを PIDフィルタ制御部 402に供給する。

[0221] ステップ S173において、入力部 401は、 PIDが付されている TSパケットを PIDフィルタ 403に供給する。具体的には、図 22や図 23において、 PIDが付されている基本ォ一ディォストリーム、並びに第 1乃至第 nの拡張オーディオストリームの TSパケットを PIDフィルタ 403に供給する。

[0222] ステップ S174において、 PIDフィルタ制御部 402は、テーブル（図 7と図 21)を参照して、オーディオデコーダ 407が処理できるストリームを判断する。すなわち、 PIDフィルタ制御部 402は、自分が処理できる 1本のストリーム（この例の場合、 PID = aOのォ一ディォストリーム）を、テーブルを参照して判断し、そのストリームに関連付けられた PIDを自分が処理できるストリームの種類と判断する。また、 PIDフィルタ制御部 402は、自分が処理できると判断した PID = aOが付された TSパケット (オーディオストリームに関連付けられた TSパケット）を選択するように PIDフィルタ 403を制御する。

[0223] このステップ S 174の処理で、 PIDフィルタ制御部 402は、同じ PIDが付された（PID

=a0が付された） 1本のオーディオストリームを構成する、基本オーディオストリームの TSパケット、並びに、第 1乃至第 nの拡張オーディオストリームの TSパケットを、 Subjdフィルタ 405に供給するよう、 PIDフィルタ 403を制御することになる。

[0224] ステップ S175において、 PIDフィルタ 403は、 PIDフィルタ制御部 402からの制御に基づいて、スィッチを選択し、対応する TSパケットを後段の Subjdフィルタ 405に供給する。具体的には、 PIDフィルタ 403は、 PID = aOである TSパケット、すなわち、 1本のオーディオストリームを、スィッチを切り換えて選択し、後段の Subjdフィルタ 405に供給する。

[0225] ステップ S 176において、 Subjdフィルタ制御部 404は、ステップ S 173の処理で入力部 401から供給された TSパケットのヘッダ部の情報と、 Subjdフィルタ制御部 404 にあら力じめ設定されて、る所定の条件に基づ、て、オーディオデコーダ 407が処理できるストリームの種類を判断し、 Sub jdフィルタ 405を制御する。例えば、 Subjdフィルタ制御部 404は、オーディオデコーダ 407が処理可能なストリームの種類力基本オーディオストリーム、並びに第 1乃至第 nの拡張オーディオストリームであると判断する。また、 Subjdフィルタ制御部 404には、 Sub_id=0が基本オーディオストリームに対応しており、 Sub_id= lが第 1の拡張オーディオストリームに対応しており、同様にして、 Sub_id=Nが第 nの拡張オーディオストリームに対応している、といった条件があらカじめ設定されているので、 Subjdフィルタ制御部 404は、この条件に基づいて、自分自身が所定可能であると判断した種類のストリームを、後段のバッファ 406に供給するよう、 Subjdフィルタ 405の動作を制御する。なお、 Subjdフィルタ制御部 404に設定されてヽる条件は、上述した送信装置 310 (図 20)の Subjd付加部 313に設定されている条件と同じ条件 (Sub jd=0が基本オーディオストリームに対応しているなどの条件）であるので、 Subjdにより、正確にストリームの種類を識別することができる。

[0226] ステップ S177において、 Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいて、スィッチを選択し、対応する TSパケットを後段のノッファ 406に供給する。例えば、 Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいて、ヘッダ部に Sub_id=0が付された TSパケットを、 Sub jdフィルタ 405の Subjd =0のラインを介してバッファ 406に供給されるよう、スィッチを切り換える。また、 Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいて、ヘッダ部に Subjd= 1 が付された TSパケットを、 Subjdフィルタ 405の Subjd = 1のラインを介してバッファ 40 6に供給されるよう、スィッチを切り換える。これにより、

図 29に示されるような TSパケットの順番で、ノッファ 406にデータが供給される。

[0227] ステップ S178において、ノッファ 406は、 Subjdフィルタ 405から供給された TSパケットを格納（バッファリング）する。これにより、ノッファ 406には、図 29に示されるような、 BS (l) ,Extl (l) ,Ext2 (l) , - - - , ExtN (1) ,BS (2) ,Ext2 (2) , · · · , ExtN (2)の順番に並んで供給された TSパケットが格納される。

[0228] ステップ S179において、ノッファ 406は、所定のタイミングで TSパケットをオーディォデコーダ 407に出力する。例えば、ノッファ 406は、図 29に示されるような、 BS (1 ) ,Extl (1) ,Ext2 (l) , · · · , ExtN (1) ,BS (2) ,Ext2 (2) , · · · , ExtN (2)の順番に並んでバッファリングしていた TSパケットを、所定のタイミングで、順次オーディオデコーダ 407に出力する。

[0229] ステップ S180において、オーディオデコーダ 407は、バッファ 406から供給された TSパケット (BS (1) ,Extl (1) ,Ext2 (l) , · · · , ExtN (l) ,BS (2) ,Ext2 (2) , · · · , Ex tN (2)の順番で供給された TSパケット）を順次デコードし、ステップ S181にお、て、デコードしたオーディオストリームを順次出力する。

[0230] 図 30と図 31の処理により、受信するストリームに、基本オーディオストリームを構成する TSパケット、第 1乃至第 nの拡張オーディオストリームを構成する TSパケット、 PIDを振り分けるためのテーブル（図 7と図 21の PATと PMT)が含まれるとともに、基本オーディオストリームを構成する TSパケットおよび第 1乃至第 nの拡張オーディオストリームを構成する TSパケットには、 1本のオーディオストリームを識別するための PID と、オーディオストリームの種類を識別するための Subjdが付されているので、図 28に示されるような基本オーディオストリーム、第 1乃至第 nの拡張オーディオストリームをデコード可能なオーディオストリーム処理部 122 (受信装置 42)においても、容易にデコードを行うことができる。

[0231] 図 28乃至図 31では、図 22と図 23の TSを復号可能なオーディオストリーム処理部 122を備えた受信装置 42 (図 10)について説明した力その他の例として、図 22と図 23の TSを復号可能なオーディオストリーム処理部 122のオーディオデコーダ 407が、基本オーディオストリームのみをデコードする能力を有する場合の構成例について、図 32を用いて説明する。なお、図中、図 28と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。

[0232] Subjdフィルタ制御部 404は、入力部 401から供給された TSパケットのヘッダ部に記述されている Subjdの情報（値）と、 Subjdフィルタ制御部 404にあら力じめ設定されている所定の条件とに基づいて、 Subjdフィルタ 405の動作を制御する。図 32の例の場合、 Subjdフィルタ制御部 404は、オーディオデコーダ 407が処理可能なストリームの種類が、基本オーディオストリームであると判断し、所定の条件に基づいて、基本オーディオストリームが Subjd =0に対応することを確認する。そして、 Subjdフィルタ制御部 404は、 Subjd=0が付された TSパケットを、バッファ 406に供給するよう Subjdフィルタ 405を制御する。

[0233] Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づ!/、て、 TSバケツトを選択する（取り出す)。図 32の例の場合、 Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいて、ヘッダに記述されている Sub jd=0の値に対応するスィッチを選択し、基本オーディオストリームを、バッファ 406に供給する。

[0234] 図 32の例の場合、オーディオストリーム処理部 122は、基本オーディオストリームに対応するオーディオデコーダ 407のみを有し、第 1乃至第 nの拡張オーディオストリームをデコードできる能力がない。この場合、 Subjdフィルタ制御部 404は、自分が処理できるストリームの種類が基本オーディオストリームのみであることを記憶しており、あらカじめ設定されている所定の条件 (例えば、 Sub_id=0が基本オーディオストリームに対応し、 Sub_id= lが第 1の拡張オーディオストリームに対応するなどの条件)から、基本オーディオストリームに対応する Subjdを参照する。この場合、 Subjdフィルタ制御部 404は、 Subjd=0が、自分が処理できるストリームの種類であると判断し、デコードできるストリームの Subjdが付された TSパケットを選択するように Subjdフィルタ 40 5を制御する。例えば、 Subjdフィルタ制御部 404は、デコードできるストリームの IDを通過させてょ、Subjdの番号（Subjd =0)を Subjdフィルタ 405に通知する。 Subjdフィルタ 405は、 Subjdフィルタ制御部 404から通知された Sub jd、すなわち Sub_id=0 に基づいて、 Sub_id=0が付された TSパケットを選択し、これをバッファ 406に供給する。このとき、第 1乃至第 nの拡張オーディオストリームの TSパケットが供給されてきた場合、 Subjdフィルタ 405は、そのパケットを選択しない。すなわち、 Subjd=0が付された基本オーディオストリームの TSパケットのみが供給されてきた場合に、 Subjdフィルタ 405は、その基本オーディオストリームの TSパケットを選択して、後段のバッファ 406に供給する。これにより、 Sub— idフイノレタ 405では、図 33に示されるように、基本オーディオストリームの TSパケットが選択され、後段のバッファ 406に供給される。

[0235] なお、図 32のオーディオストリーム処理部 122を設けた受信装置 42 (図 10)における TSパケット受信処理の処理は、図 12、図 30および図 31の処理と同様であるのでその説明は省略する。ただし、図 32の Subjdフィルタ制御部 404は、 Sub_id=0が付された TSパケットを、後段のバッファ 406に供給させるよう、 Subjdフィルタ 405を制御し、 Sub_idフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいてスイツチを切り換える。その結果、 Subjdフィルタ 405は、図 33に示されるように、基本ォーディォストリームの TSパケットのみを、バッファ 406に供給する。そして、オーディオデコーダ 407は、所定のタイミングでバッファ 406から供給されてきた基本オーディオストリームの TSパケットをデコードする。

[0236] このように、 TSパケットのヘッダに、 1本のストリームを示す PIDと、ストリームの種類を識別する Subjdが付されているので、図 32に示されるような基本オーディオストリームのみをデコード可能なオーディオストリーム処理部 122 (受信装置 42)においても、基本オーディオストリームに対応する TSパケットのみを選択してデコードすることができる。すなわち、複数段階に拡張されたオーディオストリームが送信されてきた場合においても、図 32のオーディオストリーム処理部 122を備える受信装置 42においては、基本オーディオストリームのみを取り出し、再生することができる。また、 TSパケットのペイロード部ではなぐヘッダに Subjdが付加されているので、受信装置 42において TSパケットのペイロード部を見ずとも、自分自身が処理可能であるか否かをヘッダ部に基づいて判断することができ、もって、迅速に処理することができる。

[0237] 上述した第 2の実施の形態では、図 22と図 23の TSを復号可能なオーディオストリーム処理部 122を備えた受信装置 42 (図 10)の例について説明したが、さらにその他の例として、図 22と図 23の TSを復号可能なオーディオストリーム処理部 122のォ一ディォデコーダ 407が、基本オーディオストリームと第 1の拡張オーディオストリームのみをデコードする能力を有する場合の構成例について、図 34を用いて説明する。

[0238] Subjdフィルタ制御部 404は、入力部 401から供給された TSパケットのヘッダ部に記述されている Subjdの情報（値）と、 Subjdフィルタ制御部 404にあら力じめ設定されている所定の条件とに基づいて、 Subjdフィルタ 405の動作を制御する。図 34の例の場合、 Subjdフィルタ制御部 404は、オーディオデコーダ 407が処理可能なストリームの種類が、基本オーディオストリームと第 1の拡張オーディオストリームであると判断し、所定の条件に基づいて、基本オーディオストリームが Sub_id=0, 1に対応することを確認する。そして、 Subjdフィルタ制御部 404は、 Subjd =0, 1が付された TSバケツトを、バッファ 406に供給するよう Subjdフィルタ 405を制御する。 [0239] Sub_idフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づ!/、て、 TSバケツトを選択する（取り出す）。図 34の例の場合、 Sub_idフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいて、ヘッダに記述されている Sub jd=0, 1の値に対応するスィッチを選択し、基本オーディオストリームと第 1の拡張オーディオストリームを、ノッファ 406に供給する。

[0240] 図 34の例の場合、オーディオストリーム処理部 122は、基本オーディオストリームと第 1の拡張オーディオストリームとに対応するオーディオデコーダ 407のみを有し、第 2乃至第 nの拡張オーディオストリームをデコードできる能力がない。この場合、 Subjd フィルタ制御部 404は、自分が処理できるストリームの種類が基本オーディオストリームと第 1の拡張オーディオストリームであることを記憶しており、あら力じめ設定されている所定の条件（例えば、 Subjd =0が基本オーディオストリームに対応し、 Subjd = 1 が第 1の拡張オーディオストリームに対応するなどの条件)から、基本オーディオストリ一ムと第 1の拡張オーディオストリームとに対応する Subjdを参照する。この例の場合、 Subjdフィルタ制御部 404は、 Sub_id=0, 1力自分が処理できるストリームの種類であると判断し、デコードできるストリームの Subjdが付された TSパケットを選択するように Subjdフィルタ 405を制御する。例えば、 Subjdフィルタ制御部 404は、デコードできるストリームの IDを通過させてよい Subjdの番号（Subjd =0, 1)を Subjdフィルタ 40 5に通知する。 Subjdフィルタ 405は、 Subjdフィルタ制御部 404から通知された Subjd 、すなわち Sub_id=0, 1に基づいて、 Subjd =0, 1が付された TSパケットを選択し、これをバッファ 406に供給する。このとき、第 2乃至第 nの拡張オーディオストリームの TSパケットが供給されてきた場合、 Subjdフィルタ 405は、そのパケットを選択しない。すなわち、 Subjd =0, 1が付された基本オーディオストリームと第 1の拡張オーディォストリームの TSパケットのみが供給されてきた場合に、 Subjdフィルタ 405は、その基本オーディオストリームと第 1の拡張オーディオストリームの TSパケットを選択して、後段のバッファ 406に供給する。これにより、 Subjdフィルタ 405では、図 35に示されるように、基本オーディオストリームと第 1の拡張オーディオストリームの TSパケットが選択され、後段のバッファ 406に供給される。

[0241] なお、図 34のオーディオストリーム処理部 122を設けた受信装置 42 (図 10)における TSパケット受信処理の処理は、図 12、図 30および図 31の処理と同様であるのでその説明は省略する。ただし、図 34の Subjdフィルタ制御部 404は、 Sub_id=0, 1が付された TSパケットを、後段のバッファ 406に供給させるよう、 Subjdフィルタ 405を制御し、 Subjdフィルタ 405は、 Subjdフィルタ制御部 404からの制御に基づいてスィツチを切り換える。その結果、 Subjdフィルタ 405は、図 35に示されるように、基本ォ一ディォストリームと第 1の拡張オーディオストリームの TSパケットのみを、バッファ 40 6に供給する。そして、オーディオデコーダ 407は、所定のタイミングでバッファ 406から供給されてきた基本オーディオストリームと第 1の拡張オーディオストリームの TSパケットをデコードする。

[0242] このように、基本オーディオストリームと第 1の拡張オーディオストリームを復号 (デコード）可能な受信装置 42 (図 34のオーディオストリーム処理部 122)においては、基本オーディオストリームと第 1の拡張オーディオストリームだけを分離して再生することができる。

[0243] また、 TSの中で、基本オーディオストリーム、並びに、第 1乃至第 nの拡張オーディォストリームの順番に、同期して再生される符号ィ匕の単位が並んで符号化され、供給されたオーディオストリームであれば、図 28、図 32、および図 34に示されるような構成を適用することができ、第 1の実施の形態の図 16などと比較して、ノッファの数を少なくすることができる。また、低コストにオーディオストリーム処理部を実現することができる。

[0244] なお、第 2の実施の形態の受信装置 42のオーディオストリーム処理部 122 (図 28、図 32、および図 34)の例では、図 18の場合と同様に、 TSの多重化方法に制限が加えられた場合にストリーム処理をするときについて説明した力第 1の実施の形態の図 11、図 14、図 15、および図 16に示されるように、ストリームの種類毎に対応するバッファを個別に設けるようにしてもよい。その場合、ノッファの数は増える力 TSの多重化方法の制限がなくなり、より、受信装置 42の自由度を広げることができる。

[0245] また、図 28、図 32、図 34の例のオーディオストリーム処理部 122では、入力部 401 力 TSパケットのヘッダを、 Subjdフィルタ制御部 404に供給するようにした力これに限らず、 PIDフィルタ 403の出力（PID = aOの TSパケット）を、 Subjdフィルタ制御部 404に供給させるようにしてもよい。この場合、 Subjdフィルタ制御部 404は、入力部 4 01ではなく、 PIDフィルタ 403から供給された TSパケットのヘッダ部に基づいて、 Subjdフィルタ 405を制御する。

[0246] 以上の第 2の実施の形態によれば、基本オーディオストリームと複数段階の拡張ォ一ディォストリームの多重化ストリーム力オーディオを再生する場合に、基本オーディォストリームだけの復号能力を持った受信装置 42 (例えば、図 32のオーディオストリーム処理部 122を有する受信装置 42)では基本オーディオストリームだけを分離して再生でき、所定の段階 nの拡張オーディオストリームまでの再生能力を持った再生装置 42 (例えば、図 28のオーディオストリーム処理部 122を有する受信装置 42)では、基本とその段階 nまでの拡張オーディオストリームを分離して再生できるようにするための、多重化ストリームの符号ィ匕および復号方法を提供することができる。

[0247] すなわち、送信側の送信装置 41 (例えば、図 20の送信装置 41) )によれば、基本オーディオストリームと複数段階の拡張ストリームを含むストリームを受信側の処理能力に応じてデコードできるようにエンコードすることができる。換言すれば、受信側の装置 (例えば、図 28、図 32、および図 34)は、基本オーディオストリームと複数段階の拡張ストリームを含むストリームが送信されてきた場合に、自分が処理できるストリームの種類を判断し、自分が処理できるストリームのみをデコードして再生することができる。

[0248] また、各 TSパケットのヘッダ部に PIDと Subjdを付すようにすればよいため、トランスポートストリームへ容易に適用することができる。

[0249] さらに、 1つの TSパケットが 188バイト長と比較的小さいデータの中に、 1種類のストリームしか入れなくて良い、すなわち、 1つの TSパケットに基本オーディオストリームと拡張オーディオストリームを入れる必要はないため、符号ィ匕効率のよい符号ィ匕を行うことができる。

[0250] また、オーディオストリームの拡張が追加された場合、すなわち、 nが増えた場合においても、ストリーム構造はフォーマットで決められていないため、符号化、復号の両方で対応することができる。すなわち、基本オーディオストリームし力復号できない装置においても、拡張が追加されたオーディオストリームを復号することができる。 [0251] なお、本発明は、エンコーダを有する送信装置 41に限らず、エンコードを行う全ての情報処理装置に適用することができる。また、本発明は、デコーダを有する受信装置 42に限らず、デコードを行う全ての情報処理装置に適用することができる。

[0252] さらに、以上の例では、本発明をオーディオストリームのエンコード、デコードに適用した場合について説明した力これに限らず、ビデオストリームのエンコード、デコードに適用することもできる。すなわち、本発明は、オーディオストリームまたはビデオストリームでなどのストリームに適用することができる。

[0253] 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図 36に示されるようなパ一ソナルコンピュータ 500により実行される。

[0254] 図 36において、 CPU501は、 ROM502に記憶されているプログラム、または、記憶部 508から RAM503にロードされたプログラムに従って各種の処理を実行する。 RAM 503にはまた、 CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。

[0255] CPU501、 ROM502、および RAM503は、内部バス 504を介して相互に接続されている。この内部バス 504にはまた、入出力インターフェース 505も接続されている。

[0256] 入出力インターフェース 505には、キーボード、マウスなどよりなる入力部 506、

CRT, LCDなどよりなるディスプレイ、スピーカなどよりなる出力部 507、ハードデイスクなどより構成される記憶部 508、並びに、モデム、ターミナルアダプタなどより構成される通信部 509が接続されている。通信部 509は、電話回線や CATVを含む各種のネットワークを介しての通信処理を行う。

[0257] 入出力インターフェース 505にはまた、必要に応じてドライブ 510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーパブルメディア 521が適宜装着され、それから読み出されたコンピュータプログラム力必要に応じて記憶部 508にインストールされる。

[0258] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力 S、ネットワークや記録媒体力インストールされる。

[0259] この記録媒体は、図 36に示されるように、コンピュータとは別に、ユーザにプロダラムを提供するために配布される、プログラムが記録されてヽるリムーバブルメディア 52 1よりなるノ¾ /ケージメディアにより構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されて、る ROM502や記憶部 50 8が含まれるハードディスクなどで構成される。

[0260] なお、本明細書にぉ、て、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

[0261] また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

Claims

請求の範囲

[1] 入力したストリームを、基本ストリーム、並びに前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのうち、少なくとも前記基本ストリームと前記第 1 の拡張ストリームを含むようにエンコードするエンコード手段と、

前記エンコード手段によりエンコードされた前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別する IDと、前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルを生成するテーブル生成手段と、

前記エンコード手段によりエンコードされた前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれに、対応する前記 IDを付加する付加手段と、

前記付加手段により前記 IDが付加された前記基本ストリーム、第 1乃至第 nの拡張ストリーム、並びに前記テーブルを、それぞれ TSパケットにパケットィ匕するパケットィ匕手段と

を備えることを特徴とする情報処理装置。

[2] 入力したストリームを、基本ストリーム、並びに前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのうち、少なくとも前記基本ストリームと前記第 1 の拡張ストリームを含むようにエンコードするエンコードステップと、

前記エンコードステップの処理によりエンコードされた前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別する IDと、前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルを生成するテーブル生成ステップと、

前記エンコードステップの処理によりエンコードされた前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれに、対応する前記 IDを付加する付加ステツプと、

前記付加ステップの処理により前記 IDが付加された前記基本ストリーム、第 1乃至第 nの拡張ストリーム、並びに前記テーブルを、それぞれ TSパケットにパケットィ匕するパケット化ステップと

を含むことを特徴とする情報処理方法。

[3] 入力したストリームを、基本ストリーム、並びに前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのうち、少なくとも前記基本ストリームと前記第 1 の拡張ストリームを含むようにエンコードするエンコードステップと、

を含む処理をコンピュータに実行させることを特徴とするプログラム。

[4] 基本ストリームを構成する TSパケット、前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケット、並びに、前記 TSパケットを識別する IDと前記 TSパケットで構成される前記基本ストリームまたは前記第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されて Vヽる TSパケットを含むストリームを入力する入力手段と、

前記入力手段により入力された前記 TSバケツトに格納されて!、る前記テーブルを参照し、自分が処理できるストリームの種類を判断する判断手段と、

前記判断手段により自分が処理できると判断されたストリームに関連付けられた前記 IDが付された前記 TSパケットを、前記ストリーム力も選択する選択手段と、前記選択手段により選択された前記 TSパケットをデコードするデコード手段とを備えることを特徴とする情報処理装置。

[5] 前記選択手段により選択された前記 TSパケットを、前記 ID毎にバッファリングするバッファ手段をさらに備える

ことを特徴とする請求項 4に記載の情報処理装置。

[6] 基本ストリームを構成する TSパケット、前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケット、並びに、前記 TSパケットを識別する IDと前記 TSパケットで構成される前記基本ストリームまたは前記第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されている TSパケットを含むストリームを入力する入力ステップと、

前記入力ステップの処理により入力された前記 TSパケットに格納されている前記テ一ブルを参照し、自分が処理できるストリームの種類を判断する判断ステップと、前記判断ステップの処理により自分が処理できると判断されたストリームに関連付けられた前記 IDが付された前記 TSパケットを、前記ストリーム力も選択する選択ステツプと、

前記選択ステップの処理により選択された前記 TSパケットをデコードするデコードステップと

を含むことを特徴とする情報処理方法。

[7] 基本ストリームを構成する TSパケット、前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケット、並びに、前記 TSパケットを識別する IDと前記 TSパケットで構成される前記基本ストリームまたは前記第 1乃至第 nの拡張ストリームとを関連付ける情報が記載されたテーブルが格納されている TSパケットを含むストリームを入力する入力ステップと、

[8] コンピュータによる再生処理の用に供する全体ストリームであって、基本ストリームと前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとを含む全体ストリームのデータ構造にぉ、て、

前記全体ストリームには、

前記基本ストリームを構成する TSパケットと、

前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットと、前記基本ストリームまたは前記第 1乃至第 nの拡張ストリームを構成する前記 TS パケットと、これらの TSパケットと識別する IDとを関連付ける情報が記載されたテープルが格納されて、る TSパケットと

が含まれ、

前記基本ストリームを構成する TSパケットと、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットのそれぞれのヘッダには、前記 TSパケットを識別する前記 IDが含まれる

ことを特徴とするデータ構造。

[9] 前記全体ストリームに含まれる前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットは、同時刻に再生される TSパケットが連続して、かつ、前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並ベられている

ことを特徴とする請求項 8に記載のデータ構造。

[10] 基本ストリームと前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも前記基本ストリームをェンコ一ドするエンコード手段と、

前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、前記エンコード手段によりエンコードされたものに、前記全体ストリームを識別するために利用される、同一の第 1の IDを付加する第 1の付加手段と、

前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、前記エンコード手段によりエンコードされたものに、前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDを付加する第 2の付加手段と、

前記第 1の付加手段と前記第 2の付加手段により前記第 1の IDと前記第 2の IDが付加された前記基本ストリーム、並びに、第 1乃至第 nの拡張ストリームを、それぞれ T Sパケットにパケットィヒするパケットィヒ手段と

を備えることを特徴とする情報処理装置。

[11] 前記エンコード手段は、前記全体ストリームに含まれる前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TS パケットを、同時刻に再生される TSパケットが連続するように、かつ、前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並ぶようにエンコードする

ことを特徴とする請求項 10に記載の情報処理装置。

[12] 前記エンコード手段は、前記基本ストリームのそれぞれの同期単位に対応する前記第 1乃至第 nの拡張ストリームのうちのいずれかの同期単位が存在する場合、その同期単位において、前記第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームと、前記基本ストリームとをエンコードする

ことを特徴とする請求項 10に記載の情報処理装置。

[13] 前記エンコード手段は、前記基本ストリームのそれぞれの同期単位に対応する前記第 1乃至第 nの拡張ストリームのうちのいずれかの同期単位が存在する場合、その同期単位において、前記第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームと、前記基本ストリームとをエンコードし、その同期単位において、前記第 1乃至第 nの拡張ストリームのうちの存在しな、拡張ストリームはエンコードしな、よう〖こすることで、前記全体ストリームを可変ビットレートでエンコードする

ことを特徴とする請求項 12に記載の情報処理装置。

[14] 基本ストリームと前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも前記基本ストリームをェンコ一ドするエンコードステップと、

前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、前記エンコードステツプの処理によりエンコードされたものに、前記全体ストリームを識別するために利用される、同一の第 1の IDを付加する第 1の付加ステップと、

前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのうち、前記エンコードステツプの処理によりエンコードされたものに、前記基本ストリーム、並びに第 1乃至第 n の拡張ストリームのそれぞれを識別するための第 2の IDを付加する第 2の付加ステツプと、

前記第 1の付加ステップと前記第 2の付加ステップの処理により前記第 1の IDと前記第 2の IDが付加された前記基本ストリーム、並びに、第 1乃至第 nの拡張ストリームを、それぞれ TSパケットにパケットィ匕するパケット化ステップと

を含むことを特徴とする情報処理方法。

[15] 基本ストリームと前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのうち、少なくとも前記基本ストリームをェンコ一ドするエンコードステップと、

[16] 基本ストリームを構成する TSパケットと、前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットとが含まれうる全体ストリームを入力する入力手段と、

前記入力手段により入力された前記 TSパケットのそれぞれに格納されている、前記全体ストリームを識別するために利用される第 1の IDと、前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あらかじめ設定されている所定の条件とに基づいて、自分が処理できる TSパケットを、前記全体ストリームから選択する選択手段と、

前記選択手段により選択された前記 TSパケットをデコードするデコード手段とを備えることを特徴とする情報処理装置。

[17] 前記入力手段には、同時刻に再生される前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットが連続するように、かつ、前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並んだ前記全体ストリームが入力される

ことを特徴とする請求項 16に記載の情報処理装置。

[18] 前記入力手段に入力される前記全体ストリームには、少なくともエンコードされている前記基本ストリームが含まれ、前記基本ストリームのそれぞれの同期単位に対応する前記第 1乃至第 nの拡張ストリームが可変ビットレートでエンコードされてさらに含まれる

ことを特徴とする請求項 16に記載の情報処理装置。

[19] 基本ストリームを構成する TSパケットと、前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットとが含まれうる全体ストリームを入力する入力ステップと、

前記入力ステップの処理により入力された前記 TSパケットのそれぞれに格納されている、前記全体ストリームを識別するために利用される第 1の IDと、前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あら力じめ設定されている所定の条件とに基づいて、自分が処理できる TSパケットを、前記全体ストリームから選択する選択ステップと、

を含むことを特徴とする情報処理方法。

[20] 基本ストリームを構成する TSパケットと、前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットとが含まれうる全体ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記 TSパケットのそれぞれに格納されている、前記全体ストリームを識別するために利用される第 1の IDと、前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと、あら力じめ設定されている所定の条件とに基づいて、自分が処理できる TSパケットを、前記全体ストリームから選択する選択ステップと、

[21] コンピュータによる再生処理の用に供する全体ストリームであって、基本ストリームと前記基本ストリームに対して拡張性を有する第 1乃至第 nの拡張ストリームとが含まれうる全体ストリームのデータ構造において、

前記全体ストリームには、

前記基本ストリームを構成する TSパケットと、

前記基本ストリームのそれぞれの同期単位に対応する前記第 1乃至第 nの拡張ストリームのうちのいずれかの同期単位が存在する場合には、その同期単位において、前記第 1乃至第 nの拡張ストリームのうちの存在する拡張ストリームを構成する TSパケットと

が含まれ、

前記基本ストリームを構成する TSパケットと、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットのそれぞれのヘッダには、

前記全体ストリームを識別するために利用される第 1の IDと、

前記基本ストリーム、並びに第 1乃至第 nの拡張ストリームのそれぞれを識別するための第 2の IDと

が含まれることを特徴とするデータ構造。

[22] 前記全体ストリームに含まれる前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットは、同時刻に再生される TSパケットが連続して、かつ、前記基本ストリームを構成する TSパケット、並びに、前記第 1乃至第 nの拡張ストリームのそれぞれを構成する TSパケットの順に並ベられている

ことを特徴とする請求項 21に記載のデータ構造。

前記全体ストリームには、少なくとも前記基本ストリームが含まれ、前記基本ストリームのそれぞれの同期単位に対応する前記第 1乃至第 nの拡張ストリームを構成する T Sパケットの個数が可変長とされてさらに含まれる

ことを特徴とする請求項 21に記載のデータ構造。