JP4882269B2 - 多重化装置および多重化方法、プログラム、並びに記録媒体 - Google Patents

多重化装置および多重化方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4882269B2
JP4882269B2 JP2005125546A JP2005125546A JP4882269B2 JP 4882269 B2 JP4882269 B2 JP 4882269B2 JP 2005125546 A JP2005125546 A JP 2005125546A JP 2005125546 A JP2005125546 A JP 2005125546A JP 4882269 B2 JP4882269 B2 JP 4882269B2
Authority
JP
Japan
Prior art keywords
audio
packet
pes
packets
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005125546A
Other languages
English (en)
Other versions
JP2006301442A (ja
Inventor
綾子 岩瀬
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005125546A priority Critical patent/JP4882269B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to TW095114048A priority patent/TW200709177A/zh
Priority to CN2006800135587A priority patent/CN101164103B/zh
Priority to PCT/JP2006/308298 priority patent/WO2006115163A1/ja
Priority to EP06732156.2A priority patent/EP1873755B1/en
Priority to US11/911,666 priority patent/US7688822B2/en
Publication of JP2006301442A publication Critical patent/JP2006301442A/ja
Priority to US12/708,423 priority patent/US7974281B2/en
Application granted granted Critical
Publication of JP4882269B2 publication Critical patent/JP4882269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Description

本発明は、多重化装置および多重化方法、プログラム、並びに記録媒体に関し、特に、異なる符号化方式によりエンコードされたオーディオストリームのＴＳパケットを多重化する多重化装置および多重化方法、プログラム、並びに記録媒体に関する。
MPEG（Moving Picture Expert Group）方式を用いて、ビデオストリームやオーディオストリームをＴＳ（Transport Stream）パケット化し、多重化する場合、デコーダとして標準的なモデル（システムターゲットデコーダ（STD））が想定され、このSTDにおいて正しくデコード処理（復号処理）できるように、符号化処理（エンコード処理）が行われる。
例えば、特許文献１には、図１に示されるような符号化装置が、図２に示されるSTDモデルを想定し、エレメンタリストリームをＴＳパケット化し、MPEGトランスポートストリームを生成する技術が開示されている。
図１の符号化装置は、アクセスユニット検出器１、疑似アクセスユニット計算機２、パケッタイザ３、およびスケジューラ４を備えている。また、図２のSTDモデルは、前段バッファ２１、後段バッファ２２、およびデコーダ２３を備えている。
符号化装置のアクセスユニット検出器１は、エレメンタリストリームよりアクセスユニットを取得し、そのアクセスユニットの大きさとデコード時刻情報を検出する。疑似アクセスユニット計算機２は、図２の前段バッファ２１の大きさと、前段バッファ２１へのデータ転送レートに応じて、アクセスユニットを、所定の大きさの疑似アクセスユニットに分割したときに、その疑似アクセスユニットが前段バッファ２１へ入力される時刻（入力完了時刻）（疑似アクセスユニットのデコード時刻）を計算する。スケジューラ４は、疑似アクセスユニットの大きさと疑似デコード時刻から、多重化ストリームをデコーダに供給する時刻（クロックリファレンス）とパケットの大きさ（パケットサイズ）を計算する。
パケッタイザ３は、エレメンタリストリームを、パケットサイズに従ってパケット化し、デコード時刻とクロックリファレンスをエンコードし、MPEGトランスポートストリームを生成する。生成されたMPEGトランスポートストリームは、伝送路５を介して送信されたり、記録媒体５に記録される。
ところで、オーディオストリームを、MPEG方式を用いてＴＳパケット化し、１つのトランスポートストリームに多重化する場合、そのオーディオストリームは、予め所定の符号化方式によりエンコードされている。この符号化方式には、例えば、固定長符号化方式や、可変長符号化方式などがある。
そこで、異なる符号化方式により符号化された２つのオーディオストリームを、１つのトランスポートストリームに多重化することが考えられる。
特開平９−２６１６０４号公報
しかしながら、異なる符号化方式でエンコードされた２つのオーディオストリームを、同一のＰＩＤのＴＳパケットにＴＳパケット化して多重化することは、図２に示されるようなSTDモデルでは想定されておらず、異なる符号化方式でエンコードされた２つのオーディオストリームを、同一のＰＩＤのＴＳパケットにＴＳパケット化して１つのトランスポートストリームに多重化することは困難であった。
本発明はこのような状況に鑑みてなされたものであり、異なる符号化方式でエンコードされた２つのオーディオストリームのＴＳパケットを、１つのトランスポートストリームに多重化するものである。
本発明の多重化装置は、オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコード手段と、オーディオデータを、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式でエンコードする第２のエンコード手段と、第１のエンコード手段によりエンコードされたオーディオデータと、第２のエンコード手段によりエンコードされたオーディオデータとを、ＰＥＳパケットにパケット化するとともに、パケット化した複数のＰＥＳパケットに、デコードされる場合に利用される時刻情報を付加するＰＥＳパケット化手段と、ＰＥＳパケット化手段によりＰＥＳパケット化されたＰＥＳパケットを、ＴＳパケットにパケット化するとともに、パケット化した複数のＴＳパケットに同一のＩＤを付加するＴＳパケット化手段と、ＴＳパケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する決定手段と、決定手段により決定されたＴＳパケットを多重化する多重化手段とを備え、ＰＥＳパケット化手段は、所定の周期を満たすオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第１のエンコード手段によりエンコードされたオーディオデータと、第２のエンコード手段によりエンコードされたオーディオデータとを、ＰＥＳパケットにパケット化し、決定手段は、第１のエンコード手段によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２のエンコード手段によりエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２のエンコード手段によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとを想定するとともに、多重化されたＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットを決定する場合、第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、ＴＳパケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定することを特徴とする。
多重化手段により多重化されたＴＳパケットを記録媒体に記録する記録手段をさらに備えるものとすることができる。
オーディオデータの単位は、オーディオアクセスユニットであるものとすることができる。
第１の仮想デコーダは、第１のエレメンタリバッファの前段にトランスポートバッファを有し、第２の仮想デコーダは、第２のエレメンタリバッファの前段にトランスポートバッファを有するとともに、第２のエレメンタリバッファの後段に、第３のエレメンタリバッファをさらに有するものとすることができる。
決定手段は、第３のエレメンタリバッファへの入力タイミングが、タイミング値に対するタイミングであると想定して、ＴＳパケット化手段によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定するものとすることができる。
タイミング値は、オーディオストリームの単位が、第３のエレメンタリバッファに渡される、オーディオ情報のサンプリング周期で表される値であるものとすることができる。
ＰＥＳパケット化手段は、第２のエンコード手段によりエンコードされたオーディオデータをＰＥＳパケット化する場合、周期を満たし、その位置からデコードを開始するためのデコード情報が含まれるオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第２のエンコード手段によりエンコードされたオーディオデータをＰＥＳパケットにパケット化するものとすることができる。
多重化制約は、第１のエンコード手段によりエンコードされたオーディオデータのＴＳパケットに含まれる時刻情報と同じ時刻情報を有する、第２のエンコード手段によりエンコードされたオーディオデータのＴＳパケットがＴＳに含まれる場合、その第２のエンコード手段によりエンコードされたオーディオデータのＴＳパケットより先に、第１のエンコード手段によりエンコードされたオーディオデータのＴＳパケットを多重化する制約であり、決定手段は、第１の仮想デコーダおよび第２の仮想デコーダの想定と、この多重化制約とに基づいて、多重化するＴＳパケットを決定するものとすることができる。
本発明の多重化方法は、オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、オーディオデータを、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式でエンコードする第２のエンコードステップと、第１のエンコードステップの処理によりエンコードされたオーディオデータと、第２のエンコードステップの処理によりエンコードされたオーディオデータとを、ＰＥＳパケットにパケット化するとともに、パケット化した複数のＰＥＳパケットに、デコードされる場合に利用される時刻情報を付加するＰＥＳパケット化ステップと、ＰＥＳパケット化ステップの処理によりＰＥＳパケット化されたＰＥＳパケットを、ＴＳパケットにパケット化するとともに、パケット化した複数のＴＳパケットに同一のＩＤを付加するＴＳパケット化ステップと、ＴＳパケット化ステップの処理によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、決定ステップの処理により決定されたＴＳパケットを多重化する多重化ステップとを含み、ＰＥＳパケット化ステップの処理は、所定の周期を満たすオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第１のエンコードステップの処理によりエンコードされたオーディオデータと、第２のエンコードステップの処理によりエンコードされたオーディオデータとを、ＰＥＳパケットにパケット化し、決定ステップの処理は、第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２のエンコードステップの処理によりエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとを想定するとともに、多重化されたＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットを決定する場合、第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、ＴＳパケット化ステップの処理によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定することを特徴とする。
本発明のプログラムは、オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、オーディオデータを、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する第２の符号化方式でエンコードする第２のエンコードステップと、第１のエンコードステップの処理によりエンコードされたオーディオデータと、第２のエンコードステップの処理によりエンコードされたオーディオデータとを、ＰＥＳパケットにパケット化するとともに、パケット化した複数のＰＥＳパケットに、デコードされる場合に利用される時刻情報を付加するＰＥＳパケット化ステップと、ＰＥＳパケット化ステップの処理によりＰＥＳパケット化されたＰＥＳパケットを、ＴＳパケットにパケット化するとともに、パケット化した複数のＴＳパケットに同一のＩＤを付加するＴＳパケット化ステップと、ＴＳパケット化ステップの処理によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、決定ステップの処理により決定されたＴＳパケットを多重化する多重化ステップとを含む処理をコンピュータに実行させ、ＰＥＳパケット化ステップの処理は、所定の周期を満たすオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第１のエンコードステップの処理によりエンコードされたオーディオデータと、第２のエンコードステップの処理によりエンコードされたオーディオデータとを、ＰＥＳパケットにパケット化し、決定ステップの処理は、第１のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２のエンコードステップの処理によりエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２のエンコードステップの処理によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとを想定するとともに、多重化されたＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットを決定する場合、第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、ＴＳパケット化ステップの処理によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定することを特徴とする。
第１の本発明によれば、第１の符号化方式でエンコードされたオーディオデータと、第２の符号化方式でエンコードされたオーディオデータとが、ＰＥＳパケットにパケット化されるとともに、パケット化した複数のＰＥＳパケットに、デコードされる場合に利用される時刻情報が付加され、ＰＥＳパケットが、ＴＳパケットにパケット化されるとともに、複数のＴＳパケットに同一のＩＤが付加される。また、複数のＴＳパケットの中から、多重化するＴＳパケットが決定され、決定されたＴＳパケットが多重化される。ＰＥＳパケット化は、所定の周期を満たすオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第１の符号化方式でエンコードされたオーディオデータと、第２の符号化方式でエンコードされたオーディオデータとが、ＰＥＳパケットにパケット化される。さらに、多重化されるＴＳパケットの決定は、第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２の符号化方式でエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２の符号化方式でエンコードされたオーディオデータをデコードする第２の仮想デコーダとが想定され、多重化されたＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットが決定される。第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、パケット化された複数のＴＳパケットの中から、多重化するＴＳパケットが決定される。
本発明の記録媒体は、所定の符号化方式である第１の符号化方式でエンコードされたオーディオデータが、複数のＰＥＳパケットにパケット化され、さらに複数のＴＳパケットにパケット化された複数のＴＳパケットと、可変長符号化方式であり、かつ、第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値が付加される第２の符号化方式でエンコードされたオーディオデータが、複数のＰＥＳパケットにパケット化され、さらに複数のＴＳパケットにパケット化された複数のＴＳパケットとが、多重化されて記録され、複数のＰＥＳパケットは、デコードされる場合に利用される時刻情報を含むとともに、所定の周期を満たすオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第１符号化方式でエンコードされたオーディオデータと、第２の符号化方式でエンコードされたオーディオデータとが、ＰＥＳパケット化されたものであり、複数のＴＳパケットは、同一のＩＤを含むとともに、第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２の符号化方式でエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２の符号化方式によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとが想定されるとともに、多重化されたＴＳパケットをランダムアクセスするための多重化制約とに基づいて、多重化すると決定されたＴＳパケットであり、第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、パケット化された複数のＴＳパケットの中から、多重化すると決定されたＴＳパケットであることを特徴とする。
第２の本発明によれば、第１の符号化方式でエンコードされたオーディオデータが、複数のＰＥＳパケットにパケット化され、さらに複数のＴＳパケットにパケット化された複数のＴＳパケットと、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値が付加される第２の符号化方式でエンコードされたオーディオデータが、複数のＰＥＳパケットにパケット化され、さらに複数のＴＳパケットにパケット化された複数のＴＳパケットとが、多重化されて記録され、複数のＰＥＳパケットは、デコードされる場合に利用される時刻情報を含むとともに、所定の周期を満たすオーディオデータの単位がＰＥＳペイロードの先頭に現れるように、第１符号化方式でエンコードされたオーディオデータと、第２の符号化方式でエンコードされたオーディオデータとが、ＰＥＳパケット化されたものであり、複数のＴＳパケットは、同一のＩＤを含むとともに、第１の符号化方式でエンコードされたオーディオデータをデコードする第１の仮想デコーダと、第２の符号化方式でエンコードされたオーディオデータに付加されているタイミング値に基づいて、第２の符号化方式によりエンコードされたオーディオデータをデコードする第２の仮想デコーダとが想定されるとともに、多重化されたＴＳパケットをランダムアクセスするための多重化制約とに基づいて、多重化すると決定されたＴＳパケットとされる。第１の仮想デコーダが有する第１のエレメンタリバッファおよび第１のエレメンタリバッファへのデータ転送レートと、第２の仮想デコーダが有する第２のエレメンタリバッファおよび第２のエレメンタリバッファへのデータ転送レートとに基づいて、第１の仮想デコーダが有する第１のエレメンタリバッファと、第２の仮想デコーダが有する第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、パケット化された複数のＴＳパケットの中から、多重化すると決定されたＴＳパケットとされる。
本発明によれば、オーディオストリームのＴＳパケットを多重化することができる。特に、本発明によれば、異なる符号化方式でエンコードされた２つのオーディオストリームのＴＳパケットを、１つのトランスポートストリームに多重化することができる。
以下、図を参照して、本発明の実施の形態について説明する。
図３は、本発明を適用した送信装置１１１がMPEG（Moving Picture Experts Group）2-TS（Transport stream）（以下、MPEG2-TSと称する）の方式を用いてオーディオストリームを送信する場合の制約を説明する図である。
この送信装置１１１は、例えば、MPEG2-TS方式を用いて、ストリームをＰＥＳパケット化した後、ＴＳパケット化し、多重化してMPEG2-TS（MPEG2トランスポートストリーム）を生成し、送信する装置である。例えば、送信装置１１１は、生成したMPEG2-TSを、ドライブ１１２を介してリムーバブルメディア１１３に記録させたり、通信部１１４を制御して、ネットワーク１１５に送信させる。このとき、送信装置１１１は、ビデオストリームやオーディオストリームをMPEG2-TSの方式を用いてＴＳパケット化する場合、デコーダの標準的なモデル（システムターゲットデコーダ（STD））として、仮想的な受信装置１２０に設けられている仮想デコーダ１２１を想定し、この仮想デコーダにおいて正しくデコード処理（復号処理）できるように、MPEG2-TSを生成する。仮想的な受信装置１２０は、ドライブ１２２に接続されており、ドライブ１２２を介してリムーバブルメディア１１３に記録されたMPEG2-TSを読み出したり、通信部１２３を制御して、ネットワーク１１５からMPEG2-TSを取得するものとして想定されている。なお、リムーバブルメディア１１３は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどにより構成される。また、仮想デコーダ１２１の構成例は、図１４と図１５を参照して後述する。
図４は、図３の送信装置１１１の構成例を示すブロック図である。図４においては、送信装置１１１が、オーディオストリームを符号化し、これをＴＳパケット化して（MPEG2-TSパケットとして）送信するものとして説明する。
送信装置１１１には、入力部１３１、オーディオエンコーダ１３２、バッファ１３３、抽出情報付加部１３４、制御部１３５、ＰＥＳ（Packetized Elementarty Stream）パケット化部１３６、ＴＳパケット化部１３７、多重化部１３８、および送信部１３９が設けられている。また、オーディオエンコーダ１３２には、第１のエンコーダ１４１と第２のエンコーダ１４２とが設けられている。さらに、バッファ１３３には、第１のバッファ１４３と第２のバッファ１４４とが設けられている。
入力部１３１には、送信対象のオーディオデータが入力される。入力部１３１は、入力されたオーディオデータを、オーディオエンコーダ１３２の第１のエンコーダ１４１と、第２のエンコーダ１４２のそれぞれに供給する。
第１のエンコーダ１４１は、汎用のオーディオデコーダでデコード可能な音声符号化方式（例えば、固定長符号化方式）でオーディオデータのエンコードを行うエンコーダである。第２のエンコーダ１４２は、高性能なオーディオデコーダでのみでデコード可能な音声符号化方式（可変長符号化方式）でオーディオデータのエンコードを行うエンコーダである。具体的には、第２のエンコーダ１４２は、可変ビットレート（ＶＢＲ）オーディオであり、復号時に、ＶＢＲのピークレートを低く抑えるためのFIFO（First-In First-Out）バッファを用いるオーディオ符号化方式を用いてエンコードを行う。また、第２のエンコーダ１４２は、オーディオアクセスユニットが仮想デコーダのFIFOバッファ（後述する図１０のFIFOバッファ３９１）に渡されるオーディオ情報のサンプリング周期で表されている時間を示すタイミング値を、エンコードする際に付加する。なお、第２のエンコーダ１４２がエンコードする際に付加する、オーディオアクセスユニットが仮想デコーダのFIFOバッファに渡されるオーディオ情報のサンプリング周期で表されている時間を示すタイミング値を、以下においては、インプットタイミング（Input timing）とも称する。なお、第１のエンコーダ１４１は、エンコードする際にインプットタイミングは付加しない。
ここで、第２のエンコーダ１４２は、第１のエンコーダ１４１よりも高性能な符号化方式を用いてエンコードを行うので、第１のエンコーダ１４１によりエンコードされた結果のオーディオストリームを復号して再生した場合よりも、第２のエンコーダ１４２によりエンコードされた結果のオーディオストリームを復号して再生した場合の方が、オーディオの再生品質が高くなったり、機能性が高くなったりする。
なお、以下において、第１のエンコーダ１４１が用いる符号化方式を第１の符号化方式と称し、第２のエンコーダ１４２が用いる符号化方式を第２の符号化方式と称する。第２の符号化方式は、可変ビットレート（ＶＢＲ）オーディオであり、復号時に、ＶＢＲのピークレートを低く抑えるためのFIFO（First-In First-Out）バッファを用いるオーディオ符号化方式である。すなわち、第２の符号化方式は、可変長符号化方式であり、この方式により符号化されたオーディオＥＳを復号する場合、復号側では、FIFOバッファが必要となる。ここで、可変長符号化方式によりエンコードされて出力されるオーディオストリームの出力ビットレートは可変長とされる。逆に固定長符号化方式によりエンコードされて出力されるオーディオストリームの出力ビットレートは固定長とされる。以下において、第１のエンコーダ１４１が第１の符号化方式を用いてオーディオデータをエンコードした結果のストリームを、ＢＳオーディオＥＳ（基本オーディオエレメンタリストリーム）と称し、第２のエンコーダ１４２が第２の符号化方式を用いてオーディオデータをエンコードした結果のストリームを、ＨＱオーディオＥＳ（高品質オーディオエレメンタリストリーム）と称する。
第１のエンコーダ１４１は、入力部１３１から供給されたオーディオデータを、第１の符号化方式を用いてエンコード（符号化）し、その結果得られたＢＳオーディオＥＳをバッファ１３３の第１のバッファ１４３に供給する。第２のエンコーダ１４２は、入力部１３１から供給されたオーディオデータを、第２の符号化方式を用いてエンコード（符号化）し、その結果得られたＨＱオーディオＥＳを、バッファ１３３の第２のバッファ１４４に供給する。このように、第１のバッファ１４３は、ＢＳオーディオＥＳを格納（バッファリング）し、第２のバッファ１４４は、ＨＱオーディオＥＳを格納（バッファリング）する。そして、第１のバッファ１４３と第２のバッファ１４４のそれぞれは、制御部１３５からの制御に基づいて、自分自身に格納されているオーディオストリームを所定のタイミングで読み出し、ＰＥＳパケット化部１３６に供給する。
制御部１３５は、第１のバッファ１４３と第２のバッファ１４４のそれぞれに格納されたＢＳオーディオＥＳとＨＱオーディオＥＳを監視したり、ＰＥＳパケット化部１３６、ＴＳパケット化部１３７、多重化部１３８、および送信部１３９の各部を制御したりする。また、制御部１３５は、デコードされる場合に利用される時刻情報であるＰＴＳ（Presentation Time Stamp）を管理したり、ストリームの種類を識別するためにＴＳパケットに付加するＰＩＤ（Packet Identification）を、ＴＳパケット化部１３７に供給したりする。さらに、制御部１３５は、仮想デコーダとして、後述する図１４と図１５の仮想デコーダ１２１を想定し、この仮想デコーダ１２１のバッファ占有量の計算を行うとともに、ランダムアクセスのための多重化制約に基づいて、ＴＳパケット化部１３７によりパケット化された複数のＴＳパケットの中から、多重化するＴＳパケットを決定する。すなわち、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算と、ランダムアクセスのための多重化制約に基づいて、多重化部１３８が多重化するＴＳパケットを決定（制御）する。
ＰＥＳパケット化部１３６は、第１のバッファ１４３に格納されているＢＳオーディオＥＳおよび第２のバッファ１４４に格納されているＨＱオーディオＥＳを、制御部１３５からの制御に基づくタイミングでそれぞれ引き抜き、制御部１３５からの制御に基づいて、これをＰＥＳパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、ＰＥＳの各ＰＥＳパケットに格納する。すなわち、ＰＥＳパケット化部１３６から出力されるＰＥＳパケット（ＢＳオーディオＥＳに対応するＰＥＳパケットとＨＱオーディオＥＳに対応するＰＥＳパケット）には、それぞれＰＴＳが格納されている。
本実施の形態では、ＢＳオーディオＥＳに基づいて生成された複数のＰＥＳパケット（ＢＳオーディオＰＥＳパケット）がそれぞれ、所定の順番で連続してＴＳパケット化部１３６からＴＳパケット化部１３７に供給されるとする。この場合、結果として複数のＢＳオーディオＰＥＳパケットからなる１つのストリーム（この１つのストリームを、以下においては、ＢＳオーディオＰＥＳと称する）がＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されることになる。また、ＨＱオーディオＥＳに基づいて生成された複数のＰＥＳパケット（ＨＱオーディオＰＥＳパケット）がそれぞれ、所定の順番で連続してＴＳパケット化部１３６からＴＳパケット化部１３７に供給されるとする。この場合、結果として複数のＨＱオーディオＰＥＳパケットからなる１つのストリーム（この１つのストリームを、以下においては、ＨＱオーディオＰＥＳと称する）がＰＥＳパケット化部１３６からＴＳパケット化部１３７に供給されることになる。
抽出情報付加部１３４は、ＢＳオーディオストリームとＨＱオーディオストリームとが（すなわち、異なる符号化方式によりエンコードされたストリーム）の抽出がデコード側（図３の仮想的な受信装置１２０側）で可能となるように、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤ（Identification）を、ＴＳパケット化部１３７に供給する。すなわち、抽出情報付加部１３４は、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれを識別するための識別情報（ＩＤ）を、ＴＳパケット化部１３７に供給する。
このＩＤには、例えば、トランスポートパケットヘッダにあるTransport_priorityフラグを用いることができる。抽出情報付加部１３４は、ＢＳオーディオストリームを伝送するトランスポートパケットには、Transport_priority＝１をセットし、ＨＱオーディオストリームを伝送するトランスポートパケットには、Transport_priority＝０をセットするような情報（抽出情報）を、ＴＳパケット化部１３７に供給する。
ＴＳパケット化部１３７は、制御部１３５からの制御に基づいて、ＰＥＳパケット化部１３６から供給されたＰＥＳパケットストリームをＴＳパケット（トランスポートストリームパケット）にパケット化する。具体的には、ＴＳパケット化部１３７は、ＰＥＳパケット化部１３６から供給されたＢＳオーディオＰＥＳをＴＳパケット化するとともに、ＰＥＳパケット化部１３６から供給されたＨＱオーディオＰＥＳをＴＳパケット化する。このとき、ＴＳパケット化部１３６には、抽出情報１３４からＩＤ（例えば、Transport_priorityフラグ）が供給されてくる他、制御部１３５から、ＰＩＤが供給されてくる。本実施の形態においては、ＰＩＤは、ＢＳオーディオストリームと、ＨＱオーディオストリームとで同一のＩＤとされる。すなわち、２つの異なる符号化方式により符号化されたオーディオＴＳパケットを、多重化して１本のオーディオストリームとする場合に、この１本のオーディオストリーム全体で、同一のＩＤとなるようにＰＩＤを付す。ＴＳパケット化部１３７は、抽出情報付加部１３４から供給された抽出情報（例えば、Transport_priorityフラグ）と、制御部１３５から供給されたＰＩＤを含めるように（ＴＳパケットのヘッダに含めるように）、ＴＳパケットを生成する。なお、以下においては、ＢＳオーディオＰＥＳがＴＳパケット化された結果を、ＢＳオーディオＴＳパケットと称し、ＨＱオーディオＰＥＳがＴＳパケット化された結果を、ＨＱオーディオＴＳパケットと称する。また、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットでは、各ＴＳパケットに付された抽出情報（例えば、Transport_priorityフラグ）は異なるが、ＰＩＤは同一とされる。
多重化部１３８は、ＴＳパケット化部１３７から供給されたＴＳパケットを、制御部１３５からの制御に基づいて多重化する。具体的には、多重化部１３８は、ＴＳパケット化部１３７から供給されたＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットとを、制御部１３５からの制御に基づいて多重化し、１本のＰＩＤが同一となるオーディオストリーム（MPEG2-TS）を生成する。このとき、多重化部１３８が多重化するＴＳパケットの順番などの制約や、ＰＥＳパケット化部１３６がＰＥＳパケット化するときの制約については後述する。多重化部１３８は、多重化して生成したMPEG2-TSを、後段の送信部１３９に送信する。
送信部１３９は、多重化部１３８から供給されたMPEG2-TSを送信する。例えば、送信部１３９は、図３に示されるように、ドライブ１１２を制御してリムーバブルメディア１１３に記録させたり、通信部１１４を制御してネットワーク１１５を介して外部機器に送信する。
なお、抽出情報付加部１３４は、ＴＳパケット化部１３７に抽出情報としてＩＤを供給するだけでなく、ＰＥＳパケット化部１３６にさらに抽出情報を送信するようにしてもよい。例えば、抽出情報付加部１３４は、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれの種類のストリームの抽出がデコード側（例えば、図３の仮想的な受信装置１２１側）で可能となるように、ＢＳオーディオストリームとＨＱオーディオストリームのそれぞれの種類に対して一意に付されたユニークな値のＩＤを、ＰＥＳパケット化部１４６に供給する。
このＩＤについて、本実施の形態では、Stream_idまたはStream_id_extensionを用いる。Stream_idは、MPEG2 systems規格で規定されているＰＥＳパケットヘッダにあるStream_idを指す。また、Stream_id_extensionは、MPEG2 systems規格Amendment2(2003)で規定されているＰＥＳパケットヘッダにあるStream_id_extensionを指す。オーディオストリームがMPEG Audio(MPEG-1/-2 Audio, MPEG AAC)以外のストリームである場合、Stream_id_extensionを採用すると好適である。Stream_id_extensionを用いる場合、MPEG2 systems規格Amendment2(2003)は、Stream_idに「1111 1101」（extended_stream_idを意味する値）をセットすることを規定している。また、MPEG2 systems規格Amendment2(2003)は、ストリームの種類（ＢＳオーディオストリームとＨＱオーディオストリーム）を識別するユニークな値のStream_id_extensionの使用ができることを規定している。
抽出情報付加部１３４が、ＰＥＳパケット化部１３６にストリームＩＤ（例えば、stream_id_extension）を供給する場合、ＰＥＳパケット化部１４６は、取得したＢＳオーディオストリームとＨＱオーディオストリームのそれぞれを、抽出情報付加部１３４から供給されたストリームＩＤ（例えば、stream_id_extension）のうちの対応する１つのストリームＩＤを、ＰＥＳパケットに含めるようにそれぞれパケット化する。各ＰＥＳパケットのそれぞれのストリームＩＤは、対応するＰＥＳパケットの種類を識別するためのものである。ここで、ＰＥＳパケットの種類とは、ＢＳオーディオストリームとＨＱオーディオストリームのうちのいずれかとなる。例えば、ＢＳオーディオストリームの種類のＰＥＳパケットとは、ＢＳオーディオストリーム（ＢＳオーディオＥＳ）のうちの少なくとも一部のデータが含まれているＰＥＳパケットを指す。従って、受信側の図３の仮想的な受信装置１２０で、所望のオーディオストリームの種類のＰＥＳパケットを選択するためには、そのＰＥＳパケットに付されているストリームＩＤの値を認識すればよい。
次に、図５のフローチャートを参照して、図４の送信装置１１１におけるデータ（ストリーム）の流れの例を簡単に説明する。
入力部１３１は、入力されたオーディオデータを、ステップＳ１において第１のエンコーダ１４１に供給するとともに、ステップＳ１１において第２のエンコーダ１４２に供給する。第１のエンコーダ１４１は、ステップＳ２において入力されたオーディオデータを符号化し、ステップＳ３においてＢＳオーディオＥＳをＰＥＳパケット化部１３６に供給する。ＰＥＳパケット化部１３６は、ステップＳ４において第１のエンコーダ１４１から供給されたＢＳオーディオＥＳをＰＥＳパケット化し、ステップＳ５においてＢＳオーディオＰＥＳをＴＳパケット化部１３７に供給する。ＴＳパケット化部１３７は、ステップＳ６においてＰＥＳパケット化部１３６から供給されたＢＳオーディオＰＥＳをＴＳパケット化し、ステップＳ７においてＢＳオーディオＴＳを、多重化部１３８に供給する。また、同様にして、第２のエンコーダ１４２は、ステップＳ１２において入力されたオーディオデータを符号化し、ステップＳ１３においてＨＱオーディオＥＳをＰＥＳパケット化部１３６に供給する。ＰＥＳパケット化部１３６は、ステップＳ１４において第２のエンコーダ１４２から供給されたＨＱオーディオＥＳをＰＥＳパケット化し、ステップＳ１５においてＨＱオーディオＰＥＳをＴＳパケット化部１３７に供給する。ＴＳパケット化部１３７は、ステップＳ１６においてＰＥＳパケット化部１３６から供給されたＨＱオーディオＰＥＳをＴＳパケット化し、ステップＳ１７においてＨＱオーディオＴＳを、多重化部１３８に供給する。多重化部１３８は、ステップＳ７とステップＳ１７の処理で供給されてきたＢＳオーディオＴＳとＨＱオーディオＴＳとを、ステップＳ２１において多重化し、１つのMPEG2-TS（トランスポートストリーム）を生成し、ステップＳ２２において生成したMPEG2-TSを出力する（図４の場合、送信部１３９に出力する）。
このように、第１のエンコーダ１４１によりエンコードされて得られたＢＳオーディオＥＳと、第２のエンコーダ１４２によりエンコードされて得られたＨＱオーディオＥＳとは、それぞれ独立に、ＰＥＳパケット化が行われる（ステップＳ４とステップＳ１４）とともに、ＴＳパケット化が行われ（ステップＳ６とステップＳ１６）、多重化部１３８で、多重化されて１つのオーディオストリーム（トランスポートストリーム）となる。
より具体的な例を、図６を参照して説明する。図６において、図５と対応する処理については、同一のステップ番号を付してある。
図６の例において、１段目は、ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とを示しており、２段目は、ＢＳオーディオＰＥＳ１７２とＨＱオーディオＰＥＳ１８２とを示しており、３段目は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを示しており、４段目はＴＳ（トランスポートストリーム）１９０を示している。
ＢＳオーディオＥＳ１７１は、図４の第１のエンコーダ１４１によりエンコードされて出力された状態を示しており、ＢＳオーディオＰＥＳ１７２は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて（ステップＳ４）出力された状態を示しており、ＢＳオーディオＴＳ１７３は、図４のＴＳパケット化部１３７によりＴＳパケット化されて（ステップＳ６）出力された状態を示している。また、ＨＱオーディオＥＳ１８１は、図４の第２のエンコーダ１４２によりエンコードされて出力された状態を示しており、ＨＱオーディオＰＥＳ１８２は、図４のＰＥＳパケット化部１３６によりＰＥＳパケット化されて（ステップＳ１４）出力された状態を示しており、ＨＱオーディオＴＳ１８３は、図４のＴＳパケット化部１３７によりＴＳパケット化されて（ステップＳ１６）出力された状態を示している。そして、ＴＳ１９０は、図４の多重化部１３８により多重化されて（ステップＳ２１）出力された状態を示している。
ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とは何れも、所定のオーディオサンプル数を１つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には例えば、ＢＳオーディオＥＳ１７１は、ＢＳ(１),ＢＳ(２)，・・・，ＢＳ（ｎ）（ｎは任意の自然数）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。同様に例えば、ＨＱオーディオＥＳ１８１は、ＨＱ１(１),ＨＱ(２)，・・・，ＨＱ（ｍ）というように、複数の単位（オーディオアクセスユニット）に分離されて符号化されている。オーディオアクセスユニットとは、オーディオＥＳを構成する符号化の単位であり、また、復号単位でもある。例えば、ＢＳオーディオＥＳの１つのオーディオアクセスユニットを再生した場合、その再生時間は、３２ミリ秒とされ、ＨＱオーディオＥＳの１つのオーディオアクセスユニットを再生した場合、その再生時間は１２００分の１秒とされる。
図４のＰＥＳパケット化部１３６は、ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とを、それぞれ別のストリームＩＤのＰＥＳパケットにパケット化する。例えば、ＰＥＳパケット化部１３６は、ＢＳオーディオＥＳ１７１に対応するＰＥＳパケットのストリームＩＤを、「Stream_id_extension＝ｂ１」とし、これを生成するＰＥＳパケットのＰＥＳヘッダに含める。また、例えば、ＰＥＳパケット化部１３６は、ＨＱオーディオＥＳ１８１に対応するＰＥＳパケットのストリームＩＤを、「Stream_id_extension＝ｂ２」とし、これを生成するＰＥＳパケットのＰＥＳヘッダに含める。図４において、ＢＳオーディオＰＥＳ１７２は、ＰＥＳヘッダとＰＥＳペイロード（図中、ＢＳ（１）、ＢＳ（２）、・・・、ＢＳ（ｎ'）と記述されている）とからなるＰＥＳパケット１７２−１乃至１７２−ｎ'により構成されている。すなわち、ｎ'個（ｎ'は任意の自然数）のＰＥＳパケット１７２−１乃至１７２−ｎ'により、ＢＳオーディオＰＥＳ１７２が構成されている。また、ＨＱオーディオＰＥＳ１８２は、ＰＥＳヘッダとＰＥＳペイロード（図中、ＨＱ（１）、ＨＱ（２）、・・・、ＢＳ（ｍ'）と記述されている）とからなるＢＳオーディオＰＥＳパケット１８２−１乃至１８２−ｍ'により構成されている。すなわち、ｍ'個（ｍ'は任意の自然数）のＨＱオーディオＰＥＳパケット１８２−１乃至１８２−ｍ'により、ＨＱオーディオＰＥＳ１８２が構成されている。
このＰＥＳパケット化をする場合の制約として、ＢＳオーディオＰＥＳ１７２のＰＥＳヘッダに格納されるＰＴＳ値とＨＱオーディオＰＥＳ１８２のＰＥＳヘッダに格納されるＰＴＳ値が同じになるＰＥＳパケットが１秒以内に必ず存在するようにＰＥＳパケット化をしなければならないという制約がある。ここでは、ＢＳオーディオＰＥＳパケット１７２−１（ＰＥＳヘッダとＰＥＳペイロード（図中、ＢＳ（１）と記述されている）からなるＰＥＳパケット）と、ＨＱオーディオＰＥＳパケット１８２−１（ＰＥＳヘッダとＰＥＳペイロード（図中、ＨＱ（１）と記述されている）からなるＰＥＳパケット）との間で、互いのＰＥＳヘッダの中に含まれるＰＴＳの値が等しい。このようなＰＴＳが同じであるＰＥＳパケットが、ＰＴＳを時間に変換（演算）した場合に、１秒以内に必ず存在するように、ＰＥＳパケット化が行われる。すなわち、ＢＳオーディオＰＥＳパケットのＰＴＳと同一のＰＴＳを有するＨＱオーディオＰＥＳパケットが、１秒以内に存在するように、ＰＥＳパケット化が行われる。なお、図４の送信装置１１１においては、ＰＥＳパケット化部１３６が、この制約に基づいて、ＰＥＳパケット化するものとされる。
例えば、ＰＥＳパケット化部１３６は、図７の１段目と２段目に示されるように、ＢＳオーディオＰＥＳ１７２を構成する複数のＢＳオーディオＰＥＳパケットの各ＰＥＳヘッダにＰＴＳ（例えば、ＢＳオーディオＰＥＳパケット１７２−１にはＰＴＳ＝ＢＳ１）を付加するとともに、ＢＳオーディオＥＳ１７１に含まれる１個以上のアクセスユニットを、各ＰＥＳペイロードに格納する。また、例えば、ＰＥＳパケット化部１３６は、図８の１段目と２段目に示されるように、ＨＱオーディオＰＥＳ１８２を構成する複数のＨＱオーディオＰＥＳパケットの各ＰＥＳヘッダにＰＴＳ（例えば、ＨＱオーディオＰＥＳパケット１８２−１にはＰＴＳ＝ＨＱ１）を付加するとともに、ＨＱオーディオＥＳ１８１に含まれる１個以上のアクセスユニットを、各ＰＥＳペイロードに格納する。このようにして、ＰＥＳパケット化部１３６は、図６に示されるＢＳオーディオＰＥＳ１７２とＨＱオーディオＰＥＳ１８２とを生成して、ＴＳパケット化部１３７に供給する。
これに対して、ＴＳパケット化部１３７は、ＢＳオーディオＰＥＳ１７２を構成する各ＰＥＳパケットのそれぞれを、ＴＳパケットにパケット化するとともに、ＨＱオーディオＰＥＳ１８２を構成する各ＰＥＳパケットのそれぞれを、ＴＳパケット化にパケット化する。このとき、ＴＳパケット化部１３７は、ＢＳオーディオＰＥＳ１７２とＨＱオーディオＰＥＳ１８２とを識別するためのtransport_priorityフラグと、オーディオストリームを識別するためのＰＩＤを、生成するＴＳパケットのヘッダ（ＴＳヘッダ）に付加する。すなわち、生成されたＢＳオーディオＴＳ１７３を構成する複数のＴＳパケット２３１−１乃至２３１−ｊ（ｊは任意の自然数）の各ＴＳヘッダに格納されているＰＩＤと、ＨＱオーディオＴＳ１８３を構成する複数のＴＳパケット２３２−１乃至２３２−ｋ（ｋは任意の自然数）の各ＴＳヘッダに格納されているＰＩＤとは、同一のＰＩＤとされ、生成されたＢＳオーディオＴＳ１７３を構成する複数のＴＳパケット２３１−１乃至２３１−ｊの各ＴＳヘッダに格納されているtransport_priorityフラグと、ＨＱオーディオＴＳ１８３を構成する複数のＴＳパケット２３２−１乃至２３２−ｋの各ＴＳヘッダに格納されているtransport_priorityフラグとは、異なるtransport_priorityフラグとされる。
具体的には、ＴＳパケット化部１３７は、図７の２段目と３段目に示されるように、ＢＳオーディオＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットの各ＴＳヘッダに「ＰＩＤ＝ａ０,ｔｐ（transport_priority）＝１」を付加し、図８の２段目と３段目に示されるように、ＨＱオーディオＴＳ１８３を構成する複数のＨＱオーディオＴＳパケットの各ヘッダに「ＰＩＤ＝ａ０,ｔｐ（transport_priority）＝０」を付加する。
このように、１本のオーディオストリーム（ＴＳ１９０）に対しては同一のＰＩＤが付され、１本のストリームに含まれるＢＳオーディオＥＳとＨＱオーディオＥＳとを識別するために、それぞれ異なるｔｐ（transport_priority）が付される。
多重化部１３８は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを、制御部１３５からの制御に基づいて多重化し、１本のトランスポートストリーム (MPEG2-TS)１９０を生成する。図６の例において、ＴＳ（MPEG2-TS）１９０は、ＰＡＴ(Program Association Table)に対応するＴＳパケット２２１およびＰＭＴ（Program Map Table）に対応するＴＳパケット２２２、ＢＳオーディオＴＳ２３１−１乃至２３１−ｊ（ｊは任意の自然数）、並びに、ＨＱオーディオＴＳ２３２−１乃至２３２−ｋ（ｋは任意の自然数）を含むように構成されている。
この多重化をする場合の制約には、以下の２つの制約がある。
１つ目は、１ＰＥＳパケット分のＴＳパケットの多重化が終了した後に、次の１ＰＥＳパケット分のＴＳパケットの多重化を行わなければならないという制約である。すなわち、ＢＳオーディオＥＳとＨＱオーディオＥＳの両方において、１ＰＥＳパケット分のＴＳパケットは連続して多重化しなければならず、異なる種類のＰＥＳパケットを含むＴＳパケットが混ざり合ってはならない。具体的な例としては、ＢＳオーディオＰＥＳパケット１７２−１が、ＢＳオーディオＴＳパケット２３１−１乃至２３１−３のＴＳペイロードに格納され、ＨＱオーディオＰＥＳパケット１８２−１が、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３のＴＳペイロードに格納されている場合、ＢＳオーディオＴＳパケット２３１−１乃至２３１−３は、連続して多重化しなければならないし、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３も、連続して多重化しなければならない。この制約に基づけば、例えば、ＢＳオーディオＴＳパケット２３１−１乃至２３１−３の後に、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３が連続して多重化されることになる。この制約により、例えば、他の種類のオーディオストリームも再生しうる再生装置において、オーディオの管理を円滑に行うことができる。
２つ目は、同一のＰＴＳ値を有するＢＳオーディオＴＳパケットと、ＨＱオーディオＴＳパケットの関係は、必ずＨＱオーディオＴＳパケットがＢＳオーディオＴＳパケットよりも後ろにくるように多重化しなければならないという制約（ランダムアクセスのための多重化制約）がある。例えば、ＢＳオーディオＴＳパケット２３１−１と、ＨＱオーディオＴＳパケット２３２−１とに格納されているＰＴＳ値が、同一のＰＴＳ値を有する場合、ＢＳオーディオＴＳパケット２３１−１の後に（直後ではなく、その後ろであれば構わない）に、ＨＱオーディオＴＳパケット２３２−１が配置されるように多重化しなければならない。すなわち、同一のＰＴＳ値を有するＰＥＳパケットとＰＥＳペイロードが格納されているＴＳパケットについて、ＢＳオーディオＥＳの後に、ＨＱオーディオＥＳのＴＳパケットが配置されるような制約が設けられている。この２つ目の制約は、ランダムアクセスを行うときに利用されるEP_mapのエントリーポイントが１秒以下の間隔とされなければならないことによる制約である。EP_mapの詳細は、図２３乃至図２９を参照して後述する。
この周期としては、例えば、ＢＳオーディオＥＳ１７１のオーディオアクセスユニット５個分の再生時間と、ＨＱオーディオＥＳ１８１のオーディオアクセスユニット１９２個分の再生時間が等しい場合、ＢＳオーディオＥＳ１７１のオーディオアクセスユニット５個分（すなわち、ＨＱオーディオＥＳ１８１のオーディオアクセスユニット１９２個分）の周期で同じＰＴＳを有するアクセスユニットが存在することになる。
次に、図７を参照して、図６のＢＳオーディオＥＳ１７１がＰＥＳパケット化されてＢＳオーディオＰＥＳ１７２とされ、ＢＳオーディオＰＥＳ１７２がさらにＴＳパケット化されてＢＳオーディオＴＳ１７３とされる場合のデータ構造の変化を簡単に説明する。なお、図中、図６と対応する部分には、同一の符号とステップ番号を付してある。
図７に示されるように、ＢＳオーディオＥＳ１７１がＰＥＳパケット化された場合（ステップＳ４）、ＢＳオーディオＰＥＳ１７２を構成するＢＳオーディオＰＥＳパケット１７２−１乃至１７２−ｎ'のＰＥＳペイロードに、ＢＳオーディオＥＳ１７１に含まれる複数のオーディオアクセスユニット（ＢＳ（１）、ＢＳ（２）、・・・ＢＳ（ｎ））が格納される。図７の例の場合、ＢＳオーディオＰＥＳパケット１７２−１のＰＥＳペイロードに、ＢＳオーディオＥＳ１７１のＢＳ（１）乃至ＢＳ（３）の３つのオーディオアクセスユニットが格納され、ＢＳオーディオＰＥＳパケット１７２−１のＰＥＳヘッダに、ＰＴＳ＝ＢＳ１の値が格納される。また、例えば、ＢＳオーディオＰＥＳパケット１７２−２のＰＥＳペイロードに、ＢＳオーディオＥＳ１７１のＢＳ（４）乃至ＢＳ（６）の３つのオーディオアクセスユニットが格納され、ＢＳオーディオＰＥＳパケット１７２−２のＰＥＳヘッダに、ＰＴＳ＝ＢＳ２の値が格納される。また、例えば、ＢＳオーディオＰＥＳパケット１７２−ｎ'のＰＥＳペイロードに、ＢＳオーディオＥＳ１７１のＢＳ（ｎ−１）とＢＳ（ｎ）の２つのオーディオアクセスユニットが格納され、ＢＳオーディオＰＥＳパケット１７２−ｎ'のＰＥＳヘッダにＰＴＳ＝ＢＳｎ'の値が格納される。
そして、ＢＳオーディオＰＥＳ１７２がＴＳパケット化された場合（ステップＳ６）、ＢＳオーディオＴＳ１７３を構成するＢＳオーディオＴＳパケット２３１−１乃至２３１−ｊのＴＳペイロードに、ＢＳオーディオＰＥＳ１７２のデータがそれぞれ格納される。例えば、ＢＳオーディオＴＳパケット２３１−１と２３１−２の各ＴＳペイロードに、ＢＳオーディオＰＥＳパケット１７２−１が格納され、ＢＳオーディオＴＳパケット２３１−３と２３２−４の各ＴＳペイロードに、ＢＳオーディオＰＥＳパケット１７２−２が格納される。このとき、ＢＳオーディオＴＳパケット２３１−１のＴＳペイロードに、ＢＳオーディオＰＥＳパケット１７２−１のＰＥＳヘッダのＰＴＳ、すなわち、ＰＴＳ＝ＢＳ１が格納され、ＢＳオーディオＴＳパケット２３１−３のＴＳペイロードに、ＢＳオーディオＰＥＳパケット１７２−２のＰＥＳヘッダのＰＴＳ、すなわち、ＰＴＳ＝ＢＳ２が格納され、ＢＳオーディオＴＳパケット２３１−ｊ−１のＴＳペイロードに、ＢＳオーディオＰＥＳパケット１７２−ｎ'のＰＥＳヘッダのＰＴＳ、すなわち、ＰＴＳ＝ＢＳｎ'が格納されている。
このように、ＢＳオーディオＴＳパケットの中には、そのＴＳペイロードに、ＰＴＳの値が格納されているものがある。
次に、図８を参照して、図６のＨＱオーディオＥＳ１８１がＰＥＳパケット化されてＨＱオーディオＰＥＳ１８２とされ、ＨＱオーディオＰＥＳ１８２がさらにＴＳパケット化されてＨＱオーディオＴＳ１８３とされる場合のデータ構造の変化を簡単に説明する。なお、図中、図６と対応する部分には、同一の符号とステップ番号を付してある。また、基本的には、図８のＨＱオーディオＥＳは、図７のＢＳオーディオＥＳの場合と同様である。
図８に示されるように、ＨＱオーディオＥＳ１８１がＰＥＳパケット化された場合（ステップＳ１４）、ＨＱオーディオＰＥＳ１８２を構成するＨＱオーディオＰＥＳパケット１８２−１乃至１８２−ｍ'のＰＥＳペイロードに、ＨＱオーディオＥＳ１８１に含まれる複数のオーディオアクセスユニット（ＨＱ（１）、ＨＱ（２）、・・・ＨＱ（ｍ））が格納される。図８の例の場合、ＨＱオーディオＰＥＳパケット１８２−１のＰＥＳペイロードに、ＨＱオーディオＥＳ１８１のＨＱ（１）乃至ＨＱ（３）の３つのオーディオアクセスユニットが格納され、ＨＱオーディオＰＥＳパケット１８２−１のＰＥＳヘッダに、ＰＴＳ＝ＨＱ１の値が格納される。また、例えば、ＨＱオーディオＰＥＳパケット１８２−２のＰＥＳペイロードに、ＨＱオーディオＥＳ１８１のＨＱ（４）乃至ＨＱ（６）の３つのオーディオアクセスユニットが格納され、ＨＱオーディオＰＥＳパケット１８２−２のＰＥＳヘッダに、ＰＴＳ＝ＨＱ２の値が格納される。また、例えば、ＨＱオーディオＰＥＳパケット１８２−ｍ'のＰＥＳペイロードに、ＨＱオーディオＥＳ１８１のＨＱ（ｍ−１）とＨＱ（ｍ）の２つのオーディオアクセスユニットが格納され、ＨＱオーディオＰＥＳパケット１８２−ｍ'のＰＥＳヘッダにＰＴＳ＝ＨＱｍ'の値が格納される。
そして、ＨＱオーディオＰＥＳ１８２がＴＳパケット化された場合（ステップＳ１６）、ＨＱオーディオＴＳ１８３を構成するＨＱオーディオＴＳパケット２３２−１乃至２３２−ｋのＴＳペイロードに、ＨＱオーディオＰＥＳ１８２のデータがそれぞれ格納される。例えば、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３の各ＴＳペイロードに、ＨＱオーディオＰＥＳパケット１８２−１が格納され、ＨＱオーディオＴＳパケット２３２−４乃至２３２−６の各ＴＳペイロードに、ＨＱオーディオＰＥＳパケット１８２−２が格納される。このとき、ＨＱオーディオＴＳパケット２３２−１のＴＳペイロードに、ＨＱオーディオＰＥＳパケット１８２−１のＰＥＳヘッダのＰＴＳ、すなわち、ＰＴＳ＝ＨＱ１が格納され、ＨＱオーディオＴＳパケット２３２−４のＴＳペイロードに、ＨＱオーディオＰＥＳパケット１８２−２のＰＥＳヘッダのＰＴＳ、すなわち、ＰＴＳ＝ＨＱ２が格納され、ＨＱオーディオＴＳパケット２３２−ｋ−２のＴＳペイロードに、ＨＱオーディオＰＥＳパケット１８２−ｍ'のＰＥＳヘッダのＰＴＳ、すなわち、ＰＴＳ＝ＨＱｍ'が格納されている。
このように、ＨＱオーディオＴＳパケットの中には、そのＴＳペイロードに、ＰＴＳの値が格納されているものがある。
そして、図７のＢＳオーディオＴＳ１７３と、図８のＨＱオーディオＴＳ１８３とを多重化する場合に、１ＰＥＳパケット分のＴＳパケットの多重化が終了した後に、次の１ＰＥＳパケット分のＴＳパケットの多重化を行わなければならないという制約と、同一のＰＴＳ値を有するＢＳオーディオＴＳパケットと、ＨＱオーディオＴＳパケットの関係は、必ずＨＱオーディオＴＳパケットがＢＳオーディオＴＳパケットよりも後ろにくるように多重化しなければならないという制約とに基づいて、多重化を行う。
制約に基づく多重化の具体的な例を、図９を参照して説明する。図９において、１段目は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを示し、２段目は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを多重化した場合のＴＳ１９０を示している。
例えば、ＢＳオーディオＴＳパケット２３１−１に格納されているＰＴＳ値（＝ＢＳ１）と、ＨＱオーディオＴＳパケット２３２−１に格納されているＰＴＳ値（＝ＨＱ１）とが等しい場合、図９の２段目に示されるように、ＰＴＳ＝ＢＳ１を有するＢＳオーディオＴＳパケット２３１−１より後方に、ＨＱオーディオＴＳパケット２３２−１が位置するように多重化される（２つ目の多重化制約）。また、このとき、ＢＳオーディオＴＳパケット２３１−１は、上述した図７のＢＳオーディオＰＥＳパケット１７２−１のデータが一部格納されたものであり、ＢＳオーディオＰＥＳパケット１７２−１のデータは、ＢＳオーディオＴＳパケット２３１−１に限らず、ＢＳオーディオＴＳパケット２３１−２にも格納されているので、ＢＳオーディオＴＳパケット２３１−１とＢＳオーディオＴＳパケット２３１−２とは、連続して多重化される必要がある（１つ目の多重化制約）。また、ＨＱオーディオＴＳパケット２３２−１は、上述した図８のＨＱオーディオＰＥＳパケット１８２−１のデータが一部格納されたものであり、ＨＱオーディオＰＥＳパケット１８２−１のデータは、ＨＱオーディオＴＳパケット２３２−１に限らず、ＨＱオーディオＴＳパケット２３２−２および２３２−３にも格納されているので、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３は、連続して多重化される必要がある（１つ目の多重化制約）。
その結果、図９の２段目に示されるように、ＢＳオーディオＴＳパケット２３１−１と２３１−２の後に、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３が配置されることになる。なお、図９の例では、ＢＳオーディオＴＳパケット２３１−１と２３１−２の直後に、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３が配置されるようにしているが、ＢＳオーディオＴＳパケット２３１−１と２３１−２と、ＨＱオーディオＴＳパケット２３２−１乃至２３２−３との間に他のデータを配置するようにしてもよい。
なお、図９までの説明では、図４の送信装置１１１が、オーディオデータを送信する場合について説明したが、実際には、図４の送信装置１１１がオーディオデータ以外のデータとして、ビデオデータやシステムデータ（グラフィックスストリームやテキストサブタイトルストリームのデータなど）も送信する。この場合についても、ビデオデータが図示せぬビデオエンコーダによりエンコードされ、ＰＥＳパケット化されてＴＳパケット化された後、多重化部１３８で、オーディオのＴＳパケットとともに多重化される。このとき、ビデオデータに対応するＴＳパケットと、オーディオデータに対応するＴＳパケットとでは、図１０に示されるように、ＰＩＤが異なっている（勿論、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットのＰＩＤは同一である）。図１０の例の場合、ビデオデータ（ビデオＥＳ）のＴＳ２４１に含まれる各ＴＳパケットのヘッダには、１段目に示されるように「ＰＩＤ＝Ｖ０」が付加されており、その他のデータ（システムデータ）のＴＳ２４２に含まれる各ＴＳパケットのヘッダには、４段目に示されるように「ＰＩＤ＝Ｅ０」が付加されている。このように、１つのプログラムストリームには、１つ以上の異なるＰＩＤを有するストリームが含まれる。
すなわち、多重化部１３８には、ビデオのＴＳ２４１、ＢＳオーディオＴＳ１７３、ＨＱオーディオＴＳ２８３、およびその他のＴＳ２４２というように、別々のストリームとして入力される。ここで、ＢＳオーディオＥＳとＨＱオーディオＥＳとは、互いに独立したストリームであり、階層関係がない。そのため、多重化する際の制約が存在しない（例えば、ＢＳオーディオＥＳとＨＱオーディオＥＳとをセットで多重化するなどの制約がない）。また、本実施の形態では、異なる符号化方式により符号化されたオーディオＥＳに、同一のＰＩＤが付されてトランスポートストリームが生成される。
次に、ＢＳオーディオＰＥＳ１７２のＰＴＳ値と同じＰＴＳの値を有するＨＱオーディオＥＳ１８１のＰＥＳパケットの構造と、ＴＳパケットの構造を、図１１を参照して説明する。具体的には、図１１は、図６乃至図９において、ＰＴＳ＝ＢＳ１＝ＨＱ１である場合の、ＨＱオーディオＥＳ１８１のＰＥＳパケット１８２−１（図８）の構造と、ＴＳパケット２３２−１の構造を説明する図である。
ＨＱオーディオＰＥＳパケット１８２−１は、図６や図８を参照して上述したように、ＰＥＳヘッダとＰＥＳペイロードから構成される。ＰＥＳヘッダには、PTS_DTS_flags２６１、その他のデータ２６２、ＰＴＳ２６３、およびその他のデータ２６４が含まれている。
PTS_DTS_flags２６１は、ＰＴＳとＤＴＳ（Decoding Time Stamp）の有無を示す情報である。PTS_DTS_flagsの値が「００（ｂ）」である場合、ＰＴＳとＤＴＳのフィールドがＰＥＳヘッダに存在しないことを示し、PTS_DTS_flagsの値が「１０（ｂ）」である場合、ＰＴＳのフィールドのみがＰＥＳヘッダに存在することを示し、PTS_DTS_flagsの値が「１１（ｂ）」である場合、ＰＴＳとＤＴＳのフィールドがＰＥＳヘッダに存在することを示す。図１１の例の場合、PTS_DTS_flags２６１の値は、PTS_DTS_flags＝１０（ｂ）とされており、ＰＥＳヘッダに、ＰＴＳ２６３の値のみが存在し、ＤＴＳの値は存在しないことを示しており、ＰＴＳの値は、ＰＴＳ２６３のフィールドに記述されている。図１１の例の場合、ＰＴＳ２６３のフィールドには、対応するＢＳオーディオＰＥＳパケット１７２−１に格納されているＰＴＳ（＝ＢＳ１）と同じＰＴＳ値であるＰＴＳ＝ＨＱ１が格納されている。
ＨＱオーディオＰＥＳパケット１８２−１のＰＥＳペイロードには、図１１の例の場合、４個のオーディオアクセスユニット（ＡＵ）２７１乃至２７４が含まれている。オーディオアクセスユニット２７１乃至２７４は、高品質（高品位）オーディオである。オーディオアクセスユニット２７１には、Input timing（インプットタイミング）情報２７５と詳細情報２７６が含まれている。Input timing情報２７５は、第２のエンコーダ１４２がエンコードする際に付加する、オーディオアクセスユニットが仮想デコーダのFIFOバッファに渡されるオーディオ情報のサンプリング周期で表されている時間を示すタイミング値である。詳細情報２７６は、その位置からデコードが開始可能となるデコード情報である。すなわち、詳細情報２７６とは、その位置からデコードを開始するための情報である。このデコードが開始可能となる情報（詳細情報）には、例えば、サンプリング周波数、およびチャンネル情報などが含まれる。また、詳細情報２７６は、全てのアクセスユニットに挿入されているわけではない。
このように、ＢＳオーディオＰＥＳのＰＴＳと同じＰＴＳを有するＨＱオーディオＰＥＳパケットの（ＰＥＳペイロードの中の）先頭のオーディオアクセスユニットには、Input timing情報２７５と、詳細情報２７６が含まれている。
なお、詳細情報２７６は、ＨＱオーディオＰＥＳパケットに必ず含まれているわけではない。具体的には、ＢＳオーディオＰＥＳのＰＴＳと同じＰＴＳを有するＨＱオーディオＰＥＳパケットには含まれているが、ＢＳオーディオＰＥＳのＰＴＳと同じＰＴＳを有しないＨＱオーディオＰＥＳパケットには含まれていないことがある。
ＨＱオーディオＰＥＳパケット１８２−１がＴＳパケット化された結果のＴＳパケット２３２−１乃至２３２−３のそれぞれには、図６や図８を参照して上述したように、ＴＳヘッダ（TS header）と、ＴＳペイロード（TS payload）とが含まれている。ＴＳヘッダには、図１１では図示していないが、図１０を参照して上述したＰＩＤとｔｐが付加されている。
このように、第２のエンコーダ１４２がエンコードする際に付加するタイミング値（インプットタイミング）は、オーディオアクセスユニット２７１の先頭のデータが格納されるＰＥＳペイロードに、Input timing情報２７５として格納される。なお、例えば、ＰＴＳ２６３のデータ長は、３３bitとされ、ＤＴＳのデータ長は３３bitとされ、Input timingのデータ長は１６bitとされる。
ここで、図１２を参照して、図６のＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３を多重化する場合（ＴＳ１９０とする場合）の制約を満たす例を２つ説明する。
上述したように、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３をＴＳ１９０に多重化する場合の制約は、１ＰＥＳパケット分のＴＳパケットの多重化が終了した後に、次の１ＰＥＳパケット分のＴＳパケットの多重化を行わなければならないという制約（１つ目の制約）と、同一のＰＴＳ値を有するＢＳオーディオＴＳパケットと、ＨＱオーディオＴＳパケットの関係は、必ずＨＱオーディオＴＳパケットがＢＳオーディオＴＳパケットよりも後ろにくるように多重化しなければならならないという制約（２つ目の制約）である。
パケットの配置の１つ目の例を、図１２の上段を用いて説明する。なお、ここで、ＢＳオーディオＴＳパケット２８１−１やＢＳオーディオＴＳパケット２８１−２は、図６のＢＳオーディオＴＳパケット２３１−１乃至２３１−ｊのいずれかに対応し、ＨＱオーディオＴＳパケット２８２−１やＨＱオーディオＴＳパケット２８２−２は、図６のＢＳオーディオＴＳパケット２３２−１乃至２３２−ｋのいずれかに対応する。
図１２の上段は、ＢＳオーディオＴＳパケット２８１−１と、ＨＱオーディオＴＳパケット２８２−１のＰＴＳの値が共にＰＴＳ＃１である場合に、ＢＳオーディオＴＳパケット２８１−１の後に、ＨＱオーディオＴＳパケット２８２−１が配置されている。すなわち、ＰＴＳの値が同じ（ともにＰＴＳ＃１）であるＴＳパケットについて、ＨＱオーディオＴＳパケット２８２−１より前に、ＢＳオーディオＴＳパケット２８１−１が配置されている。また、ＢＳオーディオＴＳパケット２８１−２と、ＨＱオーディオＴＳパケット２８２−２のＰＴＳの値が共にＰＴＳ＃２である場合に、ＢＳオーディオＴＳパケット２８１−２の後に、ＨＱオーディオＴＳパケット２８２−２が配置されている。すなわち、ＰＴＳの値が同じ（ともにＰＴＳ＃２）であるＴＳパケットについて、ＨＱオーディオＴＳパケット２８２−２より前に、ＢＳオーディオＴＳパケット２８１−２が配置されている。
このとき、上述したＰＥＳパケット化時の制約によれば、ＰＴＳが同じであるＰＥＳパケットは、ＰＴＳを時間に変換（演算）した場合に、１秒以内に必ず存在するようにＰＥＳパケット化されているので、ＰＴＳ＃１からＰＴＳ＃２までを時間に換算した場合、その時間は１秒以内とされる。すなわち、図１３に示されるように、（（ＰＴＳ＃２）−（ＰＴＳ＃１））は、１秒以内とされる。
ここで、ＢＳオーディオＥＳのアクセスユニットと、ＨＱオーディオＥＳのアクセスユニットの表示時刻が等しくなる周期（例えば、図１３の「ＰＴＳ＃２−ＰＴＳ＃１」の周期）であって、１周期の間隔が１秒以内となる周期を、以下においては、周期Ｎと称する。この周期Ｎは、ストリーム内で変化してもよい。
パケットの配列の２つ目の例を、図１２の下段を用いて説明する。図１２の下段は、ＢＳオーディオＴＳパケット２８１−１と、ＨＱオーディオＴＳパケット２８２−１のＰＴＳの値が共にＰＴＳ＃１である場合に、ＢＳオーディオＴＳパケット２８１−１の後に、ＨＱオーディオＴＳパケット２８２−１が配置されている。すなわち、ＰＴＳの値が同じ（ともにＰＴＳ＃１）であるＴＳパケットについて、ＨＱオーディオＴＳパケット２８２−１より前に、ＢＳオーディオＴＳパケット２８１−１が配置されている。また、ＢＳオーディオＴＳパケット２８１−２と、ＨＱオーディオＴＳパケット２８２−２のＰＴＳの値が共にＰＴＳ＃２である場合に、ＢＳオーディオＴＳパケット２８１−２の後に、ＨＱオーディオＴＳパケット２８２−２が配置されている。すなわち、ＰＴＳの値が同じ（ともにＰＴＳ＃２）であるＴＳパケットについて、ＨＱオーディオＴＳパケット２８２−２より前に、ＢＳオーディオＴＳパケット２８１−２が配置されている。
図１２の下段のＴＳは、上段とは異なり、ＢＳオーディオＴＳパケット２８１−２の後に、ＨＱオーディオＴＳパケット２８２−１が配置されている。すなわち、ＰＴＳ＃１であるＨＱオーディオＴＳパケット２８２−１より前に、ＰＴＳ＃２であるＢＳオーディオＴＳパケット２８１−２が配置されている。しかしながら、制約としては、同じＰＴＳをを含むＴＳパケットにおいて、ＢＳオーディオＴＳパケットの後にＨＱオーディオＴＳパケットが配置されればよい、すなわち、同じＰＴＳを持つＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットとの間に、他のデータが含まれていてもよいので、図１２の下段のＴＳにおいても、この制約は守られていることになる。
このように、ＢＳオーディオＴＳパケットのＰＴＳの値と同じＰＴＳの値を有するＨＱオーディオＴＳパケットは、ＢＳオーディオＴＳパケットよりも後ろに存在すればよく、図１２の下段に示されるように、ＰＴＳ＃２を有するＢＳオーディオＴＳパケット２８１−２より、ＰＴＳ＃１を有するＨＱオーディオＴＳパケット２８２−１が後に存在しても、１ＰＥＳパケット分のＴＳパケットの多重化が終了した後に、次の１ＰＥＳパケット分のＴＳパケットの多重化がしてあれば、制約は満たしていることになる。
なお、図１２の下段においても、ＰＴＳが同じであるＰＥＳパケットは、ＰＴＳを時間に変換（演算）した場合に、１秒以内に必ず存在するようにＰＥＳパケット化されているので、ＰＴＳ＃１からＰＴＳ＃２までを時間に換算した場合、その時間は１秒以内とされる。
本実施の形態においては、送信装置１１１が、ＢＳオーディオＥＳ１７１とＨＱオーディオＥＳ１８１とをそれぞれＴＳパケット化し、その結果得られたＢＳオーディオＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットとＨＱオーディオＴＳ１８３を構成する複数のＨＱオーディオＴＳパケットとを、多重化して１本のトランスポートストリーム１９０（MPEG2-TS）にする場合に、仮想的な受信装置１２０（図３）の能力と、ランダムアクセスのための多重化制約に応じて多重化するＴＳパケットを決定するようにする。すなわち、仮想的な受信装置１２０が、ＢＳオーディオＥＳとＨＱオーディオＥＳの両方に対応した（ＢＳオーディオＥＳとＨＱオーディオＥＳの両方を復号可能な）仮想的な受信装置である場合であっても、仮想的な受信装置１２０が、ＢＳオーディオＥＳのみに対応した（ＢＳオーディオＥＳのみ復号可能な）受信装置である場合であっても、それらの仮想的な受信装置１２０に設けられているバッファがオーバーフローおよびアンダーフローせずに復号可能となるように、また、ランダムアクセスのための多重化制約が守られるように、送信装置１１１側で、ＴＳパケットを多重化するタイミングを調整する（多重化するＴＳパケットを順次決定する）ようにする。
具体的には、送信装置１１１は、図６のＢＳオーディオＴＳ１７３を復号可能な仮想的な受信装置（以下、第１の仮想的な受信装置と称する）と、図６のＨＱオーディオＴＳ１８３を復号可能な受信装置（以下、第２の仮想的な受信装置と称する）とに対応するように、多重化するＴＳパケットを調整して、図６のトランスポートストリーム１９０を生成する。すなわち、送信装置１１１は、仮想的な受信装置１２０がＢＳオーディオＥＳを抽出して復号する場合に、所定のサイズのＢＳオーディオＥＳ用のデコーダバッファをオーバーフローおよびアンダーフローさせることがないように、かつ、仮想的な受信装置１２０がＨＱオーディオＥＳを抽出して復号する場合に、所定のサイズのＨＱオーディオＥＳ用のデコーダバッファをオーバーフローおよびアンダーフローさせることがないように、そして、ランダムアクセスのための多重化制約が守られるように、多重化するＴＳパケットを決定する。
すなわち、仮想的な受信装置１２０が、ＢＳオーディオＥＳしか復号できない場合、または、ＨＱオーディオＥＳを復号できる場合の、２種類の仮想的な受信装置を想定し、この２種類の仮想的な受信装置（第１の仮想的な受信装置と第２の仮想的な受信装置）のそれぞれで多重化したＴＳ１９０が復号可能となるように、かつ、ランダムアクセスのための多重化制約に基づいて、ＴＳパケットの多重化のタイミングを調整する。
図１４は、ＢＳオーディオＴＳとＨＱオーディオＴＳとを多重化する場合の、符号化制約のための仮想的なデコーダ１２１のモデルを説明する図である。すなわち、送信装置１１１が、ＢＳオーディオＴＳとＨＱオーディオＴＳとを、MPEG2-TSの方式で多重化する場合に想定する、仮想的な受信装置１２０が有する仮想デコーダ１２１（図３）モデルの構成例が、図１４に示されている。換言すれば、図１４の仮想デコーダ１２１は、送信装置１１１がＢＳオーディオＴＳとＨＱオーディオＴＳとを多重化する場合に想定する仮想デコーダ１２１のモデルである。
仮想的な受信装置１２０（図３）に送信されてきたMPEG2-TSは、仮想デコーダ１２１に供給される。仮想デコーダ１２１に供給されたMPEG2-TSは、図１４に示されるように、フィルタ３４１によって、ＴＳパケットの種類ごとにフィルタリングされる。
具体的には、MPEG2-TSは、複数のＴＳパケットにより構成されており、各ＴＳパケットには、そのＴＳパケットを識別するためのＰＩＤが付されている。フィルタ３４１は、MPEG2-TSを構成する各パケットに付されたＰＩＤに基づいて、ビデオストリームを構成するＴＳパケット（図１０の例の場合、ＰＩＤ＝Ｖ０のＴＳパケット）を、ビデオストリームを処理するためのビデオデータデコード処理部３５０に供給し、オーディオストリームを構成するＴＳパケット（図１０の例の場合、ＰＩＤ＝ａ０のＴＳパケット）を、オーディオストリームを処理するためのオーディオデータデコード処理部３６０に供給し、システムに関するＴＳパケット（図１０の例の場合、ＰＩＤ＝Ｅ０のＴＳパケット）を、システムに関するデータを処理するためのシステムデータデコード処理部３７０に供給する。
ビデオデータデコード処理部３５０には、トランスポートバッファ（図中、ＴＢｖと記述する）３５１、マルチプレクスバッファ（図中、ＭＢｖと記述する）３５２、エレメンタリバッファ（図中、ＥＢｖと記述する）３５３、ビデオデコーダ（図中、Ｄｖと記述する）３５４、およびアウトプットリオーダリングバッファ（図中、Ｏｖと記述する）３５５が設けられている。
ビデオストリームを構成するＴＳパケット（図１０の例の場合、ＰＩＤ＝Ｖ０のＴＳパケット）が、フィルタ３４１を介してビデオデータデコード処理部３５０に供給されると、トランスポートバッファ３５１に蓄積される。そして、所定のビットレートでマルチプレクスバッファ３５２にデータが供給される。マルチプレクスバッファ３５２は、供給されたデータを蓄積してスムージングした後、所定のビットレートでエレメンタリバッファ３５３にデータを供給する。ビデオデコーダ３５４は、エレメンタリバッファ３５３に蓄積されているビデオアクセスユニットを所定のタイミングで引き抜き、それを復号して出力する。復号されたデータのうちの一部は、アウトプットリオーダリングバッファ３５５を介して端子３５６から出力され、その他のデータは、端子３５７から出力され、再生される。
オーディオデータデコード処理部３６０には、トランスポートプリオリティフィルタ（Transport priority filter）３６１、トランスポートバッファ（図中、ＴＢｎと記述する）３６２、エレメンタリバッファ（図中、Ｂｎと記述する）３６３、およびオーディオデコーダ（図中、Ｄｎと記述する）３６４が設けられている。
オーディオストリームを構成するＴＳパケット（図１０の例の場合、ＰＩＤ＝ａ０のＴＳパケット）が、フィルタ３４１を介してオーディオデータデコード処理部３６０に供給されると、トランスポートプリオリティフィルタ３６１は、仮想デコーダ１２１の能力に応じて、ＴＳパケットのフィルタリングを行う。例えば、トランスポートプリオリティフィルタ３６１は、ＴＳパケットのヘッダ（例えば、図１１のＴＳヘッダ２８２）に付されたｔｐの値（図１０参照）に基づいてフィルタリングを行う。トランスポートプリオリティフィルタ３６１によりフィルタリングされたＴＳパケットは、後段のトランスポートバッファ３６２に供給される。トランスポートバッファ３６２は、トランスポートプリオリティフィルタ３６１によりフィルタリングされて供給されてきたＴＳパケットを蓄積する。
トランスポートバッファ３６２に蓄積されたＴＳパケットは、仮想デコーダ１２１の能力に応じたレートＲｘｎでエレメンタリバッファ３６３に供給される。Ｒｘｎは、トランスポートバッファ３６２からのLeak rate（リークレート）であり、トランスポートバッファ３６２にデータが入っている場合、データはＲｘｎのレートでトランスポートバッファ３６２からエレメンタリバッファ３６３へ入力される。また、トランスポートバッファ３６２にデータが入っていない場合、Ｒｘｎは０となる。
エレメンタリバッファ３６３は、トランスポートバッファ３６２からＲｘｎのビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３のサイズは、オーディオ符号化方法（MPEG1オーディオやMPEG2 AACオーディオなど）によって異なるものとされている。なお、トランスポートバッファ３６２にデータが入っている場合にはトランスポートバッファ３６２から、Ｒｘｎのビットレート（速度）でエレメンタリバッファ３６３に供給されるが、トランスポートバッファ３６２にデータが入っていない場合には、トランスポートバッファ３６２からのデータは、エレメンタリバッファ３６３には供給されない（すなわちＲｘｎ＝０となる）。
オーディオデコーダ３６４は、エレメンタリバッファ３６３に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３６５を介して出力し、再生する。具体的には、オーディオデコーダ３６４は、オーディオアクセスユニットのＰＴＳが、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３から引き抜く。なお、オーディオアクセスユニットとは、オーディオストリームを構成する符号化単位であり、また、それが復号単位となる。なお、図１４のオーディオデータデコード処理部３６０の詳細は、図１５を参照して後述する。
システムデータデコード処理部３７０には、トランスポートバッファ（図中、TBsysと記述する）３７１、エレメンタリバッファ（図中、Bsys記述する）３７２、およびシステムデコーダ（図中、Dsysと記述する）３７３が設けられている。
システムに関するＴＳパケット（図１０の例の場合、ＰＩＤ＝Ｅ０のＴＳパケット）が、フィルタ３４１を介してシステムデータデコード処理部３７０に供給されると、トランスポートバッファ３７１に蓄積される。トランスポートバッファ３７１に蓄積されたデータは、エレメンタリバッファ３７２に供給される。システムデコーダ３７３は、エレメンタリバッファ７２に蓄積されているシステムアクセスユニットを所定のタイミングで引き抜き、それを復号し、端子３７４を介して出力する。
なお、システムに関するＴＳパケットには、例えば、図６のＰＡＴのＴＳパケット２２１やＰＭＴのＴＳパケット２２２が含まれる。
次に、図１５を参照して、図１４のオーディオデータデコード処理部３６０の詳細を説明する。
オーディオデータデコード処理部３６０の内部は、図１５に示されるように、ＢＳオーディオデータデコード処理部３６０−１とＨＱオーディオデータデコード処理部３６０−２の２系統にわかれている。これは、ＢＳオーディオＥＳのみのデコードを対象としたデコーダモデルであるオーディオデータデコード処理部３６０−１と、ＨＱオーディオＥＳのデコードを対象としたデコーダモデルであるオーディオデータデコード処理部３６０−２の２つを一度に検証するためである。
ＢＳオーディオデータデコード処理部３６０−１には、トランスポートプリオリティフィルタ（図中、transport priority filter (tp=1)と記述する）３６１−１、トランスポートバッファ（図中、ＴＢ１と記述する）３６２−１、エレメンタリバッファ（図中、Ｂ１と記述する）３６３−１、およびオーディオデコーダ（図中、Ｄ１と記述する）３６４−１が設けられている。すなわち、図１４のオーディオデータデコード処理部３６０のトランスポートプリオリティフィルタ３６１、トランスポートバッファ３６２、エレメンタリバッファ３６３、およびオーディオデコーダ３６４に、図１５のオーディオデータデコード処理部３６０−１のトランスポートプリオリティフィルタ３６１−１、トランスポートバッファ３６２−１、エレメンタリバッファ３６３−１、およびオーディオデコーダ３６４−１がそれぞれ対応している。
トランスポートプリオリティフィルタ３６１−１は、ｔｐ＝１（Transport_priority＝１）のＴＳパケットだけを選択し、トランスポートバッファ３６２−１へ供給する。トランスポートバッファ３６２−１は、エレメンタリバッファ３６３−１への入力ビットレートの値（Ｒｘｎ）をＲｘ１としてデータを供給する。エレメンタリバッファ３６３−１は、トランスポートバッファ３６２−１からＲｘ１のビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３−１の容量（Ｂｎ）は、Ｂ１とされる。オーディオデコーダ３６４−１は、エレメンタリバッファ３６３−１に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、出力する。具体的には、オーディオデコーダ３６４−１は、オーディオアクセスユニットのＰＴＳが、T-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをエレメンタリバッファ３６３−１から引き抜く。
このように、ＢＳオーディオデータデコード処理部３６０−１は、ＢＳオーディオＥＳのデコードを想定した仮想デコーダである。以下において、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、ＢＳオーディオデータデコード処理部３６０−１に置き換えられているものを、第１の仮想デコーダと称する。すなわち、第１の仮想的な受信装置に設けられている仮想デコーダが、第１の仮想デコーダとされる。
一方、ＨＱオーディオデータデコード処理部３６０−２には、トランスポートプリオリティフィルタ（図中、transport priority filter (tp=0)と記述する）３６１−２、トランスポートバッファ（図中、ＴＢ２と記述する）３６２−２、エレメンタリバッファ（図中、Ｂ２＿１と記述する）３６３−２、および可変ビットレートのオーディオデコーダ３６４−２が設けられている。また、可変ビットレートのオーディオデコーダ３６４−２には、FIFOバッファ（図中、Ｂ２＿２と記述する）３９１とオーディオデコーダ（図中、Ｄ２と記述する）３９２とが設けられている。換言すれば、ＨＱオーディオデータデコード処理部３６０−２のエレメンタリバッファは、２つ（エレメンタリバッファ３６３−２とFIFOバッファ３９１の２つ）に分割されている。すなわち、図１４のオーディオデータデコード処理部３６０のトランスポートプリオリティフィルタ３６１、トランスポートバッファ３６２、エレメンタリバッファ３６３、およびオーディオデコーダ３６４に、図１５のオーディオデータデコード処理部３６０−２のトランスポートプリオリティフィルタ３６１−２、トランスポートバッファ３６２−２、エレメンタリバッファ３６３−２、および可変ビットレートのオーディオデータ３６４−２がそれぞれ対応している。
トランスポートプリオリティフィルタ３６１−２は、ｔｐ＝０（Transport_priority＝０）のＴＳパケットだけを選択し、トランスポートバッファ３６２−２へ供給する。トランスポートバッファ３６２−２は、エレメンタリバッファ３６３−２への入力ビットレートの値（Ｒｘｎ）をＲｘ２としてデータを供給する。エレメンタリバッファ３６３−２は、トランスポートバッファ３６２−２からＲｘ２のビットレートで供給されたデータを蓄積する。ここで、エレメンタリバッファ３６３−２の容量（Ｂｎ）は、Ｂ２＿１とされる。
可変ビットレートのオーディオデコーダ３６４−２は、エレメンタリバッファ３６３−２に蓄積されているオーディオアクセスユニットを所定のタイミングで引き抜き、それを復号し、出力する。具体的には、図１６に示されるように、可変ビットレートのオーディオデコーダ３６４−２のFIFOバッファ３９１へのデータの入力タイミングは、ＨＱオーディオＥＳの中に存在するInput timing（タイミング値）により決定される。このInput timingは、図１１を参照して上述したように、第２のエンコーダ１４２がオーディオデータを符号化する際に付加する値（図１１のInput timing情報２７５）である。すなわち、ＨＱオーディオＥＳ（可変ビットレートのオーディオストリーム）に埋め込まれているInput timing（図１１のInput timing情報２７５）に基づくタイミングで、FIFOバッファ３９１にデータが入力される。また、オーディオデコーダ３９２は、オーディオアクセスユニットのＰＴＳがT-STDのシステムタイムクロック上の時間に等しくなったときに、そのオーディオアクセスユニットをFIFOバッファ３９１から引き抜き、これを復号し、出力する。すなわち、FIFOバッファ３９１は、可変ビットレートのオーディオデコーダ３６４−２のためのバッファとされている。このように、FIFOバッファ３９１とオーディオデコーダ３９２とにより、可変ビットレートのオーディオデコーダ３６４−２が実現される。
このとき、FIFOバッファ３９１へのデータの入力タイミングを、Input timing（タイミング値）に基づいて決定するようにしたので、ＤＴＳ(Decoding Time Stamp)をストリームに付加する必要がなくなり、その結果、送信装置１１１（図４）のＰＥＳパケット化部１３６は、ＨＱオーディオＥＳをＰＥＳパケット化する場合に、ＤＴＳを求めるための計算を行う必要がなくなり、ＰＥＳパケット化の処理を、より円滑に行うことができる。また、ＰＥＳパケット化部１３６は、あらかじめＨＱオーディオＥＳに含まれているInput timingを、そのままＰＥＳパケットのＰＥＳペイロード２５３（図１１）に格納するだけでよく、容易にＰＥＳパケット化を行うことができる。さらに、ＰＥＳパケット化部１３６は、生成するＰＥＳパケットに、ＤＴＳの値を格納せずに済むので、ＰＥＳパケットのデータ量を抑えることができる。すなわち、ＰＥＳパケットのデータ量を、より削減することができる。
このように、ＨＱオーディオデータデコード処理部３６０−２は、ＨＱオーディオＥＳのデコードを想定した仮想デコーダである。以下において、仮想デコーダ１２１のオーディオデータデコード処理部３６０が、ＨＱオーディオデータデコード処理部３６０−２に置き換えられているものを、第２の仮想デコーダと称する。すなわち、第２の仮想的な受信装置に設けられている仮想デコーダが、第２の仮想デコーダとされる。
図１５のエレメンタリバッファ３６３−２（Ｂ２＿１）は、Input timingに基づくタイミングでバッファの占有量が減少する。また、FIFOバッファ３９１（Ｂ２＿２）は、オーバーフローすることはないが、アンダーフローする可能性はある。そのため、FIFOバッファ３９１（Ｂ２＿２）がアンダーフローしないように、エレメンタリバッファ３６３−２（Ｂ２＿１）がオーバーフローおよびアンダーフローしないようなタイミングでＴＳパケットを多重化するようにしなければならない。
なお、図１５において、例えば、エレメンタリバッファ３６３−１（Ｂ１）のバッファサイズは１８６４０bytesとされ、エレメンタリバッファ３６３−１（Ｂ２＿１）＋FIFOバッファ３９１のバッファサイズは５２４２５０bytesとされ、リークレートＲｘ１は２Mbpsとされ、リークレートＲｘ２は４８Mbpsとされる。
図４の送信装置１１１は、図１５の仮想デコーダ１２１を有する仮想的な受信装置１２０によって正しくデコードされるように、かつ、ランダムアクセスのための多重化制約に基づいて、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットの中から、多重化するＴＳパケットを順次決定して、多重化する必要がある。
すなわち、送信装置１１１は、例えば図１５の仮想デコーダ１２１の中のトランスポートバッファ３６２−１およびトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−１およびエレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることなく、さらに、FIFOバッファ３９１がアンダーフローすることがないように、また、ランダムアクセスのための多重化制約に基づいて、多重化するオーディオのＴＳパケットを決定（調整）し、多重化しなければならない。
そのため、送信装置１１１は、上述した図１５の仮想デコーダ１２１を満たすように、すなわち、図１５のＢＳオーディオデータデコード処理部３６０−１とＨＱオーディオデータデコード処理部３６０−２の両方でデコードできるように、かつ、ランダムアクセスのための多重化制約に基づいて、図６のＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを多重化してトランスポートストリーム１９０を生成するための多重化のタイミングを調整する。すなわち、送信装置１１１は、第１の仮想的な受信装置（第１の仮想デコーダ、すなわち、ＢＳオーディオデータデコード処理部３６０−１を有する仮想デコーダ１２１）と第２の仮想的な受信装置（第２の仮想デコーダ、すなわち、ＨＱオーディオデータデコード処理部３６０−２を有する仮想デコーダ１２１）のそれぞれのバッファがオーバーフローおよびアンダーフローしないようなタイミングであって、ランダムアクセスのための多重化制約に基づいて、多重化するＴＳパケットを順次決定し、多重化する。
次に、これまでに説明した送信装置１１１が、仮想的な受信装置１２１の能力を考慮するとともに、ランダムアクセスのための多重化制約に基づいて、オーディオストリームをエンコードおよびＴＳパケット化し、多重化して送信する場合の処理を説明する。図１７と図１８は、図４の送信装置１１１における、ＴＳパケット送信処理を説明するフローチャートである。なお、この処理は、送信装置１１１の電源がオンされ、入力部１３１にオーディオストリームが入力されたとき開始される。
ステップＳ５１において、入力部１３１は、オーディオデータの入力を受け付け、受け付けたオーディオデータをオーディオエンコーダ１３２に出力する。具体的には、入力部１３１は、オーディオデータを、オーディオエンコーダ１３２の中の第１のエンコーダ１４１と第２のエンコーダ１４２とに供給する。
ステップＳ５２において、第１のエンコーダ１４１は、オーディオデータを第１の符号化方式でエンコードする。上述したように、第１の符号化方式は、例えば、固定長符号化方式とされる。第１のエンコーダ１４１は、エンコードした結果得られたＢＳオーディオＥＳを、後段のバッファ１３３の第１のバッファ１４３に供給する。
ステップＳ５３において、第２のエンコーダ１４２は、オーディオデータを第２の符号化方式でエンコードする。上述したように、第２の符号化方式は可変長符号化方式であり、第２のエンコーダ１４２は、エンコードする際にインプットタイミングを付加する（図１１のInput timing情報２７５）。第２のエンコーダ１４２は、エンコードした結果得られたＨＱオーディオＥＳを、後段のバッファ１３３の第２のバッファ１４４に供給する。
なお、ステップＳ５２で第１のエンコーダ１４１から出力されるＢＳオーディオＥＳが、図６のＢＳオーディオＥＳ１７１に対応し、ステップＳ５３で第２のエンコーダ１４２から出力されるＨＱオーディオＥＳが、図６のＨＱオーディオＥＳ１８１に対応する。
ステップＳ５４において、第１のバッファ１４３は、オーディオエンコーダ１３の第１のエンコーダ１４１から供給されたＢＳオーディオＥＳ１７１（図６参照）を格納（バッファリング）する。
ステップＳ５５において、第２のバッファ１４４は、オーディオエンコーダ１３の第２のエンコーダ１４２から供給されたＨＱオーディオＥＳ１８１（図６参照）を格納（バッファリング）する。
ステップＳ５６において、制御部１３５は、送るべきオーディオアクセスユニットがバッファ１３３にあるか否かを判定し、送るべきオーディオアクセスユニットがバッファ１３３にあると判定するまで処理を待機する。制御部１３５は、バッファ１３３（第１のバッファ１４３と第２のバッファ１４４）にそれぞれ格納されたエレメンタリストリーム（ＢＳオーディＥＳ１７１とＨＱオーディオＥＳ１８１）を監視するとともに、ＰＴＳを管理しているので、これらに基づいてステップＳ５６の判定を行う。具体的には、制御部１３５は、ＢＳオーディオＥＳの場合、送るべきオーディオアクセスユニットが第１のバッファ１４３にあるか否かをＰＴＳに基づいて判定し、ＨＱオーディオＥＳの場合、送るべきオーディオアクセスユニットが第２のバッファ１４４にあるか否かをInput timing（図１１のInput timing情報２７５）に基づいて判定する。
例えば、ＢＳオーディオＥＳ１７１のオーディオアクセスユニット（例えば、図６のＢＳ（１）、ＢＳ（２）、・・・、ＢＳ（ｎ））のそれぞれは固定長とされているので、制御部１３５は、ＰＴＳ(Ｎ)＝ＰＴＳ０＋ＴＴ×ｈ（「ＰＴＳ０」は一番最初のオーディオアクセスユニットのＰＴＳとされ、「ＴＴ」はアクセスユニットの表示間隔とされ、ｈは図６の括弧で示される添え字の数とされる）に対応するオーディオアクセスユニット（図６の括弧で示される添え字ｈに対応するオーディオアクセスユニット）が、第１のバッファ１４３に格納されたか否かを判定する。また、例えば、ＨＱオーディオＥＳ１８１のオーディオアクセスユニット（例えば、図６のＨＱ（１）、ＨＱ（２）、・・・、ＨＱ（ｍ））のそれぞれは可変長とされているので、制御部１３５は、オーディオアクセスユニットが、第２のバッファ１４４に格納されたか否かを、ＨＱオーディオＥＳ１８１に付加されているInput timingに基づいて判定する。これは、ＨＱオーディオＥＳは、ＢＳオーディオＥＳのときと違い、オーディオアクセスユニットが可変長であるため、ＰＴＳで制御すると、例えばアクセスユニットのサイズが大きい場合に、転送が間に合わずに、アンダーフローを起こす可能性があるため、ＰＴＳの時刻よりも早いInput timing（図１１のInput timing情報２７５）で求められる時刻に可変ビットレートオーディオデコーダに渡さないといけないためである。
なお、ここでいう固定長、可変長とは、オーディオアクセスユニットのデータサイズに対しての定義であって、１つのオーディオアクセスユニットに対する表示間隔はいずれも一定とされる。例えば、ＢＳオーディオＥＳの表示間隔は、１アクセスユニットあたり３２ミリ秒とされ、ＨＱオーディオＥＳの表示間隔は、１アクセスユニットあたり１２００分の１秒とされる。
ステップＳ５６において、送るべきオーディオアクセスユニットがあると判定された場合、ステップＳ５７において、制御部１３５は、送るべきオーディオアクセスユニットを対象となるバッファ１３３から読み出し、ＰＥＳパケット化部１３６に供給させるよう制御する。例えば、制御部１３５は、送るべきオーディオアクセスユニットを第１のバッファ１４３から読み出し、ＰＥＳパケット化部１３６に供給させるよう制御する。また、例えば、制御部１３５は、送るべきオーディオアクセスユニットを第２のバッファ１４４から読み出し、ＰＥＳパケット化部１３６に供給させるよう制御する。また、制御部１３５は、ＰＥＳパケット化部１３６にＰＥＳパケット化を指令し、処理をステップＳ５８に進める。
ステップＳ５８において、ＰＥＳパケット化部１３６は、ステップＳ５７の処理で供給されてきたオーディオアクセスユニットをＰＥＳパケット化する。具体的には、ＰＥＳパケット化部１３６は、ステップＳ５７の処理で第１のバッファ１４３または第２のバッファ１４４から供給されてきたオーディオアクセスユニット（ＢＳオーディオＥＳまたはＨＱオーディオＥＳのオーディオアクセスユニット）に、制御部１３５から供給されたＰＴＳを含め、制約を満たすようにＰＥＳパケット化する。ＰＥＳパケット化部１３６は、ＰＥＳパケット化して生成したＰＥＳパケットを、ＴＳパケット化部１３７に供給する。
例えば、ＰＥＳパケット化部１３６は、第１のバッファ１４３から供給されたＢＳオーディオＥＳを取得し（ＰＴＳに対応するオーディオアクセスユニットを取得し）、ＢＳオーディオＥＳを、ＰＥＳパケットにパケット化する。また、例えば、ＰＥＳパケット化部１３６は、第２のバッファ１４４から供給されたＨＱオーディオＥＳを取得し（Input timingに対応するオーディオアクセスユニットを取得し）、ＨＱオーディオＥＳを、ＰＥＳパケットにパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されてきたＰＴＳを、ＰＥＳパケットストリーム（例えば、図６のＢＳオーディオＰＥＳ１７２またはＨＱオーディオＰＥＳ１８２）を構成するＰＥＳパケットのそれぞれに格納する。そして、ＰＥＳパケット化部１３６は、生成したＰＥＳパケット（例えば、図６のＢＳオーディオＰＥＳ１７２の中で、このステップＳ５７の処理でＰＥＳパケット化したＰＥＳパケット、または、図６のＨＱオーディオＰＥＳ１８２の中で、このステップＳ５７の処理でＰＥＳパケット化したＰＥＳパケット）を、ＴＳパケット化部１３７に供給する。このとき、ＰＥＳパケット化部１３６は、ＰＥＳパケット化のときの制約に基づいてＰＥＳパケット化を行う。このＰＥＳパケット化処理の詳細は、図１９を参照して後述する。
なお、ステップＳ５８でＰＥＳパケット化部１３６から出力されるＢＳオーディオＰＥＳが、図６のＢＳオーディオＰＥＳ１７２に対応し、ステップＳ５８でＰＥＳパケット化部１３６から出力されるＨＱオーディオＰＥＳが、図６のＨＱオーディオＰＥＳ１８２に対応する。
ステップＳ５９において、ＴＳパケット化部１３７は、ＰＥＳパケット化部１３６から供給されてきたＰＥＳパケットをＴＳパケット化し、ＴＳパケット化したＴＳパケットを多重化部１３８に供給する。例えば、ＴＳパケット化部１３７は、ＢＳオーディオＰＥＳ１７２を構成する複数のＢＳオーディオＰＥＳパケットを、図６のＢＳオーディオＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットのように、ＴＳパケット化する。そして、ＴＳパケット化部１３７は、ＢＳオーディＴＳ１７３を構成する複数のＢＳオーディオＴＳパケットを、後段の多重化部１３８に供給する。また、例えば、ＴＳパケット化部１３７は、ＨＱオーディオＰＥＳ１８２を構成する複数のＨＱオーディオＰＥＳパケットを、図６のＨＱオーディオＴＳ１８３を構成する複数のＨＱオーディオＴＳパケットのように、ＴＳパケット化する。そして、ＴＳパケット化部１３７は、ＨＱオーディＴＳ１８３を構成する複数のＨＱオーディオＴＳパケットを、後段の多重化部１３８に供給する。
このとき、ＴＳパケット化されたＢＳオーディオＴＳ１７３と、ＨＱオーディオＴＳ１８３の各ＴＳヘッダには、図１０に示されるように、同一のＰＩＤが付されているとともに、異なるtransport_priorityの値が付されている。図５の例の場合、ＢＳオーディオＴＳ１８３の各ＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝１」が含まれ、ＨＱオーディオＴＳ１８３の各ＴＳパケットには「ＰＩＤ＝ａ０,ｔｐ＝０」が含まれる。
ステップＳ６０において、制御部１３５は、仮想デコーダ１２１のバッファ占有量の計算と、ランダムアクセスのための多重化制約に基づいて、多重化するＴＳパケットを決定する。具体的には、制御部１３５は、第１の仮想デコーダと第２の仮想デコーダ（図１４と図１５参照）のバッファ占有量の計算と、ランダムアクセスのための多重化制約に基づいて、次に多重化するＴＳパケット（ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットのうちのいずれかのＴＳパケット）を決定し、多重化すると決定されたＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、制御部１３５は、図６のＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３とを多重化して、トランスポートストリーム１９０を生成するために、多重化するＴＳパケットの順番を決定する。なお、この仮想デコーダ１２１（第１の仮想デコーダと第２の仮想デコーダ）のバッファ占有量の計算の処理については、図２０と図２１を参照して後述し、ランダムアクセスのための多重化制約処理については、図２２を参照して後述する。
ステップＳ６１において、多重化部１３８は、ＴＳパケット化部１３７から供給されたＴＳパケットのうち、制御部１３５によるステップＳ６０の処理で多重化すると決定されたＴＳパケットを多重化する。具体的には、多重化部１３８は、図６のＢＳオーディオＴＳ１７３の各ＴＳパケットとＨＱオーディオＴＳ１８３の各ＴＳパケットのうち、ステップＳ６０の処理で多重化すると決定されたＴＳパケットを（順次）多重化する。これにより、図６のトランスポートストリーム１９０が生成される。多重化部１３８は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３を多重化して生成したトランスポートストリーム１９０を、送信部１３９に供給する。
ステップＳ６２において、送信部１３９は、多重化部１３８から供給されたトランスポートストリーム１９０（図６）を送信する。送信部１３９は、例えば、図３に示されるように、ドライブ１１２を制御して、リムーバブルメディア１１３にトランスポートストリーム（MPEG2-TS）を送信したり、通信部１１４を制御して、ネットワーク１１５を介して、受信装置に送信したりする。この受信装置は、図３や図１４を参照して説明した仮想的な受信装置１２０ではなく、実際にMPEG2-TSを受信する（デコーダを有する）図示せぬ受信装置である。
ステップＳ６３において、制御部１３５は、終了するか否かを判定する。例えば、制御部１３５は、入力部１３１へのオーディオデータの入力が終了した場合や、ユーザによりＴＳパケット送信処理の終了が指令された場合や、１本のオーディオストリームの送信が終了した場合などに、処理を終了すると判定する。ステップＳ６３において、終了しないと判定された場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。すなわち、再びオーディオデータの入力が受け付けられてＴＳパケット化され、仮想デコーダ１２１のバッファ占有量の計算とランダムアクセスのための多重化制約に基づいて多重化するＴＳパケットが決定されて多重化され、多重化された結果生成されたトランスポートストリームが送信される。ステップＳ６３において、終了すると判定された場合、処理は終了される。
図１７と図１８の処理により、図１４と図１５を参照して説明した第１の仮想デコーダと第２の仮想デコーダ（仮想デコーダ１２１）のバッファ占有量の計算と、ランダムアクセスのための多重化制約に基づいて、多重化すると決定された順番でＴＳパケットが多重化されるので、図１４と図１５の仮想デコーダ１２１のモデルに対応するデコーダを有する受信装置（図示せず）であれば、この処理で多重化されたトランスポートストリーム（複数のＴＳパケット）を確実にデコード（復号）することができる。
次に、図１７のステップＳ５８の処理で、ＰＥＳパケット化部１３６により実行される、ＰＥＳパケット化処理の詳細を、図１９のフローチャートを参照して説明する。
ステップＳ７１において、ＰＥＳパケット化部１３６は、第１のバッファ１４３または第２のバッファ１４４から供給されてきたオーディオアクセスユニット（ＢＳオーディオＥＳまたはＨＱオーディオＥＳのオーディオアクセスユニット）が、ＢＳオーディオＥＳのアクセスユニットであるか否かを判定する。例えば、図６の例の場合、ＰＥＳパケット化部１３６には、１段目のＢＳオーディオＥＳ１７１またはＨＱオーディオＥＳ１８１のオーディオアクセスユニットが供給されてくるので、その供給されてきたオーディオアクセスユニットが、ＢＳオーディオＥＳであるかＨＱオーディオＥＳであるか否かを判定する。
ステップＳ７１において、ＢＳオーディオＥＳのアクセスユニットであると判定された場合、処理はステップＳ７２に進み、ＰＥＳパケット化部１３６は、そのＢＳオーディオＥＳのアクセスユニットが、周期Ｎを満たすアクセスユニットであるか否かを判定する。すなわち、ＰＥＳパケット化部１３６は、そのＢＳオーディオＥＳのアクセスユニットが、図１３を用いて上述した周期Ｎを満たすアクセスユニットであるか否かを判定する。
ステップＳ７２において、そのＢＳオーディオＥＳのアクセスユニットが周期Ｎを満たすアクセスユニットであると判定された場合、ステップＳ７３において、ＰＥＳパケット化部１３６は、そのアクセスユニットがＰＥＳペイロードの先頭に現れるように、ＰＥＳパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されたＰＴＳを、ＰＥＳパケットのＰＥＳヘッダに含める。図７の例において、ＢＳオーディオＥＳ１７１のＢＳ（１）のアクセスユニットが、周期Ｎを満たすアクセスユニットであると判定された場合、ＰＥＳパケット化部１３６は、そのアクセスユニット（ＢＳ（１））がＰＥＳパケット１７２−１のＰＥＳペイロードの先頭に現れるように、ＰＥＳパケット化する。そして、ＰＥＳパケット化部１３６は、制御部１３５から供給されたＰＴＳ＝ＢＳ１を、ＰＥＳパケット１７２−１のＰＥＳヘッダに格納する。
一方、ステップＳ７２において、そのＢＳオーディオＥＳのアクセスユニットが周期Ｎを満たすアクセスユニットではないと判定された場合、処理はステップＳ７４に進み、ＰＥＳパケット化部１３６は、ＰＥＳパケット化する。図７の例において、ＢＳオーディオＥＳ１７１のＢＳ（２）のアクセスユニットが、周期Ｎを満たすアクセスユニットでないと判定された場合、ＰＥＳパケット化部１３６は、そのアクセスユニット（ＢＳ（２））を、ＰＥＳパケット１７２−１のＰＥＳペイロードに格納することでＰＥＳパケット化する。
このように、ステップＳ７２、ステップＳ７３、ステップＳ７４の処理により、ＢＳオーディオＥＳのアクセスユニットを、順次ＰＥＳパケット化することができる。具体的には、周期Ｎを満たすＢＳオーディオＥＳのアクセスユニットについては、そのアクセスユニットがＰＥＳペイロードの先頭に現れるようにＰＥＳパケット化が行われ、その他のアクセスユニットについては、制約が設けられずにＰＥＳパケット化が行われる。
一方、ステップＳ７１において、ＢＳオーディオＥＳのアクセスユニットではないと判定された場合、すなわち、ＰＥＳパケット化部１３６に供給されてきたオーディオアクセスユニットが、ＨＱオーディオＥＳのオーディオアクセスユニットである場合、処理はステップＳ７５に進み、ＰＥＳパケット化部１３６は、そのＨＱオーディオＥＳのアクセスユニットが、周期Ｎを満たすアクセスユニットであるか否かを判定する。すなわち、ＰＥＳパケット化部１３６は、そのＨＱオーディオＥＳのアクセスユニットが、図１３を用いて上述した周期Ｎを満たすアクセスユニットであるか否かを判定する。
ステップＳ７５において、そのＨＱオーディオＥＳのアクセスユニットが周期Ｎを満たすアクセスユニットであると判定された場合、ステップＳ７６において、ＰＥＳパケット化部１３６は、そのアクセスユニットが、詳細情報をヘッダに含むアクセスユニットであるかをさらに判定する。具体的には、ＰＥＳパケット化部１３６は、図１１を参照して上述した詳細情報２７６が、オーディオアクセスユニットのヘッダに含まれているか否かを判定する。
ステップＳ７６において、そのアクセスユニットが、詳細情報２７６をヘッダに含むアクセスユニットであると判定された場合、処理はステップＳ７７に進み、ＰＥＳパケット化部１３６は、そのアクセスユニットがＰＥＳペイロードの先頭に現れるように、ＰＥＳパケット化する。このとき、ＰＥＳパケット化部１３６は、制御部１３５から供給されたＰＴＳを、ＰＥＳパケットのＰＥＳヘッダに含める。図８の例において、ＨＱオーディオＥＳ１８１のＨＱ（１）のアクセスユニットが、周期Ｎを満たすアクセスユニットであると判定された場合（ステップＳ７５でYES）、かつ、詳細情報２７６をヘッダに含むアクセスユニットであると判定された場合（ステップＳ７６でYES）、ＰＥＳパケット化部１３６は、そのアクセスユニット（ＨＱ（１））がＰＥＳパケット１８２−１のＰＥＳペイロードの先頭に現れるように、ＰＥＳパケット化する。そして、ＰＥＳパケット化部１３６は、制御部１３５から供給されたＰＴＳ＝ＨＱ１を、ＰＥＳパケット１８２−１のＰＥＳヘッダに格納する。
一方、ステップＳ７５において、周期Ｎを満たすアクセスユニットでないと判定された場合、またはステップＳ７６において、詳細情報２７６をヘッダに含むアクセスユニットでないと判定された場合、処理はステップＳ７４に進み、ＰＥＳパケット化部１３６は、ＰＥＳパケット化する。図８の例において、ＨＱオーディオＥＳ１８１のＨＱ（２）のアクセスユニットが、周期Ｎを満たすアクセスユニットでないと判定された場合や、周期Ｎを満たすアクセスユニットではあるが、詳細情報２７６をヘッダに含むアクセスユニットではないと判定された場合、ＰＥＳパケット化部１３６は、そのアクセスユニット（ＨＱ（２））を、ＰＥＳパケット１８２−１のＰＥＳペイロードに格納することでＰＥＳパケット化する。
このように、ステップＳ７４乃至ステップＳ７７の処理により、ＨＱオーディオＥＳのアクセスユニットを、順次ＰＥＳパケット化することができる。具体的には、周期Ｎを満たし、かつ、詳細情報２７６（図１１）をヘッダに含むＨＱオーディオＥＳのアクセスユニットについては、そのアクセスユニットがＰＥＳペイロードの先頭に現れるようにＰＥＳパケット化が行われ、その他のアクセスユニットについては、制約が設けられずにＰＥＳパケット化が行われる。
ステップＳ７３の処理の後、ステップＳ７４の処理の後、またはステップＳ７７の処理の後、処理は終了される。
このように、ＢＳオーディオＥＳのアクセスユニットとＨＱオーディオＥＳのアクセスユニットの表示時刻が等しくなる周期Ｎ（図１３）で、かつ、１周期の間隔が１秒以内となる周期Ｎを定義し、ＢＳオーディオＥＳのアクセスユニットの場合は、この周期に基づいてＰＥＳパケット化を行い、ＨＱオーディオＥＳのアクセスユニットの場合は、この周期に加え、さらに、詳細情報をヘッダに含むか否かに基づいて、ＰＥＳパケット化を行うようにしたので、多重化する場合や、ランダムアクセスの場合の制約を考慮して、ＰＥＳパケットを生成することができる。
次に、図１８のステップＳ６０で制御部１３５により実行される、仮想デコーダのバッファ占有量の計算を、図２０と図２１を参照して説明する。
最初に、図２０のフローチャートを参照して、ＢＳオーディオに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１がＢＳオーディオＥＳのみをデコード可能であると想定してＴＳパケットの多重化のタイミングを計算する処理である。すなわち、制御部１３５が、受信側の仮想デコーダ１２１が、第１の仮想デコーダであると想定して実行する処理である。
ステップＳ１０１において、制御部１３５は、図１５のＢＳオーディオデータデコード処理部３６０−１のトランスポートバッファ３６２−１にｔｐ＝１のＴＳパケットを入れる空きがあれば、ＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、図１５のトランスポートバッファ３６２−１にＢＳオーディオＴＳパケット（ＢＳオーディオＥＳに対応するＴＳパケット）を入れる空きがあれば、そのＢＳオーディオＴＳパケットを多重化するよう多重化部１３８を制御する。
ステップＳ１０２において、制御部１３５は、図１５の仮想デコーダ１２１のエレメンタリバッファ３６３−１（Ｂｎ＝Ｂ１）に空きがあれば、トランスポートバッファ３６２−１からＲｘ１（Ｒｘｎ＝Ｒｘ１）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３−１（Ｂ１）に供給するものとして計算する。上述したように、第１の仮想デコーダのエレメンタリバッファ３６３−１への入力ビットレートはＲｘ１であるので、Ｒｘ１のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３−１の記憶容量はＢｎ＝Ｂ１であるものとして計算される。
ステップＳ１０３において、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをエレメンタリバッファ３６３−１（Ｂ１）から引き抜き、オーディオデコーダ３６４−１に供給するものとして計算する。例えば、仮想デコーダ１２１のシステムタイムクロックが、オーディオアクセスユニットのＰＴＳと等しくなったとき、そのＰＴＳのオーディオアクセスユニットをエレメンタリバッファ３６３−１から引き抜き、オーディオデコーダ３６４−１に供給されるものとして計算する。その後、処理は終了される。
なお、図２０の処理は、図１８のステップＳ６０の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。
このように、制御部１３５は、ＢＳオーディオＥＳのみをデコード可能なデコーダ（第１の仮想デコーダ）を想定してデコーダのバッファ占有量を計算する。すなわち、制御部１３５は、図１５のＢＳオーディオデータデコード処理部３６０−１が、図１４のオーディオデータデコード処理部３６０に設けられているものとして、第１の仮想デコーダのバッファ占有量を計算し、これと、後述する図２２のランダムアクセスのための多重化制約とに基づいて、ＴＳパケットの多重化タイミングを決定する。これにより、ＢＳオーディオＥＳのみをデコード可能なデコーダ（実際のデコーダ）は、バッファ占有量をオーバーフローやアンダーフローすることなく、確実にＢＳオーディオＥＳをデコード（復号）することができる。
次に、図２０のフローチャートを参照して、ＨＱオーディオに対するバッファ占有量の計算処理を説明する。なお、この処理は、図４の制御部１３５が、受信側の仮想デコーダ１２１がＨＱオーディオＥＳをデコード可能であると想定してＴＳパケットの多重化のタイミングを計算する処理である。すなわち、制御部１３５が、受信側の仮想デコーダ１２１が、第２の仮想デコーダであると想定して実行する処理である。
ステップＳ１５１において、制御部１３５は、図１５のＨＱオーディオデータデコード処理部３６０−２のトランスポートバッファ３６２−２にｔｐ＝０のＴＳパケットを入れる空きがあれば、ＴＳパケットを多重化するよう、多重化部１３８を制御する。すなわち、図１５のトランスポートバッファ３６２−２にＨＱオーディオＴＳパケット（ＨＱオーディオＥＳに対応するＴＳパケット）を入れる空きがあれば、そのＨＱオーディオＴＳパケットを多重化するよう多重化部１３８を制御する。
ステップＳ１５２において、制御部１３５は、図１５の仮想デコーダ１２１のエレメンタリバッファ３６３−２（Ｂｎ＝Ｂ２＿１）に空きがあれば、トランスポートバッファ３６２−２からＲｘ２（Ｒｘｎ＝Ｒｘ２）のビットレートでデータを引き抜き、これをエレメンタリバッファ３６３−２（Ｂ２＿１）に供給するものとして計算する。上述したように、第２の仮想デコーダのエレメンタリバッファ３６３−２への入力ビットレートはＲｘ２であるので、Ｒｘ２のレートでデータが引き抜かれるものとして計算され、エレメンタリバッファ３６３−２の記憶容量はＢｎ＝Ｂ２＿１であるものとして計算される。
ステップＳ１５３において、制御部１３５は、オーディオアクセスユニットのInput timingに基づいて、そのオーディオアクセスユニットをエレメンタリバッファ３６３−２（Ｂ２＿１）から引き抜き、FIFOバッファ３９１（Ｂ２＿２）に供給するものとして計算する。上述したように、第２のエンコーダ１４２によりエンコードされて出力されるＨＱオーディオＥＳには、Input timing（図１１参照）が付加されているので、制御部１３５は、このInput timingに基づいて、オーディオアクセスユニットをエレメンタリバッファ３６３−２（Ｂ２＿１）から引き抜き、FIFOバッファ３９１（Ｂ２＿２）に供給するものとして計算する。
ステップＳ１５４において、制御部１３５は、オーディオアクセスユニットのＰＴＳに基づいて、そのオーディオアクセスユニットをFIFOバッファ３９１（Ｂ２＿２）から引き抜き、オーディオデコーダ３９２に供給するものとして計算する。具体的には、制御部１３５は、オーディオアクセスユニットのＰＴＳが、仮想デコーダ１２１（第２の仮想デコーダ）のシステムタイムクロック上の時間に等しくなったとき、そのオーディオアクセスユニットをFIFOバッファ３９１から引き抜き、オーディオデコーダ３９２に供給するものとして計算する。その後、処理は終了される。
このように、エレメンタリバッファ３６３−２（Ｂ２＿１）は、Input timingに基づくタイミングでバッファの占有量が現象する。また、FIFOバッファ３９１（Ｂ２＿２）は、オーバーフローすることはないが、アンダーフローする可能性はある。そのため、図２１に示されるように、FIFOバッファ３９１（Ｂ２＿２）がアンダーフローしないように、エレメンタリバッファ３６３−２（Ｂ２＿１）がオーバーフローおよびアンダーフローしないようなタイミングでＴＳパケットを多重化するようにする。
次に、図１８のステップＳ６０で制御部１３５により実行される、ランダムアクセスのための多重化制約処理を、図２２のフローチャートを参照して説明する。なお、この処理は、図４の制御部１３５が、ランダムアクセスをするために作成されるEP_map（詳細は後述する）を考慮して、ＴＳパケットの多重化のタイミングを制約する処理である。
ステップＳ２０１において、制御部１３５は、ＢＳオーディオＴＳパケットのＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値と同じＰＴＳ値をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケットが、ＢＳオーディオＴＳとＨＱオーディオＴＳの中に存在するか否かを判定する。例えば、制御部１３５は、図７のＢＳオーディオＴＳパケットのペイロードに含まれるＰＥＳヘッダ（図７のＢＳオーディオＰＥＳパケット１７２−１）のＰＴＳ値であるＰＴＳ＝ＢＳ１と、同じＰＴＳ値をもった、ＨＱオーディオのＰＥＳパケットを含むＴＳパケットが、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３の中に存在するか否かを判定する。ＰＴＳ＝ＢＳ１（図７）＝ＨＱ１（図８）である場合、制御部１３５は、ＢＳオーディオＴＳパケットのＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値（ＢＳ１）と同じＰＴＳ値（ＢＳ１＝ＨＱ１）をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケット（図８のＨＱオーディオＴＳパケット２３２−１）が、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３の中に存在すると判定する。
より具体的な例を、図９を参照して説明する。ＢＳオーディオＴＳパケット２３１−１、２３１−３、２３１−ｊ−１には、ＰＥＳヘッダのＰＴＳ値が格納されている。また、ＨＱオーディオＴＳパケット２３２−１，２３２−４，２３２−ｋ−２には、ＰＥＳヘッダのＰＴＳ値が格納されている。ここで、ＰＴＳ＃１＝ＢＳ１＝ＨＱ１，ＰＴＳ＃２＝ＢＳｎ'＝ＨＱｍ'が成立し、ＢＳ２はＨＱ２と異なるものとする。このとき、ＢＳオーディオＴＳパケット２３１−１のＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値（ＰＴＳ＃１＝ＢＳ１）と同じＰＴＳ値（ＰＴＳ＃１＝ＨＱ１）をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケット２３２−１が、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３の中に存在すると判定される。一方、ＢＳオーディオＴＳパケット２３１−３のＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値（ＢＳ２）と同じＰＴＳ値をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケットは、ＢＳ２とＨＱ２が等しくないため、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３の中に存在しないと判定される。
ステップＳ２０１において、ＢＳオーディオＴＳパケットのＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値と同じＰＴＳ値をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケットが、ＢＳオーディオＴＳとＨＱオーディオＴＳの中に存在すると判定された場合、処理はステップＳ２０２に進み、制御部１３５は、そのＢＳオーディオＰＥＳパケットを含むＴＳパケットは、そのＨＱオーディオＰＥＳパケットを含むＴＳパケットより、先に多重化するＴＳパケットとする。例えば、図９において、ＢＳオーディオＴＳパケット２３１−１のＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値（ＰＴＳ＃１＝ＢＳ１）と同じＰＴＳ値（ＰＴＳ＃１＝ＨＱ１）をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケット２３２−１が、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３の中に存在すると判定された場合、制御部１３５は、ステップＳ２０２において、そのＢＳオーディオＰＥＳパケット１７２−１（図７参照）を含むＴＳパケット２３１−１は、そのＨＱオーディオＰＥＳパケット１８２−１（図８参照）を含むＴＳパケット２３２−１より、先に多重化するＴＳパケットとする。
ステップＳ２０１において、ＢＳオーディオＴＳパケットのＴＳペイロードに含まれるＰＥＳヘッダのＰＴＳ値と同じＰＴＳ値をもった、ＨＱオーディオＰＥＳパケットを含むＴＳパケットが、ＢＳオーディオＴＳとＨＱオーディオＴＳの中に存在しないと判定された場合、または、ステップＳ２０２の処理の後、処理は終了される。
図２２の処理により、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットにそれぞれ含まれるＰＴＳ値が一致する場合、そのＰＥＳパケットを含むＴＳパケットについては、ＨＱオーディオのＴＳパケットより、ＢＳオーディオＴＳパケットの方が先に多重化されるものとされる。
なお、図２２の処理は、図１８のステップＳ６０の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。
このように、制御部１３５は、ランダムアクセスのための多重化制約処理を実行する。これにより、ランダムアクセスのために作成されるEP_mapを作成することができ、もって、ランダムアクセス可能なように、ＴＳを多重化することができる。これにより、実際のデコーダは、バッファ占有量をオーバーフローやアンダーフローすることなく、確実にＢＳオーディオＥＳをデコード（復号）することができるとともに、ランダムアクセスを可能とすることができる。
なお、図２１や図２２の処理も、図１８のステップＳ６０の処理を実行する場合に実行される処理であって、繰り返し実行されるものである。すなわち、図１８のステップＳ６０の処理を実行する場合に、図２０と図２１と図２２の処理が並行して実行される。より具体的には、図１８のステップＳ６０の処理を実行する場合に、制御部１３５は、図２０の処理によりＢＳオーディオに対応するＴＳパケットの多重化のタイミングを計算するとともに、図２１の処理により、ＨＱオーディオに対応するＴＳパケットの多重化のタイミングを計算し、さらに、図２２の処理により、ランダムアクセスのための多重化制約処理を繰り返し実行する。
換言すれば、制御部１３５は、図１５の仮想デコーダ１２１の中のトランスポートバッファ３６２−１およびトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−１およびエレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることなく、さらに、FIFOバッファ３９１がアンダーフローすることがないように、かつ、ランダムアクセスすることができるように、多重化するオーディオのＴＳパケットを決定（調整）する。
このように、制御部１３５は、ＢＳオーディオＥＳをデコード可能な仮想デコーダ（第１の仮想デコーダ）と、ＨＱオーディオＥＳをデコード可能な仮想デコーダ（第２の仮想デコーダ）とを想定してデコーダのバッファ占有量を計算するとともに、ランダムアクセスのための多重化制約処理を実行し、多重化するＴＳパケットを決定（多重化するＴＳパケットの順番を決定）する。これにより、ＢＳオーディオＥＳのみをデコード可能なデコーダ（実際のデコーダ）であっても、ＨＱオーディオＥＳをデコード可能なデコーダ（実際のデコーダ）であっても、バッファ占有量をオーバーフローやアンダーフローすることなく、確実にデコードすることができる。また、多重化されたＴＳ１９０のランダムアクセスが可能となる。
すなわち、実際に送信装置１１１により多重化されたＴＳパケット(MPEG2-TS)を受信する実際の受信装置が、ＢＳオーディオＥＳのみしかデコードできない場合であっても、ＨＱオーディオＥＳをデコードできる場合であっても、それぞれの受信装置が有するバッファをオーバーフローおよびアンダーフローさせることなく、円滑にデコードすることができる。
なお、ＢＳオーディオＥＳとＨＱオーディオＥＳとは、図１０に示されるように、transport_priority（ｔｐ）の値によって識別されているものの、互いが独立した関係にあるため、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットとを多重化する場合の制約がない。そのため、ＢＳオーディオＥＳとＨＱオーディオＥＳとを、独立したストリームとして扱うことができる。
次に、図１７と図１８の処理により送信されたMPES2-TSを用いて、ランダムアクセスのためのEP_mapを作成する例を説明する。例えば、MPES2-TSに基づいて生成されたClip AVストリームファイルが、記録媒体に記録されている場合であって、そのClip AVストリームファイルに基づいて、ランダムアクセスのためのEP_mapを作成し、記録する場合の処理について説明する。
図２３は、光ディスク５１１に記録されたClip ＡＶストリームファイルに基づいて、EP_mapを作成し、記録する記録装置５０１の構成例を示すブロック図である。
この記録装置５０１には、光ディスク５１１、コントローラ５２１、操作入力部５２３、ＡＶ（Audio Visual）エンコーダ５２４、バッファ５２５、記録制御部５２６、ドライブ５２７、およびリムーバブルメディア５２８が設けられている。
コントローラ５２１は、予め用意されている制御プログラムを実行することで、記録装置５０１の全体の動作を制御する。例えば、コントローラ５２１は、装着された記録媒体である光ディスク５１１に記録されているClip AVストリームファイルに基づいて、後述する再生装置（図３０の再生装置６４１）において光ディスク５１１へのランダムアクセスができるようにするための、EP_mapなどを記録させるための処理を制御することができる。
操作入力部５２２は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ５２１に供給する。
データ取得部５２３は、ＡＶデータ、すなわち、ビデオデータとオーディオデータを外部から取得し、ＡＶエンコーダ５２４に供給する。ＡＶエンコーダ５２４は、供給されたビデオデータとオーディオデータを、それぞれ所定の符号化方式でエンコード（符号化）し、ビデオＥＳ（エレメンタリストリーム）とオーディオＥＳとをバッファ５２５に供給する。バッファ５２５は、エンコードされたデータを一時バッファリングし、これを、所定のタイミングで記録制御部５２６に供給する。
記録制御部５２６は、コントローラ５２１による制御にしたがって、バッファ５２５またはコントローラ５２１から供給されたデータ(MPEG2-TS)を光ディスク５１１に記録する。
また、例えば、操作入力部５２２は、ユーザからの、ＡＶストリームの中の所定の再生区間の指定の入力を受け付け、これを、コントローラ５２１に供給する。これに対して、コントローラ５２１は、ＡＶストリームのデータベース(Clip)、ＡＶストリームの再生区間(PlayItem)をグループ化したもの（PlayList）のデータベース、および光ディスク５１１の記録内容の管理情報(index.bdmv とMovieObject.bdmv)を作成する。これらの情報から構成されるアプリケーションデータベース情報は、ＡＶストリームと同様にして、記録制御部５２６へ入力される。記録制御部５２６は、コントローラ５２１から出力される制御信号に基づいて、光ディスク５１１へデータベースファイルを記録する。
また、コントローラ５２１には、必要に応じてドライブ５２７も接続されており、ドライブ５２７には、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVDを含む）、光磁気ディスク（ＭＤ（登録商標）（Mini-Disk）を含む）、または、半導体メモリなどよりなるリムーバブルメディア５２８が装着される。
なお、コンテンツを記録する記録媒体は、光ディスク５１１の他、例えば、磁気ディスクや半導体メモリであってもよいことは言うまでもない。
図２４は、図２３の記録装置５０１や後述する図３０の再生装置６４１に装着される光ディスク５１１上のアプリケーションフォーマットの例を示す図である。
アプリケーションフォーマットは、ＡＶストリームの管理のためにPlayListとClipの２つのレイヤを有している。ここでは、１つのＡＶストリームとそれに付随する情報であるClipインフォメーションのペアを１つのオブジェクトと考え、それらをまとめてClipと称する。以下、ＡＶストリームをＡＶストリームファイルとも称する。また、ClipインフォメーションをClipインフォメーションファイルとも称する。
１つのＡＶストリームファイルは、MPEG（Moving Picture Expert Group）２トランスポートストリームをアプリケーションフォーマットによって規定される構造に配置したデータをストアする。一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、ＡＶストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、ＡＶストリームの管理のためのレイヤである。
Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイル（例えば、EP_map）は、タイムスタンプから、ＡＶストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。
PlayListは、ＡＶストリームの再生区間の集まりである。あるＡＶストリーム中の１つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のＩＮ点（再生開始点）とOUT点（再生終了点）のペアで表される。従って、PlayListは、図２４に示されるように１つ、または複数のPlayItemにより構成される。
図２４において、左から１番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームの前半部分と後半部分がそれぞれ参照されている。また、左から２番目のPlayListは１つのPlayItemから構成され、それにより、右側のClipに含まれるＡＶストリーム全体が参照されている。さらに、左から３番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームのある部分と、右側のClipに含まれるＡＶストリームのある部分がそれぞれ参照されている。
例えば、図２４のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から１番目のPlayListに含まれる左側のPlayItemがユーザにより指定された場合、そのPlayItemが参照する、左側のClipに含まれるＡＶストリームの前半部分の再生が行われる。このように、PlayListは、ＡＶストリームファイルの再生を管理するための再生管理情報として用いられる。
ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーションプログラムは、例えば、Java（登録商標）などのプログラミング言語で記述され、記録媒体上に用意される。
本実施の形態では、PlayListの中で、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに平行（並列）して、１つ以上のSub Pathの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られる再生パスをサブパス（Sub Path）と称する。すなわち、記録装置５０１や再生装置（図３０を参照して後述する再生装置６４１）に装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて（合わせて）再生されるサブパス(Sub Path)をPlayListの中に持つ。
次に、Clip Information file（図２４のClipインフォメーション）について説明する。本実施の形態における記録装置５０１は、１つのClip ＡＶストリームと、それに対応するのClip インフォメーションファイルとを別々のファイルとして、光ディスク５１１に記録する。ここで、Clip AVストリームは、上述した図１７と図１８の処理で送信されたMPEG-TSがファイル化されたものである。Clip インフォメーションファイルは、CPI（Characteristic Point Information）とClipMarkとを有している。
CPIは、Clipインフォメーションファイルに含まれるデータであり、主に、それはClipへのアクセスポイントのタイムスタンプが与えられた時、Clip AV stream fileの中でデータの読み出しを開始すべきデータアドレスを見つけるために用いられる。本実施の形態では、EP_mapの種類のCPIが用いられる。
図２５は、EP_mapとClip AVストリームとの関係を説明する図である。
EP_mapは、エントリーポイント(EP)データのリストであり、それはエレメンタリストリームおよびトランスポートストリームから抽出されたものである。これは、ＡＶストリームの中でデコードを開始すべきエントリーポイントの場所を見つけるためのアドレス情報を持つ。１つのEPデータは、プレゼンテーションタイムスタンプ（ＰＴＳ）と、そのＰＴＳに対応するアクセスユニットのＡＶストリームの中のデータアドレスの対で構成される。
EP_mapは、主に２つの目的のために使用される。第１に、PlayListの中でプレゼンテーションタイムスタンプによって参照されるアクセスユニットのＡＶストリームの中のデータアドレスを見つけるために使用される。ランダムアクセス再生される場合もこれに該当する。第２に、ファーストフォワード再生やファーストリバース再生のために使用される。記録装置５０１が、ＡＶストリームを記録する場合や、ＡＶストリームのシンタクスを解析することができるとき、EP_mapが作成され、ディスクに記録される。
図２５に示すように、Clipの中のアクセスポイントをプレゼンテーションタイムスタンプ（ＰＴＳ）で指定されたときに、Clip AVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を見つけるためにEP_mapが用いられる。このように、EP_mapは、上述したPlayListで示される時間軸上のIN点及びOUT点に対応するアドレスを示すテーブルであり、PlayList等のプレゼンテーションタイムスタンプ（ＰＴＳ）をこれに対応するアドレスに変換するために使用される。すなわち、EP_mapは、プレゼンテーションタイムスタンプ（ＰＴＳ）と、Clip AVストリームのソースパケットナンバー（トランスポートストリームのＴＳ（トランスポートストリーム）パケットの番号）とを対応付けたテーブルである。
このEP_mapにより、Clip AVストリームから該当するデータを選択して読み出すことができる。また、EP_mapは、ランダムアクセスを行う場合に用いられる。例えば、ユーザが、操作入力部５２２に操作を入力して、Clipの中のアクセスポイントを、タイムスタンプ(ＰＴＳ)で指定した場合、コントローラ５２１は、Clip AVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を、EP_mapを参照して取得し、これに基づいて、ランダムアクセスを行うよう記録制御部５２６を制御する。なお、EP_mapの種類には、ビデオ用とオーディオ用がある。
図２６は、オーディオ用EP_mapの構造を説明する図である。具体的には、図２６（Ａ）は、Clip AVストリームにおけるプレゼンテーションタイムスタンプ（ＰＴＳ）の位置を説明する図、図２６（Ｂ）は、図２６（Ａ）に示すClip AVストリームの一部を拡大して示す図、図２６（Ｃ）は、オーディオ用EP_mapのデータ構造を示す図である。
オーディオ用EP_mapは、図２６（Ｃ）に示されるように、Clip AVストリームのプレゼンテーションタイムスタンプ（ＰＴＳ）（PTS_EP_start）と、それに対応するソースパケット番号（ＴＳパケットの番号）を示す情報（SPN_EP_start）とが記述されたテーブルである。
ここで、アドレスの表現として、ソースパケット番号(SPN: Source Packet Number)を使用することができる。このソースパケット番号（SPN）は、Clip AVストリーム内の全てのソースパケットに一連の番号を付したものである。ソースパケット番号SPNは、Clip AVストリームの中で、最初のソースパケットをソースパケット番号SPN＝０（ゼロ）とし、その次のソースパケットのソースパケット番号SPN＝１とし、以後、次のパケット毎にソースパケット番号SPNは１ずつ増加するものとする。従って、オーディオ用EP_mapのSPN_EP_startとしては、ソースパケット番号（SPN）が記述される。
次に、図１７と図１８の処理により多重化されて生成されたＴＳ１９０（図６や図９参照）に基づいて生成されるEP_map例を、図２７を用いて説明する。
図２７は、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３を多重化した場合のＴＳ１９０のEP_mapの例を示している。すなわち、オーディオとして、ＢＳオーディオＴＳ１７３とＨＱオーディオＴＳ１８３という２種類のオーディオＥＳが含まれている。
図２７の例の場合、ClipＡＶストリームは、ＢＳオーディオＥＳとＨＱオーディオＥＳのＴＳパケットから構成される。このとき、ＢＳオーディオＴＳパケットの（さらに中のＰＥＳパケットの）ＰＴＳの値と同じＰＴＳの値を有するＨＱオーディオＴＳパケットが、ＢＳオーディオＴＳパケットより後ろに存在する場合、ＢＳオーディオＴＳパケットが、エントリーポイントとなり得る。このとき、上述した図２２の制約を満たすように、多重化されていれば、同じＰＴＳ値を有するオーディオＴＳパケットについては、ＨＱオーディオＴＳパケットよりＢＳオーディオＴＳパケットの方が前に存在することになる。
SPN_EP_startは、ソースパケット（ＴＳパケット）のエントリーポイントを示す情報であり、図２７においては、SPN_EP_startの矢印が示すＢＳオーディオＴＳパケット３１１−１の位置が、SPN_EP_startにより示されている。図２７のＴＳにおいて、SPN_EP_startにより示されるＴＳパケットから順番に、ＢＳオーディオＴＳパケット３１１−１，３１１−２、ＨＱオーディオＴＳパケット３２１−１乃至３２１−４が配置されている。
ここで、ClipＡＶストリームファイルに格納されている複数のＴＳパケットは、複数のＰＥＳ（Packetized Elementarty Stream）パケットを含んでいる。そのため、複数のＴＳパケット（図２７の例においては、７個のＴＳパケット）からは、図２７に示されるように、ＰＥＳパケット（図２７の例においては、３個のＰＥＳパケット）を抜き出すことができる。図２７のＰＥＳパケットは、ソースパケットのエントリーポイントとされているＴＳパケットを含む複数のＴＳパケットから抜き出されたＰＥＳパケットである。より詳細には、図２７のＰＥＳパケットの先頭のデータは、ソースパケットのエントリーポイントとされたＴＳパケットに含まれているものとされる。この例の場合、ソースパケットのエントリーポイントとされているＴＳパケットを含むＴＳパケット３１１−１，３１１−２，３２１−１乃至３２１−４から抜き出されたＰＥＳパケットは、ＰＥＳパケット３０１乃至３０３とされている。ＰＥＳパケット３０１乃至３０３は、それぞれ、ＰＥＳヘッダとＰＥＳペイロードにより構成されている。
ＰＥＳパケット３０１は、ＢＳオーディオＥＳをＰＥＳパケット化したものであり、ＰＥＳパケット３０２と３０３は、ＨＱオーディオＥＳをＰＥＳパケット化したものである。ＰＥＳパケット３０１は、ＰＥＳヘッダ３０１−１とＰＥＳペイロード３０１−２により構成され、ＰＥＳパケット３０２は、ＰＥＳヘッダ３０２−１とＰＥＳペイロード３０２−２により構成され、ＰＥＳパケット３０３は、ＰＥＳヘッダ３０３−１とＰＥＳペイロード３０３−２により構成される。このとき、ＰＥＳパケット３０１のＰＥＳペイロード３０１−２には、ＢＳオーディオＥＳのデータが格納され、ＰＥＳパケット３０２と３０３のＰＥＳペイロード３０２−２と３０３−２とには、ＨＱオーディオＥＳのデータが格納される。
ここで、先頭のＰＥＳパケット３０１のＰＥＳヘッダ３０１−１に格納されているＰＴＳは、PTS_EP_start（ＰＥＳパケットのＰＴＳ値）とされている。すなわち、SPN_EP_startは、PTS_EP_startによって参照されているＰＥＳパケット３０１の第１バイトを含んだＴＳパケット３１１−１のソースパケット番号とされる。
ＰＥＳパケット３０１のＰＥＳペイロード３０１−２には、ＢＳオーディオＥＳである複数のオーディオアクセスユニット（ＢＳ Audio ＡＵ）が含まれている。図２７の例の場合、ＢＳオーディオＥＳは固定長符号化方式（第１の符号化方式）によりエンコードされたものであるので、各オーディオアクセスユニットの大きさは固定である。ＰＥＳパケット３０２のＰＥＳペイロード３０２−２には、ＨＱオーディオＥＳである複数のオーディオアクセスユニット（ＨＱ Audio ＡＵ）が含まれている。図３１の例の場合、ＨＱオーディオＥＳは可変長符号化方式（第２の符号化方式）によりエンコードされたものであるので、各オーディオアクセスユニットの大きさは可変である。ここで、ＰＥＳパケット３０２のＰＥＳヘッダ３０２−１に含まれるＰＴＳの値（PTS_EP_startで示されるＢＳオーディオＴＳパケット３１１−１から取得されたＰＴＳの値）と、ＰＥＳパケット３０１のＰＥＳヘッダ３０１−１に含まれるＰＴＳの値は同一とされる。ＰＥＳパケット３０３のＰＥＳペイロード３０３−２には、ＨＱオーディオＥＳである複数のオーディオアクセスユニットが含まれている。図２７の例の場合、ＨＱオーディオＥＳは可変長符号化方式によりエンコードされたものであるので、各オーディオアクセスユニットの大きさは可変である。
このように、PTS_EP_startはＰＥＳパケットのＰＴＳの値を表し、SPN_EP_startはPTS_EP_startによって参照されているＰＥＳパケット３０１の第１バイトを含んだＴＳパケット３１１−１のソースパケット番号となる。
次に、図２８のフローチャートを参照して、光ディスク５１１に記録されているClip ＡＶストリームファイルに関連するClip Informationファイルを作成し、記録する処理を説明する。この処理は、例えば、図４の送信装置１１１によって、光ディスク５１１にClipＡＶストリームファイルが記録た状態で開始される。すなわち、上述した、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットからなるＴＳ１９０（上述した制約を満たすＴＳ）がファイル化されたClipＡＶストリームファイルが記録されている光ディスク５１１が、図２３の記録装置５０１に装着されている状態で開始される。
ステップＳ３１１において、記録制御部５２６は、光ディスク５１１に記録されているClipＡＶストリームファイルを読み出し、これをコントローラ５２１に供給する。読み出されたClip AVストリームファイルは、上述した図１７乃至図２２の処理の結果、多重化されて生成されたMPEG2-TSをファイル化したものである。
ステップＳ３１２において、コントローラ５２１は、ClipＡＶストリームファイルについてのClipInfoを作成する。ClipInfo()は、それに対応するＡＶストリームファイル（Clip ＡＶストリーム）の属性情報をストアする情報である。
ステップＳ３１３において、コントローラ５２１は、ClipＡＶストリームファイルについてのSequenceInfoを作成する。
ステップＳ３１４において、コントローラ５２１は、ClipＡＶストリームファイルについてのProgramInfoを作成する。
ステップＳ３１５において、コントローラ５２１は、ClipＡＶストリームファイルについてのCPI (EP-map)を作成する。具体的には、コントローラ５２１は、ClipインフォメーションファイルのCPI（）に含まれるEP_mapを作成する。なお、この処理の詳細は、図２９を参照して後述する。
ステップＳ３１６において、コントローラ５２１は、ClipＡＶストリームファイルについてのClipMarkを作成する。
ステップＳ３１７において、コントローラ５２１は、ClipInfo()、SequenceInfo()、ProgramInfo()、CPI()、およびClipMark()がストアされたClip Informationファイルを記録する。
図２８の処理により、ClipＡＶストリームファイルに基づいて、Clipインフォメーションファイルを作成し、記録することができる。
なお、図２８では各処理を時系列に説明したが、ステップＳ３１２乃至ステップＳ３１６の処理は、実際には同時に動作するものである。
次に、図２９のフローチャートを参照して、図３２のステップＳ３１５のEP-mapの作成処理の詳細を説明する。なお、この処理は、図６、図９、または図２７を用いて上述したようなＴＳ１９０が記録されている光ディスク５１１が、図１の記録装置５０１に装着されている状態で開始される。すなわち、上述した多重化制約に基づいて生成された、ＢＳオーディオＥＳとＨＱオーディオＥＳからなるＴＳ１９０が記録されている光ディスク５１１が記録装置５０１に装着されている状態で開始される。
ステップＳ３５１において、記録制御部５２６は、光ディスク５１１に記録されているClipインフォメーションファイルを読み出し、ＢＳオーディオＥＳとＨＱオーディオＥＳからなるＴＳ１９０の入力を受け付ける。ＴＳは、上述したように、図６，図９，図２７に示される構成を有しており、ＨＱオーディオＥＳのＴＳパケットと、ＨＱオーディオＥＳのＴＳパケットにより構成されている。入力を受け付けたＴＳは、複数のＴＳパケットにより構成されているので、ＴＳパケットを順次コントローラ５２１に供給する。
ステップＳ３５２において、コントローラ５２１は、記録制御部５２６から供給されたＴＳパケットを取得し、このＴＳパケットがＢＳオーディオＥＳのＴＳパケットであるか否かを判定する。ＴＳパケットは、図２７に示されるように、ＢＳオーディオＴＳパケット３１１−１（ＢＳオーディオＥＳのＴＳパケット）、または、ＨＱオーディオＴＳパケット３２１−１（ＨＱオーディオＥＳのＴＳパケット）であるので、コントローラ５２１は、取得したＴＳパケットが、ＢＳオーディオＥＳのＴＳパケット（ＢＳオーディオＴＳパケットであるか否かを判定する。各ＴＳパケットのヘッダには、そのＴＳパケットがＢＳオーディオＥＳのＴＳパケットであるかＨＱオーディオＥＳのＴＳパケットであるかを識別するためのtransport_priorityフラグ（ｔｐフラグ）が付されているので、コントローラ５２１は、このＴＳパケットのヘッダに付されているｔｐフラグに基づいてこれを判定する。例えば、ｔｐフラグが１である場合、コントローラ５２１は、そのＴＳパケットがＢＳオーディオＥＳのＴＳパケットであると判定する。
ステップＳ３５２において、ＢＳオーディオＥＳのＴＳパケットではないと判定された場合、処理はステップＳ３５２に戻り、それ以降の処理が繰り返される。すなわち、ＢＳオーディオＥＳのＴＳパケットである場合に、ステップＳ３５２以降の処理が実行される。
ステップＳ３５２において、ＢＳオーディオＥＳのＴＳパケットであると判定された場合、処理はステップＳ３５３に進み、コントローラ５２１は、ＴＳパケットのペイロードからＰＥＳパケットのＰＴＳの値を取得する。ここで、ＴＳパケットはＴＳヘッダとＴＳペイロードからなり、ＰＥＳパケットのデータは、ＴＳペイロードに格納されている。そのため、例えば、図２７のＴＳパケット３１１−１のＴＳペイロードにはＰＥＳヘッダ３０１−１が含まれているので、コントローラ５２１は、ＰＥＳヘッダ３０１−１に格納されているＰＴＳの値を取得する。例えば、コントローラ５２１は、ＰＴＳの値としてＰＴＳ＃１を取得する。
なお、複数のＴＳパケットから１つのＰＥＳパケットが構成されるので、対象となるＴＳパケットにＰＥＳヘッダが含まれていない場合もあり得る。そのため、例えば、ＴＳパケットのペイロードに、ＰＥＳヘッダが含まれておらず、ＰＥＳペイロードしか含まれていない場合、処理はステップＳ３５２に戻り、次のＴＳパケットが取得され、それ以降の処理が繰り返される。
ステップＳ３５４において、コントローラ５２１は、取得したＰＴＳ（例えば、ＰＴＳ＃１）と同じＰＴＳの値を有するＨＱオーディオＥＳのＰＥＳパケットを含んだＴＳパケットが、ＴＳの後ろに存在し、かつ、先頭アクセスユニットが詳細情報（図１１の詳細情報２７６）のヘッダを含んでいるか否かを判定する。まず、コントローラ５２１は、例えば、ステップＳ３５３の処理で取得したＰＴＳ＃１と同じＰＴＳの値を有するＨＱオーディオＥＳのＰＥＳパケットを含んだＴＳパケットが、ＴＳの後ろ（すなわち、ＴＳにおいて、ステップＳ３５２の処理で取得したＴＳパケットより後ろ）に存在するかを判定する。換言すれば、コントローラ５２１は、ＰＴＳ＃１を取得したＢＳオーディオＥＳのＴＳパケットより、ＴＳにおいて後ろの位置に、ＰＴＳ＃１を有するＨＱオーディオＥＳのＴＳパケットが存在するか否かを判定する。そして、次に、上記の判定がＹＥＳである場合（ＰＴＳ＃１を取得したＢＳオーディオＥＳのＴＳパケットより、ＴＳにおいて後ろの位置に、ＰＴＳ＃１を有するＨＱオーディオＥＳのＴＳパケットが存在する場合）に、さらに、そのＰＴＳ＃１を有するＨＱオーディオＴＳパケットのＰＥＳペイロード３０２−２（より詳細には、ＰＥＳペイロード３０２−２のヘッダ）に、詳細情報（図１１の詳細情報２７６）を含んでいるか否かを判定する。すなわち、コントローラ５２１は、図１２を用いて上述した配置が満たされており、さらに、一致するとされるＰＴＳを有するＨＱオーディオＴＳパケットから抜き出されたＰＥＳペイロードに、詳細情報２７６（図１１）が含まれているか否かを判定する。なお、上述したような制約を満たすように多重化やＰＥＳパケット化が行われているのは、このためである。
ステップＳ３５４において、取得したＰＴＳ（例えば、ＰＴＳ＃１）と同じＰＴＳの値を有するＨＱオーディオＥＳのＰＥＳパケットを含んだＴＳパケットが、ＴＳの後ろに存在しないと判定された場合、または、先頭アクセスユニットが詳細情報２７６のヘッダを含んでいないと判定された場合、処理はステップＳ３５２に戻り、それ以降の処理が繰り返される。すなわち、この２つの条件を両方とも満たしていなければ、処理はステップＳ３５２に戻る。いずれの条件も満たされている場合（ＹＥＳである場合）、処理をステップＳ３５５に進める。
ステップＳ３５４において、取得したＰＴＳ（例えば、ＰＴＳ＃１）と同じＰＴＳの値を有するＨＱオーディオＥＳのＰＥＳパケットを含んだＴＳパケットが、ＴＳの後ろに存在し、かつ、先頭アクセスユニットが詳細情報のヘッダを含んでいると判定された場合、ステップＳ３５５において、コントローラ５２１は、現在のＴＳパケットを、エントリーポイントとする。例えば、コントローラ５２１は、図２７のＴＳパケット３１１−１を、エントリーポイントとする。すなわち、ＰＴＳの値が一致する場合であって、一致するＰＴＳを有するＢＳオーディオＴＳパケットよりＨＱオーディオＴＳパケットの方が後に配置され、ＨＱオーディオＴＳパケットから取得したＰＥＳペイロードに、詳細情報２７６が含まれている場合に、そのＢＳオーディオＴＳパケットがエントリーポイントとされる。
このように、エントリーポイントとされるＰＴＳと同じＰＴＳのＨＱオーディオＴＳパケットに、詳細情報を含めるようにすることで、ＨＱオーディオを再生する場合に、詳細情報を円滑に取得することができるので、迅速に再生を行うことができる。
ステップＳ３５６において、コントローラ５２１は、ＢＳオーディオＥＳとＨＱオーディオＥＳのＰＩＤと、ＴＳパケットの番号、および、ステップＳ３５３の処理で取得したＰＴＳの値に基づいて、EP_mapを作成する。なお、ＰＩＤは、上述したように、ＴＳパケット化されるときに付加され、ＢＳオーディオＥＳとＨＱオーディオＥＳのＰＩＤは同一とされている（例えば、ＰＩＤ＝ａ０）。そのため、例えば、コントローラ５２１は、ＰＩＤ＝ａ０、ＴＳパケットの番号（図２７のＢＳオーディオＴＳパケット３１１−１のソースパケット番号）、および、ＰＴＳ＃１に基づいて、EP_mapを作成する。
ステップＳ３５７において、コントローラ５２１は、現在処理しているＴＰパケットが、最後のＴＳパケットであるか否かを判定する。最後のＴＳパケットではない、すなわち、まだ対象としていないＴＳパケットが残っていると判定された場合には、処理はステップＳ３５２に戻り、それ以降の処理が繰り返される。すなわち、最後のＴＳパケットを処理し終えるまで処理は繰り返される。ステップＳ３５７において、現在処理しているＴＳパケットが、最後のＴＳパケットであると判定された場合、処理を終了する。
図２９の処理により、EP_mapを生成することができる。
次に、光ディスク５１１に記録されたClipＡＶストリームファイルと、図２８の処理により光ディスク５１１に記録されたClipインフォメーションファイル（Clip）を再生する場合について説明する。図３０は、光ディスク５１１に記録されたデータを再生する再生装置６４１の構成例を示すブロック図である。
コントローラ６５１は、操作入力部６５２により入力されるユーザの操作入力などに基づいて、予め用意されている制御プログラムを実行するか、または、再生制御部６５４を制御して光ディスク５１１に記録されている制御プログラムを読み出し、メモリ６５３に展開して実行することで、再生装置６４１の全体の動作を制御する。例えば、コントローラ６５１は、光ディスク３１１が装着されたとき、所定のメニュー画面を外部の表示装置に表示させることができる。
操作入力部６５２は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ６５１に供給する。
メモリ６５３は、コントローラ６５１が各種の処理を実行する上において必要なデータなどを適宜記憶する。
再生制御部６５４は、コントローラ６５１による制御にしたがって、光ディスク５１１からデータを読み出し、読み出したデータを、コントローラ６５１、メモリ６５３、または、ＡＶデコーダ６５６に供給するためにバッファ６５５に出力する。光ディスク５１１から読み出された情報が、制御プログラムや制御情報、または、Clipインフォメーションファイル（EP_map）などであった場合、再生制御部６５４により読み出された情報は、コントローラ６５１、または、メモリ６５３に出力される。光ディスク５１１から読み出された情報が、ＡＶストリームファイルなどのＡＶデータであった場合、再生制御部６５４により読み出された情報は、ＡＶデコーダ６５６に供給するためにバッファ６５５に出力される。
バッファ６５５は、再生制御部６５４により光ディスク５１１から読み出されたＡＶストリームなどのＡＶデータを一時バッファリングし、ＡＶデコーダ６５６に供給する。なお、実際には、このＡＶストリームはＴＳ１９０により構成されているので、コントローラ６５１は、ＴＳからＰＥＳを取得し、さらに、ＥＳを取得する。このＥＳには、ＢＳオーディオＥＳ、ＨＱオーディオＥＳ、およびビデオＥＳが含まれている。
ＡＶデコーダ６５６は、再生制御部６５４から供給されるＡＶストリームなどのＡＶデータをデコードし、得られたビデオ信号とオーディオ信号を外部の表示装置に出力する。具体的には、このＡＶストリームには、エンコードされているＢＳオーディオＥＳ、ＨＱオーディオＥＳ、およびビデオＥＳが含まれている。
ＡＶデコーダ６５６は、例えば、図３１に示されるように、第１の符号化方式によりエンコードされたオーディオＥＳをデコードする第１のオーディオデコーダ６５６−１と、ビデオＥＳをデコードするビデオデコーダ６５６−３とを有するＡＶデコーダの場合もあれば、図３２に示されるように、第２の符号化方式によりエンコードされたオーディオＥＳをデコードする第２のオーディオデコーダ６５６−２と、ビデオＥＳをデコードするビデオデコーダ６５６−３とを有するＡＶデコーダの場合もある。
すなわち、図３１のＡＶデコーダ６５６では、オーディオとしては、ＢＳオーディオＥＳのみをデコードすることができ、ＨＱオーディオＥＳはデコードすることができない。図３２のＡＶデコーダ６５６では、オーディオとしてＨＱオーディオＥＳをデコードすることができる。なお、図３２のＡＶデコーダ６５６は、第１のオーディオデコーダ６５６−１より高性能である第２のオーディオデコーダ６５６−２を有しているので、もちろん、ＢＳオーディオＥＳをデコードすることもできるが、より高性能のものを再生するのが一般的であるので、ここでは、図３２のＡＶデコーダ６５６が、ＨＱオーディオＥＳをデコードの対象とするものとして説明する。
図３０に戻って、表示装置においては、デコーダ６５６によりデコードされたデータ（ビデオデータとオーディオデータ）に基づいて、例えば、光ディスク５１１に記録されているコンテンツの出力（映像の表示、音声の出力）が行われる。
また、コントローラ６５１には、必要に応じてドライブ６５７も接続されており、ドライブ６５７には、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory），DVDを含む）、光磁気ディスク（ＭＤ（登録商標）（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２８が装着される。
次に、図２９の処理で作成された（図２８のステップＳ３１５の処理で作成され、記録された）EP_mapを使用して特殊再生を行う方法を説明する。EP_mapは、ランダムアクセス再生をするために役立つ。
ディジタル放送のトランスポートストリームの中では、オーディオPIDが変化する場合があるので、ＡＶデコーダ（図３０の再生装置６４１のＡＶデコーダ６５６）は記録されているトランスポートストリームの中のPIDマッピングを知る必要がある。そのために、EP_mapはEP_map_for_one_stream_PID()と呼ばれるサブテーブル毎にそれが参照するオーディオPIDの値を持ち、また、ProgramInfoはPIDマッピングについての情報を持つ。
図３３は、ＢＳオーディオＥＳに対するランダムアクセス再生処理を説明するフローチャートである。この処理は、例えば、図３１のＡＶデコーダ６５６を有する図３０の再生装置６４１が、これまでの処理により光ディスク５１１に記録されたClip（ClipＡＶストリームファイルとClipインフォメーションファイル）からＢＳオーディオＥＳを再生する場合に実行される処理である。すなわち、再生装置６４１が、ＢＳオーディオＥＳとビデオＥＳのみに対応する場合（ＨＱオーディオＥＳには対応していない場合）であって、ＢＳオーディオＥＳのランダムアクセス再生を行う場合に、実行される処理である。また、ランダムアクセス再生、すなわち、光ディスク５１１に記録されたClipＡＶストリームファイルを先頭から再生するのではなく、ユーザの指令した再生位置から再生を開始する処理である。なお、この処理は、Clipが記録された光ディスク５１１が、図３０の再生装置６４１（図３１のＡＶデコーダ６５６を有する再生装置）に装着された場合に開始される。
ステップＳ４１１において、再生制御部６５４は、コントローラ６５１からの制御に基づいて、光ディスク５１１に記録されているＢＳオーディオＥＳとＨＱオーディオＥＳとを含むClipからEP_map（例えば、図２９の処理で作成されたEP_map）を取得する。再生制御部６５４は、取得したEP_mapを、コントローラ６５１に供給する。
ステップＳ４１２において、操作入力部６５２は、ユーザからのランダムアクセス再生の指令を受け付ける。操作入力部６５２は、受け付けた指令に対応する信号を、コントローラ６５１に供給する。例えば、ユーザは、ランダムアクセス再生の指令として、再生位置（エントリーポイント）を時刻（このＡＶストリーム上の再生時刻）で指令するので、操作入力部６５２は、受け付けたエントリーポイントの時刻に対応する信号を、コントローラ６５１に供給する。エントリーポイントは、図２９を用いて上述したように、所定のＢＳオーディオＴＳパケットに対して設定されている。コントローラ６５１は、操作入力部６５２から供給された時刻に対応する信号に基づいて、所定の演算を行い、ＰＴＳを求める。すなわち、コントローラ６５１は、ユーザにより指定された時刻（ＡＶストリーム上の時刻）を、ＰＴＳに変換することが可能である。
ステップＳ４１３において、コントローラ６５１は、取得したEP_mapに基づいて、受け付けたエントリーポイントのソースパケット番号とＰＴＳ値を取得する。例えば、図２７において、SPN_EP_startで示される位置（時刻）がエントリーポイントとして受け付けられた場合、コントローラ６５１は、エントリーポイントのソースパケット番号として、SPN_EP_start（すなわち、ＢＳオーディオＴＳパケット３１１−１の番号）であるＳＰＮ＃１を取得するとともに、ＰＴＳ値として、そのＢＳオーディオＴＳパケット３１１−１を含むＴＳパケット（ＴＳパケットのＴＳペイロードの部分）から抜き出されたＰＥＳパケットのＰＥＳヘッダに格納されているＰＴＳ値（PTS_EP_start）として、ＰＴＳ＃１を取得する。
ステップＳ４１４において、コントローラ６５１は、ＢＳオーディオＥＳとＨＱオーディオＥＳとを含むClipの読み出し位置を、取得したソースパケット番号とする。例えば、コントローラ６５１は、取得したソースパケット番号ＳＰＮ＃１（SPN_EP_start）を、光ディスク５１１のClipの読み出し位置とする。このとき、エントリーポイントは、図２９を用いて上述したように、ＢＳオーディオＴＳパケットのみに設定可能であるので、光ディスク５１１の読み出し位置は、ＢＳオーディオＴＳパケットに設定されている。
ステップＳ４１５において、再生制御部６５４は、コントローラ６５１からの制御に基づいて、そのソースパケット番号を有するＢＳオーディオＥＳのＴＳパケットを読み出し、第１のオーディオデコーダ６５６−１に供給する。例えば、再生制御部６５４は、ソースパケット番号ＳＰＮ＃１を有するＢＳオーディオＥＳのＴＳパケットを読み出し、図３１の第１のオーディオデコーダ６５６−１に供給する。
ステップＳ４１６において、第１のオーディオデコーダ６５６−１は、供給されたＢＳオーディオＥＳのＴＳパケットからデコードを開始する。すなわち、ソースパケット番号ＳＰＮ＃１を有するＢＳオーディオＴＳパケット３１１−１（図２７）から再生が開始される。第１のオーディオデコーダ６５６−１は、図３１のような構成を有し、ＢＳオーディオＥＳをデコードすることができるので、ＢＳオーディオＥＳのＴＳパケットが順次読み出され、デコードされて出力される。以後のＴＳパケットは、一般的な再生と同様であるのでその詳細な説明は省略するが、順次ＢＳオーディオＴＳパケットのみがピックアップされて、デコードされる。
図３３の処理により、ＢＳオーディオＥＳに対応する図３１のＡＶデコーダ６５６を有する再生装置６４１（図３０）は、EP_mapを参照することで、ユーザからのランダムアクセス再生の指令に基づいて、ＢＳオーディオＥＳのランダムアクセス再生を行うことができる。
次に、図３４のフローチャートを参照して、ＨＱオーディオＥＳに対するランダムアクセス再生処理を説明する。この処理は、例えば、図３２のＡＶデコーダ６５６を有する図３０の再生装置６４１が、これまでの処理により光ディスク５１１に記録されたClip（ClipＡＶストリームファイルとClipインフォメーションファイル）からＨＱオーディオＥＳを再生する場合に実行される処理である。すなわち、再生装置６４１が、ＨＱオーディオＥＳとビデオＥＳに対応する場合であって、ＨＱオーディオＥＳのランダムアクセス再生を行う場合に、実行される処理である。また、ランダムアクセス再生、すなわち、光ディスク５１１に記録されたClipＡＶストリームファイルを先頭から再生するのではなく、ユーザの指令した再生位置から再生を開始する処理である。なお、この処理は、Clipが記録された光ディスク５１１が、図３０の再生装置６４１（図３２のＡＶデコーダ６５６を有する再生装置）に装着された場合に開始される。
ステップＳ４５１において、再生制御部６５４は、コントローラ６５１からの制御に基づいて、光ディスク５１１に記録されているＢＳオーディオＥＳとＨＱオーディオＥＳとを含むClipからEP_map（例えば、図２９の処理で作成されたEP_map）を取得する。再生制御部６５４は、取得したEP_mapを、コントローラ６５１に供給する。
ステップＳ４５２において、操作入力部６５２は、ユーザからのランダムアクセス再生の指令を受け付ける。操作入力部６５２は、受け付けた指令に対応する信号を、コントローラ６５１に供給する。例えば、ユーザは、ランダムアクセス再生の指令として、再生位置（エントリーポイント）を時刻で指令するので、操作入力部６５２は、受け付けたエントリーポイントの時刻に対応する信号を、コントローラ６５１に供給する。エントリーポイントは、図２９を用いて上述したように、所定のＢＳオーディオＴＳパケットに対して設定されている。すなわち、この再生装置６４１は、図３２のＡＶデコーダ６５６を有しており、ＨＱオーディオＥＳに対応しているので、例えば、図２７の例の場合、ＨＱオーディオＴＳパケット３２１−１からの再生が要求されるが、ここで取得されたのは、ＢＳオーディオＴＳパケット３１１−１のエントリーポイントである。そのため、以降の処理で、最適なＨＱオーディオＴＳパケットに読み出し位置を設定する必要がある。なお、ユーザは、ランダムアクセスの再生位置として、ＰＴＳを時間（再生時間）に直したものを指定することもできる。
ステップＳ４５３において、コントローラ６５１は、取得したEP_mapに基づいて、受け付けたエントリーポイントのソースパケット番号とＰＴＳ値を取得する。例えば、図２７において、SPN_EP_startで示される位置（時刻）がエントリーポイントとして受け付けられた場合、コントローラ６５１は、エントリーポイントのソースパケット番号として、SPN_EP_start（すなわち、ＢＳオーディオＴＳパケット３１１−１の番号）であるＳＰＮ＃１を取得するとともに、ＰＴＳ値として、そのＢＳオーディオＴＳパケット３１１−１を含むＴＳパケット（ＴＳパケットのＴＳペイロードの部分）から抜き出されたＰＥＳパケットのＰＥＳヘッダに格納されているＰＴＳ値（PTS_EP_start）として、ＰＴＳ＃１を取得する。
ステップＳ４５４において、コントローラ６５１は、ＢＳオーディオＥＳとＨＱオーディオＥＳとを含むClipの読み出し位置を、取得したソースパケット番号とする。例えば、コントローラ６５１は、取得したソースパケット番号ＳＰＮ＃１（SPN_EP_start）を、光ディスク５１１のClipの読み出し位置とする。このとき、エントリーポイントは、図２９を用いて上述したように、ＢＳオーディオＴＳパケットのみに設定可能であるので、光ディスク５１１の読み出し位置は、ＢＳオーディオＴＳパケットに設定されている。
ステップＳ４５５において、再生制御部６５４は、コントローラ６５１からの制御に基づいて、現在の読み出し位置から光ディスク５１１を読み出し、読み出し位置の後ろ（記録時間としての後ろ）に、最初に記録されているＨＱオーディオＴＳパケットを取得する。例えば、図２７の例において、ＢＳオーディオＴＳパケット３１１−１に読み出し位置が設定されている場合、再生制御部６５４は、ソースパケット番号が、ＢＳオーディオＴＳパケット３１１−１（ＳＰＮ＃１）より後であり、最初のＨＱオーディオＴＳパケットであるＨＱオーディオＴＳパケット３２１−１を取得する。再生制御部６５４は、取得したＨＱオーディオＴＳパケット３２１−１を、コントローラ６５１に供給する。
ステップＳ４５６において、コントローラ６５１は、取得したＨＱオーディオＴＳパケットのＴＳペイロードに含まれるＰＴＳヘッダのＰＴＳ値が、取得したＰＴＳの値と一致するか否かを判定する。図２７の例の場合、コントローラ６５１は、取得したＨＱオーディオＴＳパケット３２１−１のＴＳペイロードに含まれるＰＴＳヘッダ３０２−１のＰＴＳ値が、ステップＳ４５３の処理で取得したＰＴＳ値（ＰＴＳ＃１）と一致するか否かを判定する。取得されたＨＱオーディオＴＳパケットに対応するＰＴＳ値と、ステップＳ４５３の処理で取得されたＰＴＳ値が一致しないと判定された場合、処理はステップＳ４５５に戻り、それ以降の処理が繰り返される。例えば、いま読み出されたＨＱオーディオＴＳパケット３２１−１よりさらに後ろの位置に記録されている（ソースパケット番号が後ろである）ＨＱオーディオＴＳパケット３２１−２が取得され、その取得されたＨＱオーディオＴＳパケット３２１−２について、ステップＳ４５６の判定が行われる。なお、複数のＴＳパケットから１つのＰＥＳパケットが構成されるので、対象となるＨＱオーディオＴＳパケットにＰＥＳヘッダが含まれていない場合もあり得る。そのため、例えば、ＨＱオーディオＴＳパケットのペイロードに、ＰＥＳヘッダが含まれておらず、ＰＥＳペイロードしか含まれていない場合、処理はステップＳ４５５に戻り、次のＨＱオーディオＴＳパケットが取得され、それ以降の処理が繰り返される。
ステップＳ４５６において、取得されたＨＱオーディオＴＳパケットに対応するＰＴＳ値と、ステップＳ４５３の処理で取得されたＰＴＳ値が一致すると判定された場合、コントローラ６５１は、そのＨＱオーディオＴＳパケットを、新たな読み出し位置とする。そして、ステップＳ４５７に進み、再生制御部６５４は、コントローラ６５１からの制御に基づいて、ＰＴＳ値が一致するとされたＨＱオーディオＴＳパケットを読み出し、図３２の第２のオーディオデコーダ６５６−２に供給する。すなわち、取得したＨＱオーディオＴＳパケット３２１−１に対応するＰＴＳ値と、ステップＳ４５３の処理で取得されたＰＴＳ値が一致する場合、そのＢＳオーディオＴＳパケット３１１−１とＨＱオーディオＴＳパケット３２１−１は、同じ再生時刻に対応している。そのため、再生制御部６５４は、ＰＴＳ値が一致すると判定されたそのＨＱオーディオＴＳパケット３２１−１の位置から、再生を開始する。
ステップＳ４５８において、第２のオーディオデコーダ６５６−２は、供給されたＨＱオーディオＴＳパケット３２１−１からデコードを開始する。すなわち、再生する位置として指定されたエントリーポイントのＢＳオーディオＴＳパケット３１１−１（図２７）と同じＰＴＳ＃１を有するＨＱオーディオＴＳパケット３２１−１から、再生が開始される。第２のオーディオデコーダ６５６−２は、図３２のような構成を有し、ＨＱオーディオＥＳをデコードすることができるので、ＨＱオーディオＥＳのＴＳパケットが順次読み出され、デコードされて出力される。以後のＴＳパケットは、一般的な再生と同様であるのでその詳細な説明は省略するが、順次ＨＱオーディオＴＳパケットのみがピックアップされて、デコードされる。
図２９のステップＳ３５４とステップＳ３５５の処理で上述したように、エントリーポイントのＢＳオーディオＴＳパケットと同じＰＴＳを有するＨＱオーディオＴＳパケットには、詳細情報２７６（図１１）、すなわち、その位置からデコード開始となる情報が含まれるようにEP_mapを作成するようにしたので、第２のオーディオデコーダ６５６−２は、供給されたＨＱオーディオＴＳパケットからデコードをすることができ、もって、迅速に再生をすることができる。もし、詳細情報２７６が、そのＨＱオーディオＴＳパケットに含まれていない場合、詳細情報を含むＨＱオーディオＴＳパケットを探さなければならず、迅速なＨＱオーディオＥＳの再生を行うことができないが、本実施の形態では、ＢＳオーディオＴＳパケットのＰＴＳと同じＰＴＳ値を有するＨＱオーディオＴＳパケットが詳細情報２７６を有している場合に、エントリーポイントとするようにしたので（図２９の処理）、ＨＱオーディオＥＳを迅速に再生することができる。
図３４の処理により、ＨＱオーディオＥＳに対応する図３２のＡＶデコーダ６５６を有する再生装置６４１（図３０）は、EP_mapを参照することで、ユーザからのランダムアクセス再生の指令に基づいて、ＨＱオーディオＥＳのランダムアクセス再生を行うことができる。
このように、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットを多重化する場合に、図１８乃至図２２に示されるような処理を実行し、ＰＥＳパケット化時の制約や、ランダムアクセスのための多重化制約を満たすように、多重化するようにし、これにより生成されたClip AVストリームファイルが記録されている光ディスク５１１において、図２９を用いて上述した処理によりEP_mapを作成するようにしたので、EP_mapに基づいて、ランダムアクセス再生をすることが可能となる。すなわち、図２２に示されるランダムアクセスのための多重化制約は、図２９のEP_mapを作成するための多重化制約である。
また、異なる符号化方式によりエンコードされたオーディオデータが、ＴＳパケット化されて多重化され、ＡＶストリームとして光ディスクに記録される場合に、エントリーポイントとして設定可能な一方のオーディオストリームのＴＳパケット（ＢＳオーディオＥＳのＴＳパケット）のＰＴＳと同じＰＴＳ値を有するＨＱオーディオＴＳパケットがあり、ＴＳにおいて、そのＰＴＳ値を含むＢＳオーディオＴＳパケットよりＨＱオーディオＴＳパケットの方が後ろの位置とするように記録するようにし、そのＢＳオーディオＴＳパケットをエントリーポイントとするように設定し、EP_mapを作成するようにしたので、ユーザにより指定された位置に対応するＨＱオーディオＥＳを再生する場合であっても、エントリーポイントのＢＳオーディオＴＳパケットのＰＴＳと同じＰＴＳを有するＨＱオーディオＴＳを読み出すことができ、ＨＱオーディオＥＳのランダムアクセス再生をすることが可能となる。
また、ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットが同じＰＴＳを有し、ＢＳオーディオＴＳパケットよりＨＱオーディオＴＳパケットの方が後ろに配置されているとともに、さらに、ＨＱオーディオＴＳパケットに詳細情報２７６（図１１）が記録されている場合に、エントリーポイントを設定するようにしたので、エントリーポイントのＢＳオーディオＴＳパケットのＰＴＳと同じＰＴＳを有するＨＱオーディオＴＳに、必ず詳細情報２７６が記録されていることになり、その位置から、ＨＱオーディオＥＳを迅速に再生することができる。
なお、図３３と図３４では、光ディスク５１１に記録されたClip（ClipＡＶストリームファイルとClipインフォメーションファイル）を、オーディオ用のEP_map（その記録されているClipに含まれるEP_map）を使用して再生する場合について説明した。ここで、オーディオ用のEP_mapを使用する場合とは、例えば、ブラウザブルスライドショーを再生する場合の他、あらかじめ他の第１の記録媒体（図示せず）に記録されているビデオストリームと、ネットワークや他の第２の記録媒体（第２の記録媒体は、例えば、図３０の光ディスク５１１であってもよい）を介してダウンロードしたオーディオストリームとを、同期させて再生する場合が考えられる。あらかじめ他の第１の記録媒体に記録されているビデオストリームと、ネットワークや他の第２の記録媒体を介してダウンロードしたオーディオストリームとを、同期させて再生する場合、ステップＳ４１２やステップＳ４５２では、ユーザからのランダムアクセスの指令を受け付け、ステップＳ４１３やステップＳ４５３の処理では、まず、ビデオ用のEP_map（あらかじめ他の第１の記録媒体に記録されているビデオス用のEP_map）が参照され、ビデオ用のEP_mapのエントリーポイントと同期するオーディオストリームのエントリーポイントが、オーディオ用のEP_map（ダウンロードされたオーディオに対応するEpmap）から取得され、次に、上述したステップＳ４１３やステップＳ４５３の処理と同様に、エントリーポイントのソースパケット番号とＰＴＳとが取得される。
なお、本実施の形態においては、記録装置５０１（図２３）と再生装置６４１（図３０）とを別々の装置として記載したが、これらが一体となった記録再生装置に適用することもできる。その場合、上述した記録処理や再生処理は、全て記録再生装置によって実行されることになる。また、送信装置１１１（図４）と、記録装置５０１（図２３）とを一体とするようにしてもよい。
以上により、異なる符号化方式によりエンコードされて生成されたＢＳオーディオＥＳとＨＱオーディオＥＳを、それぞれＴＳパケット化して、１本のトランスポートストリームに多重化する場合に、ＢＳオーディオＥＳのみに対応している第１の仮想デコーダ（図１５のＢＳオーディオデータデコード処理部３６０−１を備える図１４の仮想デコーダ１２１）を有する第１の仮想的な受信装置１２０と、ＨＱオーディオＥＳに対応している第２の仮想デコーダ（図１５のＨＱオーディオデータデコード処理部３６０−２を備える図１４の仮想デコーダ１２１）を有する第２の仮想的な受信装置１２０とを想定し、また、ランダムアクセスのための多重化制約を満たすように、多重化するＴＳパケットを決定するようにしたので、ＢＳオーディオＥＳのみにしか対応していない受信装置であっても、ＨＱオーディオＥＳに対応している受信装置であっても、円滑にデコードすることができる。
すなわち、送信装置１１１は、第１の仮想デコーダを備える仮想的な第１の受信装置のトランスポートバッファ３６２−１がオーバーフローすることなく、エレメンタリバッファ３６３−１がオーバーフローおよびアンダーフローすることがないように、多重化するＴＳパケットを調整（決定）するとともに、第２の仮想デコーダを備える仮想的な第２の受信装置のトランスポートバッファ３６２−２がオーバーフローすることなく、かつ、エレメンタリバッファ３６３−２がオーバーフローおよびアンダーフローすることなく、かつ、FIFOバッファ３９１がアンダーフローすることがないように、さらに、ランダムアクセスのための多重化制約を満たすように、多重化するＴＳパケットを調整（決定）するようにしたので、ＢＳオーディオＥＳのみにしか対応していない受信装置であっても、ＨＱオーディオＥＳに対応している受信装置であっても、円滑にデコードすることができる。
また、ＰＥＳパケット化部１３６は、ＨＱオーディオＥＳをＰＥＳパケット化する場合に、ＤＴＳを求めるための計算を行う必要がなくなり、ＰＥＳパケット化の処理を、より円滑に行うことができる。さらに、ＰＥＳパケット化部１３６は、生成するＰＥＳパケットに、ＤＴＳの値を格納せずに済むので、ＰＥＳパケットのデータ量を抑えることができる。すなわち、ＰＥＳパケットのデータ量を、より削減することができる。
なお、本発明は、図４の送信装置１１１に限らず、オーディオストリーム（オーディオＥＳ）のＴＳパケットを多重化する全ての多重化装置に適用することができる。
また、以上の例では、第１のエンコーダ１４１によりエンコードされたＢＳオーディオＥＳと第２のエンコーダ１４２によりエンコードされたＨＱオーディオＥＳを、それぞれＴＳパケット化して１つのストリームに多重化する場合の順番（タイミング）について説明したが、異なる符号化方式により符号化（エンコード）されたオーディオＥＳを、それぞれＴＳパケット化して、１つのストリームに多重化する場合であれば、他の場合においても適用することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図３５に示されるようなパーソナルコンピュータ７００により実行される。
図３５において、CPU７０１は、ROM７０２に記憶されているプログラム、または、記憶部７０８からRAM７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、内部バス７０４を介して相互に接続されている。この内部バス７０４にはまた、入出力インターフェース７０５も接続されている。
入出力インターフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、並びに、モデム、ターミナルアダプタなどより構成される通信部７０９が接続されている。通信部７０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア７２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、図３５に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM７０２や記憶部７０８が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
従来の符号化装置の構成を説明する図である。 図１の符号化装置が想定するSTDモデルを示す図である。 本発明を適用した送信装置がMPEG2-TSの方式を用いてオーディオストリームを符号化する場合の制約を説明する図である。 図３の送信装置の構成例を示す図である。 ＢＳオーディオＥＳとＨＱオーディオＥＳのデータの流れを説明する図である。 ＢＳオーディオＥＳとＨＱオーディオＥＳのデータの構成例を説明する図である。 ＢＳオーディオＥＳがＢＳオーディオＴＳに変換される例を説明する図である。 ＨＱオーディオＥＳがＨＱオーディオＴＳに変換される例を説明する図である。 ＢＳオーディオＴＳとＨＱオーディオＴＳが多重化される例を説明する図である。 図４のＴＳ多重化部に入力されるＴＳを説明する図である。 ＨＱオーディオＰＥＳパケットとＨＱオーディオＴＳパケットのデータ構造の例を説明する図である。 ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットの多重化制約を説明するための図である。 ＢＳオーディオＴＳパケットとＨＱオーディオＴＳパケットの多重化制約を説明するための図である。 図３の仮想的なデコーダのモデルの例を示す図である。 図１４のオーディオデータデコード処理部の詳細な例を説明する図である。 図１５の可変ビットレートのオーディオデコーダを説明する図である。 ＴＳパケット送信処理を説明するフローチャートである。 ＴＳパケット送信処理を説明するフローチャートである。 ＰＥＳパケット化処理を説明するフローチャートである。 ＢＳオーディオに対するバッファ占有量の計算処理を説明するフローチャートである。 ＨＱオーディオに対するバッファ占有量の計算処理を説明するフローチャートである。 ランダムアクセスのための多重化制約処理を説明するフローチャートである。 EP_mapを作成する記録装置の構成例を示すブロック図である。 光ディスク上のアプリケーションフォーマットの例を示す図である。 EP_mapとClipＡＶストリームとの関係を説明する図である。 オーディオ用のEP_mapの構造を説明する図である。 ＢＳオーディオＥＳとＨＱオーディオＴＳによりＴＳが構成される場合の、EP_mapを説明する図である。 Clipインフォメーションファイルの記録処理を説明するフローチャートである。 ＢＳオーディオＥＳとＨＱオーディオＥＳに対するEP_mapの作成処理を説明するフローチャートである。 再生装置の構成例を示すブロック図である。 図３０のＡＶデコーダの構成例を示すブロック図である。 図３０のＡＶデコーダの他の構成例を示すブロック図である。 ＢＳオーディオＥＳに対するランダムアクセス再生処理を説明するフローチャートである。 ＨＱオーディオＥＳに対するランダムアクセス再生処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示す図である。
符号の説明
１１１ 送信装置， １１２ 仮想的な受信装置， １２１ 仮想デコーダ， １３１ 入力部， １３２ オーディオエンコーダ， １３３ バッファ， １３４ 抽出情報付加部， １３５ 制御部， １３６ ＰＥＳパケット化部， １３７ ＴＳパケット化部， １３８ 多重化部， １３９ 送信部， １４１ 第１のエンコーダ， １４２ 第２のエンコーダ， １４３ 第１のバッファ， １４４ 第２のバッファ， １７１ ＢＳオーディオＥＳ， １７２ ＢＳオーディオＰＥＳ， １７３ ＢＳオーディオＴＳ， １８１ ＨＱオーディオＥＳ， １８２ ＨＱオーディオＰＥＳ， １８３ ＨＱオーディオＴＳ， １９０ トランスポートストリーム， ２３１−１乃至２３１−ｊ ＢＳオーディオＴＳパケット， ２３２−１乃至２３２−ｋ ＨＱオーディオＴＳパケット， ２６１ PTS_DTS_flags， ２６３ ＰＴＳ， ２７５ Input timing情報， ２７６ 詳細情報， ３４１ ＰＩＤフィルタ， ３６１−１，３６１−２ トランスポートプリオリティフィルタ， ３６２−１．３６２−２ トランスポートバッファ， ３６３−１，３６３−２ エレメンタリバッファ， ３６４−１ オーディオデコーダ， ３６４−２ 可変ビットレートのオーディオデコーダ， ３９１ FIFOバッファ， ３９２ オーディオデコーダ， ５０１ 記録装置， ５２１ コントローラ， ５２２ 操作入力部， ５２６ 記録制御部

Claims (11)

  1. オーディオデータをＴＳ（Transport Stream）パケットとして多重化する多重化装置において、
    前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコード手段と、
    前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する前記第２の符号化方式でエンコードする第２のエンコード手段と、
    前記第１のエンコード手段によりエンコードされた前記オーディオデータと、前記第２のエンコード手段によりエンコードされた前記オーディオデータとを、ＰＥＳパケットにパケット化するとともに、パケット化した複数の前記ＰＥＳパケットに、デコードされる場合に利用される時刻情報を付加するＰＥＳパケット化手段と、
    前記ＰＥＳパケット化手段によりＰＥＳパケット化された前記ＰＥＳパケットを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤを付加するＴＳパケット化手段と、
    前記ＴＳパケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定手段と、
    前記決定手段により決定された前記ＴＳパケットを多重化する多重化手段と
    を備え、
    前記ＰＥＳパケット化手段は、所定の周期を満たす前記オーディオデータの単位がＰＥＳペイロードの先頭に現れるように、前記第１のエンコード手段によりエンコードされた前記オーディオデータと、前記第２のエンコード手段によりエンコードされた前記オーディオデータとを、ＰＥＳパケットにパケット化し、
    前記決定手段は、前記第１のエンコード手段によりエンコードされた前記オーディオデータをデコードする第１の仮想デコーダと、前記第２のエンコード手段によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコード手段によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとを想定するとともに、多重化された前記ＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットを決定する場合、前記第１の仮想デコーダが有する第１のエレメンタリバッファおよび前記第１のエレメンタリバッファへのデータ転送レートと、前記第２の仮想デコーダが有する第２のエレメンタリバッファおよび前記第２のエレメンタリバッファへのデータ転送レートとに基づいて、前記第１の仮想デコーダが有する前記第１のエレメンタリバッファと、前記第２の仮想デコーダが有する前記第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、前記ＴＳパケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
    ことを特徴とする多重化装置。
  2. 前記多重化手段により多重化された前記ＴＳパケットを記録媒体に記録する記録手段をさらに備える
    ことを特徴とする請求項１に記載の多重化装置。
  3. 前記オーディオデータの単位は、オーディオアクセスユニットである
    ことを特徴とする請求項１に記載の多重化装置。
  4. 前記第１の仮想デコーダは、前記第１のエレメンタリバッファの前段にトランスポートバッファを有し、
    前記第２の仮想デコーダは、前記第２のエレメンタリバッファの前段にトランスポートバッファを有するとともに、前記第２のエレメンタリバッファの後段に、第３のエレメンタリバッファをさらに有する
    ことを特徴とする請求項１に記載の多重化装置。
  5. 前記決定手段は、前記第３のエレメンタリバッファへの入力タイミングが、前記タイミング値に対するタイミングであると想定して、前記ＴＳパケット化手段によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
    ことを特徴とする請求項４に記載の多重化装置。
  6. 前記タイミング値は、前記オーディオストリームの単位が、前記第３のエレメンタリバッファに渡される、オーディオ情報のサンプリング周期で表される値である
    ことを特徴とする請求項５に記載の多重化装置。
  7. 前記ＰＥＳパケット化手段は、前記第２のエンコード手段によりエンコードされた前記オーディオデータをＰＥＳパケット化する場合、前記周期を満たし、その位置からデコードを開始するためのデコード情報が含まれる前記オーディオデータの単位がＰＥＳペイロードの先頭に現れるように、前記第２のエンコード手段によりエンコードされた前記オーディオデータをＰＥＳパケットにパケット化する
    ことを特徴とする請求項１に記載の多重化装置。
  8. 前記多重化制約は、
    第１のエンコード手段によりエンコードされたオーディオデータのＴＳパケットに含まれる前記時刻情報と同じ時刻情報を有する、第２のエンコード手段によりエンコードされたオーディオデータのＴＳパケットがＴＳに含まれる場合、その第２のエンコード手段によりエンコードされたオーディオデータのＴＳパケットより先に、第１のエンコード手段によりエンコードされたオーディオデータのＴＳパケットを多重化する制約であり、
    前記決定手段は、第１の仮想デコーダおよび第２の仮想デコーダの想定と、この多重化制約とに基づいて、多重化するＴＳパケットを決定する
    ことを特徴とする請求項１に記載の多重化装置。
  9. オーディオデータをＴＳ（Transport Stream）パケットとして多重化する多重化装置の多重化方法において、
    前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、
    前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する前記第２の符号化方式でエンコードする第２のエンコードステップと、
    前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＰＥＳパケットにパケット化するとともに、パケット化した複数の前記ＰＥＳパケットに、デコードされる場合に利用される時刻情報を付加するＰＥＳパケット化ステップと、
    前記ＰＥＳパケット化ステップの処理によりＰＥＳパケット化された前記ＰＥＳパケットを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤを付加するＴＳパケット化ステップと、
    前記ＴＳパケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、
    前記決定ステップの処理により決定された前記ＴＳパケットを多重化する多重化ステップと
    を含み、
    前記ＰＥＳパケット化ステップの処理は、所定の周期を満たす前記オーディオデータの単位がＰＥＳペイロードの先頭に現れるように、前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＰＥＳパケットにパケット化し、
    前記決定ステップの処理は、前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第１の仮想デコーダと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとを想定するとともに、多重化された前記ＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットを決定する場合、前記第１の仮想デコーダが有する第１のエレメンタリバッファおよび前記第１のエレメンタリバッファへのデータ転送レートと、前記第２の仮想デコーダが有する第２のエレメンタリバッファおよび前記第２のエレメンタリバッファへのデータ転送レートとに基づいて、前記第１の仮想デコーダが有する前記第１のエレメンタリバッファと、前記第２の仮想デコーダが有する前記第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、前記ＴＳパケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
    ことを特徴とする多重化方法。
  10. オーディオデータをＴＳ（Transport Stream）パケットとして多重化するプログラムであって、
    前記オーディオデータを、所定の符号化方式である第１の符号化方式でエンコードする第１のエンコードステップと、
    前記オーディオデータを、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値を付加する前記第２の符号化方式でエンコードする第２のエンコードステップと、
    前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＰＥＳパケットにパケット化するとともに、パケット化した複数の前記ＰＥＳパケットに、デコードされる場合に利用される時刻情報を付加するＰＥＳパケット化ステップと、
    前記ＰＥＳパケット化ステップの処理によりＰＥＳパケット化された前記ＰＥＳパケットを、ＴＳパケットにパケット化するとともに、パケット化した複数の前記ＴＳパケットに同一のＩＤを付加するＴＳパケット化ステップと、
    前記ＴＳパケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する決定ステップと、
    前記決定ステップの処理により決定された前記ＴＳパケットを多重化する多重化ステップと
    を含む処理をコンピュータに実行させ、
    前記ＰＥＳパケット化ステップの処理は、所定の周期を満たす前記オーディオデータの単位がＰＥＳペイロードの先頭に現れるように、前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータとを、ＰＥＳパケットにパケット化し、
    前記決定ステップの処理は、前記第１のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第１の仮想デコーダと、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２のエンコードステップの処理によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとを想定するとともに、多重化された前記ＴＳパケットをランダムアクセスするための多重化制約に基づいて、多重化するＴＳパケットを決定する場合、前記第１の仮想デコーダが有する第１のエレメンタリバッファおよび前記第１のエレメンタリバッファへのデータ転送レートと、前記第２の仮想デコーダが有する第２のエレメンタリバッファおよび前記第２のエレメンタリバッファへのデータ転送レートとに基づいて、前記第１の仮想デコーダが有する前記第１のエレメンタリバッファと、前記第２の仮想デコーダが有する前記第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、前記ＴＳパケット化ステップの処理によりパケット化された複数の前記ＴＳパケットの中から、多重化するＴＳパケットを決定する
    ことを特徴とするプログラム。
  11. 多重化されたＴＳ（Transport Stream）パケットが記録されている記録媒体であって、
    所定の符号化方式である第１の符号化方式でエンコードされたオーディオデータが、複数のＰＥＳパケットにパケット化され、さらに複数のＴＳパケットにパケット化された複数のＴＳパケットと、可変長符号化方式であり、かつ、前記第１の符号化方式とは異なる第２の符号化方式であって、所定のオーディオデータの単位ごとに、デコードされる場合に利用されるタイミングを表すタイミング値が付加される前記第２の符号化方式でエンコードされたオーディオデータが、複数のＰＥＳパケットにパケット化され、さらに複数のＴＳパケットにパケット化された複数のＴＳパケットとが、多重化されて記録され、
    複数の前記ＰＥＳパケットは、
    デコードされる場合に利用される時刻情報を含むとともに、
    所定の周期を満たす前記オーディオデータの単位がＰＥＳペイロードの先頭に現れるように、前記第１符号化方式でエンコードされた前記オーディオデータと、前記第２の符号化方式でエンコードされた前記オーディオデータとが、ＰＥＳパケット化されたものであり、
    複数の前記ＴＳパケットは、
    同一のＩＤを含むとともに、
    前記第１の符号化方式でエンコードされた前記オーディオデータをデコードする第１の仮想デコーダと、前記第２の符号化方式でエンコードされた前記オーディオデータに付加されている前記タイミング値に基づいて、前記第２の符号化方式によりエンコードされた前記オーディオデータをデコードする第２の仮想デコーダとが想定されるとともに、多重化された前記ＴＳパケットをランダムアクセスするための多重化制約とに基づいて、多重化すると決定されたＴＳパケットであり、前記第１の仮想デコーダが有する第１のエレメンタリバッファおよび前記第１のエレメンタリバッファへのデータ転送レートと、前記第２の仮想デコーダが有する第２のエレメンタリバッファおよび前記第２のエレメンタリバッファへのデータ転送レートとに基づいて、前記第１の仮想デコーダが有する前記第１のエレメンタリバッファと、前記第２の仮想デコーダが有する前記第２のエレメンタリバッファとが、オーバーフローおよびアンダーフローしないように、パケット化された複数の前記ＴＳパケットの中から、多重化すると決定されたＴＳパケットである
    ことを特徴とする記録媒体。
JP2005125546A 2005-04-22 2005-04-22 多重化装置および多重化方法、プログラム、並びに記録媒体 Active JP4882269B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005125546A JP4882269B2 (ja) 2005-04-22 2005-04-22 多重化装置および多重化方法、プログラム、並びに記録媒体
CN2006800135587A CN101164103B (zh) 2005-04-22 2006-04-20 复用器和复用方法
PCT/JP2006/308298 WO2006115163A1 (ja) 2005-04-22 2006-04-20 多重化装置および多重化方法、プログラム、並びに記録媒体
EP06732156.2A EP1873755B1 (en) 2005-04-22 2006-04-20 Multiplexing device and multiplexing method, program, recording medium
TW095114048A TW200709177A (en) 2005-04-22 2006-04-20 Multiplexing device and method, program, and recording medium
US11/911,666 US7688822B2 (en) 2005-04-22 2006-04-20 Multiplexing device and multiplexing method, program, recording medium
US12/708,423 US7974281B2 (en) 2005-04-22 2010-02-18 Multiplexer and multiplexing method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005125546A JP4882269B2 (ja) 2005-04-22 2005-04-22 多重化装置および多重化方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2006301442A JP2006301442A (ja) 2006-11-02
JP4882269B2 true JP4882269B2 (ja) 2012-02-22

Family

ID=37214781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005125546A Active JP4882269B2 (ja) 2005-04-22 2005-04-22 多重化装置および多重化方法、プログラム、並びに記録媒体

Country Status (6)

Country Link
US (2) US7688822B2 (ja)
EP (1) EP1873755B1 (ja)
JP (1) JP4882269B2 (ja)
CN (1) CN101164103B (ja)
TW (1) TW200709177A (ja)
WO (1) WO2006115163A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4882269B2 (ja) * 2005-04-22 2012-02-22 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
KR20080006441A (ko) * 2006-07-12 2008-01-16 삼성전자주식회사 미디어 데이터 전송 장치 및 방법 및 미디어 데이터 수신장치 및 방법
KR101427647B1 (ko) * 2007-04-25 2014-08-07 삼성전자주식회사 패킷 생성과 처리에 관한 방법 및 그 장치
WO2011084913A2 (en) * 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
US9485533B2 (en) * 2013-03-13 2016-11-01 Nagrastar Llc Systems and methods for assembling and extracting command and control data
US10055242B2 (en) * 2015-10-16 2018-08-21 Microsoft Technology Licensing, Llc Virtualizing audio decoding hardware
JP7140352B2 (ja) * 2018-01-18 2022-09-21 ソニーセミコンダクタソリューションズ株式会社 信号処理装置
JP2018207495A (ja) * 2018-07-18 2018-12-27 シャープ株式会社 放送信号送信装置、放送信号送信方法、制御プログラム、および記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099215A (ja) * 1995-06-20 1997-01-10 Matsushita Electric Ind Co Ltd データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP4016215B2 (ja) 1996-01-18 2007-12-05 ソニー株式会社 ディジタル信号符号化方法および装置、並びにディジタル信号伝送方法および装置
JP3400681B2 (ja) * 1997-07-16 2003-04-28 株式会社日立製作所 データパケット再多重方法及び再多重装置
US6396874B1 (en) * 1997-11-12 2002-05-28 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
JPH11261958A (ja) * 1998-03-09 1999-09-24 Sony Corp 映像編集装置及び映像編集方法
JP3844877B2 (ja) * 1998-04-08 2006-11-15 パイオニア株式会社 ストリーム変換装置
US6573942B1 (en) * 1998-08-17 2003-06-03 Sharp Laboratories Of America, Inc. Buffer system for controlled and timely delivery of MPEG-2F data services
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
JP4329157B2 (ja) * 1999-05-19 2009-09-09 ソニー株式会社 受信装置および方法、並びに記録媒体
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
JP2001285234A (ja) * 2000-04-04 2001-10-12 Sony Corp データ多重化装置およびデータ多重化方法、並びに記録媒体
JP4541517B2 (ja) * 2000-09-13 2010-09-08 キヤノン株式会社 記録装置
JP2003046949A (ja) * 2001-07-30 2003-02-14 Hitachi Ltd データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム
US20050013583A1 (en) * 2001-11-20 2005-01-20 Masanori Itoh Audio/video information recording/reproducing apparatus and method, and recording medium in which information is recorded by using the audio/video information recording/reproducing apparatus and method
CA2439048C (en) * 2001-11-30 2011-10-04 Matsushita Electric Industrial Co., Ltd. A method and an apparatus for stream conversion, a method and an apparatus for data recording, and data recording medium
US7388871B2 (en) * 2004-02-05 2008-06-17 Broadcom Corporation Method and system for changing message filter coefficients dynamically
JP4678486B2 (ja) * 2005-03-11 2011-04-27 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
JP4882269B2 (ja) * 2005-04-22 2012-02-22 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体

Also Published As

Publication number Publication date
TWI319564B (ja) 2010-01-11
TW200709177A (en) 2007-03-01
US20100142554A1 (en) 2010-06-10
US7974281B2 (en) 2011-07-05
US20090052469A1 (en) 2009-02-26
EP1873755A4 (en) 2009-06-03
EP1873755A1 (en) 2008-01-02
US7688822B2 (en) 2010-03-30
CN101164103A (zh) 2008-04-16
JP2006301442A (ja) 2006-11-02
WO2006115163A1 (ja) 2006-11-02
CN101164103B (zh) 2011-12-21
EP1873755B1 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
JP4438798B2 (ja) 記録装置および記録方法、再生装置および再生方法、プログラム、並びに記録媒体
JP4882269B2 (ja) 多重化装置および多重化方法、プログラム、並びに記録媒体
US7782846B2 (en) Data structure, information processing device, information processing method, transmission device, transmission method, multiplexing device, multiplexing method, and program
JP4678486B2 (ja) 多重化装置および多重化方法、プログラム、並びに記録媒体
JP2010239654A (ja) ブラウザブルスライドショー提供のためのデータ復号装置、その復号方法及びそのための情報保存媒体
JP2010061803A (ja) オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム
US20070165676A1 (en) Information processing device, information processing method, program, and data structure
JPWO2004095834A1 (ja) 情報処理装置および情報処理方法、プログラム格納媒体、並びに、プログラム
WO2004047441A1 (ja) 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
US8086087B2 (en) Information processing device and method, program, and recording medium
JPH0950673A (ja) データ符号化装置および方法、データ記録媒体並びにデータ復号化装置および方法
JP2004280994A (ja) データ作成方法及びデータ記録装置
US7505669B2 (en) Content reproduction apparatus
JP2006352587A (ja) 情報処理装置
JP2019149790A (ja) 記録装置、再生装置、変換装置、送信装置、記録方法、再生方法、変換方法、及び、ストリームデータのデータ構造
JP2009100303A (ja) 動画像符号化装置およびそのデータ処理方法
JP2011023067A (ja) 再生装置、再生制御方法、プログラム及びデータ処理装置
JP2002199356A (ja) Ｐｓ多重化システム及びｐｓ多重化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4882269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250