JP6883214B2

JP6883214B2 - 受信装置および方法、送信装置および方法

Info

Publication number: JP6883214B2
Application number: JP2017539826A
Authority: JP
Inventors: 和博石谷; 愼治根岸; 義明大石
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2015-09-15
Filing date: 2016-09-02
Publication date: 2021-06-09
Anticipated expiration: 2036-09-02
Also published as: WO2017047399A1; US10652608B2; JPWO2017047399A1; US20180227622A1

Description

本開示は、受信装置および方法、送信装置および方法に関し、特に、パケットロスが発生する状況において再生品質を向上することができるようにした受信装置および方法、送信装置および方法に関する。

従来のコンテンツ伝送方式MPEG-TSにおいては、PESヘッダのOptionalFieldでデコード時刻情報(DTS:DecodeTimeStamp)、表示時刻情報（PTS:PresentationTimeStamp）を多重化していた。したがって、PESペイロードに含まれるAU(AccessUnit)は、このPTS/DTSと対応付けることでデコードおよび表示制御を行っていた。

一方、IP伝送で用いられる伝送方式MMTにおいては、特許文献１で示されているように、制御情報でPTS/DTSに相当する時刻情報を伝送する方式が提案されている。

具体的には、ARIB MMTの運用においては、MMT-SIのMPTにてタイムスタンプ記述子、および拡張タイムスタンプ記述子が記述される。受信機は、これを受信し、PTS/DTSを復元する。復元の際、AUと時刻情報は一意に対応付けられるものであり、MPU内の先頭AUが対応付けの起点とされる。その他、MPU内先頭以外のAUに関しては、拡張タイムスタンプ記述子に記載された時刻情報の順と多重化されているAUの順で対応付けが行われる。

なお、特許文献１には、MFUヘッダにMPU内のMFUシーケンス番号を記述する例が示されているが、AUは、複数のMFUから構成されることもあり、また、AU以外のNALユニットもシーケンスに含めているため、これを用いてAUと時刻情報を正しく対応付けることは困難である。

特開２０１５−２７０９１号公報

以上のように、現状、AUと時刻情報とを対応付ける方法として明確な情報が備えられていない。したがって、上述したAUと時刻情報とを対応付ける方法では、低品質の伝送状況において受信機にてパケットロスが発生した場合、AUまたは時刻情報の一部が欠けることで対応付けに誤りが発生する恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、パケットロスが発生する状況において再生品質を向上することができるものである。

本技術の一側面の送信装置は、データを含むデータユニットを符号化するデータ符号化部と、前記データ符号化部により符号化されたデータユニットをパケット化し、データパケットを生成するデータパケット部と、前記データユニットに対するデコードおよび表示時刻を示す時間情報をパケット化し、時間情報パケットを生成する時間情報パケット部と、前記データパケット、前記時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報を多重化し、ストリームを生成する多重化部とを備える。

本技術の他の側面の受信装置は、符号化され、パケット化されたデータユニットであるデータパケット、データを含む前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化された時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報が多重化されたストリームを分離する分離部と、前記データパケットから、符号化されたデータユニットを抽出する抽出部と、前記時間情報パケットから、前記時間情報を復元する復元部と、前記特定情報に基づいて、前記符号化されたデータユニットと、前記時間情報とを対応付ける対応付け部と、前記符号化されたデータユニットを復号し、データユニットを生成する復号部とを備える。

本技術の一側面においては、データを含むデータユニットが符号化され、符号化されたデータユニットがパケット化されて、データパケットが生成され、前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化されて、時間情報パケットが生成される。そして、前記データパケット、前記時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報が多重化されて、ストリームが生成される。

本技術の他の側面においては、符号化され、パケット化されたデータユニットであるデータパケット、データを含む前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化された時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報が多重化されたストリームが分離され、前記データパケットから、符号化されたデータユニットが抽出され、前記時間情報パケットから、前記時間情報が復元される。そして、前記特定情報に基づいて、前記符号化されたデータユニットと、前記時間情報とが対応付けられ、前記符号化されたデータユニットが復号されて、データユニットが生成される。

本技術によれば、パケットロスが発生する状況において再生品質を向上することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

デコード/表示時刻の情報とAUとの対応付けの例を示す図である。パケットロス時の例を示す図である。再生開始遅延について説明する図である。本技術を適用した送信装置の構成例を示すブロック図である。本技術を適用した受信装置の構成例を示すブロック図である。送信装置の送信処理を説明するフローチャートである。受信装置の受信処理を説明するフローチャートである。受信装置の記録、再送信処理を説明するフローチャートである。 MMTPパケット構成例を示す図である。拡張ヘッダタイプの定義と、設定例を示す図である。マルチタイプヘッダ拡張構成例を示す図である。マルチタイプヘッダ拡張の定義と、設定例を示す図である。本技術のストリームにおいて、方法１が用いられている例を示す図である。本技術のストリームにおいて、方法１が用いられている例を示す図である。 MMTPペイロード内AUデータ先頭部の前に、AUシーケンス番頭を付加する例を示す図である。 MMTPパケット構成例を示す図である。パーソナルコンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。

＜PTS/DTSとAUとの対応付けの例＞
図１は、MMT-SIにおいて伝送されるデコード時刻情報(DTS:DecodeTimeStamp)/表示時刻情報（PTS:PresentationTimeStamp）とAU(AccessUnit)との対応付けの例を示す図である。なお、制御情報１００と、ビデオ・オーディオストリーム１０１のIPデータフローは、同じであっても別であってもよい。また、PTS/DTSをまとめて時間情報とも称する。

図１の制御情報１００においては、ビデオ・オーディオストリーム１０１が格納されたMPUの前に、MPT(MMT-SI時間情報)１０２が格納されている。MPT１０２には、タイムスタンプ記述子と、拡張タイムスタンプ記述子が記述されている。MPUは、AU#0、NAL、AU#1、NAL、AU#2、…AU#nが、それぞれHeader付きで格納されている。MPT１０２により、MPUのAU#0は、PTS=a0で、DTS=b0であり、AU#1は、PTS=a1で、DTS=b1であり、AU#2は、PTS=a2で、DTS=b2であり、AU#nは、PTS=anで、DTS=bnであることがわかる。

受信機は、制御情報１００のMPT(MMT-SI時間情報)１０２を受信し、その中のタイムスタンプ記述子からMPU_sequence_numberに相当するMPU内先頭AU#0の時間情報１０３のPTSを復元する。次に、受信機は、拡張タイムスタンプ記述子からMPU_sequence_numberに相当するMPU内先頭AU#0の時間情報１０３のDTSを復元する。そして、受信機は、dts_pts_offsetおよびpts_offsetから、記述されたAU#1、AU#2の時間情報１０４および１０５（AU数分）のPTS/DTSを復元する。

ここで、AUと時間情報は、一意に対応付けるものであり、図１の例においては、対応付けの起点としてMPU内先頭AU#0としている。その他、MPU内先頭以外のAUに関しては、拡張タイムスタンプ記述子に記載された時間情報の順と多重化されているAUの順で対応付けが行われる。

以上のように、AUと時間情報とを対応付ける方法として明確な情報を備えていないため、例えば、低品質の伝送状況において受信機にパケットロスが発生した場合、AUまたは時間情報の一部が欠けてしまい、対応付けに誤りが発生する恐れがある。

図２は、パケットロス時の例を示す図である。図２の例においては、例えば、MPU内先頭AU#0の次のAU#1がパケットロスにより抽出できない場合が示されている。この場合、パケットロスの発生を知る方法がなければ、その後のAUの対応付けを行う際に、本来とはずれ、AU#1の時間情報１０４のPTS/DTSを、AU#2に対応付けてしまうことになる。

そして、このように一度対応付けに誤りが発生すると、それ以降の同MPU内AUすべてに誤りが伝搬し、次のMPU内先頭AUまでは修復が困難になる。これによって、AUの表示時刻が想定と異なり、再生時に映像音声の乱れが発生してしまう恐れがある。

また、AUと時間情報の対応付けがMPU内先頭AU以外に行えないため、次のような恐れもある。すなわち、オーディオ再生においてオーディオフレームの任意の位置からの再生開始を行うことができず、再開遅延が生じてしまう恐れがある。

これは、ビデオならば符号化構造から、例えば、AVCにおいては、IDR、HEVCにおいては、IRAPピクチャなどのランダムアクセス可能なFrameからのみ再生開始が可能という制約があるが、オーディオにはそのような制約がないため、任意の位置からの再生を行うことが望ましい。

図３のストリーム２００においては、AU#0とAU#1の前に、AU#0とAU#1の時間情報が記述されたMPT２０１−１が配置されており、AU#2とAU#3の前に、AU#2とAU#3の時間情報が記述されたMPT２０１−２が配置されている。

例えば、MPU先頭AU#0の受信前の位置２０２にてランダムアクセス再生が指定された場合、受信したMPT２０１−１と、AU#0から始まるMPUの時刻対応付け、およびAU#0からの再生は可能であるが、MPUの先頭以外のAU#1の位置２０３でランダムアクセス再生が指定された場合、現状のシンタックスでは、AU#1がMPUの何番目にあたるAUなのかを判別することができないので、指定したMPU内のAUと時間情報の対応付けを行うことが困難である。

したがって、次のMPU先頭AUまで対応付けができず、再生開始遅延となってしまう。そこで、本技術においては、AUを特定する情報が付加されて送信される。以下、具体的に説明していく。

＜本技術の送信装置の構成例＞
図４は、本技術を適用した送信装置の構成例を示すブロック図である。この送信装置は、ビデオ／オーディオのAUとデコード/表示時刻（PTS/DTS）を生成し、ストリームへ多重化する装置である。

図４の例において、送信装置３００は、時刻生成部３０３、ビデオ・オーディオ同期制御部３０４、ビデオ・オーディオ符号化部３０５、エンコーダバッファ３０６、制御情報生成・パケット化部３０７、パケット化部３０８、および多重化部３０９を含むように構成されている。

例えば、図示せぬクロックからの時刻信号３０１は、時刻生成部３０３は、この時刻信号３０１に基づいて、時刻情報を生成し、生成した時刻情報を、ビデオ・オーディオ同期制御部３０４と多重化部３０９に供給する。

ビデオ・オーディオ同期制御部３０４は、時刻生成部３０３からの時刻情報に基づいて、ビデオ・オーディオ符号化部３０５によるビデオ信号とオーディオ信号の同期を制御する。ビデオ・オーディオ同期制御部３０４は、時刻情報や同期に用いた制御情報などを制御情報生成・パケット化部３０７に供給する。制御情報生成・パケット化部３０７は、時刻情報や同期に用いた制御情報を用いて、デコード／表示時刻の時間情報などを生成し、パケット化し、制御情報パケットとして、多重化部３０９に出力する。

ビデオ・オーディオ符号化部３０５には、ビデオ・オーディオ信号３０２が入力される。ビデオ・オーディオ符号化部３０５は、ビデオ・オーディオ同期制御部３０４の制御のもと、ビデオ・オーディオ信号３０２とを同期して、それぞれ符号化し、符号化された信号を、エンコーダバッファ３０６に一旦格納する。エンコーダバッファ３０６は、符号化された信号を格納する。パケット化部３０７は、エンコーダバッファ３０６から符号化された信号を読み出し、AUパケット化を行う。ビデオパケットおよびオーディオパケットを、多重化部３０９に出力する。

多重化部３０９は、時刻生成部３０３からの時刻情報を参照し、パケット化部３０７からのビデオパケットおよびオーディオパケット、並びに、制御情報生成・パケット化部３０７からの制御情報パケットを多重化して、多重化ストリーム３１０として、図示せぬ後段に出力する。その際、多重化部３０９は、AUを特定するための情報（AUとデコード／表示時刻の時間情報とを対応付けるための情報）である、AU特定情報を生成し、AU対応付け情報も、多重化ストリーム３１０に多重化する。

＜本技術の受信装置の構成例＞
図５は、本技術を適用した受信装置の構成例を示すブロック図である。この受信装置は、図４を参照して上述された送信装置とからなり、IP伝送で用いられる伝送方式でデータを送受信する通信システムを構成する。この受信装置は、例えば、図４の送信装置により符号化され、パケット化された、ビデオ／オーディオ、制御情報などを受信し、AU特定情報を用いて、AUとデコード／表示時刻（PTS/DTS）とを対応付けし、再生、記録または再送信する装置である。

図５の例において、受信装置４００は、多重分離部４０２、制御情報バッファ４０３、デコーダバッファ４０４、制御情報パケット解析部４０５、ビデオ・オーディオ同期制御部４０６、ビデオ・オーディオ復号部４０７、並びに、トランスコーダ４０９を含むように構成される。なお、受信装置４００に、トランスコーダ４０９は必ずしも含まれなくてもよい。

多重化ストリーム４０１は、多重分離部４０２において受信される。多重分離部４０２は、多重化ストリーム４０１を、制御情報と、ビデオ／オーディオのAUにそれぞれ分離する。その際、AU特定情報も分離される。分離された制御情報は、必要であれば、制御情報バッファ４０３を経由して、制御情報パケット解析部４０５に供給される。制御情報パケット解析部４０５は、制御情報パケットから、時間情報（PTS/DTSを含む）の復元を行い、ビデオ・オーディオ同期制御部４０６およびビデオ・オーディオ復号部４０７に、復元した時間情報を供給する。

一方、分離されたビデオ／オーディオAUは、AUを特定する情報とともに、デコーダバッファ４０４を経由して、ビデオ・オーディオ復号部４０７に供給される。デコーダバッファ４０４は、ビデオ／オーディオAUを、ビデオ・オーディオ復号部４０７に供給する。

ビデオ・オーディオ同期制御部４０６は、対象のAUのAU特定情報を抽出する。また、ビデオ・オーディオ同期制御部４０６は、時刻情報や制御情報、AU特定情報を参照して、AUとデコード／表示時刻の時間情報の対応付けを行い、ビデオ・オーディオ復号部４０７に、AUを抽出させ、AUを復号させる。ビデオ・オーディオ復号部４０７により復号されたビデオ・オーディオ信号５０８は、図示せぬ後段の表示制御部や、トランスコーダ４０９のビデオ・オーディオ符号化部４２１に出力される。

また、ビデオ・オーディオ同期制御部４０６は、トランスコーダ４０９の制御情報生成・パケット化部４２４および再多重化部４２５に時刻情報を供給する。

ビデオ・オーディオ復号部４０７は、ビデオ・オーディオ同期制御部４０６の制御のもと、AUを抽出し、また、AU、すなわち、ビデオ・オーディオを復号する。ビデオ・オーディオ復号部４０７は、ビデオ・オーディオ信号５０８を、図示せぬ後段の表示制御部や、トランスコーダ４０９のビデオ・オーディオ符号化部４２１に出力する。

トランスコーダ４０９は、ビデオ・オーディオ符号化部４２１、エンコーダバッファ４２２、パケット化部４２３、制御情報生成・パケット化部４２４、および再多重化部４２５を含むように構成される。なお、図５の例においては、受信装置の一部として、トランスコーダ４０９を配置する例が示されているが、受信装置とは、独立の装置であってもよい。

ビデオ・オーディオ符号化部４２１、エンコーダバッファ４２２、パケット化部４２３、制御情報生成・パケット化部４２４、および再多重化部４２５は、基本的に、図４のビデオ・オーディオ符号化部３０５、エンコーダバッファ３０６、パケット化部３０８、制御情報生成・パケット化部３０７、および多重化部３０９と同様の処理を行う。

すなわち、ビデオ・オーディオ符号化部４２１は、ビデオ・オーディオ復号部４０７からのビデオ・オーディオ信号５０８を再符号化し、符号化された信号をエンコーダバッファ４２２に出力する。エンコーダバッファ４２２は、符号化された信号を、パケット化部４２３に出力する。パケット化部４２３は、エンコーダバッファ４２２から符号化された信号を読み出し、AUパケット化を行い、ビデオパケットおよびオーディオパケットを、再多重化部４２５に出力する。

制御情報生成・パケット化部４２４は、ビデオ・オーディオ同期制御部４０６からの時刻情報や制御情報から、さらに、デコード／表示時刻の時間情報を生成し、パケット化し、制御情報パケットを再多重化部４２５に出力する。

再多重化部４２５は、ビデオ・オーディオ同期制御部４０６からの時刻情報を参照し、パケット化部４２３からのビデオパケットおよびオーディオパケット、並びに、制御情報生成・パケット化部４２４からの制御情報パケットを再多重化する。その際、再多重化部４２５は、AU特定情報を生成し、AU対応付け情報も、多重化ストリーム４１１に多重化する。再多重化部４２５は、多重化ストリーム４１１として、再送信向けに図示せぬ後段に出力したり、記録媒体４１０に記録する。

＜送信装置の処理例＞
次に、図６のフローチャートを参照して、送信装置３００の送信処理について説明する。

ステップＳ１１１において、ビデオ・オーディオ符号化部３０５は、外部から、ビデオ・オーディオ信号を入力する。ステップＳ１１２において、ビデオ・オーディオ符号化部３０５は、ビデオ・オーディオ同期制御部３０４の制御のもと、ビデオ信号とオーディオ信号とを同期して、それぞれ符号化し、符号化された信号を、エンコーダバッファ３０６を介して、パケット化部３０７に出力する。

ステップＳ１１３において、パケット化部３０７は、エンコーダバッファ３０６から符号化された信号を読み出し、AUパケット化を行う。ビデオパケットおよびオーディオパケットを、多重化部３０９に出力する。

ステップＳ１１４において、制御情報生成・パケット化部３０７は、時刻情報や同期に用いた制御情報を用いて、デコード／表示時刻の時間情報などを生成する。ステップＳ１１５において、制御情報生成・パケット化部３０７は、デコード／表示時刻の時間情報をパケット化し、制御情報パケットとして、多重化部３０９に出力する。

ステップＳ１１６において、多重化部３０９は、時刻生成部３０３からの時刻情報を参照し、パケット化部３０７からのビデオパケットおよびオーディオパケット、並びに、制御情報生成・パケット化部３０７からの制御情報パケットを多重化する。その際、多重化部３０９は、AUを特定するための情報（すなわち、AUとデコード／表示時刻の時間情報とを対応付けるための情報）である、AU対応付け情報を生成し、AU対応付け情報も、多重化ストリームに多重化する。

ステップＳ１１７において、多重化部３０９は、多重化された多重化ストリームを、受信装置４００に向けて出力する。

ステップＳ１１８において、ビデオ・オーディオ符号化部３０５は、送信を継続するか否かを判定する。ステップＳ１１８において、送信を継続すると判定された場合、処理は、ステップＳ１１２に戻り、それ以降の処理が繰り返される。また、ステップＳ１１８において、送信をやめると判定された場合、送信処理は終了される。

＜受信装置の処理例＞
次に、図７のフローチャートを参照して、受信装置４００の受信処理について説明する。

ステップＳ２１１において、多重分離部４０２は、多重化ストリームを入力する。ステップＳ２１２において、多重分離部４０２は、多重化ストリームを、制御情報と、ビデオ／オーディオのAUにそれぞれ分離する。その際、AU特定情報も分離される。分離された制御情報は、必要であれば、制御情報バッファ４０３を経由して、制御情報パケット解析部４０５に供給される。

ステップＳ２１３において、制御情報パケット解析部４０５は、時間情報の更新があったか否かを判定する。ステップＳ２１３において、時間情報の更新がないと判定された場合、処理は、ステップＳ２１４に進む。ステップＳ２１４において、ビデオ・オーディオ復号部は、デコーダバッファ４０４から、対象のAUを抽出する。その際、ビデオ・オーディオ同期制御部４０６は、対象のAUのAU特定情報を抽出する。

ステップＳ２１３において、時間情報の更新があると判定された場合、処理は、ステップＳ２１５に進む。ステップＳ２１５において、制御情報パケット解析部４０５は、更新があるとされた時間情報を復元する。

ステップＳ２１６において、ビデオ・オーディオ同期制御部４０６は、対象AU抽出済みで、かつ、時間情報が復元済みであるか否かを判定する。ステップＳ２１６において、対象AU抽出済みで、かつ、時間情報が復元済みではないと判定された場合、処理は、ステップＳ２１２に戻り、それ以降の処理が繰りかえされる。

ステップＳ２１６において、対象AU抽出済みで、かつ、時間情報が復元済みであると判定された場合、処理は、ステップＳ２１７に進む。ステップＳ２１７において、ビデオ・オーディオ同期制御部４０６は、AU特定情報を用いて、AUと時間情報との対応付けを行う。

ステップＳ２１８において、ビデオ・オーディオ復号部４０７は、ビデオ・オーディオ同期制御部４０６の制御のもと、AU、すなわち、ビデオ・オーディオを復号する。ステップＳ２１９において、ビデオ・オーディオ復号部４０７は、復号したビデオ・オーディオ信号を、図示せぬ後段の表示制御部や、トランスコーダ４０９のビデオ・オーディオ符号化部４２１に出力する。

ステップＳ２２０において、多重分離部４０２は、受信を継続するか否かを判定する。ステップＳ２２０において、受信を継続すると判定された場合、処理は、ステップＳ２１２に戻り、それ以降の処理が繰り返される。ステップＳ２２０において、受信を継続しないと判定された場合、受信処理は終了される。

次に、図８のフローチャートを参照して、受信装置４００の記録または再送信処理について説明する。

ステップＳ３１１において、ビデオ・オーディオ符号化部４２１は、ビデオ・オーディオ復号部４０７から、ビデオ・オーディオ信号を入力する。ステップＳ３１２において、ビデオ・オーディオ符号化部４２１は、ビデオ・オーディオ同期制御部４０６の制御のもと、ビデオ信号とオーディオ信号とを同期して、それぞれ符号化し、符号化された信号を、エンコーダバッファ４２２を介して、パケット化部４２３に出力する。

ステップＳ３１３において、パケット化部４２３は、エンコーダバッファ４２２から符号化された信号を読み出し、AUパケット化を行う。ビデオパケットおよびオーディオパケットを、再多重化部４２５に出力する。

ステップＳ３１４において、制御情報生成・パケット化部４２４は、時刻情報や同期に用いた制御情報を用いて、デコード／表示時刻の時間情報などを生成する。ステップＳ３１５において、制御情報生成・パケット化部４２４は、デコード／表示時刻の時間情報をパケット化し、制御情報パケットとして、再多重化部４２５に出力する。

ステップＳ３１６において、再多重化部４２５は、ビデオ・オーディオ同期制御部４０６からの時刻情報を参照し、パケット化部４２３からのビデオパケットおよびオーディオパケット、並びに、制御情報生成・パケット化部４２４からの制御情報パケットを多重化する。その際、再多重化部４２５は、AUを特定するための情報（AUとデコード／表示時刻の時間情報とを対応付けるための情報）である、AU対応付け情報を生成し、AU対応付け情報も、多重化ストリームに多重化する。

ステップＳ３１７において、再多重化部４２５は、多重化された多重化ストリームを、記録媒体４１０や他の受信装置に向けて出力する。

ステップＳ３１８において、ビデオ・オーディオ符号化部４２１は、記録または再送信を継続するか否かを判定する。ステップＳ３１８において、記録または再送信を継続すると判定された場合、処理は、ステップＳ３１２に戻り、それ以降の処理が繰り返される。また、ステップＳ３１８において、記録または再送信をやめると判定された場合、記録または再送信処理は終了される。

＜時間情報とAUの対応付け＞
まず、時間情報とAUの対応付けの例として、AU毎のカウンタを使用する方法１について説明する。例えば、図９の例においては、ARIB MMTにおいて定義されたMMTPパケット構成が示されている。なお、左の番号は、説明の便宜上付してあるものである。図１０の例においては、拡張ヘッダタイプの定義と、設定例が示されている。

図９の例に示されるように、MMTPパケットヘッダでは、上から６行目のextension_flag＝１とした場合、第１６行目乃至第２２行目にて、拡張ヘッダの記述が可能な構成として定義されている。方法１としては、これを用いて、extension_typeに新たにAUシーケンス番号の種別を定義し、header_extension_byteにMMTPパケットに含まれるAUのシーケンス番号を記述する。

なお、第１２行目のpacket_sequence_numberは、AUだけでなく、NALユニットにも順に付される番号であるので、本用途に用いることはできない。

その他、方法２について説明する。例えば、図１１の例においては、ARIB MMTにおいて定義されたマルチタイプヘッダ拡張構成が示されており、図１２の例においては、マルチタイプヘッダ拡張の定義と、設定例が示されている。

マルチタイプヘッダ拡張は、図１０のextension_type＝0x0000を指定した際に用いることができる。このマルチタイプヘッダ拡張を使用して、図１２に示されるように、hdr_ext_type＝0x0000を、au_sequence_numberとして定義し、hdr_ext_byteにMMTPパケット内に含まれるAU全てのシーケンス番号を記述することも可能である。

ここで、AUシーケンス番号は、例えば、次のように定義される。
１．MPUシーケンス毎に独立したカウンタとする。
２．MPUシーケンス毎にAU単位でカウントアップする。
３．MPUの先頭AUにてカウンタを付ける。
４．AU以外のNALユニットについては対象外とする。

図１３に、本技術のストリームにおいて、方法１が用いられている例を示す。図１３の例においては、図１と同様に、1MMTPパケット当り1AUが含まれている例が示されている。

図１３の例においては、AU#0のMMTPパケットヘッダでは、packet_sequence_numberが#nであり、extension_typeが１であり、extension_lengthが１であり、au_sequence_numberが０である。NALのMMTPパケットヘッダでは、packet_sequence_numberが#n+1であり、extension_type、extension_length、au_sequence_numberは記述されていない。

AU#1のMMTPパケットヘッダでは、packet_sequence_numberが#n+2であり、extension_typeが１であり、extension_lengthが１であり、au_sequence_numberが１である。NALのMMTPパケットヘッダでは、packet_sequence_numberが#n+3であり、extension_type、extension_length、au_sequence_numberは記述されていない。AU#2のMMTPパケットヘッダでは、packet_sequence_numberが#n+4であり、extension_typeが１であり、extension_lengthが１であり、au_sequence_numberが２である。

取得済みのMPT１０２から、PTS/DTSがわかるので、au_sequence_numberが０のAU（AU#0）の時間情報５０３は、PTS=a0で、DTS=b0であり、au_sequence_numberが１のAU(AU#1)の時間情報５０４は、PTS=a1で、DTS=b1であり、au_sequence_numberが２のAU（AU#2）の時刻情報５０５は、PTS=a2で、DTS=b2であることが対応付けられる。

したがって、図１の例においては、パケットロスの発生の検知が困難であったことにより、AUとPTS/DTSが誤った対応付けに陥ることがあったのに対して、図１３の例においては、AU#0およびAU#2のAUシーケンス番号を参照することにより、AU#1のパケットロスを検知することができる。その結果、AU#2の時刻情報５０５が、PTS=a2で、DTS=b2であることを正しく対応付けることができる。

図１４に、本技術のストリームにおいて、方法１が用いられている例を示す。図１４の例においては、1MMTPパケット当り複数AUが含まれている例が示されている。なお、この場合、上述したように、マルチタイプヘッダ拡張（方法２）を用いて、複数AUのシーケンス番号を記述することも可能であるが、情報量削減のため、図１４に示されるように、MMTPパケット内先頭に配置されるAU(AUの先頭を含む)のみを、MMTPパケットヘッダの拡張領域に記載してもよい。

図１４の例においては、左から順にMMTPパケットの先頭AUのみに、packet_sequence_number 付されている。したがって、左から順に、NAL、AU#0、AU#1、AU#2のMMTPパケットヘッダでは、packet_sequence_numberが#nであり、extension_typeが１であり、extension_lengthが１であり、au_sequence_numberが０である。

NAL、AU#3、AU#4、…のMMTPパケットヘッダでは、packet_sequence_numberが#n+1であり、extension_typeが１であり、extension_lengthが１であり、au_sequence_numberが3である。

取得済みのMPT１０２から、PTS/DTSがわかるので、AU#0は、au_sequence_numberが０のMMTPパケット内の１番目のAUなので、時刻情報５５３は、PTS=a0で、DTS=b0であり、AU#1は、au_sequence_numberが０のMMTPパケット内の２番目のAUなので、時刻情報５５４は、PTS=a1で、DTS=b1である。また、AU#2は、au_sequence_numberが０のMMTパケット内の３番目のAUなので、時刻情報５５５は、PTS=a2で、DTS=b2である。AU#3は、au_sequence_numberが３のMMTPパケット内の１番目のAUなので、時刻情報５５６は、PTS=a3で、DTS=b3であることが対応付けられる。

図１４の場合も、AU#0、AU#2のAUシーケンス番号を参照することにより、AUと時間情報とを正しく対応付けることができる。したがって、例えば、AU#2がパケットドロップにて抽出できなくても、次のMMTPパケット先頭AU#3の時間情報５５６の対応付けが可能である。

＜時刻情報とAUの他の対応付け＞
次に、時刻情報とAUの対応付けに用いるAU毎のシーケンス番号をMMTPペイロード内に付加する方法２について説明する。例えば、MMTPパケットヘッダ部にAUシーケンス番号を記述する方法では、図１４を参照して上述したように、1MMTP内に複数AUが配置されている場合、MMTP内のAUと時間情報との対応付けが正しく行えない場合がある。

例えば、図１４の例において、AU#0が欠落した場合、AU#1およびAU#2の対応付けを行うことができなくなってしまう。

そこで、図１５に示されるように、MMTPペイロード内AUデータ先頭部の前に、AUシーケンス番頭を付加することも考えられる。図１５の例においては、先頭のMMTP内で、AU#0のデータ先頭部の前の位置６０３に、au_sequence_number＝0が記述され、AU#1のデータ先頭部の前の位置６０４に、au_sequence_number＝1が記述され、AU#2のデータ先頭部の前の位置６０５に、au_sequence_number＝2が記述されている。次のMMTP内で、先頭のMMTP内で、AU#3のデータ先頭部の前の位置６０６に、au_sequence_number＝3が記述され、AU#4のデータ先頭部の前の位置６０７に、au_sequence_number＝4が記述されている。

取得済みのMPT１０２から、PTS/DTSがわかるので、位置６０３に記述されたau_sequence_numberが０のAU（AU#0）の時間情報６１３は、PTS=a0で、DTS=b0であり、位置６０４に記述されたau_sequence_numberが１のAU(AU#1)の時刻情報６１４は、PTS=a1で、DTS=b1であり、位置６０５に記述されたau_sequence_numberが２のAU（AU#2）の時刻情報６１５は、PTS=a2で、DTS=b2であることが対応付けられる。

このようにすることで、例えば、AU#0が欠落しても、位置６０４のau_sequence_numberが１を参照することで、AU (AU#1)の時刻情報６１４が、PTS=a1で、DTS=b1であるという対応付けが可能になる。

＜変形例１＞
実施の一例として、AUシーケンス番号を、MMTPパケットヘッダの拡張ヘッダ領域またはMMTPパケットペイロード領域に付加する例を説明したが、本技術は、その他ストリーム上のメタデータや制御情報に、AUと時刻情報とを対応付ける情報を付加することでも、適用可能である。

また、MMTPパケット構成として標準規格ARIB STD-B60に記載のMMTP構成を例に挙げたが、本技術は、それ以外のMMTを基本とした何れの構成に対しても適用することが可能である。

＜変形例２＞
AUと時刻情報の対応付けとして、AUシーケンス番号以外にもMMTPで定義されているMMTPペイロードヘッダ内シンタックスsample_numberを用いることもできる。このパラメータのセマンティクスは、例えば、ARIB STD-B60によると、”MFUのサンプル番号を示す”と定義されているため、ビデオの場合、AU以外のNALユニットもカウント対象となることから、AUのパケットロスを正確に検知することが困難であり、ビデオには適さない。

しかしながら、オーディオに関しては、AU以外のNALユニットを持たないため、対応付けの方法として使用することが可能である。これにより、オーディオ再生においてオーディオフレームの任意の位置からの再生開始を行うことについては対応可能である。

この場合、次のように、sample_numberを用いる必要がある。
１．MPUシーケンス毎に独立したカウンタとする。
２．MPUの先頭AUにてカウンタをリセットする。
３．MPUに含まれるオーディオAU数は固定でsample_numberのwrap around数を割り切れる数とする（sample_number%固定のAAU数がMPU中のAU番号になる）。

＜変形例３＞
AUと時刻情報の対応付けとしてカウンタを、ビデオ・オーディオストリーム側でなく制御情報側に付加する方法も考えられる。

図１６は、MMTPパケット構成例を示す図である。なお、左の番号は、説明の便宜上付してあるものである。

具体的には、第１９行目に示されるように、MMTPペイロードヘッダ内シンタックスsample_numberや、MMTPパケットヘッダ内packet_counterなどAUを識別できるカウンタを、拡張タイムスタンプ記述子内へ付加し、制御情報内で対応付けを行うようにしてもよい。

以上のように、本技術においては、送信や記録側において、AUを特定する（詳しくは、AUと時刻情報とを対応付ける）カウンタを多重化するようにし、受信側において制御情報から抽出した時刻情報とAUを特定するカウンタから、対応付けを行うようにした。

これにより、本技術によれば、伝送品質の低くパケットロスが発生する状況においても、受信側においてパケットロスを検知し、AUと時刻情報の対応付けが可能となる。この結果、ビデオ、オーディオ再生時の時間不連続を抑制し、再生品質を向上させることができる。

また、オーディオ再生において、オーディオフレームの任意の位置から再生開始することが可能となり、再生開始遅延を抑制、回避することができる。

＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図１７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ７００において、CPU（Central Processing Unit）７０１，ROM（Read Only Memory）７０２，RAM（Random Access Memory）７０３は、バス７０４により相互に接続されている。

バス７０４には、さらに、入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、入力部７０６、出力部７０７、記憶部７０８、通信部７０９、及びドライブ７１０が接続されている。

入力部７０６は、キーボード、マウス、マイクロホンなどよりなる。出力部７０７は、ディスプレイ、スピーカなどよりなる。記憶部７０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部７０９は、ネットワークインタフェースなどよりなる。ドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７１１を駆動する。

以上のように構成されるパーソナルコンピュータ７００では、CPU７０１が、例えば、記憶部７０８に記憶されているプログラムを、入出力インタフェース７０５及びバス７０４を介して、RAM７０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU７０１）が実行するプログラムは、リムーバブルメディア７１１に記録して提供することができる。リムーバブルメディア７１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア７１１をドライブ７１０に装着することにより、入出力インタフェース７０５を介して、記憶部７０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７０９で受信し、記憶部７０８にインストールすることができる。その他、プログラムは、ROM７０２や記憶部７０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）データユニットを符号化するデータ符号化部と、
前記データ符号化部により符号化されたデータユニットをパケット化し、データパケットを生成するデータパケット部と、
前記データユニットに対するデコードおよび表示時刻を示す時間情報をパケット化し、時間情報パケットを生成する時間情報パケット部と、
前記データパケット、前記時間情報パケット、および前記データユニットを特定するための特定情報を多重化し、ストリームを生成する多重化部と
を備える送信装置。
（２）前記データユニットに含まれるデータは、ビデオデータおよびオーディオデータの少なくとも一方である
前記（１）に記載の送信装置。
（３）前記特定情報は、シーケンス毎に独立したカウンタである
前記（１）または（２）に記載の送信装置。
（４）前記特定情報は、シーケンス毎に、データユニット単位でカウントされる
前記（３）に記載の送信装置。
（５）１パケットあたり１データユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
前記（１）乃至（４）のいずれかに記載の送信装置。
（６）１パケットあたり複数のデータユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
前記（１）乃至（４）のいずれかに記載の送信装置。
（７）前記特定情報は、パケットヘッダ部に、複数のデータユニット分が記述される
前記（６）に記載の送信装置。
（８）前記特定情報は、パケットヘッダ部に、先頭データユニットの分だけが記述される
前記（６）に記載の送信装置。
（９）１パケットあたり複数のデータユニットからなる場合、前記特定情報は、ペイロード内の各データユニットの先頭に配置される
前記（１）乃至（４）のいずれかに記載の送信装置。
（１０）送信装置が、
データユニットを符号化し、
符号化されたデータユニットをパケット化し、データパケットを生成し、
前記データユニットに対するデコードおよび表示時刻を示す時間情報をパケット化し、時間情報パケットを生成し、
前記データパケット、前記時間情報パケット、および前記データユニットを特定するための特定情報を多重化し、ストリームを生成する
送信方法。
（１１）符号化され、パケット化されたデータユニットであるデータパケット、前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化された時間情報パケット、および前記データユニットを特定するための特定情報が多重化されたストリームを分離する分離部と、
前記データパケットから、符号化されたデータユニットを抽出する抽出部と、
前記時間情報パケットから、前記時間情報を復元する復元部と、
前記特定情報に基づいて、前記符号化されたデータユニットと、前記時間情報とを対応付ける対応付け部と、
前記符号化されたデータユニットを復号し、データユニットを生成する復号部と
を備える受信装置。
（１２）前記データユニットに含まれるデータは、ビデオデータおよびオーディオデータの少なくとも一方である
前記（１１）に記載の受信装置。
（１３）前記特定情報は、シーケンス毎に独立したカウンタである
前記（１１）または（１２）に記載の受信装置。
（１４）前記特定情報は、シーケンス毎に、データユニット単位でカウントされる
前記（１３）に記載の受信装置。
（１５）１パケットあたり１データユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
前記（１１）乃至（１４）のいずれかに記載の受信装置。
（１６）１パケットあたり複数のデータユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
前記（１１）乃至（１４）のいずれかに記載の受信装置。
（１７）前記特定情報は、パケットヘッダ部に、複数のデータユニット分が記述される
前記（１６）に記載の受信装置。
（１８）前記特定情報は、パケットヘッダ部に、先頭データユニットの分だけが記述される
前記（１６）に記載の受信装置。
（１９）１パケットあたり複数のデータユニットからなる場合、前記特定情報は、ペイロード内の各データユニットの先頭に配置される
前記（１１）乃至（１４）のいずれかに記載の受信装置。
（２０）受信装置が、
符号化され、パケット化されたデータユニットであるデータパケット、前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化された時間情報パケット、および前記データユニットを特定するための特定情報が多重化されたストリームを分離し、
前記データパケットから、符号化されたデータユニットを抽出し、
前記時間情報パケットから、前記時間情報を復元し、
前記特定情報に基づいて、前記符号化されたデータユニットと、前記時間情報とを対応付け、
前記符号化されたデータユニットを復号し、データユニットを生成する
受信方法。

３００送信装置，３０３時刻生成部，３０４ビデオ・オーディオ同期制御部，３０５ビデオ・オーディオ符号化部，３０６エンコーダバッファ，３０７制御情報生成・パケット化部，３０８パケット化部，３０９多重化部，４００受信装置，４０２多重分離部，４０３制御情報バッファ，４０４デコーダバッファ，４０５制御情報パケット解析部，４０６ビデオ・オーディオ同期制御部，４０７ビデオ・オーディオ復号部，４０９トランスコーダ，４２１ビデオ・オーディオ符号化部，４２２エンコーダバッファ，４２３パケット化部，４２４制御情報生成・パケット化部，４２５再多重化部

Claims

データを含むデータユニットを符号化するデータ符号化部と、
前記データ符号化部により符号化されたデータユニットをパケット化し、データパケットを生成するデータパケット部と、
前記データユニットに対するデコードおよび表示時刻を示す時間情報をパケット化し、時間情報パケットを生成する時間情報パケット部と、
前記データパケット、前記時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報を多重化し、ストリームを生成する多重化部と
を備える送信装置。
前記データユニットに含まれる前記データは、ビデオデータおよびオーディオデータの少なくとも一方である
請求項１に記載の送信装置。
前記特定情報は、シーケンス毎に独立した、前記データユニットのカウンタである
請求項１に記載の送信装置。
前記特定情報は、シーケンス毎に、データユニット単位でカウントされる
請求項３の記載の送信装置。
１パケットあたり１データユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
請求項４の記載の送信装置。
１パケットあたり複数のデータユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
請求項４の記載の送信装置。
前記特定情報は、パケットヘッダ部に、複数のデータユニット分が記述される
請求項６の記載の送信装置。
前記特定情報は、パケットヘッダ部に、先頭データユニットの分だけが記述される
請求項６の記載の送信装置。
１パケットあたり複数のデータユニットからなる場合、前記特定情報は、ペイロード内の各データユニットの先頭に配置される
請求項４の記載の送信装置。
送信装置が、
データを含むデータユニットを符号化し、
符号化されたデータユニットをパケット化し、データパケットを生成し、
前記データユニットに対するデコードおよび表示時刻を示す時間情報をパケット化し、時間情報パケットを生成し、
前記データパケット、前記時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報を多重化し、ストリームを生成する
送信方法。
符号化され、パケット化されたデータユニットであるデータパケット、データを含む前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化された時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報が多重化されたストリームを分離する分離部と、
前記データパケットから、符号化されたデータユニットを抽出する抽出部と、
前記時間情報パケットから、前記時間情報を復元する復元部と、
前記特定情報に基づいて、前記符号化されたデータユニットと、前記時間情報とを対応付ける対応付け部と、
前記符号化されたデータユニットを復号し、データユニットを生成する復号部と
を備える受信装置。
前記データユニットに含まれる前記データは、ビデオデータおよびオーディオデータの少なくとも一方である
請求項１１に記載の受信装置。
前記特定情報は、シーケンス毎に独立した、前記データユニットのカウンタである
請求項１１に記載の受信装置。
前記特定情報は、シーケンス毎に、データユニット単位でカウントされる
請求項１３の記載の受信装置。
１パケットあたり１データユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
請求項１４の記載の受信装置。
１パケットあたり複数のデータユニットからなる場合、前記特定情報は、パケットヘッダ部に配置される
請求項１４の記載の受信装置。
前記特定情報は、パケットヘッダ部に、複数のデータユニット分が記述される
請求項１６の記載の受信装置。
前記特定情報は、パケットヘッダ部に、先頭データユニットの分だけが記述される
請求項１６の記載の受信装置。
１パケットあたり複数のデータユニットからなる場合、前記特定情報は、ペイロード内の各データユニットの先頭に配置される
請求項１４の記載の受信装置。
受信装置が、
符号化され、パケット化されたデータユニットであるデータパケット、データを含む前記データユニットに対するデコードおよび表示時刻を示す時間情報がパケット化された時間情報パケット、および、NALユニットのうち、前記データユニット以外の他のNALユニットを除く、前記データユニットをシーケンス毎に特定するための特定情報が多重化されたストリームを分離し、
前記データパケットから、符号化されたデータユニットを抽出し、
前記時間情報パケットから、前記時間情報を復元し、
前記特定情報に基づいて、前記符号化されたデータユニットと、前記時間情報とを対応付け、
前記符号化されたデータユニットを復号し、データユニットを生成する
受信方法。