JP7070433B2 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP7070433B2
JP7070433B2 JP2018563248A JP2018563248A JP7070433B2 JP 7070433 B2 JP7070433 B2 JP 7070433B2 JP 2018563248 A JP2018563248 A JP 2018563248A JP 2018563248 A JP2018563248 A JP 2018563248A JP 7070433 B2 JP7070433 B2 JP 7070433B2
Authority
JP
Japan
Prior art keywords
data
information
reproduction
file
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018563248A
Other languages
English (en)
Other versions
JPWO2018135259A1 (ja
Inventor
健二朗 上田
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018135259A1 publication Critical patent/JPWO2018135259A1/ja
Application granted granted Critical
Publication of JP7070433B2 publication Critical patent/JP7070433B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、放送波等における今後のデータ伝送規格として規格化が進められているMMT(MPEG Media Transport)フォーマットデータを入力して、メディアに記録し、再生可能とする情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
現在、4K画像や8K画像等の放送等、高画質画像のデータ伝送を実現するための規格化が進められており、その一つとして、MMT(MPEG Media Transport)フォーマットを利用したデータ配信方式についての検討が進められている。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツを構成する符号化データや、制御情報や属性情報等の様々な管理情報からなる制御情報(SI:Signaling Information(シグナリング情報))等のデータを、放送波やネットワークを介して伝送するデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば4K画像、高ダイナミックレンジ(HDR:High Dynamic Range)画像等の次世代コンテンツの放送等に利用される予定となっている。
なお、現行の画像(Video)、音声(Audio)、字幕(Subtitle)等の伝送フォーマット、あるいは、メディアに対するデータ記録フォーマットとしては、MPEG-2TSフォーマットが多く利用されている。
また、このMPEG-2TSフォーマット対応の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)が広く利用されている。
なお、BDMVやBDAVは、主にBD(Blu-ray(登録商標) Disc)を利用したデータ記録再生のアプリケーション規格であるが、これらの規格はBDに限らず、フラッシュメモリやHDなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
上述のMMTフォーマットに従った配信コンテンツを、情報記録媒体(メディア)に記録し、メディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
現在、BDAVフォーマットを拡張し、MMTフォーマットデータを記録、再生可能とするための構成について議論が進められている。
例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHD(ハードディスク)等の記録メディアに記録する場合、画像、音声、字幕データや、制御情報(SI)等のデータを、MMTフォーマットに従ったデータを格納したパケットのパケット列としてメディアに記録する方向で議論が進んでいる。
具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列をメディアに記録する方向で議論が進んでいる。
MMTPパケットやTLVパケットには、再生データである画像、音声、字幕、さらに、様々な管理情報からなる制御情報(SI:Signaling Information)等が格納されている。
例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHD(ハードディスク)等の記録メディアに、画像、音声、字幕等のコンテンツを格納したMMTPパケットやTLVパケットを記録し、メディアからのコンテンツ再生を上述のBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
BDAVフォーマットは、再生制御情報ファイルとして、プレイリストファイルやクリップ情報ファイル等のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)を参照してデータ再生処理を実行する。
従って、MMTフォーマットデータについても、これらのプレイリストファイルやクリップ情報ファイルに記録された再生制御情報を利用して再生処理を行うことが必要となる。
しかし、BDAVフォーマット規定のプレイリストファイルやクリップ情報ファイル等のデータベースファイルは、もともと、MPEG-2TSフォーマットデータに対応した再生制御情報を記録している。
従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットデータを再生する場合に、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルに記録された再生制御情報が適用できない場合がある。
MMTフォーマットデータをBD等の記録メディアに記録し、BDAVフォーマット対応アプリを利用してコンテンツ再生を可能とするためには、メディアに対するMMTフォーマットデータの記録処理に際して、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
しかし、これらの処理については、現時点で具体化されていないというのが現状である。
特開2011-023071号公報
本開示は、例えば、上記の問題点に鑑みてなされたものであり、MMTフォーマットに従った配信データを入力して、BD等の記録メディアに記録し、記録メディアから、MMTフォーマットデータ再生することを可能とした情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理装置にある。
さらに、本開示の第2の側面は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理装置にある。
さらに、本開示の第3の側面は、
MMT(MPEG Media Transport)フォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを記録し、
前記再生制御情報ファイルは、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルであり、
前記MMTフォーマットストリームファイル格納データの再生を行う再生装置が、前記タイムスタンプ情報を取得して、再生に利用可能としたデータ記録構成を有する情報記録媒体にある。
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成させ、
さらに、前記プログラムは、前記データ処理部に、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成させるプログラムにある。
さらに、本開示の第7の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行させ、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行わせるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
具体的には、例えば、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、MMTフォーマット対応の再生制御情報ファイルを生成してメディアに記録する。再生制御情報ファイルには、ランダムアクセス再生データを格納した再生データ格納パケットの格納データ再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、またはタイムスタンプ情報を記録する。再生装置は、再生データ格納パケットの格納データ再生時に必要となるタイムスタンプを即時に取得して再生することができる。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理を実行する情報処理装置の利用構成例について説明する図である。 MMTフォーマットについて説明する図である。 MMTフォーマットに従った画像データ格納構成例について説明する図である。 BDAVフォーマットについて説明する図である。 BDAVフォーマットに従ったデータ再生処理例について説明する図である。 MPEG-2TSフォーマットについて説明する図である。 MMTフォーマットについて説明する図である。 SPAVフォーマットについて説明する図である。 放送局等からの受信データをMMTフォーマットデータであるMMTPパケット列として、情報記録媒体(メディア)に記録する処理例について説明する図である。 放送局等からの受信データをMMTフォーマットデータであるMMTPパケットを格納したTLVパケット列として、情報記録媒体(メディア)に記録する処理例について説明する図である。 MMTフォーマットデータを、BDAVフォーマットデータとして記録する場合の処理例について説明する図である。 プレイリストファイルのデータ構成について説明する図である。 EPマップについて説明する図である。 EPマップについて説明する図である。 EPマップについて説明する図である。 プレイリストファイルのCPIタイプ記録データについて説明する図である。 プレイリストファイルのプレイアイテムのデータ構成について説明する図である。 プレイリストファイルのプレイアイテム記録データについて説明する図である。 MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。 MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例について説明する図である。 MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す図である。 プレイリストファイルの構成要素であるプレイリストマークについて説明する図である。 プレイリストマーク情報の記録データについて説明する図である。 クリップ情報ファイルのデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのクリップ情報[ClipInfo()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのクリップ情報[ClipInfo()]中に記録されるアプリケーションタイプの記録例について説明する図である。 クリップ情報ファイルのクリップ情報[ClipInfo()]中に記録されるクリップストリームタイプの記録例について説明する図である。 クリップ情報ファイルのシーケンス情報[SequenceInfo()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのシーケンス情報[SequenceInfo()]に記録されるATCとSTCについて説明する図である。 クリップ情報ファイルのプログラム情報[ProgramInfo()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのCPI情報[CPI()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録されるEPマップのデータ構成について説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録されるEPマップのデータ構成について説明する図である。 EPマップを構成する2つのテーブルのデータ構成について説明する図である。 MMTフォーマットデータのランダムアクセス処理の問題点について説明する図である。 MMTPパケットのデータ構成について説明する図である。 RAPフラグについて説明する図である。 MMTパッケージテーブル(MPT)内に記録される拡張タイムスタンプ記述子のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成例について説明する図である。 MMTフォーマットデータ対応のEPマップに対する記録データについて説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成例について説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成例について説明する図である。 MMTフォーマットデータ対応のEPマップに対する記録データについて説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成例について説明する図である。 MMTフォーマットデータ対応のEPマップに対する記録データについて説明する図である。 情報記録媒体(メディア)に対するデータ記録処理を実行する情報処理装置の構成例についてを説明する図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理を実行する情報処理装置の構成例についてを説明する図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 本開示の処理に適用される報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.通信システムの構成例について
2.MMT(MPEG Media Transport)フォーマットについて
3.BDAVフォーマットとSPAVフォーマットについて
4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
5.MMTフォーマットデータ対応のプレイリストファイルについて
6.MMTフォーマットデータ対応のクリップ情報ファイルについて
7.MMTフォーマットデータに対応したEPマップの構成例について
7-1.MMTフォーマットデータ対応のEPマップ例1
7-2.MMTフォーマットデータ対応のEPマップ例2
7-3.MMTフォーマットデータ対応のEPマップ例3
8.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
9.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
10.情報処理装置の構成例について
11.本開示の構成のまとめ
[1.通信システムの構成例について]
まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
図1に示す情報処理装置30は、BD(Blu-ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理を実行する。
情報処理装置30がメディアに記録するデータは、例えば放送局(放送サーバ)21や、データ配信サーバ22等の送信装置20の提供する送信コンテンツである。具体的には、テレビ局の提供する放送番組等である。
これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
情報処理装置30は、例えばBDプレーヤ31、テレビ32、PC33、携帯端末34等である、これらの情報処理装置は、例えば、BD(Blu-ray(登録商標) Disc)41、HDD(ハードディスク)42、フラッシュメモリ43等の様々なメディアを装着し、これらのメディアに対するデータ記録処理や、メディアからのデータ再生処理を実行する。
送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
送信装置20は、コンテンツデータを符号化し、符号化データおよび符号化データのメタデータを含むデータファイルを生成し、生成した符号化データをMMTにおいて規定されるMMTP(MMT Protocol)パケットに格納して放送波、またはネットワークを介して送信する。
送信装置20が情報処理装置30に提供するデータは、画像、音声、字幕等の再生対象データの他、番組ガイド等の案内情報や通知情報、制御メッセージ等の様々な管理情報によって構成される制御情報(SI:Signaling Information(シグナリング情報))によって構成される。
[2.MMT(MPEG Media Transport)フォーマットについて]
上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
図2は、MMTフォーマットのスタック・モデルを示す図である。
図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
物理レイヤ(PHY)の上位レイヤとして、TLV(Type Length Value)レイヤがある。TLVはIPパケットの多重化方式を規定したフォーマット規定レイヤである。複数のIPパケットが多重化されてTLVパケットとして送信される。TLV-SIは、TLVフォーマットに従った制御メッセージ等の制御情報(SI)の伝送レイヤである。
制御情報(SI)は、情報処理装置30側においてコンテンツ(番組)を受信、再生するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報、管理情報によって構成される。
TLVレイヤで処理が生成されるTLVパケットに格納される制御情報(SI)がTLV-SIであり、主に受信処理に関する制御情報によって構成されている。
MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納される制御情報(SI)は最上位レイヤに示すMMT-SIであり、主に再生制御に関する制御情報によって構成されている。
TLVレイヤ上には、UDP/IPレイヤが設定される。
UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
MMTレイヤ上には、以下のレイヤが設定される。
画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
MMTPパケットを利用して送信される制御情報(MMT-SI)、
さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
これらの各データがMMTPパケットに格納されて送信される。
制御情報(MMT-SI)は、MMTPパケットで送信される制御情報(シグナリング情報)であり、情報処理装置30側においてコンテンツ(番組)を再生するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等の様々な管理情報によって構成される。
なお、時刻情報(NTP:Network Time Protocol)は絶対時刻情報であり、UDPパケットに直接格納され送信される。
その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
図2に示すように、画像、音声、字幕、さらに、様々な通知情報や制御情報等の様々な管理情報からなる制御情報(MMT-SI)やアプリケーションは、MMTPパケットによって送信される。
図3を参照してMMTPパケットの具体的構成例について説明する。
図3には以下の4種類のデータ構成例を示している。
(a)MPU(Media Presentation Unit)
(b)MMTPペイロート
(c)MMTPパケット
(d)TLVパケット
(d)TLVパケットが放送波やネットワークを介して送信されるパケットであり、TLVパケットには、UDPヘッダ、IPヘッダ、TLVヘッダの各ヘッダ情報が設定される。TLVパケットは、データ種類ごとに個別のパケットとして設定される。
すなわち、1つのTLVパケットのTLVペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、あるいは、様々な管理情報からなる制御情報(SI)が個別に格納される。
なお、制御情報(SI)については、MMTPパケットに格納する制御情報(MMT-SI)と、TLVパケットで送信される制御情報(TLV-SI)があり、それぞれ異なる個別のTLVパケットに格納される。
TLVパケットのペイロードであるTLVペイロートの一例が、図3(c)に示すMMTPパケットである。
図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
1つのMMTPパケットのMMTPペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、さらにMMTPパケットに格納する制御情報(MMT-SI)、これらのいずれか一種類のデータが、個別のMMTPパケットに格納される。
図3(a),(b)は、図3(c)に示すMMTPパケットのMMTPペイロードに格納される画像データの詳細構成を示している。
図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
データユニットには、図3(a)に示すように、画像データおよび、以下の各種のパラメータが格納される。
AU Delimiter(Access Unit Delimiter)
SPS(Sequence Parameter Set)
PPS(Picture Parameter Set)
SEIs(Supplemental Enhancement Information)
これらのパラメータは、画像表示に利用されるパラメータである。
図3(a)に示すMPU(Media Presentation Unit)は、MMTフォーマットにおける画像、音声、字幕等の再生対象データの1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
このように、例えば画像データは、図3(a)に示すように、MMTフォーマットにおいて規定されたパラメータと画像構成データに分割され、図3(b)に示すMMTPペイロードに格納され、図3(c)に示すMMTPパケットとして構成される。
さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
なお、音声、字幕等の各データ、MMT-SIの各データについても、それぞれデータ種類単位のMMTPパケット、TLVパケットが設定されて送信される。
TLV-SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
[3.BDAVフォーマットとSPAVフォーマットについて]
次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリ、あるいはHD(ハードディスク等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHD等のメディアから、画像、音声、字幕等のコンテンツを再生する場合には、これらのコンテンツの再生処理を行なうための再生制御情報やインデックス情報が必要となる。再生制御情報やインデックス情報は一般的にデータベースファイルと呼ばれる。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
前述したように、現行の記録再生アプリケーション規格(=データ記録フォーマット)としてBDMVやBDAV規格(データ記録フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu-ray(登録商標) Disc)を利用したデータ記録再生アプリケーション規格として策定されたものである。
なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であり、データ記録フォーマット(規格)であるが、これらの規格はBDに限らず、フラッシュメモリなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
上述のMMTフォーマットに従った配信コンテンツを記録したメディアからのコンテンツ再生処理を、BDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
図4は、情報記録媒体(メディア)40にBDAVフォーマットに従って記録されたデータのディレクトリ構成例を示す図である。
ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
管理情報ファイルは、例えば、図4に示すインフォファイル(info)、メニューファイル(menu)、マークファイル(mark)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
また、再生制御情報ファイルとして、
プレイリストファイル(playlist)、
クリップ情報ファイル(clipinf)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータや管理情報を格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データや、管理情報を格納したパケットによって構成される。
なお、MPEG-2TSフォーマットにおいて規定され、クリップAVストリームファイルに記録される管理情報として、例えば、PSI/SI(Program Specific Information/Service Information)がある。
なお、従来の放送データや、ネットワーク配信データは、TS(Transport Stream)パケットによって構成されたMPEG-2TSフォーマットデータであるが、今後の4K,8K画像等の高精細画像等を含むデータは前述したMMTPパケットによって構成されるMMTフォーマットデータとなることが予想される。
図4にはクリップAVストリームファイル(stream)として、
TSパケットによって構成されたMPEG-2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルを示している。
図4に示すディレクトリ例は、情報処理装置30が受信したデータがMPEG-2TSフォーマットデータである場合は、そのまま、MPEG-2TSフォーマットデータとしてメディアに記録し、受信データがMMTフォーマットデータである場合は、MMTフォーマットデータとしてメディアに記録する設定の場合のディレクトリ例である。
なお、MMTフォーマットデータをメディアに記録する場合のクリップAVストリームファイルは、MMTフォーマットに従ったデータを格納したパケットのパケット列として記録する方向で議論が進んでいる。
具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
この具体例については後段で詳細に説明する。
管理情報ファイル、プレイリストファイル、クリップ情報ファイル、これらのデータファイルは、クリップAVストリームファイルに格納された再生データである画像、音声、字幕等の再生処理に適用する管理情報の格納ファイルである。これらは、再生制御情報や、再生データの属性情報等を格納したファイルであり、データベースファイルと呼ばれる。
情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによって管理情報ファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられたプレイリストが選択される。
(c)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図5は、情報記録媒体(メディア)40に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像、音声、字幕等の再生対象データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図5に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)、あるいはクリップファイルと呼ぶ。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
なお、クリップAVストリーム(Clip AV Stream)ファイルは、MPEG-2TSフォーマットデータである場合はTSパケットによって構成される。
また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
クリップ情報(Clip Information)ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
このように、プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
なお、再生対象データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、前述したように、従来型のMPEG-2TSフォーマットデータである場合はTSパケットによって構成される。
また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
図6、図7を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
まず、図6を参照して、MPEG-2TSフォーマットについて説明する。
MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データや管理情報(PSI/SI)を記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG-2TSフォーマットは、ISO13818-1において標準化されたフォーマットであり、例えばBD(Blu-ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
図6(a)~(c)はMPEG-2TSフォーマットデータの構成を示す図である。
最下段に示す図6(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
図6(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
1つのエレメンタリストリーム(Elementary stream)は、図2(b)に示すように、1つまたは複数のPES(Packetized Elementary stream)パケットによって構成される。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
1つのPESパケットは、図6(c)に示すように、1つまたは複数のTSパケットによって構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
次に、図7を参照してMMT(MPEG Media Transport)フォーマットについて説明する。
MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG-2TSフォーマットとの対応関係を分かり易く説明した図である。
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
図7は、ISO/IEC 23008-1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
図7(a)~(c)にはMMTフォーマットデータの構成を示している。
最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
1つのMPUは、図7(b)に示すように、1つまたは複数のメディアフラグメントユニット(MFU:Media Fragment unit)によって構成される。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
1つのMFUは、図7(c)に示すように、1つまたは複数のMMTPパケットによって構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTPペイロード)により、構成される。
なお、BDAVフォーマットに類似するフォーマットとしてSPAVフォーマットがある。前述したように、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格である。これに対して、SPAVフォーマットは、主にハードディスクに対するデータ記録再生のアプリケーション規格である。
ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
SPAVフォーマットデータは、BDAVフォーマットにおけるデータ記録再生処理と同様の処理でデータ記録再生を実行することが可能である。ただし、SPAVフォーマットは、ファイル名設定が、BDAVフォーマットと一部、異なっている。
図8にSPAVフォーマットのディレクトリ構成例を示す。
図8に示すSPAVフォーマットのディレクトリには、先に図4を参照して説明したBDAVフォーマットと同様、様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
管理情報ファイルは、例えば、図8に示すインフォファイル(INFO)、メニューファイル(MENU)、マークファイル(MARK)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
また、再生制御情報ファイルとして、
プレイリストファイル(PLAYLIST)、
クリップ情報ファイル(CLIPINF)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
図8に示すようにSPAVフォーマットのディレクトリ名や各ファイルの拡張子の設定が、図4を参照して説明したBDAVフォーマットと異なっている。
ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
以下の実施例の説明では、MMTフォーマットデータをBDAVフォーマットデータとして記録し、再生する処理例について説明するが、以下に説明する実施例は、MMTフォーマットデータをSPAVフォーマットデータとして記録し、再生する処理にも適用可能である。
[4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について]
次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
先に説明したように、MMTフォーマットは、今後、放送局等によって配信が予定される4K画像等に利用されるデータ配信フォーマットであり、図3を参照して説明したプロトコルスタックに従ったフォーマットである。
一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
従って、MMTフォーマットに従った配信コンテンツをメディアに記録し、記録したメディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、BDAVフォーマットに従ったデータ記録を行うことが必要である。
前述したように、現在、BDAVフォーマットを拡張し、MMTフォーマットデータを記録、再生可能とするための規定について議論が進められている。
例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHD(ハードディスク)等のメディアに記録する処理を行う場合、画像、音声、字幕データや管理情報(SI)等のデータについては、MMTフォーマットに従ったデータを格納したパケットのパケット列としてそのまま記録する方向で議論が進んでいる。
すなわち、図4に示すBDAVフォーマット、あるいは図8に示すSPAVフォーマットに設定されるクリップAVストリームファイル[02001.mmtv等]に、MMTフォーマットに従ったデータを格納したパケットのパケット列を記録する。
なお、MMTフォーマットデータを格納したクリップAVストリームファイル[02001.mmtv等]に対応する再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイルについては、MMTフォーマットデータ対応の制御情報を設定したプレイリストファイルやクリップ情報ファイルを記録装置が生成してメディアに記録することになる。この処理については後段で説明する。
MMTフォーマットデータを格納したクリップAVストリームファイルは、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
MMTフォーマットデータを格納したクリップAVストリームファイルの具体的な記録構成例について図9、図10を参照して説明する。
図9は、BDやフラッシュメモリ、あるいはHD(ハードディスク)等の記録メディアに、MMTフォーマットに従ったMMTP(MMT Protocol)パケット列を記録する処理例を説明する図である。
図9には、以下の3つのデータを示している。
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているMMTPパケット列
(A)放送配信データであるTLVパケット列は、先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットの列(シーケンス)である。
このTLVパケット列が、放送局等の送信装置20から送信される。
(B)受信再生データとして処理される1つのTLVパケットは、テレビや録画機等の情報処理装置30が受信し、再生処理を行う1つのTLVパケットである。(A)に示すTLVパケット列を構成する1つのTLVパケットの詳細構成を示している。
先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットである。
(C)メディア記録用データの構成として示すMMTPパケット列は、現在、メディアに対する記録データとして提案されているMMTPパケット列である。
メディアに記録されるMMTPパケットは、図9(B)との対応関係を示す点線から理解されるように、TLVパケットの一部の構成データであるMMTPパケットであり、以下の要素から構成される。
(a)MMTPパケットヘッダ(MMTP_packet_header)
(b)MMTPパケットデータ(MMTP_packet_data)(=ペイロード)
なお、MMTPパケットデータ(MMTP_packet_data)(=ペイロード)は以下の要素によって構成される。
(b1)MMTPペイロードヘッダ(MMTP_payload_header)
(b2)MMTPペイロードデータ(MMTP_payload_data)
現在、情報記録媒体(メディア)に対する記録データとして提案されている一つの構成が、この図9(C)に示すような、TLVパケットの構成要素であるMMTPパケットのみを取り出して、一列に並べて記録する構成である。
図10は、BDやフラッシュメモリ、あるいはHD(ハードディスク)等の記録メディアに、MMTP(MMT Protocol)パケットではなく、MMTPパケットを格納した上位のTLVパケットのパケット列を記録する処理例を説明する図である。
図10には、図9と同様、以下の3つのデータを示している。
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているTLVパケット列
(A),(B)は、図9を参照して説明したと同様のデータである。
(C)メディア記録用データの構成として示すTLVパケット列は、現在、メディアに対する記録データとして提案されているもう1つの例であるTLVパケット列である。
メディアに記録されるTLVパケットは、図10(B)との対応関係を示す点線から理解されるように、MMTPパケットを含むTLVパケットであり、以下の要素から構成される。
(a)TLVパケットヘッダ(TLV_header)
(b)TLVパケットデータ(TLV_data)(=ペイロード)
このように、現在、BD等のメディアに対するMMTフォーマットデータの記録態様として、
図9を参照して説明したMMTP(MMT Protocol)パケットのパケット列、あるいは、
図10を参照して説明したTLV(Type Length Value)パケットのパケット列、
これらいずれかのパケット列として記録する方向で議論が進んでいる。
図9、または図10に示すような設定でMMTフォーマットデータをメディアに記録して、MMTフォーマットデータの再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行う場合、BDAVフォーマット対応の再生制御情報ファイル、すなわち、プレイリストファイルやクリップ情報ファイルを利用して再生を行うことになる。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータの再生は、BDAVフォーマット対応の再生アプリケーションを利用して実行される。
BDAVフォーマットは、再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイル等のBDAVフォーマット固有のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
前述したように、BDAVフォーマット規定のプレイリストファイルやクリップ情報ファイル等のデータベースファイルは、もともと、MPEG-2TSフォーマットの配信データに基づいて生成可能なファイルとして規定されたものである。
従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
MMTフォーマットデータをメディアに記録し、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うことを可能とするためには、メディアに対するMMTフォーマットデータの記録処理に際して、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
具体的には、図11に示すように、MMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72と、プレイリストファイル(nnnnn.rpls)73を生成して、メディア(BD,フラッシュメモリ,HDD等)に記録して再生に利用する処理が必要となる。
メディアに記録されたMMTフォーマットデータ格納クリップAVストリームファイル71を再生する場合には、このMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72と、プレイリストファイル(nnnnn.rpls)73を利用して再生処理を行うことができる。
しかし、前述したように、放送局の配信データであるMMTフォーマットに従って配信されるデータは、BDAVフォーマットで規定するプレイリストファイルやクリップ情報ファイルの記録用データを全て含むようには構成されていない。
また、MMTフォーマットデータ格納クリップAVストリームファイル71は、MPEG-2TSフォーマットデータとは異なるデータ形式となり、MPEG-2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
従って、このMMTフォーマットデータをメディアに記録して、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うためには、MMTフォーマットデータ格納クリップAVストリームファイル71の再生制御を行うことができるMMTフォーマットデータ固有のデータ形式を持つプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
以下、この具体的な処理について説明する。
[5.MMTフォーマットデータ対応のプレイリストファイルについて]
まず、図12以下を参照してMMTフォーマットデータ対応のプレイリストファイルについて説明する。
先に説明したように、プレイリストファイルには、そのプレイリストを適用して再生されるデータに関する情報が記録される。具体的には、例えばコンテンツの再生処理に適用するプレイアイテムに関する情報、さらに、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
図12は、1つのプレイリスト(PlayList)ファイルに記録される[PlayList]のデータ構成(シンタクス)を示す図である。
図12に示す[PlayList]の主な記録データについて説明する。
レングス(length)は、このレングスフィールドの直後からプレイリストファイル構成データの最後までのバイト数を示す。
PL_CPIタイプ(PL_CPI_type)101は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
プレイアイテム数(number_of_PlayItems)102は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)の数を示す。
サブプレイアイテム数(number_of_SubPlayItems)103は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)の数を示す。
プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
上述したように、PL_CPIタイプ(PL_CPI_type)101は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、ランダムアクセス再生開始可能な再生開始点のデータアドレスを取得するためのデータである。
なお、BDAVフォーマットにおいて規定されているCPIとしては、例えばEPマップ(EP_map)や、TUマップ(TU_map)の異なる種類のマップがある。
これらのマップは、いずれも、例えばランダムアクセスポイントとなる再生時間情報(PTS:Presentation Timestamp)と、その位置のパケットのパケット識別子であるソースパケットナンバー(SPN:Source Packet Number)との対応データであり、ランダムアクセスポイントの再生データが格納されたパケットを取得するために利用可能なマップ情報である
EPマップ、TUマップとも、ランダムアクセスポイント情報を記録したマップデータであるが、EPマップは、より細かなランダムアクセスポイント情報を記録したマップデータであり、TUマップはEPマップに比較してラフなランダムアクセスポイント情報を記録したマップデータである。
BDAVフォーマットでは、EPマップとTUマップの2種類のマップを規定しているが、TUマップの利用はほとんどなされておらず、EPマップのみ利用されているのが現状である。
EP_mapやTU_mapは、AVストリームの中でデコードを開始すべきエントリポイント(EP)の場所を見つけるためのアドレス情報を持つ。
EPマップについて、図13以下を参照して説明する。
先に、図5を参照して説明したように、プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
また、クリップ情報ファイル(Clip Information file)は、図13に示すEPマップ(EP_map)を有する。
EPマップは、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報を記録している。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプと、パケット位置情報に相当するパケット取得のためのアドレス情報との対応データが記録されている。
具体的には、
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Timestamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケット番号(SPN:Source Packet Number)、
これらの対応情報を有する。
このような対応情報を有するEPマップを参照することで、タイムスタンプに基づいて対応するアドレス(SPN)を取得し、アドレス(SPN)に従って、例えばAVストリーム中の再生開始位置であるデコード開始点などを見つけることができる。
図14は、EPマップ(EP_map)の具体的な構成と利用例を説明する図である。図14(A)に示すクリップAVストリーム(Clip AV stream)は、パケット識別子:PIDで識別されるソースパケットからなるビデオストリームが多重化されている。ビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPIDにより区別される。
ビデオストリームのソースパケットは、MPEGデータを構成するIPBピクチャ、すなわち、I(Intra)ピクチャ、P(Predictive)ピクチャ、B(Bidirectionally predictive)ピクチャを有する。Iピクチャは単独で復号可能なピクチャデータであり、その他のPピクチャ、Bピクチャは、復号する場合に前後のIピクチャの参照が必要となる。例えば、ランダムアクセスによる再生開始点は、単独復号可能なIピクチャを持つパケット位置に設定される。
EPマップはランダムアクセス可能な再生開始点位置情報としてIピクチャの位置情報を、上述のPTSとSPNの対応データとして保持している。すなわち、
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Timestamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケットナンバー(SPN:Source Packet Number)、
これらの対応情報である。
このような設定としたEPマップを参照することで、ランダムアクセス可能な再生開始位置であるIピクチャの場所を求めることができる。EPマップ(EP_map)は、クリップ情報ファイルに含まれるデータである。
EPマップに基づくIピクチャ位置の検出について、図14を参照して説明する。図14(A)はクリップAVストリームを示し、各矩形は192バイトのソースパケットを示している。
図14(A)には、I(Intra)ピクチャの先頭バイトを含むソースパケットを、斜線を付した四角で示している。斜線の無い白い四角はランダムアクセスポイントとならないデータが含まれるソースパケットや、他のストリームのデータが含まれているソースパケットを示す。
例えば、PID=xで区別されるビデオストリームのランダムアクセス可能なIピクチャの先頭バイトを含むソースパケット番号X1のソースパケットは、クリップAVストリームの時間軸上でPTS=pts(x1)の位置に配置される。同様に、次にランダムアクセス可能なIピクチャの先頭バイトを含むソースパケットはソースパケット番号X2のソースパケットとされ、PTS=pts(x2)の位置に配置される。
図14(B)に示すように、ソースパケットは、188バイトのトランスポートパケットに4バイトのヘッダ(TP_extra_header)を付加した形で構成される。トランスポートパケット部分は、ヘッダ部(TP header)とペイロード部とからなる。
図14(C2)に示すEPマップの登録データであるSPN_EP_startは、シーケンスヘッダ(SQH)から始まるIピクチャを含むアクセスユニット(Access Unit)の第1バイト目を含むソースパケットのソースパケット番号(SPN)を表す。
なお、クリップAVストリームファイル中のすべてのパケットに設定された一連の番号がソースパケット番号(SPN)である。クリップAVストリームファイル中、最初のソースパケットのソースパケット番号をゼロ、その次のパケットのソースパケット番号は1であり、以後、次のパケット毎にソースパケット番号は1つずつ増加する。
図14(C2)に示すように、EPマップ(EP_map)は、
ストリームPID(Stream_PID)、
EPエントリ数(number_of_EP_entries)、
プレゼンテーションタイムスタンプEPスタート(PTS_EP_start)、および、
ソースパケット番号EPスタート(SPN_EP_start)、
これらのデータを記録している。
ストリームPID(Stream_PID)は、ビデオストリームを伝送するトランスポートパケットのパケット識別子(PID)である。
EPエントリ数(number_of_EP_entries)は、EP_mapに含まれるPTS_EP_start とSPN_EP_startのペアのエントリの個数である。
プレゼンテーションタイムスタンプEPスタート(PTS_EP_start)は、ランダムアクセス可能なIピクチャから始まるAccess UnitのPTS(プレゼンテーション・タイムスタンプ)を表す。
ソースパケット番号EPスタート(SPN_EP_start)は、PTS_EP_startの値により参照されるアクセスユニット(Access Unit)の第1バイト目を含むソースパケット番号(SPN:Source Packet Number)を表す。
ビデオストリームのPID(パケット識別子)の値がstream_PIDに格納され、PTS_EP_startとSPN_EP_startの対応関係を表すテーブル情報であるEP_map()が生成される。
例えば、PID=xのビデオストリームのEPマップには、
PTS=pts(x1)とソースパケット番号(SPN)X1、
PTS=pts(x2)とソースパケット番号(SPN)X2、
・・・、
PTS=pts(xk)とソースパケット番号(SPN)Xk、
これらのPTSとSPNの対応データからなるテーブルが記述される。
上記のテーブルを含むEPマップ(EP_map)が、1つのクリップAVストリームに対応するクリップ情報ファイルに格納される。
このようなデータを持つEPマップ(EP_map)は、例えばランダムアクセスなどを行うときのデコード開始位置を特定するために参照される。
クリップ中の時間軸上の時刻xから再生開始するとき、EP_mapを利用して、クリップAVストリームファイルの中でストリームのデコードを開始すべきアドレス情報の計算方法について、図15を参照して説明する。
図15に示すように、プレイリスト(PlayList)が、クリップ中の時間軸上の時刻xから再生開始を指定する情報を有する場合、xよりも小さく最も近い値を持つタイムスタンプ[PTS_EP_start[m]]が特定される。
このプレイリスト情報に従って特定されるタイムスタンプ[PTS_EP_start[m]]に基づいて、クリップ情報ファイル中のEPマップを参照して、タイムスタンプ[PTS_EP_start[m]]に対応するソースパケット番号[SPN_EP_start[m]]を特定する。
このようにEPマップを利用して、プレイリスト情報に従って決定される再生時間情報であるPTSから、そのPTSに対応するパケット位置情報であるSPN、すなわち、[SPN_EP_start[m]]を取得する。
このパケット位置[SPN_EP_start[m]]を、クリップAVストリームファイル中の再生開始点、すなわち、デコードを開始すべきアドレス情報として取得し、デコード処理を行って再生を行うことができる。
図13~図15を参照して説明したEPマップの利用例は、MPEG-2TSフォーマットデータを利用したランダムアクセスポイント対応のパケット取得処理例である。MPEG-2TSフォーマットデータでは、このように、EPマップを利用して、プレイリスト情報に従って決定される再生時間情報であるPTSから、そのPTSに対応するパケット位置情報であるSPN、すなわち、[SPN_EP_start[m]]を取得する。
しかし、MMTフォーマットデータは、MPEG-2TSフォーマットデータとは異なるフォーマットを有するため、このMPEG-2TSフォーマットデータと同様の処理を実行してランダムアクセスポイント対応パケットを取得することはできない。
すなわち、再生対象データがMMTフォーマットデータである場合は、上述した処理と異なるMMTフォーマットデータ対応のデータ処理を行う必要がある。
EPマップは、クリップ情報ファイルに規定されており、MMTフォーマットデータに対応するランダムアクセスポイント取得処理を実行するためのMMTフォーマットデータ対応のEPマップをMMTフォーマットデータ対応のクリップ情報ファイルに記録する必要がある。
すなわち、図11に示すMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72にMMTフォーマットデータ対応のEPマップを記録することが必要となる。この具体例については、後段で説明する。
このように、MPEG-2TSフォーマットデータに対応するEPマップと、MMTフォーマットデータに対応するEPマップとは異なるデータとなる。
図12を参照して説明したように、図12に示すプレイリストファイルに記録されるPL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、再生開始点(ランダムアクセスポイント)のデータアドレスを取得するためのEPマップやTUマップの種類を示すデータを記録する領域である。
従来のPL_CPIタイプ(PL_CPI_type)には、MPEG-2TSフォーマットデータ対応のEPマップやTUマップの識別情報が記録されていた。
しかし、MMTフォーマットデータに対応のEPマップは、これまでのMPEG-2TSフォーマットデータ対応のEPマップとは異なるマップである。
従って、プレイリストファイルのPL_CPIタイプ(PL_CPI_type)についても、これらを区別した識別子を設定することが必要となる。
図16に、以下のCPIタイプ記録データを示す。
(1)従来のCPIタイプ記録データ(MPEG-2TS対応データのみ記録)
(2)新たなCPIタイプ記録データ(MPEG-2TS対応データとMMT対応データを記録)
図16の「(1)従来のCPIタイプ記録データ(MPEG-2TS対応データのみ記録)」に示すデータは、従来のプレイリストファイルのPL_CPIタイプ(PL_CPI_type)として定義されていたデータである。
PL_CPIタイプ(PL_CPI_type)=1は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のEPマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のTUマップであることを意味する。
このように、従来のCPIタイプ記録データは、MPEG-2TS対応データのみ記録していた。
図16の「(2)新たなCPIタイプ記録データ(MPEG-2TS対応データとMMT対応データを記録)」は、上記設定に、さらに、
PL_CPIタイプ(PL_CPI_type)=3
このビット値=3の設定を追加した構成となっている。
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
このように、PL_CPIタイプ(PL_CPI_type)=1~3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
次に、先に図12を参照して説明した[PlayList]内に記録されるプレイアイテム情報(PlayItem())104の詳細(シンタクス)について、図17以下を参照して説明する。
先に説明したように、プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
図17は、プレイアイテム情報(PlayItem())104のデータ構成(シンタクス)を示す図である。
クリップ情報ファイルネーム(Clip_Information_file_name)111には、このプレイアイテムを利用した再生処理に適用するクリップ情報ファイルのファイル名が記録される。
参照STC識別子(ref_to_STC_id)112は、このプレイアイテムが参照すべきSTC(システムタイムクロック)連続区間のSTC識別子を示す。
STC(システムタイムクロック)は、AVストリーム再生時の基準クロックであり、連続再生区間では、1つのSTCが利用される。例えば1つのプレイアイテムが再生する連続再生区間では1つのSTCが利用され、プレイアイテムの切り替えによって異なるSTCが参照されることになる。
参照STC識別子(ref_to_STC_id)112には、このプレイアイテムが参照すべきSTC(システムタイムクロック)を指定する情報が記録される。
開始時間(IN_time)113は、プレイアイテムの再生開始時間の記録領域である。
終了時間(OUT_time)114は、プレイアイテムの再生終了時間の記録領域である。
これらの開始時間、終了時間情報は、従来のMPEG-2TSフォーマットデータを再生対象とする場合、参照STC識別子(ref_to_STC_id)112によって指定されたプレイアイテム対応のSTCの開始時間からの差分時間情報(45KHzhクロック)が記録される。
なお、45KHzクロックは、MPEG-2TSフォーマットデータの記録再生に用いられる一般的なクロックである。
しかし、再生対象データが、MMTフォーマットデータの場合、MPEG-2TSフォーマットデータのように、プレイアイテム対応の再生対象データ(MMTフォーマットデータ)各々に個別のSTCが対応付けられた構成とはなっていない。
従って、MMTフォーマットデータを再生対象とするプレイリストのプレイアイテム情報(PlayItem())に記録する、
開始時間(IN_time)113と、
終了時間(OUT_time)114は、
MMTフォーマットデータに固有の時間情報とする必要がある。
この変更例について、図18を参照して説明する。
図18には、以下のデータ例を示している。
(1)従来のプレイアイテム情報記録データ(MPEG-2TS対応プレイリスト)
(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)
図18(1)に示す「(1)従来のプレイアイテム情報記録データ(MPEG-2TS対応プレイリスト)」は、再生対象データが、MPEG-2TSフォーマットデータの場合、プレイアイテム情報(PlayItem())に記録される開始時間(IN_time)、終了時間(OUT_time)の記録データを示している。
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報であり、前述したように、このプレイアイテムを利用した再生処理に適用されるSTC[システムタイムクロック(45KHzクロック)])開始点からの経過時間情報を記録する。STCは、図17を参照して説明した参照STC識別子(ref_to_STC_id)112によって特定されるSTCである。
また、終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報であり、前述したように、このプレイアイテムを利用した再生処理に適用されるSTC[システムタイムクロック(45KHzクロック)])開始点からの経過時間情報を記録する。STCは、図17を参照して説明した参照STC識別子(ref_to_STC_id)112によって特定されるSTCである。
図18(2)に示す「(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)」は、再生対象データが、MMTフォーマットデータの場合、プレイアイテム情報(PlayItem())に記録される開始時間(IN_time)、終了時間(OUT_time)の記録データを示している。
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば図1に示す放送サーバ(放送局)21等の送信装置20が送信する放送コンテンツ等を含むMMTフォーマットデータに併せて送信される。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
送信装置20は、例えば、先に図3を参照して説明したMMTフォーマットにおける1つのデータ処理単位であるMPU(Media Presentation Unit)単位の再生時間情報を、NTP(ネットワークタイムプロトコル)に従った時間情報として記録した制御情報を、再生対象データ(番組コンテンツ)に併せて送信する。
具体例について、図19以下を参照して説明する。
例えば図1に示す放送サーバ(放送局)21等の送信装置20からの配信コンテンツ(番組)をMMTフォーマットデータで受信し、受信コンテンツを情報記録媒体(メディア)に記録する情報処理装置30は、受信データから様々な情報を抽出して、プレイリストファイルやクリップ情報ファイルを生成することが必要となる。
先に図2他を参照して説明したように、MMTフォーマットデータには、情報処理装置30側においてコンテンツ(番組)を受信、再生するために必要となる制御情報や、番組ガイド等の案内情報や通知情報、管理情報等によって構成される制御情報(シグナリング情報)が含まれる。
MMTフォーマットで規定された制御情報(シグナリング情報)には、MMTPパケットで送信されるシグナリング情報(MMT-SI)と、TLVパケットで送信されるシグナリング情報(TLV-SI)がある。
MMTフォーマットデータを受信して、受信データをメディアに記録する情報処理装置30は、例えばMMTフォーマットに含まれるTLV-SIやMMT-SI等のシグナリング情報から様々な情報を抽出して、プレイリストファイルやクリップ情報ファイルを生成する。
MMTPパケットで送信されるシグナリング情報(MMT-SI)の一つにMMTパッケージテーブル(MPT:MMT Package Table)がある。MMTパッケージテーブル(MPT)は、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
なお、MMTパッケージテーブル(MPT:MMT Package Table)のパケットIDは、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
MMTパッケージテーブル(MPT:MMT Package Table)の構成について図19を参照して説明する。
図19は、MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。
MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)は、前述したように、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
MMTパッケージテーブル(MPT)には、図19に示すように、
アセットタイプ(asset_type)
アセット記述子(asset_descriptors_byte)
これらのデータ記録領域が含まれる。
アセットタイプ(asset_type)は、画像、音声、字幕等のデータ種類別の識別子を記録する領域である。アセットとは、共通属性を持つデータ処理の単位であり、画像、音声、字幕等は、各々、異なるアセットとして設定される。
MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図20に示す。
図20に示すように、MPTに記録されるアセットタイプ(asset_type)には、例えば以下の種類がある。
hvc1:HEVC画像
mp4a:音声
stpp:字幕等
aapp:アプリケーション
図19に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
図19のMPTの下段に示す、
アセット記述子(asset_descriptors_byte)
このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
このアセット記述子(asset_descriptors_byte)として記録される情報の一つに画像や音声等の再生時間情報が含まれる。
再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
図21に、MMTパッケージテーブル(MPT)にアセット記述子(asset_descriptors_byte)として記録されるMPU単位の再生時間情報(タイムスタンプ)を記録したMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す。
なお、MPUは、先に図3を参照して説明したように、図3(a)に示すMPU(Media Presentation Unit)であり、MMTフォーマットにおける1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子は、このMPU単位の再生時間情報に相当する。
図21に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)
MPU再生時刻(MPU_presentation_time)
MPUシーケンス番号(MPU_sequenc_number)には、MPUの識別子が記録される。
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
このように、MMTパッケージテーブル(MPT)には、アセット記述子(asset_descriptors_byte)として、MPU単位の再生時間情報(タイムスタンプ)であるMPUタイムスタンプが記録される。
図1に示す送信装置20は、MMTパッケージテーブル(MPT)にMMTフォーマットにおける1つのデータ処理単位であるMPU(Media Presentation Unit)単位の再生時間情報を、NTP時間情報として記録してテレビ等の情報処理装置30に送信する。
情報処理装置30は、この時間情報を取得してプレイリストに記録する。
すなわち、情報処理装置30は、情報記録媒体(メディア)にクリップAVストリームファイルとして記録するデータがMMTフォーマットデータの場合、その再生制御情報ファイルであるプレイリストファイルに、MMTパッケージテーブル(MPT)から取得したNTP時間情報を記録する。
情報処理装置30は、先に図18(2)を参照して説明したように、情報記録媒体(メディア)にクリップAVストリームファイルとして記録する再生対象データがMMTフォーマットデータである場合、プレイリストファイルのプレイアイテム情報(PlayItem())の開始時間(IN_time)、終了時間(OUT_time)として、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
次に、図22を参照して、プレイリストファイルに記録されるもう一つの要素であるプレイリストマーク(PlayListMark)について説明する。
まず、マーク(Mark)について説明する。マークは、例えばクリップAVストリームファイルに格納された画像データのチャプタ区切り、シーンチェンジ点、ブックマーク、ハイライト、特徴的なシーンの時間指定情報として、プレイリストファイル、クリップ情報ファイルに記録可能なデータである。
プレイリストファイル、クリップ情報ファイルに対するマークの記録は、マークの時刻を示すタイムスタンプの記録処理により行われる。
図22は、プレイリストファイルの一要素であるプレイリストマーク(PlayListMark)のデータ構成(シンタクス)を示す図である。
プレイリストマーク数(number_of_PlayList_marks)121は、このプレイリストマーク(PlayListMark)中にストアされているマークの個数を示す。
マークタイプ(mark_type)122は、マークのタイプを示すフィールドである。たとえば、各マークが、プレイリストの代表画像位置、チャプタ開始位置、チャプタ終了位置、シーンチェンジ位置、編集位置等のどのタイプのマークであるかを示す情報を記録する。
マークタイムスタンプ(mark_time_stamp)123は、マークが設定されたポイントを示すタイムスタンプを記録するフィールドである。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)124は、マークが設定されたパケットの識別子を記録するフィールドである。
デュレーション(duration)125は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。
この図22に示すプレイリストマーク(PlayListMark)の記録データについても、クリップAVストリームファイルとして従来のMPEG-2TSフォーマットデータが記録されている場合については規定されているが、クリップAVストリームファイルとしてMMTフォーマットデータが記録されている場合については、特に規定されていない。
従って、クリップAVストリームファイルとしてMMTフォーマットデータを記録する場合のプレイリストマーク(PlayListMark)の記録データについて規定する必要がある。
図23に以下のデータ例を示す。
(1)従来のプレイリストマーク情報記録データ(MPEG-2TS対応プレイリスト)
(2)新たなプレイリストマーク情報記録データ(MMT対応プレイリスト)
図23(1)に示す「(1)従来のプレイリストマーク情報記録データ(MPEG-2TS対応プレイリスト)」は、再生対象データが、MPEG-2TSフォーマットデータの場合、プレイリストマーク(PlayListMark)に記録される記録データを示している。
マークタイムスタンプ(mark_time_stamp)は、マークが設定されたポイントを示すタイムスタンプを記録するフィールドである。再生データが、MPEG-2TSフォーマットデータである場合、ここには、マーク設定位置のタイムスタンプを記録する。このタイムスタンプは、MPEG-2TSフォーマットデータの記録再生に用いられる一般的なクロックである45KHzクロックデータとして記録される。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)は、マークが設定されたパケットの識別子を記録するフィールドである。再生データが、MPEG-2TSフォーマットデータである場合、ここには、マーク設定位置のTSパケットのパケットID(PID)を記録する。
デュレーション(duration)は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。再生データが、MPEG-2TSフォーマットデータである場合、ここには、隣接マーク間の時間間隔を、MPEG-2TSフォーマットデータの記録再生に用いられる一般的なクロックである45KHzクロックデータとして記録する。
図23に示す「(2)新たなプレイリストマーク情報記録データ(MMT対応プレイリスト)」は、再生対象データが、MMTフォーマットデータの場合、プレイリストマーク(PlayListMark)に記録される記録データを示している。
再生対象データがMMTフォーマットデータの場合、マークタイムスタンプ(mark_time_stamp)には、マーク設定位置のタイムスタンプを、NTP(ネットワークタイムプロトコル)に従った時間情報として記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
また、エレメンタリストリームパケットIDエントリ(entry_ES_PID)は、マークが設定されたパケットの識別子を記録するフィールドであり、再生データが、MMTフォーマットデータである場合、マーク設定位置のパケットIDとして、MMTパケットのIDを記録する。
デュレーション(duration)は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。このフィールドには、再生データが、MMTフォーマットデータである場合も、MPEG-2TSフォーマットデータと同様、45KHzクロックデータとして記録する。マーク間の時間間隔は、データ記録時に算出可能であり、従来のMPEG-2TSフォーマットデータのデータ記録形式に併せて記録する設定としている。
[6.MMTフォーマットデータ対応のクリップ情報ファイルについて]
次に、図24以下を参照してMMTフォーマットデータ対応のクリップ情報ファイルについて説明する。
先に説明したように、クリップ情報ファイルには、そのクリップ情報ファイルを適用して再生するデータに関する情報が記録される。具体的には、例えば、クリップAVストリームファイルの再生位置情報等を有する。
図24は、1つのクリップ情報ファイルのデータ構成(シンタクス)を示す図である。
クリップ情報ファイルには、クリップ情報に対応付けられた再生データに関する情報が記録される。図24に示すように、例えば、以下の各情報が記録される。
クリップ情報[ClipInfo()]201、
シーケンス情報[SequenceInfo()]202、
プログラム情報[ProgramInfo()]203、
CPI情報[CPI()]204
クリップ情報[ClipInfo()]201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する。
シーケンス情報[SequenceInfo()]202は、このクリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
プログラム情報[ProgramInfo()]203は、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program)に関する情報を記録する。
CPI情報[CPI()]204は、例えば、再生開始点のデータアドレスを取得するためのデータであり、先に図13~15を参照して説明したEP_mapやTU_mapが記録される。
先に図12を参照して説明したように、プレイリストファイルには、CPIタイプ(CPI_type)が記録される。CPIタイプ(CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
次に、図25を参照して、クリップ情報ファイルに記録されるクリップ情報[ClipInfo()]201のデータ構成(シンタクス)について説明する。
前述したように、クリップ情報[ClipInfo()]201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する領域である。
図25に示すように、クリップ情報[ClipInfo()]201には、以下のデータが記録される。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
アプリケーションタイプ(application type)211は、このクリップ情報ファイルによる再生アプリケーションのタイプを示す情報であり、具体的には、通常の画像再生タイプと、スライドショーの再生処理タイプ等が規定される。
クリップストリームタイプ(Clip_stream_type)212は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプを示す情報である。MPEG-2TSフォーマットデータには、通常のMPEG-2TSストリームの他、ストリーム間に黒画を挿入したストリームタイプがあり、これらのタイプの識別情報が記録される。
トランスコードモードフラグ(transcode_mode_flag)213は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータ、すなわち情報記録媒体(メディア)に記録された再生対象データが、放送等の受信データをそのまま記録したものであるか、あるいは所定の圧縮処理等の変換処理を施して記録されたものであるかを示すフラグである。
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらは、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/second の単位で表したものである。
ソースパケット数(num_of_source_packets)216は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのファイルサイズ情報であり、MPEG-2TSフォーマットデータの場合、ソースパケット数が記録される。
このように、図25に示すクリップ情報[ClipInfo()]201には、記録すべきデータとして以下のデータが規定されている。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
しかし、これらのデータは、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータがMPEG-2TSフォーマットデータであることを想定して規定されており、クリップAVストリームファイルに格納されたデータがMMTフォーマットデータである場合を想定したものとはなっていない。
従って、クリップAVストリームファイルに格納されたデータがMMTフォーマットデータある場合のデータ記録態様についての規定が必要となる。
図26は、図25に示すクリップ情報[ClipInfo()]に記録されるアプリケーションタイプ(Application type)211について、
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG-2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG-2TS/MMT対応クリップ情報ファイル)
これらの各データを示した図である。
図26(1)に示す「(1)従来のクリップ情報(ClipInfo)記録データ(MPEG-2TS対応クリップ情報ファイル)」は、再生対象データがMPEG-2TSフォーマットデータである場合にクリップ情報(ClipInfo)に記録されるアプリケーションタイプ(Application type)の設定値と意味の対応データを示している。
再生対象データがMPEG-2TSフォーマットデータである場合、以下の設定となる。
アプリケーションタイプ(Application type)=1の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main TS for a main-path of Movies」、すなわち、画像メインパス対応のメインTS(トランスポートストリーム)の再生アプリケーションであることを示す。
なお、画像再生パスには、メインパス、サブパス等の複数の再生パスが設定可能であり、それぞれ異なるプレイアイテムを利用して再生することができる。
また、アプリケーションタイプ(Application type)=2の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main TS for a main-path of Time based slide show」、すなわち、タイムベーススライドショーのメインパス対応のメインTSの再生アプリケーションであることを示す。
このように、従来は、再生対象データがMPEG-2TSフォーマットデータのみであり、図26(1)に示す設定が利用されていた。
図26(2)に示す「(2)新たなクリップ情報(ClipInfo)記録データ(MPEG-2TS/MMT対応クリップ情報ファイル)」は、再生対象データがMPEG-2TSフォーマットデータ、またはMMTフォーマットデータである場合の2つの異なるフォーマットデータが想定される場合のクリップ情報(ClipInfo)に記録されるアプリケーションタイプ(Application type)の設定値と意味の対応データを示している。
この設定では、図26(1)において説明したアプリケーションタイプ(Application type)=1,2に加え、以下の設定を追加している。
アプリケーションタイプ(Application type)=3
アプリケーションタイプ(Application type)=3の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main MMT for a main-path of Movies」、すなわち、画像メインパス対応のメインMMTの再生アプリケーションであることを示す。
このような設定を追加することで、再生装置は、クリップ情報ファイルの記録データに基づいて、情報記録媒体(メディア)に記録されたクリップAVストリームファイルに格納されたデータがMMTフォーマットデータであることを確認し、MMTフォーマットデータに対応した再生処理を実行することができる。
次に、図27を参照して、図25に示すクリップ情報[ClipInfo()]に記録されるクリップストリームタイプ(Clip_stream_type)212について、
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG-2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG-2TS/MMT対応クリップ情報ファイル)
これらの各データについて説明する。
図27(1)に示す「(1)従来のクリップ情報(ClipInfo)記録データ(MPEG-2TS対応クリップ情報ファイル)」は、再生対象データがMPEG-2TSフォーマットデータである場合にクリップ情報(ClipInfo)に記録されるクリップストリームタイプ(Clip_stream_type)の設定値と意味の対応データを示している。
再生対象データがMPEG-2TSフォーマットデータである場合、以下の設定となる。
クリップストリームタイプ(Clip_stream_type)=1の場合、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプが、「A Clip AV stream of BDAV MPEG-2TS」、すなわち、BDAV MPEG-2TSフォーマットのクリップAVストリームであることを示す。
また、クリップストリームタイプ(Clip_stream_type)=2の場合、このクリップ情報ファイルによる再生データのタイプが、「A Bridge-Clip AV stream of BDAV MPEG-2TS」、すなわち、BDAV MPEG-2TSフォーマットのブリッジタイプのクリップAVストリームであることを示す。
なお、ブリッジタイプのクリップAVストリームとは、ストリーム間に黒画を挿入したタイプのストリームである。
このように、従来は、再生対象データがMPEG-2TSフォーマットデータのみであり、図27(1)に示す設定が利用されていた。
図27(2)に示す「(2)新たなクリップ情報(ClipInfo)記録データ(MPEG-2TS/MMT対応クリップ情報ファイル)」は、再生対象データがMPEG-2TSフォーマットデータ、またはMMTフォーマットデータである場合の2つの異なるフォーマットデータが想定される場合のクリップ情報(ClipInfo)に記録されるクリップストリームタイプ(Clip_stream_type)の設定値と意味の対応データを示している。
この設定では、図27(1)において説明したクリップストリームタイプ(Clip_stream_type)=1,2に加え、以下の設定を追加している。
クリップストリームタイプ(Clip_stream_type)=3
クリップストリームタイプ(Clip_stream_type)=3の場合、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプが、「A Clip AV stream of BDAV MMT」、すなわち、BDAV MMTフォーマットのクリップAVストリームであることを示す。
このような設定を追加することで、再生装置は、クリップ情報ファイルの記録データに基づいて、情報記録媒体(メディア)に記録されたクリップAVストリームファイルに格納されたデータがMMTフォーマットデータであることを確認し、MMTフォーマットデータに対応した再生処理を実行することができる。
ここまで、図25に示すクリップ情報[ClipInfo()]201に記録すべきデータの変更例として、
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
これら2つのデータについて説明した。
次に、図25に示すクリップ情報[ClipInfo()]201に記録すべき以下のデータについて、MMTフォーマットデータ対応のデータ記録例について説明する。
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
トランスコードモードフラグ(transcode_mode_flag)213は、前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイル格納データが、放送等の受信データをそのまま記録したものであるか、あるいは所定の圧縮処理等の変換処理を施して記録されたものであるかを示すフラグである。
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
この設定は、MMTフォーマットデータに対しても、同様の設定で利用できる。
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらは、前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
このビットレート情報は、TSパケットを基準として算出することを前提としており、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートを記録する必要がある。あるいは、再生対象データがMMTフォーマットである場合、このフィールドには無効値を記録し、ビットレート情報を利用しない設定としてもよい。
なお、MMTフォーマットに応じたビットレートを記録する場合には、以下のいずれかの方法でMMTフォーマットに応じたビットレートを取得して記録する。
(例1)STCシーケンス間でファイルサイズを時間で割り算してビットレートを算出して記録する。
(例2)データの記録時の圧縮処理において取得される記録データ情報に基づいてビットレートを算出して記録する。
(例3)送信装置からの受信情報、例えば制御情報であるシグナリング情報(SI)に含まれるコンテンツコピー制御記述子に含まれるビットレート情報を取得して記録する。
なお、(例1)におけるSTCシーケンスとは、一つのSTC(システムタイムクロック)による連続再生されるソースパケットのシーケンスである。STCシーケンス間でファイルサイズを時間で割り算してビットレートを算出して記録することができる。
一つのSTC(システムタイムクロック)は、一つのPCR(プログラムクロックリフェランス)を基準として規定されるクロックであり、一つのSTCシーケンスに属するソースパケットは、1つのSTC(例えば45KHz)によって再生制御される。
なお、STCについては、図28以下を参照して説明するシーケンス情報[SequenceInfo()]の説明の中で詳細に説明する。
(例3)における制御情報であるシグナリング情報(SI)とは、例えば、先に図2を参照して説明したMMTフォーマットデータにおけるTLVフォーマットに従ったシグナリング情報(TLV-SI)や、MMTPパケットに格納されるシグナリング情報(MMT-SI)である。
これらのシグナリング情報内のコンテンツコピー制御記述子からビットレート情報を取得して記録することができる。
さらに、ソースパケット数(num_of_source_packets)216は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのファイルサイズ情報である。
前述したように、再生対象データがMPEG-2TSフォーマットデータの場合、ソースパケット数が記録される。
先に図6を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
しかし、再生対象データがMMTフォーマットデータである場合は、先に図7を参照して説明したように、MMTフォーマットデータの構成パケットとなるMMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
従って、ソースパケット数(num_of_source_packets)216のフィールドにパケット数を記録してもデータサイズが把握できない。
再生対象データがMMTフォーマットの場合、このフィールドには、MMTフォーマットに従ったMMTPパケットのファイルサイズ、すなわち、図7(c)や図3(c)に示すMMTPパケットのファイルサイズを取得して記録する。
あるいは、再生対象データがMMTフォーマットの場合、このフィールドには無効値を記録して非利用フィールドとしてもよい。
次に、図28を参照して、先に図24を参照して説明したクリップ情報ファイルに記録されるシーケンス情報[SequenceInfo()]202のデータ構成(シンタクス)について説明する。
前述したように、シーケンス情報[SequenceInfo()]202には、クリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
図28に示すように、シーケンス情報[SequenceInfo()]202には、以下のデータが記録される。
(a)ATCスタート位置SPN(SPN_ATC_start)221
(b)STCシーケンス数(num_of_STC_sequence)222
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223
(d)STCスタート位置SPN(SPN_STC_start)224、
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
これらのデータの説明の前に、図29を参照して、再生対象データを格納したクリップAVストリームファイルのパケット構成と再生処理例について説明する。
図29には、(a)クリップAVストリームファイルに格納されたパケット列を示している。MPEG-2TSフォーマットデータの場合、1つの矩形が1つのTSパケットに相当する。
図29の例ではパケットナンバー0~nnまでが1つのクリップAVストリームファイルの構成データである。
この一つのクリップAVストリームファイルのパケットは、一つのATC(アライバルタイムクロック)に従って並べられたパケット列である。
この一つのATCに従って並べられたパケット列をATCシーケンスと呼ぶ。
図29に示す一つのクリップ情報ファイルのパケット0~nnには、1つ以上のSTCシーケンスが含まれる。図29に示す例では、3つのSTCシーケンスを含んでいる。STCシーケンス#0~#2である。
一つのSTC(システムタイムクロック)は、一つのPCR(プログラムクロックリフェランス)を基準として規定されるクロックであり、一つのSTCシーケンスに属するソースパケットは、1つのSTC(例えば45KHz)によって再生制御される。
図29に示すSTCシーケンス#0は、PCR格納パケットaに格納されたPCR(プログラムクロックリフェランス)を基準として規定されるクロックであるSTC(システムタイムクロック)に従って連続再生可能なパケット列である。
STCシーケンス#1は、PCR格納パケットbに格納されたPCR、
また、STCシーケンス#2は、PCR格納パケットcに格納されたPCRを、各々基準として規定されるSTCに従って連続再生可能なパケット列である。
なお、図29に示す例は、1つのATCシーケンス中に3つのSTCシーケンスを含む例として説明したが、1つのATCシーケンス中に含まれるSTCシーケンスの数は様々な設定が可能である。
図28に戻り、クリップ情報ファイルに記録されるシーケンス情報[SequenceInfo()]202の記録データについて説明する。
(a)ATCスタート位置SPN(SPN_ATC_start)221は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルのATCスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
図29を参照して説明した例では、
ATCスタート位置SPN(SPN_ATC_start)=0となる。
(b)STCシーケンス数(num_of_STC_sequence)222には、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれるSTCシーケンス数を記録する。
図29を参照して説明した例では、
STCシーケンス数(num_of_STC_sequence)=3となる。
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223には、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンス対応のPCR(プログラムクロックリフェランス)を格納したパケットのパケット識別子を記録する。
(d)STCスタート位置SPN(SPN_STC_start)224には、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる、各STCシーケンスのスタート位置のSPN(ソースパケットナンバー)を記録する。
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
これらには、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する。なお、この時間情報としては、STC時間情報(stc_id)、ATC時間情報(atc_id)の両者を記録する。
上述した説明は、このクリップ情報ファイルによる再生対象データがMPEG-2TSフォーマットデータの場合の記録データの例である。
次に、このクリップ情報ファイルによる再生対象データがMMTフォーマットデータの場合の各記録データについて説明する。
(a)ATCスタート位置SPN(SPN_ATC_start)221は、前述したように、クリップ情報ファイルによる再生対象となるクリップAVストリームファイルのATCスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
先に図6を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
しかし、再生対象データがMMTフォーマットデータである場合は、先に図7を参照して説明したように、MMTフォーマットデータの構成パケットとなるMMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
従って、ATCスタート位置SPN(SPN_ATC_start)221のフィールドにパケットナンバーを記録してもデータサイズが把握できない。
この理由から、再生対象データがMMTフォーマットデータの場合、MMTフォーマットデータ対応クリップ情報ファイルの、
ATCスタート位置SPN(SPN_ATC_start)221には、
クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(b)STCシーケンス数(num_of_STC_sequence)222は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれるSTCシーケンス数を記録する領域である。
再生対象データがMMTフォーマットデータの場合、
STCシーケンス数(num_of_STC_sequence)=1とする。
すなわち、1つのATCシーケンスに1つのSTCシーケンスのみが含まれる設定とする。
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンス対応のPCR(プログラムクロックリフェランス)を格納したパケットのパケット識別子を記録する領域である。
再生対象データがMMTフォーマットデータの場合、パケット識別子からのデータ位置特定ができないので、このフィールドには無効値を記録し、利用しない設定とする。
(d)STCスタート位置SPN(SPN_STC_start)224は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる、各STCシーケンスのスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
再生対象データがMMTフォーマットデータの場合、先に説明した(a)ATCスタート位置SPN(SPN_ATC_start)221と同様、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
これらは、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する領域である。
再生対象データがMMTフォーマットデータの場合、これらの時間情報としてNTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図19他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
次に、図30を参照して、先に図24を参照して説明したクリップ情報ファイルに記録されるプログラム情報[ProgramInfo()]203のデータ構成(シンタクス)について説明する。
前述したように、プログラム情報[ProgramInfo()]203には、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program)に関する情報を記録する。
図30に示すプログラム情報[ProgramInfo()]に記録される主なデータについて説明する。
(a)プログラムシーケンス数[num_of_program_sequences]231には、クリップ情報ファイルに含まれるプログラムシーケンス(program_sequence)の数が記録される。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232には、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスが記録される。
(c)プログラムマップPID[program_map_PID[i]]233には、プログラムシーケンス(program_sequence)のマップの格納位置情報が記録される。

なお、プログラムシーケンスとは、クリップAVストリームファイルに含まれるAVストリーム中の符号化情報が連続な区間である。
例えば、一つの画像符号化態様で符号化された画像データ区間や、一つの音声符号化態様で符号化された音声データ区間等が、各々個別のプログラムシーケンスとして規定される。
これら、図30に示すプログラム情報[ProgramInfo()]の記録データ、すなわち、
(a)プログラムシーケンス数[num_of_program_sequences]231、
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232、
(c)プログラムマップPID[program_map_PID[i]]233、
これらのデータ記録態様は、このクリップ情報ファイルによる再生対象データが、MPEG-2TSフォーマットである場合については規定されているが、再生対象データがMMTフォーマットデータである場合の規定は無く、新たに規定することが必要となる。
(a)プログラムシーケンス数[num_of_program_sequences]231は、
再生対象データがMPEG-2TSフォーマット、MMTフォーマット、いずれの場合もプログラムシーケンス数を記録すればよい。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232については、再生対象データがMPEG-2TSフォーマットである場合は、SPNプログラムシーケンスの開始位置のSPN(ソースパケットナンバー)を記録する。
一方、再生対象データがMMTフォーマットデータである場合は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(c)プログラムマップPID[program_map_PID[i]]233については、再生対象データがMPEG-2TSフォーマットである場合は、プログラムシーケンス(program_sequence)のマップが格納されているパケットの識別子(PID)を記録する。
一方、再生対象データがMMTフォーマットデータである場合は、無効値を記録し、利用しない設定とする。
次に、図31以下を参照して、先に図24を参照して説明したクリップ情報ファイルに記録されるCPI情報[CPI()]204のデータ構成(シンタクス)について説明する。
CPI情報[CPI()]204は、例えば、再生開始点のデータアドレスを取得するためのデータであり、先に図13~15を参照して説明したEP_mapやTU_mapが記録される。
前述したように、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
図31に示すように、CPIタイプ=1の場合は、EPマップが記録され、CPIタイプ=2の場合は、TUマップが記録される。
なお、図31に示す例は、再生対象データがMPEG-2TSフォーマットデータの場合の例である。先に図16を参照して説明したように、再生対象データがMPEG-2TSフォーマットデータの場合は、CPIタイプ=1,2の設定があり、EPマップ、TUマップいずれも利用可能な設定とされる。
一方、再生対象データがMMTフォーマットデータの場合は、先に図16を参照して説明したように、CPIタイプ=3の設定となり、EPマップのみ利用可能な設定とする。
EPマップは、先に図13~図15を参照して説明したように、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報を記録したマップである。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)と、パケット位置情報に相当するパケット取得のためのアドレス情報(SPN:ソースパケットナンバー)との対応データが記録されている。
再生装置は、EPマップを利用することで、ランダムアクセス可能なデータ位置に対応するタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に基づいて、そのデータ位置に対応するデータを格納したパケットのパケットナンバー(SPN)を取得し、取得したSPNの設定パケットを取得して再生を行うことができる。
EPマップのデータ構成(シンタクス)について、図32以下を参照して説明する。
図32は、クリップ情報ファイルに格納されるEPマップのデータ構成(シンタクス)を示す図である。
先に図14(A)を参照して説明したように、クリップAVストリーム(Clip AV stream)は、パケット識別子:PIDで識別されるソースパケットからなるビデオストリームが多重化されている。ビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPIDにより区別される。
EPマップは、各PIDで識別される一つのストリームPID(one_stream_PID)単位で設定される。
すなわち、図32のEPマップ記録領域242に、一つのストリームPID(one_stream_PID)単位のEPマップ(EP_map_for_one_stream_PID)が記録される。
このEPマップ記録領域242の具体的なデータ例を図33に示す。
図33に示すように、EPマップは、以下のデータ記録領域を持つ。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
EPマップは、データ量の削減と、PTSからSPNの検索処理の効率化を実現するため、2つのテーブルによって構成されている。
この2つのテーブル構成について、図34を参照して説明する。
EPマップは、図34に示すように、以下の2つのテーブルから構成される。
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
(a)粗いEPマップ(EP_coarse)は、PTSのビットデータと、SPNのビットデータの各ビットデータについて、上位ビットのみからなる対応データを格納している。
(PTS_EP_coarse)252と、(SPN_EP_coarse)253との対応データである。
一方、(b)詳細EPマップ(EP_fine)は、PTSのビットデータと、SPNのビットデータの下位ビットのみからなる対応データを格納している。
(PTS_EP_fine)254と、(SPN_EP_fine)255との対応データである。
さらに、粗いEPマップ(EP_coarse)には、PTS-SPN対応データ各々に対応付けて、詳細EPマップ参照データ(ref_to_EP_fine)251を格納している。
PTSに基づいて、SPNを取得しようとする再生装置は、まず、PTSの上位ビットに基づいて、粗いEPマップ(EP_coarse)を参照して、該当エントリを取得し、さらに、取得したエントリに設定された詳細EPマップ参照データ(ref_to_EP_fine)251を取得して、その参照位置に対応する詳細EPマップ(EP_fine)のデータ位置にアクセスして、PTSの下位ビットに基づいて詳細なSPNを取得する。
図33に示すEPマップデータには、図34を参照して説明した2つのテーブルを利用した処理を実行するための以下の各データが記録される。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
しかし、このEPデータは、再生対象データがMPEG-2TSフォーマットデータである場合に適用可能なデータであり、再生対象データがMMTフォーマットデータである場合は、このまま利用することができない。
従って、MMTフォーマットデータ対応のクリップ情報ファイルには、MMTフォーマットデータ対応のEPマップを記録する必要がある。
[7.MMTフォーマットデータに対応したEPマップの構成例について]
次に、MMTフォーマットデータに対応したEPマップの構成例について説明する。
先に、図9、図10を参照して説明したように画像、音声、字幕等のMMTフォーマットデータを格納したクリップAVストリームファイルは、MMTPパケットのパケット列(図9)、またはTLVパケットのパケット列(図10)として記録する予定となっている。
MMTPパケットには、画像、音声、さらに、先に図19を参照して説明したMMTパッケージテーブル(MPT:MMT Package Table)等の制御情報(SI)等も格納されており、これらのデータを含むパケット列が、クリップAVストリームファイルとしてBD等のメディアに記録される。
例えば、図11を参照して説明したMMTフォーマットデータ格納クリップAVストリームファイル71が、MMTPパケット、またはTLVパケットのパケット列によって構成されることになる。
画像等の再生対象データを格納したパケット(MMTPパケットまたはTLVパケット)には、ランダムアクセス可能な再生データを格納したパケットも含まれる。
ランダムアクセス再生を行うためには、クリップ情報ファイルに記録されたEPマップを利用した処理が行われることになる。
従来のMPEG-2TSフォーマットデータ対応のEPマップには、先に図12以下を参照して説明したように、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報が記録されている。
すなわち、従来型のTSパケット対応のEPマップには、再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)と、パケット位置情報に相当するパケット取得のためのアドレス情報(SPN:ソースパケットナンバー)との対応データが記録されている。
再生装置は、EPマップを利用することで、ランダムアクセス可能なデータ位置に対応するタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に基づいて、そのデータ位置に対応するデータを格納したパケットのパケットナンバー(SPN)を取得し、取得したSPNの設定パケットを取得して再生を行うことができる。
しかし、このEPマップの記録データは、再生対象データがMPEG-2TSフォーマットデータである場合に適用可能なデータであり、再生対象データがMMTフォーマットデータである場合は、このまま利用することができない。
この問題点について、図35を参照して説明する。
図35は、記録メディア(BD)に記録されたMMTフォーマットデータから構成されるクリップAVストリームファイルのパケット列の一例を示す図である。
図35の中段に示すのがクリップAVストリームファイルのパケット列であり、個々の四角形がクリップAVストリームファイルを構成する個々のパケット(MMTPパケットまたはTLVパケット)である。
これらのパケットには、画像、音声、字幕、あるいは制御情報(SI)等が個別に格納されている。
パケット列のほぼ中央に示すパケット302が、ランダムアクセス再生可能な画像データを格納した再生データ格納パケット#1,302であるとする。
なお、クリップAVストリームファイルを構成する個々のパケットが、ランダムアクセス再生可能な再生データを格納したパケットであるか否かは、パケットを構成するMMTPパケットのパケットヘッダに設定されたRAP(ランダムアクセスポイント)フラグの設定に基づいて判別可能である。
図36、図37を参照してRAPフラグについて説明する。
図36は、例えば放送局等の送信装置20から情報処理装置30に送信されるMMTフォーマットデータを構成するMMTPパケットのデータ構成(シンタクス)を示す図である。
先に図3を参照して説明したように、MMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。1つのMMTPパケットのMMTPペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、MMTPパケットに格納するシグナリング情報(MMT-SI)、これらいずれか一種類のデータが、個別のMMTPパケットに格納される。
図36は、一つのMMTPパケットのデータ構成を示しており、ヘッダ部311とペイロード部312によって構成される。
ヘッダ部311には、ペイロード部312に格納されたデータの種類等の情報が記録される。ヘッダ部311の記録データの一つとして、ランダムアクセスポイント情報フラグ(RAP_flag)313が記録される。
ランダムアクセスポイント情報フラグ(RAP_flag)313は、
MMTPパケットがランダムアクセスポイントとなるデータを格納したパケットであるか否かを示すフラグであり、
ランダムアクセスポイントとなるデータ格納したパケットである場合は1、
ランダムアクセスポイントとなるデータ格納したパケットでない場合は0、
この設定のフラグが記録される。
例えば、メディアに記録されたデータの再生を実行する再生装置は、クリップAVストリームファイルを構成するパケット列のMMTPパケットヘッダに記録されたランダムアクセスポイント情報フラグ(RAP_flag)を確認して、ランダムアクセスポイントとなり得る再生データを格納しパケットを検出することができる。
図37にランダムアクセスポイント情報フラグ(RAP_flag)の具体的設定例を示す。
メディアからのデータ再生を実行する再生装置は、クリップAVストリームファイル内の各MMTPパケットのヘッダ情報に格納されたRAP_flagの設定値を確認し、RAP_flag=1の設定パケットを検出する。
図37に示す例ではMMTPパケット315,316がRAP_flag=1の設定パケットである。
再生装置は、このRAP_flag=1の設定パケットを抽出してランダムアクセス再生処理を開始することができる。
しかし、ここで、問題となるのが、このRAP_flag=1の設定パケットの中に格納されているデータがMMTフォーマットデータであり、MMTフォーマットデータの再生開始時間等の情報がこのパケットには記録されていないという問題である。
図35に戻り、この問題点について説明する。
再生装置は、図35に示すパケット302が、ランダムアクセス再生可能な再生データを格納したパケットであることをRAPフラグに基づいて確認することができる。
しかし、このパケット302に格納された再生対象データ、例えば画像データの再生に必要となる再生時間情報等のタイムスタンプは、このパケット302ではなく、制御情報(MPT)格納パケット#1,301に格納されている。
制御情報(MPT)格納パケット#1,301は、先に図19を参照して説明したMMTパッケージテーブル(MPT:MMT Package Table)を格納したパケットである。
MMTパッケージテーブル(MPT)は、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルである。
MMTパッケージテーブル(MPT)には、先に図21を参照して説明したように、アセット記述子(asset_descriptors_byte)として、MPU単位の再生時間(提示時間)情報(タイムスタンプ)が記録される。
なお、MPUは、先に図3を参照して説明したように、図3(a)に示すMPU(Media Presentation Unit)であり、MMTフォーマットにおける1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子は、このMPU単位の再生時間情報に相当する。
先に図21を参照して説明したように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)
MPU再生時刻(MPU_presentation_time)
MPUシーケンス番号(MPU_sequenc_number)には、MPUの識別子が記録される。
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
このように、MMTパッケージテーブル(MPT)には、先に図21を参照して説明したように、MPUタイムスタンプ記述子として、MPU単位の再生(提示)時間情報を示すタイムスタンプ(PTS Presentation Timestamp)が記録される。
さらに、MMTパッケージテーブル(MPT)には、MPU拡張タイムスタンプ記述子として、MPU単位の復号(デコード)時間情報を示すタイムスタンプ(DTS Decoding Timestamp)が記録される。
MMTパッケージテーブル(MPT)に記録されるMPU拡張タイムスタンプ記述子のデータ構成(シンタクス)を図38に示す。
図38に示すように、MPU拡張タイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)317、
MPU復号時間オフセット(MPU_decoding_time_offset)318、
MPUシーケンス番号(MPU_sequenc_number)317には、MPUの識別子が記録される。
MPU復号時間オフセット(MPU_decoding_time_offset)318には、MPUの復号時間と再生時間(提示時間)との差分情報が記録される。
このように、MMTパッケージテーブル(MPT)には、アセット記述子(asset_descriptors_byte)として、MPU単位の再生時間(提示時間)情報を示すタイムスタンプ(PTS Presentation Timestamp)と、MPU単位の復号時間を示すタイムスタンプ(DTS Decoding Timestamp)とが記録される。
図35に示すランダムアクセス再生可能な再生データ格納パケット#1,302に格納されたデータの復号、再生処理を行うためには、図35に示す制御情報(MPT)格納パケット#1,301に記録されたタイムスタンプ(PTS/DTS)を取得することが必要となる。
なお、再生データ格納パケット#1,302と、この再生データり再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケット#1,301との送信間隔については規定があり、放送局等の送信装置からの各パケットの送信間隔は2700ms~500msの範囲とするように規定されている。
なお、制御情報(MPT)格納パケット#1については、受信エラー等の対策として、再生データ格納パケット#1,302の後に再送することも許容されている。
放送局等の送信装置から受信されるパケット列を受信して、BD等のメディアに記録する記録装置は、受信パケット列を順次、メディアに記録することになる。
この結果として、図35の中段に示すパケット列(MMTPパケット列またはTLVパケット列)がメディアに記録される。
このようなパケット列が記録されたメディアから再生処理を行う再生装置は、再生データ格納パケット#1,302の再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケット#1を、再生データ格納パケット#1,302の前後のパケット列を順次、調べていけば見つけることができる。
図35に示す(処理例a)は、再生データ格納パケット#1,302の再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケット#1,301を先行配信パケットから選択してタイムスタンプ情報を取得する処理例を示している。
一方、(処理例b)は、再生データ格納パケット#1,302の再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケット#1,303を後続配信パケットから選択してタイムスタンプ情報を取得する処理例を示している。
しかし、これらの処理例a,bのいずれの処理を実行する場合でも、パケット検索が必要となり、データ再生処理の開始時間が遅れてしまう、いわゆる処理遅延が大きくなってしまうという問題がある。
以下、この問題を解決する構成について説明する。
上記の問題を解決するため、MMTフォーマットデータ対応のクリップAVストリームファイルをBD等のメディアに記録する際に、MMTフォーマットデータ対応のEPマップを記録したクリップ情報ファイルを生成してメディアに記録する。
以下、このMMTフォーマットデータ対応のEPマップの複数の具体例について説明する。
MMTフォーマットデータ対応のEPマップについて、以下の3つの具体例について、順次、説明する。
(a)MMTフォーマットデータ対応のEPマップ例1
(b)MMTフォーマットデータ対応のEPマップ例2
(c)MMTフォーマットデータ対応のEPマップ例3
(7-1.MMTフォーマットデータ対応のEPマップ例1)
まず、図39以下を参照して、
(a)MMTフォーマットデータ対応のEPマップ例1
について説明する。
図39は、「(a)MMTフォーマットデータ対応のEPマップ例1」のデータ構成(シンタクス)を示す図である。
(a)MMTフォーマットデータ対応のEPマップ例1は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)321、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
バイトオフセット記録領域(byte_offset)323、
NTP時間記録領域(NTP_time)321には、64ビットのNTP(ネットワークタイムプロトコル)時間を記録する。
この時間情報は、例えば、このEPマップを適用して再生される再生データに含まれるランダムアクセス先の再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に相当する。
なお、EPマップに記録されるNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図19他を参照して説明したMPT(MMTパッケージテーブル)等の制御情報(SI)から取得される。
MMTバイトアドレス記録領域(MMT_byte_adress)322には、このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報を記録する。
具体的には、例えば画像(V)、音声(A)、あるいは字幕等、再生対象データ格納パケット(MMTPパケットまたはTLVパケット)の位置情報として、このパケットが格納されたクリップAVストリームファイルの先頭パケット(MMTPパケットまたはTLVパケット)の先頭位置からのバイト数を記録する。例えば64ビットでバイト数を記録する。
再生装置は、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
このデータを利用して、再生データ格納パケットのパケット位置を即座に検出することが可能となる。
すなわち、図40(1),(2)に示す再生データ格納パケット#1,332に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
なお、先に図33、図34を参照して説明したMPEG-2TSフォーマット対応のEPマップは、
PTS(プレゼンテーションタイムスタンプ)と、SPN(ソースパケットトナンバー)との対応データを記録した構成である。
これに対して、MMTフォーマットでは、
PTSの代わりに、NTP(ネットワークタイムプロトコル)時間を利用し、
SPNの代わりに、MMTバイトアドレスを利用する構成とする。
このようにデータを置き換える理由は、MMTフォーマットに従って放送局等から送信されるデータには、MPEG-2TSフォーマットで規定されるPTSやSPNに一致するデータがないこと。また、MPEG-2TSフォーマットのTSパケットのサイズが固定(188バイト)であるのに対して、MMTフォーマットに従ったMMTPパケットは固定されていない可変長パケットであることが理由である。
なお、図33、図34を参照して説明したMPEG-2TS対応のEPマップは、2つのマップ、すなわち、
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
これらの2つのマップの構成を有しているが、図39(a)に示すMMTフォーマットデータ対応のEPマップは、1つのマップからなる設定である。
さらに、図39(a)に示すMMTフォーマットデータ対応のEPマップには、
バイトオフセット記録領域(byte_offset)323が設定される。
このバイトオフセット記録領域(byte_offset)323には、このEPマップを適用して再生される再生データを格納した再生データ格納パケットのパケット位置と、その再生データ格納パケットの再生処理に適用するタイムスタンプ情報等を格納した制御情報格納パケットとの離間距離に相当するオフセット情報がバイト情報として記録される。
オフセット情報の具体例について、図40を参照して説明する。
図40には、図39のバイトオフセット記録領域(byte_offset)323に記録するオフセット情報の以下の2つの例を示している。
(例1)再生データに先行するタイムスタンプ格納パケット位置を示すオフセット情報(byte_offset)の例
(例2)再生データの後のタイムスタンプ格納パケット位置を示すオフセット情報(byte_offset)の例
まず、「(例1)再生データに先行するタイムスタンプ格納パケット位置を示すオフセット情報(byte_offset)の例」について説明する。
この(例1)は、図39に示すEPマップを適用した再生対象データを格納した再生データ格納パケット#1,332に先行して、そのパケットの再生に適用するタイムスタンプ情報を格納した制御情報格納パケット#1,331が記録されている場合の例である。
この場合、図39に示すEPマップのバイトオフセット記録領域(byte_offset)323に記録するオフセット情報は、図40(1)に示すように、再生データ格納パケット#1,332の先頭位置から、先行する制御情報格納パケット#1,331の先頭位置の距離に相当するバイト情報となる。
また、図40(2)に示す「(例2)再生データの後のタイムスタンプ格納パケット位置を示すオフセット情報(byte_offset)の例」は、図39に示すEPマップを適用した再生対象データを格納した再生データ格納パケット#1,332の後側のデータ記録位置に、このパケットの再生に適用するタイムスタンプ情報を格納した制御情報格納パケット#1,333あが記録されている場合の例である。
この場合、図39に示すEPマップのバイトオフセット記録領域(byte_offset)323に記録するオフセット情報は、図40(2)に示すように、再生データ格納パケット#1,332の先頭位置から、後側の制御情報格納パケット#1,333の先頭位置の距離に相当するバイト情報となる。
図39に示すEPマップのバイトオフセット記録領域(byte_offset)323に記録するオフセット情報は、このように図40(1),(2)に示す2つのパターンがあり、これらを区別するための情報もEPマップに記録する。
具体的には、例えば、再生データ格納パケットと、制御情報格納パケットの離間距離を示すバイト情報を31ビット情報として記録し、さらに、制御情報格納パケットが、再生データ格納パケットより前方のデータ記録位置にあるか、後方のデータ記録位置にあるかを識別するための制御情報記録位置識別フラグ(Plus_minus_flag)を1ビット記録する。
例えば、図40(1)に示すように、再生データ格納パケットより、前方位置に制御情報格納パケットが位置していることを示す場合は、
制御情報記録位置識別フラグ(Plus_minus_flag=0
とする。
また、図40(2)に示すように、再生データ格納パケットより、後方位置に制御情報格納パケットが位置していることを示す場合は、
制御情報記録位置識別フラグ(Plus_minus_flag=1
とする。
このように、再生データ格納パケットと、制御情報格納パケットの離間距離とその方向を含む情報をEPマップに記録することで、再生装置は、EPマップを参照して、ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに対応するタイムスタンプ(PTS/DTS)を記録した制御情報格納パケットの記録位置を即座に把握することが可能となり、再生遅延を発生させることのないスムーズな再生処理を開始することが可能となる。
再生装置が、MMTフォーマットデータを格納したクリップAVストリームを再生対象として選択し、EPマップを適用したランダムアクセス再生処理を行う場合の処理手順は以下の通りとなる。
まず、再生装置は、図39に示すEPマップから、
NTP時間記録領域(NTP_time)321、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
これらのデータを読み取り、ランダムアクセスポイントとなるデータ位置を検出し、再生データ格納パケットから再生対象データを取得する。
次に、図39に示すEPマップから、
バイトオフセット記録領域(byte_offset)323、
を読み取り、取得した再生データの再生に適用するタイムスタンプ(PTS/DTS)を記録した制御情報格納パケットの記録位置を確認し、制御情報格納パケットを取得して、制御情報からタイムスタンプ(PTS/DTS)を取得する。
さらに、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
このように、再生装置は、図39に示すMMTフォーマットデータ対応のEPマップを参照することで、遅延のないスムーズなランダムアクセス再生処理を実行することができる。
なお、図39に示すEPマップは1つのオフセット情報のみを記録可能な構成としているが、例えば、メディアに記録した再生データ格納パケットに対応する制御情報格納パケットが、メディアに複数個、記録されている場合がある。
これらのすべての制御情報格納パケットの位置を示すように複数のバイトオフセット情報を記録する構成としてもよい。
図41は、このような設定を持つEPマップの構成例を示している。
図41は、「(a-2)MMTフォーマットデータ対応のEPマップ例1(変形例)」のデータ構成(シンタクス)を示す図である。
(a-2)MMTフォーマットデータ対応のEPマップ例1(変形例)においては、
タイムスタンプの記録された制御情報格納パケットの位置を示すバイトオフセット記録領域(byte_offset)323の前段に、
「ループ設定データ(for(i=0;i<num_of_timestamp;i++)記録領域324」
を設定した構成を持つ。
「ループ設定データ(for(i=0;i<num_of_timestamp;i++)記録領域324」以下には、複数のバイトオフセット(byte_offset)を記録可能としたループが設定される。
このようなループ設定とすることで、複数の制御情報格納パケットの位置を示す複数のバイトオフセット(byte_offset)が記録可能となる。
(7-2.MMTフォーマットデータ対応のEPマップ例2)
次に、図42に示す、
(b)MMTフォーマットデータ対応のEPマップ例2
ついて説明する。
図42は、「(b)MMTフォーマットデータ対応のEPマップ例2」のデータ構成(シンタクス)を示す図である。
この図42に示すEPマップ例2は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)341、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
バイトオフセット記録領域(byte_offset)343、
これらの記録領域の名称は、先に説明した図39(a)に示す例1と同様の名称であるが、本例において、
「MMTバイトアドレス記録領域(MMT_byte_adress)342」は、
このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報ではなく、このEPマップを適用して再生される再生対象データの再生処理に適用する再生制御情報格納パケットのパケット位置を示すアドレス情報の記録領域である。
この設定を持つEPマップを利用して再生を行う再生装置は、
EPマップに記録された、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
このデータを利用して、制御情報格納パケットのパケット位置を即座に検出することが可能となる。
すなわち、図43に示す制御情報(MPT)格納パケット#1,351に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
バイトオフセット記録領域(byte_offset)343は、先に図39~図40を参照して説明した例1と同様、このEPマップを適用して再生される再生データを格納した再生データ格納パケットのパケット位置と、その再生データ格納パケットの再生処理に適用するタイムスタンプ情報等を格納した制御情報格納パケットとの離間距離に相当するオフセット情報がバイト情報として記録される。
なお、先に図39~図41を参照して説明した例1では、再生データ格納パケットのパケット位置を基準位置として、その基準位置から、タイムスタンプ情報等を格納した制御情報格納パケットまでの離間距離をバイトオフセット記録領域(byte_offset)323に記録していた。
本例では、タイムスタンプ情報等を格納した制御情報格納パケットのパケット位置を基準位置として、この基準位置から、再生データ格納パケットのパケット位置までの距離をバイトオフセット記録領域(byte_offset)343に記録する。
図43を参照してバイトオフセット記録領域(byte_offset)343の記録データについて説明する。
EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
画像対応のEPマップには、図43に示すように、タイムスタンプ情報等を格納した制御情報格納パケット351のパケット位置を基準位置として、この基準位置から、再生データとしての画像(V)を格納した再生データ(V)格納パケット352のパケット位置までの距離(byte_offset(V))が記録される。
さらに、音声(A1)対応のEPマップには、図43に示すように、タイムスタンプ情報等を格納した制御情報格納パケット351のパケット位置を基準位置として、この基準位置から、再生データとしての音声(A1)を格納した再生データ(A1)格納パケット353のパケット位置までの距離(byte_offset(A1))が記録される。
さらに、音声(A2)対応のEPマップには、図43に示すように、タイムスタンプ情報等を格納した制御情報格納パケット351のパケット位置を基準位置として、この基準位置から、再生データとしての音声(A2)を格納した再生データ(A2)格納パケット354のパケット位置までの距離(byte_offset(A2))が記録される。
なお、図には示していないが、字幕についても同様に、再生データとしての字幕を格納した再生データ格納パケットのパケット位置までの距離(byte_offset)を記録したEPマップが設定される。
このように、EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
また、先に図37~図39を参照して説明した例1と同様、EPマップには、再生データ格納パケットと制御情報格納パケットの離間距離のみならず、制御情報格納パケットの記録位置を基準位置として、再生データ格納パケットが前方、後方のいずれに記録されているかを示す方向情報、すなわち再生データ記録位置識別フラグ(Plus_minus_flag)を記録する設定としてもよい。
再生装置が、MMTフォーマットデータを格納したクリップAVストリームを再生対象として選択し、図42に示すEPマップを適用したランダムアクセス再生処理を行う場合の処理手順は以下の通りとなる。
まず、再生装置は、図42に示すEPマップから、
NTP時間記録領域(NTP_time)341、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
これらのデータを読み取り、制御情報格納パケットの記録位置を検出する。
次に、図42に示すEPマップから、
バイトオフセット記録領域(byte_offset)343、
を読み取り、ランダムアクセス再生対象データを格納した再生データ格納パケットの記録位置を確認し、再生データを取得する。
さらに、制御情報格納パケットからタイムスタンプ(PTS/DTS)を取得し、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
このように、再生装置は、図42に示すMMTフォーマットデータ対応のEPマップを参照することで、遅延のないスムーズなランダムアクセス再生処理を実行することができる。
(7-3.MMTフォーマットデータ対応のEPマップ例3)
次に、図44に示す、
(c)MMTフォーマットデータ対応のEPマップ例3
について説明する。
図44は、「(c)MMTフォーマットデータ対応のEPマップ例3」のデータ構成(シンタクス)を示す図である。
この図44に示すEPマップ例3は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
MPT記録タイムスタンプ情報記録領域363、
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
これらの記録領域のデータは、先に説明した図38(a)に示す例1と同様のデータである。
MMTバイトアドレス記録領域(MMT_byte_adress)362は、このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報である。
MPT記録タイムスタンプ情報記録領域363は、
MMTフォーマットデータとして送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)に記録されているタイムスタンプ(PTS/DTS)情報のコピーデータを記録する領域である。
記録装置は、送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)を参照して、
再生(提示)時間情報を示すタイムスタンプであるPTS(プレゼンテーションタイムスタンプ)、さらに、復号時間を示すタイムスタンプであるDTS(デコーディングタイムスタンプ)に関するデータを抽出して、EPマップに記録する。
送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)には、先に図21を参照して説明したように、MPUタイムスタンプ記述子として、MPU単位の再生(提示)時間情報を示すタイムスタンプ(PTS Presentation Timestamp)が記録されている。
さらに、先に図38を参照して説明したように、MPU拡張タイムスタンプ記述子として、MPU単位の復号時間情報を示すタイムスタンプ(DTS Decoding Timestamp)が記録されている。
記録装置は、これらのデータをMMTパッケージテーブル(MPT)から取得してEPマップに記録する。
図45を参照して、メディアに対するデータ記録を行う際の処理と、メディアからのデータ再生を行う際の処理について説明する。
まず、メディアに対するデータ記録を行う記録装置は、送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)を格納した制御情報格納パケット351から、再生(提示)時間情報を示すタイムスタンプであるPTS(プレゼンテーションタイムスタンプ)、さらに、復号時間を示すタイムスタンプであるDTS(デコーディングタイムスタンプ)に関するデータを抽出して、EPマップに記録する。図45に示すステップS11の処理である。
なお、EPマップは、クリップ情報ファイルに記録される。
次に、メディアからのデータ再生を実行する再生装置の処理について説明する。
図44に示すデータ構成を持つEPマップを利用して再生を行う再生装置は、図45に示すように、ステップS21において再生時にEPマップを参照して再生処理を実行する。
まず、図44に示すEPマップに記録された、
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
このデータを利用して、図45に示す再生データ格納パケット#1,372のパケット位置を検出する。
次に、図44に示すEPマップから、
MPT記録タイムスタンプ情報記録領域363、
の記録データを読み取り、タイムスタンプ(PTS/DTS)を取得し、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
このように、再生装置は、図44に示すMMTフォーマットデータ対応のEPマップを参照することで、遅延のないスムーズなランダムアクセス再生処理を実行することができる。
[8.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について]
次に、図46以下を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
先に説明したように、本開示の情報処理装置は、MMTフォーマットに従った入力データを、BDAVフォーマットデータとして、BDやHD、あるいはフラッシュメモリ等の情報記録媒体に記録する。
さらに、このデータ記録処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等を記録する。
これらの情報は、例えば、MMTフォーマットに従った入力データに含まれる制御情報であるTLV-SIや、MMT-SIを構成する様々な情報記録テーブルから取得する。情報処理装置は、受信データから様々な情報を取得して、BDAVフォーマットにおいて規定されるプレイリストやクリップ情報ファイル等のデータベースファイルに、メディア記録コンテンツ対応の情報を記録する。
以下、このようなプレイリストやクリップ情報ファイルを記録した情報記録媒体の生成処理、具体的には、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と、処理シーケンスについて説明する。
図46は、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置400の構成を示す図である。
情報処理装置400は、情報記録媒体(記録メディア)420に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部401は、情報記録媒体420に対するMMTフォーマットデータ431、すなわち画像データ、音声データ、字幕データ等を含むMMTフォーマットデータ431を入力する。
データ入力部401は、MMTフォーマットデータ431を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、MMTフォーマットデータ431を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
データ入力部401から入力するMMTフォーマットデータ431は、先に図2を参照して説明したデータフォーマットに従ったデータであり、例えばHEVC画像等の高精細画像データが含まれている。
MMTフォーマットデータ431は、制御部403の制御によって、記憶部404に格納される。
ユーザ入力部402は、例えば情報記録媒体420に対するデータ記録の開始要求等を入力する。
ユーザ入力部402から、データ記録開始要求を入力すると、この入力をトリガとして、記憶部404に格納されたMMTフォーマットデータ431が、デマルチプレクサ(DeMUX)405に入力される。
デマルチプレクサ(DeMUX)405は、MMTフォーマットデータ431から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ生成部406の字幕データ生成部411、画像データ生成部412、音声データ生成部413、補助情報生成部414に入力する。
字幕データ生成部411は、データ入力部401が入力し、記憶部404に格納されたMMTフォーマットデータ331から、字幕データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
画像データ生成部412は、データ入力部401が入力し、記憶部404に格納されたMMTフォーマットデータ331から、画像データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
音声データ生成部413は、データ入力部401が入力し、記憶部404に格納されたMMTフォーマットデータ431から、音声データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
補助情報生成部414は、データ入力部401が入力し、記憶部404に格納されたMMTフォーマットデータ431から、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、BDAVフォーマットにおいて規定されるデータベースファイルとしてのプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルに格納すべきデータを生成する。
マルチプレクサ(MUX)415は、字幕データ生成部411、画像データ生成部412、音声データ生成部413が変換した字幕、画像、音声各データ、および補助情報生成部414がMMTフォーマットデータ331のシグナリング情報(TLV-SI,MMT-SI)等から取得した様々な情報を入力し、これらのデータを格納したストリームファイルを生成する。
データベースファイル生成部416は、補助情報生成部414がMMTフォーマットデータ431のシグナリング情報(TLV-SI,MMT-SI)から取得した様々な情報を記録したプレイリストファイルやクリップ情報ファイル等のデータベースファイルを生成する。
記録データ生成部406の生成したストリームファイルデータと、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ432は、制御部403の制御の下、記録部406によって、ドライブ407を介して情報記録媒体420に出力され、記録される。
次に、図46に示す情報処理装置400が実行する情報記録媒体420に対するデータ記録処理のシーケンスについて、図47に示すフローチャートを参照して説明する。
図47に示すフローに従った処理は、例えば情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
以下、図49のフローに示す各ステップの処理について、順次、説明する。
(ステップS101)
まず、情報処理装置400は、ステップS101において、データ入力部401を介して記録用データであるMMTフォーマットデータを入力する。
なお、この記録用データには画像データ、音声データ、字幕データ、さらに、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等が含まれる。
(ステップS102)
次に、ステップS102において、情報処理装置400は、入力したMMTフォーマットデータのデマルチプレクス処理、すなわち、データ種類単位のデータ分離処理を行う。画像、音声、字幕、制御情報等の分離処理を実行する。
(ステップS103)
次に、ステップS103において、情報処理装置400は、ステップS102で分離した制御情報、例えばシグナリング情報(TLV-SI,MMT-SI)をメモリに格納する。
(ステップS104)
次に、ステップS104において、情報処理装置400は、ステップS102で分離した画像、音声、字幕核データの少なくともいずれかのデータの再エンコード処理を実行する。
なお、この処理は、情報記録媒体に記録するデータのエンコード態様を変更する場合に行う処理であり、受信データをそのまま記録する場合は、この再エンコード処理は不要である。
(ステップS105)
次に、ステップS105において、情報処理装置400は、ステップS103でのエンコード後のデータを含む画像、音声、字幕、さらに、再生制御情報等を含むデータの多重化処理を実行する。すなわち、クリップAVストリームファイルの生成処理を実行する。
なお、クリップAVストリームファイルに格納する再生制御情報は、例えば図19等を参照して説明したMPT(MMTパッケージテーブル)から取得した情報等である。
(ステップS106)
次に、ステップS106において、情報処理装置400は、入力したMMTフォーマットデータの構成データを利用して、クリップ情報ファイルを生成する。
例えば、先に図24~図45を参照して説明したクリップ情報ファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するクリップ情報ファイルを生成する。
このクリップ情報ファイルにはEPマップが含まれる。
なお、このステップS106のクリップ情報ファイルの生成処理の詳細シーケンスについては、図48~図50に示すフローを参照して、後段で詳細に説明する。
(ステップS107)
次に、ステップS107において、情報処理装置400は、入力したMMTフォーマットデータの構成データを利用して、プレイリストファイルを生成する。
例えば、先に図12~図18を参照して説明したプレイリストファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するプレイリストファイルを生成する。
なお、このステップS107のプレイリストファイル生成処理の詳細については、図51を参照して、後段で説明する。
(ステップS108)
次に、ステップS108において、情報処理装置400は、入力したMMTフォーマットデータを利用してその他のデータベースファイルを生成する。
(ステップS109)
次に、ステップS109において、情報処理装置400は、生成したAVストリームファイルとデータベースファイルを利用してBDAVフォーマットデータを生成する。
(ステップS110)
次に、ステップS110において、情報処理装置400は、ステップS109で生成したBDAVフォーマットデータを情報記録媒体(メディア)に記録する。
次に、ステップS106において実行するクリップ情報ファイル生成処理の詳細シーケンスについて、図48~図50に示すフローチャートを参照して説明する。
図48~図50に示すフローチャートは、先に説明した3種類のEPマップの生成処理のシーケンスを個別に説明するフローである。すなわち、
図48は、MMTフォーマットデータ対応EPマップ例1(図39~図41)
図49は、MMTフォーマットデータ対応EPマップ例2(図42~図43)
図50は、MMTフォーマットデータ対応EPマップ例3(図44~図45)
これら3種類の異なるEPマップの生成処理を含むフローである。て
なお、図48~図50に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるクリップ情報の生成シーケンスである。
まず、図48に示すフロー、すなわち、先に図39~図41を参照して説明したMMTフォーマットデータ対応EPマップ例1に相当するEPマップを生成してクリップ情報ファイルに記録する処理を含むクリップ情報ファイル生成処理フローの各ステップの処理について、順次、説明する。
(ステップS121)
まず、ステップS121において、情報処理装置400は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
先に図37等を参照して説明したように、RAPフラグ=1の設定されたMMTPパケットは、ランダムアクセスポイントを含むデータである。
(ステップS122)
次に、ステップS122において、情報処理装置400は、RAPフラグ=1の設定されたMMTPパケットのパケット位置と、時刻情報(NTP時間)との対応データをEPマップに記録する。
この処理は、先に図39~図41を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。パケット位置情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
(ステップS123)
次に、ステップS123において、情報処理装置400は、RAPフラグ=1の再生データ格納パケットと、タイムスタンプを格納した制御情報格納パケットとの離間距離と、方向を取得し、オフセット情報(byte_offset)として、EPマップに記録する。
この処理も、先に図39~図41を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
例えば、再生データ格納パケットと、制御情報格納パケットの離間距離を示すバイト情報(byte_offset)を31ビット情報として記録し、さらに、制御情報格納パケットが、再生データ格納パケットより前方のデータ記録位置にあるか、後方のデータ記録位置にあるかを識別するための制御情報記録位置識別フラグ(Plus_minus_flag)を1ビット記録する。
(ステップS124)
次に、ステップS124において、情報処理装置400は、クリップ情報ファイルのアプリケーションタイプ(Application_type)と、クリップストリームタイプ(Clip_stream_type)の値を[3]に設定する。
この処理は、先に図25~図27を参照して説明した処理であり、クリップ情報ファイルの制御対象データとなるクリップAVストリームファイルの格納データがMMTフォーマットデータであることを識別可能とするための設定値を記録する処理である。
(ステップS125)
次に、ステップS125において、情報処理装置400は、クリップ情報ファイルの記録レート(recording_rate)、平均レート(average_rate)を記録する。
この処理は、先に図25を参照して説明した
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらのデータ記録処理である。前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
このビットレート情報は、TSパケットを基準として算出することを前提としており、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートを算出して記録する。あるいは、再生対象データがMMTフォーマットである場合、このフィールドには無効値を記録し、ビットレート情報を利用しない設定としてもよい。
(ステップS126)
次に、ステップS126において、情報処理装置400は、クリップ情報ファイルの構成データである、
クリップ情報(ClipInfo)、
シーケンス情報(SequenceInfo)、
プログラム情報(ProgramInfo)、
CPI情報(CPI)、
クリップマーク(ClipMark)、
これらの各データを生成する。
なお、これらの各データ生成処理において、再生対象データがMMTフォーマットデータである場合、例えば、時間情報としてはNTP時刻情報、パケット位置はストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数データを取得して記録する。
これらの処理により、MMTフォーマットデータ対応のクリップ情報ファイルを生成する。
なお、制御対象がMPEG-2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のクリップ情報ファイル生成処理を行えばよい。
次に、図49に示すフローチャートについて説明する。図49に示すフローは、先に図42~図43を参照して説明したMMTフォーマットデータ対応EPマップ例2に相当するEPマップを生成してクリップ情報ファイルに記録する処理を含むクリップ情報ファイル生成処理フローの各ステップの処理について、順次、説明する。
(ステップS131)
まず、ステップS131において、情報処理装置400は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
(ステップS132)
次に、ステップS132において、情報処理装置400は、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケット位置の識別情報となるMMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を、EPマップに記録する。
この処理は、先に図42~図43を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
本例においては、EPマップに記録するアドレス情報は、再生データではなく制御情報(MPT)格納パケットのアドレス情報とする。
アドレス情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
(ステップS133)
次に、ステップS133において、情報処理装置400は、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケットと、RAPフラグ=1の再生データ格納パケットとの離間距離と、方向を取得し、オフセット情報(byte_offset)として、EPマップに記録する。
この処理も、先に図42~図43を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
例えば、再生データ格納パケットと、制御情報格納パケットの離間距離を示すバイト情報(byte_offset)を31ビット情報として記録し、さらに、再生データ格納パケットが、制御情報格納パケットより前方のデータ記録位置にあるか、後方のデータ記録位置にあるかを識別するための制御情報記録位置識別フラグ(Plus_minus_flag)を1ビット記録する。
(ステップS134~S136)
次のステップS134~S136の処理は、図48を参照して説明したステップS124~S126の処理と同様の処理であるので説明を省略する。
次に、図50に示すフロー、すなわち、先に図44~図45を参照して説明したMMTフォーマットデータ対応EPマップ例3に相当するEPマップを生成してクリップ情報ファイルに記録する処理を含むクリップ情報ファイル生成処理フローの各ステップの処理について、順次、説明する。
(ステップS141)
まず、ステップS141において、情報処理装置400は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
(ステップS142)
次に、ステップS142において、情報処理装置400は、RAPフラグ=1の設定されたMMTPパケットのパケット位置と、時刻情報(NTP時間)との対応データをEPマップに記録する。
この処理は、先に図44~図45を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。パケット位置情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
(ステップS143)
次に、ステップS143において、情報処理装置400は、RAPフラグ=1の再生データ格納パケットに格納された再生データに対応するタイムスタンプ(PTS/DTS)関連データを、MPTから取得して、EPマップに記録する。
この処理も、先に図44~図45を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
図44に示すEPマップのMPT記録タイムスタンプ情報記録領域363に対するデータ記録処理であり、MMTフォーマットデータとして送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)に記録されているタイムスタンプ(PTS/DTS)情報のコピーデータを記録する。
(ステップS144~S146)
次のステップS144~S146の処理は、図48を参照して説明したステップS124~S126の処理と同様の処理であるので説明を省略する。
次に、図47に示すフロー中のステップS107において実行するプレイリストファイル生成処理の詳細シーケンスについて、図51に示すフローチャートを参照して説明する。
なお、図51に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるプレイリストの生成シーケンスである。
図51に示すフローの各ステップの処理について、順次、説明する。
(ステップS151)
まず、ステップS151において、情報処理装置400は、プレイリストファイルに記録するCPIタイプ(PL_CPI_type)の値を[3]に設定する。
この処理は、先に図12~図16を参照して説明した処理に対応する。
図16の「(2)新たなCPIタイプ記録データ(MPEG-2TS対応データとMMT対応データを記録)」を参照して説明したように、
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
(ステップS152)
次に、ステップS152において、情報処理装置400は、プレイリストファイルに記録する各プレイアイテムの時間情報(IN_time,OUT_time)をNTP時間情報として記録する。
この処理は、先に図17、図18を参照して説明した処理に相当する。
図18(2)の「(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)」に示すように、
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば図1に示す放送サーバ(放送局)21等の送信装置20が送信する放送コンテンツ等を含むMMTフォーマットデータに併せて送信される。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
(ステップS153)
次に、ステップS153において、情報処理装置400は、プレイリストファイルの構成データである、
プレイアイテム(PlayItem)、
プレイリストマーク(PlayListMark)、
これらの各データを生成する。
なお、これらの各データ生成処理において、再生対象データがMMTフォーマットデータである場合、例えば、時間情報としてはNTP時刻情報、パケット位置はストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数データを取得して記録する。
これらの処理により、MMTフォーマットデータ対応のプレイリストファイルを生成する。
なお、制御対象がMPEG-2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のプレイリストファイル生成処理を行えばよい。
情報処理装置300は、図47~図51を参照して説明したフローに従った処理を行なうことで、入力したMMTフォーマットデータをBDAVフォーマットに従ったプレイリストファイル、クリップ情報ファイル、クリップAVストリームファイルとして記録し、再生することが可能となる。
[9.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について]
次に、図52以下を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
再生処理を実行する情報処理装置は、装置に装着した情報記録媒体に記録されたデータの読み取り、再生処理を実行する。
図52は、BD等の情報記録媒体520に記録されたデータの再生処理を実行する情報処理装置500の構成を示す図である。
情報処理装置500は、図52に示す情報記録媒体(記録メディア)520に記録されたデータを読み取り、出力装置(表示部+スピーカ)530に出力する。なお、出力装置530は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
なお、情報処理装置500は先に図46を参照して説明したデータ記録を行う情報処理装置400と同一の装置である場合もある。すなわち、データ記録再生の両機能を有する情報処理装置である。
情報記録媒体(記録メディア)520は、図47~図51を参照して説明した処理によって生成されたAVストリームファイルと、プレイリスト、クリップ情報ファイル等のデータベースが記録された記録媒体である。
制御部501は、例えば、ユーザ入力部502からの再生指示情報の入力に基づいて、情報記録媒体520の記録データを、記録再生部504、ドライブ503を介して読み取り、データバッファとしての記憶部505に格納し、その格納データを再生処理部506に出力する。
再生処理部506は、制御部501の制御の下、情報記録媒体520から読み出された再生データ、すなわち、画像、音声、字幕等の各データを格納したクリップAVストリームファイルから各データを取得して再生データを生成する。
デマルチプレクサ(DeMUX)511は、画像、音声、字幕、さらに、プレイリストファイル、クリップ情報ファイル等の各データを格納したデータ格納パケットを取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、字幕データ生成部512、画像データ生成部513、音声データ生成部514、補助情報生成部515に出力する。
字幕データ生成部512、画像データ生成部513、音声データ生成部514は、パケットに格納されたデータの復号処理等を実行し、復号データを出力データ生成部516に出力する。
出力データ生成部516は、字幕、画像、音声の各データを、入出力インタフェース407を介して出力装置(表示部+スピーカ)530に出力する。
なお、情報記録媒体520は、再生対象データを格納したストリームファイルとして、
MPEG-2TSフォーマットデータを格納したストリームファイルと、
MMTフォーマットデータを格納したストリームファイルを有する場合がある。
この場合、情報処理装置500は、BDAVフォーマットにおいて規定されたプレイリストファイルとクリップ情報ファイルを適用して、MPEG-2TSフォーマットデータを格納したストリームファイル、および、MMTフォーマットデータを格納したストリームファイルの再生処理を実行することになる。
補助情報生成部515は、例えば、プレイリストファイル、クリップ情報ファイルに格納された録画コンテンツリスト表示用データを取得して録画コンテンツリストを生成し、生成リストが出力装置(表示部+スピーカ)530に出力される。
出力装置(表示部+スピーカ)530は、情報処理装置500から入力する字幕、画像、音声等の各データを、出力装置(表示部+スピーカ)530を介して出力する。
なお、情報記録媒体520は、MMTフォーマットデータを、BDAVフォーマットに従って記録したデータを格納しており、また、情報処理装置500は、BDAVフォーマット規定のデータベースファイルであるプレイリストファイルとクリップ情報ファイルの記録情報を取得して再生制御処理を実行する。
次に、図52に示す情報処理装置500が実行する情報記録媒体520からのデータ再生処理のシーケンスについて、図53に示すフローチャートを参照して説明する。
図53に示すフローに従った処理は、例えば情報処理装置500の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
なお、図53に示すフローに従った処理を実行する情報処理装置は、図52に示す情報処理装置500であり、情報記録媒体(記録メディア)520を装着し、装着した情報記録媒体520に記録されたデータを読み取り、出力装置(表示部+スピーカ)530に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
情報記録媒体(記録メディア)520は、図47~図51を参照して説明した処理によって生成されたAVストリームと、プレイリスト、クリップ情報ファイル等のデータベースが記録された記録媒体である。
以下、図53のフローに示す各ステップの処理について、順次、説明する。
(ステップS201)
まず、情報処理装置500の制御部501は、ステップS201において、例えばユーザの入力した再生データ指定情報に従い、指定された再生データ対応の再生制御情報を格納したプレイリストファイルを情報記録媒体(メディア)から読み取る。
(ステップS202)
次に、情報処理装置500の制御部501は、ステップS202において、プレイリストファイルに記録されたPL_CPIタイプ(PL_CPI_type)を読み出す。
先に図12~図16を参照して説明したように、PL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
なお、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
図16に示すように、PL_CPIタイプ(PL_CPI_type)=1は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のEPマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のTUマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
このように、PL_CPIタイプ(PL_CPI_type)=1~3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
(ステップS203)
次に、情報処理装置500の制御部501は、ステップS203において、ステップS202で読み出したPL_CPIタイプ(PL_CPI_type)の設定値が[3]であるか否かを判定する。
すなわち、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであるか否かを判定する。
PL_CPIタイプ(PL_CPI_type)=3である場合は、ステップS203の判定がYesとなり、ステップS205に進む。
一方、PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS203の判定がNoとなり、ステップS204に進む。
(ステップS204)
PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS204の処理を実行する。
PL_CPIタイプが3以外の場合、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが1または2であり、再生対象データがMPEG-2TSフォーマットデータである。
この場合、情報処理装置500は、従来の再生処理手法を適用して、MPEG-2TSフォーマットデータの再生処理を実行する。
(ステップS205)
一方、PL_CPIタイプ(PL_CPI_type)が3の場合は、ステップS205において、このプレイリストファイルによる再生対象データがMMTフォーマットデータであると判定する。
(ステップS206)
次に、情報処理装置500は、ステップS206において、MMTフォーマットデータ対応のプレイリストとクリップ情報ファイルを適用してMMTフォーマットデータの格納されたクリップ情報ファイルの格納データの再生処理を実行する。
次に、MMTフォーマットデータの再生処理の具体例として、クリップ情報ファイルに記録されたMMTフォーマットデータ対応のEPマップを適用したランダムアクセス再生処理のシーケンスについて、図54に示すフローチャートを参照して説明する。
なお、MMTフォーマットデータ対応のEPマップは、例えば先に図39~図45を参照して説明したいずれかのデータ構成を持つEPマップであり、ランダムアクセス可能なデータ位置に対応する時間情報とストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト位置情報との対応データを有する。
さらに再生データ格納パケットと制御情報格納パケットとの相対的位置関係を示すオフセット情報、またはタイムスタンプ情報が記録されたEPマップである。
図54に示すフローチャートの各ステップの処理について説明する。
(ステップS211)
まず、情報処理装置500は、ステップS211において、ランダムアクセス再生に適用するプレイリストのプレイアイテム情報から、クリップ情報ファイル名(Clip_information_file_name)を読み取る。
これは、先に図17を参照して説明したプレイリストファイル中のプレイアイテム(PlayItem)情報に記録されたデータである。
(ステップS212)
次に、情報処理装置500は、ステップS212において、ステップS211でプレイリストファイルから読み取ったクリップ情報ファイル名(Clip_information_file_name)を有するクリップ情報ファイルを情報記録媒体(メディア)から読み取る。
(ステップS213)
次に、情報処理装置500は、ステップS213において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生に適用するクロック情報であるATC,STCを特定する。なお、これらの時間情報は、再生対象データがMMTフォーマットデータである場合、NTP時間情報として記録されている。
なお、クリップ情報ファイルのシーケンス情報(SequenceInfo)は、先に図28を参照して説明したデータ構成を有し、ここに、ATC(アライバルタイムクロック)と、STC(システムタイムクロック)に関する情報が規定されている。
ATC(アライバルタイムクロック)と、STC(システムタイムクロック)については、先に図29を参照して説明した通りであり、データ再生に適用されるクロック情報である。
(ステップS214)
次に、情報処理装置500は、ステップS214において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生開始位置(SPN_STC_Start)と、再生開始時間(presentation_start_time)を取得する。
再生対象データがMMTフォーマットデータである場合、再生開始位置情報は、例えば、ストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数であり、再生開始時間は、NTP時間情報となる。これらの情報が、クリップ情報ファイルのシーケンス情報(SequenceInfo)として記録されている。
(ステップS215)
次に、情報処理装置500は、ステップS215において、クリップ情報ファイルのCPI情報として記録されたEPマップの記録情報に従って、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
この処理は、先に図39~図45を参照して説明したMMTフォーマットデータ対応のEPマップを利用した処理である。
この具体的処理シーケンスについては、図55~図57に示すフローチャートを参照して後段で説明する。
(ステップS216)
次に、情報処理装置500は、ステップS216において、クリップ情報ファイルのクリップ情報(ClipInfo)に記録された記録レート(recording_rate)に従って、クリップAVストリームファイルに格納されたMMTフォーマットデータを読み取る。
クリップ情報ファイルのクリップ情報(ClipInfo)には、先に図25を参照して説明したように、記録レート(recording_rate)情報が記録されており、この情報に従って、情報記録媒体(メディア)に記録されたクリップAVストリームファイルに格納されたMMTフォーマットデータを読み取る。
なお、図25では、記録レート情報として、TS_recording_rateと記載されているが、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートがここに記録されている。
(ステップS217)
次に、情報処理装置500は、ステップS217において、情報記録媒体(メディア)から読み出したクリップAVストリームファイルに格納されたMMTフォーマットデータのデマルチプレクス処理、デコード処理、再生処理を実行する。
次に、上述した図54に示すフローのステップS215の処理、すなわち、
クリップ情報ファイルのCPI情報として記録されたEPマップの記録情報に従って、再生データ対応のタイムスタンプ(PTS/DTS)を取得する処理の詳細シーケンスについて、図55~図57に示すフローチャートを参照して説明する。
この処理は、先に図39~図45を参照して説明したMMTフォーマットデータ対応のEPマップを利用した処理である。すなわち、先に説明した3種類のEPマップの生成処理のシーケンスを個別に説明するフローである。
図55は、MMTフォーマットデータ対応EPマップ例1(図39~図41)
図56は、MMTフォーマットデータ対応EPマップ例2(図42~図43)
図57は、MMTフォーマットデータ対応EPマップ例3(図44~図45)
これら3種類の異なるEPマップの生成処理を含むフローである。て
まず、図55に示すフロー、すなわち、先に図39~図41を参照して説明したMMTフォーマットデータ対応EPマップ例1に相当するEPマップを利用して、再生データ対応のタイムスタンプ(PTS/DTS)を取得する処理のシーケンスについて説明する。
(ステップS221)
まず、情報処理装置500は、ステップS221において、クリップ情報ファイルのCPI情報として記録されたEPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、再生データ格納パケットの開始位置を判別する。
ここで利用するEPマップは、図39、または図41に示すEPマップである。
これらのEPマップには、以下のデータ記録領域が設定されている。
NTP時間記録領域(NTP_time)321、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
バイトオフセット記録領域(byte_offset)323、
まず、再生処理を実行する情報処理装置500は、EPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、これらのデータに基づいて再生データ格納パケットの開始位置を判別する。
(ステップS222)
次に、情報処理装置500は、ステップS222において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケットの位置を判別する。
図39、または図41に示すEPマップに記録されたバイトオフセット(byte_offset)は、図40を参照して説明したように、再生データ格納パケットと制御情報格納パケットの離間距離と相対方向を識別可能なデータである。
再生データ格納パケットの位置は、ステップS221において確認済みであり、ステップS222において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、このデータに従って、制御情報格納パケットの位置を判別する。
(ステップS223)
情報処理装置は、次に、ステップS223において、制御情報格納パケットから、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
MMTフォーマットデータとして送信される制御情報であるMPT(MMTパッケージテーブル)は、先に図19を参照して説明したデータ構成を有する。
このMPTには、先に図21を参照して説明したように、MPUタイムスタンプ記述子として、MPU単位の再生(提示)時間情報を示すタイムスタンプ(PTS Presentation Timestamp)が記録されている。
さらに、先に図38を参照して説明したように、MPU拡張タイムスタンプ記述子として、MPU単位の復号時間情報を示すタイムスタンプ(DTS Decoding Timestamp)が記録されている。
情報処理装置は、ステップS223において、制御情報格納パケットに格納されたMPTから、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
次に、図56に示すフローチャートについて説明する。図56に示すフローは、先に図42~図43を参照して説明したMMTフォーマットデータ対応EPマップ例2に相当するEPマップを利用して、図54のフローのステップS215のタイムスタンプ(PTS/DTS)取得処理を実行するシーケンスを説明するフローチャートである。
図56に示すフローの各ステップの処理について説明する。
(ステップS231)
まず、情報処理装置500は、ステップS231において、クリップ情報ファイルのCPI情報として記録されたEPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケットの開始位置を判別する。
ここで利用するEPマップは、図42に示すEPマップである。
このEPマップには、以下のデータ記録領域が設定されている。
NTP時間記録領域(NTP_time)341、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
バイトオフセット記録領域(byte_offset)343、
まず、再生処理を実行する情報処理装置500は、EPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、これらのデータに基づいて制御情報格納パケットの開始位置を判別する。
(ステップS232)
次に、情報処理装置500は、ステップS232において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、再生データ格納パケットの位置を判別する。
図42に示すEPマップに記録されたバイトオフセット(byte_offset)は、図43を参照して説明したように、再生データ格納パケットと制御情報格納パケットの離間距離と相対方向を識別可能なデータである。
制御情報格納パケットの位置は、ステップS231において確認済みであり、ステップS232において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、このデータに従って、再生データ格納パケットの位置を判別する。
(ステップS233)
情報処理装置は、次に、ステップS233において、制御情報格納パケットから、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
これらのタイムスタンプ(PTS/DTS)は、MMTフォーマットデータとして送信される制御情報であるMPT(MMTパッケージテーブル)から取得される。
次に、図57に示すフローチャートについて説明する。図57に示すフローは、先に図44~図45を参照して説明したMMTフォーマットデータ対応EPマップ例3に相当するEPマップを利用して、図54のフローのステップS215のタイムスタンプ(PTS/DTS)取得処理を実行するシーケンスを説明するフローチャートである。
図57に示すフローの各ステップの処理について説明する。
(ステップS241)
まず、情報処理装置500は、ステップS241において、クリップ情報ファイルのCPI情報として記録されたEPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、再生データ格納パケットの開始位置を判別する。
ここで利用するEPマップは、図44に示すEPマップである。
このEPマップには、以下のデータ記録領域が設定されている。
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
MPT記録タイムスタンプ情報記録領域363、
まず、再生処理を実行する情報処理装置500は、EPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、これらのデータに基づいて再生データ格納パケットの開始位置を判別する。
(ステップS242)
次に、情報処理装置500は、ステップS232において、EPマップのMPT記録タイムスタンプ情報記録領域363に記録された再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
これらのタイムスタンプ(PTS/DTS)は、MMTフォーマットデータとして送信される制御情報であるMPT(MMTパッケージテーブル)からEPマップにコピー記録されたデータである。
図55~図57に示すフローチャートを参照して説明したように、図54に示すフローのステップS215における再生データのタイムスタンプ(PTS/DTS)取得処理は、適用するEPマップの構成に応じて、図55~図57のフローのいずれかの処理を選択して実行することになる。
すなわち、図39~図41を参照して説明したEPマップ例1が利用される場合は、図55に示すフローに従った処理を実行する。
また、図42~図43を参照して説明したEPマップ例2が利用される場合は、図56に示すフローに従った処理を実行する。
さらに、図44~図45を参照して説明したEPマップ例3が利用される場合は、図57に示すフローに従った処理を実行する。
[10.情報処理装置の構成例について]
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図58を参照して説明する。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理装置。
(2) 前記データ処理部は、
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを生成して、前記再生制御情報ファイルに格納する(1)に記載の情報処理装置。
(3) 前記タイムスタンプ情報は、
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む(1)または(2)に記載の情報処理装置。
(4) 前記データ処理部は、
前記制御情報格納パケットのアクセス情報として、
前記再生データ格納パケットと、前記制御情報格納パケットの記録位置の離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する(1)~(3)いずれかに記載の情報処理装置。
(5) 前記データ処理部は、
前記再生データ格納パケットの記録位置識別情報と、
前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する(1)~(4)いずれかに記載の情報処理装置。
(6) 前記データ処理部は、
前記制御情報格納パケットの記録位置識別情報と、
前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する(1)~(4)いずれかに記載の情報処理装置。
(7) 前記データ処理部は、
前記再生データ格納パケットの記録位置識別情報と、
前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する(1)~(4)いずれかに記載の情報処理装置。
(8) 前記データ処理部は、
前記タイムスタンプ情報を、
MMTフォーマットデータとして送信されるMMTパッケージテーブル(MPT)から取得する(7)に記載の情報処理装置。
(9) 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理装置。
(10) 前記データ処理部は、
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを利用して再生処理を行う(9)に記載の情報処理装置。
(11) 前記タイムスタンプ情報は、
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む(9)または(10)に記載の情報処理装置。
(12) 前記データ処理部は、
前記再生制御情報ファイルから、
前記再生データ格納パケットの記録位置識別情報と、
前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を読み取り、
前記オフセット情報に基づいて前記制御情報格納パケットの記録位置を判別して、前記制御情報格納パケットに記録されたタイムスタンプ情報に従って、再生処理を実行する(9)~(11)いずれかに記載の情報処理装置。
(13) 前記データ処理部は、
前記再生制御情報ファイルから、
前記制御情報格納パケットの記録位置識別情報と、
前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報をを読み取り、
前記オフセット情報に基づいて前記再生データ格納パケットの記録位置を判別して、前記再生データ格納パケットから再生データを取得し、
前記制御情報格納パケットに記録されたタイムスタンプ情報に従って再生処理を実行する(9)~(11)いずれかに記載の情報処理装置。
(14) 前記データ処理部は、
前記再生制御情報ファイルから、
前記再生データ格納パケットの記録位置識別情報と、
前記タイムスタンプ情報を読み取り、読み取ったタイムスタンプ情報に従って再生処理を実行する(9)~(11)いずれかに記載の情報処理装置。
(15) MMT(MPEG Media Transport)フォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを記録し、
前記再生制御情報ファイルは、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルであり、
前記MMTフォーマットストリームファイル格納データの再生を行う再生装置が、前記タイムスタンプ情報を取得して、再生に利用可能としたデータ記録構成を有する情報記録媒体。
(16) 前記再生制御情報ファイルは、
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを記録した再生制御情報ファイルである(15)に記載の情報記録媒体。
(17) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理方法。
(18) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理方法。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成させ、
さらに、前記プログラムは、前記データ処理部に、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成させるプログラム。
(20) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行させ、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行わせるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
具体的には、例えば、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、MMTフォーマット対応の再生制御情報ファイルを生成してメディアに記録する。再生制御情報ファイルには、ランダムアクセス再生データを格納した再生データ格納パケットの格納データ再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、またはタイムスタンプ情報を記録する。再生装置は、再生データ格納パケットの格納データ再生時に必要となるタイムスタンプを即時に取得して再生することができる。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
20 送信装置
21 放送サーバ
22 データ配信サーバ
30 情報処理装置
31 BDプレーヤ
32 TV
33 PC
34 携帯端末
40 情報記録媒体(メディア)
41 BD
42 HDD
43 フラッシュメモリ
400 情報処理装置
401 データ入力部
402 ユーザ入力部
403 制御部
404 記憶部
405 デマルチプレクサ
406 記録データ生成部
407 記録部
408 ドライブ
411 字幕データ生成部
412 画像データ生成部
413 音声データ生成部
414 補助情報生成部
415 マルチプレクサ
416 データベースファイル生成部
420 情報記録媒体
500 情報処理装置
501 制御部
502 ユーザ入力部
503 ドライブ
504 記録再生部
505 記憶部
506 再生処理部
507 入出力I/F
511 デマルチプレクサ
512 字幕データ生成部
513 画像データ生成部
514 音声データ生成部
515 補助情報生成部
516 出力データ生成部
520 情報記録媒体
530 出力装置(表示部+スピーカ)
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア

Claims (18)

  1. MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
    前記データ処理部は、
    MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
    前記データ処理部は、
    前記再生制御情報ファイルとして、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、
    ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理装置。
  2. 前記データ処理部は、
    前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
    前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを生成して、前記再生制御情報ファイルに格納する請求項1に記載の情報処理装置。
  3. 前記タイムスタンプ情報は、
    再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む請求項1に記載の情報処理装置。
  4. 前記データ処理部は、
    前記制御情報格納パケットのアクセス情報として、
    前記再生データ格納パケットと、前記制御情報格納パケットの記録位置の離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。
  5. 前記データ処理部は、
    前記再生データ格納パケットの記録位置識別情報と、
    前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。
  6. 前記データ処理部は、
    前記制御情報格納パケットの記録位置識別情報と、
    前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。
  7. 前記データ処理部は、
    前記再生データ格納パケットの記録位置識別情報と、
    前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。
  8. 前記データ処理部は、
    前記タイムスタンプ情報を、
    MMTフォーマットデータとして送信されるMMTパッケージテーブル(MPT)から取得する請求項1に記載の情報処理装置。
  9. 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
    前記データ処理部は、
    MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
    前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
    再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理装置。
  10. 前記データ処理部は、
    前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
    前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを利用して再生処理を行う請求項9に記載の情報処理装置。
  11. 前記タイムスタンプ情報は、
    再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む請求項9に記載の情報処理装置。
  12. 前記データ処理部は、
    前記再生制御情報ファイルから、
    前記再生データ格納パケットの記録位置識別情報と、
    前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を読み取り、
    前記オフセット情報に基づいて前記制御情報格納パケットの記録位置を判別して、前記制御情報格納パケットに記録されたタイムスタンプ情報に従って、再生処理を実行する請求項9に記載の情報処理装置。
  13. 前記データ処理部は、
    前記再生制御情報ファイルから、
    前記制御情報格納パケットの記録位置識別情報と、
    前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報を読み取り、
    前記オフセット情報に基づいて前記再生データ格納パケットの記録位置を判別して、前記再生データ格納パケットから再生データを取得し、
    前記制御情報格納パケットに記録されたタイムスタンプ情報に従って再生処理を実行する請求項9に記載の情報処理装置。
  14. 前記データ処理部は、
    前記再生制御情報ファイルから、
    前記再生データ格納パケットの記録位置識別情報と、
    前記タイムスタンプ情報を読み取り、読み取ったタイムスタンプ情報に従って再生処理を実行する請求項9に記載の情報処理装置。
  15. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
    前記データ処理部が、
    MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
    前記データ処理部は、
    前記再生制御情報ファイルとして、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、
    ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理方法。
  16. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
    前記データ処理部が、
    MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
    前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
    再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理方法。
  17. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成させ、
    さらに、前記プログラムは、前記データ処理部に、
    前記再生制御情報ファイルとして、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、
    ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成させるプログラム。
  18. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
    前記プログラムは、前記データ処理部に、
    MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
    前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行させ、
    再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
    制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行わせるプログラム。
JP2018563248A 2017-01-17 2017-12-26 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Active JP7070433B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017005806 2017-01-17
JP2017005806 2017-01-17
PCT/JP2017/046704 WO2018135259A1 (ja) 2017-01-17 2017-12-26 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018135259A1 JPWO2018135259A1 (ja) 2019-11-07
JP7070433B2 true JP7070433B2 (ja) 2022-05-18

Family

ID=62909001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563248A Active JP7070433B2 (ja) 2017-01-17 2017-12-26 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP7070433B2 (ja)
WO (1) WO2018135259A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006030767A1 (ja) 2004-09-13 2006-03-23 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2015023574A (ja) 2013-07-22 2015-02-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 蓄積方法、再生方法、蓄積装置、および再生装置
JP2016103745A (ja) 2014-11-28 2016-06-02 ソニー株式会社 送信装置及び送信方法、並びに、受信装置並びに受信方法
JP2018129782A (ja) 2016-07-08 2018-08-16 三菱電機株式会社 映像記録再生装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104406B2 (en) * 2013-06-21 2018-10-16 Saturn Licensing Llc Transmission apparatus, transmission method, reproduction apparatus, reproduction method and reception apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006030767A1 (ja) 2004-09-13 2006-03-23 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2015023574A (ja) 2013-07-22 2015-02-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 蓄積方法、再生方法、蓄積装置、および再生装置
JP2016103745A (ja) 2014-11-28 2016-06-02 ソニー株式会社 送信装置及び送信方法、並びに、受信装置並びに受信方法
JP2018129782A (ja) 2016-07-08 2018-08-16 三菱電機株式会社 映像記録再生装置

Also Published As

Publication number Publication date
JPWO2018135259A1 (ja) 2019-11-07
WO2018135259A1 (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP5008161B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR100892012B1 (ko) 데이터 전송장치 및 방법
JP4682434B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4517267B2 (ja) 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体
US20080219393A1 (en) Moving Picture Stream Generation Apparatus, Moving Picture Coding Apparatus, Moving Picture Multiplexing Apparatus and Moving Picture Decoding Apparatus
WO2001082608A1 (fr) Appareil et procede de traitement des informations, programme et support enregistre
WO2001082610A1 (en) Information processing apparatus and method, program, and recorded medium
AU2003243049B2 (en) Recording medium having data structure for managing recording and reproduction of multiple path data recorded thereon and recording and reproducing methods and apparatus
JP7031589B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7074068B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070432B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7056566B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7147755B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7024787B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7014157B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070433B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2016038811A1 (ja) 記録媒体、再生装置、および再生方法
WO2018173780A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070564B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2008199528A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP2008199527A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R151 Written notification of patent or utility model registration

Ref document number: 7070433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151