JPWO2018047558A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018047558A1
JPWO2018047558A1 JP2018538315A JP2018538315A JPWO2018047558A1 JP WO2018047558 A1 JPWO2018047558 A1 JP WO2018047558A1 JP 2018538315 A JP2018538315 A JP 2018538315A JP 2018538315 A JP2018538315 A JP 2018538315A JP WO2018047558 A1 JPWO2018047558 A1 JP WO2018047558A1
Authority
JP
Japan
Prior art keywords
data
information
format
mmt
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018538315A
Other languages
English (en)
Other versions
JP7056566B2 (ja
Inventor
幸一 内村
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018047558A1 publication Critical patent/JPWO2018047558A1/ja
Application granted granted Critical
Publication of JP7056566B2 publication Critical patent/JP7056566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成を実現する。放送波等を介して入力するMMT(MPEG Media Transport)フォーマットデータを入力し、BDAVフォーマット、またはSPAVフォーマットに従った記録データを生成する。データ処理部は、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、さらに、MMTフォーマットストリームファイルの再生制御情報を格納したプレイリストファイル、およびクリップ情報ファイルを生成する。

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、放送波等における今後のデータ伝送規格として規格化が進められているMMT(MPEG Media Transport)フォーマットデータを入力して、メディアに記録し、再生可能とする情報処理装置、および情報処理方法、並びにプログラムに関する。
現在、4K画像や8K画像等の放送等、高画質画像のデータ伝送を実現するための規格化が進められており、その一つとして、MMT(MPEG Media Transport)フォーマットを利用したデータ配信方式についての検討が進められている。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツを構成する符号化データを放送波やネットワークを介して伝送するためのデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば4K画像、高ダイナミックレンジ(HDR:HighDynamic Range)画像等の次世代コンテンツの放送等に利用される予定となっている。
一方、現行の画像(Video)、音声(Audio)、字幕(Subtitle)等の伝送フォーマット、あるいは、メディアに対するデータ記録フォーマットとしては、MPEG−2TSフォーマットが多く利用されている。
例えば、コンテンツの記録再生に利用される情報記録媒体(メディア)であるBD(Blu−ray(登録商標) Disc)やフラッシュメモリ、あるいはHD(ハードディスク)等には、MPEG−2TSフォーマットに従ったデータが記録されることが多い。
今後、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、情報処理装置が受信データをBDやフラッシュメモリ、あるいはHD(ハードディスク)に記録する場合、画像、音声、字幕データ等の再生対象コンテンツについては、MMTフォーマットをMPEG−2TSフォーマットに変換して記録するか、あるいはMMTフォーマットのまま記録するか、いずれかの処理を行うことになる。
しかし、例えばBD(Blu−ray(登録商標) Disc)やフラッシュメモリやHD(ハードディスク)等のメディアから、画像、音声、字幕等のコンテンツを再生する場合には、これらのコンテンツの再生処理を行なうための再生制御情報やインデックス情報が必要となる。これらの再生制御情報やインデックス情報は一般的にデータベースファイルと呼ばれる。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
例えば、現行の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu−ray(登録商標) Disc)を利用したデータ記録再生アプリケーション規格として策定されたものである。
なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であるが、これらの規格はBDに限らず、フラッシュメモリやHDなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011−023071号公報)等に記載がある。
BDMVは、例えば映画コンテンツなどを予め記録したBD−ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD−ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD−RE型ディスクや、一回のみ記録可能なBD−R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
上述のMMTフォーマットに従った配信コンテンツを情報記録媒体(メディア)に記録し、メディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を参照してデータ再生処理を実行する。
しかし、BDAVフォーマット規定のプレイリストファイルやクリップ情報ファイル等のデータベースファイルは、もともと、MPEG−2TSフォーマットの配信データに基づいて生成可能なファイルとして規定されたものである。
MPEG−2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
従って、このMMTフォーマットデータをメディアに記録し、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うことを可能とするためには、メディアに対するMMTフォーマットデータの記録処理に際して、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
しかし、これらの処理については、現時点で具体化されていないというのが現状である。
特開2011−023071号公報
本開示は、例えば、上記の問題点に鑑みてなされたものであり、MMTフォーマットに従った配信データを入力して、BDAVフォーマットに規定されたデータベースファイルを生成してメディアに記録し、これらのデータベースファイルを利用してメディア記録コンテンツを再生可能とする情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理装置にある。
さらに、本開示の第2の側面は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理装置にある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理方法にある。
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成させ、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成させるプログラムにある。
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
具体的には、放送波等を介して入力するMMT(MPEG Media Transport)フォーマットデータを入力し、BDAVフォーマット、またはSPAVフォーマットに従った記録データを生成する。データ処理部は、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、さらに、MMTフォーマットストリームファイルの再生制御情報を格納したプレイリストファイル、およびクリップ情報ファイルを生成する。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理を実行する情報処理装置の利用構成例について説明する図である。 MMTフォーマットについて説明する図である。 MMTフォーマットに従った画像データ格納構成例について説明する図である。 BDAVフォーマットについて説明する図である。 BDAVフォーマットに従ったデータ再生処理例について説明する図である。 MPEG−2TSフォーマットについて説明する図である。 MMTフォーマットについて説明する図である。 SPAVフォーマットについて説明する図である。 MMTフォーマットデータを、BDAVフォーマットデータとして記録する場合の処理例について説明する図である。 MMTフォーマットデータを、BDAVフォーマットデータとして記録する場合の処理例について説明する図である。 プレイリストファイルのデータ構成について説明する図である。 EPマップについて説明する図である。 EPマップについて説明する図である。 EPマップについて説明する図である。 プレイリストファイルのCPIタイプ記録データについて説明する図である。 プレイリストファイルのプレイアイテムのデータ構成について説明する図である。 プレイリストファイルのプレイアイテム記録データについて説明する図である。 MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。 MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例について説明する図である。 MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す図である。 プレイリストファイルの構成要素であるプレイリストマークについて説明する図である。 プレイリストマーク情報の記録データについて説明する図である。 クリップ情報ファイルのデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのクリップ情報[ClipInfo()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのクリップ情報[ClipInfo()]中に記録されるアプリケーションタイプの記録例について説明する図である。 クリップ情報ファイルのクリップ情報[ClipInfo()]中に記録されるクリップストリームタイプの記録例について説明する図である。 クリップ情報ファイルのシーケンス情報[SequenceInfo()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのシーケンス情報[SequenceInfo()]に記録されるATCとSTCについて説明する図である。 クリップ情報ファイルのプログラム情報[ProgramInfo()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのCPI情報[CPI()]のデータ構成(シンタクス)を示す図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録されるEPマップのデータ構成について説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録されるEPマップのデータ構成について説明する図である。 EPマップを構成する2つのテーブルのデータ構成について説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成について説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成について説明する図である。 クリップ情報ファイルのCPI情報[CPI()]中に記録するMMTフォーマットデータ対応のEPマップのデータ構成について説明する図である。 MMTフォーマットデータ対応のEPマップを生成するために必要となるランダムアクセスポイント情報を取得するためのMPT(MMTパッケージテーブル)のデータ構成について説明する図である。 MMTフォーマットデータ対応のEPマップを生成するために必要となるランダムアクセスポイント情報を取得する処理について説明する図である。 クリップ情報ファイルのクリップマーク[ClipMark()]のデータ構成(シンタックス)を示す図である。 クリップAVストリームファイルに記録するMMTフォーマットデータの例について説明する図である。 クリップAVストリームファイルに記録するMMTフォーマットデータの例について説明する図である。 クリップAVストリームファイルに記録するMMTフォーマットデータの例について説明する図である。 クリップAVストリームファイルに記録するMMTフォーマットデータ中の制御情報であるMPT(MMTパッケージテーブル)のデータについて説明する図である。 クリップAVストリームファイルに記録するMMTフォーマットデータ中の制御情報であるMPT(MMTパッケージテーブル)のデータについて説明する図である。 クリップAVストリームファイルに記録するMMTフォーマットデータ中の制御情報であるMPT(MMTパッケージテーブル)のデータについて説明する図である。 情報記録媒体(メディア)に対するデータ記録処理を実行する情報処理装置の構成例についてを説明する図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)に対するデータ記録処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理を実行する情報処理装置の構成例についてを説明する図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体(メディア)からのデータ再生処理の処理シーケンスを説明するフローチャートを示す図である。 本開示の処理に適用される報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.通信システムの構成例について
2.MMT(MPEG Media Transport)フォーマットについて
3.BDAVフォーマットとSPAVフォーマットについて
4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
5.MMTフォーマットデータ対応のプレイリストファイルについて
6.MMTフォーマットデータ対応のクリップ情報ファイルについて
7.MMTフォーマットデータの全記録(フル記録)と、部分記録(パーシャル記録)について
8.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
9.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
10.情報処理装置の構成例について
11.本開示の構成のまとめ
[1.通信システムの構成例について]
まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
図1に示す情報処理装置30は、BD(Blu−ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理を実行する。
情報処理装置30がメディアに記録するデータは、例えば放送局(放送サーバ)21や、データ配信サーバ22等の送信装置20の提供する送信コンテンツである。具体的には、テレビ局の提供する放送番組等である。
これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
情報処理装置30は、例えばBDプレーヤ31、テレビ32、PC33、携帯端末34等である、これらの情報処理装置は、例えば、BD(Blu−ray(登録商標) Disc)41、HDD(ハードディスク)42、フラッシュメモリ43等の様々なメディアを装着し、これらのメディアに対するデータ記録処理や、メディアからのデータ再生処理を実行する。
送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
送信装置20は、コンテンツデータを符号化し、符号化データおよび符号化データのメタデータを含むデータファイルを生成し、生成した符号化データをMMTにおいて規定されるMMTP(MMT Protocol)パケットに格納して放送波、またはネットワークを介して送信する。
送信装置20が情報処理装置30に提供するデータは、画像、音声、字幕等の再生対象データの他、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
[2.MMT(MPEG Media Transport)フォーマットについて]
上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
図2は、MMTフォーマットのスタック・モデルを示す図である。
図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
物理レイヤ(PHY)の上位レイヤとして、TLV(Type Length Value)レイヤがある。TLVはIPパケットの多重化方式を規定したフォーマット規定レイヤである。複数のIPパケットが多重化されてTLVパケットとして送信される。TLV−SIは、TLVフォーマットに従ったシグナリング情報の伝送レイヤである。
シグナリング情報は、情報処理装置30側においてコンテンツ(番組)を受信するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
TLVレイヤで処理が生成されるTLVパケットに格納されるシグナリング情報がTLV−SIであり、MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納されるシグナリング情報は最上位レイヤに示すMMT−SIである。
TLVレイヤ上には、UDP/IPレイヤが設定される。
UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
MMTレイヤ上には、以下のレイヤが設定される。
画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
MMTPパケットを利用して送信されるシグナリング情報(MMT−SI)、
さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
これらの各データがMMTPパケットに格納されて送信される。
シグナリング情報(MMT−SI)は、MMTPパケットで送信されるシグナリング情報であり、情報処理装置30側においてコンテンツ(番組)を受信するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
なお、時刻情報(NTP:Network Time Protocol)は絶対時刻情報であり、UDPパケットに直接格納され送信される。
その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
図2に示すように、画像、音声、字幕、さらに、様々な通知情報や制御情報を含むシグナリング情報(MMT−SI)やアプリケーションは、MMTPパケットによって送信される。
図3を参照してMMTPパケットの具体的構成例について説明する。
図3には以下の4種類のデータ構成例を示している。
(a)MPU(Media Presentation Unit)
(b)MMTPペイロート
(c)MMTPパケット
(d)TLVパケット
(d)TLVパケットが放送波やネットワークを介して送信されるパケットであり、TLVパケットには、UDPヘッダ、IPヘッダ、TLVヘッダの各ヘッダ情報が設定される。TLVパケットは、データ種類ごとに個別のパケットとして設定される。
すなわち、1つのTLVパケットのTLVペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、MMTPパケットに格納するシグナリング情報(MMT−SI)、TLVパケットで送信されるシグナリング情報(TLV−SI)、これらいずれか一種類のデータが、個別のTLVパケットに格納される。
TLVパケットのペイロードであるTLVペイロートの一例が、図3(c)に示すMMTPパケットである。
図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
1つのMMTPパケットのMMTPペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、MMTPパケットに格納するシグナリング情報(MMT−SI)、これらいずれか一種類のデータが、個別のMMTPパケットに格納される。
図3(a),(b)は、図3(c)に示すMMTPパケットのMMTPペイロードに格納される画像データの詳細構成を示している。
図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
データユニットには、図3(a)に示すように、画像データおよび、以下の各種のパラメータが格納される。
AU Delimiter(Access Unit Delimiter)
SPS(Sequence Parameter Set)
PPS(Picture Parameter Set)
SEIs(Supplemental Enhancement Information)
これらのパラメータは、画像表示に利用されるパラメータである。
図3(a)に示すMPU(Media Presentation Unit)は、MMTフォーマットにおける1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
このように、例えば画像データは、図3(a)に示すように、MMTフォーマットにおいて規定されたパラメータと画像構成データに分割され、図3(b)に示すMMTPペイロードに格納され、図3(c)に示すMMTPパケットとして構成される。
さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
なお、音声、字幕等の各データ、MMT−SIの各データについても、それぞれデータ種類単位のMMTPパケット、TLVパケットが設定されて送信される。
TLV−SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
[3.BDAVフォーマットとSPAVフォーマットについて]
次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu−ray(登録商標) Disc)やフラッシュメモリ、あるいはHD(ハードディスク等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
例えばBD(Blu−ray(登録商標) Disc)やフラッシュメモリやHD等のメディアから、画像、音声、字幕等のコンテンツを再生する場合には、これらのコンテンツの再生処理を行なうための再生制御情報やインデックス情報が必要となる。再生制御情報やインデックス情報は一般的にデータベースファイルと呼ばれる。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
前述したように、現行の記録再生アプリケーション規格(=データ記録フォーマット)としてBDMVやBDAV規格(データ記録フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu−ray(登録商標) Disc)を利用したデータ記録再生アプリケーション規格として策定されたものである。
なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であり、データ記録フォーマット(規格)であるが、これらの規格はBDに限らず、フラッシュメモリなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDMVは、例えば映画コンテンツなどを予め記録したBD−ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD−ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD−RE型ディスクや、一回のみ記録可能なBD−R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
上述のMMTフォーマットに従った配信コンテンツを記録したメディアからのコンテンツ再生処理を、BDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
図4は、情報記録媒体(メディア)40にBDAVフォーマットに従って記録されたデータのディレクトリ構成例を示す図である。
ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
管理情報ファイルは、例えば、図4に示すインフォファイル(info)、メニューファイル(menu)、マークファイル(mark)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
また、再生制御情報ファイルとして、
プレイリストファイル(playlist)、
クリップ情報ファイル(clipinf)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データを格納したパケットによって構成される。
なお、従来の放送データや、ネットワーク配信データは、TS(Transport Stream)パケットによって構成されたMPEG−2TSフォーマットデータであるが、今後の4K,8K画像等の高精細画像等を含むデータは前述したMMTPパケットによって構成されるMMTフォーマットデータとなることが予想される。
図4にはクリップAVストリームファイル(stream)として、
TSパケットによって構成されたMPEG−2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルを示している。
図4に示すディレクトリ例は、情報処理装置30が受信したデータがMPEG−2TSフォーマットデータである場合は、そのまま、MPEG−2TSフォーマットデータとしてメディアに記録し、受信データがMMTフォーマットデータである場合は、MMTフォーマットデータとしてメディアに記録する設定の場合のディレクトリ例である。
このディレクトリ例は一例であり、例えば、情報処理装置30が、フォーマット変換機能を有する場合には、以下のような処理が行われる可能性もある。
受信データがMMTフォーマットデータである場合、MMTフォーマットをMPEG−2TSフォーマットに変換し、メディアに記録するクリップAVストリームファイルを、全てMPEG−2TSフォーマットデータに統一して記録する。
一方、MPEG−2TSフォーマットからMMTフォーマットへのフォーマット変換を実行することにより、メディアに記録するクリップAVストリームファイルを全てMMTフォーマットデータとするといった処理が実行される可能性もある。
これらの処理については、今後、検討されることになる。
管理情報ファイル、プレイリストファイル、クリップ情報ファイル、これらのデータファイルは、クリップAVストリームファイルに格納された再生データである画像、音声、字幕等の再生処理に適用する管理情報、再生制御情報、再生データ属性情報等を格納したファイルであり、データベースファイルと呼ばれる。
情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによって管理情報ファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられたプレイリストが選択される。
(c)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図5は、情報記録媒体(メディア)40に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像、音声、字幕等の再生対象データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図5に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)、あるいはクリップファイルと呼ぶ。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
なお、クリップAVストリーム(Clip AV Stream)ファイルは、MPEG−2TSフォーマットデータである場合はTSパケットによって構成される。
また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
クリップ情報(Clip Information)ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
このように、プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
なお、再生対象データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、前述したように、従来型のMPEG−2TSフォーマットデータである場合はTSパケットによって構成される。
また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
図6、図7を参照して、MMTフォーマットと、MPEG−2TSフォーマットについて説明する。
まず、図6を参照して、MPEG−2TSフォーマットについて説明する。
MPEG−2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG−2TSフォーマットは、ISO13818−1において標準化されたフォーマットであり、例えばBD(Blu−ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
図6(a)〜(c)はMPEG−2TSフォーマットデータの構成を示す図である。
最下段に示す図6(a)は、MPEG−2TSのフォーマットデータの全体構成を示す図である。
図6(a)に示すように、MPEG−2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
1つのエレメンタリストリーム(Elementary stream)は、図2(b)に示すように、1つまたは複数のPES(Packetized Elementary stream)パケットによって構成される。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
1つのPESパケットは、図6(c)に示すように、1つまたは複数のTSパケットによって構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
次に、図7を参照してMMT(MPEG Media Transport)フォーマットについて説明する。
MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG−2TSフォーマットとの対応関係を分かり易く説明した図である。
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
図7は、ISO/IEC 23008−1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
図7(a)〜(c)にはMMTフォーマットデータの構成を示している。
最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
1つのMPUは、図7(b)に示すように、1つまたは複数のメディアフラグメントユニット(MFU:Media Fragment unit)によって構成される。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
1つのMFUは、図7(c)に示すように、1つまたは複数のMMTPパケットによって構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMPTペイロード)により、構成される。
なお、BDAVフォーマットに類似するフォーマットとしてSPAVフォーマットがある。前述したように、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格である。これに対して、SPAVフォーマットは、主にハードディスクに対するデータ記録再生のアプリケーション規格である。
ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
SPAVフォーマットデータは、BDAVフォーマットにおけるデータ記録再生処理と同様の処理でデータ記録再生を実行することが可能である。ただし、SPAVフォーマットは、ファイル名設定が、BDAVフォーマットと一部、異なっている。
図8にSPAVフォーマットのディレクトリ構成例を示す。
図8に示すSPAVフォーマットのディレクトリには、先に図4を参照して説明したBDAVフォーマットと同様、様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
管理情報ファイルは、例えば、図8に示すインフォファイル(INFO)、メニューファイル(MENU)、マークファイル(MARK)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
また、再生制御情報ファイルとして、
プレイリストファイル(PLAYLIST)、
クリップ情報ファイル(CLIPINF)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
図8に示すようにSPAVフォーマットのディレクトリ名や各ファイルの拡張子の設定が、図4を参照して説明したBDAVフォーマットと異なっている。
ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
以下の実施例の説明では、MMTフォーマットデータをBDAVフォーマットデータとして記録し、再生する処理例について説明するが、以下に説明する実施例は、MMTフォーマットデータをSPAVフォーマットデータとして記録し、再生する処理にも適用可能である。
[4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について]
次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
先に説明したように、MMTフォーマットはデータ配信フォーマットであり、図3を参照して説明したスタックに従ったフォーマットである。
一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
従って、MMTフォーマットに従った配信コンテンツをメディアに記録し、記録したメディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、BDAVフォーマットに従ったデータ記録を行うことが必要である。
再生対象データとしての画像、音声、字幕等の各データは、前述のように、MMTフォーマットのまま記録するか、あるいはMEG−2TSファイルに変換してクリップAVストリームファイルとして記録すればよい。
しかし、BDAVフォーマットは、再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイル等のBDAVフォーマット固有のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
前述したように、BDAVフォーマット規定のプレイリストファイルやクリップ情報ファイル等のデータベースファイルは、もともと、MPEG−2TSフォーマットの配信データに基づいて生成可能なファイルとして規定されたものである。
MPEG−2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
従って、このMMTフォーマットデータをメディアに記録し、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うことを可能とするためには、メディアに対するMMTフォーマットデータの記録処理に際して、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
図9は、MMTフォーマットに従った配信データに基づいて、メディア記録用のBDAVフォーマットデータを生成する処理例について説明する図である。
図9に示すように、再生対象となる画像、音声、字幕の各データは、クリップAVストリームファイルとして記録する。これらの再生対象データは、MMTフォーマットのまま、あるいはTSフォーマットに変換して記録する等、様々な処理が可能である。
一方、BDAVフォーマットにおいて規定される管理情報ファイル、プレイリストファイルやクリップ情報ファイル等のデータベースファイルは、MMTフォーマットには含まれていない。
先に図2を参照して説明したように、MMTフォーマットデータには、コンテンツ受信に必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等を含むシグナリング情報が含まれる。
TLVレイヤで処理が生成されるTLVパケットに格納されるシグナリング情報がTLV−SIであり、MMTプロトコルに従って生成されるパケットであるMMTPパケットに格納されるシグナリング情報がMMT−SIである。
MMTフォーマットデータを受信して、受信データをメディアに記録する情報処理装置30は、MMTフォーマットに含まれるTLV−SIやMMT−SI等のシグナリング情報から、BDAVフォーマットのデータベースファイルに記録すべき情報を選択して、BDAVフォーマットに規定されたプレイリストファイルやクリップ情報ファイル等を生成することが必要となる。
BDAVフォーマットに規定されたプレイリストファイルやクリップ情報ファイルには、クリップAVストリームファイルの再生制御情報として様々なデータが記録される。例えば、クリップAVストリームファイルに格納されるコンテンツの属性情報が記録される。
先に図4を参照して説明したように、画像や音声等の再生対象データを格納したクリップAVストリームファイル(stream)には、
TSパケットによって構成されたMPEG−2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルが含まれる。
先に図4を参照して説明したように、図4に示すディレクトリ例は、情報処理装置30が受信したデータがMPEG−2TSフォーマットデータである場合は、そのまま、MPEG−2TSフォーマットデータとしてメディアに記録し、受信データがMMTフォーマットデータである場合は、MMTフォーマットデータとしてメディアに記録する設定の場合のディレクトリ例である。
このように、例えば放送局から受信する番組コンテンツを構成するMMTフォーマットデータを図4に示すBDAVフォーマットに従って記録した場合、図4に示すMMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)が、クリップAVストリームファイル(stream)として記録される。
このMMTフォーマットデータ(nnnnn.mmtv)は、先に図3〜図7を参照して説明したように、MPEG−2TSフォーマットデータとは異なる形式のデータである。
従って、このMMTフォーマットデータ(nnnnn.mmtv)の再生に適用する生成制御情報ファイルであるプレイリストファイルや、クリップ情報ファイルは、このMMTフォーマットデータ(nnnnn.mmtv)の再生を実現するためのデータ構成を持つことが必要となる。従来のMPEG−2TSフォーマットデータ(nnnnn.m2ts)の再生に適用されるプレイリストファイルや、クリップ情報ファイルをそのまま利用することはできない。
例えば、図1に示すテレビ32等の情報処理装置30が、放送サーバ(放送局)21等の送信装置20から送信される番組コンテンツを構成するMMTフォーマットデータを受信し、BD、フラッシュメモリ、HD等のメディア(情報記録媒体)に記録する場合、図10に示すBDAVディレクトリ中のクリップAVストリームファイルとして、MMTフォーマットに従ったデータを格納したMMTフォーマットデータ格納クリップAVストリームファイル(nnnnn.mmtv)71の記録処理を実行する。
テレビ32等の情報処理装置30は、このMMTフォーマットデータ格納クリップAVストリームファイル(nnnnn.mmtv)71の記録処理に併せて、このMMTフォーマットデータ格納クリップAVストリームファイル(nnnnn.mmtv)71を、BDAV記録再生アプリケーションを適用して再生可能とするための再生制御情報を記録することが必要となる。
具体的には、図10に示すMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72と、プレイリストファイル(nnnnn.rpls)73を生成して、メディア(BD,フラッシュメモリ,HD等)に記録することが必要となる。
メディアに記録されたMMTフォーマットデータ格納クリップAVストリームファイル71を再生する場合には、このMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72と、プレイリストファイル(nnnnn.rpls)73を利用して再生処理を行うことができる。
しかし、前述したように、放送局の配信データであるMMTフォーマットに従って配信されるデータは、BDAVフォーマットで規定するプレイリストファイルやクリップ情報ファイルの記録用データを全て含むようには構成されてない。
また、MMTフォーマットデータ格納クリップAVストリームファイル71は、MPEG−2TSフォーマットデータとは異なるデータ形式となり、MPEG−2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
従って、このMMTフォーマットデータをメディアに記録して、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うためには、MMTフォーマットデータ格納クリップAVストリームファイル71の再生制御を行うことができるMMTフォーマットデータ固有のデータ形式を持つプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
以下、この具体的な処理について説明する。
[5.MMTフォーマットデータ対応のプレイリストファイルについて]
まず、図11以下を参照してMMTフォーマットデータ対応のプレイリストファイルについて説明する。
先に説明したように、プレイリストファイルには、そのプレイリストを適用して再生されるデータに関する情報が記録される。具体的には、例えばコンテンツの再生処理に適用するプレイアイテムに関する情報、さらに、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
図11は、1つのプレイリスト(PlayList)ファイルに記録される[PlayList]のデータ構成(シンタクス)を示す図である。
図11に示す[PlayList]の主な記録データについて説明する。
バージョンナンバ(version_number)は、このプレイリストのバージョンナンバを示す。
レングス(length)は、このレングスフィールドの直後からプレイリストファイル構成データの最後までのバイト数を示す。
PL_CPIタイプ(PL_CPI_type)101は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
プレイアイテム数(number_of_PlayItems)102は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)の数を示す。
サブプレイアイテム数(number_of_SubPlayItems)103は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)の数を示す。
プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
プレイアイテム情報(PlayItem())104の詳細(シンタクス)については後述する。
上述したように、PL_CPIタイプ(PL_CPI_type)101は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、ランダムアクセス再生開始可能な再生開始点のデータアドレスを取得するためのデータである。
なお、BDAVフォーマットにおいて規定されているCPIとしては、例えばEPマップ(EP_map)や、TUマップ(TU_map)の異なる種類のマップがある。
これらのマップは、いずれも、例えばランダムアクセスポイントとなる再生時間情報(PTS:Presentation Time Stamp)と、その位置のパケットのパケット識別子であるソースパケットナンバー(SPN:Source Packet Number)との対応データであり、ランダムアクセスポイントの再生データが格納されたパケットを取得するために利用可能なマップ情報である
EPマップ、TUマップとも、ランダムアクセスポイント情報を記録したマップデータであるが、EPマップは、より細かなランダムアクセスポイント情報を記録したマップデータであり、TUマップはEPマップに比較してラフなランダムアクセスポイント情報を記録したマップデータである。
BDAVフォーマットでは、EPマップとTUマップの2種類のマップを規定しているが、TUマップの利用はほとんどなされておらず、EPマップのみ利用されているのが現状である。
EP_mapやTU_mapは、AVストリームの中でデコードを開始すべきエントリポイント(EP)の場所を見つけるためのアドレス情報を持つ。
EPマップについて、図12以下を参照して説明する。
先に、図5を参照して説明したように、プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
また、クリップ情報ファイル(Clip Information file)は、図12に示すEPマップ(EP_map)を有する。
EPマップは、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報を記録している。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプと、パケット位置情報に相当するパケット取得のためのアドレス情報との対応データが記録されている。
具体的には、
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Time Stamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケット番号(SPN)と、
これらの対応情報を有する。
このような対応情報を有するEPマップを参照することで、タイムスタンプに基づいて対応するアドレス(SPN)を取得し、アドレス(SPN)に従って、例えばAVストリーム中の再生開始位置であるデコード開始点などを見つけることができる。
図13は、EPマップ(EP_map)の具体的な構成と利用例を説明する図である。図13(A)に示すクリップAVストリーム(Clip AV stream)は、パケット識別子:PIDで識別されるソースパケットからなるビデオストリームが多重化されている。ビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPIDにより区別される。
ビデオストリームのソースパケットは、MPEGデータを構成するIPBピクチャ、すなわち、I(Intra)ピクチャ、P(Predictive)ピクチャ、B(Bidirectionally predictive)ピクチャを有する。Iピクチャは単独で復号可能なピクチャデータであり、その他のPピクチャ、Bピクチャは、復号する場合に前後のIピクチャの参照が必要となる。例えば、ランダムアクセスによる再生開始点は、単独復号可能なIピクチャを持つパケット位置に設定される。
EPマップはランダムアクセス可能な再生開始点位置情報としてIピクチャの位置情報を、上述のPTSとSPNの対応データとして保持している。すなわち、
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Time Stamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケットナンバー(SPN)と、
これらの対応情報である。
このような設定としたEPマップを参照することで、ランダムアクセス可能な再生開始位置であるIピクチャの場所を求めることができる。EPマップ(EP_map)は、クリップ情報ファイルに含まれるデータである。
EPマップに基づくIピクチャ位置の検出について、図13を参照して説明する。図13(A)はクリップAVストリームを示し、各矩形は192バイトのソースパケットを示している。
図には、I(Intra)ピクチャの先頭バイトを含むソースパケットを、斜線を付した四角で示している。斜線の無い白い四角はランダムアクセスポイントとならないデータが含まれるソースパケットや、他のストリームのデータが含まれているソースパケットを示す。
例えば、PID=xで区別されるビデオストリームのランダムアクセス可能なIピクチャの先頭バイトを含むソースパケット番号X1のソースパケットは、クリップAVストリームの時間軸上でPTS=pts(x1)の位置に配置される。同様に、次にランダムアクセス可能なIピクチャの先頭バイトを含むソースパケットはソースパケット番号X2のソースパケットとされ、PTS=pts(x2)の位置に配置される。
図13(B)に示すように、ソースパケットは、188バイトのトランスポートパケットに4バイトのヘッダ(TP_extra_header)を付加した形で構成される。トランスポートパケット部分は、ヘッダ部(TP header)とペイロード部とからなる。
図13(C2)に示すEPマップの登録データであるSPN_EP_startは、シーケンスヘッダ(SQH)から始まるIピクチャを含むアクセスユニット(Access Unit)の第1バイト目を含むソースパケットのソースパケット番号(SPN)を表す。
なお、クリップAVストリームファイル中のすべてのパケットに設定された一連の番号がソースパケット番号(SPN)である。クリップAVストリームファイル中、最初のソースパケットのソースパケット番号をゼロ、その次のパケットのソースパケット番号は1であり、以後、次のパケット毎にソースパケット番号は1つずつ増加する。
図13(C2)に示すように、EPマップ(EP_map)は、
ストリームPID(Stream_PID)、
EPエントリ数(number_of_EP_entries)、
プレゼンテーションタイムスタンプEPスタート(PTS_EP_start)、および、
ソースパケット番号EPスタート(SPN_EP_start)、
これらのデータを記録している。
ストリームPID(Stream_PID)は、ビデオストリームを伝送するトランスポートパケットのパケット識別子(PID)である。
EPエントリ数(number_of_EP_entries)は、EP_mapに含まれるPTS_EP_start とSPN_EP_startのペアのエントリの個数である。
プレゼンテーションタイムスタンプEPスタート(PTS_EP_start)は、ランダムアクセス可能なIピクチャから始まるAccess UnitのPTS(プレゼンテーション・タイムスタンプ)を表す。
ソースパケット番号EPスタート(SPN_EP_start)は、PTS_EP_startの値により参照されるアクセスユニット(Access Unit)の第1バイト目を含むソースパケット番号(SPN:Source Packet Number)を表す。
ビデオストリームのPID(パケット識別子)の値がstream_PIDに格納され、PTS_EP_startとSPN_EP_startの対応関係を表すテーブル情報であるEP_map()が生成される。
例えば、PID=xのビデオストリームのEPマップには、
PTS=pts(x1)とソースパケット番号(SPN)X1、
PTS=pts(x2)とソースパケット番号(SPN)X2、
・・・、
PTS=pts(xk)とソースパケット番号(SPN)Xk、
これらのPTSとSPNの対応データからなるテーブルが記述される。
上記のテーブルを含むEPマップ(EP_map)が、1つのクリップAVストリームに対応するクリップ情報ファイルに格納される。
このようなデータを持つEPマップ(EP_map)は、例えばランダムアクセスなどを行うときのデコード開始位置を特定するために参照される。
クリップ中の時間軸上の時刻xから再生開始するとき、EP_mapを利用して、クリップAVストリームファイルの中でストリームのデコードを開始すべきアドレス情報の計算方法について、図14を参照して説明する。
図14に示すように、プレイリスト(PlayList)が、クリップ中の時間軸上の時刻xから再生開始を指定する情報を有する場合、xよりも小さく最も近い値を持つタイムスタンプ[PTS_EP_start[m]]が特定される。
このプレイリスト情報に従って特定されるタイムスタンプ[PTS_EP_start[m]]に基づいて、クリップ情報ファイル中のEPマップを参照して、タイムスタンプ[PTS_EP_start[m]]に対応するソースパケット番号[SPN_EP_start[m]]を特定する。
このようにEPマップを利用して、プレイリスト情報に従って決定される再生時間情報であるPTSから、そのPTSに対応するパケット位置情報であるSPN、すなわち、[SPN_EP_start[m]]を取得する。
このパケット位置[SPN_EP_start[m]]を、クリップAVストリームファイル中の再生開始点、すなわち、デコードを開始すべきアドレス情報として取得し、デコード処理を行って再生を行うことができる。
図12〜図14を参照して説明したEPマップの利用例は、MPEG−2TSフォーマットデータを利用したランダムアクセスポイント対応のパケット取得処理例である。MPEG−2TSフォーマットデータでは、このように、EPマップを利用して、プレイリスト情報に従って決定される再生時間情報であるPTSから、そのPTSに対応するパケット位置情報であるSPN、すなわち、[SPN_EP_start[m]]を取得する。
しかし、MMTフォーマットデータは、MPEG−2TSフォーマットデータとは異なるフォーマットを有するため、このMPEG−2TSフォーマットデータと同様の処理を実行してランダムアクセスポイント対応パケットを取得することはできない。
すなわち、再生対象データがMMTフォーマットデータである場合は、上述した処理と異なるMMTフォーマットデータ対応のデータ処理を行う必要がある。
EPマップは、クリップ情報ファイルに規定されており、MMTフォーマットデータに対応するランダムアクセスポイント取得処理を実行するためのMMTフォーマットデータ対応のEPマップをMMTフォーマットデータ対応のクリップ情報ファイルに記録する必要がある。
すなわち、図10に示すMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72にMMTフォーマットデータ対応のEPマップを記録することが必要となる。この具体例については、後述する。
このように、MPEG−2TSフォーマットデータに対応するEPマップと、MMTフォーマットデータに対応するEPマップとは異なるデータとなる。
図11を参照して説明したように、図11に示すプレイリストファイルに記録されるPL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、再生開始点(ランダムアクセスポイント)のデータアドレスを取得するためのEPマップやTUマップの種類を示すデータを記録する領域である。
従来のPL_CPIタイプ(PL_CPI_type)には、MPEG−2TSフォーマットデータ対応のEPマップやTUマップの識別情報が記録されていた。
しかし、MMTフォーマットデータに対応のEPマップは、これまでのMPEG−2TSフォーマットデータ対応のEPマップとは異なるマップである。
従って、プレイリストファイルのPL_CPIタイプ(PL_CPI_type)についても、これらを区別した識別子を設定することが必要となる。
図15に、以下のCPIタイプ記録データを示す。
(1)従来のCPIタイプ記録データ(MPEG−2TS対応データのみ記録)
(2)新たなCPIタイプ記録データ(MPEG−2TS対応データとMMT対応データを記録)
図15の「(1)従来のCPIタイプ記録データ(MPEG−2TS対応データのみ記録)」に示すデータは、従来のプレイリストファイルのPL_CPIタイプ(PL_CPI_type)として定義されていたデータである。
PL_CPIタイプ(PL_CPI_type)=1は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のEPマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のTUマップであることを意味する。
このように、従来のCPIタイプ記録データは、MPEG−2TS対応データのみ記録していた。
図15の「(2)新たなCPIタイプ記録データ(MPEG−2TS対応データとMMT対応データを記録)」は、上記設定に、さらに、
PL_CPIタイプ(PL_CPI_type)=3
このビット値=3の設定を追加した構成となっている。
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
このように、PL_CPIタイプ(PL_CPI_type)=1〜3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
次に、先に図11を参照して説明した[PlayList]内に記録されるプレイアイテム情報(PlayItem())104の詳細(シンタクス)について、図16以下を参照して説明する。
先に説明したように、プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
図16は、プレイアイテム情報(PlayItem())104のデータ構成(シンタクス)を示す図である。
クリップ情報ファイルネーム(Clip_Information_file_name)111には、このプレイアイテムを利用した再生処理に適用するクリップ情報ファイルのファイル名が記録される。
参照STC識別子(ref_to_STC_id)112は、このプレイアイテムが参照すべきSTC(システムタイムクロック)連続区間のSTC識別子を示す。
STC(システムタイムクロック)は、AVストリーム再生時の基準クロックであり、連続再生区間では、1つのSTCが利用される。例えば1つのプレイアイテムが再生する連続再生区間では1つのSTCが利用され、プレイアイテムの切り替えによって異なるSTCが参照されることになる。
参照STC識別子(ref_to_STC_id)112には、このプレイアイテムが参照すべきSTC(システムタイムクロック)を指定する情報が記録される。
開始時間(IN_time)113は、プレイアイテムの再生開始時間の記録領域である。
終了時間(OUT_time)114は、プレイアイテムの再生終了時間の記録領域である。
これらの開始時間、終了時間情報は、従来のMPEG−2TSフォーマットデータを再生対象とする場合、参照STC識別子(ref_to_STC_id)112によって指定されたプレイアイテム対応のSTCの開始時間からの差分時間情報(45KHzhクロック)が記録される。
なお、45KHzクロックは、MPEG−2TSフォーマットデータの記録再生に用いられる一般的なクロックである。
しかし、再生対象データが、MMTフォーマットデータの場合、MPEG−2TSフォーマットデータのように、プレイアイテム対応の再生対象データ(MMTフォーマットデータ)各々に個別のSTCが対応付けられた構成とはなっていない。
従って、MMTフォーマットデータを再生対象とするプレイリストのプレイアイテム情報(PlayItem())に記録する、
開始時間(IN_time)113と、
終了時間(OUT_time)114は、
MMTフォーマットデータに固有の時間情報とする必要がある。
この変更例について、図17を参照して説明する。
図17には、以下のデータ例を示している。
(1)従来のプレイアイテム情報記録データ(MPEG−2TS対応プレイリスト)
(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)
図17(1)に示す「(1)従来のプレイアイテム情報記録データ(MPEG−2TS対応プレイリスト)」は、再生対象データが、MPEG−2TSフォーマットデータの場合、プレイアイテム情報(PlayItem())に記録される開始時間(IN_time)、終了時間(OUT_time)の記録データを示している。
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報であり、前述したように、このプレイアイテムを利用した再生処理に適用されるSTC[システムタイムクロック(45KHzクロック)])開始点からの経過時間情報を記録する。STCは、図16を参照して説明した参照STC識別子(ref_to_STC_id)112によって特定されるSTCである。
また、終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報であり、前述したように、このプレイアイテムを利用した再生処理に適用されるSTC[システムタイムクロック(45KHzクロック)])開始点からの経過時間情報を記録する。STCは、図16を参照して説明した参照STC識別子(ref_to_STC_id)112によって特定されるSTCである。
図17(2)に示す「(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)」は、再生対象データが、MMTフォーマットデータの場合、プレイアイテム情報(PlayItem())に記録される開始時間(IN_time)、終了時間(OUT_time)の記録データを示している。
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば図1に示す放送サーバ(放送局)21等の送信装置20が送信する放送コンテンツ等を含むMMTフォーマットデータに併せて送信される。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
送信装置20は、例えば、先に図3を参照して説明したMMTフォーマットにおける1つのデータ処理単位であるMPU(Media Presentation Unit)単位の再生時間情報を、NTP(ネットワークタイムプロトコル)に従った時間情報として記録した制御情報を、再生対象データ(番組コンテンツ)に併せて送信する。
具体例について、図18以下を参照して説明する。
例えば図1に示す放送サーバ(放送局)21等の送信装置20からの配信コンテンツ(番組)をMMTフォーマットデータで受信し、受信コンテンツを情報記録媒体(メディア)に記録する情報処理装置30は、受信データから様々な情報を抽出して、プレイリストファイルやクリップ情報ファイルを生成することが必要となる。
先に図2他を参照して説明したように、MMTフォーマットデータには、情報処理装置30側においてコンテンツ(番組)を受信するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等によって構成されるシグナリング情報が含まれる。
MMTフォーマットで規定されたシグナリング情報には、MMTPパケットで送信されるシグナリング情報(MMT−SI)と、TLVパケットで送信されるシグナリング情報(TLV−SI)がある。
MMTフォーマットデータを受信して、受信データをメディアに記録する情報処理装置30は、例えばMMTフォーマットに含まれるTLV−SIやMMT−SI等のシグナリング情報から様々な情報を抽出して、プレイリストファイルやクリップ情報ファイルを生成する。
MMTPパケットで送信されるシグナリング情報(MMT−SI)の一つにMMTパッケージテーブル(MPT:MMT Package Table)がある。MMTパッケージテーブル(MPT)は、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
なお、MMTパッケージテーブル(MPT:MMT Package Table)は、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
MMTパッケージテーブル(MPT:MMT Package Table)の構成について図18を参照して説明する。
図18は、MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。
MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)は、前述したように、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
MMTパッケージテーブル(MPT)には、図18に示すように、
アセットタイプ(asset_type)
アセット記述子(asset_descriptors_byte)
これらのデータ記録領域が含まれる。
アセットタイプ(asset_type)は、画像、音声、字幕等のデータ種類別の識別子を記録する領域である。アセットとは、共通属性を持つデータ処理の単位であり、画像、音声、字幕等は、各々、異なるアセットとして設定される。
MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図19に示す。
図19に示すように、MPTに記録されるアセットタイプ(asset_type)には、例えば以下の種類がある。
hvc1:HEVC画像
mp4a:音声
stpp:字幕等
aapp:アプリケーション
図18に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
図18のMPTの下段に示す、
アセット記述子(asset_descriptors_byte)
このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
このアセット記述子(asset_descriptors_byte)として記録される情報の一つに画像や音声等の再生時間情報が含まれる。
再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
図20に、MMTパッケージテーブル(MPT)にアセット記述子(asset_descriptors_byte)として記録されるMPU単位の再生時間情報(タイムスタンプ)を記録したMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す。
なお、MPUは、先に図3を参照して説明したように、図3(a)に示すMPU(Media Presentation Unit)であり、MMTフォーマットにおける1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子は、このMPU単位の再生時間情報に相当する。
図20に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)
MPU再生時刻(MPU_presentation_time)
MPUシーケンス番号(MPU_sequenc_number)には、MPUの識別子が記録される。
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
このように、MMTパッケージテーブル(MPT)には、アセット記述子(asset_descriptors_byte)として、MPU単位の再生時間情報(タイムスタンプ)であるMPUタイムスタンプが記録される。
このように図1に示す送信装置20は、MMTパッケージテーブル(MPT)にMMTフォーマットにおける1つのデータ処理単位であるMPU(Media Presentation Unit)単位の再生時間情報を、NTP時間情報として記録してテレビ等の情報処理装置30に送信する。
情報処理装置30は、この時間情報を取得してプレイリストに記録する。
すなわち、情報処理装置30は、情報記録媒体(メディア)にクリップAVストリームファイルとして記録するデータがMMTフォーマットデータの場合、その再生制御情報ファイルであるプレイリストファイルに、MMTパッケージテーブル(MPT)から取得したNTP時間情報を記録する。
このように、情報処理装置30は、先に図17(2)を参照して説明したように、情報記録媒体(メディア)にクリップAVストリームファイルとして記録する再生対象データがMMTフォーマットデータである場合、プレイリストファイルのプレイアイテム情報(PlayItem())の開始時間(IN_time)、終了時間(OUT_time)として、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
次に、図21を参照して、プレイリストファイルに記録されるもう一つの要素であるプレイリストマーク(PlayListMark)について説明する。
まず、マーク(Mark)について説明する。マークは、例えばクリップAVストリームファイルに格納された画像データのチャプタ区切り、シーンチェンジ点、ブックマーク、ハイライト、特徴的なシーンの時間指定情報として、プレイリストファイル、クリップ情報ファイルに記録可能なデータである。
プレイリストファイル、クリップ情報ファイルに対するマークの記録は、マークの時刻を示すタイムスタンプの記録処理により行われる。
図21は、プレイリストファイルの一要素であるプレイリストマーク(PlayListMark)のデータ構成(シンタクス)を示す図である。
プレイリストマーク数(number_of_PlayList_marks)121は、このプレイリストマーク(PlayListMark)中にストアされているマークの個数を示す。
マークタイプ(mark_type)122は、マークのタイプを示すフィールドである。たとえば、各マークが、プレイリストの代表画像位置、チャプタ開始位置、チャプタ終了位置、シーンチェンジ位置、編集位置等のどのタイプのマークであるかを示す情報を記録する。
マークタイムスタンプ(mark_time_stamp)123は、マークが設定されたポイントを示すタイムスタンプを記録するフィールドである。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)124は、マークが設定されたパケットの識別子を記録するフィールドである。
デュレーション(duration)125は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。
この図21に示すプレイリストマーク(PlayListMark)の記録データについても、クリップAVストリームファイルとして従来のMPEG−2TSフォーマットデータが記録されている場合については規定されているが、クリップAVストリームファイルとしてMMTフォーマットデータが記録されている場合については、特に規定されていない。
従って、クリップAVストリームファイルとしてMMTフォーマットデータを記録する場合のプレイリストマーク(PlayListMark)の記録データについて規定する必要がある。
図22に以下のデータ例を示す。
(1)従来のプレイリストマーク情報記録データ(MPEG−2TS対応プレイリスト)
(2)新たなプレイリストマーク情報記録データ(MMT対応プレイリスト)
図22(1)に示す「(1)従来のプレイリストマーク情報記録データ(MPEG−2TS対応プレイリスト)」は、再生対象データが、MPEG−2TSフォーマットデータの場合、プレイリストマーク(PlayListMark)に記録される記録データを示している。
マークタイムスタンプ(mark_time_stamp)は、マークが設定されたポイントを示すタイムスタンプを記録するフィールドである。再生データが、MPEG−2TSフォーマットデータである場合、ここには、マーク設定位置のタイムスタンプを記録する。このタイムスタンプは、MPEG−2TSフォーマットデータの記録再生に用いられる一般的なクロックである45KHzクロックデータとして記録される。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)は、マークが設定されたパケットの識別子を記録するフィールドである。再生データが、MPEG−2TSフォーマットデータである場合、ここには、マーク設定位置のTSパケットのパケットID(PID)を記録する。
デュレーション(duration)は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。再生データが、MPEG−2TSフォーマットデータである場合、ここには、隣接マーク間の時間間隔を、MPEG−2TSフォーマットデータの記録再生に用いられる一般的なクロックである45KHzクロックデータとして記録する。
図22に示す「(2)新たなプレイリストマーク情報記録データ(MMT対応プレイリスト)」は、再生対象データが、MMTフォーマットデータの場合、プレイリストマーク(PlayListMark)に記録される記録データを示している。
再生対象データがMMTフォーマットデータの場合、マークタイムスタンプ(mark_time_stamp)には、マーク設定位置のタイムスタンプを、NTP(ネットワークタイムプロトコル)に従った時間情報として記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
また、エレメンタリストリームパケットIDエントリ(entry_ES_PID)は、マークが設定されたパケットの識別子を記録するフィールドであり、再生データが、MMTフォーマットデータである場合、マーク設定位置のパケットIDとして、MMTパケットのIDを記録する。
デュレーション(duration)は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。このフィールドには、再生データが、MMTフォーマットデータである場合も、MPEG−2TSフォーマットデータと同様、45KHzクロックデータとして記録する。マーク間の時間間隔は、データ記録時に算出可能であり、従来のMPEG−2TSフォーマットデータのデータ記録形式に併せて記録する設定としている。
[6.MMTフォーマットデータ対応のクリップ情報ファイルについて]
次に、図23以下を参照してMMTフォーマットデータ対応のクリップ情報ファイルについて説明する。
先に説明したように、クリップ情報ファイルには、そのクリップ情報ファイルを適用して再生するデータに関する情報が記録される。具体的には、例えば、クリップAVストリームファイルの再生位置情報等を有する。
図23は、1つのクリップ情報ファイルのデータ構成(シンタクス)を示す図である。
クリップ情報ファイルには、クリップ情報に対応付けられた再生データに関する情報が記録される。図23に示すように、例えば、以下の各情報が記録される。
クリップ情報[ClipInfo()]201、
シーケンス情報[SequenceInfo()]202、
プログラム情報[ProgramInfo()]203、
CPI情報[CPI()]204
クリップ情報[ClipInfo()]201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する。
シーケンス情報[SequenceInfo()]202は、このクリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
プログラム情報[ProgramInfo()]203は、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program)に関する情報を記録する。
CPI情報[CPI()]204は、例えば、再生開始点のデータアドレスを取得するためのデータであり、先に図12〜14を参照して説明したEP_mapやTU_mapが記録される。
先に図11を参照して説明したように、プレイリストファイルには、CPIタイプ(CPI_type)が記録される。CPIタイプ(CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
次に、図24を参照して、クリップ情報ファイルに記録されるクリップ情報[ClipInfo()]201のデータ構成(シンタクス)について説明する。
前述したように、クリップ情報[ClipInfo()]201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する領域である。
図24に示すように、クリップ情報[ClipInfo()]201には、以下のデータが記録される。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
アプリケーションタイプ(application type)211は、このクリップ情報ファイルによる再生アプリケーションのタイプを示す情報であり、具体的には、通常の画像再生タイプと、スライドショーの再生処理タイプ等が規定される。
クリップストリームタイプ(Clip_stream_type)212は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプを示す情報である。MPEG−2TSフォーマットデータには、通常のMPEG−2TSストリームの他、ストリーム間に黒画を挿入したストリームタイプがあり、これらのタイプの識別情報が記録される。
トランスコードモードフラグ(transcode_mode_flag)213は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータ、すなわち情報記録媒体(メディア)に記録された再生対象データが、放送等の受信データをそのまま記録したものであるか、あるいは所定の圧縮処理等の変換処理を施して記録されたものであるかを示すフラグである。
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらは、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/second の単位で表したものである。
ソースパケット数(num_of_source_packets)216は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのファイルサイズ情報であり、MPEG−2TSフォーマットデータの場合、ソースパケット数が記録される。
このように、図24に示すクリップ情報[ClipInfo()]201には、記録すべきデータとして以下のデータが規定されている。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
しかし、これらのデータは、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータがMPEG−2TSフォーマットデータであることを想定して規定されており、クリップAVストリームファイルに格納されたデータがMMTフォーマットデータである場合を想定したものとはなっていない。
従って、クリップAVストリームファイルに格納されたデータがMMTフォーマットデータある場合のデータ記録態様についての規定が必要となる。
図25は、図24に示すクリップ情報[ClipInfo()]に記録されるアプリケーションタイプ(Application type)211について、
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG−2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG−2TS/MMT対応クリップ情報ファイル)
これらの各データを示した図である。
図25(1)に示す「(1)従来のクリップ情報(ClipInfo)記録データ(MPEG−2TS対応クリップ情報ファイル)」は、再生対象データがMPEG−2TSフォーマットデータである場合にクリップ情報(ClipInfo)に記録されるアプリケーションタイプ(Application type)の設定値と意味の対応データを示している。
再生対象データがMPEG−2TSフォーマットデータである場合、以下の設定となる。
アプリケーションタイプ(Application type)=1の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main TS for a main−path of Movies」、すなわち、画像メインパス対応のメインTS(トランスポートストリーム)の再生アプリケーションであることを示す。
なお、画像再生パスには、メインパス、サブパス等の複数の再生パスが設定可能であり、それぞれ異なるプレイアイテムを利用して再生することができる。
また、アプリケーションタイプ(Application type)=2の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main TS for a main−path of Time based slide show」、すなわち、タイムベーススライドショーのメインパス対応のメインTSの再生アプリケーションであることを示す。
このように、従来は、再生対象データがMPEG−2TSフォーマットデータのみであり、図25(1)に示す設定が利用されていた。
図25(2)に示す「(2)新たなクリップ情報(ClipInfo)記録データ(MPEG−2TS/MMT対応クリップ情報ファイル)」は、再生対象データがMPEG−2TSフォーマットデータ、またはMMTフォーマットデータである場合の2つの異なるフォーマットデータが想定される場合のクリップ情報(ClipInfo)に記録されるアプリケーションタイプ(Application type)の設定値と意味の対応データを示している。
この設定では、図25(1)において説明したアプリケーションタイプ(Application type)=1,2に加え、以下の設定を追加している。
アプリケーションタイプ(Application type)=3
アプリケーションタイプ(Application type)=3の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main MMT for a main−path of Movies」、すなわち、画像メインパス対応のメインMMTの再生アプリケーションであることを示す。
このような設定を追加することで、再生装置は、クリップ情報ファイルの記録データに基づいて、情報記録媒体(メディア)に記録されたクリップAVストリームファイルに格納されたデータがMMTフォーマットデータであることを確認し、MMTフォーマットデータに対応した再生処理を実行することができる。
次に、図26を参照して、図24に示すクリップ情報[ClipInfo()]に記録されるクリップストリームタイプ(Clip_stream_type)212について、
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG−2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG−2TS/MMT対応クリップ情報ファイル)
これらの各データについて説明する。
図26(1)に示す「(1)従来のクリップ情報(ClipInfo)記録データ(MPEG−2TS対応クリップ情報ファイル)」は、再生対象データがMPEG−2TSフォーマットデータである場合にクリップ情報(ClipInfo)に記録されるクリップストリームタイプ(Clip_stream_type)の設定値と意味の対応データを示している。
再生対象データがMPEG−2TSフォーマットデータである場合、以下の設定となる。
クリップストリームタイプ(Clip_stream_type)=1の場合、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプが、「A Clip AV stream of BDAV MPEG−2TS」、すなわち、BDAV MPEG−2TSフォーマットのクリップAVストリームであることを示す。
また、クリップストリームタイプ(Clip_stream_type)=2の場合、このクリップ情報ファイルによる再生データのタイプが、「A Bridge−Clip AV stream of BDAV MPEG−2TS」、すなわち、BDAV MPEG−2TSフォーマットのブリッジタイプのクリップAVストリームであることを示す。
なお、ブリッジタイプのクリップAVストリームとは、ストリーム間に黒画を挿入したタイプのストリームである。
このように、従来は、再生対象データがMPEG−2TSフォーマットデータのみであり、図26(1)に示す設定が利用されていた。
図26(2)に示す「(2)新たなクリップ情報(ClipInfo)記録データ(MPEG−2TS/MMT対応クリップ情報ファイル)」は、再生対象データがMPEG−2TSフォーマットデータ、またはMMTフォーマットデータである場合の2つの異なるフォーマットデータが想定される場合のクリップ情報(ClipInfo)に記録されるクリップストリームタイプ(Clip_stream_type)の設定値と意味の対応データを示している。
この設定では、図26(1)において説明したクリップストリームタイプ(Clip_stream_type)=1,2に加え、以下の設定を追加している。
クリップストリームタイプ(Clip_stream_type)=3
クリップストリームタイプ(Clip_stream_type)=3の場合、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプが、「A Clip AV stream of BDAV MMT」、すなわち、BDAV MMTフォーマットのクリップAVストリームであることを示す。
このような設定を追加することで、再生装置は、クリップ情報ファイルの記録データに基づいて、情報記録媒体(メディア)に記録されたクリップAVストリームファイルに格納されたデータがMMTフォーマットデータであることを確認し、MMTフォーマットデータに対応した再生処理を実行することができる。
ここまで、図24に示すクリップ情報[ClipInfo()]201に記録すべきデータの変更例として、
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
これら2つのデータについて説明した。
次に、図24に示すクリップ情報[ClipInfo()]201に記録すべき以下のデータについて、MMTフォーマットデータ対応のデータ記録例について説明する。
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
トランスコードモードフラグ(transcode_mode_flag)213は、前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイル格納データが、放送等の受信データをそのまま記録したものであるか、あるいは所定の圧縮処理等の変換処理を施して記録されたものであるかを示すフラグである。
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
この設定は、MMTフォーマットデータに対しても、同様の設定で利用できる。
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらは、前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
このビットレート情報は、TSパケットを基準として算出することを前提としており、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートを記録する必要がある。あるいは、再生対象データがMMTフォーマットである場合、このフィールドには無効値を記録し、ビットレート情報を利用しない設定としてもよい。
なお、MMTフォーマットに応じたビットレートを記録する場合には、以下のいずれかの方法でMMTフォーマットに応じたビットレートを取得して記録する。
(例1)STCシーケンス間でファイルサイズを時間で割り算してビットレートを算出して記録する。
(例2)データの記録時の圧縮処理において取得される記録データ情報に基づいてビットレートを算出して記録する。
(例3)送信装置からの受信情報、例えば制御情報であるシグナリング情報(SI)に含まれるコンテンツコピー制御記述子に含まれるビットレート情報を取得して記録する。
なお、(例1)におけるSTCシーケンスとは、一つのSTC(システムタイムクロック)による連続再生されるソースパケットのシーケンスである。STCシーケンス間でファイルサイズを時間で割り算してビットレートを算出して記録することができる。
一つのSTC(システムタイムクロック)は、一つのPCR(プログラムクロックリフェランス)を基準として規定されるクロックであり、一つのSTCシーケンスに属するソースパケットは、1つのSTC(例えば45KHz)によって再生制御される。
なお、STCについては、図27以下を参照して説明するシーケンス情報[SequenceInfo()]の説明の中で詳細に説明する。
(例3)における制御情報であるシグナリング情報(SI)とは、例えば、先に図2を参照して説明したMMTフォーマットデータにおけるTLVフォーマットに従ったシグナリング情報(TLV−SI)や、MMTPパケットに格納されるシグナリング情報(MMT−SI)である。
これらのシグナリング情報内のコンテンツコピー制御記述子からビットレート情報を取得して記録することができる。
さらに、ソースパケット数(num_of_source_packets)216は、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのファイルサイズ情報である。
前述したように、再生対象データがMPEG−2TSフォーマットデータの場合、ソースパケット数が記録される。
先に図6を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
しかし、再生対象データがMMTフォーマットデータである場合は、先に図7を参照して説明したように、MMTフォーマットデータの構成パケットとなるMMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
従って、ソースパケット数(num_of_source_packets)216のフィールドにパケット数を記録してもデータサイズが把握できない。
再生対象データがMMTフォーマットの場合、このフィールドには、MMTフォーマットに従ったMMTPパケットのファイルサイズ、すなわち、図7(c)や図3(c)に示すMMTPパケットのファイルサイズを取得して記録する。
あるいは、再生対象データがMMTフォーマットの場合、このフィールドには無効値を記録して非利用フィールドとしてもよい。
次に、図27を参照して、先に図23を参照して説明したクリップ情報ファイルに記録されるシーケンス情報[SequenceInfo()]202のデータ構成(シンタクス)について説明する。
前述したように、シーケンス情報[SequenceInfo()]202には、クリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
図27に示すように、シーケンス情報[SequenceInfo()]202には、以下のデータが記録される。
(a)ATCスタート位置SPN(SPN_ATC_start)221
(b)STCシーケンス数(num_of_STC_sequence)222
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223
(d)STCスタート位置SPN(SPN_STC_start)224、
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
これらのデータの説明の前に、図28を参照して、再生対象データを格納したクリップAVストリームファイルのパケット構成と再生処理例について説明する。
図28には、(a)クリップAVストリームファイルに格納されたパケット列を示している。MPEG−2TSフォーマットデータの場合、1つの矩形が1つのTSパケットに相当する。
図28の例ではパケットナンバー0〜nnまでが1つのクリップAVストリームファイルの構成データである。
この一つのクリップAVストリームファイルのパケットは、一つのATC(アライバルタイムクロック)に従って並べられたパケット列である。
この一つのATCに従って並べられたパケット列をATCシーケンスと呼ぶ。
図28に示す一つのクリップ情報ファイルのパケット0〜nnには、1つ以上のSTCシーケンスが含まれる。図28に示す例では、3つのSTCシーケンスを含んでいる。STCシーケンス#0〜#2である。
一つのSTC(システムタイムクロック)は、一つのPCR(プログラムクロックリフェランス)を基準として規定されるクロックであり、一つのSTCシーケンスに属するソースパケットは、1つのSTC(例えば45KHz)によって再生制御される。
図28に示すSTCシーケンス#0は、PCR格納パケットaに格納されたPCR(プログラムクロックリフェランス)を基準として規定されるクロックであるSTC(システムタイムクロック)に従って連続再生可能なパケット列である。
STCシーケンス#1は、PCR格納パケットbに格納されたPCR、
また、STCシーケンス#2は、PCR格納パケットcに格納されたPCRを、各々基準として規定されるSTCに従って連続再生可能なパケット列である。
なお、図28に示す例は、1つのATCシーケンス中に3つのSTCシーケンスを含む例として説明したが、1つのATCシーケンス中に含まれるSTCシーケンスの数は様々な設定が可能である。
図27に戻り、クリップ情報ファイルに記録されるシーケンス情報[SequenceInfo()]202の記録データについて説明する。
(a)ATCスタート位置SPN(SPN_ATC_start)221は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルのATCスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
図28を参照して説明した例では、
ATCスタート位置SPN(SPN_ATC_start)=0となる。
(b)STCシーケンス数(num_of_STC_sequence)222には、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれるSTCシーケンス数を記録する。
図28を参照して説明した例では、
STCシーケンス数(num_of_STC_sequence)=3となる。
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223には、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンス対応のPCR(プログラムクロックリフェランス)を格納したパケットのパケット識別子を記録する。
(d)STCスタート位置SPN(SPN_STC_start)224には、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる、各STCシーケンスのスタート位置のSPN(ソースパケットナンバー)を記録する。
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
これらには、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する。なお、この時間情報としては、STC時間情報(stc_id)、ATC時間情報(atc_id)の両者を記録する。
上述した説明は、このクリップ情報ファイルによる再生対象データがMPEG−2TSフォーマットデータの場合の記録データの例である。
次に、このクリップ情報ファイルによる再生対象データがMMTフォーマットデータの場合の各記録データについて説明する。
(a)ATCスタート位置SPN(SPN_ATC_start)221は、前述したように、クリップ情報ファイルによる再生対象となるクリップAVストリームファイルのATCスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
先に図6を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
しかし、再生対象データがMMTフォーマットデータである場合は、先に図7を参照して説明したように、MMTフォーマットデータの構成パケットとなるMMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
従って、ATCスタート位置SPN(SPN_ATC_start)221のフィールドにパケットナンバーを記録してもデータサイズが把握できない。
この理由から、再生対象データがMMTフォーマットデータの場合、MMTフォーマットデータ対応クリップ情報ファイルの、
ATCスタート位置SPN(SPN_ATC_start)221には、
クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(b)STCシーケンス数(num_of_STC_sequence)222は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれるSTCシーケンス数を記録する領域である。
再生対象データがMMTフォーマットデータの場合、
STCシーケンス数(num_of_STC_sequence)=1とする。
すなわち、1つのATCシーケンスに1つのSTCシーケンスのみが含まれる設定とする。
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンス対応のPCR(プログラムクロックリフェランス)を格納したパケットのパケット識別子を記録する領域である。
再生対象データがMMTフォーマットデータの場合、パケット識別子からのデータ位置特定ができないので、このフィールドには無効値を記録し、利用しない設定とする。
(d)STCスタート位置SPN(SPN_STC_start)224は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる、各STCシーケンスのスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
再生対象データがMMTフォーマットデータの場合、先に説明した(a)ATCスタート位置SPN(SPN_ATC_start)221と同様、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
これらは、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する領域である。
再生対象データがMMTフォーマットデータの場合、これらの時間情報としてNTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
次に、図29を参照して、先に図23を参照して説明したクリップ情報ファイルに記録されるプログラム情報[ProgramInfo()]203のデータ構成(シンタクス)について説明する。
前述したように、プログラム情報[ProgramInfo()]203には、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program)に関する情報を記録する。
図29に示すプログラム情報[ProgramInfo()]に記録される主なデータについて説明する。
(a)プログラムシーケンス数[num_of_program_sequences]231には、クリップ情報ファイルに含まれるプログラムシーケンス(program_sequence)の数が記録される。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232には、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスが記録される。
(c)プログラムマップPID[program_map_PID[i]]233には、プログラムシーケンス(program_sequence)のマップの格納位置情報が記録される。

なお、プログラムシーケンスとは、クリップAVストリームファイルに含まれるAVストリーム中の符号化情報が連続な区間である。
例えば、一つの画像符号化態様で符号化された画像データ区間や、一つの音声符号化態様で符号化された音声データ区間等が、各々個別のプログラムシーケンスとして規定される。
これら、図29に示すプログラム情報[ProgramInfo()]の記録データ、すなわち、
(a)プログラムシーケンス数[num_of_program_sequences]231、
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232、
(c)プログラムマップPID[program_map_PID[i]]233、
これらのデータ記録態様は、このクリップ情報ファイルによる再生対象データが、MPEG−2TSフォーマットである場合については規定されているが、再生対象データがMMTフォーマットデータである場合の規定は無く、新たに規定することが必要となる。
(a)プログラムシーケンス数[num_of_program_sequences]231は、
再生対象データがMPEG−2TSフォーマット、MMTフォーマット、いずれの場合もプログラムシーケンス数を記録すればよい。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232については、再生対象データがMPEG−2TSフォーマットである場合は、SPNプログラムシーケンスの開始位置のSPN(ソースパケットナンバー)を記録する。
一方、再生対象データがMMTフォーマットデータである場合は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(c)プログラムマップPID[program_map_PID[i]]233については、再生対象データがMPEG−2TSフォーマットである場合は、プログラムシーケンス(program_sequence)のマップが格納されているパケットの識別子(PID)を記録する。
一方、再生対象データがMMTフォーマットデータである場合は、無効値を記録し、利用しない設定とする。
次に、図30以下を参照して、先に図23を参照して説明したクリップ情報ファイルに記録されるCPI情報[CPI()]204のデータ構成(シンタクス)について説明する。
CPI情報[CPI()]204は、例えば、再生開始点のデータアドレスを取得するためのデータであり、先に図12〜14を参照して説明したEP_mapやTU_mapが記録される。
前述したように、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
図30に示すように、CPIタイプ=1の場合は、EPマップが記録され、CPIタイプ=2の場合は、TUマップが記録される。
なお、図30に示す例は、再生対象データがMPEG−2TSフォーマットデータの場合の例である。先に図15を参照して説明したように、再生対象データがMPEG−2TSフォーマットデータの場合は、CPIタイプ=1,2の設定があり、EPマップ、TUマップいずれも利用可能な設定とされる。
一方、再生対象データがMMTフォーマットデータの場合は、先に図15を参照して説明したように、CPIタイプ=3の設定となり、EPマップのみ利用可能な設定とする。
EPマップは、先に図12〜図14を参照して説明したように、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報を記録したマップである。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)と、パケット位置情報に相当するパケット取得のためのアドレス情報(SPN:ソースパケットナンバー)との対応データが記録されている。
再生装置は、EPマップを利用することで、ランダムアクセス可能なデータ位置に対応するタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に基づいて、そのデータ位置に対応するデータを格納したパケットのパケットナンバー(SPN)を取得し、取得したSPNの設定パケットを取得して再生を行うことができる。
EPマップのデータ構成(シンタクス)について、図31以下を参照して説明する。
図31は、クリップ情報ファイルに格納されるEPマップのデータ構成(シンタクス)を示す図である。
先に図13(A)を参照して説明したように、クリップAVストリーム(Clip AV stream)は、パケット識別子:PIDで識別されるソースパケットからなるビデオストリームが多重化されている。ビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPIDにより区別される。
EPマップは、各PIDで識別される一つのストリームPID(one_stream_PID)単位で設定される。
すなわち、図31のEPマップ記録領域242に、一つのストリームPID(one_stream_PID)単位のEPマップ(EP_map_for_one_stream_PID)が記録される。
このEPマップ記録領域242の具体的なデータ例を図32に示す。
図32に示すように、EPマップは、以下のデータ記録領域を持つ。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
EPマップは、データ量の削減と、PTSからSPNの検索処理の効率化を実現するため、2つのテーブルによって構成されている。
この2つのテーブル構成について、図33を参照して説明する。
EPマップは、図33に示すように、以下の2つのテーブルから構成される。
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
(a)粗いEPマップ(EP_coarse)は、PTSのビットデータと、SPNのビットデータの各ビットデータについて、上位ビットのみからなる対応データを格納している。
(PTS_EP_coarse)252と、(SPN_EP_coarse)253との対応データである。
一方、(b)詳細EPマップ(EP_fine)は、PTSのビットデータと、SPNのビットデータの下位ビットのみからなる対応データを格納している。
(PTS_EP_fine)254と、(SPN_EP_fine)255との対応データである。
さらに、粗いEPマップ(EP_coarse)には、PTS−SPN対応データ各々に対応付けて、詳細EPマップ参照データ(ref_to_EP_fine)251を格納している。
PTSに基づいて、SPNを取得しようとする再生装置は、まず、PTSの上位ビットに基づいて、粗いEPマップ(EP_coarse)を参照して、該当エントリを取得し、さらに、取得したエントリに設定された詳細EPマップ参照データ(ref_to_EP_fine)251を取得して、その参照位置に対応する詳細EPマップ(EP_fine)のデータ位置にアクセスして、PTSの下位ビットに基づいて詳細なSPNを取得する。
図32に示すEPマップデータには、図33を参照して説明した2つのテーブルを利用した処理を実行するための以下の各データが記録される。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
しかし、このEPデータは、再生対象データがMPEG−2TSフォーマットデータである場合に適用可能なデータであり、再生対象データがMMTフォーマットデータである場合は、このまま利用することができない。
従って、MMTフォーマットデータ対応のクリップ情報ファイルには、MMTフォーマットデータ対応のEPマップを記録する必要がある。
この具体例について、図34以下を参照して説明する。
以下、MMTフォーマットデータ対応のEPマップの具体例として、複数の具体例について説明する。以下の4つの具体例について、順次、説明する。
(a)MMTフォーマットデータ対応のEPマップ例1
(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)
(c)MMTフォーマットデータ対応のEPマップ例3(分割例)
(d)MMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)
まず、図34を参照して、以下の2つの具体例について説明する。
(a)MMTフォーマットデータ対応のEPマップ例1
(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)
図34に示す(a)MMTフォーマットデータ対応のEPマップ例1は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)261、
MMTバイトアドレス記録領域(MMT_byte_adress)262、
NTP時間記録領域(NTP_time)261には、64ビットのNTP(ネットワークタイムプロトコル)時間を記録する。
このNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
MMTバイトアドレス記録領域(MMT_byte_adress)262には、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
先に図32、図33を参照して説明したMPEG−2TSフォーマット対応のEPマップは、
PTS(プレゼンテーションタイムスタンプ)と、SPN(ソースパケットトナンバー)との対応データを記録した構成である。
これに対して、MMTフォーマットでは、
PTSの代わりに、NTP(ネットワークタイムプロトコル)時間を利用し、
SPNの代わりに、MMTバイトアドレスを利用する構成とする。
このようにデータを置き換える理由は、MMTフォーマットに従って放送局等から送信されるデータには、MPEG−2TSフォーマットで規定されるPTSやSPNに一致するデータがないこと。また、MPEG−2TSフォーマットのTSパケットのサイズが固定(188バイト)であるのに対して、MMTフォーマットに従ったMMTPパケットは固定されていない可変長パケットであることが理由である。
なお、図32、図33を参照して説明したMPEG−2TS対応のEPマップは、2つのマップ、すなわち、
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
これらの2つのマップの構成を有しているが、図34(a)に示すMMTフォーマットデータ対応のEPマップは、1つのマップからなる設定である。
MMTフォーマットデータを格納したクリップAVストリーム再生対象として選択した場合、例えば図34(a)に示すEPマップの記録されたクリップ情報ファイルを適用した再生処理、具体的にはランダムアクセス再生処理を行う。
再生装置は、34(a)に示すEPマップ、すなわち、
NTP時間記録領域(NTP_time)261、
MMTバイトアドレス記録領域(MMT_byte_adress)262、
これらのデータの対応情報を持つEPマップを利用してランダムアクセスポイントとなるデータ位置を検出する。
再生装置は、EPマップに基づいて、ランダムアクセスポイントとなるNTP(ネットワークタイムプロトコル)時間に対応するMMTバイトアドレスを取得し、取得したアドレス情報によって特定されるデータ位置からランダムアクセス再生処理を実行することができる。
次に、図34に示す、以下の具体例について説明する。
(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)
この図34(b)に示す例2は、図34(a)に示す例1と同様、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)263、
MMTバイトアドレス記録領域(MMT_byte_adress)264、
図34(b)に示す例2における、
NTP時間記録領域(NTP_time)263は、図34(a)に示す例1と同様、64ビットのNTP時間を記録する。
一方、MMTバイトアドレス記録領域(MMT_byte_adress)264には、最初のエントリについては、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録し、2番目以降のエントリについては、先行エントリからの差分に相当するバイト数を記録する。
この設定により、MMTバイトアドレス記録領域(MMT_byte_adress)264記録領域を32ビットデータに削減する。
例1では、MMTバイトアドレス記録領域に64ビットでバイト数を記録していたが、例2では、32ビットで記録する構成であり、EPマップのデータ量を削減することができる。
次に、図35を参照して、以下の具体例について説明する。
(c)MMTフォーマットデータ対応のEPマップ例3(分割例)
図35に示すEPマップは、先に図32、図33を参照して説明したもMPEG−2TS対応のEPマップと同様、2つのマップ、すなわち、
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
これらの2つのマップ構成を有する設定である。
図35に示すMMTフォーマットデータ対応のEPマップ例3(分割例)は、以下のデータを有する。
(1)粗いEPマップのNTP時間(NTP_coarse)265、
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)266、
(3)詳細EPマップ参照データ(ref_to_fine_id)267、
(4)詳細EPマップのNTP時間(NTP_fine)268、
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)269、
なお、
(1)粗いEPマップのNTP時間(NTP_coarse)265は、図34(a)を参照して説明した64ビットNTP時間を構成する上位32ビットデータ、すなわち秒単位のデータである。
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)266は、図34(a)を参照して説明したMMTバイトアドレスと同様、ストリームファイルに格納された最初のMMTPパケットの先頭からのバイトアドレスであり、粗いEPマップのNTP時間(NTP_coarse)265に対応するデータ位置を示す64ビットのバイトアドレス情報である。
(3)詳細EPマップ参照データ(ref_to_fine_id)267は、図32、図33を参照して説明したMPEG−2TSフォーマット対応のEPマップに利用されている詳細EPマップ参照データ(ref_to_EP_fine)251と同様の詳細EPマップの特定エントリを指示する参照用データである。
(4)詳細EPマップのNTP時間(NTP_fine)268は、図34(a)を参照して説明した64ビットNTP時間を構成する下位32ビットデータ、すなわち秒単位以下のデータである。
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)269は、図34(a)を参照して説明したMMTバイトアドレスと同様、ストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイトアドレスであり、詳細EPマップのNTP時間(NTP_fine)268に対応するデータ位置を示す64ビットのバイトアドレス情報である。
これらのデータは、先に図33を参照して説明した2つのEPマップの構成データに対応することになる。
すなわち、
(1)図33に示す粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252が、粗いEPマップのNTP時間(NTP_coarse)265に置き換えられる。
(2)図33に示す粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253が、粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)266に置き換えられる。
(3)図33に示す粗いEPマップの詳細EPマップ参照データ(ref_to_EP_fine)251が、詳細EPマップ参照データ(ref_to_fine_id)267に置き換えられる。
さらに、
(4)図33に示す詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254が、詳細EPマップのNTP時間(NTP_fine)268に置き換えられる。
(5)図33に示す詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255が、詳細EPマップのMMTバイトアドレス(MMT_byte_fine)269に置き換えられる。
このような変更により、MMTフォーマットデータ対応の2つのテーブルからなるEPマップが構成される。
次に、図36を参照して、以下の具体例について説明する。
(d)MMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)
図36に示すEPマップは、図35を参照して説明した(c)MMTフォーマットデータ対応のEPマップ例3(分割例)と、図34(b)を参照して説明した(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)の組み合わせである。
図36に示すMMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)は、以下のデータを有する。
(1)粗いEPマップのNTP時間(NTP_coarse)271、
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)272、
(3)詳細EPマップ参照データ(ref_to_fine_id)273、
(4)詳細EPマップのNTP時間(NTP_fine)274、
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)275、
これらのデータ構成は、先に図35を参照して説明した(c)MMTフォーマットデータ対応のEPマップ例3(分割例)と同様である。
ただし、この図36に示す(d)MMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)は、以下の各データが32ビットデータに圧縮されている。
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)272、
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)275、
これらの各データが、先に図34(2)を参照して説明した圧縮例と同様、32ビットデータに設定されている。
具体的には、先に図34(2)を参照して説明した圧縮例と同様、最初のエントリについては、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録し、2番目以降のエントリについては、先行エントリからの差分に相当するバイト数を記録する。
すなわち以下の設定とする。
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)272は、図34(b)を参照して説明したMMTバイトアドレスと同様、最初のエントリについては、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録し、2番目以降のエントリについては、先行エントリからの差分に相当するバイト数であり、粗いEPマップのNTP時間(NTP_coarse)271に対応するデータ位置を示す32ビットのバイト情報を記録する。
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)275は、図34(b)を参照して説明したMMTバイトアドレスと同様、最初のエントリについては、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録し、2番目以降のエントリについては、先行エントリからの差分に相当するバイト数であり、詳細EPマップのNTP時間(NTP_fine)274に対応するデータ位置を示す32ビットのバイト情報を記録する。
この設定により、EPマップ全体のデータ量を削減することができる。
先に図32、図33を参照して説明したMPEG−2TSフォーマット対応のEPマップでは、
PTS(プレゼンテーションタイムスタンプ)と、SPN(ソースパケットトナンバー)との対応データを記録していたが、
図34〜図36を参照して説明したように、MMTフォーマットデータ対応のEPマップには、
NTP(ネットワークタイムプロトコル)時間と、
MMTバイトアドレス情報、
これらの対応データが記録される。
EPマップに記録するNTP時間や、MMTバイトアドレス情報はランダムアクセスポイントとなる時間とアドレス(データ位置)でなければならない。
例えば放送局等の送信装置20から、MMTフォーマットデータを受信し、EPマップを作成して情報記録媒体(メディア)に記録する情報処理装置30は、このランダムアクセスポイントとなり得る位置情報を取得することが必要となる。
この処理例について、図37以下を参照して説明する。
図37は、例えば放送局等の送信装置20から情報処理装置30に送信されるMMTフォーマットデータを構成するMMTPパケットのデータ構成(シンタクス)を示す図である。
先に図3を参照して説明したように、MMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。1つのMMTPパケットのMMTPペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、MMTPパケットに格納するシグナリング情報(MMT−SI)、これらいずれか一種類のデータが、個別のMMTPパケットに格納される。
図37は、一つのMMTPパケットのデータ構成を示しており、ヘッダ部281とペイロード部282によって構成される。
ヘッダ部281には、ペイロード部282に格納されたデータの種類等の情報が記録される。ヘッダ部281の記録データの一つとして、ランダムアクセスポイント情報フラグ(RAP_flag)283が記録される。
ランダムアクセスポイント情報フラグ(RAP_flag)283は、
MMTPパケットがランダムアクセスポイントとなるデータを格納したパケットであるか否かを示すフラグであり、
ランダムアクセスポイントとなるデータ格納したパケットである場合は1、
ランダムアクセスポイントとなるデータ格納したパケットでない場合は0、
この設定のフラグが記録される。
例えば放送局等の送信装置20から、MMTフォーマットデータを受信し、EPマップを作成して情報記録媒体(メディア)に記録する情報処理装置30は、このランダムアクセスポイント情報フラグ(RAP_flag)を確認して、ランダムアクセスポイントとなり得る位置情報を取得する。
図38に具体的処理例を示す。
放送局等の送信装置20は、MMTフォーマットデータを構成するMMTPパケット列を送信し、情報処理装置30が受信する。
情報処理装置30は、各MMTPパケットのヘッダ情報に格納されたRAP_flagの設定値を確認し、RAP_flag=1の設定パケットを検出する。
図に示す例ではMMTPパケット291,292がRAP_flag=1の設定パケットである。
情報処理装置30は、このRAP_flag=1の設定パケット291,292に対応する
NTP(ネットワークタイムプロトコル)時間と、
MMTバイトアドレス情報、
これらの情報を取得、または算出してMMTフォーマットデータ対応のクリップ情報ファイル中のEPマップに記録して、情報記録媒体(メディア)に記録する。
なお、前述したように、NTP(ネットワークタイムプロトコル)時間については、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
MMTバイトアドレス情報については、MMTPパケットからなるクリップ情報ファイルの生成処理に際して、ストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数を算出することで取得可能となる。
次に、図39を参照して、クリップ情報ファイルに記録されるもう一つの要素であるクリップマーク(ClipMark)について説明する。
先に、図21を参照して説明したように、マークは、例えばクリップAVストリームファイルに格納された画像データのチャプタ区切り、シーンチェンジ点、ブックマーク、ハイライト、特徴的なシーンの時間指定情報であり、プレイリストファイル、クリップ情報ファイルに記録されるデータである。
プレイリストファイル、クリップ情報ファイルに対するマークの記録は、マークの時刻を示すタイムスタンプの記録処理により行われる。
図39は、クリップ情報ファイルの一要素であるクリップマーク(ClipMark)のデータ構成(シンタクス)を示す図である。
クリップマーク数(number_of_Clip_marks)294は、このクリップマーク(ClipMark)中にストアされているマークの個数を示す。
マークタイプ(mark_type)295は、マークのタイプを示すフィールドである。たとえば、各マークが、チャプタ開始位置、チャプタ終了位置、シーンチェンジ位置、編集位置等のどのタイプのマークであるかを示す情報を記録する。
マークタイムスタンプ(mark_time_stamp)296は、マークが設定されたポイントを示すタイムスタンプを記録するフィールドである。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)297は、マークが設定されたパケットの識別子を記録するフィールドである。
代表画像タイムスタンプ(representative_picture_time_samp)298は、マークを代表する画像のポイントを示すタイムスタンプ情報である。
デュレーション(duration)299は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。
この図39に示すクリップマーク(ClipMark)の記録データについても、クリップAVストリームファイルとして従来のMPEG−2TSフォーマットデータが記録されている場合については規定されているが、クリップAVストリームファイルとしてMMTフォーマットデータが記録されている場合については、特に規定されていない。
従って、クリップAVストリームファイルとしてMMTフォーマットデータを記録する場合のクリップマーク(ClipMark)の記録データについて規定する必要がある。
具体的には、図39に示すように、
マークタイムスタンプ(mark_time_stamp)296、
代表画像タイムスタンプ(representative_picture_time_samp)298、
これらの時間情報記録フィールドに、64ビットのNTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
情報処理装置30は、情報記録媒体(メディア)にクリップAVストリームファイルとして記録するデータがMMTフォーマットデータの場合、その再生制御情報ファイルであるクリップ情報ファイルのクリップマーク(ClipMark)の時間情報記録フィールドに、MMTパッケージテーブル(MPT)に記録されたNTP時間情報を取得して記録する。
[7.MMTフォーマットデータの全記録(フル記録)と、部分記録(パーシャル記録)について]
次に、MMTフォーマットデータの全記録(フル記録)と、部分記録(パーシャル記録)について説明する。
上述した処理は、図4に示すBDAVフォーマット、あるいは図8に示すSPAVフォーマット中のクリップAVストリームファイルに格納されるMMTフォーマットデータに関する再生制御情報や属性情報等を格納したプレイリストファイルや、クリップ情報ファイルを生成する処理である。
次に、クリップAVストリームファイルに格納するデータについて説明する。
例えば、図1に示す情報処理装置30は、図1に示す放送サーバ(放送局)21等の送信装置20から送信されるMMTフォーマットデータをBD、HD、あるいはフラッシュメモリ等の情報記録媒体(メディア)に記録する処理を実行する。
情報処理装置30は、このデータ記録に際して、MMTフォーマットデータを格納したクリップAVストリームファイルを生成することになる。例えば図10に示すMMTフォーマットデータ格納クリップAVストリームファイル71である。
なお、先に図9を参照して説明した処理例では、MMTフォーマットによる配信データ中に含まれる制御情報(MMT−SI,TLV−SI)に記録された情報は、すべてプレイリストファイルやクリップ情報ファイル等のデータベースファイルに記録する設定として説明したが、この制御情報の一部をクリップAVストリームファイルに格納する構成も可能である。
以下に説明する例は、このように制御情報を含むクリップAVストリームファイルを生成する場合の処理例である。
MMTフォーマットデータ格納クリップAVストリームファイル71に対するデータ記録処理態様として、以下の2つのデータ記録態様が想定される。
(1.全記録(フル記録)処理)
受信するMMTフォーマットデータに含まれる画像、音声、字幕、さらに様々な制御情報、その他のアプリケーションを全てクリップAVストリームファイルに格納してメディアに記録する全記録(フル記録)処理。
(2.部分記録(パーシャル記録)処理)
受信するMMTフォーマットデータに含まれる画像、音声、字幕、さらに様々な制御情報、その他のアプリケーションの一部をクリップAVストリームファイルに格納してメディアに記録する部分記録(パーシャル記録)処理。
これら2通りのデータ記録処理が可能となる。
例えば、全記録(フル記録)処理は、図40に示す記録データ領域Aに含まれる画像、音声、字幕、制御情報(MMT−SI)、アプリケーションのすべてをクリップAVストリームファイルに格納してメディアに記録する処理である。
一方、部分記録(パーシャル記録)処理は、図41に示す記録データ領域Bに含まれる画像、音声、字幕、制御情報(MMT−SI)のみをクリップAVストリームファイルに格納してメディアに記録する処理である。
さらに、画像、音声、字幕、制御情報(MMT−SI)の一部のみをクリップAVストリームファイルに格納してメディアに記録する処理を行うことも可能である。
具体的な部分記録(パーシャル記録)処理例について、図42を参照して説明する。
図42は、部分記録(パーシャル記録)処理の具体例のバリエーションについて説明する図である。
例えば、
(1)画像については、
少なくとも1本のビデオストリームを記録する。
(2)音声については、
(2a)少なくとも1本のオーディオストリームを記録する。
(2b)多言語分の複数のオーディオストリームを記録する。
(3)字幕については、
(3a)最大2本までの字幕ストリームを記録する。
(3b)字幕ストリームの記録は行わない。
(4)制御情報(MMT−SI)については、
(4a)MPT(MMTパッケージテーブル(図18参照))のみ記録する。
(4b)記録画像、音声、字幕に応じて必要情報を選択して記録する。
例えば、このようにデータ種別に応じて記録データの選択処理が可能である。
制御情報の記録例として、図42には、以下の2つの例を示している。
(4a)MPT(MMTパッケージテーブル(図18参照))のみ記録する。
(4b)記録画像、音声、字幕に応じて必要情報を選択して記録する。
再度、図43にMPT(MMTパッケージテーブル)を示す。
図43に示すMPTは、先に図18を参照して説明したように、MMTPパケットで送信されるシグナリング情報(MMT−SI)の一つである。
MMTパッケージテーブル(MPT)には、様々な制御情報や属性情が記録される。
制御情報の種類に応じた記述子が定義され、各定義された記述子ごとに制御情報や属性情報が記録される。
記述子には、
MPT記述子(MPT_descriptor)
アセット記述子(asset_descriptor)
これらの2通りの記述子がある。
アセット記述子のデータ記録領域には、例えば画像、音声、字幕等のデータ種類(アセットタイプ)毎に、データの制御情報や属性情報が記録される。
MPT記述子の記録領域には、アセットタイプに関わらず、すべてのアセットに共通の制御情報や属性情報が記録される。
なお、MMTフォーマットにおいては、MMTパッケージテーブル(MPT)に記録する記述子の種類として、数十種類の記述子が規定されている。
前述した全記録(フル記録)処理を行う場合は、これらのすべての記述子に関する制御情報をメディアに記録することになる。
しかし、部分記録(パーシャル記録)処理を行う場合は、MMTパッケージテーブル(MPT)に記録された記述子中から、メディアからのデータ再生時に利用可能性の高いもののみを選択して記録する処理を行うことになる。
選択記録する記述子の一例について、図44を参照して説明する。
図44には、選択記録する対象記述子の一例として、以下の各記述子を示している。
(A)MPT記述子
(a1)MH−パレンタルレート記述子
(a2)コンテンツコピー制御記述子
(a3)コンテンツ利用制御記述子
(B)アセット記述子
(b1)MPUタイムスタンプ記述子
(b2)MPUタイムスタンプ拡張記述子
(b3)MH−MPEG−4オーディオ記述子
(b4)MH−MPEG−4オーディオ拡張記述子
(b5)MH−HEVCビデオ記述子
(b6)映像コンポーネント記述子
(b7)MH−ストリーム識別記述子
(b8)MH−音声コンポーネント記述子
(b9)MH−データ符号化方式記述子
これらの記述子は、情報記録媒体(メディア)に記録したMMTフォーマットデータの再生を行う際に必須、あるいは利用可能性が高い制御情報を含む記述子である。
以下、これらの記述子について説明する。
(A)MPT記述子の(a1)MH−パレンタルレート記述子は、年齢に応じた視聴制限情報を示す記述子である。
(a2)コンテンツコピー制御記述子は、コンテンツのコピー制御情報を示す記述子である。
(a3)コンテンツ利用制御記述子は、コンテンツの利用制御情報を示す記述子である。
(B)アセット記述子の(b1)MPUタイムスタンプ記述子は、MPUの最初のアクセスユニットの提示時刻を示す。
(b2)MPUタイムスタンプ拡張記述子は、MPUのアクセスユニットの復号時刻を示す。
(b3)MH−MPEG−4オーディオ記述子は、ISO/IEC 14496−3(MPEG−4 オーディオ)のオーディオストリームの符号化パラメータを特定するための基本情報を記述する。
(b4)MH−MPEG−4オーディオ拡張記述子は、MPEG−4 オーディオストリームのプロファイルとレベル及び符号化方式固有の設定を記述する。
(b5)MH−HEVCビデオ記述子は、ITU−T 勧告H.265|ISO/IEC 23008−2の映像ストリーム(HEVC ストリーム)の基本的な符号化パラメータを記述する。
(b6)映像コンポーネント記述子は、は映像コンポーネントに関するパラメータ、説明を示し、エレメンタリストリームを文字形式で表現するためにも利用される。
(b7)MH−ストリーム識別記述子は、サービスのコンポーネントストリームにラベルを付け、このラベルによってMH−EIT(制御情報(MMT−SI)として送信されるイベント情報テーブル)内の映像コンポーネント記述子で示される記述内容(例えば、あるサービスのコンポーネントストリームは「垂直方向の画素数4320、アスペクト比16:9パンベクトルあり、フレームレート60/1.001」であること)を参照するために使用する。
(b8)MH−音声コンポーネント記述子は、音声エレメンタリストリームの各パラメータを示し、エレメンタリストリームを文字形式で表現するためにも利用される。
(b9)MH−データ符号化方式記述子は、データ符号化方式を識別するために使用される。
例えば、これらの各記述子は、情報記録媒体(メディア)に記録したコンテンツの再生処理に必要、あるいは必要となる可能性が高い制御情報であり、MTPから選択して情報記録媒体(メディア)に記録する設定とすることが好ましい。
なお、MMTフォーマットに従ったMPT(MMTパッケージテーブル)は、BDAVフォーマットに従ったデータ再生処理を実行するBDAVフォーマットデータ再生アプリケーションが理解可能な制御情報テーブルとして記録することが必要である。
情報記録媒体に記録する制御情報テーブルの記録態様について、図45を参照して説明する。
図45は、放送局等の送信装置20から送信されるMPTを情報処理装置30が受信し、情報記録媒体(メディア)に記録するクリップAVストリームファイル中に格納する場合に、注意すべき項目を記載した図である。
以下、核項目について説明する。
MPTに記述されたテーブルID(table_id)は、テーブルの識別子であり、(0x20)の固定値とする。
MPTモード(MPT_mode)は、MPTが複数のサブセットに分割されている場合の処理順の規定情報の記録領域である。この値は、サブセットの順番に従って処理を行うことを示す値(00)とする。
MMTパッケージID長(MMT_packege_id_length)は、パッケージIDのバイト長であり、2バイトの固定値とする。
MMTパッケージIDバイト(MMT_packege_id_byte)は、パッケージIDであり、これはMPTに記録されたデータをそのまま記録する。
アセット数(number_of_assets)は、以下の領域に記録されるアセットの数であり、記録するアセットの数に一致する数値を記録する。
識別子タイプ(identofier_type)は、MMTPパケットフローのID体系であり、アセットIDを示すID体系であることを示す値(0x00)とする。
アセットIDスキーム(asset_id_scheme)は、アセットIDの形式であり、これはMPTに記録されたデータをそのまま記録する。
アセットID(asset_id_byte)は、アセットID記録領域であり、これはMPTに記録されたデータをそのまま記録する。
アセットクロック情報フラグ(asset_clock_relation_flag)は、アセットのクロック情報フィールドの有無を示す情報であり、アセットのクロック情報フィールドが無いことを示す値(0)に設定する。
ロケーションカウント(location_count)は、アセットノロケーションの数であり、1に固定する。
ロケーション情報(MMT_general_location_info)はアセットのロケーション情報であり、これはMPTに記録されたデータをそのまま記録する。
このように、放送局等の送信装置20から、MMTフォーマットデータを受信して、情報記録媒体に記録する処理を実行する情報処理装置30は、MPTに記録されたデータを、BDAVフォーマットに従ったデータ再生処理を実行するBDAVフォーマットデータ再生アプリケーションが理解可能な制御情報テーブルとして記録する。
このような記録処理を行うことで、送信装置20の提供する制御情報や属性情報を適用して、情報記録媒体に記録したデータの再生処理を行うことか可能となる。
[8.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について]
次に、図46以下を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
先に説明したように、本開示の情報処理装置は、MMTフォーマットに従った入力データを、BDAVフォーマットデータとして、BDやHD、あるいはフラッシュメモリ等の情報記録媒体に記録する。
さらに、このデータ記録処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等を記録する。
これらの情報は、例えば、MMTフォーマットに従った入力データに含まれる制御情報であるTLV−SIや、MMT−SIを構成する様々な情報記録テーブルから取得する。情報処理装置は、受信データから様々な情報を取得して、BDAVフォーマットにおいて規定されるプレイリストやクリップ情報ファイル等のデータベースファイルに、メディア記録コンテンツ対応の情報を記録する。
以下、このようなプレイリストやクリップ情報ファイルを記録した情報記録媒体の生成処理、具体的には、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と、処理シーケンスについて説明する。
図46は、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置300の構成を示す図である。
情報処理装置300は、情報記録媒体(記録メディア)320に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部301は、情報記録媒体320に対するMMTフォーマットデータ331、すなわち画像データ、音声データ、字幕データ等を含むMMTフォーマットデータ331を入力する。
データ入力部301は、MMTフォーマットデータ331を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、MMTフォーマットデータ331を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
データ入力部301から入力するMMTフォーマットデータ331は、先に図2を参照して説明したデータフォーマットに従ったデータであり、例えばHEVC画像等の高精細画像データが含まれている。
MMTフォーマットデータ331は、制御部303の制御によって、記憶部304に格納される。
ユーザ入力部302は、例えば情報記録媒体320に対するデータ記録の開始要求等を入力する。
ユーザ入力部302から、データ記録開始要求を入力すると、この入力をトリガとして、記憶部304に格納されたMMTフォーマットデータ331が、デマルチプレクサ(DeMUX)305に入力される。
デマルチプレクサ(DeMUX)305は、MMTフォーマットデータ331から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV−SI,MMT−SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ生成部306の字幕データ生成部311、画像データ生成部312、音声データ生成部313、補助情報生成部314に入力する。
字幕データ生成部311は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、字幕データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
画像データ生成部312は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、画像データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
音声データ生成部313は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、音声データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
補助情報生成部314は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、通知情報や制御情報等を格納したシグナリング情報(TLV−SI,MMT−SI)等の補助情報を取得し、BDAVフォーマットにおいて規定されるデータベースファイルとしてのプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルに格納すべきデータを生成する。
マルチプレクサ(MUX)315は、字幕データ生成部311、画像データ生成部312、音声データ生成部313が変換した字幕、画像、音声各データ、および補助情報生成部314がMMTフォーマットデータ331のシグナリング情報(TLV−SI,MMT−SI)等から取得した様々な情報を入力し、これらのデータを格納したストリームファイルを生成する。
データベースファイル生成部316は、補助情報生成部314がMMTフォーマットデータ331のシグナリング情報(TLV−SI,MMT−SI)から取得した様々な情報を記録したプレイリストファイルやクリップ情報ファイル等のデータベースファイルを生成する。
記録データ生成部306の生成したストリームファイルデータと、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ332は、制御部303の制御の下、記録部306によって、ドライブ307を介して情報記録媒体320に出力され、記録される。
次に、図46に示す情報処理装置300が実行する情報記録媒体320に対するデータ記録処理のシーケンスについて、図47に示すフローチャートを参照して説明する。
図47に示すフローに従った処理は、例えば情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
以下、図47のフローに示す各ステップの処理について、順次、説明する。
(ステップS101)
まず、情報処理装置300は、ステップS101において、データ入力部301を介して記録用データであるMMTフォーマットデータを入力する。
なお、この記録用データには画像データ、音声データ、字幕データ、さらに、通知情報や制御情報等を格納したシグナリング情報(TLV−SI,MMT−SI)等が含まれる。
(ステップS102)
次に、ステップS102において、情報処理装置300は、入力したMMTフォーマットデータのデマルチプレクス処理、すなわち、データ種類単位のデータ分離処理を行う。画像、音声、字幕、制御情報等の分離処理を実行する。
(ステップS103)
次に、ステップS103において、情報処理装置300は、ステップS102で分離した制御情報、例えばシグナリング情報(TLV−SI,MMT−SI)をメモリに格納する。
(ステップS104)
次に、ステップS104において、情報処理装置300は、ステップS102で分離した画像、音声、字幕核データの少なくともいずれかのデータの再エンコード処理を実行する。
なお、この処理は、情報記録媒体に記録するデータのエンコード態様を変更する場合に行う処理であり、受信データをそのまま記録する場合は、この再エンコード処理は不要である。
(ステップS105)
次に、ステップS105において、情報処理装置300は、ステップS103でのエンコード後のデータを含む画像、音声、字幕、さらに、再生制御情報等を含むデータの多重化処理を実行する。すなわち、クリップAVストリームファイルの生成処理を実行する。
なお、クリップAVストリームファイルに格納する再生制御情報は、例えば図40〜図45を参照して説明したMPT(MMTパッケージテーブル)から取得した情報等である。
(ステップS106)
次に、ステップS106において、情報処理装置300は、入力したMMTフォーマットデータの構成データを利用して、クリップ情報ファイルを生成する。
例えば、先に図23〜図39を参照して説明したクリップ情報ファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するクリップ情報ファイルを生成する。
なお、このステップS106のクリップ情報ファイルの生成処理の詳細シーケンスについては、図48に示すフローを参照して、後段で詳細に説明する。
(ステップS107)
次に、ステップS107において、情報処理装置300は、入力したMMTフォーマットデータの構成データを利用して、プレイリストファイルを生成する。
例えば、先に図11〜図22を参照して説明したプレイリストファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するプレイリストファイルを生成する。
なお、このステップS107のプレイリストファイル生成処理の詳細については、図49を参照して、後段で説明する。
(ステップS108)
次に、ステップS108において、情報処理装置300は、入力したMMTフォーマットデータを利用してその他のデータベースファイルを生成する。
(ステップS109)
次に、ステップS109において、情報処理装置300は、生成したAVストリームファイルとデータベースファイルを利用してBDAVフォーマットデータを生成する。
(ステップS110)
次に、ステップS110において、情報処理装置300は、ステップS109で生成したBDAVフォーマットデータを情報記録媒体(メディア)に記録する。
次に、ステップS106において実行するクリップ情報ファイル生成処理の詳細シーケンスについて、図48に示すフローチャートを参照して説明する。
なお、図48に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるクリップ情報の生成シーケンスである。
図48に示すフローの各ステップの処理について、順次、説明する。
(ステップS121)
まず、ステップS121において、情報処理装置300は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
この処理は、先に図38を参照して説明した処理である。
RAPフラグ=1の設定されたMMTPパケットは、ランダムアクセスポイントを含むデータである。
(ステップS122)
次に、ステップS122において、情報処理装置300は、RAPフラグ=1の設定されたMMTPパケットのパケット位置と、時刻情報(NTP時間)との対応データからかるEPマップを生成する。
この処理は、先に図34〜図38を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。パケット位置情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
(ステップS123)
次に、ステップS123において、情報処理装置300は、クリップ情報ファイルのアプリケーションタイプ(Application_type)と、クリップストリームタイプ(Clip_stream_type)の値を[3]に設定する。
この処理は、先に図24〜図26を参照して説明した処理であり、クリップ情報ファイルの制御対象データとなるクリップAVストリームファイルの格納データがMMTフォーマットデータであることを識別可能とするための設定値を記録する処理である。
(ステップS124)
次に、ステップS124において、情報処理装置300は、クリップ情報ファイルの記録レート(recording_rate)、平均レート(average_rate)を記録する。
この処理は、先に図24を参照して説明した
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらのデータ記録処理である。前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
このビットレート情報は、TSパケットを基準として算出することを前提としており、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートを算出して記録する。あるいは、再生対象データがMMTフォーマットである場合、このフィールドには無効値を記録し、ビットレート情報を利用しない設定としてもよい。
(ステップS125)
次に、ステップS125において、情報処理装置300は、クリップ情報ファイルの構成データである、
クリップ情報(ClipInfo)、
シーケンス情報(SequenceInfo)、
プログラム情報(ProgramInfo)、
CPI情報(CPI)、
クリップマーク(ClipMark)、
これらの各データを生成する。
なお、これらの各データ生成処理において、再生対象データがMMTフォーマットデータである場合、例えば、時間情報としてはNTP時刻情報、パケット位置はストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数データを取得して記録する。
これらの処理により、MMTフォーマットデータ対応のクリップ情報ファイルを生成する。
なお、制御対象がMPEG−2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のクリップ情報ファイル生成処理を行えばよい。
次に、図47に示すフロー中のステップS107において実行するプレイリストファイル生成処理の詳細シーケンスについて、図49に示すフローチャートを参照して説明する。
なお、図49に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるプレイリストの生成シーケンスである。
図49に示すフローの各ステップの処理について、順次、説明する。
(ステップS131)
まず、ステップS131において、情報処理装置300は、プレイリストファイルに記録するCPIタイプ(PL_CPI_type)の値を[3]に設定する。
この処理は、先に図11〜図15を参照して説明した処理に対応する。
図15の「(2)新たなCPIタイプ記録データ(MPEG−2TS対応データとMMT対応データを記録)」を参照して説明したように、
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
(ステップS132)
次に、ステップS132において、情報処理装置300は、プレイリストファイルに記録する各プレイアイテムの時間情報(IN_time,OUT_time)をNTP時間情報として記録する。
この処理は、先に図16、図17を参照して説明した処理に相当する。
図17(2)の「(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)」に示すように、
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば図1に示す放送サーバ(放送局)21等の送信装置20が送信する放送コンテンツ等を含むMMTフォーマットデータに併せて送信される。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
(ステップS133)
次に、ステップS133において、情報処理装置300は、プレイリストファイルの構成データである、
プレイアイテム(PlayItem)、
プレイリストマーク(PlayListMark)、
これらの各データを生成する。
なお、これらの各データ生成処理において、再生対象データがMMTフォーマットデータである場合、例えば、時間情報としてはNTP時刻情報、パケット位置はストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数データを取得して記録する。
これらの処理により、MMTフォーマットデータ対応のプレイリストファイルを生成する。
なお、制御対象がMPEG−2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のプレイリストファイル生成処理を行えばよい。
情報処理装置300は、図47〜図49を参照して説明したフローに従った処理を行なうことで、入力したMMTフォーマットデータをBDAVフォーマットに従ったプレイリストファイル、クリップ情報ファイル、クリップAVストリームファイルとして記録し、再生することが可能となる。
[9.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について]
次に、図50以下を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
再生処理を実行する情報処理装置は、装置に装着した情報記録媒体に記録されたデータの読み取り、再生処理を実行する。
図50は、BD等の情報記録媒体510に記録されたデータの再生処理を実行する情報処理装置400の構成を示す図である。
情報処理装置400は、図50に示す情報記録媒体(記録メディア)510に記録されたデータを読み取り、出力装置(表示部+スピーカ)520に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
なお、情報処理装置400は先に図46を参照して説明したデータ記録を行う情報処理装置300と同一の装置である場合もある。すなわち、データ記録再生の両機能を有する情報処理装置である。
情報記録媒体(記録メディア)510は、図46〜図49を参照して説明した処理によって生成されたAVストリームファイルと、プレイリスト、クリップ情報ファイル等のデータベースが記録された記録媒体である。
制御部401は、例えば、ユーザ入力部402からの再生指示情報の入力に基づいて、情報記録媒体510の記録データを、記録再生部404、ドライブ403を介して読み取り、データバッファとしての記憶部405に格納し、その格納データを再生処理部406に出力する。
再生処理部406は、制御部401の制御の下、情報記録媒体510から読み出された再生データ、すなわち、画像、音声、字幕等の各データを格納したクリップAVストリームファイルから各データを取得して再生データを生成する。
デマルチプレクサ(DeMUX)411は、画像、音声、字幕、さらに、プレイリストファイル、クリップ情報ファイル等の各データを格納したデータ格納パケットを取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、字幕データ生成部412、画像データ生成部413、音声データ生成部414、補助情報生成部415に出力する。
字幕データ生成部412、画像データ生成部413、音声データ生成部414は、パケットに格納されたデータの復号処理等を実行し、復号データを出力データ生成部416に出力する。
出力データ生成部416は、字幕、画像、音声の各データを、入出力インタフェース407を介して出力装置(表示部+スピーカ)520に出力する。
なお、情報記録媒体510は、再生対象データを格納したストリームファイルとして、
MPEG−2TSフォーマットデータを格納したストリームファイルと、
MMTフォーマットデータを格納したストリームファイルを有する場合がある。
この場合、情報処理装置400は、BDAVフォーマットにおいて規定されたプレイリストファイルとクリップ情報ファイルを適用して、MPEG−2TSフォーマットデータを格納したストリームファイル、および、MMTフォーマットデータを格納したストリームファイルの再生処理を実行することになる。
補助情報生成部415は、例えば、プレイリストファイル、クリップ情報ファイルに格納された録画コンテンツリスト表示用データを取得して録画コンテンツリストを生成し、生成リストが出力装置(表示部+スピーカ)520に出力される。
出力装置(表示部+スピーカ)520は、情報処理装置400から入力する字幕、画像、音声等の各データを、出力装置(表示部+スピーカ)520を介して出力する。
なお、情報記録媒体510は、MMTフォーマットデータを、BDAVフォーマットに従って記録したデータを格納しており、また、情報処理装置400は、BDAVフォーマット規定のデータベースファイルであるプレイリストファイルとクリップ情報ファイルの記録情報を取得して再生制御処理を実行する。
次に、図50に示す情報処理装置400が実行する情報記録媒体510からのデータ再生処理のシーケンスについて、図51に示すフローチャートを参照して説明する。
図51に示すフローに従った処理は、例えば情報処理装置400の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
なお、図51に示すフローに従った処理を実行する情報処理装置は、図50に示す情報処理装置400であり、情報記録媒体(記録メディア)510を装着し、装着した情報記録媒体510に記録されたデータを読み取り、出力装置(表示部+スピーカ)520に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
情報記録媒体(記録メディア)510は、図46〜図49を参照して説明した処理によって生成されたAVストリームと、プレイリスト、クリップ情報ファイル等のデータベースが記録された記録媒体である。
以下、図51のフローに示す各ステップの処理について、順次、説明する。
(ステップS201)
まず、情報処理装置400の制御部401は、ステップS201において、例えばユーザの入力した再生データ指定情報に従い、指定された再生データ対応の再生制御情報を格納したプレイリストファイルを情報記録媒体(メディア)から読み取る。
(ステップS202)
次に、情報処理装置400の制御部401は、ステップS202において、プレイリストファイルに記録されたPL_CPIタイプ(PL_CPI_type)を読み出す。
先に図11〜図15を参照して説明したように、PL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
なお、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
図15に示すように、PL_CPIタイプ(PL_CPI_type)=1は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のEPマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のTUマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
このように、PL_CPIタイプ(PL_CPI_type)=1〜3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
(ステップS203)
次に、情報処理装置400の制御部401は、ステップS203において、ステップS202で読み出したPL_CPIタイプ(PL_CPI_type)の設定値が[3]であるか否かを判定する。
すなわち、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであるか否かを判定する。
PL_CPIタイプ(PL_CPI_type)=3である場合は、ステップS203の判定がYesとなり、ステップS205に進む。
一方、PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS203の判定がNoとなり、ステップS204に進む。
(ステップS204)
PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS204の処理を実行する。
PL_CPIタイプが3以外の場合、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが1または2であり、再生対象データがMPEG−2TSフォーマットデータである。
この場合、情報処理装置400は、従来の再生処理手法を適用して、MPEG−2TSフォーマットデータの再生処理を実行する。
(ステップS205)
一方、PL_CPIタイプ(PL_CPI_type)が3の場合は、ステップS205において、このプレイリストファイルによる再生対象データがMMTフォーマットデータであると判定する。
(ステップS206)
次に、情報処理装置400は、ステップS206において、MMTフォーマットデータ対応のプレイリストとクリップ情報ファイルを適用してMMTフォーマットデータの格納されたクリップ情報ファイルの格納データの再生処理を実行する。
次に、MMTフォーマットデータの再生処理の具体例として、クリップ情報ファイルに記録されたMMTフォーマットデータ対応のEPマップを適用したランダムアクセス再生処理のシーケンスについて、図52に示すフローチャートを参照して説明する。
なお、MMTフォーマットデータ対応のEPマップは、例えば先に図34〜図36を参照して説明したいずれかのでーた構成を持つEPマップであり、ランダムアクセス可能なデータ位置に対応する時間情報とストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト位置情報との対応データ等によって構成されるEPマップである。
図52に示すフローチャートの各ステップの処理について説明する。
(ステップS211)
まず、情報処理装置400は、ステップS211において、ランダムアクセス再生に適用するプレイリストのプレイアイテム情報から、クリップ情報ファイル名(Clip_information_file_name)を読み取る。
これは、先に図16を参照して説明したプレイリストファイル中のプレイアイテム(PlayItem)情報に記録されたデータである。
(ステップS212)
次に、情報処理装置400は、ステップS212において、ステップS211でプレイリストファイルから読み取ったクリップ情報ファイル名(Clip_information_file_name)を有するクリップ情報ファイルを情報記録媒体(メディア)から読み取る。
(ステップS213)
次に、情報処理装置400は、ステップS213において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生に適用するクロック情報であるATC,STCを特定する。なお、これらの時間情報は、再生対象データがMMTフォーマットデータである場合、NTP時間情報として記録されている。
なお、クリップ情報ファイルのシーケンス情報(SequenceInfo)は、先に図27を参照して説明したデータ構成を有し、ここに、ATC(アライバルタイムクロック)と、STC(システムタイムクロック)に関する情報が規定されている。
ATC(アライバルタイムクロック)と、STC(システムタイムクロック)については、先に図28を参照して説明した通りであり、データ再生に適用されるクロック情報である。
(ステップS214)
次に、情報処理装置400は、ステップS214において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生開始位置(SPN_STC_Start)と、再生開始時間(presentation_start_time)を取得する。
再生対象データがMMTフォーマットデータである場合、再生開始位置情報は、例えば、ストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数であり、再生開始時間は、NTP時間情報となる。これらの情報が、クリップ情報ファイルのシーケンス情報(SequenceInfo)として記録されている。
(ステップS215)
次に、情報処理装置400は、ステップS215において、クリップ情報ファイルのクリップ情報(ClipInfo)に記録された記録レート(recording_rate)に従って、クリップAVストリームファイルに格納されたMMTフォーマットデータを読み取る。
クリップ情報ファイルのクリップ情報(ClipInfo)には、先に図24を参照して説明したように、記録レート(recording_rate)情報が記録されており、この情報に従って、情報記録媒体(メディア)に記録されたクリップAVストリームファイルに格納されたMMTフォーマットデータを読み取る。
なお、図24では、記録レート情報として、TS_recording_rateと記載されているが、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートがここに記録されている。
(ステップS216)
次に、情報処理装置400は、ステップS216において、情報記録媒体(メディア)から読み出したクリップAVストリームファイルに格納されたMMTフォーマットデータのデマルチプレクス処理、デコード処理、再生処理を実行する。
[10.情報処理装置の構成例について]
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図53を参照して説明する。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理装置。
(2) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイル、およびクリップ情報ファイルを生成する(1)に記載の情報処理装置。
(3) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとして生成したプレイリストファイル、およびクリップ情報ファイルに、MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子を記録する(2)に記載の情報処理装置。
(4) 前記データ処理部は、
MMTフォーマットデータに併せて受信するシグナリング情報を適用して、前記MMTフォーマット対応再生制御情報ファイルの記録データを取得、または生成する(1)〜(3)いずれかに記載の情報処理装置。
(5) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録する時間情報として、前記MMTフォーマットデータに併せて受信するNTP(ネットワークタイムプロトコル)時間情報を記録する(1)〜(4)いずれかに記載の情報処理装置。
(6) 前記データ処理部は、
前記NTP(ネットワークタイムプロトコル)時間情報を、
前記MMTフォーマットデータに併せて受信するMPT(MMTパッケージテーブル)から取得する(5)に記載の情報処理装置。
(7) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録するデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を算出して記録する(1)〜(6)いずれかに記載の情報処理装置。
(8) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイルを生成し、
前記プレイリストファイルに記録するCPIタイプ識別子として、MMTフォーマットデータ対応のEPマップを利用するタイプを示す識別子を記録する(1)〜(7)いずれかに記載の情報処理装置。
(9) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとしてクリップ情報ファイルを生成し、
前記クリップ情報ファイルに対する記録データとして、ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを生成する構成であり、
前記再生時間情報を、NTP(ネットワークタイムプロトコル)時間情報とし、
前記再生位置情報を、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報としたEPマップを生成する(1)〜(8)いずれかに記載の情報処理装置。
(10) 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理装置。
(11) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルであるプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する(10)に記載の情報処理装置。
(12) 前記データ処理部は、
MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子が記録されているプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する(10)または(11)に記載の情報処理装置。
(13) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録されたNTP(ネットワークタイムプロトコル)時間情報を利用して再生制御を実行する(10)〜(12)いずれかに記載の情報処理装置。
(14) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録されたデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を利用して再生制御を実行する(10)〜(13)いずれかに記載の情報処理装置。
(15) 前記データ処理部は、
MMTフォーマットデータ対応のEPマップを利用するタイプであることを示すCPIタイプ識別子が記録されたMMTフォーマット対応プレイリストファイルを適用して再生制御を実行する(10)〜(14)いずれかに記載の情報処理装置。
(16) 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルであるMMTフォーマット対応クリップ情報ファイルを利用して再生制御を実行する構成であり、
前記MMTフォーマット対応クリップ情報ファイルは、
ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを記録した構成であり、
前記EPマップは、
NTP(ネットワークタイムプロトコル)時間情報と、
MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報との対応データからなるEPマップである(10)〜(15)いずれかに記載の情報処理装置。
(17) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理方法。
(18) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理方法。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成させ、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成させるプログラム。
(20) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
具体的には、放送波等を介して入力するMMT(MPEG Media Transport)フォーマットデータを入力し、BDAVフォーマット、またはSPAVフォーマットに従った記録データを生成する。データ処理部は、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、さらに、MMTフォーマットストリームファイルの再生制御情報を格納したプレイリストファイル、およびクリップ情報ファイルを生成する。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
20 送信装置
21 放送サーバ
22 データ配信サーバ
30 情報処理装置
31 BDプレーヤ
32 TV
33 PC
34 携帯端末
40 情報記録媒体(メディア)
41 BD
42 HDD
43 フラッシュメモリ
300 情報処理装置
301 データ入力部
302 ユーザ入力部
303 制御部
304 記憶部
305 デマルチプレクサ
306 記録データ生成部
307 記録部
308 ドライブ
311 字幕データ生成部
312 画像データ生成部
313 音声データ生成部
314 補助情報生成部
315 マルチプレクサ
316 データベースファイル生成部
320 情報記録媒体
400 情報処理装置
401 制御部
402 ユーザ入力部
403 ドライブ
404 記録再生部
405 記憶部
406 再生処理部
407 入出力I/F
411 デマルチプレクサ
412 字幕データ生成部
413 画像データ生成部
414 音声データ生成部
415 補助情報生成部
416 出力データ生成部
510 情報記録媒体
520 出力装置(表示部+スピーカ)
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア

Claims (20)

  1. MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
    前記データ処理部は、
    MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
    さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理装置。
  2. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイル、およびクリップ情報ファイルを生成する請求項1に記載の情報処理装置。
  3. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルとして生成したプレイリストファイル、およびクリップ情報ファイルに、MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子を記録する請求項2に記載の情報処理装置。
  4. 前記データ処理部は、
    MMTフォーマットデータに併せて受信するシグナリング情報を適用して、前記MMTフォーマット対応再生制御情報ファイルの記録データを取得、または生成する請求項1に記載の情報処理装置。
  5. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルに記録する時間情報として、前記MMTフォーマットデータに併せて受信するNTP(ネットワークタイムプロトコル)時間情報を記録する請求項1に記載の情報処理装置。
  6. 前記データ処理部は、
    前記NTP(ネットワークタイムプロトコル)時間情報を、
    前記MMTフォーマットデータに併せて受信するMPT(MMTパッケージテーブル)から取得する請求項5に記載の情報処理装置。
  7. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルに記録するデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を算出して記録する請求項1に記載の情報処理装置。
  8. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイルを生成し、
    前記プレイリストファイルに記録するCPIタイプ識別子として、MMTフォーマットデータ対応のEPマップを利用するタイプを示す識別子を記録する請求項1に記載の情報処理装置。
  9. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルとしてクリップ情報ファイルを生成し、
    前記クリップ情報ファイルに対する記録データとして、ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを生成する構成であり、
    前記再生時間情報を、NTP(ネットワークタイムプロトコル)時間情報とし、
    前記再生位置情報を、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報としたEPマップを生成する請求項1に記載の情報処理装置。
  10. 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
    前記データ処理部は、
    MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
    前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理装置。
  11. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルであるプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する請求項10に記載の情報処理装置。
  12. 前記データ処理部は、
    MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子が記録されているプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する請求項10に記載の情報処理装置。
  13. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルに記録されたNTP(ネットワークタイムプロトコル)時間情報を利用して再生制御を実行する請求項10に記載の情報処理装置。
  14. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルに記録されたデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を利用して再生制御を実行する請求項10に記載の情報処理装置。
  15. 前記データ処理部は、
    MMTフォーマットデータ対応のEPマップを利用するタイプであることを示すCPIタイプ識別子が記録されたMMTフォーマット対応プレイリストファイルを適用して再生制御を実行する請求項10に記載の情報処理装置。
  16. 前記データ処理部は、
    前記MMTフォーマット対応再生制御情報ファイルであるMMTフォーマット対応クリップ情報ファイルを利用して再生制御を実行する構成であり、
    前記MMTフォーマット対応クリップ情報ファイルは、
    ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを記録した構成であり、
    前記EPマップは、
    NTP(ネットワークタイムプロトコル)時間情報と、
    MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報との対応データからなるEPマップである請求項10に記載の情報処理装置。
  17. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
    前記データ処理部が、
    MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
    さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理方法。
  18. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
    前記データ処理部が、
    MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
    前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理方法。
  19. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成させ、
    さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成させるプログラム。
  20. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
    前記プログラムは、前記データ処理部に、
    MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
    前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行させるプログラム。
JP2018538315A 2016-09-08 2017-08-07 情報処理装置、および情報処理方法、並びにプログラム Active JP7056566B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016175899 2016-09-08
JP2016175899 2016-09-08
PCT/JP2017/028554 WO2018047558A1 (ja) 2016-09-08 2017-08-07 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018047558A1 true JPWO2018047558A1 (ja) 2019-06-24
JP7056566B2 JP7056566B2 (ja) 2022-04-19

Family

ID=61562815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018538315A Active JP7056566B2 (ja) 2016-09-08 2017-08-07 情報処理装置、および情報処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US11259074B2 (ja)
EP (1) EP3511939A4 (ja)
JP (1) JP7056566B2 (ja)
CN (1) CN109690674B (ja)
WO (1) WO2018047558A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633981A4 (en) * 2017-05-31 2020-05-06 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM
KR20200107616A (ko) * 2019-03-08 2020-09-16 삼성전자주식회사 방송 수신 장치 및 그 동작방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011023071A (ja) * 2009-07-15 2011-02-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2012018728A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2012059350A (ja) * 2005-05-23 2012-03-22 Panasonic Corp 再生装置、データ処理方法、データ処理プログラム及び集積回路
JP2015023574A (ja) * 2013-07-22 2015-02-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 蓄積方法、再生方法、蓄積装置、および再生装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050196146A1 (en) * 2004-02-10 2005-09-08 Yoo Jea Y. Method for reproducing text subtitle and text subtitle decoding system
JPWO2006121049A1 (ja) 2005-05-10 2008-12-18 松下電器産業株式会社 データ処理装置
KR101572874B1 (ko) * 2007-08-24 2015-11-30 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
EP2360935A4 (en) * 2008-09-30 2012-06-20 Panasonic Corp REPRODUCTION DEVICE, RECORDING MEDIUM, AND INTEGRATED CIRCUIT
US20120036277A1 (en) * 2009-03-16 2012-02-09 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Modified Stream Synchronization
TW201205314A (en) * 2010-07-16 2012-02-01 Hon Hai Prec Ind Co Ltd Method for seeking a document position and a corresponding electronic device
FR3005820B1 (fr) * 2013-05-17 2015-05-29 Envivio France Procede de gestion de listes de lecture personnalisees du type comprenant un gabarit d'uri et une liste d'identifiants de segments.
JP6505413B2 (ja) * 2013-11-08 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置、及び受信装置
JP2016103745A (ja) * 2014-11-28 2016-06-02 ソニー株式会社 送信装置及び送信方法、並びに、受信装置並びに受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059350A (ja) * 2005-05-23 2012-03-22 Panasonic Corp 再生装置、データ処理方法、データ処理プログラム及び集積回路
JP2011023071A (ja) * 2009-07-15 2011-02-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2012018728A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2015023574A (ja) * 2013-07-22 2015-02-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 蓄積方法、再生方法、蓄積装置、および再生装置

Also Published As

Publication number Publication date
US11259074B2 (en) 2022-02-22
JP7056566B2 (ja) 2022-04-19
EP3511939A1 (en) 2019-07-17
US20210289254A1 (en) 2021-09-16
WO2018047558A1 (ja) 2018-03-15
CN109690674B (zh) 2021-05-11
EP3511939A4 (en) 2019-07-17
CN109690674A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US7843994B2 (en) Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
JP7031589B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102344751B1 (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램
JP7056566B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7070432B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7147755B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2017199743A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CN110462735B (zh) 信息处理设备、信息记录介质、信息处理方法和程序
JP7070433B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070564B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R151 Written notification of patent or utility model registration

Ref document number: 7056566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151