JPWO2018047558A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2018047558A1 JPWO2018047558A1 JP2018538315A JP2018538315A JPWO2018047558A1 JP WO2018047558 A1 JPWO2018047558 A1 JP WO2018047558A1 JP 2018538315 A JP2018538315 A JP 2018538315A JP 2018538315 A JP2018538315 A JP 2018538315A JP WO2018047558 A1 JPWO2018047558 A1 JP WO2018047558A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- format
- mmt
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 191
- 238000003672 processing method Methods 0.000 title claims description 18
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 233
- 230000011664 signaling Effects 0.000 claims description 36
- VKALYYFVKBXHTF-UHFFFAOYSA-N 4-(methylsulfanyl)-m-cresol Chemical compound CSC1=CC=C(O)C=C1C VKALYYFVKBXHTF-UHFFFAOYSA-N 0.000 claims 4
- 238000000034 method Methods 0.000 description 84
- 230000008569 process Effects 0.000 description 75
- 230000005540 biological transmission Effects 0.000 description 32
- 230000015654 memory Effects 0.000 description 17
- 239000000203 mixture Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000002716 delivery method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013127 simulated treatment comparison Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
MMTフォーマットは、例えば4K画像、高ダイナミックレンジ(HDR:HighDynamic Range)画像等の次世代コンテンツの放送等に利用される予定となっている。
例えば、コンテンツの記録再生に利用される情報記録媒体(メディア)であるBD(Blu−ray(登録商標) Disc)やフラッシュメモリ、あるいはHD(ハードディスク)等には、MPEG−2TSフォーマットに従ったデータが記録されることが多い。
例えば、現行の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu−ray(登録商標) Disc)を利用したデータ記録再生アプリケーション規格として策定されたものである。
BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011−023071号公報)等に記載がある。
一方、BDAVは、主に書き換え可能なBD−RE型ディスクや、一回のみ記録可能なBD−R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を参照してデータ再生処理を実行する。
MPEG−2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
しかし、これらの処理については、現時点で具体化されていないというのが現状である。
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理装置にある。
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理装置にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成させ、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行させるプログラムにある。
具体的には、放送波等を介して入力するMMT(MPEG Media Transport)フォーマットデータを入力し、BDAVフォーマット、またはSPAVフォーマットに従った記録データを生成する。データ処理部は、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、さらに、MMTフォーマットストリームファイルの再生制御情報を格納したプレイリストファイル、およびクリップ情報ファイルを生成する。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.通信システムの構成例について
2.MMT(MPEG Media Transport)フォーマットについて
3.BDAVフォーマットとSPAVフォーマットについて
4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
5.MMTフォーマットデータ対応のプレイリストファイルについて
6.MMTフォーマットデータ対応のクリップ情報ファイルについて
7.MMTフォーマットデータの全記録(フル記録)と、部分記録(パーシャル記録)について
8.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
9.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
10.情報処理装置の構成例について
11.本開示の構成のまとめ
まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
図1に示す情報処理装置30は、BD(Blu−ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理を実行する。
これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
TLVレイヤで処理が生成されるTLVパケットに格納されるシグナリング情報がTLV−SIであり、MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納されるシグナリング情報は最上位レイヤに示すMMT−SIである。
UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
MMTPパケットを利用して送信されるシグナリング情報(MMT−SI)、
さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
これらの各データがMMTPパケットに格納されて送信される。
その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
図3には以下の4種類のデータ構成例を示している。
(a)MPU(Media Presentation Unit)
(b)MMTPペイロート
(c)MMTPパケット
(d)TLVパケット
図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
AU Delimiter(Access Unit Delimiter)
SPS(Sequence Parameter Set)
PPS(Picture Parameter Set)
SEIs(Supplemental Enhancement Information)
これらのパラメータは、画像表示に利用されるパラメータである。
さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
TLV−SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu−ray(登録商標) Disc)やフラッシュメモリ、あるいはHD(ハードディスク等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
BDMVは、例えば映画コンテンツなどを予め記録したBD−ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD−ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD−RE型ディスクや、一回のみ記録可能なBD−R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
また、再生制御情報ファイルとして、
プレイリストファイル(playlist)、
クリップ情報ファイル(clipinf)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
なお、従来の放送データや、ネットワーク配信データは、TS(Transport Stream)パケットによって構成されたMPEG−2TSフォーマットデータであるが、今後の4K,8K画像等の高精細画像等を含むデータは前述したMMTPパケットによって構成されるMMTフォーマットデータとなることが予想される。
TSパケットによって構成されたMPEG−2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルを示している。
受信データがMMTフォーマットデータである場合、MMTフォーマットをMPEG−2TSフォーマットに変換し、メディアに記録するクリップAVストリームファイルを、全てMPEG−2TSフォーマットデータに統一して記録する。
これらの処理については、今後、検討されることになる。
(a)まず、再生アプリケーションによって管理情報ファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられたプレイリストが選択される。
(c)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
図6、図7を参照して、MMTフォーマットと、MPEG−2TSフォーマットについて説明する。
MPEG−2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
最下段に示す図6(a)は、MPEG−2TSのフォーマットデータの全体構成を示す図である。
図6(a)に示すように、MPEG−2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG−2TSフォーマットとの対応関係を分かり易く説明した図である。
図7は、ISO/IEC 23008−1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMPTペイロード)により、構成される。
ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
図8にSPAVフォーマットのディレクトリ構成例を示す。
また、再生制御情報ファイルとして、
プレイリストファイル(PLAYLIST)、
クリップ情報ファイル(CLIPINF)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
先に説明したように、MMTフォーマットはデータ配信フォーマットであり、図3を参照して説明したスタックに従ったフォーマットである。
一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
MPEG−2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
図9に示すように、再生対象となる画像、音声、字幕の各データは、クリップAVストリームファイルとして記録する。これらの再生対象データは、MMTフォーマットのまま、あるいはTSフォーマットに変換して記録する等、様々な処理が可能である。
TLVレイヤで処理が生成されるTLVパケットに格納されるシグナリング情報がTLV−SIであり、MMTプロトコルに従って生成されるパケットであるMMTPパケットに格納されるシグナリング情報がMMT−SIである。
TSパケットによって構成されたMPEG−2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルが含まれる。
従って、このMMTフォーマットデータ(nnnnn.mmtv)の再生に適用する生成制御情報ファイルであるプレイリストファイルや、クリップ情報ファイルは、このMMTフォーマットデータ(nnnnn.mmtv)の再生を実現するためのデータ構成を持つことが必要となる。従来のMPEG−2TSフォーマットデータ(nnnnn.m2ts)の再生に適用されるプレイリストファイルや、クリップ情報ファイルをそのまま利用することはできない。
また、MMTフォーマットデータ格納クリップAVストリームファイル71は、MPEG−2TSフォーマットデータとは異なるデータ形式となり、MPEG−2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
以下、この具体的な処理について説明する。
まず、図11以下を参照してMMTフォーマットデータ対応のプレイリストファイルについて説明する。
図11に示す[PlayList]の主な記録データについて説明する。
バージョンナンバ(version_number)は、このプレイリストのバージョンナンバを示す。
レングス(length)は、このレングスフィールドの直後からプレイリストファイル構成データの最後までのバイト数を示す。
サブプレイアイテム数(number_of_SubPlayItems)103は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)の数を示す。
プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
プレイアイテム情報(PlayItem())104の詳細(シンタクス)については後述する。
CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、ランダムアクセス再生開始可能な再生開始点のデータアドレスを取得するためのデータである。
これらのマップは、いずれも、例えばランダムアクセスポイントとなる再生時間情報(PTS:Presentation Time Stamp)と、その位置のパケットのパケット識別子であるソースパケットナンバー(SPN:Source Packet Number)との対応データであり、ランダムアクセスポイントの再生データが格納されたパケットを取得するために利用可能なマップ情報である
BDAVフォーマットでは、EPマップとTUマップの2種類のマップを規定しているが、TUマップの利用はほとんどなされておらず、EPマップのみ利用されているのが現状である。
EP_mapやTU_mapは、AVストリームの中でデコードを開始すべきエントリポイント(EP)の場所を見つけるためのアドレス情報を持つ。
先に、図5を参照して説明したように、プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
EPマップは、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報を記録している。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプと、パケット位置情報に相当するパケット取得のためのアドレス情報との対応データが記録されている。
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Time Stamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケット番号(SPN)と、
これらの対応情報を有する。
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Time Stamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケットナンバー(SPN)と、
これらの対応情報である。
なお、クリップAVストリームファイル中のすべてのパケットに設定された一連の番号がソースパケット番号(SPN)である。クリップAVストリームファイル中、最初のソースパケットのソースパケット番号をゼロ、その次のパケットのソースパケット番号は1であり、以後、次のパケット毎にソースパケット番号は1つずつ増加する。
ストリームPID(Stream_PID)、
EPエントリ数(number_of_EP_entries)、
プレゼンテーションタイムスタンプEPスタート(PTS_EP_start)、および、
ソースパケット番号EPスタート(SPN_EP_start)、
これらのデータを記録している。
EPエントリ数(number_of_EP_entries)は、EP_mapに含まれるPTS_EP_start とSPN_EP_startのペアのエントリの個数である。
ソースパケット番号EPスタート(SPN_EP_start)は、PTS_EP_startの値により参照されるアクセスユニット(Access Unit)の第1バイト目を含むソースパケット番号(SPN:Source Packet Number)を表す。
例えば、PID=xのビデオストリームのEPマップには、
PTS=pts(x1)とソースパケット番号(SPN)X1、
PTS=pts(x2)とソースパケット番号(SPN)X2、
・・・、
PTS=pts(xk)とソースパケット番号(SPN)Xk、
これらのPTSとSPNの対応データからなるテーブルが記述される。
上記のテーブルを含むEPマップ(EP_map)が、1つのクリップAVストリームに対応するクリップ情報ファイルに格納される。
クリップ中の時間軸上の時刻xから再生開始するとき、EP_mapを利用して、クリップAVストリームファイルの中でストリームのデコードを開始すべきアドレス情報の計算方法について、図14を参照して説明する。
このプレイリスト情報に従って特定されるタイムスタンプ[PTS_EP_start[m]]に基づいて、クリップ情報ファイル中のEPマップを参照して、タイムスタンプ[PTS_EP_start[m]]に対応するソースパケット番号[SPN_EP_start[m]]を特定する。
このパケット位置[SPN_EP_start[m]]を、クリップAVストリームファイル中の再生開始点、すなわち、デコードを開始すべきアドレス情報として取得し、デコード処理を行って再生を行うことができる。
すなわち、再生対象データがMMTフォーマットデータである場合は、上述した処理と異なるMMTフォーマットデータ対応のデータ処理を行う必要がある。
すなわち、図10に示すMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72にMMTフォーマットデータ対応のEPマップを記録することが必要となる。この具体例については、後述する。
図11を参照して説明したように、図11に示すプレイリストファイルに記録されるPL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
しかし、MMTフォーマットデータに対応のEPマップは、これまでのMPEG−2TSフォーマットデータ対応のEPマップとは異なるマップである。
従って、プレイリストファイルのPL_CPIタイプ(PL_CPI_type)についても、これらを区別した識別子を設定することが必要となる。
(1)従来のCPIタイプ記録データ(MPEG−2TS対応データのみ記録)
(2)新たなCPIタイプ記録データ(MPEG−2TS対応データとMMT対応データを記録)
PL_CPIタイプ(PL_CPI_type)=1は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のEPマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のTUマップであることを意味する。
図15の「(2)新たなCPIタイプ記録データ(MPEG−2TS対応データとMMT対応データを記録)」は、上記設定に、さらに、
PL_CPIタイプ(PL_CPI_type)=3
このビット値=3の設定を追加した構成となっている。
このように、PL_CPIタイプ(PL_CPI_type)=1〜3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
先に説明したように、プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
クリップ情報ファイルネーム(Clip_Information_file_name)111には、このプレイアイテムを利用した再生処理に適用するクリップ情報ファイルのファイル名が記録される。
STC(システムタイムクロック)は、AVストリーム再生時の基準クロックであり、連続再生区間では、1つのSTCが利用される。例えば1つのプレイアイテムが再生する連続再生区間では1つのSTCが利用され、プレイアイテムの切り替えによって異なるSTCが参照されることになる。
参照STC識別子(ref_to_STC_id)112には、このプレイアイテムが参照すべきSTC(システムタイムクロック)を指定する情報が記録される。
終了時間(OUT_time)114は、プレイアイテムの再生終了時間の記録領域である。
これらの開始時間、終了時間情報は、従来のMPEG−2TSフォーマットデータを再生対象とする場合、参照STC識別子(ref_to_STC_id)112によって指定されたプレイアイテム対応のSTCの開始時間からの差分時間情報(45KHzhクロック)が記録される。
なお、45KHzクロックは、MPEG−2TSフォーマットデータの記録再生に用いられる一般的なクロックである。
従って、MMTフォーマットデータを再生対象とするプレイリストのプレイアイテム情報(PlayItem())に記録する、
開始時間(IN_time)113と、
終了時間(OUT_time)114は、
MMTフォーマットデータに固有の時間情報とする必要がある。
この変更例について、図17を参照して説明する。
(1)従来のプレイアイテム情報記録データ(MPEG−2TS対応プレイリスト)
(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
具体例について、図18以下を参照して説明する。
MMTフォーマットで規定されたシグナリング情報には、MMTPパケットで送信されるシグナリング情報(MMT−SI)と、TLVパケットで送信されるシグナリング情報(TLV−SI)がある。
なお、MMTパッケージテーブル(MPT:MMT Package Table)は、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)は、前述したように、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
アセットタイプ(asset_type)
アセット記述子(asset_descriptors_byte)
これらのデータ記録領域が含まれる。
MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図19に示す。
hvc1:HEVC画像
mp4a:音声
stpp:字幕等
aapp:アプリケーション
図18に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
アセット記述子(asset_descriptors_byte)
このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
図20に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)
MPU再生時刻(MPU_presentation_time)
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
情報処理装置30は、この時間情報を取得してプレイリストに記録する。
まず、マーク(Mark)について説明する。マークは、例えばクリップAVストリームファイルに格納された画像データのチャプタ区切り、シーンチェンジ点、ブックマーク、ハイライト、特徴的なシーンの時間指定情報として、プレイリストファイル、クリップ情報ファイルに記録可能なデータである。
プレイリストファイル、クリップ情報ファイルに対するマークの記録は、マークの時刻を示すタイムスタンプの記録処理により行われる。
プレイリストマーク数(number_of_PlayList_marks)121は、このプレイリストマーク(PlayListMark)中にストアされているマークの個数を示す。
マークタイプ(mark_type)122は、マークのタイプを示すフィールドである。たとえば、各マークが、プレイリストの代表画像位置、チャプタ開始位置、チャプタ終了位置、シーンチェンジ位置、編集位置等のどのタイプのマークであるかを示す情報を記録する。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)124は、マークが設定されたパケットの識別子を記録するフィールドである。
デュレーション(duration)125は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。
従って、クリップAVストリームファイルとしてMMTフォーマットデータを記録する場合のプレイリストマーク(PlayListMark)の記録データについて規定する必要がある。
(1)従来のプレイリストマーク情報記録データ(MPEG−2TS対応プレイリスト)
(2)新たなプレイリストマーク情報記録データ(MMT対応プレイリスト)
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
次に、図23以下を参照してMMTフォーマットデータ対応のクリップ情報ファイルについて説明する。
クリップ情報ファイルには、クリップ情報に対応付けられた再生データに関する情報が記録される。図23に示すように、例えば、以下の各情報が記録される。
クリップ情報[ClipInfo()]201、
シーケンス情報[SequenceInfo()]202、
プログラム情報[ProgramInfo()]203、
CPI情報[CPI()]204
シーケンス情報[SequenceInfo()]202は、このクリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
先に図11を参照して説明したように、プレイリストファイルには、CPIタイプ(CPI_type)が記録される。CPIタイプ(CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
前述したように、クリップ情報[ClipInfo()]201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する領域である。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
TS記録レート(TS_recording_rate)215、
これらは、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/second の単位で表したものである。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
従って、クリップAVストリームファイルに格納されたデータがMMTフォーマットデータある場合のデータ記録態様についての規定が必要となる。
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG−2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG−2TS/MMT対応クリップ情報ファイル)
これらの各データを示した図である。
アプリケーションタイプ(Application type)=1の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main TS for a main−path of Movies」、すなわち、画像メインパス対応のメインTS(トランスポートストリーム)の再生アプリケーションであることを示す。
なお、画像再生パスには、メインパス、サブパス等の複数の再生パスが設定可能であり、それぞれ異なるプレイアイテムを利用して再生することができる。
このように、従来は、再生対象データがMPEG−2TSフォーマットデータのみであり、図25(1)に示す設定が利用されていた。
アプリケーションタイプ(Application type)=3
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG−2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG−2TS/MMT対応クリップ情報ファイル)
これらの各データについて説明する。
クリップストリームタイプ(Clip_stream_type)=1の場合、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプが、「A Clip AV stream of BDAV MPEG−2TS」、すなわち、BDAV MPEG−2TSフォーマットのクリップAVストリームであることを示す。
なお、ブリッジタイプのクリップAVストリームとは、ストリーム間に黒画を挿入したタイプのストリームである。
クリップストリームタイプ(Clip_stream_type)=3
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
これら2つのデータについて説明した。
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
この設定は、MMTフォーマットデータに対しても、同様の設定で利用できる。
TS記録レート(TS_recording_rate)215、
これらは、前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
(例1)STCシーケンス間でファイルサイズを時間で割り算してビットレートを算出して記録する。
(例2)データの記録時の圧縮処理において取得される記録データ情報に基づいてビットレートを算出して記録する。
(例3)送信装置からの受信情報、例えば制御情報であるシグナリング情報(SI)に含まれるコンテンツコピー制御記述子に含まれるビットレート情報を取得して記録する。
なお、STCについては、図27以下を参照して説明するシーケンス情報[SequenceInfo()]の説明の中で詳細に説明する。
これらのシグナリング情報内のコンテンツコピー制御記述子からビットレート情報を取得して記録することができる。
前述したように、再生対象データがMPEG−2TSフォーマットデータの場合、ソースパケット数が記録される。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
従って、ソースパケット数(num_of_source_packets)216のフィールドにパケット数を記録してもデータサイズが把握できない。
あるいは、再生対象データがMMTフォーマットの場合、このフィールドには無効値を記録して非利用フィールドとしてもよい。
前述したように、シーケンス情報[SequenceInfo()]202には、クリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
(a)ATCスタート位置SPN(SPN_ATC_start)221
(b)STCシーケンス数(num_of_STC_sequence)222
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223
(d)STCスタート位置SPN(SPN_STC_start)224、
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
図28には、(a)クリップAVストリームファイルに格納されたパケット列を示している。MPEG−2TSフォーマットデータの場合、1つの矩形が1つのTSパケットに相当する。
図28の例ではパケットナンバー0〜nnまでが1つのクリップAVストリームファイルの構成データである。
この一つのATCに従って並べられたパケット列をATCシーケンスと呼ぶ。
一つのSTC(システムタイムクロック)は、一つのPCR(プログラムクロックリフェランス)を基準として規定されるクロックであり、一つのSTCシーケンスに属するソースパケットは、1つのSTC(例えば45KHz)によって再生制御される。
STCシーケンス#1は、PCR格納パケットbに格納されたPCR、
また、STCシーケンス#2は、PCR格納パケットcに格納されたPCRを、各々基準として規定されるSTCに従って連続再生可能なパケット列である。
(a)ATCスタート位置SPN(SPN_ATC_start)221は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルのATCスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
図28を参照して説明した例では、
ATCスタート位置SPN(SPN_ATC_start)=0となる。
図28を参照して説明した例では、
STCシーケンス数(num_of_STC_sequence)=3となる。
(f)表示終了時間(presentation_end_time)226
これらには、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する。なお、この時間情報としては、STC時間情報(stc_id)、ATC時間情報(atc_id)の両者を記録する。
次に、このクリップ情報ファイルによる再生対象データがMMTフォーマットデータの場合の各記録データについて説明する。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
従って、ATCスタート位置SPN(SPN_ATC_start)221のフィールドにパケットナンバーを記録してもデータサイズが把握できない。
ATCスタート位置SPN(SPN_ATC_start)221には、
クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
再生対象データがMMTフォーマットデータの場合、
STCシーケンス数(num_of_STC_sequence)=1とする。
すなわち、1つのATCシーケンスに1つのSTCシーケンスのみが含まれる設定とする。
再生対象データがMMTフォーマットデータの場合、パケット識別子からのデータ位置特定ができないので、このフィールドには無効値を記録し、利用しない設定とする。
再生対象データがMMTフォーマットデータの場合、先に説明した(a)ATCスタート位置SPN(SPN_ATC_start)221と同様、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(f)表示終了時間(presentation_end_time)226
これらは、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する領域である。
再生対象データがMMTフォーマットデータの場合、これらの時間情報としてNTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
前述したように、プログラム情報[ProgramInfo()]203には、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program)に関する情報を記録する。
(a)プログラムシーケンス数[num_of_program_sequences]231には、クリップ情報ファイルに含まれるプログラムシーケンス(program_sequence)の数が記録される。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232には、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスが記録される。
(c)プログラムマップPID[program_map_PID[i]]233には、プログラムシーケンス(program_sequence)のマップの格納位置情報が記録される。
なお、プログラムシーケンスとは、クリップAVストリームファイルに含まれるAVストリーム中の符号化情報が連続な区間である。
例えば、一つの画像符号化態様で符号化された画像データ区間や、一つの音声符号化態様で符号化された音声データ区間等が、各々個別のプログラムシーケンスとして規定される。
(a)プログラムシーケンス数[num_of_program_sequences]231、
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232、
(c)プログラムマップPID[program_map_PID[i]]233、
これらのデータ記録態様は、このクリップ情報ファイルによる再生対象データが、MPEG−2TSフォーマットである場合については規定されているが、再生対象データがMMTフォーマットデータである場合の規定は無く、新たに規定することが必要となる。
再生対象データがMPEG−2TSフォーマット、MMTフォーマット、いずれの場合もプログラムシーケンス数を記録すればよい。
一方、再生対象データがMMTフォーマットデータである場合は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
一方、再生対象データがMMTフォーマットデータである場合は、無効値を記録し、利用しない設定とする。
前述したように、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
なお、図30に示す例は、再生対象データがMPEG−2TSフォーマットデータの場合の例である。先に図15を参照して説明したように、再生対象データがMPEG−2TSフォーマットデータの場合は、CPIタイプ=1,2の設定があり、EPマップ、TUマップいずれも利用可能な設定とされる。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)と、パケット位置情報に相当するパケット取得のためのアドレス情報(SPN:ソースパケットナンバー)との対応データが記録されている。
図31は、クリップ情報ファイルに格納されるEPマップのデータ構成(シンタクス)を示す図である。
先に図13(A)を参照して説明したように、クリップAVストリーム(Clip AV stream)は、パケット識別子:PIDで識別されるソースパケットからなるビデオストリームが多重化されている。ビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPIDにより区別される。
すなわち、図31のEPマップ記録領域242に、一つのストリームPID(one_stream_PID)単位のEPマップ(EP_map_for_one_stream_PID)が記録される。
このEPマップ記録領域242の具体的なデータ例を図32に示す。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
この2つのテーブル構成について、図33を参照して説明する。
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
(PTS_EP_coarse)252と、(SPN_EP_coarse)253との対応データである。
(PTS_EP_fine)254と、(SPN_EP_fine)255との対応データである。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
従って、MMTフォーマットデータ対応のクリップ情報ファイルには、MMTフォーマットデータ対応のEPマップを記録する必要がある。
この具体例について、図34以下を参照して説明する。
(a)MMTフォーマットデータ対応のEPマップ例1
(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)
(c)MMTフォーマットデータ対応のEPマップ例3(分割例)
(d)MMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)
(a)MMTフォーマットデータ対応のEPマップ例1
(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)
NTP時間記録領域(NTP_time)261、
MMTバイトアドレス記録領域(MMT_byte_adress)262、
このNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
PTS(プレゼンテーションタイムスタンプ)と、SPN(ソースパケットトナンバー)との対応データを記録した構成である。
これに対して、MMTフォーマットでは、
PTSの代わりに、NTP(ネットワークタイムプロトコル)時間を利用し、
SPNの代わりに、MMTバイトアドレスを利用する構成とする。
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
これらの2つのマップの構成を有しているが、図34(a)に示すMMTフォーマットデータ対応のEPマップは、1つのマップからなる設定である。
再生装置は、34(a)に示すEPマップ、すなわち、
NTP時間記録領域(NTP_time)261、
MMTバイトアドレス記録領域(MMT_byte_adress)262、
これらのデータの対応情報を持つEPマップを利用してランダムアクセスポイントとなるデータ位置を検出する。
(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)
この図34(b)に示す例2は、図34(a)に示す例1と同様、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)263、
MMTバイトアドレス記録領域(MMT_byte_adress)264、
NTP時間記録領域(NTP_time)263は、図34(a)に示す例1と同様、64ビットのNTP時間を記録する。
例1では、MMTバイトアドレス記録領域に64ビットでバイト数を記録していたが、例2では、32ビットで記録する構成であり、EPマップのデータ量を削減することができる。
(c)MMTフォーマットデータ対応のEPマップ例3(分割例)
図35に示すEPマップは、先に図32、図33を参照して説明したもMPEG−2TS対応のEPマップと同様、2つのマップ、すなわち、
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
これらの2つのマップ構成を有する設定である。
(1)粗いEPマップのNTP時間(NTP_coarse)265、
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)266、
(3)詳細EPマップ参照データ(ref_to_fine_id)267、
(4)詳細EPマップのNTP時間(NTP_fine)268、
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)269、
(1)粗いEPマップのNTP時間(NTP_coarse)265は、図34(a)を参照して説明した64ビットNTP時間を構成する上位32ビットデータ、すなわち秒単位のデータである。
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)266は、図34(a)を参照して説明したMMTバイトアドレスと同様、ストリームファイルに格納された最初のMMTPパケットの先頭からのバイトアドレスであり、粗いEPマップのNTP時間(NTP_coarse)265に対応するデータ位置を示す64ビットのバイトアドレス情報である。
(3)詳細EPマップ参照データ(ref_to_fine_id)267は、図32、図33を参照して説明したMPEG−2TSフォーマット対応のEPマップに利用されている詳細EPマップ参照データ(ref_to_EP_fine)251と同様の詳細EPマップの特定エントリを指示する参照用データである。
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)269は、図34(a)を参照して説明したMMTバイトアドレスと同様、ストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイトアドレスであり、詳細EPマップのNTP時間(NTP_fine)268に対応するデータ位置を示す64ビットのバイトアドレス情報である。
すなわち、
(1)図33に示す粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252が、粗いEPマップのNTP時間(NTP_coarse)265に置き換えられる。
(2)図33に示す粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253が、粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)266に置き換えられる。
(3)図33に示す粗いEPマップの詳細EPマップ参照データ(ref_to_EP_fine)251が、詳細EPマップ参照データ(ref_to_fine_id)267に置き換えられる。
(4)図33に示す詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254が、詳細EPマップのNTP時間(NTP_fine)268に置き換えられる。
(5)図33に示す詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255が、詳細EPマップのMMTバイトアドレス(MMT_byte_fine)269に置き換えられる。
このような変更により、MMTフォーマットデータ対応の2つのテーブルからなるEPマップが構成される。
(d)MMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)
図36に示すEPマップは、図35を参照して説明した(c)MMTフォーマットデータ対応のEPマップ例3(分割例)と、図34(b)を参照して説明した(b)MMTフォーマットデータ対応のEPマップ例2(圧縮例)の組み合わせである。
(1)粗いEPマップのNTP時間(NTP_coarse)271、
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)272、
(3)詳細EPマップ参照データ(ref_to_fine_id)273、
(4)詳細EPマップのNTP時間(NTP_fine)274、
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)275、
ただし、この図36に示す(d)MMTフォーマットデータ対応のEPマップ例4(分割&圧縮例)は、以下の各データが32ビットデータに圧縮されている。
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)272、
(5)詳細EPマップのMMTバイトアドレス(MMT_byte_fine)275、
具体的には、先に図34(2)を参照して説明した圧縮例と同様、最初のエントリについては、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録し、2番目以降のエントリについては、先行エントリからの差分に相当するバイト数を記録する。
(2)粗いEPマップのMMTバイトアドレス(MMT_byte_coarse)272は、図34(b)を参照して説明したMMTバイトアドレスと同様、最初のエントリについては、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録し、2番目以降のエントリについては、先行エントリからの差分に相当するバイト数であり、粗いEPマップのNTP時間(NTP_coarse)271に対応するデータ位置を示す32ビットのバイト情報を記録する。
この設定により、EPマップ全体のデータ量を削減することができる。
PTS(プレゼンテーションタイムスタンプ)と、SPN(ソースパケットトナンバー)との対応データを記録していたが、
図34〜図36を参照して説明したように、MMTフォーマットデータ対応のEPマップには、
NTP(ネットワークタイムプロトコル)時間と、
MMTバイトアドレス情報、
これらの対応データが記録される。
例えば放送局等の送信装置20から、MMTフォーマットデータを受信し、EPマップを作成して情報記録媒体(メディア)に記録する情報処理装置30は、このランダムアクセスポイントとなり得る位置情報を取得することが必要となる。
この処理例について、図37以下を参照して説明する。
ヘッダ部281には、ペイロード部282に格納されたデータの種類等の情報が記録される。ヘッダ部281の記録データの一つとして、ランダムアクセスポイント情報フラグ(RAP_flag)283が記録される。
MMTPパケットがランダムアクセスポイントとなるデータを格納したパケットであるか否かを示すフラグであり、
ランダムアクセスポイントとなるデータ格納したパケットである場合は1、
ランダムアクセスポイントとなるデータ格納したパケットでない場合は0、
この設定のフラグが記録される。
放送局等の送信装置20は、MMTフォーマットデータを構成するMMTPパケット列を送信し、情報処理装置30が受信する。
情報処理装置30は、各MMTPパケットのヘッダ情報に格納されたRAP_flagの設定値を確認し、RAP_flag=1の設定パケットを検出する。
図に示す例ではMMTPパケット291,292がRAP_flag=1の設定パケットである。
NTP(ネットワークタイムプロトコル)時間と、
MMTバイトアドレス情報、
これらの情報を取得、または算出してMMTフォーマットデータ対応のクリップ情報ファイル中のEPマップに記録して、情報記録媒体(メディア)に記録する。
先に、図21を参照して説明したように、マークは、例えばクリップAVストリームファイルに格納された画像データのチャプタ区切り、シーンチェンジ点、ブックマーク、ハイライト、特徴的なシーンの時間指定情報であり、プレイリストファイル、クリップ情報ファイルに記録されるデータである。
プレイリストファイル、クリップ情報ファイルに対するマークの記録は、マークの時刻を示すタイムスタンプの記録処理により行われる。
クリップマーク数(number_of_Clip_marks)294は、このクリップマーク(ClipMark)中にストアされているマークの個数を示す。
マークタイプ(mark_type)295は、マークのタイプを示すフィールドである。たとえば、各マークが、チャプタ開始位置、チャプタ終了位置、シーンチェンジ位置、編集位置等のどのタイプのマークであるかを示す情報を記録する。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)297は、マークが設定されたパケットの識別子を記録するフィールドである。
代表画像タイムスタンプ(representative_picture_time_samp)298は、マークを代表する画像のポイントを示すタイムスタンプ情報である。
デュレーション(duration)299は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。
従って、クリップAVストリームファイルとしてMMTフォーマットデータを記録する場合のクリップマーク(ClipMark)の記録データについて規定する必要がある。
マークタイムスタンプ(mark_time_stamp)296、
代表画像タイムスタンプ(representative_picture_time_samp)298、
これらの時間情報記録フィールドに、64ビットのNTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
次に、MMTフォーマットデータの全記録(フル記録)と、部分記録(パーシャル記録)について説明する。
例えば、図1に示す情報処理装置30は、図1に示す放送サーバ(放送局)21等の送信装置20から送信されるMMTフォーマットデータをBD、HD、あるいはフラッシュメモリ等の情報記録媒体(メディア)に記録する処理を実行する。
情報処理装置30は、このデータ記録に際して、MMTフォーマットデータを格納したクリップAVストリームファイルを生成することになる。例えば図10に示すMMTフォーマットデータ格納クリップAVストリームファイル71である。
以下に説明する例は、このように制御情報を含むクリップAVストリームファイルを生成する場合の処理例である。
(1.全記録(フル記録)処理)
受信するMMTフォーマットデータに含まれる画像、音声、字幕、さらに様々な制御情報、その他のアプリケーションを全てクリップAVストリームファイルに格納してメディアに記録する全記録(フル記録)処理。
(2.部分記録(パーシャル記録)処理)
受信するMMTフォーマットデータに含まれる画像、音声、字幕、さらに様々な制御情報、その他のアプリケーションの一部をクリップAVストリームファイルに格納してメディアに記録する部分記録(パーシャル記録)処理。
これら2通りのデータ記録処理が可能となる。
一方、部分記録(パーシャル記録)処理は、図41に示す記録データ領域Bに含まれる画像、音声、字幕、制御情報(MMT−SI)のみをクリップAVストリームファイルに格納してメディアに記録する処理である。
さらに、画像、音声、字幕、制御情報(MMT−SI)の一部のみをクリップAVストリームファイルに格納してメディアに記録する処理を行うことも可能である。
図42は、部分記録(パーシャル記録)処理の具体例のバリエーションについて説明する図である。
例えば、
(1)画像については、
少なくとも1本のビデオストリームを記録する。
(2)音声については、
(2a)少なくとも1本のオーディオストリームを記録する。
(2b)多言語分の複数のオーディオストリームを記録する。
(3a)最大2本までの字幕ストリームを記録する。
(3b)字幕ストリームの記録は行わない。
(4)制御情報(MMT−SI)については、
(4a)MPT(MMTパッケージテーブル(図18参照))のみ記録する。
(4b)記録画像、音声、字幕に応じて必要情報を選択して記録する。
例えば、このようにデータ種別に応じて記録データの選択処理が可能である。
(4a)MPT(MMTパッケージテーブル(図18参照))のみ記録する。
(4b)記録画像、音声、字幕に応じて必要情報を選択して記録する。
図43に示すMPTは、先に図18を参照して説明したように、MMTPパケットで送信されるシグナリング情報(MMT−SI)の一つである。
MMTパッケージテーブル(MPT)には、様々な制御情報や属性情が記録される。
制御情報の種類に応じた記述子が定義され、各定義された記述子ごとに制御情報や属性情報が記録される。
MPT記述子(MPT_descriptor)
アセット記述子(asset_descriptor)
これらの2通りの記述子がある。
MPT記述子の記録領域には、アセットタイプに関わらず、すべてのアセットに共通の制御情報や属性情報が記録される。
前述した全記録(フル記録)処理を行う場合は、これらのすべての記述子に関する制御情報をメディアに記録することになる。
選択記録する記述子の一例について、図44を参照して説明する。
(A)MPT記述子
(a1)MH−パレンタルレート記述子
(a2)コンテンツコピー制御記述子
(a3)コンテンツ利用制御記述子
(B)アセット記述子
(b1)MPUタイムスタンプ記述子
(b2)MPUタイムスタンプ拡張記述子
(b3)MH−MPEG−4オーディオ記述子
(b4)MH−MPEG−4オーディオ拡張記述子
(b5)MH−HEVCビデオ記述子
(b6)映像コンポーネント記述子
(b7)MH−ストリーム識別記述子
(b8)MH−音声コンポーネント記述子
(b9)MH−データ符号化方式記述子
以下、これらの記述子について説明する。
(a2)コンテンツコピー制御記述子は、コンテンツのコピー制御情報を示す記述子である。
(a3)コンテンツ利用制御記述子は、コンテンツの利用制御情報を示す記述子である。
(b2)MPUタイムスタンプ拡張記述子は、MPUのアクセスユニットの復号時刻を示す。
(b3)MH−MPEG−4オーディオ記述子は、ISO/IEC 14496−3(MPEG−4 オーディオ)のオーディオストリームの符号化パラメータを特定するための基本情報を記述する。
(b4)MH−MPEG−4オーディオ拡張記述子は、MPEG−4 オーディオストリームのプロファイルとレベル及び符号化方式固有の設定を記述する。
(b6)映像コンポーネント記述子は、は映像コンポーネントに関するパラメータ、説明を示し、エレメンタリストリームを文字形式で表現するためにも利用される。
(b9)MH−データ符号化方式記述子は、データ符号化方式を識別するために使用される。
情報記録媒体に記録する制御情報テーブルの記録態様について、図45を参照して説明する。
以下、核項目について説明する。
MPTに記述されたテーブルID(table_id)は、テーブルの識別子であり、(0x20)の固定値とする。
MPTモード(MPT_mode)は、MPTが複数のサブセットに分割されている場合の処理順の規定情報の記録領域である。この値は、サブセットの順番に従って処理を行うことを示す値(00)とする。
MMTパッケージIDバイト(MMT_packege_id_byte)は、パッケージIDであり、これはMPTに記録されたデータをそのまま記録する。
アセット数(number_of_assets)は、以下の領域に記録されるアセットの数であり、記録するアセットの数に一致する数値を記録する。
アセットIDスキーム(asset_id_scheme)は、アセットIDの形式であり、これはMPTに記録されたデータをそのまま記録する。
アセットID(asset_id_byte)は、アセットID記録領域であり、これはMPTに記録されたデータをそのまま記録する。
ロケーションカウント(location_count)は、アセットノロケーションの数であり、1に固定する。
ロケーション情報(MMT_general_location_info)はアセットのロケーション情報であり、これはMPTに記録されたデータをそのまま記録する。
このような記録処理を行うことで、送信装置20の提供する制御情報や属性情報を適用して、情報記録媒体に記録したデータの再生処理を行うことか可能となる。
次に、図46以下を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
さらに、このデータ記録処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等を記録する。
情報処理装置300は、情報記録媒体(記録メディア)320に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部301は、MMTフォーマットデータ331を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、MMTフォーマットデータ331を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
ユーザ入力部302は、例えば情報記録媒体320に対するデータ記録の開始要求等を入力する。
デマルチプレクサ(DeMUX)305は、MMTフォーマットデータ331から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV−SI,MMT−SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ生成部306の字幕データ生成部311、画像データ生成部312、音声データ生成部313、補助情報生成部314に入力する。
画像データ生成部312は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、画像データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
音声データ生成部313は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、音声データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
以下、図47のフローに示す各ステップの処理について、順次、説明する。
まず、情報処理装置300は、ステップS101において、データ入力部301を介して記録用データであるMMTフォーマットデータを入力する。
なお、この記録用データには画像データ、音声データ、字幕データ、さらに、通知情報や制御情報等を格納したシグナリング情報(TLV−SI,MMT−SI)等が含まれる。
次に、ステップS102において、情報処理装置300は、入力したMMTフォーマットデータのデマルチプレクス処理、すなわち、データ種類単位のデータ分離処理を行う。画像、音声、字幕、制御情報等の分離処理を実行する。
次に、ステップS103において、情報処理装置300は、ステップS102で分離した制御情報、例えばシグナリング情報(TLV−SI,MMT−SI)をメモリに格納する。
次に、ステップS104において、情報処理装置300は、ステップS102で分離した画像、音声、字幕核データの少なくともいずれかのデータの再エンコード処理を実行する。
なお、この処理は、情報記録媒体に記録するデータのエンコード態様を変更する場合に行う処理であり、受信データをそのまま記録する場合は、この再エンコード処理は不要である。
次に、ステップS105において、情報処理装置300は、ステップS103でのエンコード後のデータを含む画像、音声、字幕、さらに、再生制御情報等を含むデータの多重化処理を実行する。すなわち、クリップAVストリームファイルの生成処理を実行する。
なお、クリップAVストリームファイルに格納する再生制御情報は、例えば図40〜図45を参照して説明したMPT(MMTパッケージテーブル)から取得した情報等である。
次に、ステップS106において、情報処理装置300は、入力したMMTフォーマットデータの構成データを利用して、クリップ情報ファイルを生成する。
例えば、先に図23〜図39を参照して説明したクリップ情報ファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するクリップ情報ファイルを生成する。
次に、ステップS107において、情報処理装置300は、入力したMMTフォーマットデータの構成データを利用して、プレイリストファイルを生成する。
例えば、先に図11〜図22を参照して説明したプレイリストファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するプレイリストファイルを生成する。
なお、このステップS107のプレイリストファイル生成処理の詳細については、図49を参照して、後段で説明する。
次に、ステップS108において、情報処理装置300は、入力したMMTフォーマットデータを利用してその他のデータベースファイルを生成する。
次に、ステップS109において、情報処理装置300は、生成したAVストリームファイルとデータベースファイルを利用してBDAVフォーマットデータを生成する。
次に、ステップS110において、情報処理装置300は、ステップS109で生成したBDAVフォーマットデータを情報記録媒体(メディア)に記録する。
なお、図48に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるクリップ情報の生成シーケンスである。
図48に示すフローの各ステップの処理について、順次、説明する。
まず、ステップS121において、情報処理装置300は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
この処理は、先に図38を参照して説明した処理である。
RAPフラグ=1の設定されたMMTPパケットは、ランダムアクセスポイントを含むデータである。
次に、ステップS122において、情報処理装置300は、RAPフラグ=1の設定されたMMTPパケットのパケット位置と、時刻情報(NTP時間)との対応データからかるEPマップを生成する。
この処理は、先に図34〜図38を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。パケット位置情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
次に、ステップS123において、情報処理装置300は、クリップ情報ファイルのアプリケーションタイプ(Application_type)と、クリップストリームタイプ(Clip_stream_type)の値を[3]に設定する。
次に、ステップS124において、情報処理装置300は、クリップ情報ファイルの記録レート(recording_rate)、平均レート(average_rate)を記録する。
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらのデータ記録処理である。前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
次に、ステップS125において、情報処理装置300は、クリップ情報ファイルの構成データである、
クリップ情報(ClipInfo)、
シーケンス情報(SequenceInfo)、
プログラム情報(ProgramInfo)、
CPI情報(CPI)、
クリップマーク(ClipMark)、
これらの各データを生成する。
なお、これらの各データ生成処理において、再生対象データがMMTフォーマットデータである場合、例えば、時間情報としてはNTP時刻情報、パケット位置はストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数データを取得して記録する。
なお、制御対象がMPEG−2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のクリップ情報ファイル生成処理を行えばよい。
なお、図49に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるプレイリストの生成シーケンスである。
図49に示すフローの各ステップの処理について、順次、説明する。
まず、ステップS131において、情報処理装置300は、プレイリストファイルに記録するCPIタイプ(PL_CPI_type)の値を[3]に設定する。
図15の「(2)新たなCPIタイプ記録データ(MPEG−2TS対応データとMMT対応データを記録)」を参照して説明したように、
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
次に、ステップS132において、情報処理装置300は、プレイリストファイルに記録する各プレイアイテムの時間情報(IN_time,OUT_time)をNTP時間情報として記録する。
図17(2)の「(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)」に示すように、
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
次に、ステップS133において、情報処理装置300は、プレイリストファイルの構成データである、
プレイアイテム(PlayItem)、
プレイリストマーク(PlayListMark)、
これらの各データを生成する。
なお、制御対象がMPEG−2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のプレイリストファイル生成処理を行えばよい。
次に、図50以下を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
情報処理装置400は、図50に示す情報記録媒体(記録メディア)510に記録されたデータを読み取り、出力装置(表示部+スピーカ)520に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
なお、情報処理装置400は先に図46を参照して説明したデータ記録を行う情報処理装置300と同一の装置である場合もある。すなわち、データ記録再生の両機能を有する情報処理装置である。
出力データ生成部416は、字幕、画像、音声の各データを、入出力インタフェース407を介して出力装置(表示部+スピーカ)520に出力する。
MPEG−2TSフォーマットデータを格納したストリームファイルと、
MMTフォーマットデータを格納したストリームファイルを有する場合がある。
この場合、情報処理装置400は、BDAVフォーマットにおいて規定されたプレイリストファイルとクリップ情報ファイルを適用して、MPEG−2TSフォーマットデータを格納したストリームファイル、および、MMTフォーマットデータを格納したストリームファイルの再生処理を実行することになる。
以下、図51のフローに示す各ステップの処理について、順次、説明する。
まず、情報処理装置400の制御部401は、ステップS201において、例えばユーザの入力した再生データ指定情報に従い、指定された再生データ対応の再生制御情報を格納したプレイリストファイルを情報記録媒体(メディア)から読み取る。
次に、情報処理装置400の制御部401は、ステップS202において、プレイリストファイルに記録されたPL_CPIタイプ(PL_CPI_type)を読み出す。
先に図11〜図15を参照して説明したように、PL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
なお、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG−2TS対応のTUマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
このように、PL_CPIタイプ(PL_CPI_type)=1〜3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
次に、情報処理装置400の制御部401は、ステップS203において、ステップS202で読み出したPL_CPIタイプ(PL_CPI_type)の設定値が[3]であるか否かを判定する。
すなわち、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであるか否かを判定する。
一方、PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS203の判定がNoとなり、ステップS204に進む。
PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS204の処理を実行する。
PL_CPIタイプが3以外の場合、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが1または2であり、再生対象データがMPEG−2TSフォーマットデータである。
この場合、情報処理装置400は、従来の再生処理手法を適用して、MPEG−2TSフォーマットデータの再生処理を実行する。
一方、PL_CPIタイプ(PL_CPI_type)が3の場合は、ステップS205において、このプレイリストファイルによる再生対象データがMMTフォーマットデータであると判定する。
次に、情報処理装置400は、ステップS206において、MMTフォーマットデータ対応のプレイリストとクリップ情報ファイルを適用してMMTフォーマットデータの格納されたクリップ情報ファイルの格納データの再生処理を実行する。
図52に示すフローチャートの各ステップの処理について説明する。
まず、情報処理装置400は、ステップS211において、ランダムアクセス再生に適用するプレイリストのプレイアイテム情報から、クリップ情報ファイル名(Clip_information_file_name)を読み取る。
次に、情報処理装置400は、ステップS212において、ステップS211でプレイリストファイルから読み取ったクリップ情報ファイル名(Clip_information_file_name)を有するクリップ情報ファイルを情報記録媒体(メディア)から読み取る。
次に、情報処理装置400は、ステップS213において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生に適用するクロック情報であるATC,STCを特定する。なお、これらの時間情報は、再生対象データがMMTフォーマットデータである場合、NTP時間情報として記録されている。
ATC(アライバルタイムクロック)と、STC(システムタイムクロック)については、先に図28を参照して説明した通りであり、データ再生に適用されるクロック情報である。
次に、情報処理装置400は、ステップS214において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生開始位置(SPN_STC_Start)と、再生開始時間(presentation_start_time)を取得する。
次に、情報処理装置400は、ステップS215において、クリップ情報ファイルのクリップ情報(ClipInfo)に記録された記録レート(recording_rate)に従って、クリップAVストリームファイルに格納されたMMTフォーマットデータを読み取る。
なお、図24では、記録レート情報として、TS_recording_rateと記載されているが、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートがここに記録されている。
次に、情報処理装置400は、ステップS216において、情報記録媒体(メディア)から読み出したクリップAVストリームファイルに格納されたMMTフォーマットデータのデマルチプレクス処理、デコード処理、再生処理を実行する。
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図53を参照して説明する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイル、およびクリップ情報ファイルを生成する(1)に記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルとして生成したプレイリストファイル、およびクリップ情報ファイルに、MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子を記録する(2)に記載の情報処理装置。
MMTフォーマットデータに併せて受信するシグナリング情報を適用して、前記MMTフォーマット対応再生制御情報ファイルの記録データを取得、または生成する(1)〜(3)いずれかに記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルに記録する時間情報として、前記MMTフォーマットデータに併せて受信するNTP(ネットワークタイムプロトコル)時間情報を記録する(1)〜(4)いずれかに記載の情報処理装置。
前記NTP(ネットワークタイムプロトコル)時間情報を、
前記MMTフォーマットデータに併せて受信するMPT(MMTパッケージテーブル)から取得する(5)に記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルに記録するデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を算出して記録する(1)〜(6)いずれかに記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイルを生成し、
前記プレイリストファイルに記録するCPIタイプ識別子として、MMTフォーマットデータ対応のEPマップを利用するタイプを示す識別子を記録する(1)〜(7)いずれかに記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルとしてクリップ情報ファイルを生成し、
前記クリップ情報ファイルに対する記録データとして、ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを生成する構成であり、
前記再生時間情報を、NTP(ネットワークタイムプロトコル)時間情報とし、
前記再生位置情報を、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報としたEPマップを生成する(1)〜(8)いずれかに記載の情報処理装置。
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルであるプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する(10)に記載の情報処理装置。
MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子が記録されているプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する(10)または(11)に記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルに記録されたNTP(ネットワークタイムプロトコル)時間情報を利用して再生制御を実行する(10)〜(12)いずれかに記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルに記録されたデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を利用して再生制御を実行する(10)〜(13)いずれかに記載の情報処理装置。
MMTフォーマットデータ対応のEPマップを利用するタイプであることを示すCPIタイプ識別子が記録されたMMTフォーマット対応プレイリストファイルを適用して再生制御を実行する(10)〜(14)いずれかに記載の情報処理装置。
前記MMTフォーマット対応再生制御情報ファイルであるMMTフォーマット対応クリップ情報ファイルを利用して再生制御を実行する構成であり、
前記MMTフォーマット対応クリップ情報ファイルは、
ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを記録した構成であり、
前記EPマップは、
NTP(ネットワークタイムプロトコル)時間情報と、
MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報との対応データからなるEPマップである(10)〜(15)いずれかに記載の情報処理装置。
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理方法。
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理方法。
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成させ、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成させるプログラム。
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行させるプログラム。
具体的には、放送波等を介して入力するMMT(MPEG Media Transport)フォーマットデータを入力し、BDAVフォーマット、またはSPAVフォーマットに従った記録データを生成する。データ処理部は、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、さらに、MMTフォーマットストリームファイルの再生制御情報を格納したプレイリストファイル、およびクリップ情報ファイルを生成する。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
21 放送サーバ
22 データ配信サーバ
30 情報処理装置
31 BDプレーヤ
32 TV
33 PC
34 携帯端末
40 情報記録媒体(メディア)
41 BD
42 HDD
43 フラッシュメモリ
300 情報処理装置
301 データ入力部
302 ユーザ入力部
303 制御部
304 記憶部
305 デマルチプレクサ
306 記録データ生成部
307 記録部
308 ドライブ
311 字幕データ生成部
312 画像データ生成部
313 音声データ生成部
314 補助情報生成部
315 マルチプレクサ
316 データベースファイル生成部
320 情報記録媒体
400 情報処理装置
401 制御部
402 ユーザ入力部
403 ドライブ
404 記録再生部
405 記憶部
406 再生処理部
407 入出力I/F
411 デマルチプレクサ
412 字幕データ生成部
413 画像データ生成部
414 音声データ生成部
415 補助情報生成部
416 出力データ生成部
510 情報記録媒体
520 出力装置(表示部+スピーカ)
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
Claims (20)
- MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイル、およびクリップ情報ファイルを生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとして生成したプレイリストファイル、およびクリップ情報ファイルに、MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子を記録する請求項2に記載の情報処理装置。 - 前記データ処理部は、
MMTフォーマットデータに併せて受信するシグナリング情報を適用して、前記MMTフォーマット対応再生制御情報ファイルの記録データを取得、または生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録する時間情報として、前記MMTフォーマットデータに併せて受信するNTP(ネットワークタイムプロトコル)時間情報を記録する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記NTP(ネットワークタイムプロトコル)時間情報を、
前記MMTフォーマットデータに併せて受信するMPT(MMTパッケージテーブル)から取得する請求項5に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録するデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を算出して記録する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとしてプレイリストファイルを生成し、
前記プレイリストファイルに記録するCPIタイプ識別子として、MMTフォーマットデータ対応のEPマップを利用するタイプを示す識別子を記録する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルとしてクリップ情報ファイルを生成し、
前記クリップ情報ファイルに対する記録データとして、ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを生成する構成であり、
前記再生時間情報を、NTP(ネットワークタイムプロトコル)時間情報とし、
前記再生位置情報を、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報としたEPマップを生成する請求項1に記載の情報処理装置。 - 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルであるプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する請求項10に記載の情報処理装置。 - 前記データ処理部は、
MMTフォーマットデータ対応の制御情報ファイルであることを示す識別子が記録されているプレイリストファイル、およびクリップ情報ファイルを適用して再生制御を実行する請求項10に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録されたNTP(ネットワークタイムプロトコル)時間情報を利用して再生制御を実行する請求項10に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルに記録されたデータ位置情報として、MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報を利用して再生制御を実行する請求項10に記載の情報処理装置。 - 前記データ処理部は、
MMTフォーマットデータ対応のEPマップを利用するタイプであることを示すCPIタイプ識別子が記録されたMMTフォーマット対応プレイリストファイルを適用して再生制御を実行する請求項10に記載の情報処理装置。 - 前記データ処理部は、
前記MMTフォーマット対応再生制御情報ファイルであるMMTフォーマット対応クリップ情報ファイルを利用して再生制御を実行する構成であり、
前記MMTフォーマット対応クリップ情報ファイルは、
ランダムアクセスポイントの再生時間情報と再生位置情報との対応データからなるEPマップを記録した構成であり、
前記EPマップは、
NTP(ネットワークタイムプロトコル)時間情報と、
MMTフォーマットで規定するMMTPパケットの先頭位置からのバイト情報との対応データからなるEPマップである請求項10に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成し、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成する情報処理方法。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルを生成させ、
さらに、前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを生成させるプログラム。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納したMMTフォーマット対応再生制御情報ファイルを適用して再生制御を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016175899 | 2016-09-08 | ||
JP2016175899 | 2016-09-08 | ||
PCT/JP2017/028554 WO2018047558A1 (ja) | 2016-09-08 | 2017-08-07 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018047558A1 true JPWO2018047558A1 (ja) | 2019-06-24 |
JP7056566B2 JP7056566B2 (ja) | 2022-04-19 |
Family
ID=61562815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018538315A Active JP7056566B2 (ja) | 2016-09-08 | 2017-08-07 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11259074B2 (ja) |
EP (1) | EP3511939A4 (ja) |
JP (1) | JP7056566B2 (ja) |
CN (1) | CN109690674B (ja) |
WO (1) | WO2018047558A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3633981A4 (en) * | 2017-05-31 | 2020-05-06 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM |
KR20200107616A (ko) * | 2019-03-08 | 2020-09-16 | 삼성전자주식회사 | 방송 수신 장치 및 그 동작방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011023071A (ja) * | 2009-07-15 | 2011-02-03 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP2012018728A (ja) * | 2010-07-08 | 2012-01-26 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP2012059350A (ja) * | 2005-05-23 | 2012-03-22 | Panasonic Corp | 再生装置、データ処理方法、データ処理プログラム及び集積回路 |
JP2015023574A (ja) * | 2013-07-22 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 蓄積方法、再生方法、蓄積装置、および再生装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050196146A1 (en) * | 2004-02-10 | 2005-09-08 | Yoo Jea Y. | Method for reproducing text subtitle and text subtitle decoding system |
JPWO2006121049A1 (ja) | 2005-05-10 | 2008-12-18 | 松下電器産業株式会社 | データ処理装置 |
KR101572874B1 (ko) * | 2007-08-24 | 2015-11-30 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
EP2360935A4 (en) * | 2008-09-30 | 2012-06-20 | Panasonic Corp | REPRODUCTION DEVICE, RECORDING MEDIUM, AND INTEGRATED CIRCUIT |
US20120036277A1 (en) * | 2009-03-16 | 2012-02-09 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Modified Stream Synchronization |
TW201205314A (en) * | 2010-07-16 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Method for seeking a document position and a corresponding electronic device |
FR3005820B1 (fr) * | 2013-05-17 | 2015-05-29 | Envivio France | Procede de gestion de listes de lecture personnalisees du type comprenant un gabarit d'uri et une liste d'identifiants de segments. |
JP6505413B2 (ja) * | 2013-11-08 | 2019-04-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 送信方法、受信方法、送信装置、及び受信装置 |
JP2016103745A (ja) * | 2014-11-28 | 2016-06-02 | ソニー株式会社 | 送信装置及び送信方法、並びに、受信装置並びに受信方法 |
-
2017
- 2017-08-07 JP JP2018538315A patent/JP7056566B2/ja active Active
- 2017-08-07 CN CN201780054241.6A patent/CN109690674B/zh not_active Expired - Fee Related
- 2017-08-07 US US16/323,318 patent/US11259074B2/en active Active
- 2017-08-07 EP EP17848502.5A patent/EP3511939A4/en not_active Ceased
- 2017-08-07 WO PCT/JP2017/028554 patent/WO2018047558A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012059350A (ja) * | 2005-05-23 | 2012-03-22 | Panasonic Corp | 再生装置、データ処理方法、データ処理プログラム及び集積回路 |
JP2011023071A (ja) * | 2009-07-15 | 2011-02-03 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP2012018728A (ja) * | 2010-07-08 | 2012-01-26 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
JP2015023574A (ja) * | 2013-07-22 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 蓄積方法、再生方法、蓄積装置、および再生装置 |
Also Published As
Publication number | Publication date |
---|---|
US11259074B2 (en) | 2022-02-22 |
JP7056566B2 (ja) | 2022-04-19 |
EP3511939A1 (en) | 2019-07-17 |
US20210289254A1 (en) | 2021-09-16 |
WO2018047558A1 (ja) | 2018-03-15 |
CN109690674B (zh) | 2021-05-11 |
EP3511939A4 (en) | 2019-07-17 |
CN109690674A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7843994B2 (en) | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus | |
JP7031589B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
KR102344751B1 (ko) | 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램 | |
JP7056566B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7070432B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7147755B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
WO2017199743A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
CN110462735B (zh) | 信息处理设备、信息记录介质、信息处理方法和程序 | |
JP7070433B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070564B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220321 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7056566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |