JP7014157B2 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP7014157B2 JP7014157B2 JP2018518205A JP2018518205A JP7014157B2 JP 7014157 B2 JP7014157 B2 JP 7014157B2 JP 2018518205 A JP2018518205 A JP 2018518205A JP 2018518205 A JP2018518205 A JP 2018518205A JP 7014157 B2 JP7014157 B2 JP 7014157B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- image
- reproduction
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 138
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims description 136
- 238000000034 method Methods 0.000 description 134
- 238000006243 chemical reaction Methods 0.000 description 31
- 230000000750 progressive effect Effects 0.000 description 28
- VKALYYFVKBXHTF-UHFFFAOYSA-N 4-(methylsulfanyl)-m-cresol Chemical compound CSC1=CC=C(O)C=C1C VKALYYFVKBXHTF-UHFFFAOYSA-N 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 239000012634 fragment Substances 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
MMTフォーマットは、例えば1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の記録、転送、再生を可能としたフォーマットとして規定されている。
なお、プログレッシブ画像とは、プログレッシブ方式に従った出力処理が実行される画像である。
上記記載[120p]の120は、120フレーム/秒のフレームレートを意味しpは、プログレッシブ画像であることを意味する。以下の説明においても同様である。
これらの情報記録媒体で利用される現行のデータフォーマットとして、MPEG-2TSフォーマットがある。
なお、BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理装置にある。
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部は、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理装置にある。
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した情報記録媒体であり、
前記再生制御情報は、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)が設定され、
情報記録媒体からの画像再生を実行する再生装置が、
前記再生制御情報から読み出したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させることを可能とした情報記録媒体にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部が、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記プログラムは、前記データ処理部に、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得させ、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させるプログラム。
具体的には、MMTフォーマットに従ったメインストリームと、サブストリームを異なるパケット識別子(PID)の設定パケットに格納して、PIDに基づくストリーム単位の選択再生を可能としたMPEG-2TSフォーマットデータを記録媒体に記録する。再生装置は、再生制御情報から、ストリーム対応のパケット識別子(PID)を取得し、取得PIDを利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する。
本構成により、MMTフォーマットに従った高フレームレート画像をMPEG-2TSフォーマットとして記録し、再生可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.MMTフォーマットと、MPEG-2TSフォーマットについて
2.MMTフォーマットデータを利用した様々なフレームレートの画像データ格納構成と再生処理例について
3.MMTフォーマットデータからMPEG-2TSフォーマットデータへのフォーマット変換処理について
4.情報記録媒体の記録データ構成と再生処理の概要について
5.プレイリストファイルに対する高フレームレート画像関連画像情報の記録例について
6.クリップ情報ファイルに対する高フレームレート画像関連画像情報の記録例について
6-1.ストリームコーディング情報[StreamCodingInfo]記録領域を利用した高フレームレート画像関連画像情報記録例
6-2.グループ内ストリーム数[num_of streams_in_groups]と、ストリームインデックス参照情報[ref_to_stream_index]記録領域を利用した高フレームレート画像関連画像情報記録例
7.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
8.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
9.情報処理装置の構成例について
10.本開示の構成のまとめ
図1、図2を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の記録、転送、再生を可能としたフォーマットとして規定されている。
最下段に示す図1(a)は、MMTフォーマットデータの全体構成を示す図である。
図1(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTペイロード)により、構成される。
MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
最下段に示す図2(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
図2(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
レメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
次に、図3以下を参照して、MMTフォーマットデータを利用した様々なフレームレートの画像データ格納構成と再生処理例について説明する。
図3に示す画像データの格納例は、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データをMMTフォーマットデータとして格納した例である。
この120pビデオストリームは、1フレームごと交互に、
(a)メインストリーム構成フレーム、
(b)サブストリーム構成フレーム、
これらの2つのストリーム構成フレームが交互に設定されている。
なお、この画像データは、例えばHEVC(MPEG-4HEVC)符号化処理が施されてMMTフォーマットデータ中に格納される。
一方、(b)サブストリーム構成フレームを再生せず、(a)メインストリーム構成フレームのみを選択再生することで、1秒間に60フレームの低フレームレートのプログレッシブ画像(60p画像)の再生が可能となる。
60p画像の再生、表示可能な現行装置は、メインストリームのみを選択して再生、表示することで、60p画像を再生表示することができる
(2a)メインストリーム対応のMFU(メディアフラグメントユニット)
(2b)サブストリーム対応のMFU(メディアフラグメントユニット)
これら2つのストリーム対応のMFU群が生成される。
(2a)メインストリーム対応のMFU(メディアフラグメントユニット)
(2b)サブストリーム対応のMFU(メディアフラグメントユニット)
これら2つのストリーム対応のMFU群に格納されたデータを複数のMMTPパケットに格納したデータとなる。
一方、サブストリームデータを格納したMMTPパケットのMMTヘッダには、サブストリーム対応のパケット識別子(例えば、ID2)が格納される。
図4(1)は、図3(1)に示すと同様のビデオストリーム構成データである。すなわち、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データである。
この120pビデオストリームは、1フレームごと交互に、
(a)メインストリーム構成フレーム、
(b)サブストリーム構成フレーム、
これらの2つのストリーム構成フレームが交互に設定されている。
120p画像対応表示装置10は、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)を再生、表示可能な表示装置(テレビ)である。
この120p画像対応表示装置10は、(a)メインストリーム構成フレームと、(b)サブストリーム構成フレームの全フレームを再生表示し、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の再生表示を行う。
60p画像対応表示装置20は、1秒間に60フレームの低フレームレートのプログレッシブ画像(60p画像)のみ、再生、表示可能な表示装置(テレビ)である。
この60p画像対応表示装置20は、(a)メインストリーム構成フレームのみを選択して再生表示することで、1秒間に60フレームの低フレームレートのプログレッシブ画像(60p画像)の再生表示を行う。
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の記録、転送、再生を可能としたフォーマットとして規定されている。
しかし、このMPEG-2TSフォーマットは、MMTフォーマットにおいて許容される120f/s(フレーム/秒)等の高フレームレート画像の記録再生を可能としたフォーマットではない。
再生装置において再生可能とするためには、MMTフォーマットデータ40を、MPEG-2TSフォーマットデータ60に変換して情報記録媒体70に記録することが必要となる。
以下、このフォーマット変換処理の具体例について、図6以下を参照して説明する。
図6(1)~(3b)の各図は、以下のデータ例を示している。
(1)MMTフォーマットデータ
(2a)メインMFU(=メインストリームを格納したMFU)
(2b)サブMFU(=サブストリームを格納したMFU)
(3a)メインMPU(=メインストリームを格納したMPU)
(3b)サブMPU(=サブストリームを格納したMPU)
1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データを、このMMTフォーマットデータに格納する場合、各MMTPパケットは、以下の2種類のパケットに区分できる。
(a)120pと60p画像再生の双方に利用可能なメインストリーム構成フレーム対応の画像データを格納したメインストリーム対応MMTPパケット[MMTP packet()120p(60p)]、
(b)120p画像再生のみに適用されるサブストリーム構成フレーム対応の画像データを格納したサブストリーム対応MMTPパケット[MMTP packet()120p]、
なお、上記(a),(b)2種類のMMTPパケットの各々には、メインストリームと、サブストリームのいずれのストリーム対応の画像データを格納したパケットであるかを識別可能なパケット識別子を含むヘッダが設定されている。
(2a)メインMFU(メインストリーム対応のMFU(メディアフラグメントユニット))
(2b)サブMFU(サブストリーム対応のMFU(メディアフラグメントユニット))
これら2つのストリーム対応のMFU群に分割可能となる。
(3a)メインMPU(メディアプレゼンテーションユニット)
として区分可能である。
ヘッダ部には、ペイロード部に格納された画像データに関する属性情報等が格納される。
ペイロード部には、画像圧縮データが格納される。メインMPUのペイロードには、120p画像再生、および60p画像再生のいずれにも利用されるメイン画像ストリーム構成データの符号化(圧縮)データ(HEVC符号化データ)が格納される。
(3b)サブMPU(メディアプレゼンテーションユニット)
として区分可能となる。
以下、各ステップの処理について説明する。
情報処理装置50は、まず、図6に示すステップS01の処理を実行する。
図6には、メインストリーム、サブストリームの2つのストリーム対応の処理ステップ(S01a),(S01b)を示している。
情報処理装置50は、メインストリーム構成画像データを格納したメインMPUから、メインストリーム対応の画像データを取得し、所定単位のデータ、例えば、1アクセスユニット、具体的には、例えば1ピクチャごとにMPEG-2TSフォーマットにおいて規定されるPESパケット(メイン対応PESパケット)を生成する。
情報処理装置50は、サブストリーム構成画像データを格納したサブMPUから、サブストリーム対応の画像データを取得し、所定単位のデータ、例えば、1アクセスユニット、具体的には、例えば1ピクチャごとにMPEG-2TSフォーマットにおいて規定されるPESパケット(サブ対応PESパケット)を生成する。
1つのPESパケットのPESペイロードとして、メインMPUから取り出した例えば1ピクチャ単位のデータを格納し、その属性情報を、PESヘッダに記録する。
これらの情報は、MMTフォーマットデータのMPUヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、MPUヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
次に、図7を参照して、情報処理装置50の実行するステップS02の処理について説明する。
なお、図7には、図6を参照して説明したステップS01の処理も示している。
先に図2を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
一方、ステップS02bは、サブストリーム画像データを格納したサブ対応PESパケットに対する処理であり、サブ対応PESパケットの格納データを用いてサブ対応TSパケットを生成する。
TSペイロードには、画像データ(HEVC符号化データ)を格納し、TSヘッダには、TSペイロードに格納した画像データに関する情報が記録される。
具体的には、TSヘッダには、TSペイロードの格納データがメインストリーム対応の画像データであるか、サブストリーム対応の画像データであるかを識別可能としたストリーム対応のパケット識別子(PID)の他、再生処理等において必要となる属性情報を記録する。
これらの情報は、PESヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、PESヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
ステップS02a,S02bにおいて、各ストリーム対応のTSパケット、すなわち、
(a)メイン対応TSパケット列
(b)サブ対応TSパケット列
これらのストリーム別TSパケット列の生成が完了すると、次に、これら2種類のストリーム対応TSパケット列を1つのTSパケット列にまとめる処理を行なう。
図7(6)に示すメインサブ対応TSパケットである。
ただし、TSパケットは188バイト固定長であり、MMTPパケットはパケットサイズが固定されておらず、データ配列順を完全に一致させることが困難となる場合が発生する可能性がある。この場合は、ダミーデータの記録による調整を行なう。あるいは、多少のずれの発生を許容した配列処理を実行してもよい。
すなわち、図6(1)に示すMMTPパケット列から構成されるMMTフォーマットデータを図7(6)に示すTSパケット列から構成されるMPEG-2TSフォーマットデータに変換する。
この情報記録媒体に記録されたMPEG-2TSフォーマットデータは、MPEG-2TSフォーマットデータの再生プログラムを持つ一般的なBDプレーヤ等によって再生することが可能となる。
なお、具体的な再生処理例については、後段で説明する。
このような再生装置や表示装置において利用する画像データは、メインストリーム画像のみとなる。
図8、図9を参照して、このフォーマット変換処理シーケンスについて説明する。
このMMTフォーマットデータから、メインストリーム画像を格納したMMTPパケットを選択抽出する。
この選択抽出は、MMTPバケットのヘッダ情報に基づいて実行することができる。
図8(2)メインMFU群は、例えば1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する画像データを格納した、
(3)メインMPU(メディアプレゼンテーションユニット)
として区分可能となる。
ヘッダ部には、ペイロード部に格納された画像データに関する属性情報等が格納される。
ペイロード部には、画像圧縮データが格納される。メインMPUのペイロードには、120p画像再生、および60p画像再生のいずれにも利用されるメイン画像ストリーム構成データの符号化(圧縮)データ(HEVC符号化データ)が格納される。
以下、各ステップの処理について説明する。
情報処理装置50は、まず、図8に示すステップS11の処理を実行する。
ステップS11は、メインストリーム画像データを格納したメインMPUに対する処理であり、以下の処理を実行する。
情報処理装置50は、メインストリーム構成画像データを格納したメインMPUから、メインストリーム対応の画像データを取得し、所定単位のデータ、例えば、1アクセスユニット、具体的には、例えば1ピクチャごとにMPEG-2TSフォーマットにおいて規定されるPESパケット(メイン対応PESパケット)を生成する。
1つのPESパケットのPESペイロードとして、メインMPUから取り出した例えば1ピクチャ単位のデータを格納し、その属性情報を、PESヘッダに記録する。
これらの情報は、MMTフォーマットデータのMPUヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、MPUヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
次に、図9を参照して、情報処理装置50の実行するステップS12の処理について説明する。
なお、図9には、図8を参照して説明したステップS11の処理も示している。
先に図2を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
TSペイロードには、画像データ(HEVC符号化データ)を格納し、TSヘッダには、TSペイロードに格納した画像データに関する情報が記録される。
具体的には、TSペイロードの格納データが、メインストリーム対応の画像データであるか、サブストリーム対応の画像データであるかを識別可能とした識別子(PID)の他、再生処理等において必要となる属性情報等である。
これらの情報は、PESヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、PESヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
この情報記録媒体に記録されたMPEG-2TSフォーマットデータは、60p画像として再生可能なメインストリーム画像データのみを有するMPEG-2TSフォーマットデータである。
MPEG-2TSフォーマットデータの再生プログラムを持つ一般的なBDプレーヤによって再生することで60p画像の再生が可能となる。
なお、具体的な再生処理例については、後段で説明する。
次に、図10以下を参照して、情報記録媒体の記録データ構成と、情報記録媒体からのデータ再生処理の概要について説明する。
情報記録媒体とは、例えば、BD(Blu-ray(登録商標) Disc)やフラッシュメモリ等である。
ディレクトリには、図10に示すように様々な管理情報、再生制御情報、再生対象データの格納ファィルが設定される。
再生対象データは、MPEG-2TSフォーマットに従って記録されたデータである。
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
例えば、これらのファイルが記録される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データを格納したパケット(TSパケット)によって構成され、MPEG-2TSフォーマットデータである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのファイルがある。
インデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルは、クリップAVストリームファイルに格納された再生対象データの再生処理に適用する様々なデータを格納したファイルであり、クリップAVストリームファイルに格納されたデータの属性情報等を記録することができる。
図12は、プレイリストファイル、クリップ情報ファイルに対する格納する画像情報、すなわち高フレームレート画像関連画像情報の具体例を説明する図である。
「プレイリストによる再生対象データに高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
「クリップ情報ファイルに対応付けられた再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
まず、図13以下を参照してプレイリストファイルに対する高フレームレート画像関連画像情報の記録例について説明する。
「プレイリストの再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録される。
プレイリストファイルには、図13に示すように、様々な拡張データを記録可能な拡張データ記録領域[ExtensionData()]121が設定される。
本実施例では、プレイリストファイルにおける高フレームレート画像関連画像情報格納領域を示す拡張データ識別子として未定義の以下の識別子、
ID1=0x0004
ID2=0x0001
この拡張データ識別子を利用する。
この識別情報に対応付けられた拡張データ記録領域に高フレームレート画像関連画像情報、すなわち、例えば以下の画像情報を記録する。
「プレイリストの再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
ID1=0x0004
ID2=0x0001
これらのID設定は、一例であり、この他のIDを高フレームレート画像関連画像情報の記録領域を示すIDとして利用する構成も可能である。
図14に示すように、プレイリストファイルの拡張データ記録領域121には、拡張データ識別子(ID)記録領域122と、データブロック(data_block)123が設定される。
この拡張データ識別子(ID)記録領域122の後に高フレームレート画像関連画像情報の記録領域であるデータブロック(data_block)123が設定される。
図15は、図14に示すデータブロック(data_block)123の詳細構成を示す図である。すなわち、プレイリストファイルに記録される高フレームレート画像関連画像情報の具体的なデータ例を示している。
(1)データ長(length)124、
(2)ストリームパケット識別子(streamPID)125、
以下、これらの各情報について、順次、説明する。
データ長(length)124には、この拡張データ記録領域、すなわち、拡張データ識別子(ID1=0x0004,ID2=0x0001)によって区分された高フレームレート画像関連画像情報としてのHEVCビデオ情報記録領域のデータ長(バイト数)が記録される。
ストリームパケット識別子(streamPID)記録フィールドには、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDが記録される。
120p画像再生を実行できない再生装置、すなわち、60p画像再生を行なう再生装置は、この記録フィールドに記録されたPIDに基づいて、サブストリーム画像データの格納パケットを判別し、サブトリーム画像格納パケットからの画像データ取得処理を行なわず、その他のメインストリーム画像格納パケットのみから画像データを取得することで、メインストリーム画像のみの画像再生、すなわち60p画像再生を行なうことが可能となる。
次に、図16以下を参照してクリップ情報ファイルに対する高フレームレート画像関連画像情報の記録例について説明する。
「クリップ情報ファイルに対応付けられた再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
クリップ情報ファイルには、そのクリップ情報に対応付けられた再生データに関する情報が記録される。
クリップ情報ファイルには、図16に示すように、このクリップ情報に対応付けられた再生データに関する情報として、例えば、以下の各情報が記録される。
クリップ情報[ClipInfo()]、
シーケンス情報[SequenceInfo()]、
プログラム情報[ProgramInfo()]、
シーケンス情報[SequenceInfo()]は、このクリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
プログラム情報[ProgramInfo()]の記録情報について、図17以下を参照して説明する。
プログラム情報[ProgramInfo()]は、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program_sequence)に関する情報を記録する。
(a)プログラムシーケンス数[num_of_program_sequences]131には、クリップ情報ファイルに含まれるプログラムシーケンス(program_sequence)の数が記録される。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]132には、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスが記録される。
(c)プログラムマップPID[program_map_PID[i]]133には、プログラムシーケンス(program_sequence)のマップが格納されているTSパケットの識別子(PID)が記録される。
なお、例えば、プログラムシーケンスが60p画像再生に利用されるプログラムシーケンスである場合、このパケット識別子(PID)は、例えば60p画像再生に適用されるメインストリームを格納したTSパケットのパケット識別子である。
(f)グループ内ストリーム数[num_of streams_in_groups]136には、再生対象データグループに含まれるストリーム数が記録される。
(g)ストリームインデックス参照情報[ref_to_stream_index]137には、再生対象データグループに含まれるストリームの属性情報が記録される。
上記(a)~(g)の各情報記録領域中、以下の情報記録領域を利用して記録される高フレームレート画像関連情報の例について、図18以下を参照して説明する。
(e)ストリームコーディング情報[StreamCodingInfo]135
(f)グループ内ストリーム数[num_of streams_in_groups]136
(g)ストリームインデックス参照情報[ref_to_stream_index]137
以下、これらの情報記録領域に対する高フレームレート画像関連画像情報の具体的な記録例について説明する。
まず、図18、図19を参照して、ストリームコーディング情報[StreamCodingInfo]を利用した高フレームレート画像関連画像情報の具体的な記録例について説明する。
ストリームコーディング情報[StreamCodingInfo]には、以下のデータが記録される。
(a)ストリームコーディングタイプ[stream_coding_type]141、
(b)ビデオ対応ストリームコーディングタイプ識別子[stream_coding_type=xxxx]142、
(c)ビデオストリーム情報143、
(d)オーディオ対応ストリームコーディングタイプ識別子[stream_coding_type=xxxx]144、
(e)オーディオストリーム情報145、
ビデオストリームに関する情報としては、ビデオストリーム情報143中に示すように、例えば以下の各情報をストリーム単位で記録することができる。
(1)ビデオフォーマット(video_format)
(2)フレームレート(frame_rate)、
(3)アスペクト比(aspect_ratio)、
図19には、ストリームコーディング情報[StreamCodingInfo]として、ビデオストリームに関する以下の情報記録例を示す。
(A)ビデオフォーマット(video_format)情報記録例
(B)フレームレート(frame_rate)情報記録例
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
(3)記録ビット値[9(1001)]:意味[120f/s]
(4)記録ビット値[10(1010)]:意味[120f/s]
記録ビット値[8(1000)](=意味[60f/s])
上記情報を記録する。
さらに、サブストリームに関するフレームレート情報として、
記録ビット値[9(1001)](=意味[120f/s])
上記情報を記録する。
例えば、60p画像の再生処理のみ可能な再生装置は、図19に示すフレームレート情報から、
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
上記のような、60f/sのフレームレート情報が記録されたストリームのみを選択して再生する。
この再生処理により、60p画像のメインストリーム選択再生が可能となる。
この再生処理により、メインストリームとサブストリームを併せた120p画像再生が可能となる。
次に、図20を参照して、グループ内ストリーム数[num_of streams_in_groups]と、ストリームインデックス参照情報[ref_to_stream_index]記録領域を利用した高フレームレート画像関連画像情報の具体的な記録例について説明する。
グループ内ストリーム数[num_of streams_in_groups]136には、再生対象データグループに含まれるストリーム数が記録される。
ストリームインデックス参照情報[ref_to_stream_index]137には、再生対象データグループに含まれるストリームの属性情報が記録される。
グループ内ストリーム数[num_of streams_in_groups]、
ストリームインデックス参照情報[ref_to_stream_index]、
これは、
メインストリーム
サブストリーム、
これらの2つのストリームが、このクリップ情報ファイルに対応付けられたストリームであることを意味する。
60p画像再生用のメインストリーム情報152、
120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153、
これらのストリームインデックス参照情報が記録される。
group1 (60Hz)
stream_index=60Hzのビデオ
stream_index=audio1(たとえば日本語)
stream_index=audio2(たとえば英語)
60Hz(60f/s)対応のビデオ、
音声データとして、日本語音声と英語音声
これらのデータを含むことを示すものである。
すなわち、
stream_index=60Hzのビデオ
上記情報中には、60p画像再生と、120p画像再生の双方に利用されるメインストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
group2 (120Hz)
stream_index=60Hzのビデオ
stream_index=120Hzのビデオ
stream_index=audio1(たとえば日本語)
stream_index=audio2 (たとえば英語)
60Hz(60f/s)対応のビデオ、
120Hz(120f/s)対応のビデオ、
音声データとして、日本語音声と英語音声
これらのデータを含むことを示すものである。
すなわち、
stream_index=60Hzのビデオ
上記情報中には、60p画像再生と、120p画像再生の双方に利用されるメインストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
さらに、
stream_index=120Hzのビデオ
上記情報中には、120p画像再生に利用されるメインストリーム画像を格納したTSパケット、およびサブストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
次に、図21、図22を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
さらに、このフォーマット変換に伴い、プレイリスト、あるいはクリップ情報ファイルの少なくともいずれかのデータベースファイルに、クリップAVストリームファイルに高フレームレート画像が記録されていることを示す情報や、60P画像の再生処理、あるいは120p画像の再生処理のいずれかを選択して実行可能とするための情報を記録する。
情報処理装置300は、図21に示す情報記録媒体(記録メディア)320に、MPEG-2TSフォーマットに従った画像データ、さらに、高フレームレート画像関連画像情報を記録したプレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部301は、MMTフォーマットデータ331を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、MMTフォーマットデータ331を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
ユーザ入力部302は、例えば情報記録媒体320に対するデータ記録の開始要求等を入力する。
制御部401は、MMTフォーマットデータ331を解析し、MMTフォーマットデータ331に120p画像等の高フレームレート画像が含まれるか否かを判定し、判定情報に応じてフォーマット変換の処理態様を制御する。
デマルチプレクサ(DeMUX)305は、MMTフォーマットデータ331から、画像、音声、字幕等の各データを格納したパケットを取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、多重化処理部306の字幕データ変換部311、画像データ変換部312、音声データ変換部313に入力する。
画像データ変換部312は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、画像データを取得し、MPEG-2TSフォーマットデータに変換する。
音声データ変換部313は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、音声データを取得し、MPEG-2TSフォーマットデータに変換する。
なお、図6~図9を参照して説明したフォーマット変換処理は、画像データのみについて説明しているが、その他の音声、字幕データについても、同様の処理シーケンスでフォーマット変換を行う。
すなわち、情報記録媒体520に記録するための管理データや再生制御情報ファイルを生成する。具体的には、前述した高フレームレート画像関連画像情報を記録したプレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データを生成する。
以下、図22のフローに示す各ステップの処理について、順次、説明する。
まず、情報処理装置300は、ステップS101において、データ入力部301を介して記録用データであるMMTフォーマットデータを入力する。
なお、この記録用データには画像データ、音声データ、字幕データ等が含まれる。
なお、このフローでは、画像データのフォーマット変換と、記録処理のみについて説明する。
画像データには120p画像等の高フレームレート画像が含まれる。
次に、ステップS102において、制御部303は、120p画像等の高フレームレートの画像記録を実行するか否かを判定する。
一方、再生装置や表示装置が120p画像再生を実行不可能な場合は、120p画像等の高フレームレートの画像記録を実行しないと判定する。
この判定処理は、ユーザ入力部からの入力情報に基づいて実行可能である。
120p画像再生機能を有する場合は、120pの画像記録を行うと判定し、有しない場合は、120pの画像記録を行わないと判定する。
まず、ステップS102において120p画像等の高フレームレートの画像記録を実行しないと判定した場合の処理について説明する。
なお、ステップS103~S104の処理は、先に図8、図9を参照して説明したフォーマット変換処理に相当する処理である。
次に、ステップS104において、ステップS103でMMTフォーマットデータから抽出したメインストリーム対応画像データを、MPEG-2TSフォーマットにおいて規定されるTSパケットに格納する。
すなわち、図9(5)に示すメイン対応TSパケットを生成する。
次に、ステップS105において、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo)に、ビデオフォーマット(video_format)と、フレームレート(frame_rate)=60p等を設定する。
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
このいずれかを記録する。
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
これらのいずれかを記録する。
次に、ステップS102において120p画像等の高フレームレートの画像記録を実行すると判定した場合の処理について説明する。
なお、ステップS111~S112の処理は、先に図6、図7を参照して説明したフォーマット変換処理に相当する処理である。
(a)メインストリーム画像データを格納したメインストリームMFU、
(b)サブストリーム画像データを格納したサブストリームMFU
このMFU分離処理は、MMTPパケットのパケット識別子に基づいて実行される。
次に、メインストリームMFUから抽出したメインストリーム画像データをTSバケットに格納したメインストリーム対応TSパケットと、サブストリームMFUから抽出したサブストリーム画像データをTSバケットに格納したサブストリーム対応TSパケットを生成する。
このTSパケット多重化処理は、先に説明した図7に示す(6)メインサブ包含TSパケットの生成処理に相当する処理である。
次に、ステップS113において、メインストリーム対応TSパケットの再生制御情報として対応付けられたクリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo)に、ビデオフォーマット(video_format)と、フレームレート(frame_rate)=60p等を設定する。
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
このいずれかを記録する。
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
これらのいずれかを記録する。
次に、ステップS114において、サブストリーム対応TSパケットの再生制御情報として対応付けられたクリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo)に、ビデオフォーマット(video_format)と、フレームレート(frame_rate)=120p等を設定する。
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
このいずれかを記録する。
(3)記録ビット値[9(1001)]:意味[120f/s]
(2)記録ビット値[10(1010)]:意味[120f/s]
これらのいずれかを記録する。
さらに、ステップS115において、クリップ情報(Clip information file)にグループ情報(group information)を登録する処理を実行する。
図20を参照して説明したように、
グループ内ストリーム数[num_of streams_in_groups]として、メインストリームとサブストリームが存在することを示す[2]を記録する。
さらに、ストリームインデックス参照情報[ref_to_stream_index]に、図20に示すように、
60p画像再生用のメインストリーム情報152、
120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153、
これらのストリームインデックス参照情報を記録する。
120p画像を再生する再生装置は、図20に示す120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153から再生対象となる画像(120p画像)と音声情報を取得できる。
次に、フォーマット変換を実行した画像ストリームムの再生制御情報となるプレイリストファイル(PlayList_file)にHEVCビデオ情報(HEVC_video_Info())を記録する。
図15に示すようにプレイリストファイル(PlayList_file)に、HEVCビデオ情報[HEVC_video_info]として、以下のデータを記録する。
(1)データ長(length)、
(2)ストリームパケット識別子(streamPID)、
120p画像再生を実行できない再生装置、すなわち、60p画像再生を行なう再生装置は、この記録フィールドに記録されたPIDに基づいて、サブストリーム画像データの格納パケットを判別し、サブイトリーム画像格納パケットからの画像データ取得処理を行なわず、その他のメインストリーム画像格納パケットのみから画像データを取得することで、メインストリーム画像のみの画像再生、すなわち60p画像再生を行なうことが可能となる。
図21に示す情報処理装置300は、図22に示すフローに従って実行した結果として得られるMPEG-2TSフォーマットデータと、プレイリスト、クリップ情報ファイルを含むデータベースファイルを併せて、先に図10を参照して説明したディレクトリ構成に従ったデータを生成して、図21に示す情報記録媒体320に記録する。
次に、図23、図24を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
この再生処理において、情報処理装置が120p画像の再生機能を有していれば、120p画像再生を実行する。すなわち、メインストリームと、サブストリームを利用した再生処理を実行する。
一方、情報処理装置が120p画像の再生機能を有していなければ、60p画像再生を実行する。すなわち、サブストリームを利用せず、メインストリームのみの再生処理を実行する。
情報処理装置400は、図23に示す情報記録媒体(記録メディア)510に記録されたデータを読み取り、出力装置(表示部+スピーカ)520に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
また、プレイリストファイル、クリップ情報ファイルの各々には、前述した高フレームレート画像関連画像情報が記録されている。
さらに、解析結果に基づき、表示処理に必要な再生データを再生処理部406に生成させ、出力装置(表示部+スピーカ)520に出力させる制御を実行する。
出力データ生成部415は、字幕、画像、音声の各データを、入出力インタフェース407を介して出力装置(表示部+スピーカ)520に出力する。
この処理の詳細については、後段で、図24に示すフローを参照して説明する。
以下、図24のフローに示す各ステップの処理について、順次、説明する。
まず、情報処理装置400の制御部401は、ステップS201において、高フレームレート画像(120p画像)対応の再生制御情報であるプレイリスト(PlayList)を指定した再生指示を、ユーザ入力部402から入力する。
次に、ステップS202において、制御部401は、自装置、すなわち情報処理装置400が、120p画像等の高フレームレートの画像再生の機能を有するか否かを判定する。
ステップS202において、120p画像等の高フレームレートの画像再生機能を有すると判定した場合は、ステップS211に進み、機能を有さないと判定した場合は、ステップS203に進む。
まず、ステップS202において、情報処理装置400が、120p画像等の高フレームレートの画像再生機能を有していないと判定した場合の処理について説明する。
先に図4を参照して説明した図4(3)の60p画像再生例と同様の処理である。
ただし、プレイリストに記録された画像情報(HEVC_video_info())の読み出しは不要である。
図15を参照して説明したように、プレイリストに記録された画像情報(HEVC_video_info())には、ストリームパケット識別子(streamPID)125が記録される。
ストリームパケット識別子(streamPID)記録フィールドには、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDが記録される。
再生装置は、このストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを参照して、サブストリーム画像の格納パケットを識別可能となる。
メインストリームの画像データを格納したパケットのPIDは、次のステップS204で、プレイリストに関連付けられたクリップ情報ファイルから取得することになる。
次に、ステップS204において、制御部401は、プレイリストに関連付けられたクリップ情報ファイル(Clip information file)を取得し、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())を読み出して、60p画像再生に必要となるメインストリーム画像を格納したTSパケットのパケット識別子(PID)を取得する。
ステップS204では、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())から、60p画像再生に適用されるメインストリームを格納したTSパケットのパケット識別子(PID)を取得する。
次に、ステップS205において、ステップS204で取得したメインストリーム画像を格納したTSパケットの識別子(PID)に基づいてTSパケットの選択抽出を実行し、TSパケット列から、メインストリーム画像を格納したTSパケットのみを選択して、データを取り出し、復号処理を実行して再生処理を行なう。
すなわち、図4(3)に示すメインストリームのみを利用した60p画像の再生処理となる。
次に、ステップS202において、情報処理装置400が、120p画像等の高フレームレートの画像再生機能を有していると判定した場合のステップS211以下の処理について説明する。
先に図4を参照して説明した図4(2)の120p画像再生例と同様の処理である。
従って、ステップS211~S213のすべての処理を行なうことは必須ではなく、いずれかの処理を実行して、メインストリームとサブストリームの画像を格納したTSパケットの識別子(PID)を取得すればよい。
ステップS211では、先に説明した60p画像再生時のステップS203の処理とは異なり、プレイリストに記録された画像情報(HEVC_video_info())の読み出しを実行する。
ストリームパケット識別子(streamPID)記録フィールドには、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDが記録される。
再生装置は、このストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを参照して、サブストリーム画像の格納パケットを識別可能となる。
ステップS211において、まず、プレイリストに記録された画像情報(HEVC_video_info())から、サブストリーム画像の格納パケットのパケット識別子(PID)を取得する。
次に、ステップS212において、制御部401は、プレイリストに関連付けられたクリップ情報ファイル(Clip information file)を取得し、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())を読み出して、120p画像再生に必要となるもう1つのストリーム、すなわち、メインストリーム画像を格納したTSパケットのパケット識別子(PID)を取得する。
ステップS212では、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())から、120p画像再生に適用されるメインストリームとサブストリームを格納したTSパケットのパケット識別子(PID)を取得する。
次に、ステップS213において、制御部401は、クリップ情報ファイル(Clip information file)のグループ(group)情報を読み出して、120p画像再生に必要となるストリーム、すなわち、メインストリームとサブストリームの画像を格納したTSパケットのパケット識別子(PID)を取得する。
先に図20を参照して説明したように、例えば、グループ情報中に記録された下記データ、すなわち、
stream_index=120Hzのビデオ
上記情報中には、120p画像再生に利用されるメインストリーム画像を格納したTSパケット、およびサブストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
従って、これらの処理(ステップS211~S213)におけるパケットID取得処理は、いずれかのステップにおいて実行する設定としてよい。
次に、ステップS214において、メインストリーム画像とサブストリーム画像を格納したTSパケットの識別子(PID)に基づいてTSパケットを選択して、データを取り出し、復号処理を実行して再生処理を行なう。
すなわち、図4(2)に示すメインストリームとサブストリームを利用した120p画像の再生処理となる。
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図25を参照して説明する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理装置。
生成したMPEG-2TSフォーマットデータを情報記録場媒体に記録する(1)に記載の情報処理装置。
メインストリームと、サブストリームの両ストリームを利用した画像再生によって高フレームレート画像再生が実行され、
メインストリームのみの選択再生により、低フレームレート画像再生が実行される構成である(1)または(2)に記載の情報処理装置。
前記MPEG-2TSフォーマットデータの再生制御情報ファイルに、メインストリームとサブストリームの両ストリームを利用した高フレームレート画像再生、
または、メインストリームのみを利用した低フレームレート画像再生のいずれかを選択的に実行可能とするための画像情報を格納し、
前記MPEG-2TSフォーマットデータとともに情報記録場媒体に記録する(1)~(3)いずれかに記載の情報処理装置。
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるプレイリストファイルに、
前記サブストリームを格納したパケットの識別子(PID)を記録する(4)または(5)に記載の情報処理装置。
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるクリップ情報ファイルのプログラム情報記録領域に、
前記メインストリームを格納したパケットの識別子(PID)と、
前記サブストリームを格納したパケットの識別子(PID)を記録する(4)~(6)いずれかに記載の情報処理装置。
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部は、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理装置。
前記再生制御情報から取得したパケット識別子(PID)に基づいて、
メインストリームと、サブストリームの両ストリームを利用した高フレームレート画像再生処理、または、
メインストリームのみに基づく低フレームレート画像再生処理のいずれかを選択的に実行する(8)に記載の情報処理装置。
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるプレイリストファイルから、
前記サブストリームを格納したパケットの識別子(PID)を取得する(8)~(10)いずれかに記載の情報処理装置。
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるクリップ情報ファイルのプログラム情報記録領域から、
前記メインストリームを格納したパケットの識別子(PID)と、
前記サブストリームを格納したパケットの識別子(PID)を取得する(8)~(11)いずれかに記載の情報処理装置。
前記画像データの再生制御情報を記録した情報記録媒体であり、
前記再生制御情報は、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)が設定され、
情報記録媒体からの画像再生を実行する再生装置が、
前記再生制御情報から読み出したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させることを可能とした情報記録媒体。
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理方法。
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部が、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理方法。
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成させるプログラム。
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記プログラムは、前記データ処理部に、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得させ、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させるプログラム。
具体的には、MMTフォーマットに従ったメインストリームと、サブストリームを異なるパケット識別子(PID)の設定パケットに格納して、PIDに基づくストリーム単位の選択再生を可能としたMPEG-2TSフォーマットデータを記録媒体に記録する。再生装置は、再生制御情報から、ストリーム対応のパケット識別子(PID)を取得し、取得PIDを利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する。
本構成により、MMTフォーマットに従った高フレームレート画像をMPEG-2TSフォーマットとして記録し、再生可能とする構成が実現される。
20 60p対応表示装置
30 送信装置
31 放送局
32 コンテンツサーバ
40 MMTフォーマットデータ
50 情報処理装置
60 MPEG-2TSフォーマットデータ
70 情報記録媒体
300 情報処理装置
301 データ入力部
302 ユーザ入力部
303 制御部
304 記憶部
305 デマルチプレクサ
306 多重化処理部
307 記録部
308 ドライブ
311 字幕データ変換部
312 画像データ変換部
313 音声データ変換部
314 マルチプレクサ
320 情報記録媒体
400 情報処理装置
401 制御部
402 ユーザ入力部
403 ドライブ
404 記録再生部
405 記憶部
406 再生処理部
407 入出力I/F
411 デマルチプレクサ
412 字幕データ生成部
413 画像データ生成部
414 音声データ生成部
415 出力データ生成部
510 情報記録媒体
520 出力装置(表示部+スピーカ)
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
Claims (9)
- MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理装置。 - 前記データ処理部は、さらに、
生成したMPEG-2TSフォーマットデータを情報記録媒体に記録する請求項1に記載の情報処理装置。 - 前記MMTフォーマットデータには、高フレームレート画像再生に適用する画像データとして、メインストリームと、サブストリームが含まれ、
メインストリームと、サブストリームの両ストリームを利用した画像再生によって高フレームレート画像再生が実行され、
メインストリームのみの選択再生により、低フレームレート画像再生が実行される構成である請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報ファイルに、メインストリームとサブストリームの両ストリームを利用した高フレームレート画像再生、
または、メインストリームのみを利用した低フレームレート画像再生のいずれかを選択的に実行可能とするための画像情報を格納し、
前記MPEG-2TSフォーマットデータとともに情報記録媒体に記録する請求項1に記載の情報処理装置。 - 前記再生制御情報ファイルは、プレイリストファイル、またはクリップ情報ファイルである請求項4に記載の情報処理装置。
- 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるプレイリストファイルに、
前記サブストリームを格納したパケットの識別子(PID)を記録する請求項4に記載の情報処理装置。 - 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるクリップ情報ファイルのプログラム情報記録領域に、
前記メインストリームを格納したパケットの識別子(PID)と、
前記サブストリームを格納したパケットの識別子(PID)を記録する請求項4に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099838 | 2016-05-18 | ||
JP2016099838 | 2016-05-18 | ||
PCT/JP2017/017113 WO2017199743A1 (ja) | 2016-05-18 | 2017-05-01 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017199743A1 JPWO2017199743A1 (ja) | 2019-03-22 |
JP7014157B2 true JP7014157B2 (ja) | 2022-02-01 |
Family
ID=60325816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018518205A Active JP7014157B2 (ja) | 2016-05-18 | 2017-05-01 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7014157B2 (ja) |
WO (1) | WO2017199743A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020011205A1 (zh) * | 2018-07-11 | 2020-01-16 | 上海交通大学 | 基于广播系统的传输协议转换方法及系统 |
CN111491181A (zh) * | 2019-01-29 | 2020-08-04 | 上海交通大学 | 基于广播系统的传输协议转换方法和系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013243687A (ja) | 2008-09-17 | 2013-12-05 | Panasonic Corp | 記録媒体、再生装置、及び集積回路 |
JP2015050769A (ja) | 2013-08-29 | 2015-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 送信方法および受信方法 |
JP2016025534A (ja) | 2014-07-22 | 2016-02-08 | 日本電信電話株式会社 | 多重化装置 |
JP2016063534A (ja) | 2014-09-12 | 2016-04-25 | パナソニックIpマネジメント株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
-
2017
- 2017-05-01 JP JP2018518205A patent/JP7014157B2/ja active Active
- 2017-05-01 WO PCT/JP2017/017113 patent/WO2017199743A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013243687A (ja) | 2008-09-17 | 2013-12-05 | Panasonic Corp | 記録媒体、再生装置、及び集積回路 |
JP2015050769A (ja) | 2013-08-29 | 2015-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 送信方法および受信方法 |
JP2016025534A (ja) | 2014-07-22 | 2016-02-08 | 日本電信電話株式会社 | 多重化装置 |
JP2016063534A (ja) | 2014-09-12 | 2016-04-25 | パナソニックIpマネジメント株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017199743A1 (ja) | 2019-03-22 |
WO2017199743A1 (ja) | 2017-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7965766B2 (en) | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof | |
JP4211947B2 (ja) | 多重化装置および再生装置 | |
US20070110390A1 (en) | Picture Coding Apparatus and Picture Decoding Apparatus | |
JP7031589B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP2007535187A (ja) | 動画像ストリーム生成装置、動画像ストリーム生成方法、動画像復号化装置、動画像復号化方法、記録方法および動画像復号化システム | |
US8831405B2 (en) | Transmission controller, reception controller, transmission control method, reception control method and transmission control program | |
JP2015023574A (ja) | 蓄積方法、再生方法、蓄積装置、および再生装置 | |
WO2006054590A1 (ja) | データ処理装置 | |
JP7074068B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7014157B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070432B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7147755B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7056566B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7070564B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070433B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2015153441A (ja) | 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2003274337A (ja) | データ記録装置、データ再生装置、データ記録再生装置及びデータ記録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220103 |