JP7014157B2 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP7014157B2
JP7014157B2 JP2018518205A JP2018518205A JP7014157B2 JP 7014157 B2 JP7014157 B2 JP 7014157B2 JP 2018518205 A JP2018518205 A JP 2018518205A JP 2018518205 A JP2018518205 A JP 2018518205A JP 7014157 B2 JP7014157 B2 JP 7014157B2
Authority
JP
Japan
Prior art keywords
data
information
image
reproduction
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018518205A
Other languages
English (en)
Other versions
JPWO2017199743A1 (ja
Inventor
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017199743A1 publication Critical patent/JPWO2017199743A1/ja
Application granted granted Critical
Publication of JP7014157B2 publication Critical patent/JP7014157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えば120フレームレートの高フレームレート画像の記録、再生を行なう情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
現在、高画質画像の放送を実現するための規格化が進められており、その一つとして、MMT(MPEG Media Transport)フォーマットに従ったデータフォーマットを利用したデータ配信方式についての議論や規格化が進行している。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の記録、転送、再生を可能としたフォーマットとして規定されている。
なお、プログレッシブ画像とは、プログレッシブ方式に従った出力処理が実行される画像である。
上記記載[120p]の120は、120フレーム/秒のフレームレートを意味しpは、プログレッシブ画像であることを意味する。以下の説明においても同様である。
一方、放送と同様の画像(Video)、音声(Audio)、字幕(Subtitle)等からなるコンテンツの記録再生に利用される情報記録媒体(メディア)として、例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリがある。
これらの情報記録媒体で利用される現行のデータフォーマットとして、MPEG-2TSフォーマットがある。
しかし、現行のMPEG-2TSフォーマットは、MMTフォーマットにおいて利用が予定されている120f/s(フレーム/秒)等の高フレームレート画像の記録や再生を可能としたフォーマットではない。
なお、BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
特開2011-023071号公報
本開示は、例えば、上記の問題点に鑑みてなされたものであり、MMTフォーマットを適用した記録、転送、再生が許容される例えば1秒間に120フレームの高フレームレートの画像をBD等の情報記録媒体を利用して、記録、再生可能とする情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理装置にある。
さらに、本開示の第2の側面は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部は、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理装置にある。
さらに、本開示の第3の側面は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した情報記録媒体であり、
前記再生制御情報は、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)が設定され、
情報記録媒体からの画像再生を実行する再生装置が、
前記再生制御情報から読み出したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させることを可能とした情報記録媒体にある。
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部が、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成させるプログラムにある。
さらに、本開示の第7の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記プログラムは、前記データ処理部に、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得させ、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させるプログラム。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、MMTフォーマットに従った高フレームレート画像をMPEG-2TSフォーマットとして記録し、再生可能とする構成が実現される。
具体的には、MMTフォーマットに従ったメインストリームと、サブストリームを異なるパケット識別子(PID)の設定パケットに格納して、PIDに基づくストリーム単位の選択再生を可能としたMPEG-2TSフォーマットデータを記録媒体に記録する。再生装置は、再生制御情報から、ストリーム対応のパケット識別子(PID)を取得し、取得PIDを利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する。
本構成により、MMTフォーマットに従った高フレームレート画像をMPEG-2TSフォーマットとして記録し、再生可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
MMTフォーマットについて説明する図である。 MPEG-2TSフォーマットについて説明する図である。 MMTフォーマットに従った画像データ格納構成例について説明する図である。 画像再生例について説明する図である。 MMTフォーマットをMPEG-2TSフォーマットに変換して記録する処理例について説明する図である。 MMTフォーマットをMPEG-2TSフォーマットに変換して記録する場合の処理手順の一例について説明する図である。 MMTフォーマットをMPEG-2TSフォーマットに変換して記録する場合の処理手順の一例について説明する図である。 MMTフォーマットをMPEG-2TSフォーマットに変換して記録する場合の処理手順の一例について説明する図である。 MMTフォーマットをMPEG-2TSフォーマットに変換して記録する場合の処理手順の一例について説明する図である。 情報記録媒体の記録データのディレクトリ例について説明する図である。 情報記録媒体の記録データの再生処理例について説明する図である。 画像情報の記録構成例について説明する図である。 プレイリストファイルのデータ構成について説明する図である。 プレイリストファイルの拡張データ記録領域のデータ構成について説明する図である。 プレイリストファイルの拡張データ記録領域に記録される高フレームレート画像関連画像情報の例について説明する図である。 クリップ情報ファイルのデータ構成について説明する図である。 クリップ情報ファイルのプログラム情報のデータ構成例について説明する図である。 クリップ情報ファイルのコーディング情報のデータ構成例について説明する図である。 クリップ情報ファイルのコーディング情報中に記録される高フレームレート画像関連画像情報について説明する図である。 クリップ情報ファイルのプログラム情報内のグループ情報として記録される高フレームレート画像関連画像情報について説明する図である。 情報記録媒体に対するデータ記録を実行する情報処理装置の構成について説明する図である。 情報記録媒体に対するデータ記録を実行する情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体からのデータ再生を実行する情報処理装置の構成について説明する図である。 情報記録媒体からのデータ再生を実行する情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 本開示の処理に適用される報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.MMTフォーマットと、MPEG-2TSフォーマットについて
2.MMTフォーマットデータを利用した様々なフレームレートの画像データ格納構成と再生処理例について
3.MMTフォーマットデータからMPEG-2TSフォーマットデータへのフォーマット変換処理について
4.情報記録媒体の記録データ構成と再生処理の概要について
5.プレイリストファイルに対する高フレームレート画像関連画像情報の記録例について
6.クリップ情報ファイルに対する高フレームレート画像関連画像情報の記録例について
6-1.ストリームコーディング情報[StreamCodingInfo]記録領域を利用した高フレームレート画像関連画像情報記録例
6-2.グループ内ストリーム数[num_of streams_in_groups]と、ストリームインデックス参照情報[ref_to_stream_index]記録領域を利用した高フレームレート画像関連画像情報記録例
7.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
8.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
9.情報処理装置の構成例について
10.本開示の構成のまとめ
[1.MMTフォーマットと、MPEG-2TSフォーマットについて]
図1、図2を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
まず、図1参照してMMT(MPEG Media Transport)フォーマットについて説明する。
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の記録、転送、再生を可能としたフォーマットとして規定されている。
図1は、ISO/IEC 23008-1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
図1(a)~(c)にはMMTフォーマットデータの構成を示している。
最下段に示す図1(a)は、MMTフォーマットデータの全体構成を示す図である。
図1(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
1つのMPUは、図1(b)に示すように、1つまたは複数のメディアフラグメントユニット(MFU:Media Fragment unit)によって構成される。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
1つのMFUは、図1(c)に示すように、1つまたは複数のMMTPパケットによって構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTペイロード)により、構成される。
次に、図2を参照して、MPEG-2TSフォーマットについて説明する。
MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG-2TSフォーマットは、ISO13818-1において標準化されたフォーマットであり、例えばBD(Blu-ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
図2(a)~(c)はMPEG-2TSフォーマットデータの構成を示す図である。
最下段に示す図2(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
図2(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
レメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
1つのエレメンタリストリーム(Elementary stream)は、図2(b)に示すように、1つまたは複数のPES(Packetized Elementary stream)パケットによって構成される。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
1つのPESパケットは、図2(c)に示すように、1つまたは複数のTSパケットによって構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
[2.MMTフォーマットデータを利用した様々なフレームレートの画像データ格納構成と再生処理例について]
次に、図3以下を参照して、MMTフォーマットデータを利用した様々なフレームレートの画像データ格納構成と再生処理例について説明する。
図3は、MMTフォーマットデータを利用した画像データの格納構成例を説明する図である。
図3に示す画像データの格納例は、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データをMMTフォーマットデータとして格納した例である。
図3最下段の(1)に示すビデオストリーム構成データは、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データである。
この120pビデオストリームは、1フレームごと交互に、
(a)メインストリーム構成フレーム、
(b)サブストリーム構成フレーム、
これらの2つのストリーム構成フレームが交互に設定されている。
なお、この画像データは、例えばHEVC(MPEG-4HEVC)符号化処理が施されてMMTフォーマットデータ中に格納される。
(a)メインストリーム構成フレームと、(b)サブストリーム構成フレームの全フレームを再生すると、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の再生が可能となる。
一方、(b)サブストリーム構成フレームを再生せず、(a)メインストリーム構成フレームのみを選択再生することで、1秒間に60フレームの低フレームレートのプログレッシブ画像(60p画像)の再生が可能となる。
120p画像を再生、表示可能な再生装置やテレビ等の表示装置は、今、開発段階にあり、今後、製品化、普及すると予測されるが、現在のテレビ等の表示装置や、再生装置の多くは、120p画像の再生表示機能を有しておらず、60P画像の再生表示機能を有するのみである。
MMTフォーマットデータは、このような60p画像の再生可能な現行装置において再生や表示を可能とするため、120p画像を構成する画像フレームの1つおきの画像フレームをメインストリームとし、残りをサブストリームとして設定している。
60p画像の再生、表示可能な現行装置は、メインストリームのみを選択して再生、表示することで、60p画像を再生表示することができる
図3最下段の(1)に示すビデオストリーム構成データから、図3(2a),(2b)に示すように、
(2a)メインストリーム対応のMFU(メディアフラグメントユニット)
(2b)サブストリーム対応のMFU(メディアフラグメントユニット)
これら2つのストリーム対応のMFU群が生成される。
図3(3)に示すように、MMTフォーマットデータは、
(2a)メインストリーム対応のMFU(メディアフラグメントユニット)
(2b)サブストリーム対応のMFU(メディアフラグメントユニット)
これら2つのストリーム対応のMFU群に格納されたデータを複数のMMTPパケットに格納したデータとなる。
なお、図3(3)に示すように、MMTフォーマットデータに設定される1つのパケット(MMTPパケット)には、メインストリーム、またはサブストリーム、いずれか一方のストリーム対応のデータのみが格納される。
メインストリームデータを格納したMMTPパケットのMMTヘッダには、メインストリーム対応のパケット識別子(例えば、ID1)が格納される。
一方、サブストリームデータを格納したMMTPパケットのMMTヘッダには、サブストリーム対応のパケット識別子(例えば、ID2)が格納される。
例えば、この再生装置は、これらのパケット識別子に従って、MMTフォーマットデータからメインストリームのみを抽出して再生する処理(60p画像再生)や、メインストリームとサブストリーム双方のデータを抽出して再生する処理(120画像再生)等を選択的に実行することが可能となる。
図4は、画像の再生表示処理例を説明する図である。
図4(1)は、図3(1)に示すと同様のビデオストリーム構成データである。すなわち、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データである。
この120pビデオストリームは、1フレームごと交互に、
(a)メインストリーム構成フレーム、
(b)サブストリーム構成フレーム、
これらの2つのストリーム構成フレームが交互に設定されている。
図4(2)は、120p画像再生例を示している。
120p画像対応表示装置10は、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)を再生、表示可能な表示装置(テレビ)である。
この120p画像対応表示装置10は、(a)メインストリーム構成フレームと、(b)サブストリーム構成フレームの全フレームを再生表示し、1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の再生表示を行う。
一方、図4(3)は、60p画像再生例を示している。
60p画像対応表示装置20は、1秒間に60フレームの低フレームレートのプログレッシブ画像(60p画像)のみ、再生、表示可能な表示装置(テレビ)である。
この60p画像対応表示装置20は、(a)メインストリーム構成フレームのみを選択して再生表示することで、1秒間に60フレームの低フレームレートのプログレッシブ画像(60p画像)の再生表示を行う。
[3.MMTフォーマットデータからMPEG-2TSフォーマットデータへのフォーマット変換処理について]
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)の記録、転送、再生を可能としたフォーマットとして規定されている。
一方、放送と同様の画像(Video)、音声(Audio)、字幕(Subtitle)等からなるコンテンツの記録再生に利用される情報記録媒体(メディア)として、例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリがある。
これらの情報記録媒体で利用されるデータの記録フォーマットとして、MPEG-2TSフォーマットがある。
しかし、このMPEG-2TSフォーマットは、MMTフォーマットにおいて許容される120f/s(フレーム/秒)等の高フレームレート画像の記録再生を可能としたフォーマットではない。
例えば、図5に示すように、情報処理装置50が、放送局31や、コンテンツサーバ32等の送信装置30から送信されるMMTフォーマットデータ40を受信し、BDやフラッシュメモリ等の情報記録媒体70に記録する場合、MMTフォーマットデータ40を、MPEG-2TSフォーマットデータ60に変換して記録することが必要となる。
MMTフォーマットデータのまま記録処理を実行してしまうと、現行のBDプレーヤ等の再生装置、すなわち、MPEG-2TSフォーマットデータを再生するための再生プログラムを適用した再生処理を実行する再生装置では再生することができない。
再生装置において再生可能とするためには、MMTフォーマットデータ40を、MPEG-2TSフォーマットデータ60に変換して情報記録媒体70に記録することが必要となる。
本開示の情報処理装置50は、図5に示すようにMMTフォーマットデータ40を、MPEG-2TSフォーマットデータ60に変換するフォーマット変換処理を実行する。
以下、このフォーマット変換処理の具体例について、図6以下を参照して説明する。
図6に示す(1)~(3b)の各図は、図1、図3を参照して説明したMMTフォーマットデータに対する120p画像の格納構成例を示す図である。
図6(1)~(3b)の各図は、以下のデータ例を示している。
(1)MMTフォーマットデータ
(2a)メインMFU(=メインストリームを格納したMFU)
(2b)サブMFU(=サブストリームを格納したMFU)
(3a)メインMPU(=メインストリームを格納したMPU)
(3b)サブMPU(=サブストリームを格納したMPU)
先に図1、図3等を参照して説明した通り、MMTフォーマットデータは、図6(1)に示すようにMMTPパケットによって構成されている。
1秒間に120フレームの高フレームレートのプログレッシブ画像(120p画像)データを、このMMTフォーマットデータに格納する場合、各MMTPパケットは、以下の2種類のパケットに区分できる。
(a)120pと60p画像再生の双方に利用可能なメインストリーム構成フレーム対応の画像データを格納したメインストリーム対応MMTPパケット[MMTP packet()120p(60p)]、
(b)120p画像再生のみに適用されるサブストリーム構成フレーム対応の画像データを格納したサブストリーム対応MMTPパケット[MMTP packet()120p]、
図6(1)に示すMMTフォーマットデータは、上記(a),(b)2種類のMMTPパケットによって構成される。
なお、上記(a),(b)2種類のMMTPパケットの各々には、メインストリームと、サブストリームのいずれのストリーム対応の画像データを格納したパケットであるかを識別可能なパケット識別子を含むヘッダが設定されている。
図6(2)に示すように、MMTフォーマットデータは、
(2a)メインMFU(メインストリーム対応のMFU(メディアフラグメントユニット))
(2b)サブMFU(サブストリーム対応のMFU(メディアフラグメントユニット))
これら2つのストリーム対応のMFU群に分割可能となる。
さらに、図6(2a)メインMFU群は、例えば1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する画像データを格納した、
(3a)メインMPU(メディアプレゼンテーションユニット)
として区分可能である。
図6(3a)に示すように、1つのMPUは、ヘッダ部と、ペイロード部を有する。
ヘッダ部には、ペイロード部に格納された画像データに関する属性情報等が格納される。
ペイロード部には、画像圧縮データが格納される。メインMPUのペイロードには、120p画像再生、および60p画像再生のいずれにも利用されるメイン画像ストリーム構成データの符号化(圧縮)データ(HEVC符号化データ)が格納される。
同様に、図6(2b)サブMFU群は、例えば1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する画像データを格納した、
(3b)サブMPU(メディアプレゼンテーションユニット)
として区分可能となる。
サブMPUのペイロード部には、画像圧縮データが格納される。サブMPUのペイロードには、120p画像再生のみに利用されるサブ画像ストリーム構成データの符号化(圧縮)データ(HEVC符号化データ)が格納される。
図5に示す情報処理装置50は、図6~図7に示すステップS01~S03を実行して、MMTフォーマットデータをMPEG-2TSフォーマットデータに変換する処理を実行する。
以下、各ステップの処理について説明する。
(ステップS01)
情報処理装置50は、まず、図6に示すステップS01の処理を実行する。
図6には、メインストリーム、サブストリームの2つのストリーム対応の処理ステップ(S01a),(S01b)を示している。
ステップS01aは、メインストリーム対応の処理であり、以下の処理を実行する。
情報処理装置50は、メインストリーム構成画像データを格納したメインMPUから、メインストリーム対応の画像データを取得し、所定単位のデータ、例えば、1アクセスユニット、具体的には、例えば1ピクチャごとにMPEG-2TSフォーマットにおいて規定されるPESパケット(メイン対応PESパケット)を生成する。
一方、ステップS01bは、サブストリーム対応の処理であり、以下の処理を実行する。
情報処理装置50は、サブストリーム構成画像データを格納したサブMPUから、サブストリーム対応の画像データを取得し、所定単位のデータ、例えば、1アクセスユニット、具体的には、例えば1ピクチャごとにMPEG-2TSフォーマットにおいて規定されるPESパケット(サブ対応PESパケット)を生成する。
図6(4a),(4b)に示すように、PESパケットは、PESヘッダと、PESペイロードによって構成される。
1つのPESパケットのPESペイロードとして、メインMPUから取り出した例えば1ピクチャ単位のデータを格納し、その属性情報を、PESヘッダに記録する。
なお、PESヘッダに記録する情報は、例えばPESパケットに格納したデータがメインストリーム対応の画像データであるか、サブストリーム対応の画像データであるかを識別可能とした識別子の他、再生処理等において必要となる属性情報等である。
これらの情報は、MMTフォーマットデータのMPUヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、MPUヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
(ステップS02)
次に、図7を参照して、情報処理装置50の実行するステップS02の処理について説明する。
なお、図7には、図6を参照して説明したステップS01の処理も示している。
情報処理装置50は、ステップS01a,S01bにおいてMMTパケットのMPUから取得したデータに基づいて、メインストリーム対応のPESパケット(メイン対応PESパケット)と、サブストリーム対応のPESパケット(サブ対応PESパケット)を生成する。
これらの処理の後、ステップS02の処理として、PESパケットの格納データを用いてTSパケット生成を行う。
先に図2を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
情報処理装置50は、メインストリーム画像データを格納したメイン対応PESパケットに対する処理ステップ(S02a)と、サブストリーム画像データを格納したサブ対応PESパケットに対する処理ステップ(S02b)を実行する。
ステップS02aは、メインストリーム画像データを格納したメイン対応PESパケットに対する処理であり、メイン対応PESパケットの格納データを用いてメイン対応TSパケットを生成する。
一方、ステップS02bは、サブストリーム画像データを格納したサブ対応PESパケットに対する処理であり、サブ対応PESパケットの格納データを用いてサブ対応TSパケットを生成する。
なお、TSパケットは、4バイトのTSヘッダと、184バイトのTSペイロードによって構成される。
TSペイロードには、画像データ(HEVC符号化データ)を格納し、TSヘッダには、TSペイロードに格納した画像データに関する情報が記録される。
具体的には、TSヘッダには、TSペイロードの格納データがメインストリーム対応の画像データであるか、サブストリーム対応の画像データであるかを識別可能としたストリーム対応のパケット識別子(PID)の他、再生処理等において必要となる属性情報を記録する。
これらの情報は、PESヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、PESヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
(ステップS03)
ステップS02a,S02bにおいて、各ストリーム対応のTSパケット、すなわち、
(a)メイン対応TSパケット列
(b)サブ対応TSパケット列
これらのストリーム別TSパケット列の生成が完了すると、次に、これら2種類のストリーム対応TSパケット列を1つのTSパケット列にまとめる処理を行なう。
図7(6)に示すメインサブ対応TSパケットである。
各TSパケットの配列順は、フォーマット変換対象として入力したMMTフォーマットデータ、すなわち、図6(1)に示すMMTフォーマットデータのデータ配列順と同様の配列順とする。
ただし、TSパケットは188バイト固定長であり、MMTPパケットはパケットサイズが固定されておらず、データ配列順を完全に一致させることが困難となる場合が発生する可能性がある。この場合は、ダミーデータの記録による調整を行なう。あるいは、多少のずれの発生を許容した配列処理を実行してもよい。
図5に示す情報処理装置50は、図6、図7を参照して説明した処理ステップS01~S03を実行して、MMTフォーマットデータをMPEG-2TSフォーマットデータに変換する処理を実行する。
すなわち、図6(1)に示すMMTPパケット列から構成されるMMTフォーマットデータを図7(6)に示すTSパケット列から構成されるMPEG-2TSフォーマットデータに変換する。
図7(6)に示すTSパケット列から構成されるMPEG-2TSフォーマットデータは、図5に示すように、情報処理装置50に装着されたBD等の情報記録媒体70に記録される。
このようにして、情報処理装置50が、放送局等から受信したMMTフォーマットデータを、MPEG-2TSフォーマットデータとして情報記録媒体70に記録することが可能となる。
この情報記録媒体に記録されたMPEG-2TSフォーマットデータは、MPEG-2TSフォーマットデータの再生プログラムを持つ一般的なBDプレーヤ等によって再生することが可能となる。
なお、具体的な再生処理例については、後段で説明する。
図6、図7を参照して説明したフォーマット変換処理例は、120p画像データを格納したMMTフォーマットデータから、すべての画像データを取得して、MPEG-2TSフォーマットデータに変換する処理例である。
しかし、先に図4を参照して説明したように、現行の再生装置や表示装置は、120P画像の再生表示機能がなく、60p画像の再生表示機能を有するものが多い。
このような再生装置や表示装置において利用する画像データは、メインストリーム画像のみとなる。
従って、MMTフォーマットデータに含まれるサブストリーム画像は変換対象とせず、メインストリーム画像のみを抽出してMPEG-2TSフォーマットデータを構成して、例えばBD等の情報記録媒体に記録する処理を行なえば、60p画像の再生、表示を行う装置において60p画像の再生、表示が可能となる。
図8、図9は、MMTフォーマットデータから、メインストリーム画像のみを抽出してMPEG-2TSフォーマットデータを生成するフォーマット変換処理例を説明する図である。
例えば、図5に示す情報処理装置50は、図8、図9に示す処理(ステップS11~S12)に従って、メインストリーム画像データのみを格納したMPEG-2TSフォーマットデータを生成することができる。
図8、図9を参照して、このフォーマット変換処理シーケンスについて説明する。
図8(1)は、図1、図3を参照して説明したMMTフォーマットデータに対する120p画像の格納構成例を示す図である。
このMMTフォーマットデータから、メインストリーム画像を格納したMMTPパケットを選択抽出する。
この選択抽出は、MMTPバケットのヘッダ情報に基づいて実行することができる。
図8(2)メインMFUは、図8(1)のMMTフォーマットデータのメインストリームを格納したMMTPパケットを構成するMFU、すなわち、メインMFUを示している。
図8(2)メインMFU群は、例えば1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する画像データを格納した、
(3)メインMPU(メディアプレゼンテーションユニット)
として区分可能となる。
図8(3)に示すように、1つのMPUは、ヘッダ部と、ペイロード部を有する。
ヘッダ部には、ペイロード部に格納された画像データに関する属性情報等が格納される。
ペイロード部には、画像圧縮データが格納される。メインMPUのペイロードには、120p画像再生、および60p画像再生のいずれにも利用されるメイン画像ストリーム構成データの符号化(圧縮)データ(HEVC符号化データ)が格納される。
図5に示す情報処理装置50は、図8~図9に示すステップS11~S13を実行して、MMTフォーマットデータをMPEG-2TSフォーマットデータに変換する処理を実行する。
以下、各ステップの処理について説明する。
(ステップS11)
情報処理装置50は、まず、図8に示すステップS11の処理を実行する。
ステップS11は、メインストリーム画像データを格納したメインMPUに対する処理であり、以下の処理を実行する。
情報処理装置50は、メインストリーム構成画像データを格納したメインMPUから、メインストリーム対応の画像データを取得し、所定単位のデータ、例えば、1アクセスユニット、具体的には、例えば1ピクチャごとにMPEG-2TSフォーマットにおいて規定されるPESパケット(メイン対応PESパケット)を生成する。
図8(4)に示すように、PESパケットは、PESヘッダと、PESペイロードによって構成される。
1つのPESパケットのPESペイロードとして、メインMPUから取り出した例えば1ピクチャ単位のデータを格納し、その属性情報を、PESヘッダに記録する。
なお、PESヘッダに記録する情報は、例えばPESパケットに格納したデータがメインストリーム対応の画像データであるか、サブストリーム対応の画像データであるかを識別可能とした識別子の他、再生処理等において必要となる属性情報等である。
これらの情報は、MMTフォーマットデータのMPUヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、MPUヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
(ステップS12)
次に、図9を参照して、情報処理装置50の実行するステップS12の処理について説明する。
なお、図9には、図8を参照して説明したステップS11の処理も示している。
情報処理装置50は、ステップS11においてMMTパケットのMPUから取得したデータに基づいて、メインストリーム対応のPESパケット(メイン対応PESパケット)を生成する。
この処理の後、ステップS12の処理として、PESパケットの格納データを用いてTSパケット生成を行う。
先に図2を参照して説明したように、TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
情報処理装置50は、メインストリーム画像データを格納したメイン対応PESパケットに対する処理ステップ(S12)を実行する。
ステップS12は、メインストリーム画像データを格納したメイン対応PESパケットに対する処理であり、メイン対応PESパケットの格納データを用いてメイン対応TSパケットを生成する。
なお、TSパケットは、4バイトのTSヘッダと、184バイトのTSペイロードによって構成される。
TSペイロードには、画像データ(HEVC符号化データ)を格納し、TSヘッダには、TSペイロードに格納した画像データに関する情報が記録される。
具体的には、TSペイロードの格納データが、メインストリーム対応の画像データであるか、サブストリーム対応の画像データであるかを識別可能とした識別子(PID)の他、再生処理等において必要となる属性情報等である。
これらの情報は、PESヘッダから取得して、そのまま記録してもよいし、情報処理装置50が、PESヘッダからの取得情報に基づいて新たに生成した情報を記録する構成としてもよい。
図5に示す情報処理装置50は、図8、図9を参照して説明した処理ステップS11~S12を実行して、MMTフォーマットデータに含まれるメインストリーム画像データのみを選択抽出して、メインストリーム画像データを有するMPEG-2TSフォーマットデータに変換する処理を実行する。
図9(5)に示すTSパケット列から構成されるMPEG-2TSフォーマットデータは、図5に示すように、情報処理装置50に装着されたBD等の情報記録媒体70に記録される。
このようにして、情報処理装置50が、放送局等から受信したMMTフォーマットデータを、MPEG-2TSフォーマットデータとして情報記録媒体70に記録することが可能となる。
この情報記録媒体に記録されたMPEG-2TSフォーマットデータは、60p画像として再生可能なメインストリーム画像データのみを有するMPEG-2TSフォーマットデータである。
MPEG-2TSフォーマットデータの再生プログラムを持つ一般的なBDプレーヤによって再生することで60p画像の再生が可能となる。
なお、具体的な再生処理例については、後段で説明する。
[4.情報記録媒体の記録データ構成と再生処理の概要について]
次に、図10以下を参照して、情報記録媒体の記録データ構成と、情報記録媒体からのデータ再生処理の概要について説明する。
情報記録媒体とは、例えば、BD(Blu-ray(登録商標) Disc)やフラッシュメモリ等である。
図10は、情報記録媒体70に記録されたMPEG-2TSフォーマットデータを含むデータのディレクトリ構成例を示す図である。
ディレクトリには、図10に示すように様々な管理情報、再生制御情報、再生対象データの格納ファィルが設定される。
再生対象データは、MPEG-2TSフォーマットに従って記録されたデータである。
再生処理に適用される以下のファイルについて説明する。
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
例えば、これらのファイルが記録される。
インデックスファイルには、再生処理に適用するインデックス情報としてのタイトル情報等、ディスク格納データ全体に対応した管理情報等が格納される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データを格納したパケット(TSパケット)によって構成され、MPEG-2TSフォーマットデータである。
なお、インデックスファイル、プレイリストファイル、クリップ情報ファイル、これらのデータファイルは、クリップAVストリームファイルに格納された再生データである画像、音声、字幕等の再生処理に適用する管理情報、再生制御情報、再生データ属性情報等を格納したファイルであり、データベースファイルと呼ばれる。
情報処理装置が情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図11は、情報記録媒体(メディア)70に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像、音声、字幕等の再生対象データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図11に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)、あるいはクリップファイルと呼ぶ。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
クリップAVストリーム(Clip AV Stream)ファイルは、MPEG-2TS(トランスポートストリーム)をBDMVフォーマットの規定構造に従って配置したデータを格納している。
また、クリップ情報(Clip Information)ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
このように、プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
図10を参照して説明したように、情報記録媒体70に格納されるデータとして、
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのファイルがある。
先に説明した120p画像を構成するメインストリーム画像データやサブストリーム画像データ等の再生対象データは、クリップAVストリームファイルに格納される。
インデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルは、クリップAVストリームファイルに格納された再生対象データの再生処理に適用する様々なデータを格納したファイルであり、クリップAVストリームファイルに格納されたデータの属性情報等を記録することができる。
以下、情報記録媒体に記録された画像データの種類、具体的には、120p画像、すなわち120f/secの高フレームレート画像が記録されているか否か等の高フレームレート画像関連画像情報を、プレイリストファイル、クリップ情報ファイル等のデータベースファイルに記録した実施例について説明する。
図12は、プレイリストファイル、クリップ情報ファイルに対する格納する画像情報、すなわち高フレームレート画像関連画像情報の具体例を説明する図である。
プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録可能であり、プレイリストファイルに記録する画像情報、すなわち、高フレームレート画像関連画像情報は、例えば以下の情報となる。
「プレイリストによる再生対象データに高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
クリップ情報ファイルには、そのクリップ情報ファイルを適用して再生されデータに関する情報が記録可能であり、クリップ情報ファイルに記録する画像情報、すなわち、高フレームレート画像関連画像情報は、例えば以下の情報となる。
「クリップ情報ファイルに対応付けられた再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
以下、プレイリストファイル、クリップ情報ファイル、各々に対する具体的な高フレームレート画像関連画像情報の記録例について、順次、説明する。
[5.プレイリストファイルに対する高フレームレート画像関連画像情報の記録例について]
まず、図13以下を参照してプレイリストファイルに対する高フレームレート画像関連画像情報の記録例について説明する。
図10~図12を参照して説明したように、プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録可能であり、プレイリストファイルに記録する高フレームレート画像関連画像情報は、例えば以下の情報となる。
「プレイリストの再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
図13は、プレイリストファイルのデータ構成例(シンタックス)を示す図である。
プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録される。
プレイリストファイルには、図13に示すように、様々な拡張データを記録可能な拡張データ記録領域[ExtensionData()]121が設定される。
拡張データ記録領域[ExtensionData()]には、様々な拡張データが記録されるため、拡張データがどのようなデータであるかを示す拡張データ識別子が、各拡張データに対応付けられて拡張データとともに記録される。
拡張データ識別子は2つのID(ID1,ID2)によって構成される。
本実施例では、プレイリストファイルにおける高フレームレート画像関連画像情報格納領域を示す拡張データ識別子として未定義の以下の識別子、
ID1=0x0004
ID2=0x0001
この拡張データ識別子を利用する。
この識別情報に対応付けられた拡張データ記録領域に高フレームレート画像関連画像情報、すなわち、例えば以下の画像情報を記録する。
「プレイリストの再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
なお、この拡張データ識別子の設定、すなわち、
ID1=0x0004
ID2=0x0001
これらのID設定は、一例であり、この他のIDを高フレームレート画像関連画像情報の記録領域を示すIDとして利用する構成も可能である。
図14は、図13に示すプレイリストファイルの拡張データ記録領域[ExtensionData()]121に記録される高フレームレート画像関連画像情報のデータ記録領域の構成例(シンタックス)を示す図である。
図14に示すように、プレイリストファイルの拡張データ記録領域121には、拡張データ識別子(ID)記録領域122と、データブロック(data_block)123が設定される。
拡張データ識別子(ID)記録領域122には、上述した高フレームレート画像関連画像情報の記録領域を示すID(ID1=0x0004,ID2=0x0001)が記録される。
この拡張データ識別子(ID)記録領域122の後に高フレームレート画像関連画像情報の記録領域であるデータブロック(data_block)123が設定される。
データブロック(data_block)123に記録される具体的なデータについて、図15を参照して説明する。
図15は、図14に示すデータブロック(data_block)123の詳細構成を示す図である。すなわち、プレイリストファイルに記録される高フレームレート画像関連画像情報の具体的なデータ例を示している。
図15に示すようにデータブロックには、HEVCビデオ情報[HEVC_video_info]として、以下のデータ記録領域が設定される。
(1)データ長(length)124、
(2)ストリームパケット識別子(streamPID)125、
以下、これらの各情報について、順次、説明する。
(1)データ長(length)124
データ長(length)124には、この拡張データ記録領域、すなわち、拡張データ識別子(ID1=0x0004,ID2=0x0001)によって区分された高フレームレート画像関連画像情報としてのHEVCビデオ情報記録領域のデータ長(バイト数)が記録される。
(2)ストリームパケット識別子(streamPID)125
ストリームパケット識別子(streamPID)記録フィールドには、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDが記録される。
再生装置は、このストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを参照して、サブストリーム画像の格納パケットを識別可能となる。
120p画像再生を実行できない再生装置、すなわち、60p画像再生を行なう再生装置は、この記録フィールドに記録されたPIDに基づいて、サブストリーム画像データの格納パケットを判別し、サブトリーム画像格納パケットからの画像データ取得処理を行なわず、その他のメインストリーム画像格納パケットのみから画像データを取得することで、メインストリーム画像のみの画像再生、すなわち60p画像再生を行なうことが可能となる。
一方120P画像再生を実行する再生装置は、ストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを持つパケット、すなわち、サブストリーム画像格納パケット、およびその他のメインストリーム画像格納パケットの双方から画像データを取得することで、メインストリームとサブストリームを合わせた画像再生、すなわち120p画像再生を行なうことが可能となる。
[6.クリップ情報ファイルに対する高フレームレート画像関連画像情報の記録例について]
次に、図16以下を参照してクリップ情報ファイルに対する高フレームレート画像関連画像情報の記録例について説明する。
図10~図12を参照して説明したように、クリップ情報ファイルには、そのクリップ情報ファイルに対応づけられた再生対象データに関する情報が記録可能であり、クリップ情報ファイルに記録する高フレームレート画像関連画像情報は、例えば以下の情報となる。
「クリップ情報ファイルに対応付けられた再生対象データ中に高フレームレート画像(120p画像等)が含まれているか否かを示す高フレームレート画像関連画像情報」
図16は、クリップ情報ファイルのデータ構成例(シンタックス)を示す図である。
クリップ情報ファイルには、そのクリップ情報に対応付けられた再生データに関する情報が記録される。
クリップ情報ファイルには、図16に示すように、このクリップ情報に対応付けられた再生データに関する情報として、例えば、以下の各情報が記録される。
クリップ情報[ClipInfo()]、
シーケンス情報[SequenceInfo()]、
プログラム情報[ProgramInfo()]、
クリップ情報[ClipInfo()]は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する。
シーケンス情報[SequenceInfo()]は、このクリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
プログラム情報[ProgramInfo()]について説明する。
プログラム情報[ProgramInfo()]の記録情報について、図17以下を参照して説明する。
プログラム情報[ProgramInfo()]は、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program_sequence)に関する情報を記録する。
図17に示す、ProgramInfoに記録される主なデータについて説明する。
(a)プログラムシーケンス数[num_of_program_sequences]131には、クリップ情報ファイルに含まれるプログラムシーケンス(program_sequence)の数が記録される。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]132には、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスが記録される。
(c)プログラムマップPID[program_map_PID[i]]133には、プログラムシーケンス(program_sequence)のマップが格納されているTSパケットの識別子(PID)が記録される。
(d)ストリームPID[stream_PID]134には、このクリップ情報ファイルのプログラムシーケンスに従って再生されるストリームが格納されているTSパケットの識別子(PID)が記録される。
なお、例えば、プログラムシーケンスが60p画像再生に利用されるプログラムシーケンスである場合、このパケット識別子(PID)は、例えば60p画像再生に適用されるメインストリームを格納したTSパケットのパケット識別子である。
一方、プログラムシーケンスが120p画像再生に利用されるプログラムシーケンスである場合、このパケット識別子(PID)は、120p画像再生に適用されるメインストリームとサブストリームを格納したTSパケットのパケット識別子である。
(e)ストリームコーディング情報[StreamCodingInfo]135には、再生対象ストリームのコーディング(符号化)情報が記録される。
(f)グループ内ストリーム数[num_of streams_in_groups]136には、再生対象データグループに含まれるストリーム数が記録される。
(g)ストリームインデックス参照情報[ref_to_stream_index]137には、再生対象データグループに含まれるストリームの属性情報が記録される。
このように、クリップ情報ファイルには、再生対象として関連付けられたクリップAVストリームファイルの格納データの再生に必要な様々な情報が記録される。
上記(a)~(g)の各情報記録領域中、以下の情報記録領域を利用して記録される高フレームレート画像関連情報の例について、図18以下を参照して説明する。
(e)ストリームコーディング情報[StreamCodingInfo]135
(f)グループ内ストリーム数[num_of streams_in_groups]136
(g)ストリームインデックス参照情報[ref_to_stream_index]137
以下、これらの情報記録領域に対する高フレームレート画像関連画像情報の具体的な記録例について説明する。
[6-1.ストリームコーディング情報[StreamCodingInfo]記録領域を利用した高フレームレート画像関連画像情報記録例]
まず、図18、図19を参照して、ストリームコーディング情報[StreamCodingInfo]を利用した高フレームレート画像関連画像情報の具体的な記録例について説明する。
図18は、クリップ情報ファイルのプログラム情報[ProgramInfo()]記録領域内に設定されるストリームコーディング情報[StreamCodingInfo]のデータ構成例を示す図である。
ストリームコーディング情報[StreamCodingInfo]には、以下のデータが記録される。
(a)ストリームコーディングタイプ[stream_coding_type]141、
(b)ビデオ対応ストリームコーディングタイプ識別子[stream_coding_type=xxxx]142、
(c)ビデオストリーム情報143、
(d)オーディオ対応ストリームコーディングタイプ識別子[stream_coding_type=xxxx]144、
(e)オーディオストリーム情報145、
ストリームコーディング情報[StreamCodingInfo]には、各ストリーム単位で、ストリームに関する様々な情報が記録される。
ビデオストリームの場合、先に説明したメインストリームと、サブストリームの各々のストリームに対応する情報を個別に記録することができる。
ビデオストリームに関する情報としては、ビデオストリーム情報143中に示すように、例えば以下の各情報をストリーム単位で記録することができる。
(1)ビデオフォーマット(video_format)
(2)フレームレート(frame_rate)、
(3)アスペクト比(aspect_ratio)、
上記(1)~(3)の各情報は、メインストリームについての情報と、サブストリームについての情報として個別に記録することが可能であり、再生装置は、再生装置の再生対象とするストリームに応じた情報を取得し、取得情報に従った再生処理を行なうことが可能となる。
ストリームコーディング情報[StreamCodingInfo]に対する具体的な情報記録例について、図19を参照して説明する。
図19には、ストリームコーディング情報[StreamCodingInfo]として、ビデオストリームに関する以下の情報記録例を示す。
(A)ビデオフォーマット(video_format)情報記録例
(B)フレームレート(frame_rate)情報記録例
(A)ビデオフォーマット(video_format)情報記録例として、以下のデータ記録例を示している。
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
また、(B)フレームレート(frame_rate)情報記録例として、以下のデータ記録例を示している。
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
(3)記録ビット値[9(1001)]:意味[120f/s]
(4)記録ビット値[10(1010)]:意味[120f/s]
例えば、メインストリームに関するフレームレート情報として、
記録ビット値[8(1000)](=意味[60f/s])
上記情報を記録する。
さらに、サブストリームに関するフレームレート情報として、
記録ビット値[9(1001)](=意味[120f/s])
上記情報を記録する。
このように、メインストリームとサブストリーム各々のストリームに関するフレームレート情報を記録することができる。
例えば、60p画像の再生処理のみ可能な再生装置は、図19に示すフレームレート情報から、
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
上記のような、60f/sのフレームレート情報が記録されたストリームのみを選択して再生する。
この再生処理により、60p画像のメインストリーム選択再生が可能となる。
また、120p画像の再生が可能な再生装置は、図19に示すフレームレート情報として、60f/sのフレームレート情報が記録されたストリームと、120f/sのフレームレート情報が記録されたストリームを併せて再生する。
この再生処理により、メインストリームとサブストリームを併せた120p画像再生が可能となる。
[6-2.グループ内ストリーム数[num_of streams_in_groups]と、ストリームインデックス参照情報[ref_to_stream_index]記録領域を利用した高フレームレート画像関連画像情報記録例]
次に、図20を参照して、グループ内ストリーム数[num_of streams_in_groups]と、ストリームインデックス参照情報[ref_to_stream_index]記録領域を利用した高フレームレート画像関連画像情報の具体的な記録例について説明する。
先に、図17を参照して説明したように、
グループ内ストリーム数[num_of streams_in_groups]136には、再生対象データグループに含まれるストリーム数が記録される。
ストリームインデックス参照情報[ref_to_stream_index]137には、再生対象データグループに含まれるストリームの属性情報が記録される。
図20は、このクリップ情報ファイルの再生対象データとなる画像データに120p画像が含まれる場合、すなわちねメインストリーム画像とサブストリーム画像が含まれている場合の、以下の各情報の記録例を示している。
グループ内ストリーム数[num_of streams_in_groups]、
ストリームインデックス参照情報[ref_to_stream_index]、
図20に示すように、グループ内ストリーム数151の記録情報は、[2]が記録される。
これは、
メインストリーム
サブストリーム、
これらの2つのストリームが、このクリップ情報ファイルに対応付けられたストリームであることを意味する。
さらに、ストリームインデックス参照情報として、図20に示すように、
60p画像再生用のメインストリーム情報152、
120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153、
これらのストリームインデックス参照情報が記録される。
60p画像再生用のメインストリーム情報152は、例えば以下の各情報(インデックス情報)によって構成される。
group1 (60Hz)
stream_index=60Hzのビデオ
stream_index=audio1(たとえば日本語)
stream_index=audio2(たとえば英語)
上記情報は、グループ1が、
60Hz(60f/s)対応のビデオ、
音声データとして、日本語音声と英語音声
これらのデータを含むことを示すものである。
また、このこれらのインデックス情報には、ビデオデータや音声データを格納したTSパケットのパケット識別子(PID)が含まれる。
すなわち、
stream_index=60Hzのビデオ
上記情報中には、60p画像再生と、120p画像再生の双方に利用されるメインストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
60p画像を再生する再生装置は、この60p画像再生用のメインストリーム情報152から再生対象となる画像(60p画像)と音声情報を取得できる。
また、120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153は、例えば以下の各情報によって構成される。
group2 (120Hz)
stream_index=60Hzのビデオ
stream_index=120Hzのビデオ
stream_index=audio1(たとえば日本語)
stream_index=audio2 (たとえば英語)
上記情報は、グループ2が、
60Hz(60f/s)対応のビデオ、
120Hz(120f/s)対応のビデオ、
音声データとして、日本語音声と英語音声
これらのデータを含むことを示すものである。
また、このこれらのインデックス情報には、ビデオデータや音声データを格納したTSパケットのパケット識別子(PID)が含まれる。
すなわち、
stream_index=60Hzのビデオ
上記情報中には、60p画像再生と、120p画像再生の双方に利用されるメインストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
さらに、
stream_index=120Hzのビデオ
上記情報中には、120p画像再生に利用されるメインストリーム画像を格納したTSパケット、およびサブストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
120p画像を再生する再生装置は、この120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153から再生対象となる画像(120p画像)と音声情報を取得できる。
[7.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について]
次に、図21、図22を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
先に説明したように、本開示の情報処理装置は、MMTフォーマットで記録されている120p画像等の高フレームレート画像データを、MPEG-2TSフォーマットに変換してBDやフラッシュメモリ等の情報記録媒体に記録する。
さらに、このフォーマット変換に伴い、プレイリスト、あるいはクリップ情報ファイルの少なくともいずれかのデータベースファイルに、クリップAVストリームファイルに高フレームレート画像が記録されていることを示す情報や、60P画像の再生処理、あるいは120p画像の再生処理のいずれかを選択して実行可能とするための情報を記録する。
以下、このような高フレームレート画像関連画像情報を記録した情報記録媒体の生成処理、具体的には、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と、処理シーケンスについて説明する。
図21は、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置300の構成を示す図である。
情報処理装置300は、図21に示す情報記録媒体(記録メディア)320に、MPEG-2TSフォーマットに従った画像データ、さらに、高フレームレート画像関連画像情報を記録したプレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部301は、情報記録媒体320に対するMMTフォーマットデータ331、すなわち画像データ、音声データ、字幕データ等を含むMMTフォーマットデータ331を入力する。
データ入力部301は、MMTフォーマットデータ331を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、MMTフォーマットデータ331を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
データ入力部301から入力するMMTフォーマットデータ331は、先に図1を参照して説明したデータフォーマットに従ったデータであり、例えば120p画像等の高フレームレート画像データが含まれている。
MMTフォーマットデータ331は、制御部303の制御によって、記憶部304に格納される。
ユーザ入力部302は、例えば情報記録媒体320に対するデータ記録の開始要求等を入力する。
制御部401は、MMTフォーマットデータ331を解析し、MMTフォーマットデータ331に120p画像等の高フレームレート画像が含まれるか否かを判定し、判定情報に応じてフォーマット変換の処理態様を制御する。
ユーザ入力部302から、データ記録開始要求を入力すると、この入力をトリガとして、記憶部304に格納されたMMTフォーマットデータ331が、デマルチプレクサ(DeMUX)305に入力される。
デマルチプレクサ(DeMUX)305は、MMTフォーマットデータ331から、画像、音声、字幕等の各データを格納したパケットを取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、多重化処理部306の字幕データ変換部311、画像データ変換部312、音声データ変換部313に入力する。
字幕データ変換部311は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、字幕データを取得し、MPEG-2TSフォーマットデータに変換する。
画像データ変換部312は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、画像データを取得し、MPEG-2TSフォーマットデータに変換する。
音声データ変換部313は、データ入力部301が入力し、記憶部304に格納されたMMTフォーマットデータ331から、音声データを取得し、MPEG-2TSフォーマットデータに変換する。
MMTフォーマットデータからMPEG-2TSフォーマットデータへのォーマット変換処理は、先に、図6~図9を参照して説明した処理に従った処理である。
なお、図6~図9を参照して説明したフォーマット変換処理は、画像データのみについて説明しているが、その他の音声、字幕データについても、同様の処理シーケンスでフォーマット変換を行う。
マルチプレクサ(MUX)314は、字幕データ変換部311、画像データ変換部312、音声データ変換部313が変換した字幕、画像、音声各データを入力し、これらのデータを格納したトランスポートストリームファイル(TSファイル)を生成する。
さらに、制御部401は、MMTフォーマットデータ331を解析し、MMTフォーマットデータ331に120p画像等の高フレームレート画像が含まれるか否かを判定し、判定情報に応じたデータベースファイルの生成を実行する。
すなわち、情報記録媒体520に記録するための管理データや再生制御情報ファイルを生成する。具体的には、前述した高フレームレート画像関連画像情報を記録したプレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データを生成する。
多重化処理部306の生成したMPEG-2TSフォーマットデータと、制御部303の生成した高フレームレート画像関連画像情報を記録したプレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ332は、制御部303の制御の下、記録部306によって、ドライブ307を介して情報記録媒体320に出力され、記録される。
次に、図21に示す情報処理装置300が実行する情報記録媒体320に対するデータ記録処理のシーケンスについて、図22に示すフローチャートを参照して説明する。
図22に示すフローに従った処理は、例えば情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
以下、図22のフローに示す各ステップの処理について、順次、説明する。
(ステップS101)
まず、情報処理装置300は、ステップS101において、データ入力部301を介して記録用データであるMMTフォーマットデータを入力する。
なお、この記録用データには画像データ、音声データ、字幕データ等が含まれる。
なお、このフローでは、画像データのフォーマット変換と、記録処理のみについて説明する。
画像データには120p画像等の高フレームレート画像が含まれる。
(ステップS102)
次に、ステップS102において、制御部303は、120p画像等の高フレームレートの画像記録を実行するか否かを判定する。
例えばフォーマット変換後のMPEG-2TSフォーマッデータを記録した情報記録媒体320の記録データを再生する再生装置や表示装置が120p画像再生を実行可能な場合は、120p画像等の高フレームレートの画像記録を実行すると判定する。
一方、再生装置や表示装置が120p画像再生を実行不可能な場合は、120p画像等の高フレームレートの画像記録を実行しないと判定する。
この判定処理は、ユーザ入力部からの入力情報に基づいて実行可能である。
あるいは、このフローに従ったフォーマット変換及びデータ記録を実行する記録装置が再生機能を有する場合は、その再生機能に基づいて判定してもよい。
120p画像再生機能を有する場合は、120pの画像記録を行うと判定し、有しない場合は、120pの画像記録を行わないと判定する。
ステップS102において、120p画像等の高フレームレートの画像記録を実行すると判定した場合は、ステップS111に進み、行わないと判定した場合は、ステップS103に進む。
(ステップS103)
まず、ステップS102において120p画像等の高フレームレートの画像記録を実行しないと判定した場合の処理について説明する。
なお、ステップS103~S104の処理は、先に図8、図9を参照して説明したフォーマット変換処理に相当する処理である。
まず、ステップS103において、MMTフォーマットデータから、120p画像再生、60p画像再生のいずれにも利用可能なメインストリーム画像を格納したパケットを選択してメインストリーム対応の画像データを抽出する。
(ステップS104)
次に、ステップS104において、ステップS103でMMTフォーマットデータから抽出したメインストリーム対応画像データを、MPEG-2TSフォーマットにおいて規定されるTSパケットに格納する。
すなわち、図9(5)に示すメイン対応TSパケットを生成する。
(ステップS105)
次に、ステップS105において、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo)に、ビデオフォーマット(video_format)と、フレームレート(frame_rate)=60p等を設定する。
この処理は、先に図19を参照して説明したクリップ情報ファイルのプログラム情報記録領域に対するビデオフォーマット情報と、フレームレート情報の記録処理である。
ステップS105では、図19に示す例の(A)ビデオフォーマット(video_format)情報として、
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
このいずれかを記録する。
また、(B)フレームレート(frame_rate)情報として、
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
これらのいずれかを記録する。
これらの情報を記録することで、再生装置は、このクリップ情報ファイルに従ったデータ再生によって再生される画像データが60p画像であると判断することが可能となる。
(ステップS111)
次に、ステップS102において120p画像等の高フレームレートの画像記録を実行すると判定した場合の処理について説明する。
なお、ステップS111~S112の処理は、先に図6、図7を参照して説明したフォーマット変換処理に相当する処理である。
まず、ステップS111において、MMTフォーマットデータ中の画像データを格納したメディアフラグメントユニット(MFU:Media Fragment unit)を、以下の2つのMFUに分離する。
(a)メインストリーム画像データを格納したメインストリームMFU、
(b)サブストリーム画像データを格納したサブストリームMFU
このMFU分離処理は、先に説明した図6に示す(2a)メインMFU、(2b)サブMFUの分離処理に相当する処理である。
このMFU分離処理は、MMTPパケットのパケット識別子に基づいて実行される。
(ステップS112)
次に、メインストリームMFUから抽出したメインストリーム画像データをTSバケットに格納したメインストリーム対応TSパケットと、サブストリームMFUから抽出したサブストリーム画像データをTSバケットに格納したサブストリーム対応TSパケットを生成する。
このストリーム対応TSパケット生成処理は、先に説明した図7に示す(5a)メイン対応TS、(5b)サブ対応TSの生成処理に相当する処理である。
さらに、ステップS112では、図7に示す(5a)メイン対応TSパケット、(5b)サブ対応TSパケットの各々に、ストリーム対応の異なるパケット識別子(PID)を設定し、多重化処理を実行する。
このTSパケット多重化処理は、先に説明した図7に示す(6)メインサブ包含TSパケットの生成処理に相当する処理である。
メイン対応TSパケットと、サブ対応TSパケットの各々に、異なるパケット識別子(PID)を設定することで、再生装置は、PIDに基づいてメインストリームのみを選択した再生処理(60p画像再生)や、メインストリームトサブストリームの双方を選択した再生処理(120p画像再生)を実行することが可能となる。
(ステップS113)
次に、ステップS113において、メインストリーム対応TSパケットの再生制御情報として対応付けられたクリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo)に、ビデオフォーマット(video_format)と、フレームレート(frame_rate)=60p等を設定する。
この処理は、先に図19を参照して説明したクリップ情報ファイルのプログラム情報記録領域に対するビデオフォーマット情報と、フレームレート情報の記録処理である。
ステップS113では、図19に示す例の(A)ビデオフォーマット(video_format)情報として、
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
このいずれかを記録する。
また、(B)フレームレート(frame_rate)情報として、
(1)記録ビット値[7(0111)]:意味[60f/s]
(2)記録ビット値[8(1000)]:意味[60f/s]
これらのいずれかを記録する。
これらの情報を記録することで、再生装置は、このクリップ情報ファイルに従ったデータ再生によって再生される画像データが60p画像として再生可能であると判断することが可能となる。
(ステップS114)
次に、ステップS114において、サブストリーム対応TSパケットの再生制御情報として対応付けられたクリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo)に、ビデオフォーマット(video_format)と、フレームレート(frame_rate)=120p等を設定する。
この処理は、先に図19を参照して説明したクリップ情報ファイルのプログラム情報記録領域に対するビデオフォーマット情報と、フレームレート情報の記録処理である。
ステップS114においても、ステップS113の処理と同様、図19に示す例の(A)ビデオフォーマット(video_format)情報として、
(1)記録ビット値[5(0101)]:意味[1080p(2Kのプログレッシブ画像)]
(2)記録ビット値[8(1000)]:意味[2160p(4Kのプログレッシブ画像)]
(3)記録ビット値[9(1001)]:意味[4320p(8Kのプログレッシブ画像)]
このいずれかを記録する。
また、(B)フレームレート(frame_rate)情報として、
(3)記録ビット値[9(1001)]:意味[120f/s]
(2)記録ビット値[10(1010)]:意味[120f/s]
これらのいずれかを記録する。
これらの情報を記録することで、再生装置は、このクリップ情報ファイルに従ったデータ再生によって再生される画像データが120p画像として再生可能なサブストリーム画像であると判断することが可能となる。
(ステップS115)
さらに、ステップS115において、クリップ情報(Clip information file)にグループ情報(group information)を登録する処理を実行する。
この処理は、先に、図20を参照して説明した情報の登録処理である。
図20を参照して説明したように、
グループ内ストリーム数[num_of streams_in_groups]として、メインストリームとサブストリームが存在することを示す[2]を記録する。
さらに、ストリームインデックス参照情報[ref_to_stream_index]に、図20に示すように、
60p画像再生用のメインストリーム情報152、
120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153、
これらのストリームインデックス参照情報を記録する。
60p画像を再生する再生装置は、図20に示す60p画像再生用のメインストリーム情報152から再生対象となる画像(60p画像)と音声情報を取得できる。
120p画像を再生する再生装置は、図20に示す120p画像再生用のメインストリーム+サブストリームの2ストリーム情報153から再生対象となる画像(120p画像)と音声情報を取得できる。
(ステップS116)
次に、フォーマット変換を実行した画像ストリームムの再生制御情報となるプレイリストファイル(PlayList_file)にHEVCビデオ情報(HEVC_video_Info())を記録する。
この処理は、先に、図15を参照して説明した処理である。
図15に示すようにプレイリストファイル(PlayList_file)に、HEVCビデオ情報[HEVC_video_info]として、以下のデータを記録する。
(1)データ長(length)、
(2)ストリームパケット識別子(streamPID)、
(2)ストリームパケット識別子(streamPID)には、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDを記録する。
再生装置は、このストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを参照して、サブストリーム画像の格納パケットを識別可能となる。
120p画像再生を実行できない再生装置、すなわち、60p画像再生を行なう再生装置は、この記録フィールドに記録されたPIDに基づいて、サブストリーム画像データの格納パケットを判別し、サブイトリーム画像格納パケットからの画像データ取得処理を行なわず、その他のメインストリーム画像格納パケットのみから画像データを取得することで、メインストリーム画像のみの画像再生、すなわち60p画像再生を行なうことが可能となる。
一方120P画像再生を実行する再生装置は、ストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを持つパケット、すなわち、サブストリーム画像格納パケット、およびその他のメインストリーム画像格納パケットの双方から画像データを取得することで、メインストリームとサブストリームを合わせた画像再生、すなわち120p画像再生を行なうことが可能となる。
以上が、MMTフォーマットデータからMPEG-2TSフォーマットへの変換処理において、図21に示す情報処理装置300が実行する処理である。
図21に示す情報処理装置300は、図22に示すフローに従って実行した結果として得られるMPEG-2TSフォーマットデータと、プレイリスト、クリップ情報ファイルを含むデータベースファイルを併せて、先に図10を参照して説明したディレクトリ構成に従ったデータを生成して、図21に示す情報記録媒体320に記録する。
[8.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について]
次に、図23、図24を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
再生処理を実行する情報処理装置は、装置に装着した情報記録媒体に記録されたMPEG-2TSフォーマットデータの読み取り、再生処理を実行する。
この再生処理において、情報処理装置が120p画像の再生機能を有していれば、120p画像再生を実行する。すなわち、メインストリームと、サブストリームを利用した再生処理を実行する。
一方、情報処理装置が120p画像の再生機能を有していなければ、60p画像再生を実行する。すなわち、サブストリームを利用せず、メインストリームのみの再生処理を実行する。
図23は、BD等の情報記録媒体510に記録されたデータの再生処理を実行する情報処理装置400の構成を示す図である。
情報処理装置400は、図23に示す情報記録媒体(記録メディア)510に記録されたデータを読み取り、出力装置(表示部+スピーカ)520に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
情報記録媒体(記録メディア)510は、図21、図22を参照して説明した処理によって生成されたMPEG-2TSフォーマットデータと、プレイリスト、クリップ情報ファイル等のデータベースが記録された記録媒体である。
クリップAVストリームファイルには120p画像等の高フレームレート画像が記録されている。
また、プレイリストファイル、クリップ情報ファイルの各々には、前述した高フレームレート画像関連画像情報が記録されている。
制御部401は、例えば、ユーザ入力部402からの再生指示情報の入力に基づいて、情報記録媒体510の記録データを、記録再生部404、ドライブ403を介して読み取り、データバッファとしての記憶部405に格納し、その格納データを再生処理部406に出力する。
また、制御部401は、入出力インタフェース407を介して出力装置(表示部+スピーカ)520との通信を実行する。制御部401は、情報記録媒体510から読み出したインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルに記録された高フレームレート画像関連画像情報を解析する。
さらに、解析結果に基づき、表示処理に必要な再生データを再生処理部406に生成させ、出力装置(表示部+スピーカ)520に出力させる制御を実行する。
再生処理部406は、制御部401の制御の下、情報記録媒体510から読み出された再生データ、すなわち、画像、音声、字幕等の各データを格納したクリップAVストリームファイルから各データを取得して再生データを生成する。
デマルチプレクサ(DeMUX)411は、画像、音声、字幕等の各データを格納したクリップAVストリームファイルを構成するデータ格納パケットを取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、字幕データ生成部412、画像データ生成部413、音声データ生成部414に出力する。
字幕データ生成部412、画像データ生成部413、音声データ生成部414は、パケットに格納されたデータの復号処理等を実行し、復号データを出力データ生成部415に出力する。
出力データ生成部415は、字幕、画像、音声の各データを、入出力インタフェース407を介して出力装置(表示部+スピーカ)520に出力する。
なお、画像データ生成部415は、制御部401の制御の下、情報記録媒体510から読み出したMPEG-2TSフォーマットデータ中のTSパケットに格納された画像データが120p画像データであるか否か、情報処理装置400が、120p画像の再生機能を有するか否かに応じて、再生可能な画像データを生成する処理を実行する。
この処理の詳細については、後段で、図24に示すフローを参照して説明する。
出力装置(表示部+スピーカ)520は、情報処理装置400から入力する字幕、画像、音声等の各データを、出力装置(表示部+スピーカ)520を介して出力する。
次に、図23に示す情報処理装置400が実行する情報記録媒体510からのデータ再生処理のシーケンスについて、図24に示すフローチャートを参照して説明する。
図24に示すフローに従った処理は、例えば情報処理装置400の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
なお、図24に示すフローに従った処理を実行する情報処理装置は、図23に示す情報処理装置400であり、情報記録媒体(記録メディア)510を装着し、装着した情報記録媒体510に記録されたデータを読み取り、出力装置(表示部+スピーカ)520に出力する。なお、出力装置520は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
情報記録媒体(記録メディア)510は、図21、図22を参照して説明した処理によって生成されたMPEG-2TSフォーマットデータと、プレイリスト、クリップ情報ファイル等のデータベースが記録された記録媒体である。
以下、図24のフローに示す各ステップの処理について、順次、説明する。
(ステップS201)
まず、情報処理装置400の制御部401は、ステップS201において、高フレームレート画像(120p画像)対応の再生制御情報であるプレイリスト(PlayList)を指定した再生指示を、ユーザ入力部402から入力する。
(ステップS202)
次に、ステップS202において、制御部401は、自装置、すなわち情報処理装置400が、120p画像等の高フレームレートの画像再生の機能を有するか否かを判定する。
この判定処理は、情報処理装置400のメモリ等に記録された機能情報に基づいて実行してもよいし、ユーザ入力部402からの入力に基づいて実行してもよい。
ステップS202において、120p画像等の高フレームレートの画像再生機能を有すると判定した場合は、ステップS211に進み、機能を有さないと判定した場合は、ステップS203に進む。
(ステップS203)
まず、ステップS202において、情報処理装置400が、120p画像等の高フレームレートの画像再生機能を有していないと判定した場合の処理について説明する。
この場合、ステップS203~S205において実行する処理は、高フレームレート画像(120p画像)の再生ではなく、60p画像の再生処理、すなわちメインストリームのみを利用した60p画像の再生処理となる。
先に図4を参照して説明した図4(3)の60p画像再生例と同様の処理である。
この場合、まず、ステップS203において、ステップS201で指定された再生制御情報であるプレイリストを情報記録媒体から読み出し、プレイリストの記録情報に従った再生処理の準備を実行する。
ただし、プレイリストに記録された画像情報(HEVC_video_info())の読み出しは不要である。
プレイリストに記録された画像情報(HEVC_video_info())は、先に図15を参照して説明した情報である。
図15を参照して説明したように、プレイリストに記録された画像情報(HEVC_video_info())には、ストリームパケット識別子(streamPID)125が記録される。
ストリームパケット識別子(streamPID)記録フィールドには、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDが記録される。
再生装置は、このストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを参照して、サブストリーム画像の格納パケットを識別可能となる。
60p画像再生を行なう再生装置は、メインストリーム画像のみを利用した再生を実行することになり、メインストリームの画像データを格納したパケットのPIDのみを取得できればよい。
メインストリームの画像データを格納したパケットのPIDは、次のステップS204で、プレイリストに関連付けられたクリップ情報ファイルから取得することになる。
(ステップS204)
次に、ステップS204において、制御部401は、プレイリストに関連付けられたクリップ情報ファイル(Clip information file)を取得し、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())を読み出して、60p画像再生に必要となるメインストリーム画像を格納したTSパケットのパケット識別子(PID)を取得する。
先に図17を参照して説明したように、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())には、ストリームPID[stream_PID]134が記録される。すなわち、クリップ情報ファイルのプログラムシーケンスに従って再生されるストリームが格納されているTSパケットの識別子(PID)が記録される。
例えば、プログラムシーケンスが60p画像再生に利用されるプログラムシーケンスである場合、このパケット識別子(PID)は、例えば60p画像再生に適用されるメインストリームを格納したTSパケットのパケット識別子である。
ステップS204では、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())から、60p画像再生に適用されるメインストリームを格納したTSパケットのパケット識別子(PID)を取得する。
(ステップS205)
次に、ステップS205において、ステップS204で取得したメインストリーム画像を格納したTSパケットの識別子(PID)に基づいてTSパケットの選択抽出を実行し、TSパケット列から、メインストリーム画像を格納したTSパケットのみを選択して、データを取り出し、復号処理を実行して再生処理を行なう。
この再生処理において再生されるストリームは、サブストリームを適用しない、メインストリームのみであり、60p画像の再生処理となる。
すなわち、図4(3)に示すメインストリームのみを利用した60p画像の再生処理となる。
(ステップS211)
次に、ステップS202において、情報処理装置400が、120p画像等の高フレームレートの画像再生機能を有していると判定した場合のステップS211以下の処理について説明する。
ステップS211~S214において実行する処理は、高フレームレート画像(120p画像)の再生となる。
先に図4を参照して説明した図4(2)の120p画像再生例と同様の処理である。
ステップS211~S213は、いずれも、120p画像再生に利用するメインストリームとサブストリームの画像を格納したTSパケットの識別子(PID)を確認する処理である。
従って、ステップS211~S213のすべての処理を行なうことは必須ではなく、いずれかの処理を実行して、メインストリームとサブストリームの画像を格納したTSパケットの識別子(PID)を取得すればよい。
ステップS211において、ステップS201で指定された再生制御情報であるプレイリストを情報記録媒体から読み出し、プレイリストの記録情報に従った再生処理の準備を実行する。
ステップS211では、先に説明した60p画像再生時のステップS203の処理とは異なり、プレイリストに記録された画像情報(HEVC_video_info())の読み出しを実行する。
先に図15を参照して説明したように、プレイリストに記録された画像情報(HEVC_video_info())には、ストリームパケット識別子(streamPID)125が記録される。
ストリームパケット識別子(streamPID)記録フィールドには、120p画像を構成するサブストリーム、すなわち、60p画像再生には利用されず、120p画像再生のみに利用されるサブストリーム画像を格納したパケットの識別子に相当するPIDが記録される。
再生装置は、このストリームパケット識別子(streamPID)記録フィールドに記録されたPIDを参照して、サブストリーム画像の格納パケットを識別可能となる。
120p画像再生を行なう再生装置は、メインストリームとサブストリーム双方のストリームを利用した再生を実行することになる。
ステップS211において、まず、プレイリストに記録された画像情報(HEVC_video_info())から、サブストリーム画像の格納パケットのパケット識別子(PID)を取得する。
(ステップS212)
次に、ステップS212において、制御部401は、プレイリストに関連付けられたクリップ情報ファイル(Clip information file)を取得し、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())を読み出して、120p画像再生に必要となるもう1つのストリーム、すなわち、メインストリーム画像を格納したTSパケットのパケット識別子(PID)を取得する。
先に図17を参照して説明したように、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())には、ストリームPID[stream_PID]134が記録される。すなわち、クリップ情報ファイルのプログラムシーケンスに従って再生されるストリームが格納されているTSパケットの識別子(PID)が記録される。
例えば、プログラムシーケンスが120p画像再生に利用されるプログラムシーケンスである場合、このパケット識別子(PID)は、例えば120p画像再生に適用されるメインストリームとサブストリームを格納したTSパケットのパケット識別子である。
ステップS212では、クリップ情報ファイル(Clip information file)のプログラム情報(ProgramInfo())から、120p画像再生に適用されるメインストリームとサブストリームを格納したTSパケットのパケット識別子(PID)を取得する。
(ステップS213)
次に、ステップS213において、制御部401は、クリップ情報ファイル(Clip information file)のグループ(group)情報を読み出して、120p画像再生に必要となるストリーム、すなわち、メインストリームとサブストリームの画像を格納したTSパケットのパケット識別子(PID)を取得する。
グループ(group)情報は、先に、図20を参照して説明した情報である。
先に図20を参照して説明したように、例えば、グループ情報中に記録された下記データ、すなわち、
stream_index=120Hzのビデオ
上記情報中には、120p画像再生に利用されるメインストリーム画像を格納したTSパケット、およびサブストリーム画像を格納したTSパケットのパケット識別子(PID)が含まれている。
ステップS213では、このグループ情報を参照して、120p画像再生に利用されるメインストリーム画像を格納したTSパケット、およびサブストリーム画像を格納したTSパケットのパケット識別子(PID)を取得する。
なお、前述したように、ステップS211~ステップS213の処理は、いずれも120p画像再生に利用するメインストリームとサブストリームの画像格納TSパケットの識別子(PID)の取得処理を含んでいる。
従って、これらの処理(ステップS211~S213)におけるパケットID取得処理は、いずれかのステップにおいて実行する設定としてよい。
(ステップS214)
次に、ステップS214において、メインストリーム画像とサブストリーム画像を格納したTSパケットの識別子(PID)に基づいてTSパケットを選択して、データを取り出し、復号処理を実行して再生処理を行なう。
この再生処理において再生されるストリームは、メインストリームとサブストリームの双方であり、120p画像の再生処理となる。
すなわち、図4(2)に示すメインストリームとサブストリームを利用した120p画像の再生処理となる。
[9.情報処理装置の構成例について]
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図25を参照して説明する。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[10.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理装置。
(2) 前記データ処理部は、さらに、
生成したMPEG-2TSフォーマットデータを情報記録場媒体に記録する(1)に記載の情報処理装置。
(3) 前記MMTフォーマットデータには、高フレームレート画像再生に適用する画像データとして、メインストリームと、サブストリームが含まれ、
メインストリームと、サブストリームの両ストリームを利用した画像再生によって高フレームレート画像再生が実行され、
メインストリームのみの選択再生により、低フレームレート画像再生が実行される構成である(1)または(2)に記載の情報処理装置。
(4) 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報ファイルに、メインストリームとサブストリームの両ストリームを利用した高フレームレート画像再生、
または、メインストリームのみを利用した低フレームレート画像再生のいずれかを選択的に実行可能とするための画像情報を格納し、
前記MPEG-2TSフォーマットデータとともに情報記録場媒体に記録する(1)~(3)いずれかに記載の情報処理装置。
(5) 前記再生制御情報ファイルは、プレイリストファイル、またはクリップ情報ファイルである(4)に記載の情報処理装置。
(6) 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるプレイリストファイルに、
前記サブストリームを格納したパケットの識別子(PID)を記録する(4)または(5)に記載の情報処理装置。
(7) 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるクリップ情報ファイルのプログラム情報記録領域に、
前記メインストリームを格納したパケットの識別子(PID)と、
前記サブストリームを格納したパケットの識別子(PID)を記録する(4)~(6)いずれかに記載の情報処理装置。
(8) 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部は、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理装置。
(9) 前記データ処理部は、
前記再生制御情報から取得したパケット識別子(PID)に基づいて、
メインストリームと、サブストリームの両ストリームを利用した高フレームレート画像再生処理、または、
メインストリームのみに基づく低フレームレート画像再生処理のいずれかを選択的に実行する(8)に記載の情報処理装置。
(10) 前記再生制御情報ファイルは、プレイリストファイル、またはクリップ情報ファイルである(8)または(9)に記載の情報処理装置。
(11) 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるプレイリストファイルから、
前記サブストリームを格納したパケットの識別子(PID)を取得する(8)~(10)いずれかに記載の情報処理装置。
(12) 前記データ処理部は、
前記MPEG-2TSフォーマットデータの再生制御情報として利用されるクリップ情報ファイルのプログラム情報記録領域から、
前記メインストリームを格納したパケットの識別子(PID)と、
前記サブストリームを格納したパケットの識別子(PID)を取得する(8)~(11)いずれかに記載の情報処理装置。
(13) 高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した情報記録媒体であり、
前記再生制御情報は、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)が設定され、
情報記録媒体からの画像再生を実行する再生装置が、
前記再生制御情報から読み出したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させることを可能とした情報記録媒体。
(14) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理方法。
(15) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記データ処理部が、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得し、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する情報処理方法。
(16) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成させるプログラム。
(17) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、
高フレームレート画像再生と、低フレームレート画像再生の双方に利用されるメインストリームと、高フレームレート再生のみに利用されるサブストリームを、MPEG-2TSフォーマットに従ったTSパケットに、ストリーム別に格納した画像データと、
前記画像データの再生制御情報を記録した構成であり、
前記プログラムは、前記データ処理部に、
前記再生制御情報から、メインストリーム格納パケットと、サブストリーム格納パケットを区別可能なストリーム対応のパケット識別子(PID)を取得させ、
取得したパケット識別子(PID)を利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、MMTフォーマットに従った高フレームレート画像をMPEG-2TSフォーマットとして記録し、再生可能とする構成が実現される。
具体的には、MMTフォーマットに従ったメインストリームと、サブストリームを異なるパケット識別子(PID)の設定パケットに格納して、PIDに基づくストリーム単位の選択再生を可能としたMPEG-2TSフォーマットデータを記録媒体に記録する。再生装置は、再生制御情報から、ストリーム対応のパケット識別子(PID)を取得し、取得PIDを利用して、各ストリーム格納パケットを識別して、ストリーム単位の画像再生を実行する。
本構成により、MMTフォーマットに従った高フレームレート画像をMPEG-2TSフォーマットとして記録し、再生可能とする構成が実現される。
10 120p対応表示装置
20 60p対応表示装置
30 送信装置
31 放送局
32 コンテンツサーバ
40 MMTフォーマットデータ
50 情報処理装置
60 MPEG-2TSフォーマットデータ
70 情報記録媒体
300 情報処理装置
301 データ入力部
302 ユーザ入力部
303 制御部
304 記憶部
305 デマルチプレクサ
306 多重化処理部
307 記録部
308 ドライブ
311 字幕データ変換部
312 画像データ変換部
313 音声データ変換部
314 マルチプレクサ
320 情報記録媒体
400 情報処理装置
401 制御部
402 ユーザ入力部
403 ドライブ
404 記録再生部
405 記憶部
406 再生処理部
407 入出力I/F
411 デマルチプレクサ
412 字幕データ生成部
413 画像データ生成部
414 音声データ生成部
415 出力データ生成部
510 情報記録媒体
520 出力装置(表示部+スピーカ)
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア

Claims (9)

  1. MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
    前記データ処理部は、
    MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理装置。
  2. 前記データ処理部は、さらに、
    生成したMPEG-2TSフォーマットデータを情報記録媒体に記録する請求項1に記載の情報処理装置。
  3. 前記MMTフォーマットデータには、高フレームレート画像再生に適用する画像データとして、メインストリームと、サブストリームが含まれ、
    メインストリームと、サブストリームの両ストリームを利用した画像再生によって高フレームレート画像再生が実行され、
    メインストリームのみの選択再生により、低フレームレート画像再生が実行される構成である請求項1に記載の情報処理装置。
  4. 前記データ処理部は、
    前記MPEG-2TSフォーマットデータの再生制御情報ファイルに、メインストリームとサブストリームの両ストリームを利用した高フレームレート画像再生、
    または、メインストリームのみを利用した低フレームレート画像再生のいずれかを選択的に実行可能とするための画像情報を格納し、
    前記MPEG-2TSフォーマットデータとともに情報記録媒体に記録する請求項1に記載の情報処理装置。
  5. 前記再生制御情報ファイルは、プレイリストファイル、またはクリップ情報ファイルである請求項4に記載の情報処理装置。
  6. 前記データ処理部は、
    前記MPEG-2TSフォーマットデータの再生制御情報として利用されるプレイリストファイルに、
    前記サブストリームを格納したパケットの識別子(PID)を記録する請求項4に記載の情報処理装置。
  7. 前記データ処理部は、
    前記MPEG-2TSフォーマットデータの再生制御情報として利用されるクリップ情報ファイルのプログラム情報記録領域に、
    前記メインストリームを格納したパケットの識別子(PID)と、
    前記サブストリームを格納したパケットの識別子(PID)を記録する請求項4に記載の情報処理装置。
  8. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
    前記データ処理部が、
    MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成する情報処理方法。
  9. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    MMTフォーマットデータをMPEG-2TSフォーマットに変換するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    MMTフォーマットデータに含まれる画像データを構成するメインストリームと、サブストリームを異なるパケット識別子(PID)を設定したTSパケットに格納して、PIDに基づくメインストリームのみの選択再生を可能としたMPEG-2TSフォーマットデータを生成させるプログラム。
JP2018518205A 2016-05-18 2017-05-01 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Active JP7014157B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016099838 2016-05-18
JP2016099838 2016-05-18
PCT/JP2017/017113 WO2017199743A1 (ja) 2016-05-18 2017-05-01 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017199743A1 JPWO2017199743A1 (ja) 2019-03-22
JP7014157B2 true JP7014157B2 (ja) 2022-02-01

Family

ID=60325816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518205A Active JP7014157B2 (ja) 2016-05-18 2017-05-01 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP7014157B2 (ja)
WO (1) WO2017199743A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020011205A1 (zh) * 2018-07-11 2020-01-16 上海交通大学 基于广播系统的传输协议转换方法及系统
CN111491181A (zh) * 2019-01-29 2020-08-04 上海交通大学 基于广播系统的传输协议转换方法和系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013243687A (ja) 2008-09-17 2013-12-05 Panasonic Corp 記録媒体、再生装置、及び集積回路
JP2015050769A (ja) 2013-08-29 2015-03-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 送信方法および受信方法
JP2016025534A (ja) 2014-07-22 2016-02-08 日本電信電話株式会社 多重化装置
JP2016063534A (ja) 2014-09-12 2016-04-25 パナソニックIpマネジメント株式会社 送信装置、受信装置、送信方法及び受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013243687A (ja) 2008-09-17 2013-12-05 Panasonic Corp 記録媒体、再生装置、及び集積回路
JP2015050769A (ja) 2013-08-29 2015-03-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 送信方法および受信方法
JP2016025534A (ja) 2014-07-22 2016-02-08 日本電信電話株式会社 多重化装置
JP2016063534A (ja) 2014-09-12 2016-04-25 パナソニックIpマネジメント株式会社 送信装置、受信装置、送信方法及び受信方法

Also Published As

Publication number Publication date
JPWO2017199743A1 (ja) 2019-03-22
WO2017199743A1 (ja) 2017-11-23

Similar Documents

Publication Publication Date Title
US7965766B2 (en) Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
JP4211947B2 (ja) 多重化装置および再生装置
US20070110390A1 (en) Picture Coding Apparatus and Picture Decoding Apparatus
JP7031589B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2007535187A (ja) 動画像ストリーム生成装置、動画像ストリーム生成方法、動画像復号化装置、動画像復号化方法、記録方法および動画像復号化システム
US8831405B2 (en) Transmission controller, reception controller, transmission control method, reception control method and transmission control program
JP2015023574A (ja) 蓄積方法、再生方法、蓄積装置、および再生装置
WO2006054590A1 (ja) データ処理装置
JP7074068B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7014157B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070432B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7147755B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7056566B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7070564B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7070433B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015153441A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2003274337A (ja) データ記録装置、データ再生装置、データ記録再生装置及びデータ記録方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103