JP6402631B2 - ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法 - Google Patents

ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法 Download PDF

Info

Publication number
JP6402631B2
JP6402631B2 JP2014560961A JP2014560961A JP6402631B2 JP 6402631 B2 JP6402631 B2 JP 6402631B2 JP 2014560961 A JP2014560961 A JP 2014560961A JP 2014560961 A JP2014560961 A JP 2014560961A JP 6402631 B2 JP6402631 B2 JP 6402631B2
Authority
JP
Japan
Prior art keywords
hdr
information
track
file
tmi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014560961A
Other languages
English (en)
Other versions
JPWO2015008684A1 (ja
Inventor
遼平 高橋
遼平 高橋
幸一 内村
幸一 内村
しのぶ 服部
しのぶ 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015008684A1 publication Critical patent/JPWO2015008684A1/ja
Application granted granted Critical
Publication of JP6402631B2 publication Critical patent/JP6402631B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)

Description

本技術は、ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法に関し、特に、例えば、ユーザが、高ダイナミックレンジの画像であるHDR(high dynamic range)画像を享受する機会を増やすことができるようにするファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法に関する。
近年、画像をディジタルとして取り扱い、その際、効率の高い情報の伝送や蓄積を目的とし、画像特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮を行う符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下 AVCと記す）等がある。
そして、現在、H．264/AVCよりさらなる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。
現時点におけるHEVCのドラフト（非特許文献１）では、"D.2.15 Tone mapping information SEI message syntax"、及び、"D.3.15 Tone mapping information SEI message semantics"において、SEI（Supplemental Enhancement Information）によって、高ダイナミックレンジの画像であるHDR(high dynamic range)画像に関するHDR情報としてのtone_mapping_infoを伝送することが規定されている。
なお、tone_mapping_infoについては、HEVCの他、AVCでも導入されている。
Benjamin Bross他、"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)" , Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12th Meeting： Geneva, CH, 14-23 Jan. 2013 (Document： JCTVC-L1003_v34, Date： 2013年03月19日)
現在、HDR画像を撮影するカメラや、HDR画像を表示するディスプレイが普及しつつあり、かかる状況下においては、HDR情報については、HEVCやAVCのフォーマット以外のファイルフォーマットや、データフォーマットへの導入を促進し、ユーザが、HDR画像を享受する機会を増やすことが要請される。
本技術は、このような状況に鑑みてなされたものであり、ユーザが、HDR画像を享受する機会を増やすことができるようにするものである。
本技術の第１のファイル生成装置は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報と、注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックが格納されたファイルを生成するファイル生成部を備えるファイル生成装置である。
本技術の第１のファイル生成方法は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報と、注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックが格納されたファイルを生成するステップを含むファイル生成方法である。
本技術の第１のファイル生成装置、及び、ファイル生成方法においては、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報と、注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックが格納されたファイルが生成される。
本技術の第１のファイル再生装置は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報と、注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報を取得する取得部を備えるファイル再生装置である。
本技術の第１のファイル再生方法は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報と、注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報を取得するステップを含むファイル再生方法である。
本技術の第１のファイル再生装置、及び、ファイル再生方法においては、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報と、注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報が取得される。
本技術の第２のファイル生成装置は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報のストリームのトラックであるHDR情報トラックと、注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックとが格納されたファイルを生成するファイル生成部を備えるファイル生成装置である。
本技術の第２のファイル生成方法は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報のストリームのトラックであるHDR情報トラックと、注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックとが格納されたファイルを生成するステップを含むファイル生成方法である。
本技術の第２のファイル生成装置、及び、ファイル生成方法においては、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報のストリームのトラックであるHDR情報トラックと、注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックとが格納されたファイルが生成される。
本技術の第２のファイル再生装置は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報のストリームのトラックであるHDR情報トラックと、注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックとが格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報を取得する取得部を備えるファイル再生装置である。
本技術の第２のファイル再生方法は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報のストリームのトラックであるHDR情報トラックと、注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックとが格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報を取得するステップを含むファイル再生方法である。
本技術の第２のファイル再生装置、及び、ファイル再生方法においては、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報のストリームのトラックであるHDR情報トラックと、注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報とを含む前記注目トラックとが格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報が取得される。
なお、ファイル生成装置やファイル再生装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、ファイルは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、ユーザが、HDR画像を享受する機会を増やすことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した信号処理システムの一実施の形態の構成例を示す図である。 信号処理システムで行われるmode-iの信号処理の例を示す図である。 マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iの信号処理の流れを示す図である。 信号処理システムで行われるmode-iiの信号処理の例を示す図である。 マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iiの信号処理の流れを示す図である。 HEVC方式のアクセスユニットの構成を示す図である。 HEVC方式で規定されているtone_mapping_infoのシンタクスを示す図である。 tone_map_model_idとして、各値が設定されたTMIと、変換情報及び特性情報との関係を示す図である。 変換情報としての、tone_map_model_id＝0のtone_mapping_infoが表す変換規則としてのトーンカーブの例を示す図である。 変換情報としての、tone_map_model_id＝2のTMIが表す変換規則としての階段関数の例を示す図である。 変換情報としての、tone_map_model_id＝3のTMIが表す変換規則としての折れ線関数の例を示す図である。 特性情報に含まれる各情報の例を示す図である。 MP4ファイルのMovieの例を示す図である。 MP4ファイルにおけるメディアデータ(Movie)の論理的な配置の例を示す図である。 MP4ファイルのデータ構造を示す図である。 メディアデータが格納されるMP4ファイルのデータ構造の例を示す図である。 fragmented movieのMP4ファイルと、non-fragmented movieのMP4ファイルとの例を示す図である。 DECE(Digital Entertainment Content Ecosystem) CFF(Common File Format)を説明する図である。 SMPTE-TTのSTのデータの例を示す図である。 生成装置１の第１の構成例を示すブロック図である。 生成装置１で生成されるMP4ファイルの例を示す図である。 trefボックスの定義を示す図である。 vtmiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。 tirfボックスの定義の例を示す図である。 生成装置１で生成されるMP4ファイルの他の例を示す図である。 符号化処理部２２の構成例を示すブロック図である。 変換部３３による、HDRデータをSTDデータに変換する変換の処理の例を示す図である。 tone mappingの例を示す図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 ステップＳ４において行われるヘッダ情報生成処理の例を説明するフローチャートである。 再生装置２の第１の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ４３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ４４において行われるmode-iiの復号処理の例を説明するフローチャートである。 表示装置３の構成例を示すブロック図である。 表示装置３が行う表示処理の例を説明するフローチャートである。 生成装置１の第２の構成例を示すブロック図である。 生成装置１で生成される第２のMP4ファイルの例を示す図である。 tinfボックスの定義の例を示す図である。 ToneMapInfoのシンタクスの第１の例を示す図である。 ToneMapInfoのシンタクスの第２の例を示す図である。 ToneMapInfoのシンタクスの第３の例を示す図である。 生成装置１で生成される第２のMP4ファイルの他の例を示す図である。 符号化処理部１２２の構成例を示すブロック図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ１１２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ１１３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 ステップＳ１１４において行われるヘッダ情報生成処理の例を説明するフローチャートである。 再生装置２の第２の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ１５３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ１５４において行われるmode-iiの復号処理の例を説明するフローチャートである。 生成装置１の第３の構成例を示すブロック図である。 生成装置１で生成される第３のMP4ファイルの例を示す図である。 tmpiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。 第３のMP4ファイルに格納されるTMIトラック（tone map track）のmdatボックスに格納される実データとしてのTMIのサンプル(ToneMapSample)のシンタクスの例を示す図である。 TMIのサンプル(ToneMapSample)のデータ構造の例を示す図である。 生成装置１で生成される第３のMP4ファイルの他の例を示す図である。 符号化処理部２０２の構成例を示すブロック図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ２０２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ２０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 ステップＳ２０４において行われるヘッダ情報生成処理の例を説明するフローチャートである。 再生装置２の第３の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ２５３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ２５４において行われるmode-iiの復号処理の例を説明するフローチャートである。 生成装置１の第４の構成例を示すブロック図である。 符号化処理部３０２の構成例を示すブロック図である。 HDR格納エレメントの例を示す図である。 toneMapRef属性、及び、hdrInfoRef属性の定義の例を示す図である。 新TTデータの第１の例を示す図である。 新TTデータの第２の例を示す図である。 新TTデータの第３の例を示す図である。 新TTデータの第４の例を示す図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ３０２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ３０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 再生装置２の第４の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ３３３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ３３４において行われるmode-iiの復号処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した信号処理システムの実施の形態＞
図１は、本技術を適用した信号処理システムの一実施の形態の構成例を示す図である。
図１の信号処理システムは、生成装置１、再生装置２、及び、表示装置３を有する。再生装置２と表示装置３とは、例えば、HDMI（登録商標）(High Definition Multimedia Interface)等のケーブル４を介して接続される。再生装置２と表示装置３とは、他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。
生成装置１は、コンテンツのストリームを生成して提供する。再生装置２は、生成装置１から提供されるストリームから、コンテンツを再生する。
生成装置１は、ストリームを、例えば、そのまま提供することができる。また、生成装置１は、ストリームを、例えば、IPパケット等の所定のパケットに格納し、又は、例えば、ISO/IEC14496-14に規定されたMP4ファイル等の所定のファイルに格納して、提供することができる。
また、生成装置１において、ストリームは、例えば、Blu-ray（登録商標）ディスク等の記録媒体１１に記録して、又は、例えば、地上波や、インターネット等の伝送媒体１２を介して伝送することにより、提供することができる。
ここで、生成装置１において、ストリームをファイルに格納する場合において、そのストリームを格納するファイルとしては、MP4ファイルの他、例えば、ISO/IEC 14496-12で規定されているファイル（ISO base media file formatのファイル）や、ISO/IEC 14496-15で規定されているファイル、QuickTime形式のファイル、その他の、ボックス構造を有するファイル、さらには、ボックス構造を有しないファイルを採用することができる。
生成装置１に対しては、標準の輝度のモニタで表示可能な所定のダイナミックレンジ（輝度範囲）の画像であるSTD(standard)画像よりも高ダイナミックレンジの画像であるHDR(High Dynamic Range)画像が入力される。標準の輝度は、例えば、100cd/m2（＝100nit）である。なお、STD画像、及び、HDR画像は、特に限定されるものではない。すなわち、STD画像、及び、HDR画像とは、ダイナミックレンジだけが異なる画像であり、後述する変換情報に従って、一方を他方に変換することができる関係にある画像を意味する。したがって、STD画像は、ダイナミックレンジだけがHDR画像よりも低い（小さい）画像であり、HDR画像は、ダイナミックレンジだけがSTD画像よりも高い（広い）画像である。
ここで、画像には、ビデオや、グラフィクス、バックグラウンド（背景画像）、サブタイトル、その他、表示可能なメディアが含まれる。なお、サブタイトル（字幕やクローズドキャプション等）のデータ形式は、テキスト及びイメージのいずれであってもよい。
生成装置１に対しては、例えば、複数のビデオや、１以上のビデオと１以上のグラフィクス等の複数のHDR画像が入力される。
以下では、説明を簡単にするために、生成装置１に対して、例えば、１（シーケンス）のHDR画像のビデオ（以下、HDRビデオともいう）と、１（シーケンス）のHDR画像のサブタイトル（以下、HDR ST(HDR subtitle)ともいう）とが入力されることとする。
但し、生成装置１に対して入力するデータとしては、その他、ビデオとグラフィクスや、ビデオとグラフィクスとサブタイトル、グラフィクスとサブタイトル、グラフィクスだけ等の任意の画像を採用することができる。さらに、生成装置１に対して入力するビデオやサブタイトル等の同一種類のメディアの画像は、１つ（１シーケンス）に限定されるものではなく、複数（シーケンス）であってもよい。
また、HDRビデオとHDR STとを、特に区別する必要がない場合、それらをまとめてHDRデータともいう。
さらに、HDRビデオ及びHDR STのダイナミックレンジを、標準の輝度のモニタで表示可能な所定のダイナミックレンジに圧縮したSTD画像のビデオ及びST（サブタイトル）を、それぞれ、STDビデオ及びSTD STともいう。
また、STDビデオとSTD STとを、特に区別する必要がない場合、それらをまとめてSTDデータともいう。
STDデータのダイナミックレンジを、例えば、0-100％とすると、HDRデータのダイナミックレンジは、例えば、0-500％や、0-1000％等といったような、0％から101％以上の範囲で表される。
生成装置１は、例えば、入力されたマスタのHDRデータを、そのまま符号化し、例えば、MP4ファイルに格納する。
あるいは、生成装置１は、入力されたマスタのHDRデータをSTDデータに変換して符号化し、例えば、MP4ファイルに格納する。
MP4ファイルには、HDRデータ、又は、STDデータの他、マスタのHDRデータの輝度の特性を示す特性情報と、HDRデータ及びSTDデータのうちの一方を他方に変換する変換規則を表す変換情報とが、さらに格納される。
ここで、HDRビデオ、及び、STDビデオとしては、例えば、横×縦の解像度が4096×2160画素や、3840×2160画素等の、いわゆる4K解像度のビデオを採用することができる。
また、ビデオの符号化の方式としては、例えば、HEVC方式や、AVC方式、その他の任意の方式を採用することができる。すなわち、ビデオの符号化（復号）の方式は、HEVC方式やAVC方式等に限定されるものではない。
HDR画像の輝度の特性を示す特性情報と、HDR画像とSTD画像とのうちの一方を他方に変換する変換規則を表す変換情報とを、HDR情報ということとすると、例えば、HEVC方式では、HDR情報として、tone_mapping_infoが規定されている。さらに、HEVC方式では、HDR情報としてのtone_mapping_infoを、SEIに含めて伝送することが規定されている。
再生装置２は、ケーブル４を介して表示装置３と通信を行い、表示装置３の表示性能に関する情報を取得する。再生装置２は、表示装置３が、HDRデータの表示が可能なモニタであるHDRモニタを有する装置であるのか、STDデータの表示しかできないモニタであるSTDモニタを有する装置であるのかを特定する。
また、再生装置２は、記録媒体１１に記録されたMP4ファイルを読み出すことにより取得し、又は、伝送媒体１２を介して伝送されてくるMP4ファイルを受信することにより取得し、そのMP4ファイルに格納されたデータを再生する。
すなわち、再生装置２は、MP4ファイルに格納されたビデオのストリームであるビデオストリームと、ST(subtitle)のストリームであるSTストリームとを復号する。
そして、例えば、再生装置２は、復号して得られたデータがHDRデータであり、表示装置３がHDRモニタを有する場合、復号して得られたHDRデータを表示装置３に出力する。この場合、再生装置２は、HDRデータとともに、MP4ファイルに格納されている特性情報を表示装置３に出力する。
一方、再生装置２は、復号して得られたデータがHDRデータであり、表示装置３がSTDモニタを有する場合、復号して得られたHDRデータをSTDデータに変換し、STDデータを出力する。HDRデータのSTDデータへの変換は、MP4ファイルに格納されている変換情報を用いて行われる。
再生装置２は、復号して得られたデータがSTDデータであり、表示装置３がHDRモニタを有する場合、復号して得られたSTDデータをHDRデータに変換し、HDRデータを表示装置３に出力する。STDデータのHDRデータへの変換は、MP4ファイルに格納されている変換情報を用いて行われる。この場合、再生装置２は、HDRデータとともに、MP4ファイルに格納されている特性情報を表示装置３に出力する。
また、再生装置２は、復号して得られたデータがSTDデータであり、表示装置３がSTDモニタを有する場合、復号して得られたSTDデータを表示装置３に出力する。
表示装置３は、再生装置２から送信されてくるSTDデータ又はHDRデータを受信し、STDデータ又はHDRデータに基づいて、対応するSTD画像又はHDR画像をモニタに表示する。
例えば、表示装置３は、特性情報が送信されてきた場合、その特性情報とともに再生装置２から送信されてきたデータがHDRデータであるとして認識する。上述したように、HDRモニタを有する表示装置３に対しては、HDRデータとともに、特性情報が送信されてくる。
この場合、表示装置３は、HDRデータに対応するHDR画像を、特性情報により指定される特性に従って表示する。すなわち、表示装置３は、表示装置３が有するモニタが0-500％のダイナミックレンジを有するモニタであり、特性情報により、HDRデータのダイナミックレンジが0-500％の所定の特性であると指定された場合、その所定の特性に従って、0-500％の範囲で輝度を調整してHDR画像を表示する。
マスタのHDRデータの輝度の特性を指定することができるようにすることにより、コンテンツのオーサ（Author）は、意図したとおりの輝度で画像を表示させることが可能になる。
通常、TV（テレビジョン受像機）等の表示装置は、外部から入力されたデータを0-100％のダイナミックレンジを有するデータとして認識する。また、表示装置は、自身のモニタがそれより広い（高い）ダイナミックレンジを有する場合には、モニタの特性に応じて輝度を自ら拡張して画像を表示させることがある。輝度の特性を指定し、指定した特性に従ってHDRデータの輝度を調整させることにより、オーサの意図しない輝度調整が表示装置側で行われるのを防ぐことが可能になる。
また、通常、TVなどの表示装置にデータを出力する再生装置は、伝送路の特性に応じて輝度を変換してからデータを出力する。そのデータを受信した表示装置は、受信したデータの輝度をモニタの特性に応じて変換し、画像を表示させることになる。再生装置２において輝度の変換を行わずに、再生装置２からHDRデータのまま表示装置３に出力させることにより、輝度変換の回数を減らすことができ、マスタにより近い輝度の画像を表示装置３に表示させることが可能になる。
一方、表示装置３は、特性情報が送信されてこない場合、再生装置２から送信されたデータがSTDデータであると認識し、STDデータに対応するSTD画像を表示する。再生装置２からSTDデータが送信されてくるということは、表示装置３はSTDモニタを有する装置である。
また、生成装置１によりMP4ファイルにオーディオデータが格納される場合には、再生装置２は、そのオーディオデータを再生し、表示装置３に送信する。表示装置３は、再生装置２から送信されてくるオーディオデータに基づいて、対応する音声をスピーカから出力する。
以下、マスタのHDRデータを、そのダイナミックレンジを維持したままMP4ファイルに格納する処理モードをmode-iといい、マスタのHDRデータをSTDデータに変換してMP4ファイルに格納する処理モードをmode-iiという。
＜mode-iの信号処理＞
図２は、図１の信号処理システムで行われるmode-iの信号処理の例を示す図である。
実線L1で囲んで示す左側の処理が生成装置１において行われる符号化処理を示し、実線L2で囲んで示す右側の処理が再生装置２において行われる復号処理を示す。
マスタのHDRデータが入力された場合、生成装置１は、マスタのHDRデータの輝度を検出し、矢印＃１で示すように、特性情報を生成する。また、生成装置１は、矢印＃２−１で示すように、マスタのHDRビデオを、例えば、HEVC方式で符号化して符号化データを生成し、矢印＃２−２で示すように、マスタのHDR STを符号化して、STのストリームであるSTストリームを生成する。
生成装置１は、矢印＃３で示すように、マスタのHDRデータをSTDデータに変換する。変換して得られたSTDデータに対応するSTD画像は図示せぬモニタに表示される。HDRデータのSTDデータへの変換は、適宜、変換後のSTDデータに対応するSTD画像をオーサが目で確認し、変換パラメータを調整しながら行われる。
オーサによる調整に基づいて、生成装置１は、矢印＃４で示すように、変換情報を生成する。
変換情報は、標準のダイナミックレンジより広い0-400％等の高ダイナミックレンジにおける各輝度値と、標準のダイナミックレンジである0-100％のダイナミックレンジにおける各輝度値とのうちの一方を他方に変換する変換規則を表し、したがって、それらの輝度値どうしの対応関係を表す。
生成装置１は、矢印＃５で示すように、特性情報と変換情報をSEIとしてHDRビデオの符号化データに挿入し、ビデオストリームを生成する。生成装置１は、生成したビデオストリームと、HDR STのSTストリームをMP4ファイルに格納し、矢印＃１１に示すように再生装置２に提供する。
このように、HDRビデオ及びHDR STの特性情報と変換情報は、SEIを用いて、ビデオストリーム中に挿入する形で再生装置２に提供される。
再生装置２は、MP4ファイルからSTストリームを読み出し、矢印＃２０で示すように、STストリームを復号し、HDR STを生成する。
また、再生装置２は、MP4ファイルからビデオストリームを読み出し、矢印＃２１，＃２２で示すように、ビデオストリームのSEIから特性情報と変換情報を抽出する。
また、再生装置２は、矢印＃２３で示すように、ビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成する。再生装置２は、表示装置３がHDRモニタを有する場合、矢印＃２４で示すように、復号して得られたHDRデータに特性情報を付加し、矢印＃２５で示すように表示装置３に出力する。
一方、再生装置２は、表示装置３がSTDモニタを有する場合、矢印＃２６で示すように、ビデオストリームから抽出された変換情報を用いて、復号して得られたHDRデータをSTDデータに変換する。再生装置２は、矢印＃２７で示すように、変換して得られたSTDデータを表示装置３に出力する。
このように、復号して得られたHDRデータは、特性情報とともに、HDRモニタを有する表示装置３に出力される。又は、復号して得られたHDRデータは、STDデータに変換された後、STDモニタを有する表示装置３に出力される。
図３は、マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iの信号処理の流れを示す図である。
マスタのHDRデータは、白抜き矢印＃５１で示すように、マスタのHDRデータに基づいて生成装置１において生成された特性情報と変換情報とともに再生装置２に提供される。特性情報には、例えば、ダイナミックレンジが0-400%の範囲に拡張されていることを表す情報が含まれる。
表示装置３がHDRモニタを有する場合、再生装置２においては、矢印＃５２，＃５３で示すように、復号して得られたHDRデータに特性情報が付加される。また、特性情報が付加されたHDRデータが矢印＃５４で示すように表示装置３に出力される。
一方、表示装置３がSTDモニタを有する場合、再生装置２においては、矢印＃５５，＃５６で示すように、復号して得られたHDRデータが変換情報を用いてSTDデータに変換される。また、変換して得られたSTDデータが矢印＃５７で示すように表示装置３に出力される。図３において、HDRデータを示す波形の振幅とSTDデータを示す波形の振幅は、それぞれダイナミックレンジを示す。
このように、mode-iにおいては、マスタのHDRデータがHDRデータのままMP4ファイルに格納される。また、出力先となる表示装置３の性能に応じて、復号して得られたHDRデータをそのまま特性情報を付加して出力するのか、HDRデータをSTDデータに変換して出力するのかが切り替えられる。
＜mode-iiの信号処理＞
図４は、図１の信号処理システムで行われるmode-iiの信号処理の例を示す図である。
マスタのHDRデータが入力された場合、生成装置１は、マスタのHDRデータの輝度を検出し、矢印＃７１で示すように特性情報を生成する。
生成装置１は、矢印＃７２で示すように、マスタのHDRデータをSTDデータに変換する。変換して得られたSTDデータに対応するSTD画像は、図示せぬモニタに表示される。
オーサによる調整に基づいて、生成装置１は、矢印＃７３で示すように、変換情報を生成する。
また、生成装置１は、矢印＃７４−１で示すように、マスタのHDRビデオを変換して得られたSTDビデオを、例えば、HEVC方式で符号化して符号化データを生成する。また、矢印＃７４−２で示すように、マスタのHDR STを変換して得られたSTD STを符号化してSTストリームを生成する。
生成装置１は、矢印＃７５で示すように、特性情報と変換情報をSEIとして符号化データに挿入し、ビデオストリームを生成する。生成装置１は、生成したビデオストリームとSTストリームを、MP4ファイルに格納し、矢印＃９１に示すように再生装置２に提供する。
再生装置２は、MP4ファイルからビデオストリームを読み出し、矢印＃１０１，＃１０２で示すように、ビデオストリームのSEIから特性情報と変換情報を抽出する。
また、再生装置２は、矢印＃１０３−１で示すように、ビデオストリームに含まれる符号化データをHEVC方式で復号してSTDビデオを生成し、矢印＃１０３−２で示すように、STストリームを復号してSTD STを生成する。再生装置２は、表示装置３がSTDモニタを有する場合、矢印＃１０４で示すように、復号して得られたSTDデータを表示装置３に出力する。
一方、再生装置２は、表示装置３がHDRモニタを有する場合、矢印＃１０５で示すように、ビデオストリームから抽出された変換情報を用いて、復号して得られたSTDデータをHDRデータに変換する。再生装置２は、矢印＃１０６で示すように、変換して得られたHDRデータに特性情報を付加し、矢印＃１０７で示すように表示装置３に出力する。
このように、復号して得られたSTDデータは、HDRデータに変換された後、特性情報とともに、HDRモニタを有する表示装置３に出力される。又は、復号して得られたSTDデータは、STDモニタを有する表示装置３にそのまま出力される。
図５は、マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iiの信号処理の流れを示す図である。
マスタのHDRデータは、白抜き矢印＃１２１で示すように、STDデータに変換された後、マスタのHDRデータに基づいて生成装置１において生成された特性情報と変換情報とともに再生装置２に提供される。
表示装置３がHDRモニタを有する場合、再生装置２においては、矢印＃１２２，＃１２３で示すように、復号して得られたSTDデータが変換情報を用いてHDRデータに変換される。また、矢印＃１２４，＃１２５で示すように、STDデータを変換して得られたHDRデータに特性情報が付加され、矢印＃１２６で示すように表示装置３に出力される。
一方、表示装置３がSTDモニタを有する場合、再生装置２においては、矢印＃１２７で示すように、復号して得られたSTDデータが表示装置３に出力される。
このように、mode-iiにおいては、マスタのHDRデータがSTDデータに変換されてMP4ファイルに格納される。また、出力先となる表示装置３の性能に応じて、復号して得られたSTDデータをHDRデータに変換し、特性情報を付加して出力するのか、STDデータをそのまま出力するのかが切り替えられる。
以上のような生成装置１と再生装置２の構成と動作の詳細については後述する。
＜HEVC方式におけるアクセスユニットの構成＞
図６は、HEVC方式のアクセスユニットの構成を示す図である。
HEVC方式のビデオストリームは、NAL(Network Abstraction Layer)ユニットの集まりであるアクセスユニットから構成される。１つのアクセスユニットには、例えば、１ピクチャのビデオデータが含まれる。
図６に示すように、１つのアクセスユニットは、AUデリミタ(Access Unit delimiter)、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI、VCL(Video Coding Layer)、EOS(End of Sequence)、及び、EOS(End of Stream)から構成される。
AUデリミタは、アクセスユニットの先頭を示す。VPSは、ビットストリームの内容を表すメタデータを含む。SPSは、ピクチャサイズ、CTB(Coding Tree Block)サイズ等の、HEVCデコーダがシーケンスの復号処理を通じて参照する必要のある情報を含む。PPSは、HEVCデコーダがピクチャの復号処理を実行するために参照する必要のある情報を含む。
SEIは、各ピクチャのタイミング情報やランダムアクセスに関する情報等を含む補助情報である。特性情報と変換情報は、SEIの１つであるtone_mapping_infoとして、HEVC方式のビデオストリームに含めることができる。tone_mapping_infoには、tone_mapping_infoを識別する識別情報としてのtone_map_idが付与される。
VCLは、１ピクチャの符号化データである。EOS(End of Sequence)は、シーケンスの終了位置を示し、EOS(End of Stream)はストリームの終了位置を示す。
＜tone_mapping_info＞
図７は、HEVC方式で規定されているtone_mapping_infoのシンタクスを示す図である。
tone_mapping_infoを用いて、復号して得られた画像の明るさや色が、画像の出力先となるモニタの性能に合わせて変換される。なお、図７の左側の行番号とコロン（：）は、シンタクスを構成しない。
２行目のtone_map_idは、tone_mapping_infoの識別情報である。８行目のtone_map_model_idは、変換に用いるtone mapのモデル（変換規則）を表す。
tone_mapping_infoのシンタクス上、tone_map_model_idは、0,1,2,3,4の値をとることができる。
tone_map_model_idが、0,1,2、及び、3のうちのいずれかの値になっているtone_mapping_info（以下、適宜、TMIと略す）が、変換情報に対応し、tone_map_model_idが、4になっているTMIが、特性情報に対応する。
なお、HEVC方式では、変換情報としてのTMIについては、tone_map_model_idとして、0,2、又は、3をとることが許されており、本実施の形態でも、変換情報としてのTMIのtone_map_model_idは、0,2、及び、3のうちのいずれかの値であることとする。
生成装置１は、HDR情報、すなわち、変換情報と特性情報との両方を、MP4ファイルに含める。そのため、生成装置１においては、変換情報としての、tone_map_model_idが0,2、及び、3のうちのいずれかの値のTMIと、特性情報としての、tone_map_model_idが4のTMIとが、少なくとも１つずつ生成される。
図７の９〜１１行目は、tone_map_model_id＝0に関する記述である。tone_map_model_id＝0である場合、min_valueとmax_valueが記述される。
図７の１５〜１７行目は、tone_map_model_id＝2に関する記述である。tone_map_model_id＝2である場合、階段関数を表す、max_target_dataの数と同じ数のstart_of_coded_interval[i]が記述される。
図７の１８〜２３行目は、tone_map_model_id＝3に関する記述である。tone_map_model_id＝3である場合、折れ線関数を表す、num_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]が記述される。
図７の２４〜３９行目は、tone_map_model_id＝4に関する記述である。tone_map_model_id＝4に関する情報のうちの、例えば、ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value、及びextended_white_level_code_valueが、特性情報を構成するパラメータとなる。
図８は、tone_map_model_idとして、各値が設定されたTMIと、変換情報及び特性情報との関係を示す図である。
図８に示すように、tone_map_model_idとして0,2,3のうちのいずれかの値が設定されたTMIが、変換情報に対応し、tone_map_model_idとして4が設定されたTMIが、特性情報に対応する。
図９は、変換情報としての、tone_map_model_id＝0のtone_mapping_infoが表す変換規則としてのトーンカーブの例を示す図である。
図９の横軸は、coded_data（変換前のRGB値）を示し、縦軸は、target_data（変換後のRGB値）を示す。図９のトーンカーブを用いた場合、値D1以下のRGB値は、白抜き矢印＃１５１で示すようにmin_valueにより示されるRGB値に変換される。また、値D2（＞D1）以上のRGB値は、白抜き矢印＃１５２で示すようにmax_valueにより示されるRGB値に変換される。
tone_map_model_id＝0のTMIを用いた変換では、max_valueを超える輝度とmin_valueを下回る輝度（RGB値により表される輝度）は失われるが、変換の処理の負荷は軽くなる。
図１０は、変換情報としての、tone_map_model_id＝2のTMIが表す変換規則としての階段関数の例を示す図である。
図１０の階段関数を用いた場合、例えば、coded_data＝5はtarget_data＝3に変換される。
tone_map_model_id＝2のTMIは、データ量が多いが、変換の処理の負荷は軽い。
図１１は、変換情報としての、tone_map_model_id＝3のTMIが表す変換規則としての折れ線関数の例を示す図である。
図１１の折れ線関数を用いた場合、例えば、coded_data＝D11は、target_data＝D11’に変換され、coded_data＝D12は、target_data＝D12’に変換される。
図１２は、特性情報に含まれる各情報の例を示す図である。
図１２の横軸は、輝度値を示す。ビット長が10bitである場合、輝度値は0-1023の値となる。図１２の縦軸は、明るさを示す。曲線L11が、標準の輝度のモニタにおける輝度値と明るさの関係を示す。標準の輝度のモニタのダイナミックレンジは0-100％である。
ref_screen_luminance_white（図７）は、標準となるモニタの明るさ（STD画像の最大の明るさ）（cd/m2）を示す。extended_range_white_levelは、拡張後のダイナミックレンジの明るさ（HDR画像の最大の明るさ）を示す。図１２の例の場合、extended_range_white_levelの値として400が設定される。
nominal_black_level_code_valueは、黒（明るさ0％）の輝度値を示し、nominal_white_level_code_valueは、標準の輝度のモニタにおける白（明るさ100％）の輝度値を示す。extended_white_level_code_valueは、拡張後のダイナミックレンジにおける白の輝度値を示す。
図１２の例の場合、白抜き矢印＃１６１で示すように、0-100％のダイナミックレンジは、extended_range_white_levelの値に従って、0-400％のダイナミックレンジに拡張される。また、400％の明るさに相当する輝度値が、extended_white_level_code_valueにより指定される。
HDRデータの輝度の特性は、nominal_black_level_code_value、nominal_white_level_code_value、extended_white_level_code_valueの値がそれぞれ明るさ0％、100％、400％をとる曲線L12により示される特性となる。
このように、tone_map_model_idとして4の値が設定されたTMIにより、マスタのHDRデータの輝度の特性が示される。
＜MP4ファイル＞
図１３は、MP4ファイルのMovieの例を示す図である。
ここで、MP4ファイルについては、ISO/IEC((International Organization for Standardization/International Engineering Consortium)) 14496-12に、その詳細が規定されている。
MP4ファイルでは、再生対象のビデオや、オーディオ、ST(subtitle)等のメディアデータの集合は、Movieと呼ばれ、Movieは、１以上のトラック(track)から構成される。
再生対象のビデオやST等の独立した１つのメディアデータ（データストリーム（例えば、es(elementary stream)エレメンタリストリーム））が、１つのトラックを構成し、Movieに含まれるトラックのうちの１以上は、同時に再生することができる。
図１３では、Movieは、３つのトラック#1,#2,#3から構成されている。また、トラック#1は、ビデオのデータストリームで、トラック#2は、ビデオに付随する１チャンネルのオーディオのデータストリームで、トラック#3は、ビデオに重畳される１チャンネルのSTのデータストリームで、それぞれ構成されている。
各トラックのメディアデータは、サンプルから構成される。
サンプルとは、MP4ファイル内のメディアデータにアクセスする場合の、最小の単位（アクセス単位）である。したがって、サンプルより細かい単位で、MP4ファイル内のメディアデータにアクセスすることはできない。
ビデオのメディアデータについては、例えば、１フレーム（又は、１フィールド）等が、１サンプルとなる。また、オーディオのメディアデータについては、例えば、そのオーディオのメディアデータの規格で定められた１オーディオフレーム等が、１サンプルとなる。
図１４は、MP4ファイルにおけるメディアデータ(Movie)の論理的な配置の例を示す図である。
メディアデータは、チャンク(chunk)と呼ばれる単位で配置される。
Movieのメディアデータとして、複数のデータ、すなわち、例えば、ビデオのデータストリームと、オーディオのデータストリームと、STのデータストリームとの３つのデータストリームが存在する場合には、その複数のメディアデータが、チャンク単位で、インターリーブして配置される。
ここで、チャンクは、論理的に連続したアドレスに配置される１以上のサンプルの集合である。
図１５は、MP4ファイルのデータ構造を示す図である。
MP4ファイルは、データを格納するコンテナとしてのボックス(box)と呼ばれる単位で構成され、ボックス構造と呼ばれる構造を有する。
ボックスは、４バイトのサイズ(box size)、４バイトのタイプ(box type)、及び、実データ(data)を有する。
サイズは、ボックス全体のサイズを表し、タイプは、ボックス内の実データの種類を表す。
実データとしては、例えば、上述したメディアデータそのもの等のデータの他、ボックスを採用することができる。
すなわち、ボックスは、実データとして、ボックスを持つことができ、これにより、階層構造にすることができる。
図１６は、メディアデータが格納されるMP4ファイルのデータ構造の例を示す図である。
図１６において、MP4ファイルは、ftypボックス(File Type Compatibility Box)，moovボックス(Movie Box)、及び、mdatボックス(Media Data Box)から構成される。
ftypボックスには、ファイルフォーマットの情報、すなわち、例えば、ファイルがMP4ファイルであることや、ボックスのバージョン、MP4ファイルを作成したメーカのメーカ名等が含まれる。
moovボックスには、メディアデータを管理するための、例えば、時間軸やアドレス等のメタデータが含まれる。
mdatボックスには、メディアデータ（AVデータ）が含まれる。
図１７は、fragmented movieのMP4ファイルと、non-fragmented movieのMP4ファイルとの例を示す図である。
fragmented movieのMP4ファイルは、moovボックス(movie box)(MovieBox)、moofボックス(movie fragment box)(MovieFragmentBox)、及び、mdatボックス(media data box)(MediaDataBox)を有する。
non-fragmented movieのMP4ファイルは、moovボックス、及び、mdatボックスを有する。
ここで、図１７において、moovボックスは、trakボックス(tarck box)(TrackBox)を有しており、moofボックスは、trafボックス(track fragment box)(TrackFragmentBox)を有する。
moovボックス、及び、moofボックスには、mdatボックスに格納されるビデオや、オーディオ、ST等のメディアデータ（実データ）を再生するために必要な情報（例えば、表示時刻等）が格納される。
trakボックス、及び、trafボックスには、対応するトラックのデータ（ビデオや、オーディオ、ST等のデータ）ごとに独立したデータシーケンス情報（例えば、表示サイズ等）等が格納される。
mdatボックスには、ビデオや、オーディオ、ST等のメディアデータ（実データ）が格納される。
moofボックスとmdatボックスとのセットが、フラグメント(fragment)と呼ばれる。fragmented movieのMP4ファイルは、moovボックスと、１以上のフラグメントとから構成され、ストリーミングに適している。
一方、non-fragmented movieのMP4ファイルは、フラグメントを有さず、上述したように、moovボックスとmdatボックスとを有する。
図１８は、DECE(Digital Entertainment Content Ecosystem) CFF(Common File Format)を説明する図である。
DECE CFFは、DECEが定めた、MP4ファイルをベースとするファイルフォーマットであり、fragmented movieのMP4ファイルを採用する。
fragmented movieのMP4ファイルでは、１つのフラグメントのmdatボックスに、複数の種類のes(elementary stream)を格納することができるが、DECE CFFでは、１つのフラグメントのmdatボックスに、１つのesが格納される。
また、DECE CFFでは、fragmented movieのMP4ファイルに多重化することができるesが限定されている。
DECE CFFにおいて、fragmented movieのMP4ファイルに多重化することができるオーディオのesとしては、例えば、AVC audio:MPEG4(Moving Picture Experts Group)-AAC(Advanced Audio Coding)，Dolby AC-3があり、ST(subtitle)のesとしては、例えば、SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)がある。
図１９は、SMPTE-TTのSTのデータの例を示す図である。
SMPTE-TTは、W3Cが標準化したXML(Extensible Markup Language)仕様であるTTML(Timed Text Markup Language)にPNG表示機能を追加した規格であり、XMLに時間概念を持たせたSTのデータフォーマットを規定する。
図１９のSMPTE-TTのデータ（文書）によれば、例えば、エレメント１００１において、時刻"00:00:05:05"から時刻"00:00:10:05"までの間に、STとしてのテキスト"subtitle#1 is presented"が表示される。
また、例えば、エレメント１００２において、時刻"00:00:10:05"から時刻"00:00:15:05"までの間に、STとしてのテキスト"subtitle#2 is presented"が表示される。
本実施の形態では、STのデータ（フォーマット）として、SMPTE-TTを採用することとするが、STのデータとしては、XML以外の、例えば、HTML(HyperText Markup Language)その他のマークアップ言語を利用したフォーマット、さらには、その他の任意のフォーマットを採用することができる。
＜生成装置１の第１の構成例＞
図２０は、図１の生成装置１の第１の構成例を示すブロック図である。
図２０において、生成装置１は、コントローラ２１、符号化処理部２２、及び、ファイル生成部２３を有する。
図２０の生成装置１では、マスタのHDRデータが符号化処理部２２に入力される。
コントローラ２１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等より構成される。コントローラ２１は、所定のプログラムを実行し、生成装置１の全体の動作を制御する。
コントローラ２１においては、所定のプログラムが実行されることによってヘッダ情報生成部２１Ａが実現される。
ヘッダ情報生成部２１Ａは、符号化処理部２２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックス(ToneMappingInformationReferecenceBox)を含むmoofボックスと、vtmiボックス（reference_typeが"vtmi"のTrackReferenceTypeBox）を含むmoovボックスとを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
又は、ヘッダ情報生成部２１Ａは、符号化処理部２２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックスと、vtmiボックスを含むmoovボックスを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
tirfボックス、及び、vtmiボックスについては、後述する。
符号化処理部２２は、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２３に出力する。
また、符号化処理部２２は、ビデオやSTに適用するTMI(tone_mapping_info)のtone_map_idを、コントローラ２１（のヘッダ情報生成部２１Ａ）に供給する。
ファイル生成部２３は、コントローラ２１（のヘッダ情報生成部２１Ａ）から供給されるヘッダ情報と、符号化処理部２２から供給されるビデオストリーム及びSTストリームとを格納したMP4ファイルを生成して出力する。
図２１は、図２０の生成装置１で生成されるMP4ファイルの例を示す図である。
図２１のMP4ファイルは、フラグメントを有するfragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
したがって、図２１のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
ここで、MP4ファイルに格納されるビデオストリームが、ビデオを、例えば、HEVC方式で符号化することにより得られたストリームであり、TMIを含んでいるストリームであることとすると、ビデオのトラックには、TMIが含まれる。
図２１のMP4ファイルは(後述する図２５のMP4ファイルも同様）、HEVC方式で符号化されたビデオストリームの他、例えば、AVC方式で符号化されたビデオストリーム等の、TMI（TMIと同様のHDR情報（特性情報及び変換情報）を含む）が含まれるビデオストリームを、MP4ファイルに格納する場合に適用することができる。
図２０の生成装置１は、ビデオのトラックに含まれるTMIを、ビデオのトラック以外の、例えば、STのトラックから参照し、STのトラックに、いわば流用して適用することができるMP4ファイルを生成する。
そのため、moovボックスのST(subtitle)のtrakボックスは、vtmiボックスを有するtrefボックス(TrackReferenceBox)を有している。
trefボックスは、TrackReferenceTypeBoxを持つことができるが、vtmiボックスは、TrackReferenceTypeBoxの一種として新規に定義されたボックスである。
いま、vtmiボックスを有する、あるSTのトラックを、注目する注目トラックとして注目すると、注目トラックとしてのSTのトラックが有するvtmiボックスには、注目トラックに適用するTMI（HDR情報）を含むトラック、すなわち、ここでは、ビデオのトラックを指定するトラック指定情報としての、ビデオのトラックのtrack_id（を表す後述するtrack_IDs[]）が格納される。
したがって、注目トラックとしてのSTのトラックが有するvtmiボックスに格納されているtrack_idによって、注目トラックに適用するTMIを含むトラックとして参照すべき参照トラックを認識することができる。
なお、TMIを含むビデオのトラックを、注目トラックとして注目すると、注目トラックとしてのビデオのトラックが、そのビデオのトラックに適用するTMIを含むトラックとして参照すべき参照トラックになる。
このように、注目トラックが、その注目トラックに適用するTMIを含む参照トラックである場合には、注目トラックについては、参照トラックのtrack_idを格納したvtmiボックスを有するtrefボックスを、moovボックスの、注目トラックのtrakボックスに格納することを省略することができる。
この場合、moovボックスの、注目トラックのtrakボックスに、vtmiボックスを有するtrefボックスが存在しない場合には、注目トラックが参照トラックであると認識することができる。
図２１では、moovボックスのビデオのtrakボックスに、vtmiボックスを有するtrefボックスが格納されておらず、したがって、ビデオのトラックについては、そのビデオのトラックが、参照トラックとして認識される。
ここで、注目トラックが、その注目トラックに適用するTMIを含む参照トラックである場合であっても、参照トラックのtrack_idを格納したvtmiボックスを有するtrefボックスを、moovボックスの、注目トラックのtrakボックスに格納することができる。
すなわち、例えば、図２１において、ビデオのトラックについて、STのトラックと同様に、参照トラックとしてのビデオのトラックのtrack_idを格納したvtmiボックスを有するtrefボックスを、moovボックスのビデオのtrakボックスに格納することができる。
なお、参照トラックとなるトラックのtrack_idを、あらかじめ決めておくことにより、vtmiボックスを有するtrefボックスは、省略することができる。
図２１のMP4ファイルでは、ビデオ及びSTのそれぞれのトラックのmoofボックスは、そのトラックに適用するTMIを指定するHDR指定情報としての、tone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスを有するtrafボックスを有する。
注目トラックのtirfボックスに格納されたtone_mapping_info_id_refを参照することにより、そのtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIとして認識される。
なお、fragmented movieのMP4ファイルは、フラグメントごとに、moofボックスを有する。あるフラグメントのデータには、そのフラグメントのmoofボックスが有するtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
有効なTMIとは、例えば、復号済みの（取得されている）TMIのうちの最新のTMIである。
fragmented movieのMP4ファイルでは、図２１に示すように、TMIを含むビデオのトラックのmoofボックスが有するtrafボックスには、ビデオのトラックに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#2が格納される。
また、ビデオのトラックに含まれるTMIを参照するSTのトラックについては、moovボックスのST(subtitle)のトラックのtrakボックスのtrefボックスに、参照トラックとしてのビデオのトラックのtrack_idが格納されたvtmiボックスB#1が格納される。
さらに、STのトラックについては、そのSTのトラックのmoofボックスが有するtrafボックスに、STのトラックに適用するTMI（参照トラックとしてのビデオのトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#3が格納される。
したがって、図２１のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、moovボックスのビデオのtrakボックスが、vtmiボックスを有するtrefボックスを有しないので、注目トラックであるビデオのトラックが、そのビデオのトラックに適用するTMIを含む参照トラックであることを認識することができる。
そして、参照トラックに含まれるTMIのうちの、注目トラックであるビデオのトラックのmoof/tarf/tirfボックス（moofボックスが有するtarfボックスが有するtirfボックス）B#2に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
また、図２１のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/vtmiボックス（trakボックスが有するtrefボックスが有するvtmiボックス）B#1に格納されたtrack_idによって、ビデオのトラックが、STのトラックに適用するTMIを含む参照トラックであることを認識することができる。
そして、参照トラックに含まれるTMIのうちの、注目トラックであるSTのトラックのmoof/tarf/tirfボックスB#3に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
図２２は、trefボックスの定義を示す図である。
trefボックスは、図２１で説明したように、TrackReferenceTypeBoxを持つことができる。
TrackReferenceTypeBoxについては、そのTrackReferenceTypeBoxのrefernce_typeを、TrackReferenceTypeBoxの用途に応じて任意に定義して使用することができる。
本実施の形態では、TrackReferenceTypeBoxを、TMIを含むビデオのトラックのtrack_idを格納する用途に用いることを表すrefernce_typeとして、"vtmi"を新規に定義し、refernce_typeが"vtmi"になっているTrackReferenceTypeBoxが、TMIを含むビデオのトラックのtrack_idを格納するvtmiボックスとして使用される。
図２３は、vtmiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。
vtmiボックスは、track_idを表すtrack_IDs[]を有する（格納する）。
track_IDs[]は、配列変数であり、複数のtrack_idを格納することができる。したがって、vtmiボックスによれば、STのトラックに適用するTMIを含むトラックとして、複数のトラックを指定することができる。
図２４は、tirfボックスの定義の例を示す図である。
tirfボックス(tone mapping information reference box)(ToneMappingInformationReferenceBox)は、そのtirfボックスを有するトラックに適用するTMIのtone_map_idを表すtone_mapping_info_id_refを格納するボックスとして、新規に定義されたボックスであり、trakボックス（に格納されるstblボックス(sample table box)）、又は、trafボックスに格納される。
図２４において、sample_countは、stszボックスや、stz2ボックス、trunボックスに格納されるsample_countに等しく、サンプル数を表す。
図２４では、tirfボックスは、サンプルごとに、number_of_tone_mapping_info_id_refだけの数のtone_mapping_info_id_refを格納することができる。
したがって、tirfボックスによれば、１サンプルについて、その１サンプルに適用するTMIとして、number_of_tone_mapping_info_id_refだけの数のtone_mapping_info_id_refが表すtone_map_idのTMIを指定することができる。
図２５は、図２０の生成装置１で生成されるMP4ファイルの他の例を示す図である。
図２５のMP4ファイルは、フラグメントを有しないnon-fragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
したがって、図２５のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
図２５でも、図２１と同様に、ビデオのトラックは、TMIを含んでおり、ビデオのトラック以外の、例えば、STのトラックについては、ビデオのトラックに含まれるTMIを適用することができる。
すなわち、non-fragmented movieのMP4ファイルでは、図２５に示すように、moovボックスの、TMIを含むビデオのトラックのtrakボックスが有するstblボックスに、ビデオのトラックに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#11が格納される。
また、ビデオのトラックに含まれるTMIを参照するSTのトラックについては、moovボックスのSTのトラックのtrakボックスが有するtrefボックスに、参照トラックとしてのビデオのトラックのtrack_idを表すtrack_IDs[]（図２３）が格納されたvtmiボックスB#12が格納される。
さらに、STのトラックについては、moovボックスのSTのトラックのtrakボックスが有するstblボックスに、STのトラックに適用するTMI（参照トラックとしてのビデオのトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#13が格納される。
したがって、図２５のMP4ファイルによれば、ビデオのトラックを、注目トラックとして注目すると、moovボックスのビデオのtrakボックスが、vtmiボックスを有するtrefボックスを有しないので、注目トラックであるビデオのトラックが、そのビデオのトラックに適用するTMIを含む参照トラックであることが認識される。
そして、moovボックスのビデオのtrak/stblボックス（trakボックスが有するstblボックス）は、tirfボックスB#11を有しているので、参照トラック（ここでは、ビデオのトラック）に含まれるTMIのうちの、ビデオのtrak/stbl/tirf（trakボックスが有するstblボックスが有するtirfボックス）B#11に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることが認識される。
また、図２５において、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/vtmiボックスB#12が存在するので、そのtrak/tref/vtmiボックスB#12に格納されたtrack_idによって、ビデオのトラックが、STのトラックに適用するTMIを含む参照トラックであることが認識される。
そして、moovボックスの、注目トラックであるSTのトラックのtark/stbl/tirfボックスB#13が存在するので、参照トラックに含まれるTMIのうちの、注目トラックであるSTのトラックのtark/stbl/tirfボックスB#13に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることが認識される。
なお、non-fragmented movieのMP4ファイルでは、注目トラックには、その注目トラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
有効なTMIとは、上述したように、例えば、復号済みの（取得されている）TMIのうちの最新のTMIである。
図２０の生成装置１では、以上のように、HDR情報としてのTMIを含むビデオのトラックと、ビデオのトラックに含まれるTMIのうちの、STのトラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refを含むSTのトラックとが格納されたMP4ファイルが生成されるので、ビデオのトラックに含まれるTMIを、STに流用して適用することができ、STについて、TMIを別個に付加する必要がない。
したがって、例えば、Blu-ray（登録商標）ディスクに記録されるm2tsフォーマットの、TMIを含むビデオと、そのビデオとともに再生されるSTとを、STについて、TMIを別個に付加することなく、MP4ファイルにコンバートすることができる。
その結果、MP4ファイルへのTMIの導入を促進し、ユーザが、HDRビデオやHDR ST等のHDR画像を享受する機会を増やすことができる。
＜符号化処理部２２の構成例＞
図２６は、図２０の符号化処理部２２の構成例を示すブロック図である。
符号化処理部２２は、特性情報生成部３１、エンコーダ３２、変換部３３、変換情報生成部３４、エンコーダ３５、及び、ストリーム生成部３６を有する。
特性情報生成部３１は、符号化処理部２２に入力されたマスタのHDRデータの輝度を検出し、図１２を参照して説明した各情報を含む特性情報としてのTMI(tone_mapping_info)を生成する。特性情報生成部３１は、生成した特性情報としてのTMIを、ストリーム生成部３６に供給する。
なお、特性情報生成部３１は、マスタのHDRデータのうちの、例えば、HDRビデオの輝度を検出し、ビデオ（HDRビデオ）の特性情報としてのTMIを生成する。また、特性情報生成部３１は、マスタのHDRデータのうちの、例えば、HDR STについては、そのHDR STと同時に表示されるHDRビデオの特性情報としてのTMIを、ST（HDR ST）の特性情報としてのTMIとして採用する。
エンコーダ３２は、処理モードがmode-iである場合、入力されたマスタのHDRビデオを、例えば、HEVC方式で符号化する。また、エンコーダ３２は、処理モードがmode-iiである場合、変換部３３から供給されるSTDビデオをHEVC方式で符号化する。エンコーダ３２は、HDRビデオの符号化データ、又は、STDビデオの符号化データを、ストリーム生成部３６に供給する。なお、ビデオの符号化方式は、HEVC方式に限定されない。
変換部３３は、符号化処理部２２に入力されたマスタのHDRデータをSTDデータに変換する。変換部３３による変換は、適宜、オーサにより入力された変換パラメータに従って行われる。変換部３３は、HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとして、input dataとoutput dataの対応関係を示す情報を、変換情報生成部３４に出力する。
また、変換部３３は、処理モードがmode-iiである場合、HDRビデオを変換して得られるSTDビデオを、エンコーダ３２に供給し、HDR STを変換して得られるSTD STを、エンコーダ３５に供給する。
変換情報生成部３４は、変換部３３から供給される情報に基づいて、変換情報としてのTMIを生成する。
例えば、変換情報生成部３４は、tone_map_model_id＝0が用いられる場合、図９のmin_valueとmax_valueの値を含むTMI(tone_mapping_info)を、変換情報として生成する。
また、変換情報生成部３４は、tone_map_model_id＝2が用いられる場合、図１０のstart_of_coded_interval[i]を含むTMIを、変換情報として生成する。
さらに、変換情報生成部３４は、tone_map_model_id＝3が用いられる場合、図１１のnum_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]を含むTMIを、変換情報として生成する。
なお、変換情報生成部３４は、例えば、ビデオについて、変換情報としてのTMIを生成し、STについては、そのSTと同時に表示されるビデオの変換情報としてのTMIを、STの変換情報としてのTMIとして採用する。
エンコーダ３５は、処理モードがmode-iである場合、符号化処理部２２に入力されたマスタのHDR STを、SMPTE-TTフォーマットのSTのデータに符号化する。また、エンコーダ３５は、処理モードがmode-iiである場合、変換部３３から供給されるSTD STを、SMPTE-TTフォーマットのSTのデータに符号化する。エンコーダ３５は、符号化の結果得られるSTのデータを、ストリーム生成部３６に供給する。
ストリーム生成部３６は、特性情報生成部３１から供給されるビデオ、及び、STの特性情報としてのTMIのtone_map_idを、コントローラ２１（図２０）に供給する。
また、ストリーム生成部３６は、変換情報生成部３４から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１に供給する。
さらに、ストリーム生成部３６は、ビデオのTMI（STのTMIでもある）を、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成する。
また、ストリーム生成部３６は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、図２０のファイル生成部２３に供給する。
図２７は、図２６の変換部３３による、HDRデータをSTDデータに変換する変換の処理の例を示す図である。
変換部３３は、矢印＃２０１で示すように、符号化処理部２２に入力されたマスタのHDRデータのYCrCb信号をRGB(red,green,blue)信号に変換し、RGBの各信号を対象として、STDデータのRGBの各信号への変換（tone mapping）を行う。
変換部３３は、input dataであるHDRデータのRGB信号とoutput dataであるSTDデータのRGB信号の対応関係を示す情報を、変換情報生成部３４に出力する。変換情報生成部３４に出力された情報は、矢印＃２０２で示すように変換情報の生成に用いられる。
また、変換部３３は、矢印＃２０３で示すように、STDデータのRGB信号をYCrCb信号に変換し、出力する。
図２８は、tone mappingの例を示す図である。
HDRデータのRGB信号は、例えば、図２８に示すように、高輝度成分を圧縮し、中・低域輝度成分を伸張するようにしてSTDデータのRGB信号に変換される。図２８に示すようなHDRデータのRGB信号とSTDデータのRGB信号を対応付ける関数Ｆに相当する情報が、変換情報として、変換情報生成部３４により生成される。
なお、図２８に示す関数Ｆに相当する変換情報は、図１１を参照して説明した、coded_dataとtarget_dataの関係を折れ線関数により示すtone_map_model_id＝3のTMIに相当する。
＜生成装置１のファイル生成処理＞
図２９は、図２０の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
マスタのHDRデータが生成装置１に入力されると、ステップＳ１において、生成装置１のコントローラ２１は、処理モードがmode-iであるか否かを判定する。処理モードは、例えば、オーサにより設定される。
処理モードがmode-iであるとステップＳ１において判定された場合、ステップＳ２に進み、符号化処理部２２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部２２からファイル生成部２３に供給される。
一方、処理モードがmode-iiであるとステップＳ１において判定された場合、ステップＳ３に進み、符号化処理部２２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部２２からファイル生成部２３に供給される。
ステップＳ２又はＳ３の後、処理は、ステップＳ４に進み、ヘッダ情報生成部２１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報は、ヘッダ情報生成部２１Ａからファイル生成部２３に供給され、処理は、ステップＳ５に進む。
ステップＳ５において、ファイル生成部２３は、符号化処理部２２からのビデオストリーム、及び、STストリーム、並びに、ヘッダ情報生成部２１Ａからのヘッダ情報を格納した、図２１、又は、図２５のMP4ファイルを生成して出力し、ファイル生成処理は終了する。
図３０は、図２９のステップＳ２において行われるmode-iの符号化処理の例を説明するフローチャートである。
ステップＳ１１において、符号化処理部２２（図２６）の特性情報生成部３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部３６に供給し、処理は、ステップＳ１２に進む。
ステップＳ１２において、エンコーダ３２は、マスタのHDRビデオをHEVC方式で符号化し、HDRビデオの符号化データを生成して、ストリーム生成部３６に供給し、処理は、ステップＳ１３に進む。なお、ビデオの符号化方式は、HEVC方式に限定されない。
ステップＳ１３において、エンコーダ３５は、マスタのHDR STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部３６に供給し、処理は、ステップＳ１４に進む。
ステップＳ１４において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとする、input dataとoutput dataの対応関係を示す情報を、変換情報生成部３４に供給する。
その後、処理は、ステップＳ１４からステップＳ１５に進み、変換情報生成部３４は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成し、ストリーム生成部３６に供給して、処理は、ステップＳ１６に進む。
ステップＳ１６において、ストリーム生成部３６は、符号化データのSEIとして、特性情報生成部３１からの特性情報としてのTMIと、変換情報生成部３４からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
そして、ストリーム生成部３６は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図２０）に供給する。
また、ストリーム生成部３６は、ビデオのTMI（ビデオに適用するTMI）のtone_map_idと、STのTMI（STに適用するTMI）のtone_map_idとを、コントローラ２１（図２０）に供給し、mode-iの符号化処理は終了する（リターンする）。
図３１は、図２９のステップＳ３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
ステップＳ２１において、符号化処理部２２の特性情報生成部３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部３６に供給する。
その後、ステップＳ２２において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、STDデータのうちのSTDビデオを、エンコーダ３２に供給するとともに、STD STを、エンコーダ３５に供給する。
さらに、変換部３３は、HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとする、input dataとoutput dataの対応関係を示す情報を、変換情報生成部３４に供給し、処理は、ステップＳ２２からステップＳ２３に進む。
ステップＳ２３において、変換情報生成部３４は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成して、ストリーム生成部３６に供給して、処理は、ステップＳ２４に進む。
ステップＳ２４において、エンコーダ３２は、変換部３３からのSTDビデオをHEVC方式で符号化し、STDビデオの符号化データを生成して、ストリーム生成部３６に供給する。なお、ビデオの符号化方式は、HEVC方式に限定されない。
その後、ステップＳ２５において、エンコーダ３５は、変換部３３からのSTD STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部３６に供給する。
そして、ステップＳ２６において、ストリーム生成部３６は、符号化データのSEIとして、特性情報生成部３１からの特性情報としてのTMIと、変換情報生成部３４からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
さらに、ストリーム生成部３６は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図２０）に供給する。
また、ストリーム生成部３６は、ビデオのTMIのtone_map_idと、STのTMIのtone_map_idとを、コントローラ２１（図２０）に供給し、mode-iiの符号化処理は終了する（リターンする）。
図３２は、図２９のステップＳ４において行われるヘッダ情報生成処理の例を説明するフローチャートである。
ステップＳ３１において、コントローラ２１（図２０）のヘッダ情報生成部２１Ａは、符号化処理部２２（のストリーム生成部３６（図２６））から供給されるビデオのTMI（ビデオに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２１、図２４、図２５）を生成する。
さらに、ヘッダ情報生成部２１Ａは、符号化処理部２２から供給されるSTのTMI（STに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２１、図２４、図２５）を生成する。
また、ヘッダ情報生成部２１Ａは、STに適用されるTMIを含むビデオストリームのトラックのtrack_idを表すtrack_IDs[]を格納したvtmiボックス（図２１、図２３、図２５）を生成して、処理は、ステップＳ３１からステップＳ３２に進む。
ステップＳ３２では、ヘッダ情報生成部２１Ａは、vtmiボックスを含むmoovボックスと、tirfボックスを含むmoofボックスとを作成するか、又は、vtmiボックスとtirfボックスとを含むmoovボックスを作成し、ヘッダ情報として、ファイル生成部２３（図２０）に供給して、ヘッダ情報生成処理は終了する。
すなわち、ファイル生成部２３において、fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２１Ａは、図２１に示したような、STのトラックのtrak/trefボックスに、vtmiボックスが含まれるmoovボックスを生成する。
さらに、ヘッダ情報生成部２１Ａは、図２１に示したような、ビデオのトラックのtrafボックスに、tirfボックスが含まれるmoofボックス、及び、STのトラックのtrafボックスに、tirfボックスが含まれるmoofボックスを生成する。
一方、ファイル生成部２３において、non-fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２１Ａは、図２５に示したような、ビデオのトラックのtrakボックスに含まれるstblボックスに、tirfボックスが含まれ、かつ、STのトラックのtrak/trefボックスに、vtmiボックスが含まれるとともに、STのトラックのtrakボックスに含まれるstblボックスに、tirfボックスが含まれるmoovボックスを生成する。
＜再生装置２の第１の構成例＞
図３３は、図１の再生装置２の第１の構成例を示すブロック図である。
図３３において、再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、コントローラ５４、復号処理部５５、及び、合成出力部５６を有する。
ファイル取得部５１は、記録媒体１１や伝送媒体１２（図１）から、MP4ファイルを取得し、分離部５２に供給する。
分離部５２は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを分離（取得）し、コントローラ５４に供給する。
また、分離部５２は、ファイル取得部５１からのMP4ファイルから、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを分離(取得）し、復号処理部５５に供給する。
操作入力部５３は、ボタン、キー、タッチパネル等の入力デバイスや、所定のリモートコマンダから送信される赤外線等の信号を受信する受信部により構成され、ユーザの操作を受け付ける。そして、操作入力部５３は、ユーザの操作に対応する操作信号を、コントローラ５４に供給する。
コントローラ５４は、CPU、ROM、RAM等より構成される。コントローラ５４は、所定のプログラムを実行し、再生装置２の全体の動作を制御する。
例えば、コントローラ５４は、分離部５２から供給されるmoovボックスに含まれるvtmiボックスに格納されたtrack_IDs[]（図２１、図２３、図２５）や、tirfボックスに格納されたtone_mapping_info_id_ref（図２１、図２４、図２５）を、復号処理部５５に供給する。また、例えば、コントローラ５４は、分離部５２から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部５５に供給する。
復号処理部５５は、デコーダ５５Ａとデコーダ５５Ｂとを有する。
デコーダ５５Ａは、ビデオのトラックを、参照トラック（適用するTMIを含むトラックとして参照すべきトラック）として認識し、分離部５２から供給されるビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMI(tone_mapping_info)を、参照トラックに含まれるTMIとして取得する取得部として機能する。
また、デコーダ５５Ａは、分離部５２から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
さらに、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
そして、デコーダ５５Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
デコーダ５５Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
デコーダ５５Ｂは、分離部５２から供給されるSTストリームを復号する。
また、デコーダ５５Ｂは、コントローラ５４から供給される、STのトラックのvtmiボックスに格納されたtrack_IDs[]が表すtrack_idのトラック、すなわち、本実施の形態では、ビデオのトラックを、参照トラックとして認識し、その参照トラックに含まれるTMIを取得する取得部として機能する。
具体的には、デコーダ５５Ｂは、分離部５２から供給される、参照トラックとしてのビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
さらに、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
そして、デコーダ５５Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する、変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
デコーダ５５Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する、特性情報としてのTMIを、合成出力部５６に出力する。
合成出力部５６は、ケーブル４（図１）を介して表示装置３との間で通信を行う。例えば、合成出力部５６は、表示装置３が有するモニタの性能に関する情報を取得し、コントローラ５４に出力する。
また、合成出力部５６は、デコーダ５５Ａから供給されるHDRビデオ又はSTDビデオと、デコーダ５５Ｂから供給されるHDR ST又はSTD STを、必要に応じて合成して、表示装置３に出力する。
さらに、合成出力部５６は、デコーダ５５Ａ及びデコーダ５５Ｂから供給される特性情報としてのTMIを、表示装置３に出力する。
＜再生装置２の再生処理＞
図３４は、図３３の再生装置２が行う再生処理の例を説明するフローチャートである。
なお、再生装置２では、再生処理が開始される前に、コントローラ５４が、合成出力部５６を制御して表示装置３と通信を行い、表示装置３の性能を表す情報としての、例えば、EDID(Extended display identification data)を取得していることとする。
ステップＳ４１において、ファイル取得部５１は、生成装置１で生成されたMP4ファイルを取得し、分離部５２に供給する。
分離部５２は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを読み出す。
そして、分離部５２は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ５４に供給するとともに、ビデオストリームやSTストリームを、復号処理部５５に供給する。
また、コントローラ５４は、分離部５２から供給されるmoovボックスに含まれるvtmiボックスに格納されたtrack_IDs[]や、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部５５に供給する。さらに、コントローラ５４は、分離部５２から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部５５に供給する。
その後、処理は、ステップＳ４１からステップＳ４２に進み、コントローラ５４は、ファイル取得部５１で取得されたMP4ファイルの処理モードがmode-i又はmode-iiであるかどうか、すなわち、ファイル取得部５１で取得されたMP4ファイルが、mode-i又はmode-iiの符号化処理で得られたファイルであるかどうかを判定する。
ここで、コントローラ５４でのステップＳ４２における処理モードの判定は、例えば、ヘッダ情報としてのmoovボックスに、MP4ファイルの処理モードを表す情報を含めておき、その情報に基づいて行うことができる。
処理モードがmode-iであるとステップＳ４２において判定された場合、ステップＳ４３に進み、復号処理部５５は、mode-iの復号処理を行う。
一方、処理モードがmode-iiであるとステップＳ４２において判定された場合、ステップＳ４４に進み、復号処理部５５は、mode-iiの復号処理を行う。
ステップＳ４３又はステップＳ４４において復号処理が行われた後、再生処理は終了する。
図３５は、図３４のステップＳ４３において行われるmode-iの復号処理の例を説明するフローチャートである。
ステップＳ６１において、デコーダ５５Ａは、ビデオのトラックを、参照トラックとして認識し、分離部５２から供給されるビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
さらに、ステップＳ６１では、デコーダ５５Ｂは、コントローラ５４から供給される、STのトラックのvtmiボックスに格納されたtrack_IDs[]が表すtrack_idのトラック（トラック指定情報としてのtrack_IDs[]が指定するトラック）であるビデオのトラックを、参照トラックとして認識し、その参照トラックに含まれるTMIを取得する。
すなわち、デコーダ５５Ｂは、デコーダ５５Ａと同様に、分離部５２から供給される、参照トラックとしてのビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
その後、処理は、ステップＳ６１からステップＳ６２に進み、デコーダ５５Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成して、処理は、ステップＳ６３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
ステップＳ６３において、デコーダ５５Ｂは、分離部５２からのSTストリーム、すなわち、例えば、SMPTE-TTフォーマットのSTのデータのストリームを、HDR STに復号し、処理は、ステップＳ６４に進む。
ステップＳ６４において、コントローラ５４は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
ここで、図３４で説明したように、コントローラ５４は、表示装置３から、その表示装置３の性能を表す情報としてのEDIDを取得しており、そのEDIDに基づいて、表示装置３が有するモニタがHDRモニタであるかどうかが判定される。
表示装置３が有するモニタがHDRモニタであるとステップＳ６４において判定された場合、処理は、ステップＳ６５に進む。
ステップＳ６５において、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
また、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
その後、処理は、ステップＳ６５からステップＳ６６に進み、デコーダ５５Ａは、HDRビデオを、ビデオに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。また、デコーダ５５Ｂは、HDR STを、STに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。
合成出力部５６では、HDRビデオとHDR STとが、必要に応じて合成され、特性情報としてのTMIとともに、表示装置３（図１）に供給（送信）される。
一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ６４において判定された場合、処理は、ステップＳ６７に進む。
ステップＳ６７において、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
また、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
その後、処理は、ステップＳ６７からステップＳ６８に進み、デコーダ５５Ａは、ビデオに適用する変換情報としてのTMIに基づいて、復号の結果得られたHDRビデオを、STDビデオに変換する。
また、デコーダ５５Ｂは、STに適用する変換情報としてのTMIに基づいて、復号の結果得られたHDR STを、STD STに変換する。
そして、処理は、ステップＳ６８からステップＳ６９に進み、デコーダ５５Ａは、STDビデオを、合成出力部５６に供給する。また、デコーダ５５Ｂは、STD STを、合成出力部５６に供給する。
合成出力部５６では、STDビデオとSTD STとが、必要に応じて合成され、表示装置３（図１）に供給（送信）される。
ステップＳ６６又はＳ６９の後、処理は、ステップＳ７０に進み、コントローラ５４は、再生終了か否かを判定する。
再生終了ではないとステップＳ７０において判定された場合、処理は、ステップＳ６１に戻り、同様の処理が繰り返し実行される。一方、再生終了であるとステップＳ７０において判定された場合、mode-iの復号処理は終了する。
図３６は、図３４のステップＳ４４において行われるmode-iiの復号処理の例を説明するフローチャートである。
ステップＳ８１において、デコーダ５５Ａ及び５５Ｂは、図３５のステップＳ６１と同様に、参照トラックに含まれるTMIを取得する。
すなわち、デコーダ５５Ａは、ビデオのトラックを、参照トラックとして認識し、分離部５２から供給されるビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
デコーダ５５Ｂは、コントローラ５４から供給される、STのトラックのvtmiボックスに格納されたtrack_IDs[]が表すtrack_idのトラック（トラック指定情報としてのtrack_IDs[]が指定するトラック）であるビデオのトラックを、参照トラックとして認識し、分離部５２から供給される、参照トラックとしてのビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
その後、処理は、ステップＳ８１からステップＳ８２に進み、デコーダ５５Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、STDビデオを生成して、処理は、ステップＳ８３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
ステップＳ８３において、デコーダ５５Ｂは、STストリーム、すなわち、例えば、SMPTE-TTフォーマットのSTのデータのストリームを、STD STに復号し、処理は、ステップＳ８４に進む。
ステップＳ８４において、コントローラ５４は、例えば、図３５のステップＳ６４と同様に、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ８４において判定された場合、処理は、ステップＳ８５に進む。
ステップＳ８５において、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
また、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
その後、処理は、ステップＳ８５からステップＳ８６に進み、デコーダ５５Ａは、ビデオに適用する変換情報としてのTMIに基づいて、復号の結果得られたSTDビデオを、HDRビデオに変換する。また、デコーダ５５Ｂは、STに適用する変換情報としてのTMIに基づいて、復号の結果得られたSTD STを、HDR STに変換する。
そして、処理は、ステップＳ８６からステップＳ８７に進み、デコーダ５５Ａは、HDRビデオを、ビデオに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。また、デコーダ５５Ｂは、HDR STを、STに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。
合成出力部５６では、HDRビデオとHDR STとが、必要に応じて合成され、特性情報としてのTMIとともに、表示装置３（図１）に供給される。
一方、表示装置３が有するモニタがSTDモニタであるとステップＳ８４において判定された場合、処理は、ステップＳ８８に進み、デコーダ５５Ａは、ステップＳ８２の復号で得られたSTDビデオを、合成出力部５６に供給する。また、デコーダ５５Ｂは、ステップＳ８３の復号で得られたSTD STを、合成出力部５６に供給する。
合成出力部５６では、STDビデオとSTD STとが、必要に応じて合成され、表示装置３（図１）に供給される。
ステップＳ８７又はＳ８８の後、処理は、ステップＳ８９に進み、コントローラ５４は、再生終了か否かを判定する。
再生終了ではないとステップＳ８９において判定された場合、処理は、ステップＳ８１に戻り、同様の処理が繰り返し実行される。一方、再生終了であるとステップＳ８９において判定された場合、mode-iiの復号処理は終了する。
＜表示装置３の構成例＞
図３７は、図１の表示装置３の構成例を示すブロック図である。
表示装置３は、コントローラ１０１、通信部１０２、信号処理部１０３、及び、モニタ１０４を有する。コントローラ１０１は、例えば、モニタ１０４の性能を表すEDID(Extended display identification data)等を記憶しているメモリ１０１Ａを有する。
コントローラ１０１は、CPU、ROM、RAM等より構成される。コントローラ１０１は、所定のプログラムを実行し、表示装置３の全体の動作を制御する。
例えば、コントローラ１０１は、再生装置２との認証時、メモリ１０１Ａに記憶されているEDIDを通信部１０２に出力し、再生装置２に対して送信させる。EDIDに基づいて、表示装置３のモニタ１０４の性能が再生装置２により特定される。
通信部１０２は、ケーブル４（図１）を介して再生装置２との間で通信を行う。通信部１０２は、再生装置２から送信されてくるHDRデータ又はSTDデータを受信し、信号処理部１０３に出力する。また、通信部１０２は、コントローラ１０１から供給されるEDIDを再生装置２に送信する。
信号処理部１０３は、通信部１０２から供給されるHDRデータ又はSTDデータの処理を行い、画像をモニタ１０４に表示させる。
＜表示装置３の表示処理＞
図３８は、図３７の表示装置３が行う表示処理の例を説明するフローチャートである。
ここでは、表示装置３が有するモニタ１０４がHDRモニタである場合について説明する。HDRモニタを有する表示装置３に対しては、特性情報が付加されたHDRデータが再生装置２から送信されてくる。
ステップＳ１０１において、表示装置３の通信部１０２は、再生装置２から送信されてくるHDRデータと特性情報を受信し、処理は、ステップＳ１０２に進む。
ステップＳ１０２において、コントローラ１０１は、特性情報を参照し、再生装置２から送信されてきたHDRデータをそのまま表示可能であるか否かを判定する。特性情報には、マスタのHDRデータ、すなわち、再生装置２から送信されてきたHDRデータの輝度の特性を示す特性情報としてのTMIが含まれる。ステップＳ１０２における判定は、特性情報としてのTMIにより特定されるHDRデータの輝度の特性と、モニタ１０４の表示性能を比較することによって行われる。
例えば、特性情報としてのTMIにより特定されるHDRデータのダイナミックレンジが0-400％であり、モニタ１０４のダイナミックレンジが0-500％（例えば100％の明るさを100cd/m2とすると500cd/m2）である場合、HDRデータをそのまま表示可能であると判定される。一方、特性情報としてのTMIにより特定されるHDRデータのダイナミックレンジが0-400％であり、モニタ１０４のダイナミックレンジが0-300％である場合、HDRデータをそのまま表示することができないと判定される。
HDRデータをそのまま表示可能であるとステップＳ１０２において判定された場合、処理は、ステップＳ１０３に進み、信号処理部１０３は、HDRデータに対応するHDR画像を、特性情報としてのTMIにより指定される輝度に従ってモニタ１０４に表示させる。例えば、図１２の曲線L12で示す輝度の特性が特性情報としてのTMIにより指定されている場合、各輝度値は曲線L12で示す0-400％の範囲の明るさを表す。
一方、HDRデータをそのまま表示させることができないとステップＳ１０２において判定された場合、処理は、ステップＳ１０４に進み、信号処理部１０３は、モニタ１０４の表示性能に応じて、HDRデータの輝度を調整し、輝度を調整したHDRデータに対応するHDR画像を表示させる。例えば、図１２の曲線L12で示す輝度の特性が特性情報により指定されており、モニタ１０４のダイナミックレンジが0-300％である場合、各輝度値が0-300％の範囲の明るさを表すように圧縮される。
ステップＳ１０３、又はステップＳ１０４においてHDRデータに対応するHDR画像が表示された後、処理は、ステップＳ１０５に進み、コントローラ１０１は、表示を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１０１以降の処理を繰り返す。ステップＳ１０５において表示を終了すると判定された場合、表示処理は終了する。
以上の一連の処理により、生成装置１は、マスタのHDRデータをHDRデータのまま、MP4ファイルに格納し、再生装置２に再生させて、HDRデータに対応するHDR画像を、表示装置３に表示させることができる。
また、生成装置１は、マスタのHDRデータをSTDデータに変換して、MP4ファイルに格納し、再生装置２にHDRデータに復元させて、HDRデータに対応するHDR画像を、表示装置３に表示させることができる。
HDRデータを再生する際、マスタのHDRデータの輝度の特性を特性情報としてのTMIによって指定することができるようにすることにより、コンテンツのオーサは、意図したとおりの輝度で、HDRデータに対応するHDR画像を表示させることが可能になる。
また、生成装置１は、HDR情報（特性情報及び変換情報）としてのTMIを含むビデオ（のストリーム）のトラックと、ST（のストリーム）のトラックとを、MP4ファイルに格納する。
そして、STのトラックには、STのトラックに適用するTMIを含むビデオのトラックを指定するトラック指定情報としてのtrack_IDs[]が格納されたvtmiボックスと、STのトラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refが格納されたtirfボックスが含められる。
その結果、再生装置２は、STのトラックに含まれるvtmiボックスに格納されたtrack_IDs[]が指定する（track_idの）ビデオのトラックに含まれるTMIの中から、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが指定する（tone_map_idの）TMIを、STに適用するTMIとして取得し、STの処理に利用することができる。
したがって、図２０の第１の構成例の生成装置１において生成されるMP4ファイル（以下、第１のMP4ファイルともいう）では、ビデオのトラックに含まれるTMIを、STに流用して適用することができるので、STについて、TMIを別個に付加する必要がない。
なお、上述の場合には、第１のMP4ファイルを生成するにあたって、STについて、そのSTと同時に表示されるビデオのTMIを、STのTMIとして採用することとしたため、STのTMIは、ビデオのTMIに依存することとなる。
但し、ビデオとSTについて、それぞれ、別個に、TMIを生成し、ビデオのストリームに、ビデオのTMIの他、STのTMIを含めることにより、STのTMIが、ビデオのTMIに依存することを避けることができる。
＜生成装置１の第２の構成例＞
図３９は、図１の生成装置１の第２の構成例を示すブロック図である。
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３９において、生成装置１は、コントローラ２１、ファイル生成部２３、及び、符号化処理部１２２を有する。
したがって、図３９の生成装置１は、コントローラ２１、及び、ファイル生成部２３を有する点で、図２０の場合と共通し、符号化処理部２２に代えて、符号化処理部１２２が設けられている点で、図２０の場合と相違する。
さらに、図３９の生成装置１は、コントローラ２１が、ヘッダ情報生成部２１Ａに代えて、ヘッダ情報生成部１２１Ａを有する点で、図２０の場合と相違する。
図３９の生成装置１では、マスタのHDRデータが符号化処理部２２に入力される。
ヘッダ情報生成部１２１Ａは、図２０のヘッダ情報生成部２１Ａと同様に、符号化処理部１２２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックス（図２４）を生成する。
また、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるTMI(tone_mapping_info)を、ToneMapInfo（クラスのオブジェクト）として格納したtinfボックス(ToneMappingInformationBox)を生成する。
そして、ヘッダ情報生成部１２１Ａは、tirfボックスとtinfボックスとを含むmoovボックス、又は、moofボックスを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
tinfボックスについては、後述する。
符号化処理部１２２は、図２０の符号化処理部２２と同様に、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２３に出力する。
また、符号化処理部１２２は、図２０の符号化処理部２２と同様に、ビデオ及びSTに適用するTMI(tone_mapping_info)のtone_map_idを、コントローラ２１（のヘッダ情報生成部１２１Ａ）に供給する。
さらに、符号化処理部１２２は、ビデオ及びSTに適用するTMIを、コントローラ２１（のヘッダ情報生成部１２１Ａ）に供給する。
図４０は、図３９の生成装置１で生成されるMP4ファイル（以下、第２のMP4ファイルともいう）の例を示す図である。
図４０の第２のMP4ファイルは、フラグメントを有するfragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
したがって、図４０の第２のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
ここで、第１のMPファイル（図２１、図２５）では、TMIが、ビデオのトラックには含まれるが、STのトラックには含まれていないため、STについては、ビデオのトラックに含まれるTMIを流用して使用することとしたが、第２のMPファイルでは、ビデオやST等の各メディアのトラックに、そのメディアに適用するTMIが含まれる。
すなわち、図３９の生成装置１は、各メディアについて、そのメディアに適用するTMIが、そのメディアのトラックに含まれるMP4ファイルを、第２のMP4ファイルとして生成する。
そのため、図４０において、各メディアのmoof/trafボックスは、tirfボックス、及び、tinfボックス(ToneMappingInformationBox)(tone mapping information box)を有している。
tirfボックスは、図２１で説明したように、注目する注目トラックに適用するTMIを指定する、tone_map_idを表すtone_mapping_info_id_refが格納される、新規に定義されたボックスである。
tinfボックスは、TMI(tone_mapping_info)が格納される、新規に定義されたボックスである。
fragmented movieのMP4ファイルでは、図４０に示すように、ビデオのトラックのmoof/trafボックスには、ビデオ（のトラック）に適用するTMIが格納されたtinfボックスB#22と、そのtinfボックスB#22に格納されたTMIの中で、ビデオに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#21が格納される。
同様に、STのトラックのmoof/trafボックスには、ST（のトラック）に適用するTMIが格納されたtinfボックスB#24と、そのtinfボックスB#24に格納されたTMIの中で、STに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#23が格納される。
したがって、図４０の第２のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、注目トラックのmoof/traf/tinfボックスB#22に格納されたTMIのうちの、注目トラックのmoof/tarf/tirfボックスB#21に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
また、図４０のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、やはり、注目トラックのmoof/traf/tinfボックスB#24に格納されたTMIのうちの、注目トラックのmoof/tarf/tirfボックスB#23に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
なお、fragmented movieのMP4ファイルは、フラグメントごとに、moofボックスを有するが、あるフラグメントのデータには、そのフラグメントのmoof/traf/tirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
図４１は、tinfボックスの定義の例を示す図である。
tinfボックス(ToneMappingInformationBox)(tone mapping information box)は、そのtinfボックスを有するトラックに適用するTMIを、ToneMapInfo（クラスのオブジェクトtonemap）として格納するボックスとして、新規に定義されたボックスであり、trakボックス（に格納されるstblボックス）、又は、trafボックスに格納される。
図４２は、ToneMapInfoのシンタクスの第１の例を示す図である。
図４２のToneMapInfoは、バイトアラインのためのpadding_valueが挿入されていることを除き、図７のTMI(tone_mapping_info)と同様に構成される。
図４３は、ToneMapInfoのシンタクスの第２の例を示す図である。
図４３のToneMapInfoは、component_idcが、新規に定義されていることを除き、図４２の場合と同様に構成される。
component_idcが、例えば、0である場合、図４３のToneMapInfoが表すTMIは、画像を構成する複数のコンポーネントとしての、例えば、R，G、及び、Bのすべてに共通に適用される。
また、component_idcが、例えば、1である場合、図４３のToneMapInfoが表すTMIは、画像を構成するコンポーネントR，G、及び、Bのうちの１つである、例えば、Rにのみ適用される。
さらに、component_idcが、例えば、2である場合、図４３のToneMapInfoが表すTMIは、画像を構成するコンポーネントR，G、及び、Bのうちの１つである、例えば、Gにのみ適用され、component_idcが、例えば、3である場合、図４３のToneMapInfoが表すTMIは、画像を構成するコンポーネントR，G、及び、Bのうちの１つである、例えば、Bにのみ適用される。
図４３のToneMapInfoによれば、コンポーネント単位で、適用するTMIを変更すること等ができる。
図４４は、ToneMapInfoのシンタクスの第３の例を示す図である。
図４４のToneMapInfoは、num_of_componentsが、新規に定義されていることを除き、図４２の場合と同様に構成される。
num_of_componentsが、例えば、0である場合、図４４のToneMapInfoが表すTMIは、画像を構成する複数のコンポーネントとしての、例えば、R，G、及び、Bのすべてに共通に適用される。
さらに、component_idcが、例えば、3である場合、図４３のToneMapInfoには、画像を構成するコンポーネントR，G、及び、Bのそれぞれに適用するR用のTMI、G用のTMI、及び、B用のTMIが、例えば、その順で記述される。
図４３や図４４のToneMapInfoによれば、画像を構成する各コンポーネントについて、そのコンポーネントに適用するTMIを、独立に記述することができる。
図４５は、図３９の生成装置１で生成される第２のMP4ファイルの他の例を示す図である。
図４５の第２のMP4ファイルは、フラグメントを有しないnon-fragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
したがって、図４５の第２のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
図４５の第２のMPファイルでは、図４０の場合と同様に、ビデオやST等の各メディアのトラックに、そのメディアに適用するTMIが含まれる。
すなわち、non-fragmented movieのMP4ファイルでは、図４５に示すように、ビデオのトラックについては、moovボックスの、ビデオのトラックのtrak/stblボックスに、ビデオ（のトラック）に適用するTMIが格納されたtinfボックスB#32と、ビデオに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#31とが格納される。
STのトラックについても同様に、moovボックスの、STのトラックのtrak/stblボックスに、ST（のトラック）に適用するTMIが格納されたtinfボックスB#34と、STに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#33とが格納される。
したがって、図４５の第２のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、moovボックスの、注目トラック（ここでは、ビデオのトラック）のtrakボックスに含まれるstblボックスが有するtinfボックスB#32に格納されたTMIのうちの、そのstblボックスが有するtirfボックスB#31に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
また、例えば、STのトラックを、注目トラックとして注目すると、ビデオの場合と同様に、moovボックスの、注目トラック（ここでは、STのトラック）のtrakボックスに含まれるstblボックスが有するtinfボックスB#34に格納されたTMIのうちの、そのstblボックスが有するtirfボックスB#33に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
なお、non-fragmented movieのMP4ファイルでは、注目トラックには、その注目トラックのtinfボックスに格納されたTMIのうちの有効なTMIが適用される。
図３９の生成装置１では、以上のように、HDR情報としてのTMI（が格納されたtinfボックス）、及び、そのTMIのうちの、注目する注目トラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_ref（が格納されたtirfボックス）を含む注目トラックが格納された第２のMP4ファイルが生成されるので、ビデオやST等の各メディアごとに、独立に、そのメディアに適用するTMIを付加することができる。
また、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるが、第２のMP4ファイルでは、SEIに挿入されるTMIとは独立して、ビデオ以外のメディアに、そのメディアに適用するTMIを付加することができる。
したがって、例えば、Blu-ray（登録商標）ディスクに記録されるm2tsフォーマットの、TMIを含むビデオと、そのビデオとともに再生されるSTとを、STについて、STに適用するTMIを別個に付加して、MP4ファイルにコンバートすることができる。
その結果、MP4ファイルへのTMIの導入を促進し、ユーザが、HDRビデオやHDR ST等のHDR画像を享受する機会を増やすことができる。
なお、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるため、第２のMP4ファイルでは、ビデオのTMIとしては、SEIに挿入されるTMIと、ビデオのトラックに含まれるtinfボックスに格納されるTMIとが存在する。
この場合、再生装置２（図１）において、ビデオに適用するTMIとして、SEIに挿入されたTMIと、ビデオのトラックに含まれるtinfボックスに格納されたTMIとのうちのいずれを使用するかは、例えば、あらかじめ決めておくことや、ユーザの操作に応じて選択することができる。
本実施の形態では、第２のMP4ファイルについては、SEIに挿入されたTMIと、ビデオのトラックに含まれるtinfボックスに格納されたTMIとのうちの、例えば、tinfボックスに格納されたTMIを、ビデオに適用するTMIとして使用することとする。
ここで、SMPTE-TTフォーマットのSTのデータによれば、MP4ファイルへのアクセス単位である１サンプルに、STの複数の表示画面を含めることができるが、第２のMP4ファイルでは、１サンプルにSTの複数の表示画面が含まれている場合に、その１サンプルに含まれるSTの複数の表示画面のそれぞれに適用することができるTMIは、同一のTMIであり、表示画面ごとに、適用されるTMIを切り替えることは困難である。
＜符号化処理部１２２の構成例＞
図４６は、図３９の符号化処理部１２２の構成例を示すブロック図である。
なお、図中、図２６の符号化処理部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
符号化処理部１２２は、エンコーダ３２、変換部３３、変換情報生成部３４、エンコーダ３５、特性情報生成部１３１、変換情報生成部１３２、及び、ストリーム生成部１３３を有する。
したがって、図４６の符号化処理部１２２は、エンコーダ３２、変換部３３、及び、エンコーダ３５を有する点で、図２６の符号化処理部２２と共通する。
但し、図４６の符号化処理部１２２は、特性情報生成部３１、変換情報生成部３４、及び、ストリーム生成部３６に代えて、それぞれ、特性情報生成部１３１、変換情報生成部１３２、及び、ストリーム生成部１３３が設けられている点で、図２６の符号化処理部２２と相違する。
特性情報生成部１３１は、図２６の特性情報生成部３１と同様に、符号化処理部１２２に入力されたマスタのHDRデータの輝度を検出し、特性情報としてのTMIを生成して、ストリーム生成部１３３に供給する。
但し、特性情報生成部１３１は、マスタのHDRデータのうちの、HDRビデオとHDR STとのそれぞれについて、別個に、特性情報としてのTMIを生成する。
なお、特性情報生成部１３１では、図２６の特性情報生成部３１と同様に、HDRビデオについては、そのHDRビデオの特性情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの特性情報としてのTMIを、ST（HDR ST）の特性情報としてのTMIとして採用することができる。
変換情報生成部１３２は、図２６の変換情報生成部３４と同様に、変換部３３から供給される情報に基づいて、変換情報としてのTMIを生成する。
但し、変換情報生成部１３２は、マスタのHDRデータのうちの、HDRビデオとHDR STとのそれぞれについて、別個に、変換情報としてのTMIを生成し、ストリーム生成部１３３に供給する。
なお、変換情報生成部１３２では、図２６の変換情報生成部３４と同様に、HDRビデオについては、そのHDRビデオの変換情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの変換情報としてのTMIを、ST（HDR ST）の変換情報としてのTMIとして採用することができる。
ストリーム生成部１３３は、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMI、並びに、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１（図３９）に供給する。
その他、ストリーム生成部１３３は、図２６のストリーム生成部３６と同様の処理を行う。
すなわち、ストリーム生成部１３３は、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMIのtone_map_id、並びに、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１に供給する。
さらに、ストリーム生成部１３３は、ビデオのTMIを、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成する。
また、ストリーム生成部１３３は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、図３９のファイル生成部２３に供給する。
なお、ストリーム生成部１３３では、ビデオのTMIを、エンコーダ３２からのビデオの符号化データに挿入せずに、その符号化データを、そのまま、ビデオストリームとすることができる。
＜生成装置１のファイル生成処理＞
図４７は、図３９の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
マスタのHDRデータが生成装置１に入力されると、ステップＳ１１１において、生成装置１のコントローラ２１は、図２９のステップＳ１と同様に、処理モードがmode-iであるか否かを判定する。
処理モードがmode-iであるとステップＳ１１１において判定された場合、ステップＳ１１２に進み、符号化処理部１２２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部１２２からファイル生成部２３に供給される。
一方、処理モードがmode-iiであるとステップＳ１１１において判定された場合、ステップＳ１１３に進み、符号化処理部１２２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部１２２からファイル生成部２３に供給される。
ステップＳ１１２又はＳ１１３の後、処理は、ステップＳ１１４に進み、ヘッダ情報生成部１２１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報は、ヘッダ情報生成部１２１Ａからファイル生成部２３に供給され、処理は、ステップＳ１１５に進む。
ステップＳ１１５において、ファイル生成部２３は、符号化処理部１２２からのビデオストリーム、及び、STストリーム、並びに、ヘッダ情報生成部１２１Ａからのヘッダ情報を格納した、図４０、又は、図４５の第２のMP4ファイルを生成して出力し、ファイル生成処理は終了する。
図４８は、図４７のステップＳ１１２において行われるmode-iの符号化処理の例を説明するフローチャートである。
ステップＳ１２１において、符号化処理部１２２（図４６）の特性情報生成部１３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部１３３に供給し、処理は、ステップＳ１２２に進む。
ステップＳ１２２において、エンコーダ３２は、マスタのHDRビデオをHEVC方式で符号化し、HDRビデオの符号化データを生成して、ストリーム生成部１３３に供給し、処理は、ステップＳ１２３に進む。なお、ビデオの符号化方式は、HEVC方式に限定されない。
ステップＳ１２３において、エンコーダ３５は、マスタのHDR STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部１３３に供給し、処理は、ステップＳ１２４に進む。
ステップＳ１２４において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、そのHDRデータとSTDデータとの対応関係を表す情報（HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとする、input dataとoutput dataの対応関係を示す情報）を、変換情報生成部１３２に供給する。
その後、処理は、ステップＳ１２４からステップＳ１２５に進み、変換情報生成部１３２は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成し、ストリーム生成部１３３に供給して、処理は、ステップＳ１２６に進む。
ステップＳ１２６において、ストリーム生成部１３３は、符号化データのSEIとして、特性情報生成部１３１からの特性情報としてのTMIと、変換情報生成部１３２からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
そして、ストリーム生成部１３３は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図３９）に供給する。
また、ストリーム生成部１３３は、ビデオのTMI（ビデオに適用するTMI）、及び、そのTMIのtone_map_id、並びに、STのTMI（STに適用するTMI）、及び、そのTMIのtone_map_idを、コントローラ２１（図３９）に供給し、mode-iの符号化処理は終了する。
図４９は、図４７のステップＳ１１３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
ステップＳ１３１において、符号化処理部１２２の特性情報生成部１３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部１３３に供給する。
その後、ステップＳ１３２において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、STDデータのうちのSTDビデオを、エンコーダ３２に供給するとともに、STD STを、エンコーダ３５に供給する。
さらに、変換部３３は、HDRデータとSTDデータとの対応関係を示す情報を、変換情報生成部１３２に供給し、処理は、ステップＳ１３２からステップＳ１３３に進む。
ステップＳ１３３において、変換情報生成部１３２は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成して、ストリーム生成部１３３に供給して、処理は、ステップＳ１３４に進む。
ステップＳ１３４において、エンコーダ３２は、変換部３３からのSTDビデオをHEVC方式で符号化し、STDビデオの符号化データを生成して、ストリーム生成部１３３に供給する。なお、ビデオの符号化方式は、HEVC方式に限定されない。
その後、ステップＳ１３５において、エンコーダ３５は、変換部３３からのSTD STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部１３３に供給する。
そして、ステップＳ１３６において、ストリーム生成部１３３は、符号化データのSEIとして、特性情報生成部１３１からの特性情報としてのTMIと、変換情報生成部１３２からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
さらに、ストリーム生成部１３３は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図３９）に供給する。
また、ストリーム生成部１３３は、ビデオのTMI（ビデオに適用するTMI）、及び、そのTMIのtone_map_id、並びに、STのTMI（STに適用するTMI）、及び、そのTMIのtone_map_idを、コントローラ２１（図３９）に供給し、mode-iiの符号化処理は終了する。
図５０は、図４７のステップＳ１１４において行われるヘッダ情報生成処理の例を説明するフローチャートである。
ステップＳ１４１において、コントローラ２１（図３９）のヘッダ情報生成部１２１Ａは、符号化処理部１２２（のストリーム生成部１３３（図４６））から供給されるビデオのTMI（ビデオに適用するTMI）を格納したtinfボックス（図４０、図４１、図４５）を生成する。
さらに、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるSTのTMI（STに適用するTMI）を格納したtinfボックスを生成する。
また、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるビデオのTMIのtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２４、図４０、図４５）を生成する。
さらに、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるSTのTMIのtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックスを生成し、処理は、ステップＳ１４１からステップＳ１４２に進む。
ステップＳ１４２では、ヘッダ情報生成部１２１Ａは、tinfボックスとtirfボックスとを含むmoovボックス、又は、moofボックスを作成し、ヘッダ情報として、ファイル生成部２３（図３９）に供給して、ヘッダ情報生成処理は終了する。
すなわち、ファイル生成部２３において、fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部１２１Ａは、図４０に示したような、ビデオのトラックのtrafボックスに、tirfボックス及びtinfボックスが含まれるmoofボックス、及び、STのトラックのtrafボックスに、tirfボックス及びtinfボックスが含まれるmoofボックスを生成する。
一方、ファイル生成部２３において、non-fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部１２１Ａは、図４５に示したような、ビデオのトラックのtrakボックスに含まれるstblボックスに、tirfボックス及びtinfボックスが含まれ、かつ、STのトラックのtrakボックスに含まれるstblボックスに、tirfボックス及びtinfボックスが含まれるmoovボックスを生成する。
＜再生装置２の第２の構成例＞
図５１は、図１の再生装置２の第２の構成例を示すブロック図である。
なお、図中、図３３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５１において、再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、合成出力部５６、コントローラ１４１、及び、復号処理部１４２を有する。
したがって、図５１の再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、及び、合成出力部５６を有する点で、図３３の場合と共通する。
但し、図５１の再生装置２は、コントローラ５４、及び、復号処理部５５に代えて、それぞれ、コントローラ１４１、及び、復号処理部１４２が設けられている点で、図３３の場合と相違する。
コントローラ１４１は、CPU、ROM、RAM等より構成され、所定のプログラムを実行することで、再生装置２の全体の動作を制御する。
例えば、コントローラ１４１は、分離部５２から供給されるmoovボックス（図４５）に含まれるtinfボックスにToneMapInfoとして格納されたTMI(tone_mapping_info)や、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部１４２に供給する。また、例えば、コントローラ１４１は、分離部５２から供給されるmoofボックス（図４０）に含まれるtinfボックスにToneMapInfoとして格納されたTMIや、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部１４２に供給する。
復号処理部１４２は、デコーダ１４２Ａとデコーダ１４２Ｂとを有する。
デコーダ１４２Ａは、コントローラ１４１から供給される、ビデオのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、ビデオのTMIとして取得し、そのビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する取得部として機能する。
また、デコーダ１４２Ａは、分離部５２から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
そして、デコーダ１４２Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
デコーダ１４２Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
デコーダ１４２Ｂは、分離部５２から供給されるSTストリームを復号する。
また、デコーダ１４２Ｂは、コントローラ１４１から供給される、STのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、STのTMIとして取得し、そのSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する取得部として機能する。
そして、デコーダ１４２Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する、変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
デコーダ１４２Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する、特性情報としてのTMIを、合成出力部５６に出力する。
＜再生装置２の再生処理＞
図５２は、図５１の再生装置２が行う再生処理の例を説明するフローチャートである。
ステップＳ１５１において、ファイル取得部５１は、図３９の生成装置１で生成された第２のMP4ファイルを取得し、分離部５２に供給する。
分離部５２は、ファイル取得部５１からの第２のMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを読み出す。
そして、分離部５２は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ１４１に供給するとともに、ビデオストリームやSTストリームを、復号処理部１４２に供給する。
また、コントローラ１４１は、分離部５２から供給されるmoovボックス又はmoofボックスに含まれるtinfボックスにToneMapInfoとして格納されたTMIや、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部１４２に供給する。
その後、処理は、ステップＳ１５１からステップＳ１５２に進み、コントローラ１４１は、図３４のステップＳ４２の場合と同様に、ファイル取得部５１で取得された第２のMP4ファイルの処理モードがmode-i又はmode-iiであるかどうかを判定する。
処理モードがmode-iであるとステップＳ１５２において判定された場合、ステップＳ１５３に進み、復号処理部１４２は、mode-iの復号処理を行う。
一方、処理モードがmode-iiであるとステップＳ１５２において判定された場合、ステップＳ１５４に進み、復号処理部１４２は、mode-iiの復号処理を行う。
ステップＳ１５３又はステップＳ１５４において復号処理が行われた後、再生処理は終了する。
図５３は、図５２のステップＳ１５３において行われるmode-iの復号処理の例を説明するフローチャートである。
ステップＳ１６１において、デコーダ１４２Ａは、コントローラ１４１から供給される、ビデオのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、ビデオのTMIとして取得する。
さらに、デコーダ１４２Ｂは、コントローラ１４１から供給される、STのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、STのTMIとして取得し、処理は、ステップＳ１６２に進む。
ステップＳ１６２ないしＳ１６４では、図３５のステップＳ６２ないしＳ６４とそれぞれ同様の処理が行われる。
すなわち、ステップＳ１６２では、デコーダ１４２Ａは、分離部５２からのビデオストリームに含まれる符号化データを復号し、HDRビデオを生成する。ステップＳ１６３では、デコーダ１４２Ｂは、分離部５２からの、SMPTE-TTフォーマットのSTのデータのSTストリームを、HDR STに復号する。
そして、ステップＳ１６４において、コントローラ１４１は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ１６４において判定された場合、処理は、ステップＳ１６５に進む。
ステップＳ１６５において、デコーダ１４２Ａは、ステップＳ１６１で取得したビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
また、デコーダ１４２Ｂは、ステップＳ１６１で取得したSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
その後、処理は、ステップＳ１６５からステップＳ１６６に進み、以下、ステップＳ１６６及びＳ１７０において、図３５のステップＳ６６及びＳ７０とそれぞれ同様の処理が行われる。
一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ１６４において判定された場合、処理は、ステップＳ１６７に進む。
ステップＳ１６７において、デコーダ１４２Ａは、ステップＳ１６５と同様に、ステップＳ１６１で取得したビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
また、デコーダ１４２Ｂは、ステップＳ１６５と同様に、ステップＳ１６１で取得したSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
その後、処理は、ステップＳ１６７からステップＳ１６８に進み、以下、ステップＳ１６８ないしＳ１７０において、図３５のステップＳ６８ないしＳ７０とそれぞれ同様の処理が行われる。
図５４は、図５２のステップＳ１５４において行われるmode-iiの復号処理の例を説明するフローチャートである。
ステップＳ１８１において、デコーダ１４２Ａ及び５５Ｂは、図５３のステップＳ１６１と同様に、それぞれ、ビデオのTMI、及び、STのTMIを取得する。
すなわち、デコーダ１４２Ａは、コントローラ１４１から供給される、ビデオのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、ビデオのTMIとして取得する。
さらに、デコーダ１４２Ｂは、コントローラ１４１から供給される、STのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、STのTMIとして取得し、処理は、ステップＳ１８２に進む。
ステップＳ１８２ないしＳ１８４では、図３６のステップＳ８２ないしＳ８４とそれぞれ同様の処理が行われる。
すなわち、ステップＳ１８２では、デコーダ１４２Ａは、分離部５２からのビデオストリームに含まれる符号化データを復号し、STDビデオを生成する。ステップＳ１８３では、デコーダ１４２Ｂは、分離部５２からの、SMPTE-TTフォーマットのSTのデータのSTストリームを、STD STに復号する。
そして、ステップＳ１８４において、コントローラ１４１は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ１８４において判定された場合、処理は、ステップＳ１８５に進む。
ステップＳ１８５において、デコーダ１４２Ａは、ステップＳ１８１で取得したビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
また、デコーダ１４２Ｂは、ステップＳ１８１で取得したSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
その後、処理は、ステップＳ１８５からステップＳ１８６に進み、ステップＳ１８６ないしＳ１８９において、図３６のステップＳ８６ないしＳ８９とそれぞれ同様の処理が行われる。
以上のように、第２の構成例の生成装置１は、ビデオ（のストリーム）のトラックと、ST（のストリーム）のトラックとを、第２のMP4ファイルに格納する。
そして、各メディアのトラックには、そのメディア（のトラック）に適用するTMIを、ToneMapInfoとして格納したtinfボックスと、そのtinfボックスに格納されたTMIの中の、メディアに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refが格納されたtirfボックスが含められる。
その結果、再生装置２は、各メディアについて、そのメディアのトラックに含まれるtinfボックスに格納されたTMIの中から、tirfボックスに格納されたtone_mapping_info_id_refが指定する（tone_map_idの）TMIを、メディアに適用するTMIとして取得し、メディアの処理に利用することができる。
＜生成装置１の第３の構成例＞
図５５は、図１の生成装置１の第３の構成例を示すブロック図である。
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５５において、生成装置１は、コントローラ２１、符号化処理部２０２、及び、ファイル生成部２０３を有する。
したがって、図５５の生成装置１は、コントローラ２１を有する点で、図２０の場合と共通する。
但し、図５５の生成装置１は、符号化処理部２２、及び、ファイル生成部２３に代えて、それぞれ、符号化処理部２０２、及び、ファイル生成部２０３が設けられている点で、図２０の場合と相違する。
さらに、図５５の生成装置１は、コントローラ２１が、ヘッダ情報生成部２１Ａに代えて、ヘッダ情報２０１Ａを有する点で、図２０の場合と相違する。
図５５の生成装置１では、マスタのHDRデータが符号化処理部２０２に入力される。
ヘッダ情報生成部２０１Ａは、符号化処理部２０２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックス（図２４）を含むmoofボックスと、tmpiボックス（reference_typeが"tmpi"のTrackReferenceTypeBox）を含むmoovボックスとを、ヘッダ情報として生成し、ファイル生成部２０３に供給する。
又は、ヘッダ情報生成部２０１Ａは、符号化処理部２０２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックスと、tmpiボックスを含むmoovボックスを、ヘッダ情報として生成し、ファイル生成部２０３に供給する。
tmpiボックスについては、後述する。
符号化処理部２０２は、図２０の符号処理部２２と同様に、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２０３に出力する。
さらに、符号化処理部２０２は、ビデオやSTに適用するHDR情報としてのTMIのes(elementary stream)（以下、TMIストリームともいう）を生成し、ファイル生成部２０３に出力する。
また、符号化処理部２０２は、ビデオやSTに適用するTMIのtone_map_idを、コントローラ２１（のヘッダ情報生成部２０１Ａ）に供給する。
ファイル生成部２０３は、コントローラ２１（のヘッダ情報生成部２０１Ａ）から供給されるヘッダ情報と、符号化処理部２０２から供給されるビデオストリーム、STストリーム、及び、TMIストリームとを格納したMP4ファイルを生成して出力する。
図５６は、図５５の生成装置１で生成されるMP4ファイル（以下、第３のMP4ファイルともいう）の例を示す図である。
図５６の第３のMP4ファイルは、フラグメントを有するfragmented movieのMP4ファイルであり、moovボックスは、ビデオ、ST、及び、TMI(tone map es)のtrakボックスを有している。
したがって、図５６のMP4ファイルは、ビデオのトラック、STのトラック、及び、TMIのトラックを有する。
図５５の生成装置１は、TMIのトラック（以下、TMIトラックともいう）に含まれるTMIを、他のトラックから参照して適用することができるMP4ファイルを、第３のMP4ファイルとして生成する。
そのため、第３のMP4ファイルでは、TMIトラック（tone map track）のmdatボックスは、実データとしてのTMIのサンプル(ToneMapSample)を有する。
さらに、moovボックスの、TMI以外のメディアのtrakボックス、すなわち、ビデオやST(subtitle)のtrakボックスは、tmpiボックスを有するtrefボックス(TrackReferenceBox)を有している。
ここで、trefボックスは、図２１及び図２２で説明したように、TrackReferenceTypeBoxを持つことができるが、tmpiボックスは、TrackReferenceTypeBoxの一種として新規に定義されたボックスである。
いま、例えば、tmpiボックスを有する、STのトラックを、注目する注目トラックとすると、注目トラックとしてのSTのトラックが有するtmpiボックスには、注目トラックに適用するTMI（HDR情報）のTMIトラックを指定するトラック指定情報としての、TMIトラックのtrack_id（を表すtrack_IDs[]）が格納される。
したがって、注目トラックとしてのSTのトラックが有するtmpiボックスに格納されているtrack_idによって、注目トラックに適用するTMIのTMIトラックを認識することができる。
同様に、tmpiボックスを有する、ビデオのトラックを、注目する注目トラックとすると、注目トラックとしてのビデオのトラックが有するtmpiボックスには、注目トラックに適用するTMIのTMIトラックを指定するトラック指定情報としての、TMIトラックのtrack_idが格納される。
したがって、注目トラックとしてのビデオのトラックが有するtmpiボックスに格納されているtrack_idによって、注目トラックに適用するTMIのTMIトラックを認識することができる。
なお、TMIトラックとなるトラックのtrack_idを、あらかじめ決めておくことにより、tmpiボックスを有するtrefボックスは、省略することができる。
図５６の第３のMP4ファイルでは、ビデオ及びSTのそれぞれのトラックのmoofボックスは、そのトラックに適用するTMIを指定するHDR指定情報としての、tone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスを有するtrafボックスを有する。
注目トラックのtirfボックスに格納されたtone_mapping_info_id_refを参照することにより、tmpiボックスに格納されたtrack_idのTMIトラックのTMIのうちの、tirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、注目トラックに適用するTMIとして認識することができる。
なお、fragmented movieのMP4ファイルは、フラグメントごとに、moofボックスを有するが、あるフラグメントのデータには、そのフラグメントのmoofボックスが有するtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
また、第３のMP4ファイルには、TMIトラック（tone map track）として、複数のトラックを格納することができる。図５６では、２つのTMIトラックが格納されている。
さらに、第３のMP4ファイルにおいて、例えば、ビデオに適用するTMIのTMIトラックと、STに適用するTMIのTMIトラックとは、同一のTMIトラックであってもよいし、異なるTMIトラックであってもよい。
fragmented movieのMP4ファイルには、図５６に示すように、ビデオ及びSTのトラックの他、TMIトラックが格納される。
そして、ビデオのトラックについては、moovボックスのビデオのトラックのtrak/trefボックスに、STに適用するTMIのTMIトラックのtrack_idが格納されたtmpiボックスB#41が格納される。
さらに、ビデオのトラックについては、そのビデオのトラックのmoof/trafボックスに、ビデオに適用するTMI（tmpiボックスB#41に格納されたtrack_idのTMIトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#44が格納される。
したがって、図５６の第３のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、moovボックスのビデオのtrak/tref/tmpiボックスB#41に格納されたtrack_idによって、ビデオに適用するTMIのTMIトラックを認識することができる。
そして、TMIトラックに含まれるTMIのうちの、注目トラックであるビデオのトラックのmoof/tarf/tirfボックスB#44に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
一方、STのトラックについては、moovボックスのSTのトラックのtrak/trefボックスに、STに適用するTMIのTMIトラックのtrack_idが格納されたtmpiボックスB#42が格納される。
さらに、STのトラックについては、そのSTのトラックのmoof/trafボックスに、STに適用するTMI（tmpiボックスに格納されたtrack_idのTMIトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#43が格納される。
したがって、図５６の第３のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/tmpiボックスB#42に格納されたtrack_idによって、STに適用するTMIのTMIトラックを認識することができる。
そして、TMIトラックに含まれるTMIのうちの、注目トラックであるSTのトラックのmoof/tarf/tirfボックスB#43に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
図５７は、tmpiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。
本実施の形態では、TrackReferenceTypeBoxを、TMIトラックのtrack_idを格納する用途に用いることを表すrefernce_typeとして、"tmpi"を新規に定義し、refernce_typeが"tmpi"になっているTrackReferenceTypeBoxが、TMIトラックのtrack_idを格納するtmpiボックスとして使用される。
tmpiボックスは、track_idを表すtrack_IDs[]を有する（格納する）。
track_IDs[]は、配列変数であり、複数のtrack_idを格納することができる。したがって、tmpiボックスによれば、メディアに適用するTMIのTMIトラックとして、複数のトラックを指定することができる。
図５８は、第３のMP4ファイルに格納されるTMIトラック（tone map track）のmdatボックスに格納される実データとしてのTMIのサンプル(ToneMapSample)のシンタクスの例を示す図である。
TMIの１サンプルには、TMIを表すToneMapInfoの長さを表すToneMapInfoLengthと、ToneMapInfoとのセットを、０セット以上含めることができる。
したがって、TMIの１サンプルには、ToneMapInfoLengthと、ToneMapInfoとのセットを、複数セット含めることができる。
なお、TMIのサンプルの長さを表すLength=sample_sizeは、TMIのサンプルには存在せず、例えば、stszボックスや、stz2ボックス、trunボックスに記述される各サンプルのサイズ情報が参照される。
ToneMapInfoとしては、例えば、図４２ないし図４４に示したシンタクスのToneMapInfo等を採用することができる。
図５９は、TMIのサンプル(ToneMapSample)のデータ構造の例を示す図である。
図５９に示すように、TMIのサンプルには、ToneMapInfoLengthと、ToneMapInfoとのセットを繰り返し含めることができる。
図６０は、図５５の生成装置１で生成される第３のMP4ファイルの他の例を示す図である。
図６０の第３のMP4ファイルは、フラグメントを有しないnon-fragmented movieのMP4ファイルであり、moovボックスは、ビデオ、ST、及び、（２つの）TMI(tone map es)のtrakボックスを有している。
したがって、図６０の第３のMP4ファイルは、ビデオのトラック、STのトラック、及び、TMIのトラックを有する。
図６０でも、図５６と同様に、ビデオ及びSTのトラックは、それぞれ、tmpiボックスとtirfボックスを有する。また、mdatボックスは、ビデオのサンプル、STのサンプル、及び、TMIのサンプル(ToneMapSample)を有する。
ここで、non-fragmented movieのMP4ファイルでは、図６０に示すように、moovボックスの、ビデオのトラックのtrak/trefボックスに、ビデオに適用するTMIのTMIトラックのtrack_idを表すtrack_IDs[]（図５７）が格納されたtmpiボックスB#51が格納される。
さらに、moovボックスの、ビデオのトラックのtrakが有するstblボックスに、ビデオに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#52が格納される。
STのトラックにも、ビデオのトラックと同様に、tmpiボックスB#53、及び、tirfボックスB#54が含められる。
すなわち、moovボックスの、STのトラックのtrak/trefボックスには、ビデオに適用するTMIのTMIトラックのtrack_idを表すtrack_IDs[]が格納されたtmpiボックスB#53が格納される。
さらに、moovボックスの、STのトラックのtrakボックスが有するstblボックスには、STに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#54が格納される。
したがって、図６０の第３のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/tmpiボックスB#53に格納されたtrack_idによって、注目トラックであるSTのトラックに適用するTMIのTMIトラックを認識することができる。
そして、そのTMIトラックのTMIの中の、moovボックスの、注目トラックであるSTのトラックのtark/stbl/tirfボックスB#54に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
ビデオについても、同様にして、ビデオに適用するTMIを認識することができる。
なお、non-fragmented movieのMP4ファイルでは、注目トラックには、その注目トラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
また、ビデオに適用するTMIのTMIトラックと、STに適用するTMIのTMIトラックとは、同一のTMIトラックであってもよいし、異なるTMIトラックであってもよい。
図５５の生成装置１では、以上のように、HDR情報としてのTMIのTMIトラックと、TMIトラックに含まれるTMIのうちの、注目する注目トラックに適用するTMIのTMIトラックを指定するトラック指定情報としてのtrack_IDs[]、及び、注目トラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refを含む注目トラックとが格納された第３のMP4ファイルが生成されるので、ビデオやST等の各メディアごとに、独立に、そのメディアに適用するTMIを付加することができる。
また、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるが、第３のMP4ファイルでは、SEIに挿入されるTMIとは独立して、ビデオ以外のメディアに、そのメディアに適用するTMIを付加することができる。
したがって、例えば、Blu-ray（登録商標）ディスクに記録されるm2tsフォーマットの、TMIを含むビデオと、そのビデオとともに再生されるSTとを、STについて、STに適用するTMIを別個に付加して、MP4ファイルにコンバートすることができる。
その結果、MP4ファイルへのTMIの導入を促進し、ユーザが、HDRビデオやHDR ST等のHDR画像を享受する機会を増やすことができる。
なお、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるため、第３のMP4ファイルでは、ビデオのTMIとしては、SEIに挿入されるTMIと、TMIトラックのTMIとが存在する。
この場合、再生装置２（図１）において、ビデオに適用するTMIとして、SEIに挿入されたTMIと、TMIトラックのTMIとのうちのいずれを使用するかは、例えば、あらかじめ決めておくことや、ユーザの操作に応じて選択することができる。
本実施の形態では、第３のMP4ファイルについては、SEIに挿入されたTMIと、TMIトラックのTMIとのうちの、例えば、TMIトラックのTMIを、ビデオに適用するTMIとして使用することとする。
ここで、SMPTE-TTフォーマットのSTのデータによれば、MP4ファイルへのアクセス単位である１サンプルに、STの複数の表示画面を含めることができるが、第３のMP4ファイルでは、１サンプルにSTの複数の表示画面が含まれている場合に、その１サンプルに含まれるSTの複数の表示画面の表示時間に合わせて、TMIのサンプル(ToneMapSample)を配置する（対応させる）ことにより、１サンプルに含まれるSTの複数の表示画面のそれぞれごとに、表示画面に適用するTMIを切り替える（変更する）ことができる。
なお、第３のMP4ファイルでは、メディアのトラックの他に、TMIトラックが存在するため、生成装置１、及び、再生装置２の処理の負荷が増加するが、その増加の程度は、それほど大きくはない。
＜符号化処理部２０２の構成例＞
図６１は、図５５の符号化処理部２０２の構成例を示すブロック図である。
なお、図中、図２６の符号化処理部２２、又は、図４６の符号化処理部１２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図６１の符号化処理部２０２は、エンコーダ３２、変換部３３、エンコーダ３５、特性情報生成部１３１、変換情報生成部１３２、及び、ストリーム生成部２１１を有する。
したがって、図６１の符号化処理部２０２は、エンコーダ３２、変換部３３、エンコーダ３５、特性情報生成部１３１、及び、変換情報生成部１３２を有する点で、図４６の符号化処理部１２２と共通する。
但し、図６１の符号化処理部２０２は、ストリーム生成部１３３に代えて、ストリーム生成部２１１が設けられている点で、図４６の符号化処理部１２２と相違する。
ストリーム生成部２１１は、図２６のストリーム生成部３６と同様の処理を行う。
すなわち、ストリーム生成部２１１は、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMIのtone_map_idを、コントローラ２１（図５５）に供給する。
また、ストリーム生成部２１１は、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１に供給する。
さらに、ストリーム生成部２１１は、ビデオのTMIを、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成する。
また、ストリーム生成部２１１は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、図５５のファイル生成部２０３に供給する。
以上のように、ストリーム生成部２１１は、図２６のストリーム生成部３６と同様の処理を行う他、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMI、並びに、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIを用いて、それらのTMIのTMIストリーム(es(elementary stream))を生成し、図５５のファイル生成部２０３に供給する。
なお、ストリーム生成部２１１では、ビデオのTMIを、エンコーダ３２からのビデオの符号化データに挿入せずに、その符号化データを、そのまま、ビデオストリームとすることができる。
＜生成装置１のファイル生成処理＞
図６２は、図５５の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
マスタのHDRデータが生成装置１に入力されると、ステップＳ２０１において、生成装置１のコントローラ２１は、図２９のステップＳ１と同様に、処理モードがmode-iであるか否かを判定する。
処理モードがmode-iであるとステップＳ１において判定された場合、ステップＳ２０２に進み、符号化処理部２０２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリーム、STストリーム、及び、TMIストリームは、符号化処理部２０２からファイル生成部２０３に供給される。
一方、処理モードがmode-iiであるとステップＳ２０１において判定された場合、ステップＳ２０３に進み、符号化処理部２０２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリーム、STストリーム、及び、TMIストリームは、符号化処理部２０２からファイル生成部２０３に供給される。
ステップＳ２０２又はＳ２０３の後、処理は、ステップＳ２０４に進み、ヘッダ情報生成部２０１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報は、ヘッダ情報生成部２０１Ａからファイル生成部２０３に供給され、処理は、ステップＳ２０５に進む。
ステップＳ２０５において、ファイル生成部２０３は、符号化処理部２０２からのビデオストリーム、STストリーム、及び、TMIストリーム、並びに、ヘッダ情報生成部２０１Ａからのヘッダ情報を格納した、図５６、又は、図６０の第３のMP4ファイルを生成して出力し、ファイル生成処理は終了する。
図６３は、図６２のステップＳ２０２において行われるmode-iの符号化処理の例を説明するフローチャートである。
ステップＳ２１１ないしＳ２１５において、符号化処理部２０２（図６１）では、図４８のステップＳ１２１ないしＳ１２５とそれぞれ同様の処理が行われる。
そして、ステップＳ２１５の後、処理は、ステップＳ２１６に進み、ストリーム生成部２１１は、符号化データのSEIとして、特性情報生成部１３１から供給される特性情報としてのTMIと、変換情報生成部１３２から供給される変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
さらに、ストリーム生成部２１１は、エンコーダ３５からのSTのデータを、STストリームとして、処理は、ステップＳ２１６からステップＳ２１７に進む。
ステップＳ２１７において、ストリーム生成部２１１は、ビデオのTMIと、STのTMIとから、それらのTMIのTMIストリームを生成し、ビデオストリーム、及び、STストリームとともに、ファイル生成部２０３（図５５）に供給する。
そして、ストリーム生成部２１１は、ビデオのTMIのtone_map_idと、STのTMIのtone_map_idとを、コントローラ２１（図５５）に供給し、mode-iの符号化処理は終了する。
図６４は、図６２のステップＳ２０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
ステップＳ２２１ないしステップＳ２２５において、符号化処理部２０２（図６１）では、図４９のステップＳ１３１ないしＳ１３５とそれぞれ同様の処理が行われる。
そして、ステップＳ２２６及びＳ２２７において、図６３のステップＳ２１６及びＳ２１７とそれぞれ同様の処理が行われ、mode-iiの符号化処理は終了する。
図６５は、図６２のステップＳ２０４において行われるヘッダ情報生成処理の例を説明するフローチャートである。
ステップＳ２３１において、コントローラ２１（図５５）のヘッダ情報生成部２０１Ａは、符号化処理部２０２（のストリーム生成部２１１（図６１））から供給されるビデオのTMI（ビデオに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２４、図５６、図６０）を生成する。
さらに、ヘッダ情報生成部２０１Ａは、符号化処理部２０２から供給されるSTのTMI（STに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックスを生成する。
また、ヘッダ情報生成部２０１Ａは、ビデオに適用されるTMIのTMIストリームのトラックのtrack_idを表すtrack_IDs[]を格納したtmpiボックス（図５６、図５７、図６０）を生成する。
さらに、ヘッダ情報生成部２０１Ａは、STに適用されるTMIのTMIストリームのトラックのtrack_idを表すtrack_IDs[]を格納したtmpiボックスを生成して、処理は、ステップＳ２３１からステップＳ２３２に進む。
ステップＳ２３２では、ヘッダ情報生成部２０１Ａは、tmpiボックスを含むmoovボックスと、tirfボックスを含むmoofボックスとを作成するか、又は、tmpiボックスとtirfボックスとを含むmoovボックスを作成し、ヘッダ情報として、ファイル生成部２０３（図５５）に供給して、ヘッダ情報生成処理は終了する。
すなわち、ファイル生成部２０３において、fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２０１Ａは、図５６に示したような、ビデオ及びSTのトラックのそれぞれのtrak/trefボックスに、tmpiボックスが含まれるmoovボックスを生成する。
さらに、ヘッダ情報生成部２０１Ａは、図５６に示したような、ビデオ及びSTのトラックのそれぞれのtrafボックスに、tirfボックスが含まれるmoofボックスを生成する。
一方、ファイル生成部２０３において、non-fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２０１Ａは、図６０に示したような、ビデオ及びSTのトラックのそれぞれのtrak/trefボックスに、tmpiボックスが含まれるとともに、ビデオ及びSTのトラックのそれぞれのtrakボックス/stblボックスに、tirfボックスが含まれるmoovボックスを生成する。
＜再生装置２の第３の構成例＞
図６６は、図１の再生装置２の第３の構成例を示すブロック図である。
なお、図中、図３３又は図５１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図６６において、再生装置２は、ファイル取得部５１、操作入力部５３、合成出力部５６、分離部２３１、コントローラ２３２、及び、復号処理部２３３を有する。
したがって、図６６の再生装置２は、ファイル取得部５１、操作入力部５３、及び、合成出力部５６を有する点で、図３３の場合と共通する。
但し、図６６の再生装置２は、分離部５２、コントローラ５４、及び、復号処理部５５に代えて、それぞれ、分離部２３１、コントローラ２３２、及び、復号処理部２３３が設けられている点で、図３３の場合と相違する。
分離部２３１は、図３３の分離部５２と同様に、ファイル取得部５１からの第３のMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを分離（取得）し、コントローラ２３２に供給する。
さらに、分離部２３１は、ファイル取得部５１からの第３のMP4ファイルから、mdatボックスに格納された実データとしてのビデオストリーム、STストリーム、及び、TMIストリームを分離(取得）し、復号処理部２３３に供給する。
コントローラ２３２は、CPU、ROM、RAM等より構成される。コントローラ２３２は、所定のプログラムを実行し、再生装置２の全体の動作を制御する。
例えば、コントローラ２３２は、分離部２３１から供給されるmoovボックスに含まれるtmpiボックスに格納されたtrack_IDs[]（図５６、図５７、図６０）や、tirfボックスに格納されたtone_mapping_info_id_ref（図２４、図５６、図６０）を、復号処理部２３３に供給する。また、例えば、コントローラ２３２は、分離部２３１から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部２３３に供給する。
復号処理部２３３は、デコーダ２３３Ａとデコーダ２３３Ｂとを有する。
デコーダ２３３Ａは、分離部２３１から供給されるストリーム（ここでは、ビデオストリーム、STストリーム、及び、TMIストリーム）の中の、コントローラ２３２から供給される、ビデオのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックのTMIストリームに含まれるTMIを、ビデオのTMIとして取得する取得部として機能する。
また、デコーダ２３３Ａは、分離部２３１から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
さらに、デコーダ２３３Ａは、ビデオのTMIの中から、コントローラ２３２から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
そして、デコーダ２３３Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
デコーダ２３３Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
デコーダ２３３Ｂは、分離部２３１から供給されるSTストリームを復号する。
また、デコーダ２３３Ｂは、分離部２３１から供給されるストリーム（ここでは、ビデオストリーム、STストリーム、及び、TMIストリーム）の中の、コントローラ２３２から供給される、STのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックのTMIストリームに含まれるTMIを、STのTMIとして取得する取得部として機能する。
さらに、デコーダ２３３Ｂは、STのTMIの中から、コントローラ２３２から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
そして、デコーダ２３３Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する、変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
デコーダ２３３Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する、特性情報としてのTMIを、合成出力部５６に出力する。
＜再生装置２の再生処理＞
図６７は、図６６の再生装置２が行う再生処理の例を説明するフローチャートである。
ステップＳ２５１において、ファイル取得部５１は、生成装置１で生成された第３のMP4ファイルを取得し、分離部２３１に供給する。
分離部２３１は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリーム、STストリーム、及び、TMIストリームを読み出す。
そして、分離部２３１は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ２３２に供給するとともに、ビデオストリーム、STストリーム、及び、TMIストリームを、復号処理部２３３に供給する。
また、コントローラ２３２は、分離部２３１から供給されるmoovボックスに含まれるtmpiボックスに格納されたtrack_IDs[]や、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部２３３に供給する。さらに、コントローラ２３２は、分離部２３１から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部２３３に供給する。
その後、処理は、ステップＳ２５１からステップＳ２５２に進み、コントローラ２３２は、ファイル取得部５１で取得された第３のMP4ファイルの処理モードがmode-i又はmode-iiであるかどうかを、図３４のステップＳ４２の場合と同様に判定する。
処理モードがmode-iであるとステップＳ２５２において判定された場合、ステップＳ２５３に進み、復号処理部２３３は、mode-iの復号処理を行う。
一方、処理モードがmode-iiであるとステップＳ２５２において判定された場合、ステップＳ２５４に進み、復号処理部２３３は、mode-iiの復号処理を行う。
ステップＳ２５３又はステップＳ２５４において復号処理が行われた後、再生処理は終了する。
図６８は、図６７のステップＳ２５３において行われるmode-iの復号処理の例を説明するフローチャートである。
ステップＳ２６１において、デコーダ２３３Ａは、コントローラ２３２から供給される、ビデオのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、ビデオのTMIとして取得する。
また、デコーダ２３３Ｂは、コントローラ２３２から供給される、STのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、STのTMIとして取得する。
その後、処理は、ステップＳ２６１からステップＳ２６２に進み、デコーダ２３３Ａは、分離部２３１からのビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成して、処理は、ステップＳ２６３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
ステップＳ２６３において、デコーダ２３３Ｂは、分離部２３１からのSTストリーム、すなわち、例えば、SMPTE-TTフォーマットのSTのデータのストリームを、HDR STに復号し、処理は、ステップＳ２６４に進む。
ステップＳ２６４において、コントローラ２３２は、図３５のステップＳ６４と同様に、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ２６４において判定された場合、処理は、ステップＳ２６５に進む。
ステップＳ２６５において、デコーダ２３３Ａは、ステップＳ２６１で取得したビデオのTMIの中から、コントローラ２３２から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
また、デコーダ２３３Ｂは、ステップＳ２６１で取得したSTのTMIの中から、コントローラ２３２から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
その後、処理は、ステップＳ２６５からステップＳ２６６に進み、以下、ステップＳ２６６及びＳ２７０において、図３５のステップＳ６６及びＳ７０とそれぞれ同様の処理が行われる。
一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ２６４において判定された場合、処理は、ステップＳ２６７に進む。
ステップＳ２６７において、デコーダ２３３Ａ及び２３３Ｂは、ステップＳ２６５と同様にして、ビデオに適用するTMI、及び、STに適用するTMIを、それぞれ取得する。
その後、処理は、ステップＳ２６７からステップＳ２６８に進み、以下、ステップＳ２６８ないしＳ２７０において、図３５のステップＳ６８ないしＳ７０とそれぞれ同様の処理が行われる。
図６９は、図６７のステップＳ２５４において行われるmode-iiの復号処理の例を説明するフローチャートである。
ステップＳ２８１において、デコーダ２３３Ａ及び２３３Ｂは、図６８のステップＳ２６１と同様に、TMIを取得する。
すなわち、デコーダ２３３Ａは、コントローラ２３２から供給される、ビデオのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、ビデオのTMIとして取得する。
また、デコーダ２３３Ｂは、コントローラ２３２から供給される、STのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、STのTMIとして取得する。
その後、処理は、ステップＳ２８１からステップＳ２８２に進み、ステップＳ２８２ないしＳ２８４において、図３６のステップＳ８２ないしＳ８４とそれぞれ同様の処理が行われる。
すなわち、ステップＳ２８２では、デコーダ２３３Ａは、分離部２３１からのビデオストリームに含まれる符号化データを復号し、STDビデオを生成する。ステップＳ２８３では、デコーダ２３３Ｂは、分離部２３１からの、SMPTE-TTフォーマットのSTのデータのSTストリームを、STD STに復号する。
そして、ステップＳ２８４において、コントローラ２３２は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ２８４において判定された場合、処理は、ステップＳ２８５に進む。
ステップＳ２８５では、デコーダ２３３Ａは、ステップＳ２８１で取得したビデオのTMIの中から、コントローラ２３２から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
また、デコーダ２３３Ｂは、ステップＳ２８１で取得したSTのTMIの中から、コントローラ２３２から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
その後、処理は、ステップＳ２８５からステップＳ２８６に進み、ステップＳ２８６ないしＳ２８９において、図３６のステップＳ８６ないしＳ８９とそれぞれ同様の処理が行われる。
以上のように、第３の構成例の生成装置１は、ビデオ（のストリーム）のトラック、及び、ST（のストリーム）のトラックの他、TMI（のストリーム）のトラックであるTMIトラックを、第３のMP4ファイルに格納する。
そして、各メディアのトラックには、そのメディア（のトラック）に適用するTMIのTMIトラックを指定するトラック指定情報としての、track_idを表すtrack_IDs[]を格納したtmpiボックスと、TMIトラックのTMIの中の、メディアに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refが格納されたtirfボックスが含められる。
その結果、再生装置２は、各メディアについて、そのメディアのトラックに含まれるtmpiボックスに格納されたtrack_IDs[]が指定する（track_idの）TMIトラックのTMIの中から、tirfボックスに格納されたtone_mapping_info_id_refが指定する（tone_map_idの）TMIを、メディアに適用するTMIとして取得し、メディアの処理に利用することができる。
＜生成装置１の第４の構成例＞
図７０は、図１の生成装置１の第４の構成例を示すブロック図である。
なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
図７０において、生成装置１は、コントローラ２１、ファイル生成部２３、及び、符号化処理部３０２を有する。
したがって、図７０の生成装置１は、コントローラ２１、及び、ファイル生成部２３を有する点で、図２０の場合と共通し、符号化処理部２２に代えて、符号化処理部３０２が設けられている点で、図２０の場合と相違する。
さらに、図７０の生成装置１は、コントローラ２１が、ヘッダ情報生成部２１Ａに代えて、ヘッダ情報生成部３０１Ａを有する点で、図２０の場合と相違する。
図７０の生成装置１では、マスタのHDRデータが符号化処理部３０２に入力される。
ヘッダ情報生成部３０１Ａは、ファイル生成部２３で生成されるMP4ファイルのmoovと必要なmoofとを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
符号化処理部３０２は、図２０の符号化処理部２２と同様に、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２３に出力する。
但し、本実施の形態では、HDR情報としてのTMIを格納するXMLのエレメントとして、HDR格納エレメントを新規に定義し、符号化処理部３０２は、STについては、そのSTの符号化の結果得られるSMPTE-TTフォーマットのSTのデータに、HDR情報としてのTMIをXMLのエレメントとして格納するHDR格納エレメントを含めて、STストリームを生成する。
したがって、符号化処理部３０２において生成されるSTストリームとしてのSMPTE-TTフォーマットのSTのデータには、HDR情報としてのTMIを格納するHDR格納エレメントが含まれているため、そのSMPTE-TTフォーマットのSTのデータだけで、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
すなわち、上述の第１ないし第３のMP4ファイルに格納されるSTストリームとしてのSMPTE-TTフォーマットのSTのデータに適用するTMIについては、そのTMIをtinfボックスに格納すること、又は、STのトラック以外のトラックに含まれるTMIを参照（利用）することとしているため、第１ないし第３のMP4ファイルに格納されるSTストリームを、そのまま、MP4ファイル以外のコンテナフォーマットのファイルやデータに格納した場合には、HDR情報としてのTMIを利用したHDR ST等の表示を行うことが困難となる。
これに対して、符号化処理部３０２において生成されるSTストリームとしてのSMPTE-TTフォーマットのSTのデータ（以下、新TTデータともいう）には、HDR情報としてのTMIを格納するHDR格納エレメントが含まれているため、その新TTデータだけで、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
したがって、新TTデータは、MP4ファイルは、勿論、どのようなコンテナフォーマットによって提供しても、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
すなわち、図７０の生成装置１では、新TTデータを、MP4ファイルに格納して提供することとしているが、新TTデータは、MP4ファイルに格納する他、例えば、IPパケット、その他の任意のコンテナフォーマットのファイルやデータに格納して提供することができる。
また、新TTデータは、単独で提供しても、ビデオ等の他のデータと多重化等して提供しても、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
したがって、新TTデータによれば、SMPTE-TTフォーマットのSTのデータへのTMIの導入を促進し、ユーザが、HDR STを享受する機会を増やすことができる。
＜符号化処理部３０２の構成例＞
図７１は、図７０の符号化処理部３０２の構成例を示すブロック図である。
なお、図中、図２６の符号化処理部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
符号化処理部３０２は、特性情報生成部３１、エンコーダ３２、変換部３３、変換情報生成部３４、エンコーダ３５、及び、ストリーム生成部３１１を有する。
したがって、符号化処理部３０２は、特性情報生成部３１、エンコーダ３２、変換部３３、変換情報生成部３４、及び、エンコーダ３５を有する点で、図２６の符号化処理部２２と共通する。
但し、符号化処理部３０２は、ストリーム生成部３６に代えて、ストリーム生成部３１１が設けられている点で、図２６の符号処理部２２と相違する。
ストリーム生成部３１１は、特性情報生成部３１、及び、変換情報生成部３４のそれぞれからのビデオのTMIを、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成して、ファイル生成部２３（図７０）に供給する。
また、ストリーム生成部３１１は、特性情報生成部３１、及び、変換情報生成部３４のそれぞれからのSTのTMIを格納したHDR格納エレメントを生成する。
さらに、ストリーム生成部３１１は、エンコーダ３５からのSMPTE-TTフォーマットのSTのデータに、HDR格納エレメント等を挿入することにより、新TTデータを生成し、その新TTデータのストリーム（STストリーム）を、ファイル生成部２３に供給する。
なお、図７１において、特性情報生成部３１は、図４６の特性情報生成部１３１と同様に、HDRビデオとHDR STとのそれぞれについて、別個に、特性情報としてのTMIを生成することもできるし、HDRビデオについては、そのHDRビデオの特性情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの特性情報としてのTMIを、ST（HDR ST）の特性情報としてのTMIとして採用することができる。
さらに、図７１において、変換情報生成部３４は、図４６の変換情報生成部１３２と同様に、HDRビデオとHDR STとのそれぞれについて、別個に、変換情報としてのTMIを生成することもできるし、HDRビデオについては、そのHDRビデオの変換情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの変換情報としてのTMIを、ST（HDR ST）の変換情報としてのTMIとして採用することができる。
＜HDR格納エレメント＞
図７２は、HDR格納エレメントの例を示す図である。
HDR格納エレメントとしては、変換情報としてのTMIを格納するToneMapエレメントと、特性情報としてのTMIを格納するHdrInfoエレメントとがある。
図７２のＡ、図７２のＢ、及び、図７２のＣは、ToneMapエレメントの例を示しており、図７２のＤは、HdrInfoエレメントの例を示している。
図７２のＡのToneMapエレメントは、tone_map_idが0のときの図７のTMIに、図７２のＢのToneMapエレメントは、tone_map_idが2のときの図７のTMIに、図７２のＣのToneMapエレメントは、tone_map_idが3のときの図７のTMIに、それぞれ相当する。
図７２のＤのHdrInfoエレメントは、tone_map_idが4のときの図７のTMIに相当する。
なお、図７２のToneMapエレメント、及び、HdrInfoエレメント（に格納されるTMI）は、識別情報としてのxml:idによって識別される。
図７２では、ToneMapエレメント、及び、HdrInfoエレメントのxml:idとして、数字を用いているが、xml:idとしては、任意の文字（列）（数字を含む）を用いることができる。
ToneMapエレメント、及び、HdrInfoエレメントは、XMLの所定のエレメントとしての、例えば、tt，head，body，region，div，p，span、又は、setエレメント内に配置（記述）することができる。
図７３は、toneMapRef属性、及び、hdrInfoRef属性の定義の例を示す図である。
toneMapRef属性(toneMapRef attribute)は、STに適用するTMIが格納されたToneMapエレメントを指定する属性として、所定の名前空間（例えば、後述する名前空間hdr）の下に新規に定義された指定属性である。
あるエレメントが、toneMapRef属性を有する場合、そのtoneMapRef属性によって指定されるToneMapエレメントに格納されたTMIが取得され、そのtoneMapRef属性を有するエレメントに記述されたSTに適用するTMIとして使用される。
hdrInfoRef属性(hdrInfoRef attribute)は、STに適用するTMIが格納されたHdrInfoエレメントを指定する属性として、所定の名前空間（例えば、後述する名前空間hdr）の下に新規に定義された指定属性である。
あるエレメントが、hdrInfoRef属性を有する場合、そのhdrInfoRef属性によって指定されるHdrInfoエレメントに格納されたTMIが取得され、そのhdrInfoRef属性を有するエレメントに記述されたSTに適用するTMIとして使用される。
toneMapRef属性、及び、hdrInfoRef属性は、XMLの所定のエレメントとしての、例えば、body，div，p，region，span、又は、setエレメントに記述することができる。
図７４は、新TTデータの第１の例を示す図である。
図７４の新TTデータでは、記述n1において、HDR情報としてのTMIに関する名前空間hdrが定義されている。
また、記述n2及びn3は、ToneMapエレメントであり、記述n2のToneMapエレメントは、xml:id="A"で識別され、記述n3のToneMapエレメントは、xml:id="B"で識別される。
なお、記述n2及びn3のToneMapエレメントは、それぞれ、図７２のＢ及び図７２のＣのToneMapエレメントに相当する。
また、図７４の記述n2及びn3のToneMapエレメントについては、その記述の一部を省略してある。
記述n4は、pエレメントであり、toneMapRef属性としてのhdr:toneMapRef="A"を有している。
記述n4のpエレメントによれば、toneMapRef属性としてのhdr:toneMapRef="A"に従い、xml:id="A"で識別される記述n2のToneMapエレメントに格納されたTMIが取得され、記述n4のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose id is A"に適用するTMIとして使用される。
記述n5は、pエレメントであり、toneMapRef属性としてのhdr:toneMapRef="B"を有している。
記述n5のpエレメントによれば、toneMapRef属性としてのhdr:toneMapRef="B"に従い、xml:id="B"で識別される記述n3のToneMapエレメントに格納されたTMIが取得され、記述n5のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose id is B"に適用するTMIとして使用される。
なお、図７４では、記述n2及びn3のToneMapエレメントは、bodyエレメントに配置されているが、その他の位置に配置することができる。
また、図７４では、記述n2やn3のToneMapエレメントと、そのToneMapエレメントを指定するtoneMapRef属性を有する記述n4やn5のpエレメントとは、同一のファイルに記述されているが、異なるファイルに記述することができる。
図７５は、新TTデータの第２の例を示す図である。
図７５の新TTデータでは、記述n11において、図７４の記述n1と同様に、HDR情報としてのTMIに関する名前空間hdrが定義されている。
また、記述n12及びn13は、HdrInfoエレメントであり、記述n12のHdrInfoエレメントは、xml:id="AA"で識別され、記述n13のHdrInfoエレメントは、xml:id="BB"で識別される。
なお、記述n12及びn13のHdrInfoエレメントは、いずれも、図７２のＤのHdrInfoエレメントに相当する。
また、図７５の記述n12及びn13のHdrInfoエレメントについては、その記述の一部を省略してある。
記述n14は、pエレメントであり、hdrInfoRef属性としてのhdr:hdrInfoRef="AA"を有している。
記述n14のpエレメントによれば、hdrInfoRef属性としてのhdr:hdrInfoRef="AA"に従い、xml:id="AA"で識別される記述n12のHdrInfoエレメントに格納されたTMIが取得され、記述n14のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose id is AA"に適用するTMIとして使用される。
記述n15は、pエレメントであり、hdrInfoRef属性としてのhdr:hdrInfoRef="BB"を有している。
記述n15のpエレメントによれば、hdrInfoRef属性としてのhdr:hdrInfoRef="BB"に従い、xml:id="BB"で識別される記述n13のHdrInfoエレメントに格納されたTMIが取得され、記述n15のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose id is BB"に適用するTMIとして使用される。
なお、図７５では、記述n12及びn13のHdrInfoエレメントは、bodyエレメントに配置されているが、その他の位置に配置することができる。
また、図７５では、記述n12やn13のHdrInfoエレメントと、そのHdrInfoエレメントを指定するhdrInfoRef属性を有する記述n14やn15のpエレメントとは、同一のファイルに記述されているが、異なるファイルに記述することができる。
さらに、図７４及び図７５では、新TTデータに、ToneMapエレメント、及び、HdrInfoエレメントのうちの一方だけが記述されているが、新TTデータには、ToneMapエレメント、及び、HdrInfoエレメントの両方を記述することができる。
さらに、図７４及び図７５では、pエレメントにおいて、toneMapRef属性、及び、hdrInfoRef属性のうちの一方だけを指定しているが、１つのエレメントでは、toneMapRef属性、及び、hdrInfoRef属性の両方を指定することができる。
図７６は、新TTデータの第３の例を示す図である。
ここで、図７４の新TTデータの第１の例では、STに適用するTMIが格納されたToneMapエレメントを、toneMapRef属性によって指定することとしたが、図７６の新TTデータの第３の例では、toneMapRef属性を用いずに、STに適用するTMIが格納されたToneMapエレメントが指定される。
すなわち、図７６の新TTデータの第３の例では、STに適用するTMIが格納されたToneMapエレメントを、そのSTが表示されるエレメントに配置することによって、STに適用するTMIが格納されたToneMapエレメントとして、そのSTが表示されるエレメントに配置されたToneMapエレメントが指定される。
図７６の新TTデータでは、記述n21において、図７４の記述n1と同様に、HDR情報としてのTMIに関する名前空間hdrが定義されている。
また、図７６において、記述n22のdivエレメントには、図７４の記述n2と同一の記述n23のToneMapエレメントが配置されている。
さらに、記述n22のdivエレメントには、STとしてのテキスト"this subtitle references ToneMap whose identifiers are A"が表示される記述n24のpエレメントが配置されている。
その結果、記述n22のdivエレメントに配置されている記述n24のpエレメントについては、同じく、記述n22のdivエレメントに配置されている記述n23のToneMapエレメントに格納されたTMIが取得され、記述n24のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose identifiers are A"に適用するTMIとして使用される。
また、図７６において、記述n25のdivエレメントには、図７４の記述n3と同一の記述n26のToneMapエレメントが配置されている。
さらに、記述n25のdivエレメントには、STとしてのテキスト"this subtitle references ToneMap whose identifiers are B"が表示される記述n27のpエレメントが配置されている。
その結果、記述n25のdivエレメントに配置されている記述n27のpエレメントについては、同じく、記述n25のdivエレメントに配置されている記述n26のToneMapエレメントに格納されたTMIが取得され、記述n27のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose identifiers are B"に適用するTMIとして使用される。
図７７は、新TTデータの第４の例を示す図である。
ここで、図７５の新TTデータの第２の例では、STに適用するTMIが格納されたHdrInfoエレメントを、hdrInfoRef属性によって指定することとしたが、図７７の新TTデータの第４の例では、hdrInfoRef属性を用いずに、STに適用するTMIが格納されたHdrInfoエレメントが指定される。
すなわち、図７７の新TTデータの第４の例では、図７６の場合と同様に、STに適用するTMIが格納されたHdrInfoエレメントを、そのSTが表示されるエレメントに配置することによって、STに適用するTMIが格納されたHdrInfoエレメントとして、そのSTが表示されるエレメントに配置されたHdrInfoエレメントが指定される。
図７７の新TTデータでは、記述n31において、図７４の記述n1と同様に、HDR情報としてのTMIに関する名前空間hdrが定義されている。
また、図７７において、記述n32のdivエレメントには、図７５の記述n12と同一の記述n33のHdrInfoエレメントが配置されている。
さらに、記述n32のdivエレメントには、STとしてのテキスト"this subtitle references HdrInfo whose identifiers are AA"が表示される記述n34のpエレメントが配置されている。
その結果、記述n32のdivエレメントに配置されている記述n34のpエレメントについては、同じく、記述n32のdivエレメントに配置されている記述n33のHdrInfoエレメントに格納されたTMIが取得され、記述n34のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose identifiers are AA"に適用するTMIとして使用される。
また、図７７において、記述n35のdivエレメントには、図７５の記述n13と同一の記述n36のHdrInfoエレメントが配置されている。
さらに、記述n35のdivエレメントには、STとしてのテキスト"this subtitle references HdrInfo whose identifiers are BB"が表示される記述n37のpエレメントが配置されている。
その結果、記述n35のdivエレメントに配置されている記述n37のpエレメントについては、同じく、記述n35のdivエレメントに配置されている記述n36のHdrInfoエレメントに格納されたTMIが取得され、記述n37のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose identifiers are BB"に適用するTMIとして使用される。
なお、図７６及び図７７では、新TTデータに、ToneMapエレメント、及び、HdrInfoエレメントのうちの一方だけが記述されているが、新TTデータには、ToneMapエレメント、及び、HdrInfoエレメントの両方を記述することができる。
＜生成装置１のファイル生成処理＞
図７８は、図７０の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
マスタのHDRデータが生成装置１に入力されると、ステップＳ３０１において、生成装置１のコントローラ２１は、図２９のステップＳ１と同様に、処理モードがmode-iであるか否かを判定する。
処理モードがmode-iであるとステップＳ３０１において判定された場合、ステップＳ３０２に進み、符号化処理部３０２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとSTストリーム(es)は、符号化処理部３０２からファイル生成部２３に供給される。
一方、処理モードがmode-iiであるとステップＳ３０１において判定された場合、ステップＳ３０３に進み、符号化処理部３０２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとSTストリーム(es)は、符号化処理部３０２からファイル生成部２３に供給される。
ステップＳ３０２又はＳ３０３の後、処理は、ステップＳ３０４に進み、ヘッダ情報生成部３０１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報としてのmoov、及び、必要なmoofは、ヘッダ情報生成部３０１Ａからファイル生成部２３に供給され、処理は、ステップＳ３０５に進む。
ステップＳ３０５において、ファイル生成部２３は、符号化処理部３０２からのビデオストリーム、及び、STストリーム、並びに、ヘッダ情報生成部３０１Ａからのヘッダ情報を格納したMP4ファイルを生成して出力し、ファイル生成処理は終了する。
図７９は、図７８のステップＳ３０２において行われるmode-iの符号化処理の例を説明するフローチャートである。
ステップＳ３１１ないしＳ３１５において、図３０のステップＳ１１ないしＳ１５とそれぞれ同様の処理が行われる。
その後、ステップＳ３１６において、符号化処理部３０２（図７１）のストリーム生成部３１１は、符号化データのSEIとして、特性情報生成部３１から供給される特性情報としてのビデオのTMIと、変換情報生成部３４から供給される変換情報としてのビデオのTMIを、エンコーダ３２から供給される符号化データに挿入し、ビデオストリームを生成し、処理は、ステップＳ３１７に進む。
ステップＳ３１７では、ストリーム生成部３１１は、特性情報生成部３１から供給される特性情報としてのSTのTMIを格納したHdrInfoエレメント、及び、変換情報生成部３４から供給される変換情報としてのSTのTMIを格納したToneMapエレメントを生成する。
また、ストリーム生成部３１１は、HdrInfoエレメント、及び、ToneMapエレメント、並びに、必要なtoneMapRef属性、及び、hdrInfoRef属性を、エンコーダ３５からのSMPTE-TTフォーマットのSTのデータに挿入することで、新TTデータを生成する。
そして、ストリーム生成部３１１は、新TTデータのストリームであるSTストリームを、ビデオストリームとともに、ファイル生成部２３（図７０）に供給して、mode-iの符号化処理は終了する（リターンする）。
図８０は、図７８のステップＳ３０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
ステップＳ３２１ないしＳ３２５において、図３１のステップＳ２１ないしＳ２５とそれぞれ同様の処理が行われる。
そして、ステップＳ３２６及びＳ３２７において、図７９のステップＳ３１６及びＳ３１７とそれぞれ同様の処理が行われる。
＜再生装置２の第４の構成例＞
図８１は、図１の再生装置２の第４の構成例を示すブロック図である。
なお、図中、図３３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
図８１において、再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、合成出力部５６、コントローラ３２１、及び、復号処理部３２２を有する。
したがって、図８１の再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、及び、合成出力部５６を有する点で、図３３の場合と共通する。
但し、図８１の再生装置２は、コントローラ５４、及び、復号処理部５５に代えて、それぞれ、コントローラ３２１、及び、復号処理部３２２が設けられている点で、図３３の場合と相違する。
コントローラ３２１は、CPU、ROM、RAM等より構成される。コントローラ３２１は、所定のプログラムを実行し、再生装置２の全体の動作を制御する。
例えば、コントローラ３２１は、分離部５２から供給されるmoovボックスやmoofボックスに応じて、復号処理部３２２を制御する。
復号処理部３２２は、デコーダ３２２Ａとデコーダ３２２Ｂとを有する。
デコーダ３２２Ａは、分離部５２から供給されるビデオストリームのSEIから特性情報及び変換情報としてのTMI(tone_mapping_info)を、ビデオに適用するTMIとして取得する。
また、デコーダ３２２Ａは、分離部５２から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
そして、デコーダ３２２Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
デコーダ３２２Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
デコーダ３２２Ｂは、分離部５２から供給されるSTストリームを復号する。
また、デコーダ３２２Ｂは、STストリームに含まれるToneMapエレメント、及び、HdrInfoエレメント（toneMapRef属性やhdrInfoRef属性によって、ToneMapエレメントやHdrInfoエレメントが指定されている場合には、そのoneMapRef属性やhdrInfoRef属性によって指定されているToneMapエレメントやHdrInfoエレメント）に格納されたTMIを、STに適用するTMIとして取得する取得部として機能する。
そして、デコーダ３２２Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
デコーダ３２２Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する特性情報としてのTMIを、合成出力部５６に出力する。
＜再生装置２の再生処理＞
図８２は、図８１の再生装置２が行う再生処理の例を説明するフローチャートである。
ステップＳ３３１において、ファイル取得部５１は、生成装置１で生成されたMP4ファイルを取得し、分離部５２に供給する。
分離部５２は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを読み出す。
そして、分離部５２は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ３２１に供給するとともに、ビデオストリームやSTストリームを、復号処理部３２２に供給する。
その後、処理は、ステップＳ３３１からステップＳ３３２に進み、コントローラ３２１は、ファイル取得部５１で取得されたMP4ファイルの処理モードがmode-i又はmode-iiであるかどうかを、図３４のステップＳ４２と同様に判定する。
処理モードがmode-iであるとステップＳ３３２において判定された場合、ステップＳ３３３に進み、復号処理部３２２は、mode-iの復号処理を行う。
一方、処理モードがmode-iiであるとステップＳ３３２において判定された場合、ステップＳ３３４に進み、復号処理部３２２は、mode-iiの復号処理を行う。
ステップＳ３３３又はステップＳ３３４において復号処理が行われた後、再生処理は終了する。
図８３は、図８２のステップＳ３３３において行われるmode-iの復号処理の例を説明するフローチャートである。
ステップＳ３４１において、デコーダ３２２Ａは、分離部５２から供給されるビデオストリームのSEIから特性情報及び変換情報としてのTMIを取得する。
その後、処理は、ステップＳ３４１からステップＳ３４２に進み、デコーダ３２２Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成して、処理は、ステップＳ３４３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
ステップＳ３４３では、デコーダ３２２Ｂは、分離部５２から供給されるSTストリーム（新TTデータ）に含まれるToneMapエレメント、及び、HdrInfoエレメントに格納されたTMIを取得し、処理は、ステップＳ３４４に進む。
ステップＳ３４４において、デコーダ３２２Ｂは、分離部５２から供給されるSTストリームを、HDR STに復号し、処理は、ステップＳ３４５に進む。
ステップＳ３４５において、コントローラ３２１は、表示装置３が有するモニタがHDRモニタであるか否かを、図３５のステップＳ６４と同様に判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ３４５において判定された場合、処理は、ステップＳ３４６に進む。
ステップＳ３４６において、デコーダ３２２Ａは、ステップＳ３４１で取得したTMIから、ビデオに適用するTMIを取得する。ここで、MP4ファイルに格納されたビデオに適用するTMIを取得する方法としては、例えば、生成装置１及び再生装置２の第１の構成例で説明した方法等を採用することができる。
また、デコーダ３２２Ｂは、ステップＳ３４３で取得したTMIから、STに適用するTMI（toneMapRef属性やhdrInfoRef属性によって、ToneMapエレメントやHdrInfoエレメントが指定されている場合には、そのoneMapRef属性やhdrInfoRef属性によって指定されているToneMapエレメントやHdrInfoエレメントに格納されたTMI）を取得する。
その後、処理は、ステップＳ３４６からステップＳ３４７に進み、以下、ステップＳ３４７及びＳ３５１において、図３５のステップＳ６６及びＳ７０とそれぞれ同様の処理が行われる。
一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ３４５において判定された場合、処理は、ステップＳ３４８に進む。
ステップＳ３４８において、デコーダ３２２Ａ及び３２２Ｂは、ステップＳ３４６と同様に、ビデオ及びSTに適用するTMIとして取得する。
その後、ステップＳ３４９ないしＳ３５１において、図３５のステップＳ６８ないしＳ６９と同様の処理が行われる。
図８４は、図８２のステップＳ３３４において行われるmode-iiの復号処理の例を説明するフローチャートである。
ステップＳ３６１において、デコーダ３２２Ａは、図８３のステップＳ３４１と同様に、分離部５２から供給されるビデオストリームのSEIから特性情報及び変換情報としてのTMIを取得する。
その後、処理は、ステップＳ３６１からステップＳ３６２に進み、デコーダ３２２Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、STDビデオを生成して、処理は、ステップＳ３６３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
ステップＳ３６３では、デコーダ３２２Ｂは、図８３のステップＳ３４３と同様に、分離部５２から供給されるSTストリーム（新TTデータ）に含まれるToneMapエレメント、及び、HdrInfoエレメントに格納されたTMIを取得し、処理は、ステップＳ３６４に進む。
ステップＳ３６４において、デコーダ３２２Ｂは、分離部５２から供給されるSTストリームを、STD STに復号し、処理は、ステップＳ３６５に進む。
ステップＳ３６５において、コントローラ３２１は、例えば、図８３のステップＳ３４５と同様に、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
表示装置３が有するモニタがHDRモニタであるとステップＳ３６５において判定された場合、処理は、ステップＳ３６６に進む。
ステップＳ３６６において、デコーダ３２２Ａ及び３２２Ｂは、図８３のステップＳ３４６と同様に、ビデオ及びSTに適用するTMIとして取得する。
すなわち、ステップＳ３６６において、デコーダ３２２Ａは、ステップＳ３６１で取得したTMIから、ビデオに適用するTMIを取得する。
また、デコーダ３２２Ｂは、ステップＳ３６３で取得したTMIから、STに適用するTMI（toneMapRef属性やhdrInfoRef属性によって、ToneMapエレメントやHdrInfoエレメントが指定されている場合には、そのoneMapRef属性やhdrInfoRef属性によって指定されているToneMapエレメントやHdrInfoエレメントに格納されたTMI）を取得する。
その後、処理は、ステップＳ３６６からステップＳ３６７に進み、ステップＳ３６７ないしＳ３７０において、図３６のステップＳ８６ないしＳ８９とそれぞれ同様の処理が行われる。
以上のように、第４の構成例の生成装置１は、HDR情報としてのTMIをXMLのエレメントとして格納するHDR格納エレメントとしてのToneMapエレメントやHdrInfoエレメントを含む、XMLの新TTデータを生成する。
その結果、再生装置２は、新TTデータから、STに適用するTMIを取得し、STの処理に利用することができる。
なお、ToneMapエレメントやHdrInfoエレメント、さらには、toneMapRef属性やhdrInfoRef属性は、XMLを利用したSMPTE-TTによって、STを表示する場合の他、任意のマークアップ言語を利用して、STその他の任意の画像を表示する場合に適用することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図８５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のような構成をとることができる。
＜１＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報と、
注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックが格納されたファイルを生成するファイル生成部を備える
ファイル生成装置。
＜２＞
前記ファイルは、ボックス構造のファイルである
＜１＞に記載のファイル生成装置。
＜３＞
前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
＜２＞に記載のファイル生成装置。
＜４＞
前記注目トラックは、前記HDR情報を格納するボックスとして定義されたtinfボックス(ToneMappingInformationBox)を含む
＜３＞に記載のファイル生成装置。
＜５＞
前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含む
＜３＞又は＜４＞に記載のファイル生成装置。
＜６＞
前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
＜１＞ないし＜５＞のいずれかに記載のファイル生成装置。
＜７＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報と、
注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックが格納されたファイルを生成する
ステップを含むファイル生成方法。
＜８＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報と、
注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報を取得する取得部を備える
ファイル再生装置。
＜９＞
前記ファイルは、ボックス構造のファイルである
＜８＞に記載のファイル再生装置。
＜１０＞
前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
＜９＞に記載のファイル再生装置。
＜１１＞
前記注目トラックは、前記HDR情報を格納するボックスとして定義されたtinfボックス(ToneMappingInformationBox)を含み、
前記取得部は、前記tinfボックスに格納された前記HDR情報を取得する
＜１０＞に記載のファイル再生装置。
＜１２＞
前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含み、
前記取得部は、前記tirfボックスに格納された前記HDR指定情報が指定する前記HDR情報を取得する
＜１０＞又は＜１１＞に記載のファイル再生装置。
＜１３＞
前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
＜８＞ないし＜１２＞のいずれかに記載のファイル再生装置。
＜１４＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報と、
注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報を取得する
ステップを含むファイル再生方法。
＜１５＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報のストリームのトラックであるHDR情報トラックと、
注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックと
が格納されたファイルを生成するファイル生成部を備える
ファイル生成装置。
＜１６＞
前記ファイルは、ボックス構造のファイルである
＜１５＞に記載のファイル生成装置。
＜１７＞
前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
＜１６＞に記載のファイル生成装置。
＜１８＞
前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含む
＜１７＞に記載のファイル生成装置。
＜１９＞
前記注目トラックは、TrackReferenceBoxが有するTrackReferenceTypeBoxを前記トラック指定情報を格納する用途に用いることを表す、前記TrackReferenceTypeBoxのreference_typeとして定義されたtmpiが前記reference_typeになっている前記TrackReferenceTypeBoxを含む
＜１７＞又は＜１８＞に記載のファイル生成装置。
＜２０＞
前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
＜１５＞ないし＜１９＞のいずれかに記載のファイル生成装置。
＜２１＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報のストリームのトラックであるHDR情報トラックと、
注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックと
が格納されたファイルを生成する
ステップを含むファイル生成方法。
＜２２＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報のストリームのトラックであるHDR情報トラックと、
注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックと
が格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報を取得する取得部を備える
ファイル再生装置。
＜２３＞
前記ファイルは、ボックス構造のファイルである
＜２２＞に記載のファイル再生装置。
＜２４＞
前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
＜２３＞に記載のファイル再生装置。
＜２５＞
前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含み、
前記取得部は、前記注目トラックに含まれる前記tirfボックスに格納された前記HDR指定情報が指定する前記HDR情報を取得する
＜２４＞に記載のファイル再生装置。
＜２６＞
前記注目トラックは、TrackReferenceBoxが有するTrackReferenceTypeBoxを前記トラック指定情報を格納する用途に用いることを表す、前記TrackReferenceTypeBoxのreference_typeとして定義されたtmpiが前記reference_typeになっている前記TrackReferenceTypeBoxを含み、
前記取得部は、前記reference_typeが前記tmpiになっている前記TrackReferenceTypeBoxに格納された前記トラック指定情報が指定する前記HDR情報トラックの前記HDR情報から、前記HDR指定情報が指定する前記HDR情報を取得する
＜２４＞又は＜２５＞に記載のファイル再生装置。
＜２７＞
前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
＜２２＞ないし＜２６＞のいずれかに記載のファイル再生装置。
＜２８＞
STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
からなるHDR情報のストリームのトラックであるHDR情報トラックと、
注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
を含む前記注目トラックと
が格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報を取得する
ステップを含むファイル再生方法。
１ 生成装置， ２ 再生装置， ３ 表示装置， ４ ケーブル， １１ 記録媒体， １２ 伝送媒体， ２１ コントローラ， ２１Ａ ヘッダ情報生成部， ２２ 符号化処理部， ２３ ファイル生成部， ３１ 特性情報生成部， ３２ エンコーダ， ３３ 変換部， ３４ 変換情報生成部， ３５ エンコーダ， ３６ ストリーム生成部， ５１ ファイル取得部， ５２ 分離部， ５３ 操作入力部， ５４ コントローラ， ５５ 復号処理部， ５５Ａ，５５Ｂ デコーダ， ５６ 合成出力部， １０１ コントローラ， １０１Ａ メモリ， １０２ 通信部， １０３ 信号処理部， １０４ モニタ， １２１Ａ ヘッダ情報生成部， １２２ 符号化処理部， １３１ 特性情報生成部， １３２ 変換情報生成部， １３３ ストリーム生成部， １４１ コントローラ， １４２ 復号処理部， １４２Ａ，１４２Ｂ デコーダ， ２０１Ａ ヘッダ情報生成部， ２０２ 符号化処理部， ２０３ ファイル生成部， ２１１ ストリーム生成部， ２３１ 分離部， ２３２ コントローラ， ２３３ 復号処理部， ２３３Ａ，２３３Ｂ デコーダ， ３０１Ａ ヘッダ情報生成部， ３０２ 符号化処理部， ３１１ ストリーム生成部， ３２１ コントローラ， ３２２ 復号処理部， ３２２Ａ，３２２Ｂ デコーダ， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体， １００１，１００２ エレメント

Claims (28)

  1. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報と、
    注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックが格納されたファイルを生成するファイル生成部を備える
    ファイル生成装置。
  2. 前記ファイルは、ボックス構造のファイルである
    請求項１に記載のファイル生成装置。
  3. 前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
    請求項２に記載のファイル生成装置。
  4. 前記注目トラックは、前記HDR情報を格納するボックスとして定義されたtinfボックス(ToneMappingInformationBox)を含む
    請求項３に記載のファイル生成装置。
  5. 前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含む
    請求項４に記載のファイル生成装置。
  6. 前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
    請求項３に記載のファイル生成装置。
  7. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報と、
    注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックが格納されたファイルを生成する
    ステップを含むファイル生成方法。
  8. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報と、
    注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報を取得する取得部を備える
    ファイル再生装置。
  9. 前記ファイルは、ボックス構造のファイルである
    請求項８に記載のファイル再生装置。
  10. 前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
    請求項９に記載のファイル再生装置。
  11. 前記注目トラックは、前記HDR情報を格納するボックスとして定義されたtinfボックス(ToneMappingInformationBox)を含み、
    前記取得部は、前記tinfボックスに格納された前記HDR情報を取得する
    請求項１０に記載のファイル再生装置。
  12. 前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含み、
    前記取得部は、前記tirfボックスに格納された前記HDR指定情報が指定する前記HDR情報を取得する
    請求項１１に記載のファイル再生装置。
  13. 前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
    請求項１０に記載のファイル再生装置。
  14. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報と、
    注目する注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックが格納されたファイルから、前記HDR指定情報が指定する前記HDR情報を取得する
    ステップを含むファイル再生方法。
  15. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報のストリームのトラックであるHDR情報トラックと、
    注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
    前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックと
    が格納されたファイルを生成するファイル生成部を備える
    ファイル生成装置。
  16. 前記ファイルは、ボックス構造のファイルである
    請求項１５に記載のファイル生成装置。
  17. 前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
    請求項１６に記載のファイル生成装置。
  18. 前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含む
    請求項１７に記載のファイル生成装置。
  19. 前記注目トラックは、TrackReferenceBoxが有するTrackReferenceTypeBoxを前記トラック指定情報を格納する用途に用いることを表す、前記TrackReferenceTypeBoxのreference_typeとして定義されたtmpiが前記reference_typeになっている前記TrackReferenceTypeBoxを含む
    請求項１８に記載のファイル生成装置。
  20. 前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
    請求項１７に記載のファイル生成装置。
  21. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報のストリームのトラックであるHDR情報トラックと、
    注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
    前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックと
    が格納されたファイルを生成する
    ステップを含むファイル生成方法。
  22. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報のストリームのトラックであるHDR情報トラックと、
    注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
    前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックと
    が格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報を取得する取得部を備える
    ファイル再生装置。
  23. 前記ファイルは、ボックス構造のファイルである
    請求項２２に記載のファイル再生装置。
  24. 前記ファイルは、ISO/IEC14496-14に規定されたMP4ファイルである
    請求項２３に記載のファイル再生装置。
  25. 前記注目トラックは、前記HDR指定情報を格納するボックスとして定義されたtirfボックス(ToneMappingInformationReferecenceBox)を含み、
    前記取得部は、前記注目トラックに含まれる前記tirfボックスに格納された前記HDR指定情報が指定する前記HDR情報を取得する
    請求項２４に記載のファイル再生装置。
  26. 前記注目トラックは、TrackReferenceBoxが有するTrackReferenceTypeBoxを前記トラック指定情報を格納する用途に用いることを表す、前記TrackReferenceTypeBoxのreference_typeとして定義されたtmpiが前記reference_typeになっている前記TrackReferenceTypeBoxを含み、
    前記取得部は、前記reference_typeが前記tmpiになっている前記TrackReferenceTypeBoxに格納された前記トラック指定情報が指定する前記HDR情報トラックの前記HDR情報から、前記HDR指定情報が指定する前記HDR情報を取得する
    請求項２５に記載のファイル再生装置。
  27. 前記HDR情報は、画像の複数のコンポーネントに共通に適用するHDR情報、画像の複数のコンポーネントのうちの１つのコンポーネントに適用するHDR情報、又は、画像の複数のコンポーネントのそれぞれに適用するHDR情報である
    請求項２４に記載のファイル再生装置。
  28. STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    からなるHDR情報のストリームのトラックであるHDR情報トラックと、
    注目する注目トラックに適用する前記HDR情報を含む前記HDR情報トラックを指定するトラック指定情報と、
    前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記注目トラックに適用する前記HDR情報を指定するHDR指定情報と
    を含む前記注目トラックと
    が格納されたファイルから、前記トラック指定情報が指定する前記HDR情報トラックのHDR情報の中の、前記HDR指定情報が指定する前記HDR情報を取得する
    ステップを含むファイル再生方法。
JP2014560961A 2013-07-19 2014-07-10 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法 Expired - Fee Related JP6402631B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013150437 2013-07-19
JP2013150437 2013-07-19
PCT/JP2014/068379 WO2015008684A1 (ja) 2013-07-19 2014-07-10 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法

Publications (2)

Publication Number Publication Date
JPWO2015008684A1 JPWO2015008684A1 (ja) 2017-03-02
JP6402631B2 true JP6402631B2 (ja) 2018-10-10

Family

ID=52346147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014560961A Expired - Fee Related JP6402631B2 (ja) 2013-07-19 2014-07-10 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法

Country Status (6)

Country Link
US (1) US9918099B2 (ja)
EP (1) EP2869567B1 (ja)
JP (1) JP6402631B2 (ja)
CN (1) CN104509094B (ja)
TW (1) TWI630820B (ja)
WO (1) WO2015008684A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171787B2 (en) * 2013-07-12 2019-01-01 Sony Corporation Reproduction device, reproduction method, and recording medium for displaying graphics having appropriate brightness
TWI630821B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
MX364635B (es) * 2014-06-27 2019-05-03 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, método de salida de datos y método de generación de datos.
WO2016103968A1 (ja) * 2014-12-22 2016-06-30 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US10349127B2 (en) 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video
WO2017033811A1 (ja) * 2015-08-24 2017-03-02 シャープ株式会社 受信装置、放送システム、受信方法、及びプログラム
CN108702534B (zh) * 2016-02-22 2021-09-14 索尼公司 文件生成装置、文件生成方法以及再现装置和再现方法
CN105979192A (zh) * 2016-05-16 2016-09-28 福州瑞芯微电子股份有限公司 一种视频显示方法和装置
WO2018012244A1 (ja) * 2016-07-11 2018-01-18 シャープ株式会社 映像信号変換装置、映像信号変換方法、映像信号変換システム、制御プログラム、および記録媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP3835554B2 (ja) * 2003-09-09 2006-10-18 ソニー株式会社 ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR101662696B1 (ko) 2008-08-22 2016-10-05 톰슨 라이센싱 콘텐츠 전달 방법 및 시스템
US8724007B2 (en) 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
CN102845067B (zh) 2010-04-01 2016-04-20 汤姆森许可贸易公司 三维(3d)呈现中的字幕
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
WO2012153224A1 (en) 2011-05-10 2012-11-15 Koninklijke Philips Electronics N.V. High dynamic range image signal generation and processing
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
CN102957202A (zh) * 2011-08-30 2013-03-06 湖南省电力勘测设计院 集成型数据记录分析装置及comtrade分文件方法
WO2013090120A1 (en) 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
GB201201230D0 (en) * 2012-01-25 2012-03-07 Univ Delft Tech Adaptive multi-dimensional data decomposition
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
JP2015005878A (ja) 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI632810B (zh) * 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
TWI630821B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method

Also Published As

Publication number Publication date
US9918099B2 (en) 2018-03-13
JPWO2015008684A1 (ja) 2017-03-02
TW201513641A (zh) 2015-04-01
WO2015008684A1 (ja) 2015-01-22
US20150208078A1 (en) 2015-07-23
EP2869567A4 (en) 2016-05-04
EP2869567A1 (en) 2015-05-06
CN104509094A (zh) 2015-04-08
CN104509094B (zh) 2019-08-13
TWI630820B (zh) 2018-07-21
EP2869567B1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6402632B2 (ja) データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法
JP6402633B2 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
JP6402631B2 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
JP7033537B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
JP7238948B2 (ja) 情報処理装置および情報処理方法
KR101732803B1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R151 Written notification of patent or utility model registration

Ref document number: 6402631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees