TWI630821B - File generation device, file generation method, file reproduction device, and file reproduction method - Google Patents

File generation device, file generation method, file reproduction device, and file reproduction method Download PDF

Info

Publication number
TWI630821B
TWI630821B TW103123304A TW103123304A TWI630821B TW I630821 B TWI630821 B TW I630821B TW 103123304 A TW103123304 A TW 103123304A TW 103123304 A TW103123304 A TW 103123304A TW I630821 B TWI630821 B TW I630821B
Authority
TW
Taiwan
Prior art keywords
hdr
track
tmi
file
information
Prior art date
Application number
TW103123304A
Other languages
English (en)
Other versions
TW201524202A (zh
Inventor
高橋遼平
內村幸一
服部忍
Original Assignee
新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力股份有限公司 filed Critical 新力股份有限公司
Publication of TW201524202A publication Critical patent/TW201524202A/zh
Application granted granted Critical
Publication of TWI630821B publication Critical patent/TWI630821B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

本技術係有關於,可享受HDR影像的檔案生成裝置、檔案生成方法、檔案再生裝置、及檔案再生方法。
從被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將STD影像、及HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定訊軌之HDR資訊之中的要適用於所注目之注目訊軌的HDR資訊的檔案中,HDR指定資訊所指定之HDR資訊,會被取得。本技術係可是適用於,例如,在取得要對MP4檔案等中所儲存之字幕等影像做適用之HDR資訊的時候。

Description

檔案生成裝置、檔案生成方法、檔案再生裝置、及檔案再生方法
本技術係有關於檔案生成裝置、檔案生成方法、檔案再生裝置、及檔案再生方法,尤其是有關於,例如,可以增加讓使用者享受高動態範圍之影像亦即HDR(high dynamic range)影像之機會的檔案生成裝置、檔案生成方法、檔案再生裝置、及檔案再生方法。
近年來,將影像以數位方式加以處理,此時,為了高效率的資訊傳輸或積存之目的,利用影像特有的冗長性,採用藉由離散餘弦轉換等之正交轉換和運動補償而進行壓縮的編碼方式,來將影像予以壓縮編碼的裝置,正逐漸普及。在此編碼方式中,係有例如MPEG(Moving Picture Experts Group)或H.264及MPEG-4 Part10(Advanced Video Coding,以下記作AVC)等。
然後,目前,為了比H.264/AVC更加提升編碼效率,由ITU-T、和ISO/IEC之共同標準化團體亦即JCTVC(Joint Collaboration Team-Video Coding),正在進行一種稱作HEVC(High Efficiency Video Coding) 的編碼方式的標準化。
在現時點的HEVC之草案(非專利文獻1)中,在"D.2.15 Tone mapping information SEI message syntax"、及"D.3.15 Tone mapping information SEI message semantics"中,想定藉由SEI(Supplemental Enhancement Information),而將作為高動態範圍之影像亦即HDR(high dynamic range)影像所相關之HDR資訊的tone_mapping_info,予以傳輸。
此外,關於tone_mapping_info,係除了在HEVC以外,在AVC中也被導入。
[先前技術文獻] [非專利文獻]
[非專利文獻1]Benjamin Bross等、"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (Document: JCTVC-L1003_v34, Date: 2013年03月19日)
目前,拍攝HDR影像的相機或顯示HDR影 像的顯示器正日漸普及,於所述狀況下,針對HDR資訊,希望促進導入HEVC或AVC之格式以外的檔案格式,或是導入至資料格式,希望增加使用者享受HDR影像的機會。
本技術係有鑑於此種狀況而研發,目的在於能夠增加使用者享受HDR影像的機會。
本技術的檔案生成裝置,係一種檔案生成裝置,係具備:檔案生成部,係生成檔案,其係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
本技術的檔案生成方法,係一種檔案生成方法,係含有以下步驟:生成檔案,其係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來 指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
於本技術的檔案生成裝置、及檔案生成裝置中,會生成檔案,其係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
本技術的檔案再生裝置,係一種檔案再生裝置,係具備:取得部,係從儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,取得前記HDR指定資訊所指定之前記HDR資訊。
本技術的檔案再生方法,係一種檔案再生方法,係含有有下步驟:從儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態 範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,取得前記HDR指定資訊所指定之前記HDR資訊。
於本技術的檔案再生裝置、及檔案再生方法中,從被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,前記HDR指定資訊所指定之前記HDR資訊,會被取得。
此外,檔案生成裝置或檔案再生裝置,係可為獨立的裝置,亦可為構成1個裝置的內部區塊。
又,檔案係可透過傳輸媒體而傳輸,或可記錄在記錄媒體中來提供之。
若依據本技術,則可增加使用者享受HDR影 像的機會。
此外,並非一定限定於這裡所記載的效果,亦可為本揭露中所記載之任一效果。
1‧‧‧生成裝置
2‧‧‧再生裝置
3‧‧‧顯示裝置
4‧‧‧纜線
11‧‧‧記錄媒體
12‧‧‧傳輸媒體
21‧‧‧控制器
21A‧‧‧標頭資訊生成部
22‧‧‧編碼處理部
23‧‧‧檔案生成部
31‧‧‧特性資訊生成部
32‧‧‧編碼器
33‧‧‧轉換部
34‧‧‧轉換資訊生成部
35‧‧‧編碼器
36‧‧‧串流生成部
51‧‧‧檔案取得部
52‧‧‧分離部
53‧‧‧操作輸入部
54‧‧‧控制器
55‧‧‧解碼處理部
55A、55B‧‧‧解碼器
56‧‧‧合成輸出部
101‧‧‧控制器
101A‧‧‧記憶體
102‧‧‧通訊部
103‧‧‧訊號處理部
104‧‧‧監視器
121A‧‧‧標頭資訊生成部
122‧‧‧編碼處理部
131‧‧‧特性資訊生成部
132‧‧‧轉換資訊生成部
133‧‧‧串流生成部
141‧‧‧控制器
142‧‧‧解碼處理部
142A、142B‧‧‧解碼器
201A‧‧‧標頭資訊生成部
202‧‧‧編碼處理部
203‧‧‧檔案生成部
211‧‧‧串流生成部
231‧‧‧分離部
232‧‧‧控制器
233‧‧‧解碼處理部
233A、233B‧‧‧解碼器
301A‧‧‧標頭資訊生成部
302‧‧‧編碼處理部
311‧‧‧串流生成部
321‧‧‧控制器
322‧‧‧解碼處理部
322A、322B‧‧‧解碼器
401‧‧‧匯流排
402‧‧‧CPU
403‧‧‧ROM
404‧‧‧RAM
405‧‧‧硬碟
406‧‧‧輸出部
407‧‧‧輸入部
408‧‧‧通訊部
409‧‧‧驅動機
410‧‧‧輸出入介面
411‧‧‧可移除式記錄媒體
1001、1002‧‧‧元素
[圖1]適用了本技術之訊號處理系統的一實施形態之構成例的圖示。
[圖2]訊號處理系統中所進行的mode-i之訊號處理的例子的圖示。
[圖3]母片之HDR資料被輸入至生成裝置1,到從再生裝置2有資料被輸出為止的mode-i之訊號處理之流程的圖示。
[圖4]訊號處理系統中所進行的mode-ii之訊號處理的例子的圖示。
[圖5]母片之HDR資料被輸入至生成裝置1,到從再生裝置2有資料被輸出為止的mode-ii之訊號處理之流程的圖示。
[圖6]HEVC方式的存取單元之構成的圖示。
[圖7]HEVC方式中所被規定之tone_mapping_info之語法的圖示。
[圖8]作為tone_map_model_id,表示各值已被設定之TMI、和轉換資訊及特性資訊之關係的圖示。
[圖9]作為轉換資訊的tone_map_model_id=0之 tone_mapping_info所表示的作為轉換規則之色調曲線之例子的圖示。
[圖10]作為轉換資訊的tone_map_model_id=2之TMI所表示的作為轉換規則之階梯函數之例子的圖示。
[圖11]作為轉換資訊的tone_map_model_id=3之TMI所表示的作為轉換規則之折線函數之例子的圖示。
[圖12]特性資訊中所含之各資訊之例子的圖示。
[圖13]MP4檔案的Movie之例子的圖示。
[圖14]MP4檔案中的媒體資料(Movie)的邏輯性配置之例子的圖示。
[圖15]MP4檔案的資料結構之圖示。
[圖16]媒體資料所被儲存之MP4檔案的資料結構之例子的圖示。
[圖17]fragmented movie的MP4檔案、和non-fragmented movie的MP4檔案之例子的圖示。
[圖18]DECE(Digital Entertainment Content Ecosystem)CFF(Common File Format)的說明圖。
[圖19]SMPTE-TT的ST之資料之例子的圖示。
[圖20]生成裝置1的第1構成例的區塊圖。
[圖21]生成裝置1所生成的MP4檔案之例子的圖示。
[圖22]tref箱盒之定義的圖示。
[圖23]作為vtmi箱盒的TrackReferenceTypeBox之定義之例子的圖示。
[圖24]tirf箱盒之定義之例子的圖示。
[圖25]生成裝置1所生成的MP4檔案之另一例子的圖示。
[圖26]編碼處理部22之構成例的區塊圖。
[圖27]轉換部33所做的、將HDR資料轉換成STD資料的轉換處理之例子的圖示。
[圖28]tone mapping之例子的圖示。
[圖29]生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
[圖30]步驟S2中所進行之mode-i的編碼處理之例子的說明用流程圖。
[圖31]步驟S3中所進行之mode-ii的編碼處理之例子的說明用流程圖。
[圖32]步驟S4中所進行之標頭資訊生成處理之例子的說明用流程圖。
[圖33]再生裝置2的第1構成例的區塊圖。
[圖34]再生裝置2所進行之再生處理之例子的說明用流程圖。
[圖35]步驟S43中所進行之mode-i的解碼處理之例子的說明用流程圖。
[圖36]步驟S44中所進行之mode-ii的解碼處理之例子的說明用流程圖。
[圖37]顯示裝置3之構成例的區塊圖。
[圖38]顯示裝置3所進行之顯示處理之例子的說明 用流程圖。
[圖39]生成裝置1的第2構成例的區塊圖。
[圖40]生成裝置1所生成的第2之MP4檔案之例子的圖示。
[圖41]tinf箱盒之定義之例子的圖示。
[圖42]ToneMapInfo之語法的第1例的圖示。
[圖43]ToneMapInfo之語法的第2例的圖示。
[圖44]ToneMapInfo之語法的第3例的圖示。
[圖45]生成裝置1所生成的第2之MP4檔案之另一例子的圖示。
[圖46]編碼處理部122之構成例的區塊圖。
[圖47]生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
[圖48]步驟S112中所進行之mode-i的編碼處理之例子的說明用流程圖。
[圖49]步驟S113中所進行之mode-ii的編碼處理之例子的說明用流程圖。
[圖50]步驟S114中所進行之標頭資訊生成處理之例子的說明用流程圖。
[圖51]再生裝置2的第2構成例的區塊圖。
[圖52]再生裝置2所進行之再生處理之例子的說明用流程圖。
[圖53]步驟S153中所進行之mode-i的解碼處理之例子的說明用流程圖。
[圖54]步驟S154中所進行之mode-ii的解碼處理之例子的說明用流程圖。
[圖55]生成裝置1的第3構成例的區塊圖。
[圖56]生成裝置1所生成的第3之MP4檔案之例子的圖示。
[圖57]作為tmpi箱盒的TrackReferenceTypeBox之定義之例子的圖示。
[圖58]第3之MP4檔案中所儲存之TMI訊軌(tone map track)的mdat箱盒中所被儲存之作為實際資料的TMI之樣本(ToneMapSample)之語法的例子的圖示。
[圖59]TMI之樣本(ToneMapSample)的資料結構之例子的圖示。
[圖60]生成裝置1所生成的第3之MP4檔案之另一例子的圖示。
[圖61]編碼處理部202之構成例的區塊圖。
[圖62]生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
[圖63]步驟S202中所進行之mode-i的編碼處理之例子的說明用流程圖。
[圖64]步驟S203中所進行之mode-ii的編碼處理之例子的說明用流程圖。
[圖65]步驟S204中所進行之標頭資訊生成處理之例子的說明用流程圖。
[圖66]再生裝置2的第3構成例的區塊圖。
[圖67]再生裝置2所進行之再生處理之例子的說明用流程圖。
[圖68]步驟S253中所進行之mode-i的解碼處理之例子的說明用流程圖。
[圖69]步驟S254中所進行之mode-ii的解碼處理之例子的說明用流程圖。
[圖70]生成裝置1的第4構成例的區塊圖。
[圖71]編碼處理部302之構成例的區塊圖。
[圖72]HDR儲存元素之例子的圖示。
[圖73]toneMapRef屬性、及hdrInfoRef屬性之定義之例子的圖示。
[圖74]新TT資料之第1例的圖示。
[圖75]新TT資料之第2例的圖示。
[圖76]新TT資料之第3例的圖示。
[圖77]新TT資料之第4例的圖示。
[圖78]生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
[圖79]步驟S302中所進行之mode-i的編碼處理之例子的說明用流程圖。
[圖80]步驟S303中所進行之mode-ii的編碼處理之例子的說明用流程圖。
[圖81]再生裝置2的第4構成例的區塊圖。
[圖82]再生裝置2所進行之再生處理之例子的說明用流程圖。
[圖83]步驟S333中所進行之mode-i的解碼處理之例子的說明用流程圖。
[圖84]步驟S334中所進行之mode-ii的解碼處理之例子的說明用流程圖。
[圖85]適用了本技術之電腦的一實施形態之構成例的區塊圖。
<適用了本技術的訊號處理系統之實施形態>
圖1係適用了本技術之訊號處理系統的一實施形態之構成例的圖示。
圖1的訊號處理系統係具有:生成裝置1、再生裝置2、及顯示裝置3。再生裝置2與顯示裝置3,係例如透過HDMI(註冊商標)(High Definition Multimedia Interface)等之纜線4而連接。再生裝置2與顯示裝置3,係亦可透過其他規格之纜線而被連接,亦可透過無線所致之通訊而被連接。
生成裝置1,係生成內容之串流並提供之。再生裝置2,係從生成裝置1所提供之串流,再生出內容。
生成裝置1,係可將串流例如直接提供。又,生成裝置1,係可將串流,例如,除存在IP封包等所定之封包中,或,例如,除存在ISO/IEC14496-14所規定之MP4檔案等所定之檔案中,而進行提供。
又,於生成裝置1中,串流係可例如,記錄至Blu-ray(註冊商標)碟片等之記錄媒體11中,或例如,透過地表波、網際網路等之傳輸媒體12傳輸,而進行提供。
此處,於生成裝置1中,在將串流儲存至檔案的情況下,作為儲存該串流的檔案,係除了MP4檔案以外,還有例如,被ISO/IEC 14496-12所規定之檔案(ISO base media file format之檔案)、或被ISO/IEC 14496-15所規定之檔案、QuickTime形式之檔案、其他具有箱盒結構之檔案,甚至還可採用不具有箱盒結構之檔案。
對生成裝置1係輸入有,比可用標準亮度之監視器進行顯示的所定動態範圍(亮度範圍)之影像亦即STD(standard)影像還高動態範圍之影像亦即HDR(High Dynamic Range)影像。標準亮度係為,例如100cd/m2(=100nit)。此外,STD影像、及HDR影像,係沒有特別限定。亦即,STD影像、及HDR影像係意味著只是動態範圍為不同的影像,具有依照後述的轉換資訊,可從一方轉換成另一方之關係的影像。因此,STD影像係為僅動態範圍是低於(小於)HDR影像的影像,HDR影像係為僅動態範圍是高於(廣於)STD影像的影像。
此處,影像係含有:視訊、或圖形、背景(背景影像)、字幕、其他可顯示之媒體。此外,字幕( subtitle或隱藏式字幕等)的資料形式,係可為文字及影像之任一者。
對生成裝置1係輸入,例如,複數個視訊、或1個以上之視訊與1個以上之圖形等之複數個HDR影像。
以下為了簡化說明,假設是對生成裝置1輸入,例如,1(序列)之HDR影像之視訊(以下簡稱HDR視訊)、和1(序列)之HDR影像之字幕(以下簡稱HDR ST(HDR subtitle))。
但是,作為對生成裝置1進行輸入的資料,其他還可採用:視訊與圖形、或視訊與圖形與字幕、圖形與字幕、僅圖形等任意之影像。甚至,對生成裝置1所輸入之視訊或字幕等的同一種類之媒體之影像,係不限定於1個(1序列),亦可為複數(序列)。
又,HDR視訊和HDR ST,若沒有特別需要區別時,則總稱為HDR資料。
再者,將HDR視訊及HDR ST的動態範圍,壓縮成可在標準亮度之監視器上顯示之所定動態範圍後的STD影像之視訊及ST(字幕),分別稱作STD視訊及STD ST。
又,STD視訊和STD ST,若沒有特別需要區別時,則總稱為STD資料。
若假設STD資料的動態範圍例如為0-100%,則HDR資料的動態範圍係像是例如0-500%、0-1000% 等,以0%至101%以上之範圍來表示。
生成裝置1,係例如,將所被輸入之母片之HDR資料,直接予以編碼,例如,儲存至MP4檔案中。
或者,生成裝置1,係將所被輸入之母片之HDR資料轉換成STD資料然後編碼,例如,儲存至MP4檔案中。
MP4檔案中,係除了HDR資料、或STD資料之外,還被儲存有:表示母片之HDR資料之亮度特性的特性資訊、和表示將HDR資料及STD資料之其中一方轉換成另一方之轉換規則的轉換資訊。
此處,作為HDR視訊、及STD視訊,係可仔用例如:橫×縱之解析度為4096×2160像素、或3840×2160像素等的所謂4K解析度之視訊。
又,作為視訊的編碼方式,係可採用例如:HEVC方式、或AVC方式、其他任意方式。亦即,視訊的編碼(解碼)方式,係不限定於HEVC方式或AVC方式等。
若把表示HDR影像之亮度特性的特性資訊、和表示將HDR影像與STD影像之其中一方轉換成另一方之轉換規則的轉換資訊,稱作HDR資訊,則例如,在HEVC方式中,作為HDR資訊,係被規定了tone_mapping_info。再者,在HEVC方式中還規定了,要將作為HDR資訊的tone_mapping_info,包含在SEI中來進行傳輸。
再生裝置2,係透過纜線4而與顯示裝置3進行通訊,取得關於顯示裝置3之顯示性能的資訊。再生裝置2係特定出顯示裝置3係為具有可顯示HDR資料之監視器亦即HDR監視器之裝置,還是具有只能顯示STD資料之監視器亦即STD監視器之裝置。
又,再生裝置2係將記錄媒體11中所記錄之MP4檔案藉由讀出而取得之,或將透過傳輸媒體12而被傳輸過來的MP4檔案藉由收訊而取得之,將該MP4檔案中所儲存的資料予以再生。
亦即,再生裝置2係將MP4檔案中所儲存之視訊的串流亦即視訊串流、和ST(subtitle)之串流亦即ST串流,予以解碼。
然後,例如,再生裝置2,係若解碼所得之資料是HDR資料,且顯示裝置3是具有HDR監視器時,則將解碼所得之HDR資料,輸出至顯示裝置3。此情況下,再生裝置2,係連同HDR資料,將MP4檔案中所儲存之特性資訊,一起輸出至顯示裝置3。
另一方面,再生裝置2,係若解碼所得之資料是HDR資料,且顯示裝置3是具有STD監視器時,則將解碼所得之HDR資料轉換成STD資料,並將STD資料予以輸出。HDR資料往STD資料之轉換,係使用MP4檔案中所儲存之轉換資訊而為之。
再生裝置2,係若解碼所得之資料是STD資料,且顯示裝置3是具有HDR監視器時,則將解碼所得 之STD資料轉換成HDR資料,將HDR資料輸出至顯示裝置3。STD資料往HDR資料之轉換,係使用MP4檔案中所儲存之轉換資訊而為之。此情況下,再生裝置2,係連同HDR資料,將MP4檔案中所儲存之特性資訊,一起輸出至顯示裝置3。
又,再生裝置2,係若解碼所得之資料是STD資料,且顯示裝置3是具有STD監視器時,則將解碼所得之STD資料,輸出至顯示裝置3。
顯示裝置3,係將從再生裝置2所發送過來的STD資料或HDR資料予以接收,基於STD資料或HDR資料而將對應之STD影像或HDR影像,顯示在監視器。
例如,顯示裝置3係若有特性資訊被發送過來時,則連同該特性資訊一起被從再生裝置2所發送過來的資料,是被辨識成為HDR資料。如上述,對於具有HDR監視器的顯示裝置3,係為HDR資料和特性資訊是被一起發送過來。
此情況下,顯示裝置3,係將HDR資料所對應之HDR影像,依照被特性資訊所指定之特性而加以顯示。亦即,顯示裝置3係為,顯示裝置3所擁有之監視器是具有0-500%之動態範圍的監視器,且藉由特性資訊,而被指定HDR資料的動態範圍是0-500%之所定特性時,則依照該所定之特性,以0-500%之範圍來調整亮度而顯示HDR影像。
藉由設計成可以指定母片之HDR資料之亮度 特性,內容的作者(Author)就可使得影像以符合自己意圖之亮度而被顯示。
通常,TV(電視受像機)等之顯示裝置,係將從外部所被輸之入資料,辨識成具有0-100%之動態範圍的資料。又,顯示裝置,係若本身的監視器是具有比其還廣(高)之動態範圍時,則會隨應於監視器之特性而自行把亮度加以擴充而顯示影像。藉由指定亮度特性,按照所指定之特性來調整HDR資料之亮度,就可防止非作者意圖之亮度調整被顯示裝置側所進行。
又,通常,向TV等之顯示裝置輸出資料的再生裝置,係會隨著傳輸路之特性而將亮度進行轉換然後輸出資料。接收到該資料的顯示裝置,係會將所接收到之資料的亮度,隨應於監視器之特性而加以轉換,令影像被顯示。藉由不在再生裝置2中進行亮度之轉換,從再生裝置2將HDR資料直接輸出至顯示裝置3,就可減少亮度轉換之次數,可使接近於母片之亮度的影像,被顯示在顯示裝置3。
另一方面,顯示裝置3,係若不是特性資訊被發送過來時,則辨識成從再生裝置2所發送之資料是STD資料,將STD資料所對應之STD影像予以顯示。從再生裝置2發送STD資料過來的原因,是因為顯示裝置3係為具有STD監視器之裝置。
又,若藉由生成裝置1而在MP4檔案中儲存有音訊資料,則再生裝置2係將該音訊資料予以再生,發 送至顯示裝置3。顯示裝置3,係基於從再生裝置2所被發送過來的音訊資料,而令對應之聲音從揚聲器被輸出。
以下,將母片之HDR資料,維持其動態範圍不變而儲存至MP4檔案的處理模式,稱作mode-i,將母片之HDR資料轉換成STD資料然後儲存至MP4檔案的處理模式,稱作mode-ii。
<mode-i之訊號處理>
圖2係圖1之訊號處理系統中所進行的mode-i之訊號處理的例子的圖示。
實線L1所圍繞表示之左側的處理係表示在生成裝置1中所被進行的編碼處理,實線L2所圍繞表示之右側的處理係表示在再生裝置2中所被進行的解碼處理。
母片之HDR資料被輸入時,生成裝置1,係偵測母片之HDR資料的亮度,如箭頭#1所示,生成特性資訊。又,生成裝置1係如箭頭#2-1所示,將母片之HDR視訊,例如,以HEVC方式進行編碼而生成編碼資料,如箭頭#2-2所示,將母片之HDR ST予以編碼,生成ST的串流亦即ST串流。
生成裝置1,係如箭頭#3所示,將母片之HDR資料轉換成STD資料。轉換所得之STD資料所對應之STD影像,係被顯示在未圖示的監視器。HDR資料往STD資料之轉換,係適宜地,由作者以肉眼確認轉換後的STD資料所對應之STD影像,一面調整轉換參數一面進行之。
基於作者所做的調整,生成裝置1係如箭頭#4所示,生成轉換資訊。
轉換資訊,係表示將比標準之動態範圍廣的0-400%等之高動態範圍中的各亮度值、與標準之動態範圍亦即0-100%之動態範圍中的各亮度值的其中一方轉換成另一方的轉換規則,因此是表示這些亮度值彼此的對應關係。
生成裝置1,係如箭頭#5所示,將特性資訊與轉換資訊當成SEI而插入至HDR視訊的編碼資料中,生成視訊串流。生成裝置1,係將所生成之視訊串流、和HDR ST之ST串流,儲存至MP4檔案,如箭頭#11所示,提供給再生裝置2。
如此,HDR視訊及HDR ST的特性資訊和轉換資訊,係以使用SEI,而插入至視訊串流中的形態,被提供給再生裝置2。
再生裝置2,係從MP4檔案讀出ST串流,如箭頭#20所示,將ST串流予以解碼,生成HDR ST。
又,再生裝置2,係從MP4檔案讀出視訊串流,如箭頭#21,#22所示,從視訊串流的SEI中抽出特性資訊和轉換資訊。
又,再生裝置2,係如箭頭#23所示,將視訊串流中所含之編碼資料以HEVC方式進行解碼,生成HDR視訊。再生裝置2,係若顯示裝置3是具有HDR監視器的情況下,則如箭頭#24所示,對解碼所得之HDR 資料,附加上特性資訊,如箭頭#25所示般地,輸出至顯示裝置3。
另一方面,再生裝置2,係若顯示裝置3是具有STD監視器的情況下,則如箭頭#26所示,使用從視訊串流中所抽出之轉換資訊,將解碼所得之HDR資料,轉換成STD資料。再生裝置2,係如箭頭#27所示,將轉換所得之STD資料,輸出至顯示裝置3。
如此,解碼所得之HDR資料,係連同特性資訊,一起被輸出至具有HDR監視器的顯示裝置3。或是,解碼所得之HDR資料,係被轉換成STD資料之後,被輸出至具有STD監視器的顯示裝置3。
圖3係母片之HDR資料被輸入至生成裝置1,到從再生裝置2有資料被輸出為止的mode-i之訊號處理之流程的圖示。
母片之HDR資料,係如中空箭頭#51所示,基於母片之HDR資料而於生成裝置1中所生成之特性資訊和轉換資訊,係一起被供給至再生裝置2。特性資訊中係含有,例如表示動態範圍被擴充成0-400%之範圍的資訊。
若顯示裝置3是具有HDR監視器的情況下,則於再生裝置2中,係如箭頭#52,#53所示,對解碼所得之HDR資料,會被附加上特性資訊。又,已被附加有特性資訊的HDR資料,係如箭頭#54所示般地,被輸出至顯示裝置3。
另一方面,若顯示裝置3是具有STD監視器的情況下,則於再生裝置2中,係如箭頭#55,#56所示,解碼所得之HDR資料係使用轉換資訊,而被轉換成STD資料。又,轉換所得之STD資料係如箭頭#57所示般地,被輸出至顯示裝置3。於圖3中,表示HDR資料的波形之振幅和表示STD資料的波形之振幅,係分別表示動態範圍。
如此,於mode-i下,母片之HDR資料係維持HDR資料不變而直接儲存至MP4檔案。又,隨著輸出目標之顯示裝置3的性能,而會切換將解碼所得之HDR資料直接附加特性資訊而輸出,或是將HDR資料轉換成STD資料而輸出。
<mode-ii之訊號處理>
圖4係圖1之訊號處理系統中所進行的mode-ii之訊號處理的例子的圖示。
母片之HDR資料被輸入時,生成裝置1,係偵測母片之HDR資料的亮度,如箭頭#71所示,生成特性資訊。
生成裝置1,係如箭頭#72所示,將母片之HDR資料轉換成STD資料。轉換所得之STD資料所對應之STD影像,係被顯示在未圖示的監視器。
基於作者所做的調整,生成裝置1係如箭頭#73所示,生成轉換資訊。
又,生成裝置1係如箭頭#74-1所示,將母片 之HDR視訊予以轉換所得之STD視訊,例如以HEVC方式進行編碼而生成編碼資料。又,如箭頭#74-2所示,將母片之HDR ST予以轉換所得之STD ST進行編碼,而生成ST串流。
生成裝置1,係如箭頭#75所示,將特性資訊與轉換資訊當成SEI而插入至編碼資料中,生成視訊串流。生成裝置1,係將所生成之視訊串流和ST串流,儲存至MP4檔案,如箭頭#91所示,提供給再生裝置2。
再生裝置2,係從MP4檔案讀出視訊串流,如箭頭#101,#102所示,從視訊串流的SEI中抽出特性資訊和轉換資訊。
又,再生裝置2,係如箭頭#103-1所示,將視訊串流中所含之編碼資料以HEVC方式進行解碼而生成STD視訊,如箭頭#103-2所示,將ST串流予以解碼而生成STD ST。再生裝置2,係若顯示裝置3是具有STD監視器的情況下,則如箭頭#104所示,將解碼所得之STD資料,輸出至顯示裝置3。
另一方面,再生裝置2,係若顯示裝置3是具有HDR監視器的情況下,則如箭頭#105所示,使用從視訊串流中所抽出之轉換資訊,將解碼所得之STD資料,轉換成HDR資料。再生裝置2,係如箭頭#106所示,對轉換所得之HDR資料,附加上特性資訊,如箭頭#107所示般地,輸出至顯示裝置3。
如此,解碼所得之STD資料,係在被轉換成 HDR資料後,連同特性資訊,一起被輸出至具有HDR監視器的顯示裝置3。或者,解碼所得之STD資料,係被直接輸出至具有STD監視器的顯示裝置3。
圖5係母片之HDR資料被輸入至生成裝置1,到從再生裝置2有資料被輸出為止的mode-ii之訊號處理之流程的圖示。
母片之HDR資料,係如中空箭頭#121所示,在被轉換成STD資料後,基於母片之HDR資料而於生成裝置1中所生成之特性資訊和轉換資訊,係一起被供給至再生裝置2。
若顯示裝置3是具有HDR監視器的情況下,則於再生裝置2中,係如箭頭#122,#123所示,解碼所得之STD資料係使用轉換資訊,而被轉換成HDR資料。又,如箭頭#124,#125所示,對將STD資料予以轉換所得之HDR資料,會被附加上特性資訊,如箭頭#126所示般地,被輸出至顯示裝置3。
另一方面,若顯示裝置3是具有STD監視器的情況下,則於再生裝置2中,係如箭頭#127所示,解碼所得之STD資料,會被輸出至顯示裝置3。
如此,於mode-ii下,母片之HDR資料係被轉換成STD資料而被儲存至MP4檔案。又,隨應於輸出目標的顯示裝置3之性能而會切換著,將解碼所得之STD資料轉換成HDR資料,附加特性資訊然後輸出,或是將STD資料直接予以輸出。
如以上之生成裝置1與再生裝置2之構成和動作的細節,將於後述。
<HEVC方式中的存取單元之構成>
圖6係HEVC方式的存取單元之構成的圖示。
HEVC方式的視訊串流,係由NAL(Network Abstraction Layer)單元之集合亦即存取單元所構成。1個存取單元中係例如含有1圖像的視訊資料。
如圖6所示,1個存取單元係由:AU定界符(Access Unit delimiter)、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI、VCL(Video Coding Layer)、EOS(End of Sequence)、及EOS(End of Stream)所構成。
AU定界符,係用來表示存取單元的開頭。VPS,係含有表示位元串流之內容的詮釋資料。SPS係含有,圖像尺寸、CTB(Coding Tree Block)尺寸等,HEVC解碼器在整個序列之解碼處理中所必須參照的資訊。PPS係含有,HEVC解碼器為了執行圖像之解碼處理所必須參照之資訊。
SEI係為,含有各圖像之時序資訊或隨機存取之相關資訊等的輔助資訊。特性資訊和轉換資訊,係可成為SEI之1個亦即tone_mapping_info,而被包含在HEVC方式的視訊串流中。對tone_mapping_info,係被賦予作 為用來識別tone_mapping_info的識別資訊的tone_map_id。
VCL係為1圖像的編碼資料。EOS(End of Sequence)表示序列的結束位置,EOS(End of Stream)係表示串流的結束位置。
<tone_mapping_info>
圖7係HEVC方式中所被規定之tone_mapping_info之語法的圖示。
使用tone_mapping_info,解碼所得之影像的明亮度或色彩,係會配合影像之輸出目標的監視器的性能,而被轉換。此外,圖7之左側的行編號與冒號(:)係不構成語法。
第2行的tone_map_id,係為tone_mapping_info的識別資訊。第8行的tone_map_model_id,係表示轉換中所使用的tone map之模型(轉換規則)。
tone_mapping_info的語法上,tone_map_model_id係可取0,1,2,3,4之值。
tone_map_model_id為0、1、2、及3之其中任一值的tone_mapping_info(以下適宜簡稱為TMI),是對應於轉換資訊;tone_map_model_id為4的TMI,是對應於特性資訊。
此外,在HEVC方式中,關於作為轉換資訊的TMI,係作為tone_map_model_id是允許被設成0、2、或3,於本實施形態中也是,作為轉換資訊的TMI之 tone_map_model_id,係設為0、2、及3之其中任一值。
生成裝置1,係將HDR資訊,亦即轉換資訊和特性資訊之雙方,都包含在MP4檔案中。因此,於生成裝置1中,作為轉換資訊的tone_map_model_id為0、2、及3之其中任一值的TMI、和作為特性資訊的tone_map_model_id為4的TMI,係至少各被生成1個。
圖7的第9~11行係為有關tone_map_model_id=0之描述。tone_map_model_id=0的情況下,min_value和max_value係被描述。
圖7的第15~17行係為有關tone_map_model_id=2之描述。tone_map_model_id=2的情況下,係表示階梯函數,與max_target_data之數目相同數目的start_of_coded_interval[i]係被描述。
圖7的第18~23行係為有關tone_map_model_id=3之描述。tone_map_model_id=3的情況下,係表示折線函數,被num_pivots所指定之數目的coded_pivot_value[i]與target_pivot_value[i]係被描述。
圖7的第24~39行係為有關tone_map_model_id=4之描述。在關於tone_map_model_id=4的資訊之中,例如,ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value、及 extended_white_level_code_value,係為構成特性資訊的參數。
圖8係作為tone_map_model_id,表示各值已被設定之TMI、和轉換資訊及特性資訊之關係的圖示。
如圖8,tone_map_model_id被設定為0,2,3之其中任一值的TMI,是對應於轉換資訊;tone_map_model_id被設定為4的TMI,是對應於特性資訊。
圖9係作為轉換資訊的tone_map_model_id=0之tone_mapping_info所表示的作為轉換規則之色調曲線之例子的圖示。
圖9的橫軸係表示coded_data(轉換前的RGB值),縱軸係表示target_data(轉換後的RGB值)。在使用圖9的色調曲線時,值D1以下的RGB值,係如中空箭頭#151所示般地被轉換成min_value所示的RGB值。又,值D2(>D1)以上的RGB值,係如中空箭頭#152所示般地被轉換成max_value所示的RGB值。
在使用了tone_map_model_id=0之TMI的轉換時,超過max_value之亮度和低於min_value之亮度(藉由RGB值所表示之亮度)係會喪失,但轉換處理之負載較輕。
圖10係作為轉換資訊的tone_map_model_id=2之TMI所表示的作為轉換規則之階梯函數之例子的圖示。
使用了圖10的階梯函數時,例如coded_data=5係被轉換成target_data=3。
tone_map_model_id=2之TMI,雖然資料量較多,但轉換處理之負荷較輕。
圖11係作為轉換資訊的tone_map_model_id=3之TMI所表示的作為轉換規則之折線函數之例子的圖示。
使用了圖11的折線函數的情況下,例如coded_data=D11係被轉換成target_data=D11’,coded_data=D12係被轉換成target_data=D12’。
圖12係特性資訊中所含之各資訊之例子的圖示。
圖12的橫軸係表示亮度值。位元長是10bit時,亮度值為0-1023之值。圖12的縱軸係表示明亮度。曲線L11係表示,標準亮度之監視器上的亮度值與明亮度之關係。標準亮度之監視器的動態範圍係為0-100%。
ref_screen_luminance_white(圖7),係表示標準之監視器的明亮度(STD影像的最大亮度)(cd/m2)。extended_range_white_level,係表示擴充後的動態範圍的明亮度(HDR影像的最大明亮度)。圖12之例子的情況下,作為extended_range_white_level之值是被設定400。
nominal_black_level_code_value係表示黑(明亮度0%)之亮度值,nominal_white_level_code_value係 表示標準亮度之監視器上的白(明亮度100%)之亮度值。extended_white_level_code_value,係表示擴充後的動態範圍中的白的亮度值。
圖12之例子的情況下,如中空箭頭#161所示,0-100%之動態範圍,係依照extended_range_white_level之值,而被擴充成0-400%之動態範圍。又,相當於400%之明亮度的亮度值,係被extended_white_level_code_value所指定。
HDR資料之亮度特性,係為nominal_black_level_code_value、nominal_white_level_code_value、extended_white_level_code_value之值是分別取作明亮度0%、100%、400%之曲線L12所示的特性。
如此,藉由作為tone_map_model_id是被設定了4之值的TMI,母片之HDR資料之亮度特性係被表示。
<MP4檔案>
圖13係MP4檔案的Movie之例子的圖示。
此處,關於MP4檔案,係在ISO/IEC((International Organization for Standardization/International Engineering Consortium))14496-12中,規定其細節。
在MP4檔案中,再生對象的視訊、或音訊、ST(subtitle)等之媒體資料的集合,係被稱為Movie, Movie係由1個以上之訊軌(track)所構成。
再生對象之視訊或ST等的獨立之1個媒體資料(資料串流(例如,es(elementary stream)元素串流)),係構成1個訊軌,Movie中所含之訊軌的其中1個以上,係可同時再生。
在圖13中,Movie係由3個訊軌#1,#2,#3所構成。又,訊軌#1係由視訊之資料串流所構成,訊軌#2係附隨於視訊之1通道之音訊之資料串流所構成,訊軌#3係由重疊於視訊之1通道之ST之資料串流所構成。
各訊軌的媒體資料,係由樣本所構成。
所謂樣本,係在對MP4檔案內的媒體資料進行存取時,為最小的單位(存取單位)。因此,無法以比樣本還細小的單位,對MP4檔案內的媒體資料做存取。
關於視訊的媒體資料係例如,1畫格(或1圖場)等,視為1樣本。又,關於音訊的媒體資料係例如,該音訊的媒體資料之規格所定的1音框等,視為1樣本。
圖14係MP4檔案中的媒體資料(Movie)的邏輯性配置之例子的圖示。
媒體資料,係以被稱為組塊(chunk)的單位,而被配置。
作為Movie的媒體資料,若有複數筆資料,亦即例如視訊之資料串流、和音訊之資料串流、和ST之資料串流這3個資料串流存在時,則該複數的媒體資料,是以組塊單位,而被交錯配置。
此處,組塊係為,邏輯上連續之位址中所被配置的1個以上之樣本的集合。
圖15係MP4檔案的資料結構之圖示。
MP4檔案,係由作為儲存資料之容器的一種稱作箱盒(box)的單位所構成,具有被稱作箱盒結構的構造。
箱盒係具有4位元組之大小(box size),4位元組之類型(box type)、及實際資料(data)。
大小係表示箱盒全體的大小,類型係表示箱盒內之實際資料的種類。
作為實際資料係可採用例如上述的媒體資料本身等之資料外,還可採用箱盒。
亦即,作為箱盒的實際資料係可具有箱盒,藉此,可形成階層構造。
圖16係媒體資料所被儲存之MP4檔案的資料結構之例子的圖示。
於圖16中,MP4檔案係由ftyp箱盒(File Type Compatibility Box)、moov箱盒(Movie Box)、及mdat箱盒(Media Data Box)所構成。
ftyp箱盒中係含有,檔案格式的資訊,亦即例如,檔案係為MP4檔案、或箱盒的版本、作成MP4檔案之廠商的廠商名等。
moov箱盒中係含有,用來管理媒體資料所需的例如,時間軸或位址等之詮釋資料。
mdat箱盒中係含有,媒體資料(AV資料)。
圖17係fragmented movie的MP4檔案、和non-fragmented movie的MP4檔案之例子的圖示。
fragmented movie的MP4檔案係具有:moov箱盒(movie box)(MovieBox)、moof箱盒(movie fragment box)(MovieFragmentBox)、及mdat箱盒(media data box)(MediaDataBox)。
non-fragmented movie的MP4檔案係具有:moov箱盒、及mdat箱盒。
此處,於圖17中,moov箱盒係具有trak箱盒(tarck box)(TrackBox),moof箱盒係具有traf箱盒(track fragment box)(TrackFragmentBox)。
moov箱盒、及moof箱盒中係儲存有,mdat箱盒中所被儲存之視訊、或音訊、ST等的媒體資料(實際資料)之再生時所必須之資訊(例如顯示時刻等)。
trak箱盒、及traf箱盒中係儲存有,對應之每一訊軌的資料(視訊、或音訊、ST等之資料)而獨立的資料序列資訊(例如顯示尺寸等)等。
mdat箱盒中係儲存有,視訊、或音訊、ST等的媒體資料(實際資料)。
moof箱盒與mdat箱盒之集合,稱作斷片(fragment)。fragmented movie的MP4檔案,係由moov箱盒、和1個以上之斷片所構成,適合於串流化。
另一方面,non-fragmented movie的MP4檔 案,係不具有斷片,如上述,具有moov箱盒與mdat箱盒。
圖18係DECE(Digital Entertainment Content Ecosystem)CFF(Common File Format)的說明圖。
DECE CFF,係為DECE所制定的以MP4檔案為基礎的檔案格式,採用fragmented movie的MP4檔案。
在fragmented movie的MP4檔案中,1個斷片的mdat箱盒中可以儲存複數種類之es(elementary stream),但在DECE CFF中,1個斷片的mdat箱盒中係被儲存1個es。
又,在DECE CFF中,能夠被多工化至fragmented movie的MP4檔案中的es,係有所限定。
於DECE CFF中,作為可多工化至fragmented movie的MP4檔案中的音訊之es,係有例如AVC audio:MPEG4(Moving Picture Experts Group)-AAC(Advanced Audio Coding),Dolby AC-3,作為ST(subtitle)之es,係有例如SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)。
圖19係SMPTE-TT的ST之資料之例子的圖示。
SMPTE-TT,係為W3C所標準化的XML(Extensible Markup Language)規格亦即TTML(Timed Text Markup Language)中追加了PNG顯示機能而成的規格,規定了使XML帶有時間概念的ST之資料格式。
若依據圖19的SMPTE-TT之資料(文件),則例如,於元素1001中,時刻"00:00:05:05"至時刻"00:00:10:05"為止之間,身為ST的文字"subtitle#1 is presented"會被顯示。
又,例如,於元素1002中,時刻"00:00:10:05"至時刻"00:00:15:05"為止之間,身為ST的文字"subtitle#2 is presented"會被顯示。
在本實施形態中,作為ST之資料(格式)雖然是採用SMPTE-TT,但作為ST之資料係亦可採用XML以外的例如:HTML(HyperText Markup Language)等其他標記語言的格式,甚至可採用其他任意格式。
<生成裝置1的第1構成例>
圖20係圖1的生成裝置1的第1構成例的區塊圖。
於圖20中,生成裝置1係具有:控制器21、編碼處理部22、及檔案生成部23。
在圖20的生成裝置1中,母片之HDR資料係被輸入至編碼處理部22。
控制器21係由:CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等所構成。控制器21係執行所定之程式,控制生成裝置1全體的動作。
在控制器21中,係藉由執行所定程式,而實現標頭資訊生成部21A。
標頭資訊生成部21A,係將含有把從編碼處理部22所供給之tone_map_id當作tone_mapping_info_id_ref而儲存的tirf箱盒(ToneMappingInformationReferecenceBox)的moof箱盒、和含有vtmi箱盒(reference_type為"vtmi"的TrackReferenceTypeBox)的moov箱盒與,當作標頭資訊而予以生成,供給至檔案生成部23。
或者,標頭資訊生成部21A,係將含有把從編碼處理部22所供給之tone_map_id當作tone_mapping_info_id_ref而儲存的tirf箱盒、和vtmi箱盒的moov箱盒,當作標頭資訊而予以生成,供給至檔案生成部23。
關於tirf箱盒、及vtmi箱盒,將於後述。
編碼處理部22,係藉由進行母片之HDR資料的編碼,而生成視訊串流及ST串流,輸出至檔案生成部23。
又,編碼處理部22,係將對視訊或ST做適用之TMI(tone_mapping_info)的tone_map_id,供給至控制器21(的標頭資訊生成部21A)。
檔案生成部23,係將儲存有從控制器21(之標頭資訊生成部21A)所供給之標頭資訊、和從編碼處理部22所供給之視訊串流及ST串流的MP4檔案,予以生 成並輸出。
圖21係圖20之生成裝置1所生成的MP4檔案之例子的圖示。
圖21的MP4檔案,係為具有斷片之fragmented movie的MP4檔案,moov箱盒係具有視訊、音訊、及ST之trak箱盒。
因此,圖21的MP4檔案係具有:視訊之訊軌、音訊之訊軌、及ST之訊軌。
此處,MP4檔案中所儲存的視訊串流,係為將視訊例如以HEVC方式進行編碼所得到之串流,若為含有TMI之串流,則在視訊的訊軌中會含有TMI。
圖21的MP4檔案(後述圖25的MP4檔案也同樣)係可適用於,以HEVC方式所編碼之視訊串流以外,例如,以AVC方式所編碼之視訊串流等,含有TMI(含有和TMI同樣之HDR資訊(特性資訊及轉換資訊))的視訊串流,將其儲存至MP4檔案中的時候。
圖20的生成裝置1,係將視訊之訊軌中所含之TMI,從視訊之訊軌以外的例如ST之訊軌進行參照,生成可對ST之訊軌作所謂沿用而適用的MP4檔案。
因此,moov箱盒的ST(subtitle)的trak箱盒係具有:具有vtmi箱盒的tref箱盒(TrackReferenceBox)。
tref箱盒雖然可以具有TrackReferenceTypeBox,但vtmi箱盒係為被當成 TrackReferenceTypeBox之一種而被新定義的箱盒。
現在,假設將具有vtmi箱盒的某ST之訊軌當成注目的注目訊軌而予以注目,則身為注目訊軌的ST之訊軌所具有的vtmi箱盒中係被儲存有,含有要對注目訊軌做適用之TMI(HDR資訊)的訊軌,亦即,此處係為,作為將視訊之訊軌予以指定之訊軌指定資訊的、視訊之訊軌的track_id(表示其的後述之track_IDs[])。
因此,藉由在身為注目訊軌的ST之訊軌所具有之vtmi箱盒中所被儲存的track_id,就可辨識出應被參照來作為含有對注目訊軌做適用之TMI的訊軌的參照訊軌。
此外,若將含有TMI的視訊之訊軌當成注目訊軌,則身為注目訊軌的視訊之訊軌,係為應該被參照來作為含有要對該視訊之訊軌做適用之TMI之訊軌的參照訊軌。
如此,若在注目訊軌係為含有要對該注目訊軌做適用之TMI的參照訊軌時,則關於注目訊軌,係可省略將具有儲存參照訊軌之track_id的vtmi箱盒的tref箱盒,儲存至moov箱盒的注目訊軌之trak箱盒這件事情。
此情況下,若在moov箱盒的、注目訊軌的trak箱盒中,不存在具有vtmi箱盒的tref箱盒,則可辨識注目訊軌係為參照訊軌。
在圖21中,在moov箱盒的視訊的trak箱盒 中,具有vtmi箱盒之tref箱盒未被儲存,因此,關於視訊之訊軌,該視訊之訊軌係被辨識成為參照訊軌。
此處,即使在目訊軌係為含有要對該注目訊軌做適用之TMI的參照訊軌的情況下,仍可將具有儲存參照訊軌之track_id的vtmi箱盒的tref箱盒,儲存至moov箱盒的注目訊軌之trak箱盒。
亦即,例如,於圖21中,關於視訊的訊軌,和ST之訊軌同樣地,將具有儲存身為參照訊軌的視訊之訊軌之track_id的vtmi箱盒的tref箱盒,儲存至moov箱盒的視訊之trak箱盒。
此外,藉由事前決定會成為參照訊軌的訊軌之track_id,就可省略具有vtmi箱盒的tref箱盒。
在圖21的MP4檔案中,視訊及ST的各自之訊軌的moof箱盒係具有:作為將對該訊軌做適用之TMI予以指定之HDR指定資訊的、具有表示tone_map_id之tone_mapping_info_id_ref所被儲存之tirf箱盒的traf箱盒。
藉由參照注目訊軌的tirf箱盒中所被儲存之tone_mapping_info_id_ref,該tone_mapping_info_id_ref所表示之tone_map_id的TMI,係被辨識成為對注目訊軌做適用之TMI。
此外,fragmented movie的MP4檔案,係每一斷片地具有moof箱盒。對某斷片之資料係適用,該斷片的moof箱盒所擁有之tirf箱盒中所被儲存之 tone_mapping_info_id_ref所表示之tone_map_id的TMI之其中有效的TMI。
所謂有效TMI,係例如,已解碼(被取得)之TMI之中的最新TMI。
在fragmented movie的MP4檔案中,如圖21所示,含有TMI的視訊之訊軌的moof箱盒所擁有之traf箱盒中係被儲存有,表示要對視訊之訊軌做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存的tirf箱盒B#2。
又,關於將視訊之訊軌中所含之TMI進行參照的ST之訊軌,係在moov箱盒的ST(subtitle)之訊軌的trak箱盒的tref箱盒中,儲存有身為參照訊軌的視訊之訊軌之track_id所被儲存之vtmi箱盒B#1。
然後,關於ST之訊軌,係在該ST之訊軌的moof箱盒所擁有之traf箱盒中,儲存有表示對ST之訊軌做適用之TMI(身為參照訊軌的視訊之訊軌中所含之TMI)之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#3。
因此,若依據圖21的MP4檔案,則例如,若將視訊之訊軌當成注目訊軌而注目,則由於moov箱盒的視訊的trak箱盒並沒有具有vtmi箱盒之tref箱盒,因此可辨識出注目訊軌的視訊之訊軌,就是含有對該視訊之訊軌做適用之TMI的參照訊軌。
然後,可以辨識出,參照訊軌中所含之TMI 之中的、身為注目訊軌的視訊之訊軌的moof/tarf/tirf箱盒(moof箱盒所擁有之tarf箱盒所擁有之tirf箱盒)B#2中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
又,若依據圖21的MP4檔案,則例如,若將ST之訊軌當成注目訊軌之注目,則藉由moov箱盒的ST的trak/tref/vtmi箱盒(trak箱盒所擁有之tref箱盒所擁有之vtmi箱盒)B#1中所被儲存之track_id,就可辨識出視訊之訊軌,就是含有對ST之訊軌做適用之TMI的參照訊軌。
然後,可以辨識出,參照訊軌中所含之TMI之中的、身為注目訊軌的ST之訊軌的moof/tarf/tirf箱盒B#3中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
圖22係tref箱盒之定義的圖示。
tref箱盒,係如圖21所說明,可具有TrackReferenceTypeBox。
關於TrackReferenceTypeBox,係可將該TrackReferenceTypeBox之refernce_type,隨著TrackReferenceTypeBox之用途而任意加以定義而使用。
在本實施形態中,作為表示將TrackReferenceTypeBox用於儲存含有TMI的視訊之訊軌之track_id之用途這件事情的refernce_type,新定義了"vtmi",refernce_type為"vtmi"的 TrackReferenceTypeBox,是被當成儲存含有TMI的視訊之訊軌之track_id的vtmi箱盒來使用。
圖23係作為vtmi箱盒的TrackReferenceTypeBox之定義之例子的圖示。
vtmi箱盒,係具有(儲存有)表示track_id的track_IDs[]。
track_IDs[],係為陣列變數,可儲存複數個track_id。因此,藉由vtmi箱盒,可指定複數訊軌,來作為含有對ST之訊軌做適用之TMI的訊軌。
圖24係tirf箱盒之定義之例子的圖示。
tirf箱盒(tone mapping information reference box)(ToneMappingInformationReferenceBox),係作為儲存表示要對具有該tirf箱盒之訊軌做適用之TMI之tone_map_id的tone_mapping_info_id_ref的箱盒而被新定義的箱盒,係被儲存在trak箱盒(中所被儲存之stbl箱盒(sample table box)),或traf箱盒中。
於圖24中,sample_count,係等於stsz箱盒、或stz2箱盒、trun箱盒中所被儲存之sample_count,係表示樣本數。
在圖24中,tirf箱盒,係可每一樣本地,儲存number_of_tone_mapping_info_id_ref之數量個的tone_mapping_info_id_ref。
因此,若依據tirf箱盒,則關於1樣本,作為對該1樣本做適用之TMI,可以指定 number_of_tone_mapping_info_id_ref之數量個的tone_mapping_info_id_ref所表示之tone_map_id的TMI。
圖25係圖20之生成裝置1所生成的MP4檔案之另一例子的圖示。
圖25的MP4檔案,係為不具有斷片之non-fragmented movie的MP4檔案,moov箱盒係具有視訊、音訊、及ST之trak箱盒。
因此,圖25的MP4檔案係具有:視訊之訊軌、音訊之訊軌、及ST之訊軌。
於圖25中也是和圖21同樣地,視訊之訊軌係含有TMI,關於視訊之訊軌以外的例如ST之訊軌,係可適用視訊之訊軌中所含之TMI。
亦即,在non-fragmented movie的MP4檔案中,如圖25所示,在moov箱盒的、含有TMI的視訊之訊軌的trak箱盒所擁有之stbl箱盒中,係被儲存有,表示對視訊之訊軌做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#11。
又,關於將視訊之訊軌中所含之TMI進行參照的ST之訊軌,係在moov箱盒的ST之訊軌的trak箱盒所具有之tref箱盒中,儲存有表示身為參照訊軌的視訊之訊軌之track_id的track_IDs[](圖23)所被儲存之vtmi箱盒B#12。
然後,關於ST之訊軌,係在moov箱盒的ST之訊軌的trak箱盒所擁有之stbl箱盒中,儲存有表示對 ST之訊軌做適用之TMI(身為參照訊軌的視訊之訊軌中所含之TMI)之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#13。
因此,若依據圖25的MP4檔案,則一旦將視訊之訊軌當成注目訊軌而注目,則由於moov箱盒的視訊的trak箱盒並沒有具有vtmi箱盒之tref箱盒,因此可辨識出注目訊軌的視訊之訊軌,就是含有對該視訊之訊軌做適用之TMI的參照訊軌。
然後,moov箱盒的視訊的trak/stbl箱盒(trak箱盒所擁有之stbl箱盒),係具有tirf箱盒B#11,因此可以辨識出,參照訊軌(此處係為視訊之訊軌)中所含之TMI之中的、視訊的trak/stbl/tirf(trak箱盒所擁有之stbl箱盒所擁有之tirf箱盒)B#11中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
又,於圖25中,例如,若將ST之訊軌當成注目訊軌之注目,則由於有moov箱盒的ST的trak/tref/vtmi箱盒B#12存在,因此藉由該trak/tref/vtmi箱盒B#12中所被儲存之track_id,就可辨識出視訊之訊軌,就是含有對ST之訊軌做適用之TMI的參照訊軌。
然後,因為有moov箱盒的、身為注目訊軌的ST之訊軌的tark/stbl/tirf箱盒B#13存在,所以可辨識出參照訊軌中所含之TMI之中的、身為注目訊軌的ST之訊軌的tark/stbl/tirf箱盒B#13中所被儲存之 tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
此外,在non-fragmented movie的MP4檔案中,對注目訊軌係會適用,該注目訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI之其中有效的TMI。
所謂有效TMI,係如上述,例如,是已解碼(被取得)之TMI之中的最新TMI。
在圖20的生成裝置1中,如以上,由於含有作為HDR資訊之TMI的視訊之訊軌、和含有視訊之訊軌中所含之TMI之中的、作為將對ST之訊軌做適用之TMI予以指定之HDR指定資訊的tone_mapping_info_id_ref的ST之訊軌所被儲存而成之MP4檔案會被生成,因此可將視訊之訊軌中所含之TMI,對ST沿用而做適用,針對ST,係不需要將TMI做別個地附加。
因此,例如,可將Blu-ray(註冊商標)碟片中所被記錄之m2ts格式的、含有TMI的視訊、和與該視訊一起被再生之ST,針對ST係不必個別地附加TMI,就可將其轉換成MP4檔案。
其結果為,可促進TMI對MP4檔案之導入,可增加使用者享受HDR視訊或HDR ST等之HDR影像的機會。
<編碼處理部22之構成例>
圖26係圖20的編碼處理部22之構成例的區 塊圖。
編碼處理部22係具有:特性資訊生成部31、編碼器32、轉換部33、轉換資訊生成部34、編碼器35、及串流生成部36。
特性資訊生成部31,係偵測編碼處理部22所被輸入之母片之HDR資料之亮度,生成含有參照圖12所說明之各資訊的身為特性資訊之TMI(tone_mapping_info)。特性資訊生成部31,係將已生成的身為特性資訊之TMI,供給至串流生成部36。
此外,特性資訊生成部31,係偵測母片之HDR資料之中的、例如HDR視訊之亮度,生成視訊(HDR視訊)的身為特性資訊之TMI。又,特性資訊生成部31,係針對母片之HDR資料之中的、例如HDR ST,係將與該HDR ST同時顯示的HDR視訊的身為特性資訊之TMI,當作ST(HDR ST)的身為特性資訊之TMI而採用。
編碼器32,係若處理模式是mode-i,則將所被輸入之母片之HDR視訊,例如,以HEVC方式進行編碼。又,編碼器32,係若處理模式是mode-ii,則將從轉換部33所供給之STD視訊以HEVC方式進行編碼。編碼器32,係將HDR視訊之編碼資料、或STD視訊之編碼資料,供給至串流生成部36。此外,視訊的編碼方式,係不限定於HEVC方式。
轉換部33,係將編碼處理部22中所被輸入之 母片之HDR資料,轉換成STD資料。轉換部33所做的轉換,係適宜地,依照被作者所輸入之轉換參數,而被進行。轉換部33,係將用來表示以HDR資料的RGB訊號為input data,同時,以STD資料的RGB訊號為output data的input data與output data之對應關係的資訊,輸出至轉換資訊生成部34。
又,轉換部33,係若處理模式是mode-ii,則將HDR視訊轉換所得之STD視訊,供給至編碼器32,將HDR ST轉換所得之STD ST,供給至編碼器35。
轉換資訊生成部34,係基於從轉換部33所供給之資訊,而生成身為轉換資訊之TMI。
例如,轉換資訊生成部34,係若tone_map_model_id=0被使用時,則將圖9的含min_value與max_value之值的TMI(tone_mapping_info),當成轉換資訊而加以生成。
又,轉換資訊生成部34,係若tone_map_model_id=2被使用時,則將圖10的含start_of_coded_interval[i]的TMI,當成轉換資訊而加以生成。
然後,轉換資訊生成部34,係若tone_map_model_id=3被使用時,則將圖11的含有被num_pivots所指定之數目的coded_pivot_value[i]與target_pivot_value[i]的TMI,當成轉換資訊。
此外,轉換資訊生成部34,係例如,針對視 訊是生成身為轉換資訊之TMI,針對ST則是將與該ST同時顯示之視訊的身為轉換資訊之TMI,當成ST的身為轉換資訊之TMI而採用。
編碼器35,係若處理模式是mode-i,則將編碼處理部22中所被輸入之母片之HDR ST,編碼成SMPTE-TT格式的ST之資料。又,編碼器35,係若處理模式是mode-ii,則將從轉換部33所供給之STD ST,編碼成SMPTE-TT格式的ST之資料。編碼器35,係將從編碼結果所得之ST之資料,供給至串流生成部36。
串流生成部36,係將從特性資訊生成部31所供給之視訊、及ST的身為特性資訊之TMI的tone_map_id,供給至控制器21(圖20)。
又,串流生成部36,係將從轉換資訊生成部34所供給之視訊、及ST的身為轉換資訊之TMI的tone_map_id,供給至控制器21。
然後,串流生成部36,係將視訊的TMI(亦為ST的TMI),當作SEI,插入至來自編碼器32的視訊之編碼資料中,生成視訊串流。
又,串流生成部36,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至圖20的檔案生成部23。
圖27係圖26之轉換部33所做的、將HDR資料轉換成STD資料的轉換處理之例子的圖示。
轉換部33,係如箭頭#201所示,將編碼處理 部22中所被輸入之母片之HDR資料的YCrCb訊號,轉換成RGB(red、green、blue)訊號,以RGB之各訊號為對象,進行STD資料往RGB各訊號之轉換(tone mapping)。
轉換部33,係將表示屬於input data的HDR資料之RGB訊號和屬於output data的STD資料之RGB訊號之對應關係的資訊,輸出至轉換資訊生成部34。被輸出至轉換資訊生成部34的資訊,係如箭頭#202所示被使用於轉換資訊的生成。
又,轉換部33,係如箭頭#203所示,將STD資料之RGB訊號轉換成YCrCb訊號,並予以輸出。
圖28係tone mapping之例子的圖示。
HDR資料之RGB訊號,係例如圖28所示,將高亮度成分予以壓縮、將中‧低頻亮度成分予以伸展的方式,而被轉換成STD資料之RGB訊號。如圖28所示的HDR資料之RGB訊號和STD資料之RGB訊號予以建立對應的函數F所相當之資訊,係被當成轉換資訊,而被轉換資訊生成部34所生成。
此外,相當於圖28所示之函數F的轉換資訊,係相當於參照圖11所說明的,將coded_data與target_data之關係以折線函數加以表示的tone_map_model_id=3之TMI。
<生成裝置1之檔案生成處理>
圖29係圖20的生成裝置1所進行之檔案生 成處理之例子的說明用流程圖。
一旦母片之HDR資料被輸入至生成裝置1,則於步驟S1中,生成裝置1的控制器21,係判定處理模式是否為mode-i。處理模式係例如被作者所設定。
若處理模式是mode-i係在步驟S1中被判定時,則前進至步驟S2,編碼處理部22係進行mode-i下的編碼處理。mode-i下的編碼處理所生成之視訊串流和ST串流,係從編碼處理部22被供給至檔案生成部23。
另一方面,若處理模式是mode-ii係在步驟S1中被判定時,則前進至步驟S3,編碼處理部22係進行mode-ii下的編碼處理。mode-ii下的編碼處理所生成之視訊串流和ST串流,係從編碼處理部22被供給至檔案生成部23。
在步驟S2或S3之後,處理係前進至步驟S4,標頭資訊生成部21A係進行標頭資訊生成處理。由標頭資訊生成處理所生成之標頭資訊,係從標頭資訊生成部21A被供給至檔案生成部23,處理係前進至步驟S5。
於步驟S5中,檔案生成部23係生成,儲存有來自編碼處理部22之視訊串流及ST串流、以及來自標頭資訊生成部21A之標頭資訊的、圖21或圖25的MP4檔案並輸出之,檔案生成處理就結束。
圖30係圖29的步驟S2中所被進行的mode-i的編碼處理之例子的說明用流程圖。
於步驟S11中,編碼處理部22(圖26)的特 性資訊生成部31,係偵測母片之HDR資料之亮度,生成視訊及ST的身為特性資訊之TMI,供給至串流生成部36,處理係前進至步驟S12。
於步驟S12中,編碼器32係將母片之HDR視訊以HEVC方式進行編碼,生成HDR視訊的編碼資料,供給至串流生成部36,處理係前進至步驟S13。此外,視訊的編碼方式,係不限定於HEVC方式。
於步驟S13中,編碼器35係將母片之HDR ST予以編碼,生成SMPTE-TT格式的ST之資料,供給至串流生成部36,處理係前進至步驟S14。
於步驟S14中,轉換部33係將所被輸入之母片之HDR資料轉換成STD資料,並將用來表示以HDR資料之RGB訊號為input data,同時,以STD資料的RGB訊號為output data的input data與output data之對應關係的資訊,供給至轉換資訊生成部34。
其後,處理係從步驟S14前進至步驟S15,轉換資訊生成部34,係基於從轉換部33所供給之資訊,生成視訊及ST的身為轉換資訊之TMI,供給至串流生成部36,處理係前進至步驟S16。
於步驟S16中,串流生成部36,係以編碼資料的SEI的方式,將來自特性資訊生成部31的身為特性資訊之TMI、和來自轉換資訊生成部34的身為轉換資訊之TMI,插入至來自編碼器32的編碼資料中,生成視訊串流。
然後,串流生成部36,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至檔案生成部23(圖20)。
又,串流生成部36,係將視訊的TMI(對視訊做適用之TMI)之tone_map_id、和ST的TMI(對ST做適用之TMI)之tone_map_id,供給至控制器21(圖20),mode-i的編碼處理就結束(返回)。
圖31係圖29的步驟S3中所被進行的mode-ii的編碼處理之例子的說明用流程圖。
於步驟S21中,編碼處理部22的特性資訊生成部31,係偵測母片之HDR資料之亮度,生成視訊及ST的身為特性資訊之TMI,供給至串流生成部36。
其後,於步驟S22中,轉換部33,係將所被輸入之母片之HDR資料轉換成STD資料,將STD資料之中的STD視訊,供給至編碼器32,並且將STD ST,供給至編碼器35。
然後,轉換部33,係將用來表示以HDR資料的RGB訊號為input data,同時,以STD資料的RGB訊號為output data的input data與output data之對應關係的資訊,供給至轉換資訊生成部34,處理係從步驟S22前進至步驟S23。
於步驟S23中,轉換資訊生成部34,係基於從轉換部33所供給之資訊,來生成視訊及ST的身為轉換資訊之TMI,供給至串流生成部36,處理係前進至步驟 S24。
於步驟S24中,編碼器32係將來自轉換部33之STD視訊以HEVC方式進行編碼,生成STD視訊的編碼資料,供給至串流生成部36。此外,視訊的編碼方式,係不限定於HEVC方式。
其後,於步驟S25中,編碼器35係將來自轉換部33之STD ST予以編碼,生成SMPTE-TT格式的ST之資料,供給至串流生成部36。
然後,於步驟S26中,串流生成部36,係以編碼資料的SEI的方式,將來自特性資訊生成部31的身為特性資訊之TMI、和來自轉換資訊生成部34的身為轉換資訊之TMI,插入至來自編碼器32的編碼資料中,生成視訊串流。
再者,串流生成部36,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至檔案生成部23(圖20)。
又,串流生成部36,係將視訊的TMI之tone_map_id、和ST的TMI之tone_map_id,供給至控制器21(圖20),mode-ii的編碼處理就結束(返回)。
圖32係圖29的步驟S4中所被進行的標頭資訊生成處理之例子的說明用流程圖。
於步驟S31中,控制器21(圖20)的標頭資訊生成部21A係生成,儲存了表示編碼處理部22(之串流生成部36(圖26))所供給之視訊的TMI(對視訊做 適用之TMI)之tone_map_id的tone_mapping_info_id_ref的tirf箱盒(圖21、圖24、圖25)。
再者,標頭資訊生成部21A係生成,儲存了表示編碼處理部22所供給之ST的TMI(對ST做適用之TMI)的tone_map_id的tone_mapping_info_id_ref的tirf箱盒(圖21、圖24、圖25)。
又,標頭資訊生成部21A係生成,儲存了表示含有被適用於ST之TMI的視訊串流之訊軌之track_id的track_IDs[]的vtmi箱盒(圖21、圖23、圖25),處理係從步驟S31前進至步驟S32。
在步驟S32中,標頭資訊生成部21A係作成含有vtmi箱盒的moov箱盒、和含有tirf箱盒的moof箱盒,或作成含有vtmi箱盒與tirf箱盒的moov箱盒,當作標頭資訊,供給至檔案生成部23(圖20),標頭資訊生成處理就結束。
亦即,於檔案生成部23中,fragmented movie的MP4檔案被生成時,標頭資訊生成部21A係生成如圖21所示的,在ST之訊軌的trak/tref箱盒中會含有vtmi箱盒的moov箱盒。
然後,標頭資訊生成部21A係還生成如圖21所示的,在視訊之訊軌的traf箱盒中會含有tirf箱盒的moof箱盒、及在ST之訊軌的traf箱盒中會含有tirf箱盒的moof箱盒。
另一方面,於檔案生成部23中,non- fragmented movie的MP4檔案被生成時,標頭資訊生成部21A係生成如圖25所示的,在視訊之訊軌的trak箱盒中所含之stbl箱盒中會含有tirf箱盒,且,在ST之訊軌的trak/tref箱盒中會含有vtmi箱盒,並且在ST之訊軌的trak箱盒中所含之stbl箱盒中會含有tirf箱盒的moov箱盒。
<再生裝置2之第1構成例>
圖33係圖1的再生裝置2的第1構成例的區塊圖。
於圖33中,再生裝置2係具有:檔案取得部51、分離部52、操作輸入部53、控制器54、解碼處理部55、及合成輸出部56。
檔案取得部51,係從記錄媒體11或傳輸媒體12(圖1),取得MP4檔案,供給至分離部52。
分離部52,係從來自檔案取得部51的MP4檔案中,將作為標頭資訊的moov箱盒或moof箱盒予以分離(取得),供給至控制器54。
又,分離部52,係從來自檔案取得部51的MP4檔案中,將mdat箱盒中所被儲存之作為實際資料的視訊串流或ST串流予以分離(取得),供給至解碼處理部55。
操作輸入部53,係由:按鈕、按鍵、觸控面板等之輸入裝置、或將從所定之遙控器所發送之紅外線等之訊號予以接收的收訊部所構成,受理使用者操作。然 後,操作輸入部53,係將對應於使用者操作的操作訊號,供給至控制器54。
控制器54,係由:CPU、ROM、RAM等所構成。控制器54係執行所定之程式,控制再生裝置2全體的動作。
例如,控制器54,係將從分離部52所供給之moov箱盒中所含之vtmi箱盒中所被儲存之track_IDs[](圖21、圖23、圖25)、或tirf箱盒中所被儲存之tone_mapping_info_id_ref(圖21、圖24、圖25),供給至解碼處理部55。又,例如,控制器54,係將從分離部52所供給之moof箱盒中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部55。
解碼處理部55,係具有解碼器55A和解碼器55B。
解碼器55A,係將視訊之訊軌辨識成為參照訊軌(作為含有所適用之TMI的訊軌而應參照之訊軌),並成為取得部而發揮機能,從分離部52所供給之視訊之訊軌的視訊串流的SEI中,將身為特性資訊及轉換資訊之TMI(tone_mapping_info),當作參照訊軌中所含之TMI而加以取得。
又,解碼器55A,係將從分離部52所供給之視訊串流中所含之編碼資料,以HEVC方式進行解碼。
然後,解碼器55A,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將控制器54所供給之、視 訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當成對視訊做適用之TMI而加以取得。
然後,解碼器55A,係因應需要,將解碼結果所得之HDR視訊或STD視訊,基於對視訊做適用之身為轉換資訊之TMI,轉換成STD視訊或HDR視訊,輸出至合成輸出部56。
解碼器55A,係在輸出HDR視訊時,將HDR視訊連同對視訊做適用之身為特性資訊之TMI,輸出至合成輸出部56。
解碼器55B,係將從分離部52所供給之ST串流,予以解碼。
又,解碼器55B,係將從控制器54所供給之、ST之訊軌的vtmi箱盒中所被儲存之track_IDs[]所表示之track_id之訊軌,亦即,在本實施形態中,是將視訊之訊軌,辨識成為參照訊軌,成為取得該參照訊軌中所含之TMI的取得部而發揮機能。
具體而言,解碼器55B,係從分離部52所供給之、身為參照訊軌的視訊之訊軌的視訊串流的SEI中,將身為特性資訊及轉換資訊之TMI,當作參照訊軌中所含之TMI而加以取得。
然後,解碼器55B,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將控制器54所供給之、ST之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref 所表示之tone_map_id的TMI,當成對ST做適用之TMI而加以取得。
然後,解碼器55B,係因應需要,將解碼結果所得之HDR ST或STD ST,基於對ST做適用之身為轉換資訊之TMI,轉換成STD ST或HDR ST,輸出至合成輸出部56。
解碼器55B,係在輸出HDR ST時,將HDR ST連同對ST做適用之身為特性資訊之TMI,輸出至合成輸出部56。
合成輸出部56,係透過纜線4(圖1)而與顯示裝置3之間進行通訊。例如,合成輸出部56係將顯示裝置3所具有之監視器的性能的相關資訊,加以取得,並輸出至控制器54。
又,合成輸出部56,係將從解碼器55A所供給之HDR視訊或STD視訊、和從解碼器55B所供給之HDR ST或STD ST,因應需要而加以合成,輸出至顯示裝置3。
然後,合成輸出部56,係將從解碼器55A及解碼器55B所供給之身為特性資訊之TMI,輸出至顯示裝置3。
<再生裝置2的再生處理>
圖34係圖33的再生裝置2所進行之再生處理之例子的說明用流程圖。
此外,在再生裝置2中,在再生處理開始之 前,假設控制器54係控制合成輸出部56而與顯示裝置3進行通訊,已經取得了表示顯示裝置3之性能之資訊的例如EDID(Extended display identification data)。
於步驟S41中,檔案取得部51,係取得生成裝置1所生成之MP4檔案,供給制分離部52。
分離部52,係從來自檔案取得部51的MP4檔案中,讀出作為標頭資訊的moov箱盒或moof箱盒,並且讀出mdat箱盒中所被儲存之作為實際資料的視訊串流或ST串流。
然後,分離部52,係將作為標頭資訊的moov箱盒或moof箱盒,供給至控制器54,並且,將視訊串流或ST串流,供給至解碼處理部55。
又,控制器54,係將從分離部52所供給之moov箱盒中所含之vtmi箱盒中所被儲存之track_IDs[]、或tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部55。再者,控制器54,係將從分離部52所供給之moof箱盒中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部55。
其後,處理係從步驟S41前進至步驟S42,控制器54係判定已被檔案取得部51所取得之MP4檔案的處理模式是mode-i還是mode-ii,亦即判定已被檔案取得部51所取得之MP4檔案,是否為以mode-i或mode-ii之編碼處理而得的檔案。
此處,控制器54中的步驟S42中的處理模式 之判定,係可例如,在作為標頭資訊的moov箱盒中,事前含有表示MP4檔案之處理模式的資訊,基於該資訊來進行之。
若處理模式是mode-i係在步驟S42中被判定時,則前進至步驟S43,解碼處理部55係進行mode-i的解碼處理。
另一方面,若處理模式是mode-ii係在步驟S42中被判定時,則前進至步驟S44,解碼處理部55係進行mode-ii的解碼處理。
於步驟S43或步驟S44中進行了解碼處理後,再生處理係結束。
圖35係圖34的步驟S43中所被進行的mode-i的解碼處理之例子的說明用流程圖。
於步驟S61中,解碼器55A係將視訊之訊軌辨識成為參照訊軌,從分離部52所供給之視訊之訊軌的視訊串流的SEI中,將身為特性資訊及轉換資訊之TMI,當作參照訊軌中所含之TMI而加以取得。
然後,在步驟S61中,解碼器55B,係將從控制器54所供給之,ST之訊軌的vtmi箱盒中所被儲存之track_IDs[]所表示之track_id之訊軌(作為訊軌指定資訊之track_IDs[]所指定的訊軌)亦即視訊之訊軌,辨識成為參照訊軌,取得該參照訊軌中所含之TMI。
亦即,解碼器55B,係和解碼器55A同樣地,從分離部52所供給之、身為參照訊軌的視訊之訊軌 的視訊串流的SEI中,將身為特性資訊及轉換資訊之TMI,當作參照訊軌中所含之TMI而加以取得。
其後,處理係從步驟S61前進至步驟S62,解碼器55A係將來自分離部52之視訊串流中所含之編碼資料以HEVC方式進行解碼,生成HDR視訊,處理係前進至步驟S63。此外,視訊的解碼(編碼)方式,係不限定於HEVC方式。
於步驟S63中,解碼器55B,係將來自分離部52的ST串流,亦即例如SMPTE-TT格式的ST之資料之串流,解碼成HDR ST,處理係前進至步驟S64。
於步驟S64中,控制器54係判定顯示裝置3所具有之監視器是否為HDR監視器。
此處,如圖34所說明,控制器54,係從顯示裝置3,取得作為表示該顯示裝置3之性能之資訊的EDID,基於該EDID,判定顯示裝置3所擁有之監視器是否為HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S64中被判定時,則處理係前進至步驟S65。
於步驟S65中,解碼器55A,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將從控制器54所供給之、視訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對視訊做適用之TMI而加以取得。
又,解碼器55B,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將從控制器54所供給之、ST之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S65前進至步驟S66,解碼器55A係將HDR視訊,連同作為對視訊做適用之身為特性資訊之TMI,一起供給至合成輸出部56。又,解碼器55B,係將HDR ST,連同對ST做適用之身為特性資訊之TMI,一起供給至合成輸出部56。
在合成輸出部56中,HDR視訊與HDR ST,係因應需要而被合成,連同身為特性資訊之TMI,一起被供給(發送)至顯示裝置3(圖1)。
另一方面,顯示裝置3所具有之監視器並非HDR監視器、而是STD監視器,係在步驟S64中被判定時,則處理係前進至步驟S67。
於步驟S67中,解碼器55A,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將從控制器54所供給之、視訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對視訊做適用之TMI而加以取得。
又,解碼器55B,係從身為參照訊軌的視訊 之訊軌中所含之TMI之中,將從控制器54所供給之、ST之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S67前進至步驟S68,解碼器55A係基於對視訊做適用的身為轉換資訊之TMI,而將解碼之結果所得之HDR視訊,轉換成STD視訊。
又,解碼器55B,係基於對ST做適用之身為轉換資訊之TMI,而將解碼結果所得之HDR ST,轉換成STD ST。
然後,處理係從步驟S68前進至步驟S69,解碼器55A係將STD視訊,供給至合成輸出部56。又,解碼器55B,係將STD ST,供給至合成輸出部56。
在合成輸出部56中,STD視訊與STD ST,係因應需要而被合成,被供給(發送)至顯示裝置3(圖1)。
步驟S66或S69之後,處理係前進至步驟S70,控制器54係判定再生是否結束。
若再生並未結束是在步驟S70中被判定,則處理係返回步驟S61,重複執行同樣的處理。另一方面,若再生結束是在步驟S70中被判定,則mode-i的解碼處理係結束。
圖36係圖34的步驟S44中所被進行的mode- ii的解碼處理之例子的說明用流程圖。
於步驟S81中,解碼器55A及55B,係和圖35的步驟S61同樣地,取得參照訊軌中所含之TMI。
亦即,解碼器55A係將視訊之訊軌辨識成為參照訊軌,從分離部52所供給之視訊之訊軌的視訊串流的SEI中,將身為特性資訊及轉換資訊之TMI,當作參照訊軌中所含之TMI而加以取得。
解碼器55B,係將從控制器54所供給之,ST之訊軌的vtmi箱盒中所被儲存之track_IDs[]所表示之track_id之訊軌(作為訊軌指定資訊之track_IDs所指定的訊軌)亦即視訊之訊軌,辨識成為參照訊軌,從分離部52所供給之、身為參照訊軌的視訊之訊軌的視訊串流的SEI中,將身為特性資訊及轉換資訊之TMI,當作參照訊軌中所含之TMI而加以取得。
其後,處理係從步驟S81前進至步驟S82,解碼器55A係將來自分離部52之視訊串流中所含之編碼資料以HEVC方式進行解碼,生成STD視訊,處理係前進至步驟S83。此外,視訊的解碼(編碼)方式,係不限定於HEVC方式。
於步驟S83中,解碼器55B,係將ST串流,亦即例如SMPTE-TT格式的ST之資料之串流,解碼成STD ST,處理係前進至步驟S84。
於步驟S84中,控制器54係例如和圖35的步驟S64同樣地,判定顯示裝置3所具有之監視器是否為 HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S84中被判定時,則處理係前進至步驟S85。
於步驟S85中,解碼器55A,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將從控制器54所供給之、視訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對視訊做適用之TMI而加以取得。
又,解碼器55B,係從身為參照訊軌的視訊之訊軌中所含之TMI之中,將從控制器54所供給之、ST之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S85前進至步驟S86,解碼器55A係基於對視訊做適用的身為轉換資訊之TMI,而將解碼之結果所得之STD視訊,轉換成HDR視訊。又,解碼器55B,係基於對ST做適用之身為轉換資訊之TMI,而將解碼結果所得之STD ST,轉換成HDR ST。
然後,處理係從步驟S86前進至步驟S87,解碼器55A係將HDR視訊,連同作為對視訊做適用之身為特性資訊之TMI,一起供給至合成輸出部56。又,解碼器55B,係將HDR ST,連同對ST做適用之身為特性資訊 之TMI,一起供給至合成輸出部56。
在合成輸出部56中,HDR視訊與HDR ST,係因應需要而被合成,連同身為特性資訊之TMI,一起被供給至顯示裝置3(圖1)。
另一方面,顯示裝置3所具有之監視器是STD監視器係在步驟S84中被判定時,則處理係前進至步驟S88,解碼器55A係將步驟S82之解碼所得之STD視訊,供給至合成輸出部56。又,解碼器55B係將步驟S83之解碼所得之STD ST,供給至合成輸出部56。
在合成輸出部56中,STD視訊與STD ST,係因應需要而被合成,被供給至顯示裝置3(圖1)。
步驟S87或S88之後,處理係前進至步驟S89,控制器54係判定再生是否結束。
若再生並未結束是在步驟S89中被判定,則處理係返回步驟S81,重複執行同樣的處理。另一方面,若再生結束是在步驟S89中被判定,則mode-ii的解碼處理係結束。
<顯示裝置3之構成例>
圖37係圖1之顯示裝置3的構成例的區塊圖。
顯示裝置3係具有:控制器101、通訊部102、訊號處理部103、及監視器104。控制器101係具有,例如,記憶著表示監視器104之性能的EDID(Extended display identification data)等的記憶體101A。
控制器101,係由:CPU、ROM、RAM等所構成。控制器101係執行所定之程式,控制顯示裝置3全體的動作。
例如,控制器101,係在與再生裝置2之認證時,將記憶體101A中所記憶之EDID,輸出至通訊部102,並令其對再生裝置2發送之。基於EDID,顯示裝置3之監視器104的性能,係可被再生裝置2所特定。
通訊部102,係透過纜線4(圖1)而與再生裝置2之間進行通訊。通訊部102,係將從再生裝置2發送過來的HDR資料或STD資料予以接收,並輸出至訊號處理部103。又,通訊部102係將從控制器101所供給之EDID,發送至再生裝置2。
訊號處理部103,係進行從通訊部102所供給之HDR資料或STD資料的處理,令影像被顯示在監視器104。
<顯示裝置3的顯示處理>
圖38係圖37的顯示裝置3所進行之顯示處理之例子的說明用流程圖。
此處,針對顯示裝置3所具有之監視器104是HDR監視器的情形,加以說明。對具有HDR監視器的顯示裝置3,係有已被附加了特性資訊的HDR資料,被從再生裝置2發送過來。
於步驟S101中,顯示裝置3的通訊部102,係將從再生裝置2被發送過來的HDR資料與特性資訊予 以接收,處理係前進至步驟S102。
於步驟S102中,控制器101係參照特性資訊,判定從再生裝置2被發送過來的HDR資料是否可以直接顯示。特性資訊中係含有母片之HDR資料、亦即表示從再生裝置2被發送過來的HDR資料之亮度特性的身為特性資訊之TMI。步驟S102中的判定,係藉由將被身為特性資訊之TMI所特定之HDR資料的亮度之特性、和監視器104的顯示性能進行比較而為之。
例如,被身為特性資訊之TMI所特定之HDR資料的動態範圍是0-400%,監視器104的動態範圍是0-500%(例如假設100%之明亮度為100cd/m2時則為500cd/m2)的情況下,則判定為可將HDR資料直接顯示。另一方面,被身為特性資訊之TMI所特定之HDR資料的動態範圍是0-400%,監視器104的動態範圍是0-300%的情況下,則判定為無法將HDR資料直接顯示。
若可將HDR資料直接顯示是在步驟S102中被判定,則處理係前進至步驟S103,訊號處理部103係將對應於HDR資料的HDR影像,依照被身為特性資訊之TMI所指定之亮度,而顯示在監視器104。例如,圖12的曲線L12所示之亮度特性是被身為特性資訊之TMI所指定的情況下,則各亮度值係表示,曲線L12所示之0-400%之範圍的明亮度。
另一方面,若無法將HDR資料直接顯示是在步驟S102中被判定,則處理係前進至步驟S104,訊號處 理部103係隨應於監視器104的顯示性能,調整HDR資料的亮度,將亮度調整過的HDR資料所對應之HDR影像,予以顯示。例如,圖12的曲線L12所示之亮度特性是被特性資訊所指定,監視器104的動態範圍是0-300%的情況下,則被壓縮成使得各亮度值是表示0-300%之範圍的明亮度。
於步驟S103、或步驟S104中HDR資料所對應之HDR影像被顯示後,處理係前進至步驟S105,控制器101係判定顯示是否結束,若判定為尚未結束,則重複步驟S101以後的處理。於步驟S105中若判定為顯示結束,則顯示處理係結束。
藉由以上一連串處理,生成裝置1係可將母片之HDR資料維持HDR資料不變而儲存至MP4檔案,讓再生裝置2再生並且使HDR資料所對應之HDR影像被顯示在顯示裝置3。
又,生成裝置1係可將母片之HDR資料轉換成STD資料而儲存至MP4檔案,令再生裝置2復原成HDR資料,然後使HDR資料所對應之HDR影像被顯示在顯示裝置3。
HDR資料再生之際,母片之HDR資料之亮度特性可由身為特性資訊之TMI來做指定,藉此,內容的作者就可以符合其意圖之亮度,來使HDR資料所對應之HDR影像被顯示。
又,生成裝置1,係將含有身為HDR資訊 (特性資訊及轉換資訊)之TMI的視訊(之串流)之訊軌、和ST(之串流)之訊軌,儲存至MP4檔案。
然後,在ST之訊軌中係含有:作為將含有對ST之訊軌作適用之TMI的視訊之訊軌予以指定之訊軌指定資訊的track_IDs[]所被儲存之vtmi箱盒、和作為將對ST之訊軌做適用之TMI予以指定之HDR指定資訊的tone_mapping_info_id_ref所被儲存之tirf箱盒。
其結果為,再生裝置2,係從ST之訊軌中所含之vtmi箱盒中所被儲存之track_IDs[]所指定之(track_id之)視訊之訊軌中所含之TMI之中,將ST之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所指定之(tone_map_id之)TMI,當作對ST做適用之TMI而加以取得,可利用於ST之處理。
因此,在圖20的第1構成例的生成裝置1中所被生成之MP4檔案(以下亦簡稱第1之MP4檔案)中,由於可將視訊之訊軌中所含之TMI,對ST沿用而做適用,因此針對ST,不需要個別地附加TMI。
此外,上述的場合下,係在第1之MP4檔案生成時,針對ST,將與該ST同時顯示之視訊的TMI,當作ST的TMI而採用,因此ST的TMI,係會依存於視訊的TMI。
但是,針對視訊和ST,則是分別個別地生成TMI,藉由在視訊之串流中,除了視訊的TMI以外,還含 有ST的TMI,就可避免ST的TMI依存於視訊的TMI。
<生成裝置1的第2構成例>
圖39係圖1的生成裝置1的第2構成例的區塊圖。
此外,圖中,和圖20對應的部分,係標示同一符號,以下並適宜地省略其說明。
於圖39中,生成裝置1係具有:控制器21、檔案生成部23、及編碼處理部122。
因此,圖39的生成裝置1,係具有控制器21、及檔案生成部23這點,是與圖20共通,而在取代編碼處理部22,改為設置編碼處理部122這點上,是與圖20不同。
再者,圖39的生成裝置1,係在控制器21不具標頭資訊生成部21A,改為具有標頭資訊生成部121A這點上,是與圖20不同。
在圖39的生成裝置1中,母片之HDR資料係被輸入至編碼處理部22。
標頭資訊生成部121A,係和圖20的標頭資訊生成部21A同樣地,生成將從編碼處理部122所供給之tone_map_id,當作tone_mapping_info_id_ref而儲存之tirf箱盒(圖24)。
又,標頭資訊生成部121A係生成,將從編碼處理部122所供給之TMI(tone_mapping_info),當作ToneMapInfo(類別之物件)而儲存之tinf箱盒 (ToneMappingInformationBox)。
然後,標頭資訊生成部121A,係將含有tirf箱盒與tinf箱盒與的moov箱盒、或moof箱盒,當作標頭資訊而予以生成,供給至檔案生成部23。
關於tinf箱盒,將於後述。
編碼處理部122,係和圖20的編碼處理部22同樣地,藉由進行母片之HDR資料的編碼,而生成視訊串流及ST串流,輸出至檔案生成部23。
又,編碼處理部122,係和圖20的編碼處理部22同樣地,將對視訊及ST做適用之TMI(tone_mapping_info)的tone_map_id,供給至控制器21(的標頭資訊生成部121A)。
再者,編碼處理部122,係將對視訊及ST做適用之TMI,供給至控制器21(的標頭資訊生成部121A)。
圖40係圖39之生成裝置1所生成的MP4(以下簡稱為第2之MP4檔案)檔案之另一例子的圖示。
圖40的第2之MP4檔案,係為具有斷片之fragmented movie的MP4檔案,moov箱盒係具有視訊、音訊、及ST之trak箱盒。
因此,圖40的第2之MP4檔案係具有:視訊之訊軌、音訊之訊軌、及ST之訊軌。
此處,在第1之MP檔案(圖21、圖25) 中,TMI是被包含在視訊之訊軌中,但沒有被包含在ST之訊軌中,因此針對ST,是將視訊之訊軌中所含之TMI予以沿用而使用,但在第2之MP檔案中,係在視訊或ST等之各媒體之訊軌中,含有要對該媒體做適用的TMI。
亦即,圖39的生成裝置1,係針對各媒體,將要對該媒體做適用之TMI是被包含在該媒體之訊軌中的MP4檔案,當作第2之MP4檔案而予以生成。
因此,於圖40中,各媒體的moof/traf箱盒係具有:tirf箱盒、及tinf箱盒(ToneMappingInformationBox)(tone mapping informationbox)。
tirf箱盒,係如圖21所說明,是將對注目之注目訊軌做適用之TMI予以指定之、表示tone_map_id的tone_mapping_info_id_ref所被儲存之、被新定義的箱盒。
tinf箱盒,係TMI(tone_mapping_info)所被儲存之、被新定義的箱盒。
在fragmented movie的MP4檔案中,如圖40所示,在視訊之訊軌的moof/traf箱盒中係被儲存有:對視訊(之訊軌)做適用之TMI所被儲存之tinf箱盒B#22、和在該tinf箱盒B#22中所被儲存之TMI之中,表示對視訊做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#21。
同樣地,在ST之訊軌的moof/traf箱盒中係被儲存有:對ST(之訊軌)做適用之TMI所被儲存之tinf箱盒B#24、和在該tinf箱盒B#24中所被儲存之TMI之中,表示對ST做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#23。
因此,若依據圖40的第2之MP4檔案,則例如,一旦將視訊之訊軌當作注目訊軌而予以注目,就會辨識出,注目訊軌的moof/traf/tinf箱盒B#22中所被儲存之TMI之中的、注目訊軌的moof/tarf/tirf箱盒B#21中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
又,若依據圖40的MP4檔案,則例如,一旦將ST之訊軌當作注目訊軌而予以注目,就會辨識出,注目訊軌的moof/traf/tinf箱盒B#24中所被儲存之TMI之中的、注目訊軌的moof/tarf/tirf箱盒B#23中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
此外,fragmented movie的MP4檔案,係每一斷片地具有moof箱盒,但對某斷片之資料,係會適用該斷片的moof/traf/tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI之其中有效的TMI。
圖41係tinf箱盒之定義之例子的圖示。
tinf箱盒(ToneMappingInformationBox) (tone mapping information box),係作為將要對具有該tinf箱盒之訊軌做適用之TMI,當作ToneMapInfo(類別之物件tonemap)而儲存之箱盒,而被新定義的箱盒,係被儲存在trak箱盒(中所被儲存之stbl箱盒)、或traf箱盒中。
圖42係ToneMapInfo之語法的第1例的圖示。
圖42的ToneMapInfo,係除了被插入有為了位元組對齊所需的padding_value以外,其餘是和圖7的TMI(tone_mapping_info)相同構成。
圖43係ToneMapInfo之語法的第2例的圖示。
圖43的ToneMapInfo,係除了有component_idc被新定義以外,其餘是和圖42相同構成。
component_idc係例如,若為0時,則圖43的ToneMapInfo所表示之TMI,係對構成影像之複數分量的例如R、G、及B之全體共通地做適用。
又,component_idc係例如,若為1時,則圖43的ToneMapInfo所表示之TMI,係對構成影像之分量的例如R、G、及B之其中1者,例如僅對R做適用。
再者,component_idc係例如,若為2時,則圖43的ToneMapInfo所表示之TMI,係對構成影像之分量的例如R、G、及B之其中1者,例如僅對G做適用;component_idc係例如,若為3時,則圖43的 ToneMapInfo所表示之TMI,係對構成影像之分量的例如R、G、及B之其中1者,例如僅對B做適用。
若依據圖43的ToneMapInfo,則可以分量單位,來變更做適用之TMI等。
圖44係ToneMapInfo之語法的第3例的圖示。
圖44的ToneMapInfo,係除了有num_of_components被新定義以外,其餘是和圖42相同構成。
num_of_components係例如,若為0時,則圖44的ToneMapInfo所表示之TMI,係對構成影像之複數分量的例如R、G、及B之全體共通地做適用。
甚至,在component_idc例如為3的情況下,在圖43的ToneMapInfo中,係有對構成影像之分量R、G、及B之每一者做適用的R用的TMI、G用的TMI、及B用的TMI,是例如,依該順序而被描述。
若依據圖43或圖44的ToneMapInfo,則針對構成影像之各分量,可將對該分量做適用之TMI,予以獨立地描述。
圖45係圖39之生成裝置1所生成的第2之MP4檔案之另一例子的圖示。
圖45的第2之MP4檔案,係為不具有斷片之non-fragmented movie的MP4檔案,moov箱盒係具有視訊、音訊、及ST之trak箱盒。
因此,圖45的第2之MP4檔案係具有:視訊之訊軌、音訊之訊軌、及ST之訊軌。
在圖45的第2之MP檔案中,和圖40同樣地,在視訊或ST等的各媒體之訊軌中,含有對該媒體做適用之TMI。
亦即,在non-fragmented movie的MP4檔案中,如圖45所示,針對視訊之訊軌,在係moov箱盒的、視訊之訊軌的trak/stbl箱盒中會儲存有:對視訊(之訊軌)做適用之TMI所被儲存之tinf箱盒B#32、和表示對視訊做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#31。
針對ST之訊軌也是同樣地,在moov箱盒的、ST之訊軌的trak/stbl箱盒中會被儲存有:對ST(之訊軌)做適用之TMI所被儲存之tinf箱盒B#34、和表示對ST做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#33。
因此,若依據圖45的第2之MP4檔案,則例如,一旦將視訊之訊軌當作注目訊軌而注目,則可辨識出,moov箱盒的、注目訊軌(此處係為視訊之訊軌)的trak箱盒中所含之stbl箱盒所擁有之tinf箱盒B#32中所被儲存之TMI之中的、該stbl箱盒所擁有之tirf箱盒B#31中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
又,例如,若將ST之訊軌當成注目訊軌之注 目,則和視訊的情況相同,可辨識出moov箱盒的、注目訊軌(此處係為ST之訊軌)的trak箱盒中所含之stbl箱盒所擁有之tinf箱盒B#34中所被儲存之TMI之中的、該stbl箱盒所擁有之tirf箱盒B#33中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
此外,在non-fragmented movie的MP4檔案中,對注目訊軌係會適用,該注目訊軌之tinf箱盒中所被儲存之TMI之其中有效的TMI。
在圖39的生成裝置1中,如以上,由於含有身為HDR資訊之TMI(所被儲存之tinf箱盒)、及該TMI之中的、作為將對注目之注目訊軌做適用之TMI予以指定之HDR指定資訊的tone_mapping_info_id_ref(所被儲存之tirf箱盒)的注目訊軌所被儲存而成之第2之MP4檔案會被生成,因此可對視訊或ST等之各媒體,各自獨立地,附加對該媒體做適用之TMI。
又,將視訊,例如,以HEVC方式進行編碼時,係生成在SEI中會被插入有視訊之TMI的視訊串流,但在第2之MP4檔案中,可與SEI中所被插入之TMI獨立地,對視訊以外之媒體,附加對該媒體做適用之TMI。
因此,例如,可將Blu-ray(註冊商標)碟片中所被記錄之m2ts格式的、含有TMI的視訊、和與該視訊一起被再生之ST,針對ST係不必個別地附加要對ST 做適用之TMI,就可將其轉換成MP4檔案。
其結果為,可促進TMI對MP4檔案之導入,可增加使用者享受HDR視訊或HDR ST等之HDR影像的機會。
此外,將視訊,例如,以HEVC方式進行編碼時,係生成在SEI中會被插入有視訊之TMI的視訊串流,因此在第2之MP4檔案中,作為視訊的TMI,係有被插入在SEI中的TMI、和視訊之訊軌中所含之tinf箱盒中所儲存的TMI存在。
此情況下,於再生裝置2(圖1)中,作為要對視訊做適用之TMI,究竟是要使用SEI中所被插入之TMI、和視訊之訊軌中所含之tinf箱盒中所被儲存之TMI之其中哪一者,係例如可以事先就被決定好,或可隨著使用者的操作而選擇。
在本實施形態中係假設,針對第2之MP4檔案,是將SEI中所被插入之TMI、和視訊之訊軌中所含之tinf箱盒中所被儲存之TMI之中的,例如tinf箱盒中所被儲存之TMI,當作對視訊做適用之TMI而使用。
此處,若依據SMPTE-TT格式的ST之資料,則在對MP4檔案之存取單位的1樣本中,可包含有ST的複數顯示畫面,但在第2之MP4檔案中,若1樣本中含有ST的複數顯示畫面,則可對該1樣本中所含之ST的複數顯示畫面之每一者分別做適用之的TMI,係為同一TMI要對每一顯示畫面切換所被適用TMI,是困難的。
<編碼處理部122之構成例>
圖46係圖39的編碼處理部122之構成例的區塊圖。
此外,圖中,和圖26的編碼處理部22對應的部分,係標示同一符號,以下並適宜地省略其說明。
編碼處理部122係具有:編碼器32、轉換部33、轉換資訊生成部34、編碼器35、特性資訊生成部131、轉換資訊生成部132、及串流生成部133。
因此,圖46的編碼處理部122,係在具有編碼器32、轉換部33、及編碼器35這點上,是與圖26的編碼處理部22共通。
但是,圖46的編碼處理部122,係在取代了特性資訊生成部31、轉換資訊生成部34、及串流生成部36,而分別改為設置特性資訊生成部131、轉換資訊生成部132、及串流生成部133這點上,是與圖26的編碼處理部22不同。
特性資訊生成部131,係和圖26的特性資訊生成部31同樣地,偵測編碼處理部122中所被輸入之母片之HDR資料之亮度,生成身為特性資訊之TMI,供給至串流生成部133。
但是,特性資訊生成部131,係針對母片之HDR資料之中的、HDR視訊與HDR ST之每一者,別個地生成身為特性資訊之TMI。
此外,在特性資訊生成部131中,和圖26的 特性資訊生成部31同樣地,針對HDR視訊,係可生成該HDR視訊的身為特性資訊之TMI,針對HDR ST,係可將與該HDR ST同時顯示之HDR視訊的身為特性資訊之TMI,當作ST(HDR ST)的身為特性資訊之TMI而採用。
轉換資訊生成部132,係和圖26的轉換資訊生成部34同樣地,基於從轉換部33所供給之資訊,而生成身為轉換資訊之TMI。
但是,轉換資訊生成部132,係針對母片之HDR資料之中的、HDR視訊與HDR ST之每一者,別個地生成身為轉換資訊之TMI,供給至串流生成部133。
此外,在轉換資訊生成部132中,和圖26的轉換資訊生成部34同樣地,針對HDR視訊,係可生成該HDR視訊的身為轉換資訊之TMI,針對HDR ST,係可將與該HDR ST同時顯示之HDR視訊的身為轉換資訊之TMI,當作ST(HDR ST)的身為轉換資訊之TMI而採用。
串流生成部133,係將從特性資訊生成部131所供給之視訊、及ST的身為特性資訊之TMI,以及,從轉換資訊生成部132所供給之視訊、及ST的身為轉換資訊之TMI之tone_map_id,供給至控制器21(圖39)。
除此以外,串流生成部133係進行和圖26之串流生成部36相同的處理。
亦即,串流生成部133,係將從特性資訊生成 部131所供給之視訊、及ST的身為特性資訊之TMI之tone_map_id,以及,從轉換資訊生成部132所供給之視訊、及ST的身為轉換資訊之TMI之tone_map_id,供給至控制器21。
然後,串流生成部133,係將視訊的TMI,當作SEI,插入至來自編碼器32的視訊之編碼資料中,生成視訊串流。
又,串流生成部133,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至圖39的檔案生成部23。
此外,在串流生成部133中,係可不將視訊的TMI插入至來自編碼器32的視訊的編碼資料,而將該編碼資料,直接當作視訊串流。
<生成裝置1之檔案生成處理>
圖47係圖39的生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
一旦母片之HDR資料被輸入至生成裝置1,則於步驟S111中,生成裝置1的控制器21,係和圖29的步驟S1同樣地,判定處理模式是否為mode-i。
若處理模式是mode-i係在步驟S111中被判定時,則前進至步驟S112,編碼處理部122係進行mode-i下的編碼處理。mode-i下的編碼處理所生成之視訊串流和ST串流,係從編碼處理部122被供給至檔案生成部23。
另一方面,若處理模式是mode-ii係在步驟S111中被判定時,則前進至步驟S113,編碼處理部122係進行mode-ii下的編碼處理。mode-ii下的編碼處理所生成之視訊串流和ST串流,係從編碼處理部122被供給至檔案生成部23。
在步驟S112或S113之後,處理係前進至步驟S114,標頭資訊生成部121A係進行標頭資訊生成處理。由標頭資訊生成處理所生成之標頭資訊,係從標頭資訊生成部121A被供給至檔案生成部23,處理係前進至步驟S115。
於步驟S115中,檔案生成部23係生成,儲存有來自編碼處理部122之視訊串流及ST串流、以及來自標頭資訊生成部121A之標頭資訊的、圖40或圖45的第2之MP4檔案並輸出之,檔案生成處理就結束。
圖48係圖47的步驟S112中所被進行的mode-i的編碼處理之例子的說明用流程圖。
於步驟S121中,編碼處理部122(圖46)的特性資訊生成部131,係偵測母片之HDR資料之亮度,生成視訊及ST的身為特性資訊之TMI,供給至串流生成部133,處理係前進至步驟S122。
於步驟S122中,編碼器32係將母片之HDR視訊以HEVC方式進行編碼,生成HDR視訊的編碼資料,供給至串流生成部133,處理係前進至步驟S123。此外,視訊的編碼方式,係不限定於HEVC方式。
於步驟S123中,編碼器35係將母片之HDR ST予以編碼,生成SMPTE-TT格式的ST之資料,供給至串流生成部133,處理係前進至步驟S124。
於步驟S124中,轉換部33係將所被輸入之母片之HDR資料轉換成STD資料,並將用來表示該HDR資料與STD資料之對應關係的資訊(以HDR資料之RGB訊號為input data,同時,以STD資料的RGB訊號為output data的、表示input data與output data之對應關係的資訊),供給至轉換資訊生成部132。
其後,處理係從步驟S124前進至步驟S125,轉換資訊生成部132,係基於從轉換部33所供給之資訊,生成視訊及ST的身為轉換資訊之TMI,供給至串流生成部133,處理係前進至步驟S126。
於步驟S126中,串流生成部133,係以編碼資料的SEI的方式,將來自特性資訊生成部131的身為特性資訊之TMI、和來自轉換資訊生成部132的身為轉換資訊之TMI,插入至來自編碼器32的編碼資料中,生成視訊串流。
然後,串流生成部133,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至檔案生成部23(圖39)。
又,串流生成部133,係將視訊的TMI(對視訊做適用之TMI)、及該TMI之tone_map_id,以及ST的TMI(對ST做適用之TMI)、及該TMI之 tone_map_id,供給至控制器21(圖39),mode-i的編碼處理就結束。
圖49係圖47的步驟S113中所被進行的mode-ii的編碼處理之例子的說明用流程圖。
於步驟S131中,編碼處理部122的特性資訊生成部131,係偵測母片之HDR資料之亮度,生成視訊及ST的身為特性資訊之TMI,供給至串流生成部133。
其後,於步驟S132中,轉換部33,係將所被輸入之母片之HDR資料轉換成STD資料,將STD資料之中的STD視訊,供給至編碼器32,並且將STD ST,供給至編碼器35。
然後,轉換部33,係將用來表示HDR資料與STD資料之對應關係的資訊,供給至轉換資訊生成部132,處理係從步驟S132前進至步驟S133。
於步驟S133中,轉換資訊生成部132,係基於從轉換部33所供給之資訊,來生成視訊及ST的身為轉換資訊之TMI,供給至串流生成部133,處理係前進至步驟S134。
於步驟S134中,編碼器32係將來自轉換部33之STD視訊以HEVC方式進行編碼,生成STD視訊的編碼資料,供給至串流生成部133。此外,視訊的編碼方式,係不限定於HEVC方式。
其後,於步驟S135中,編碼器35係將來自轉換部33之STD ST予以編碼,生成SMPTE-TT格式的 ST之資料,供給至串流生成部133。
然後,於步驟S136中,串流生成部133,係以編碼資料的SEI的方式,將來自特性資訊生成部131的身為特性資訊之TMI、和來自轉換資訊生成部132的身為轉換資訊之TMI,插入至來自編碼器32的編碼資料中,生成視訊串流。
再者,串流生成部133,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至檔案生成部23(圖39)。
又,串流生成部133,係將視訊的TMI(對視訊做適用之TMI)、及該TMI之tone_map_id,以及ST的TMI(對ST做適用之TMI)、及該TMI之tone_map_id,供給至控制器21(圖39),mode-ii的編碼處理就結束。
圖50係圖47的步驟S114中所被進行的標頭資訊生成處理之例子的說明用流程圖。
於步驟S141中,控制器21(圖39)的標頭資訊生成部121A係生成,儲存了表示編碼處理部122(之串流生成部133(圖46))所供給之視訊的TMI(對視訊做適用之TMI)的tinf箱盒(圖40、圖41、圖45)。
然後,標頭資訊生成部121A係生成,將從編碼處理部122所供給之ST的TMI(對ST做適用之TMI)予以儲存儲存的tinf箱盒。
又,標頭資訊生成部121A係生成,將表示從編碼處理部122所供給之視訊的TMI之tone_map_id的tone_mapping_info_id_ref予以儲存的tirf箱盒(圖24、圖40、圖45)。
然後,標頭資訊生成部121A係生成,將表示從編碼處理部122所供給之ST的TMI之tone_map_id的tone_mapping_info_id_ref予以儲存的tirf箱盒,處理係從步驟S141前進至步驟S142。
在步驟S142中,標頭資訊生成部121A,係作成含有tinf箱盒與tirf箱盒的moov箱盒、或moof箱盒,當作標頭資訊,供給至檔案生成部23(圖39),標頭資訊生成處理係結束。
亦即,於檔案生成部23中,fragmented movie的MP4檔案被生成時,標頭資訊生成部121A係生成如圖40所示的,在視訊之訊軌的traf箱盒中會含有tirf箱盒及tinf箱盒的moof箱盒、及在ST之訊軌的traf箱盒中會含有tirf箱盒及tinf箱盒的moof箱盒。
另一方面,於檔案生成部23中,non-fragmented movie的MP4檔案被生成時,標頭資訊生成部121A係生成如圖45所示的在視訊之訊軌的trak箱盒中所含之stbl箱盒會含有tirf箱盒及tinf箱盒,且在ST之訊軌的trak箱盒中所含之stbl箱盒中會含有tirf箱盒及tinf箱盒的moov箱盒。
<再生裝置2之第2構成例>
圖51係圖1的再生裝置2的第2構成例的區塊圖。
此外,圖中,和圖33對應的部分,係標示同一符號,以下並適宜地省略其說明。
於圖51中,再生裝置2係具有:檔案取得部51、分離部52、操作輸入部53、合成輸出部56、控制器141、及解碼處理部142。
因此,圖51的再生裝置2,係在具有檔案取得部51、分離部52、操作輸入部53、及合成輸出部56這點上,是和圖33共通。
但是,圖51的再生裝置2,係在取代了控制器54、及解碼處理部55,而分別改為設置控制器141、及解碼處理部142這點上,是與圖33不同。
控制器141,係由CPU、ROM、RAM等所構成,藉由執行所定之程式,控制再生裝置2全體的動作。
例如,控制器141係將從分離部52所供給之moov箱盒(圖45)中所含之tinf箱盒中作為ToneMapInfo而被儲存之TMI(tone_mapping_info)、或tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部142。又,例如,控制器141係將從分離部52所供給之moof箱盒(圖40)中所含之tinf箱盒中作為ToneMapInfo而被儲存之TMI、或tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部142。
解碼處理部142,係具有解碼器142A和解碼 器142B。
解碼器142A,係將從控制器141所供給之、視訊之訊軌中所含之tinf箱盒中被當作ToneMapInfo而儲存的TMI,當作視訊的TMI而加以取得,並從該視訊的TMI之中,將從控制器141所供給之、視訊之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對視訊做適用之TMI而加以取得,成為取得部而發揮機能。
又,解碼器142A,係將從分離部52所供給之視訊串流中所含之編碼資料,以HEVC方式進行解碼。
然後,解碼器142A,係因應需要,將解碼結果所得之HDR視訊或STD視訊,基於對視訊做適用之身為轉換資訊之TMI,轉換成STD視訊或HDR視訊,輸出至合成輸出部56。
解碼器142A,係在輸出HDR視訊時,將HDR視訊連同對視訊做適用之身為特性資訊之TMI,輸出至合成輸出部56。
解碼器142B,係將從分離部52所供給之ST串流,予以解碼。
又,解碼器142B,係將從控制器141所供給之、ST之訊軌中所含之tinf箱盒中被當作ToneMapInfo而儲存的TMI,當作ST的TMI而加以取得,並從該ST的TMI之中,將從控制器141所供給之、ST之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所 表示之tone_map_id的TMI,當作對ST做適用之TMI而加以取得,成為取得部而發揮機能。
然後,解碼器142B,係因應需要,將解碼結果所得之HDR ST或STD ST,基於對ST做適用之身為轉換資訊之TMI,轉換成STD ST或HDR ST,輸出至合成輸出部56。
解碼器142B,係在輸出HDR ST時,將HDR ST連同對ST做適用之身為特性資訊之TMI,輸出至合成輸出部56。
<再生裝置2的再生處理>
圖52係圖51的再生裝置2所進行之再生處理之例子的說明用流程圖。
於步驟S151中,檔案取得部51,係取得圖39的生成裝置1所生成之第2之MP4檔案,供給制分離部52。
分離部52,係從來自檔案取得部51的第2之MP4檔案中,讀出作為標頭資訊的moov箱盒或moof箱盒,並且讀出mdat箱盒中所被儲存之作為實際資料的視訊串流或ST串流。
然後,分離部52,係將作為標頭資訊的moov箱盒或moof箱盒,供給至控制器141,並且,將視訊串流或ST串流,供給至解碼處理部142。
又,控制器141係將從分離部52所供給之moov箱盒或moof箱盒中所含之tinf箱盒中作為 ToneMapInfo而被儲存之TMI、或tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部142。
其後,處理係從步驟S151前進至步驟S152,控制器141係和圖34的步驟S42同樣地,判定已被檔案取得部51所取得之第2之MP4檔案的處理模式是mode-i還是mode-ii。
若處理模式是mode-i係在步驟S152中被判定時,則前進至步驟S153,解碼處理部142係進行mode-i的解碼處理。
另一方面,若處理模式是mode-ii係在步驟S152中被判定時,則前進至步驟S154,解碼處理部142係進行mode-ii的解碼處理。
於步驟S153或步驟S154中進行了解碼處理後,再生處理係結束。
圖53係圖52的步驟S153中所被進行的mode-i的解碼處理之例子的說明用流程圖。
於步驟S161中,解碼器142A係將從控制器141所供給之、在視訊之訊軌中所含之tinf箱盒中被當成ToneMapInfo而儲存的TMI,當作視訊的TMI而加以取得。
然後,解碼器142B係將從控制器141所供給之、在ST之訊軌中所含之tinf箱盒中被當成ToneMapInfo而儲存的TMI,當作ST的TMI而加以取得,處理係前進至步驟S162。
在步驟S162乃至S164中,會進行和圖35的步驟S62乃至S64分別相同的處理。
亦即,在步驟S162中,解碼器142A係將來自分離部52的視訊串流中所含之編碼資料予以解碼,生成HDR視訊。在步驟S163中,解碼器142B係將來自分離部52的SMPTE-TT格式的ST之資料的ST串流,解碼成HDR ST。
然後,於步驟S164中,控制器141係判定顯示裝置3所具有之監視器是否為HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S164中被判定時,則處理係前進至步驟S165。
於步驟S165中,解碼器142A係從步驟S161所取得之視訊的TMI之中,將從控制器141所供給之、視訊之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對視訊做適用之TMI而加以取得。
又,解碼器142B係從步驟S161所取得之ST的TMI之中,將從控制器141所供給之、ST之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S165前進至步驟S166,以下,於步驟S166及S170中,會進行和圖35的步驟S66及S70分別相同之處理。
另一方面,顯示裝置3所具有之監視器並非HDR監視器、而是STD監視器,係在步驟S164中被判定時,則處理係前進至步驟S167。
於步驟S167中,解碼器142A係和步驟S165同樣地,從步驟S161所取得之視訊的TMI之中,將從控制器141所供給之、視訊之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對視訊做適用之TMI而加以取得。
又,解碼器142B,係和步驟S165同樣地,從步驟S161所取得之ST的TMI之中,將從控制器141所供給之、ST之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S167前進至步驟S168,以下,於步驟S168乃至S170中,會進行和圖35的步驟S68乃至S70分別相同之處理。
圖54係圖52的步驟S154中所被進行的mode-ii的解碼處理之例子的說明用流程圖。
於步驟S181中,解碼器142A及55B,係和圖53的步驟S161同樣地,分別取得視訊的TMI、及ST的TMI。
亦即,解碼器142A係將從控制器141所供給之、在視訊之訊軌中所含之tinf箱盒中被當成ToneMapInfo而儲存的TMI,當作視訊的TMI而加以取 得。
然後,解碼器142B係將從控制器141所供給之、在ST之訊軌中所含之tinf箱盒中被當成ToneMapInfo而儲存的TMI,當作ST的TMI而加以取得,處理係前進至步驟S182。
在步驟S182乃至S184中,會進行和圖36的步驟S82乃至S84分別相同的處理。
亦即,在步驟S182中,解碼器142A係將來自分離部52的視訊串流中所含之編碼資料予以解碼,生成STD視訊。在步驟S183中,解碼器142B係將來自分離部52的SMPTE-TT格式的ST之資料的ST串流,解碼成STD ST。
然後,於步驟S184中,控制器141係判定顯示裝置3所具有之監視器是否為HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S184中被判定時,則處理係前進至步驟S185。
於步驟S185中,解碼器142A係從步驟S181所取得之視訊的TMI之中,將從控制器141所供給之、視訊之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對視訊做適用之TMI而加以取得。
又,解碼器142B係從步驟S181所取得之ST的TMI之中,將從控制器141所供給之、ST之訊軌中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref所 表示之tone_map_id的TMI,當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S185前進至步驟S186,於步驟S186乃至S189中,會進行和圖36的步驟S86乃至S89分別相同之處理。
如以上,第2構成例的生成裝置1,係將視訊(之串流)之訊軌、和ST(之串流)之訊軌,儲存在第2之MP4檔案中。
然後,在各媒體之訊軌中係會含有,將對該媒體(之訊軌)做適用之TMI當作ToneMapInfo而儲存的tinf箱盒、和將該tinf箱盒中所被儲存之TMI之中的、對媒體做適用之TMI予以指定的身為HDR指定資訊之tone_mapping_info_id_ref所被儲存之tirf箱盒。
其結果為,再生裝置2,係針對各媒體,從該媒體之訊軌中所含之tinf箱盒中所被儲存之TMI之中,將tirf箱盒中所被儲存之tone_mapping_info_id_ref所指定之(tone_map_id之)TMI,當作對媒體做適用之TMI而加以取得,利用於媒體之處理。
<生成裝置1的第3構成例>
圖55係圖1的生成裝置1的第3構成例的區塊圖。
此外,圖中,和圖20對應的部分,係標示同一符號,以下並適宜地省略其說明。
於圖55中,生成裝置1係具有:控制器21、 編碼處理部202、及檔案生成部203。
因此,圖55的生成裝置1,係在具有控制器21這點上,是和圖20共通。
但是,圖55的生成裝置1,係在取代了編碼處理部22、及檔案生成部23,分別改為設置編碼處理部202、及檔案生成部203這點上,是和圖20不同。
再者,圖55的生成裝置1,係在控制器21不具標頭資訊生成部21A,改為具有標頭資訊201A這點上,是與圖20不同。
在圖55的生成裝置1中,母片之HDR資料係被輸入至編碼處理部202。
標頭資訊生成部201A,係將含有把從編碼處理部202所供給之tone_map_id當作tone_mapping_info_id_ref而儲存的tirf箱盒(圖24)的moof箱盒、和含有tmpi箱盒(reference_type為"tmpi"的TrackReferenceTypeBox)的moov箱盒與,當作標頭資訊而予以生成,供給至檔案生成部203。
或者,標頭資訊生成部201A,係將含有把從編碼處理部202所供給之tone_map_id當作tone_mapping_info_id_ref而儲存的tirf箱盒、和tmpi箱盒的moov箱盒,當作標頭資訊而予以生成,供給至檔案生成部203。
關於tmpi箱盒,將於後述。
編碼處理部202,係和圖20的編碼處理部22 同樣地,藉由進行母片之HDR資料的編碼,而生成視訊串流及ST串流,輸出至檔案生成部203。
然後,編碼處理部202,係生成對視訊或ST做適用的身為HDR資訊之TMI之es(elementary stream)(以下簡稱TMI串流),輸出至檔案生成部203。
又,編碼處理部202,係將對視訊或ST做適用之TMI的tone_map_id,供給至控制器21(的標頭資訊生成部201A)。
檔案生成部203,係將儲存有從控制器21(之標頭資訊生成部201A)所供給之標頭資訊、和從編碼處理部202所供給之視訊串流、ST串流、及TMI串流的MP4檔案,予以生成並輸出。
圖56係圖55之生成裝置1所生成的MP4(以下簡稱為第3之MP4檔案)檔案之另一例子的圖示。
圖56的第3之MP4檔案,係為具有斷片之fragmented movie的MP4檔案,moov箱盒係具有視訊、ST、及TMI(tone map es)的trak箱盒。
因此,圖56的MP4檔案係具有:視訊之訊軌、ST之訊軌、及TMI之訊軌。
圖55的生成裝置1,係將TMI之訊軌(以下簡稱TMI訊軌)中所含之TMI,可從其他訊軌進行參照而做適用的MP4檔案,當作第3之MP4檔案而予以生 成。
因此,在第3之MP4檔案中,TMI訊軌(tone map track)的mdat箱盒係具有,身為實際資料之TMI的樣本(ToneMapSample)。
然後,moov箱盒的、TMI以外之媒體的trak箱盒,亦即,視訊或ST(subtitle)的trak箱盒係具有,具有tmpi箱盒的tref箱盒(TrackReferenceBox)。
此處,tref箱盒,係如圖21及圖22所說明,雖然可以具有TrackReferenceTypeBox,但tmpi箱盒係為被當成TrackReferenceTypeBox之一種而被新定義的箱盒。
現在,例如,假設將具有tmpi箱盒的ST之訊軌當作注目之注目訊軌,則在身為注目訊軌的ST之訊軌所擁有的tmpi箱盒中係會儲存有,作為將對注目訊軌做適用之TMI(HDR資訊)的TMI訊軌予以指定之的訊軌指定資訊的、TMI訊軌之track_id(表示其的track_IDs[])。
因此,藉由在身為注目訊軌的ST之訊軌所具有之tmpi箱盒中所被儲存的track_id,就可辨識出對注目訊軌做適用之TMI的TMI訊軌。
同樣地,假設將具有tmpi箱盒的視訊之訊軌當作注目之注目訊軌,則在身為注目訊軌的視訊之訊軌所擁有的tmpi箱盒中係會儲存有,作為將對注目訊軌做適用之TMI的TMI訊軌予以指定之的訊軌指定資訊的、 TMI訊軌之track_id。
因此,藉由在身為注目訊軌的視訊之訊軌所具有之tmpi箱盒中所被儲存的track_id,就可辨識出對注目訊軌做適用之TMI的TMI訊軌。
此外,藉由事前決定會成為TMI訊軌的訊軌之track_id,就可省略具有tmpi箱盒的tref箱盒。
在圖56的第3之MP4檔案中,視訊及ST的各自之訊軌的moof箱盒係具有:作為將對該訊軌做適用之TMI予以指定之HDR指定資訊的、具有表示tone_map_id之tone_mapping_info_id_ref所被儲存之tirf箱盒的traf箱盒。
藉由參照注目訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref,就可將tmpi箱盒中所被儲存之track_id的TMI訊軌的TMI之中的、tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,辨識成為要對注目訊軌做適用之TMI。
此外,fragmented movie的MP4檔案,係每一斷片地具有moof箱盒,但對某斷片之資料,係會適用該斷片的moof箱盒所擁有之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI之其中有效的TMI。
又,在第3之MP4檔案中,作為TMI訊軌(tone map track),係可儲存複數訊軌。在圖56中,係儲存有2個TMI訊軌。
甚至,於第3之MP4檔案中,例如,對視訊做適用之TMI的TMI訊軌、和對ST做適用之TMI的TMI訊軌,係可為同一TMI訊軌,也可為不同TMI訊軌。
在fragmented movie的MP4檔案中,係如圖56所示,除了視訊及ST之訊軌以外,還儲存有TMI訊軌。
然後,針對視訊之訊軌,係在moov箱盒的視訊之訊軌的trak/tref箱盒中儲存有,對ST做適用之TMI的TMI訊軌之track_id所被儲存之tmpi箱盒B#41。
甚至,針對視訊之訊軌,係在該視訊之訊軌的moof/traf箱盒中儲存有,表示對視訊做適用之TMI(tmpi箱盒B#41中所被儲存之track_id的TMI訊軌中所含之TMI)之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#44。
因此,若依據圖56的第3之MP4檔案,則例如,若將視訊之訊軌當作注目訊軌而注目,則藉由moov箱盒的視訊的trak/tref/tmpi箱盒B#41中所被儲存之track_id,就可辨識出對視訊做適用之TMI的TMI訊軌。
然後,可以辨識出,TMI訊軌中所含之TMI之中的、身為注目訊軌的視訊之訊軌的moof/tarf/tirf箱盒B#44中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
另一方面,針對ST之訊軌,係在moov箱盒的ST之訊軌的trak/tref箱盒中儲存有,對ST做適用之TMI的TMI訊軌之track_id所被儲存之tmpi箱盒B#42。
甚至,針對ST之訊軌,係在該ST之訊軌的moof/traf箱盒中儲存有,表示對ST做適用之TMI(tmpi箱盒中所被儲存之track_id的TMI訊軌中所含之TMI)之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#43。
因此,若依據圖56的第3之MP4檔案,則例如,若將ST之訊軌當作注目訊軌而注目,則藉由moov箱盒的ST的trak/tref/tmpi箱盒B#42中所被儲存之track_id,就可辨識出對ST做適用之TMI的TMI訊軌。
然後,可以辨識出,TMI訊軌中所含之TMI之中的、身為注目訊軌的ST之訊軌的moof/tarf/tirf箱盒B#43中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是對注目訊軌做適用之TMI。
圖57係作為tmpi箱盒的TrackReferenceTypeBox之定義之例子的圖示。
在本實施形態中,作為表示將TrackReferenceTypeBox用於儲存TMI訊軌之track_id之用途這件事情的refernce_type,新定義了"tmpi",refernce_type為"tmpi"的TrackReferenceTypeBox,是被當成儲存TMI訊軌之track_id的tmpi箱盒來使用。
tmpi箱盒,係具有(儲存有)表示track_id的 track_IDs[]。
track_IDs[],係為陣列變數,可儲存複數個track_id。因此,藉由tmpi箱盒,可指定複數訊軌,來作為對媒體做適用之TMI的TMI訊軌。
圖58係第3之MP4檔案中所儲存之TMI訊軌(tone map track)的mdat箱盒中所被儲存之作為實際資料的TMI之樣本(ToneMapSample)之語法的例子的圖示。
在TMI的1樣本中,係可將表示TMI的ToneMapInfo之長度予以表示的ToneMapInfoLength、和ToneMapInfo之集合,含有0個集合以上。
因此,在TMI的1樣本中,可將係ToneMapInfoLength、和ToneMapInfo之集合,複數集合地加以含有之。
此外,表示TMI的樣本之長度的Length=sample_size,係不依存於TMI之樣本,例如,stsz箱盒、或stz2箱盒、trun箱盒中所被描述之各樣本的大小資訊,會被參照。
作為ToneMapInfo係可採用,例如圖42乃至圖44所示之語法的ToneMapInfo等。
圖59係TMI之樣本(ToneMapSample)的資料結構之例子的圖示。
如圖59所示,在TMI之樣本中,係可重複含有ToneMapInfoLength、和ToneMapInfo之集合。
圖60係圖55之生成裝置1所生成的第3之MP4檔案之另一例子的圖示。
圖60的第3之MP4檔案,係為不具有斷片之non-fragmented movie的MP4檔案,moov箱盒係具有視訊、ST、及(2個)TMI(tone map es)的trak箱盒。
因此,圖60的第3之MP4檔案係具有:視訊之訊軌、ST之訊軌、及TMI之訊軌。
在圖60中也是和圖56同樣地,視訊及ST之訊軌,係分別具有tmpi箱盒與tirf箱盒。又,mdat箱盒係具有:視訊之樣本、ST之樣本、及TMI之樣本(ToneMapSample)。
此處,在non-fragmented movie的MP4檔案中,如圖60所示,在moov箱盒的、視訊之訊軌的trak/tref箱盒中係會儲存有,表示對視訊做適用之TMI的TMI訊軌之track_id的track_IDs[](圖57)所被儲存之tmpi箱盒B#51。
再者,在moov箱盒的、視訊之訊軌的trak所擁有的stbl箱盒中係會儲存有,表示對視訊做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#52。
在ST之訊軌中也是和視訊之訊軌同樣地,會含有tmpi箱盒B#53、及tirf箱盒B#54。
亦即,在moov箱盒的、ST之訊軌的trak/tref箱盒中係會儲存有,表示對視訊做適用之TMI的 TMI訊軌之track_id的track_IDs[]所被儲存之tmpi箱盒B#53。
再者,在moov箱盒的、ST之訊軌的trak箱盒所擁有之stbl箱盒中係會儲存有,表示對ST做適用之TMI之tone_map_id的tone_mapping_info_id_ref所被儲存之tirf箱盒B#54。
因此,若依據圖60的第3之MP4檔案,則例如,若將ST之訊軌當作注目訊軌而注目,則藉由moov箱盒的ST的trak/tref/tmpi箱盒B#53中所被儲存之track_id,就可辨識出對注目訊軌亦即ST訊軌做適用之TMI的TMI訊軌。
然後,可以辨識出,該TMI訊軌的TMI之中的、moov箱盒的、身為注目訊軌的ST之訊軌的tark/stbl/tirf箱盒B#54中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,就是要對注目訊軌做適用之TMI。
針對視訊也是同樣地,可辨識出要對視訊做適用之TMI。
此外,在non-fragmented movie的MP4檔案中,對注目訊軌係會適用,該注目訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI之其中有效的TMI。
又,對視訊做適用之TMI的TMI訊軌、和對ST做適用之TMI的TMI訊軌,係可為同一TMI訊軌,也 可為不同TMI訊軌。
在圖55的生成裝置1中,如以上,由於身為HDR資訊之TMI的TMI訊軌、和含有TMI訊軌中所含之TMI之中的、作為將對注目之注目訊軌做適用之TMI的TMI訊軌予以指定之訊軌指定資訊的track_IDs[]、及作為將對注目訊軌做適用之TMI予以指定之HDR指定資訊的tone_mapping_info_id_ref所被儲存而成的第3之MP4檔案會被生成,因此可對每一視訊或ST等之各媒體獨立地,附加對該對媒體做適用之TMI。
又,將視訊,例如,以HEVC方式進行編碼時,係生成在SEI中會被插入有視訊之TMI的視訊串流,但在第3之MP4檔案中,可與SEI中所被插入之TMI獨立地,對視訊以外之媒體,附加對該媒體做適用之TMI。
因此,例如,可將Blu-ray(註冊商標)碟片中所被記錄之m2ts格式的、含有TMI的視訊、和與該視訊一起被再生之ST,針對ST係不必個別地附加要對ST做適用之TMI,就可將其轉換成MP4檔案。
其結果為,可促進TMI對MP4檔案之導入,可增加使用者享受HDR視訊或HDR ST等之HDR影像的機會。
此外,將視訊,例如,以HEVC方式進行編碼時,係生成在SEI中會被插入有視訊之TMI的視訊串流,因此在第3之MP4檔案中,作為視訊的TMI,係有 被插入在SEI中的TMI、和TMI訊軌的TMI。
此情況下,於再生裝置2(圖1)中,作為要對視訊做適用之TMI,究竟是要使用SEI中所被插入之TMI、和TMI訊軌之TMI之其中哪一者,係例如可以事先就被決定好,或可隨著使用者的操作而選擇。
在本實施形態中係假設,針對第3之MP4檔案,是將SEI中所被插入之TMI、和TMI訊軌之TMI之中的,例如TMI訊軌之TMI,當作對視訊做適用之TMI而使用。
此處,若依據SMPTE-TT格式的ST之資料,則在對MP4檔案之存取單位的1樣本中,可包含有ST的複數顯示畫面,但在第3之MP4檔案中,若1樣本中含有ST的複數顯示畫面,則可配合該1樣本中所含之ST的複數顯示畫面的顯示時間,來配置TMI之樣本(ToneMapSample)(令其做對應),藉此就可針對1樣本中所含之ST的複數顯示畫面之每一者,切換(變更)對顯示畫面做適用之TMI。
此外,在第3之MP4檔案中,除了媒體之訊軌以外,還有TMI訊軌存在,因此生成裝置1、及再生裝置2的處理負荷雖會增加,但該增加之程度,係並沒有很大。
<編碼處理部202之構成例>
圖61係圖55的編碼處理部202之構成例的區塊圖。
此外,圖中,和圖26的編碼處理部22、或圖46的編碼處理部122對應的部分,係標示同一符號,以下並適宜地省略其說明。
圖61的編碼處理部202係具有:編碼器32、轉換部33、編碼器35、特性資訊生成部131、轉換資訊生成部132、及串流生成部211。
因此,圖61的編碼處理部202,係在具有編碼器32、轉換部33、編碼器35、特性資訊生成部131、及轉換資訊生成部132這點上,是和圖46的編碼處理部122共通。
但是,圖61的編碼處理部202,係在取代了串流生成部133,改為設置串流生成部211這點上,是與圖46的編碼處理部122不同。
串流生成部211係進行和圖26之串流生成部36相同的處理。
亦即,串流生成部211,係將從特性資訊生成部131所供給之視訊、及ST的身為特性資訊之TMI的tone_map_id,供給至控制器21(圖55)。
又,串流生成部211,係將從轉換資訊生成部132所供給之視訊、及ST的身為轉換資訊之TMI的tone_map_id,供給至控制器21。
然後,串流生成部211,係將視訊的TMI,當作SEI,插入至來自編碼器32的視訊之編碼資料中,生成視訊串流。
又,串流生成部211,係將來自編碼器35的ST之資料,當作ST串流,連同視訊串流,一起供給至圖55的檔案生成部203。
如以上,串流生成部211係進行和圖26之串流生成部36相同的處理以外,還使用從特性資訊生成部131所供給之視訊、及ST的身為特性資訊之TMI,以及從轉換資訊生成部132所供給之視訊、及ST的身為轉換資訊之TMI,生成這些TMI的TMI串流(es(elementary stream)),供給至圖55的檔案生成部203。
此外,在串流生成部211中,係可不將視訊的TMI插入至來自編碼器32的視訊的編碼資料,而將該編碼資料,直接當作視訊串流。
<生成裝置1之檔案生成處理>
圖62係圖55的生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
一旦母片之HDR資料被輸入至生成裝置1,則於步驟S201中,生成裝置1的控制器21,係和圖29的步驟S1同樣地,判定處理模式是否為mode-i。
若處理模式是mode-i係在步驟S1中被判定時,則前進至步驟S202,編碼處理部202係進行mode-i下的編碼處理。mode-i下的編碼處理所生成之視訊串流和ST串流、及TMI串流,從編碼處理部202被供給至檔案生成部203。
另一方面,若處理模式是mode-ii係在步驟 S201中被判定時,則前進至步驟S203,編碼處理部202係進行mode-ii下的編碼處理。mode-ii下的編碼處理所生成之視訊串流和ST串流、及TMI串流,從編碼處理部202被供給至檔案生成部203。
在步驟S202或S203之後,處理係前進至步驟S204,標頭資訊生成部201A係進行標頭資訊生成處理。由標頭資訊生成處理所生成之標頭資訊,係從標頭資訊生成部201A被供給至檔案生成部203,處理係前進至步驟S205。
於步驟S205中,檔案生成部203係生成,儲存有來自編碼處理部202之視訊串流及ST串流、及TMI串流、以及來自標頭資訊生成部201A之標頭資訊的、圖56或圖60的第3之MP4檔案並輸出之,檔案生成處理就結束。
圖63係圖62的步驟S202中所被進行的mode-i的編碼處理之例子的說明用流程圖。
於步驟S211乃至S215中,在編碼處理部202(圖61)中,會進行和圖48的步驟S121乃至S125分別相同的處理。
然後,在步驟S215之後,處理係前進至步驟S216,串流生成部211,係作為編碼資料之SEI,將從特性資訊生成部131所供給之身為特性資訊之TMI、和從轉換資訊生成部132所供給之身為轉換資訊之TMI,插入至來自編碼器32的編碼資料中,生成視訊串流。
再者,串流生成部211,係將來自編碼器35的ST之資料,當作ST串流,處理係從步驟S216前進至步驟S217。
於步驟S217中,串流生成部211,係從視訊的TMI、和ST的TMI,生成這些TMI的TMI串流,連同視訊串流、及ST串流,一起供給至檔案生成部203(圖55)。
然後,串流生成部211,係將視訊的TMI之tone_map_id、和ST的TMI之tone_map_id,供給至控制器21(圖55),mode-i的編碼處理就結束。
圖64係圖62的步驟S203中所被進行的mode-ii的編碼處理之例子的說明用流程圖。
於步驟S221乃至步驟S225中,在編碼處理部202(圖61)中,會進行和圖49的步驟S131乃至S135分別相同的處理。
然後,於步驟S226及S227中,會進行和圖63的步驟S216及S217分別相同的處理,mode-ii的編碼處理係結束。
圖65係圖62的步驟S204中所被進行的標頭資訊生成處理之例子的說明用流程圖。
於步驟S231中,控制器21(圖55)的標頭資訊生成部201A係生成,儲存了表示編碼處理部202(之串流生成部211(圖61))所供給之視訊的TMI(對視訊做適用之TMI)之tone_map_id的 tone_mapping_info_id_ref的tirf箱盒(圖24、圖56、圖60)。
然後,標頭資訊生成部201A係生成,將表示從編碼處理部202所供給之ST的TMI(對ST做適用之TMI)之tone_map_id的tone_mapping_info_id_ref予以儲存儲存的tirf箱盒。
又,標頭資訊生成部201A係生成,將表示被適用於視訊之TMI的TMI串流之訊軌之track_id的track_IDs[]予以儲存的tmpi箱盒(圖56、圖57、圖60)。
然後,標頭資訊生成部201A係生成,將表示被適用於ST的TMI之TMI串流之訊軌之track_id的track_IDs[]予以儲存的tmpi箱盒,然後處理係從步驟S231前進至步驟S232。
在步驟S232中,標頭資訊生成部201A係作成含有tmpi箱盒的moov箱盒、和含有tirf箱盒的moof箱盒,或作成含有tmpi箱盒與tirf箱盒的moov箱盒,當作標頭資訊,供給至檔案生成部203(圖55),標頭資訊生成處理就結束。
亦即,於檔案生成部203中,fragmented movie的MP4檔案被生成時,標頭資訊生成部201A係生成如圖56所示的,在視訊及ST之訊軌各自的trak/tref箱盒中會含有tmpi箱盒的moov箱盒。
然後,標頭資訊生成部201A係還生成如圖 56所示的,在視訊及ST之訊軌各自的traf箱盒中會含有tirf箱盒的moof箱盒。
另一方面,於檔案生成部203中,non-fragmented movie的MP4檔案被生成時,標頭資訊生成部201A係生成如圖60所示的,在視訊及ST之訊軌各自的trak/tref箱盒中會含有tmpi箱盒,同時,在視訊及ST之訊軌各自的trak箱盒/stbl箱盒中會含有tirf箱盒的moov箱盒。
<再生裝置2之第3構成例>
圖66係圖1的再生裝置2的第3構成例的區塊圖。
此外,圖中,和圖33或圖51對應的部分,係標示同一符號,以下並適宜地省略其說明。
於圖66中,再生裝置2係具有:檔案取得部51、操作輸入部53、合成輸出部56、分離部231、控制器232、及解碼處理部233。
因此,圖66的再生裝置2,係在具有檔案取得部51、操作輸入部53、及合成輸出部56這點上,是和圖33共通。
但是,圖66的再生裝置2,係在取代了分離部52、控制器54、及解碼處理部55,而分別改為設置分離部231、控制器232、及解碼處理部233這點上,是與圖33不同。
分離部231,係和圖33的分離部52同樣地, 從來自檔案取得部51的第3之MP4檔案中,將作為標頭資訊的moov箱盒或moof箱盒予以分離(取得),供給至控制器232。
再者,分離部231,係從來自檔案取得部51的第3之MP4檔案中,將mdat箱盒中所被儲存之作為實際資料的視訊串流、ST串流、及TMI串流,予以分離(取得),供給至解碼處理部233。
控制器232,係由:CPU、ROM、RAM等所構成。控制器232係執行所定之程式,控制再生裝置2全體的動作。
例如,控制器232,係將從分離部231所供給之moov箱盒中所含之tmpi箱盒中所被儲存之track_IDs[](圖56、圖57、圖60)、或tirf箱盒中所被儲存之tone_mapping_info_id_ref(圖24、圖56、圖60),供給至解碼處理部233。又,例如,控制器232,係將從分離部231所供給之moof箱盒中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部233。
解碼處理部233,係具有解碼器233A和解碼器233B。
解碼器233A,係將從分離部231所供給之串流(此處係為視訊串流、ST串流、及TMI串流)之中的、從控制器232所供給之、視訊之訊軌的tmpi箱盒中所被儲存之track_IDs[]所表示之track_id的TMI訊軌的TMI串流中所含之TMI,當作視訊的TMI而加以取得, 成為取得部而發揮機能。
又,解碼器233A,係將從分離部231所供給之視訊串流中所含之編碼資料,以HEVC方式進行解碼。
然後,解碼器233A,係從視訊的TMI之中,將從控制器232所供給之、視訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當成對視訊做適用之TMI而加以取得。
然後,解碼器233A,係因應需要,將解碼結果所得之HDR視訊或STD視訊,基於對視訊做適用之身為轉換資訊之TMI,轉換成STD視訊或HDR視訊,輸出至合成輸出部56。
解碼器233A,係在輸出HDR視訊時,將HDR視訊連同對視訊做適用之身為特性資訊之TMI,輸出至合成輸出部56。
解碼器233B,係將從分離部231所供給之ST串流,予以解碼。
解碼器233B,係將從分離部231所供給之串流(此處係為視訊串流、ST串流、及TMI串流)之中的、從控制器232所供給之、ST之訊軌的tmpi箱盒中所被儲存之track_IDs[]所表示之track_id的TMI訊軌的TMI串流中所含之TMI,當作ST的TMI而加以取得,成為取得部而發揮機能。
然後,解碼器233B,係從ST的TMI之中,將從控制器232所供給之、ST之訊軌之tirf箱盒中所被 儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當成對ST做適用之TMI而加以取得。
然後,解碼器233B,係因應需要,將解碼結果所得之HDR ST或STD ST,基於對ST做適用之身為轉換資訊之TMI,轉換成STD ST或HDR ST,輸出至合成輸出部56。
解碼器233B,係在輸出HDR ST時,將HDR ST連同對ST做適用之身為特性資訊之TMI,輸出至合成輸出部56。
<再生裝置2的再生處理>
圖67係圖66的再生裝置2所進行之再生處理之例子的說明用流程圖。
於步驟S251中,檔案取得部51,係取得生成裝置1所生成之第3之MP4檔案,供給制分離部231。
分離部231,係從來自檔案取得部51的MP4檔案中,讀出作為標頭資訊的moov箱盒或moof箱盒,並且讀出mdat箱盒中所被儲存之作為實際資料的視訊串流、ST串流、及TMI串流。
然後,分離部231,係將作為標頭資訊的moov箱盒或moof箱盒,供給至控制器232,並且,將視訊串流、ST串流、及TMI串流,供給至解碼處理部233。
又,控制器232,係將從分離部231所供給之moov箱盒中所含之tmpi箱盒中所被儲存之track_IDs[]、 或tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部233。再者,控制器232,係將從分離部231所供給之moof箱盒中所含之tirf箱盒中所被儲存之tone_mapping_info_id_ref,供給至解碼處理部233。
其後,處理係從步驟S251前進至步驟S252,控制器232係將已被檔案取得部51所取得之第3之MP4檔案的處理模式是mode-i還是mode-ii,和圖34的步驟S42同樣地進行判定。
若處理模式是mode-i係在步驟S252中被判定時,則前進至步驟S253,解碼處理部233係進行mode-i的解碼處理。
另一方面,若處理模式是mode-ii係在步驟S252中被判定時,則前進至步驟S254,解碼處理部233係進行mode-ii的解碼處理。
於步驟S253或步驟S254中進行了解碼處理後,再生處理係結束。
圖68係圖67的步驟S253中所被進行的mode-i的解碼處理之例子的說明用流程圖。
於步驟S261中,解碼器233A,係將從控制器232所供給之,視訊之訊軌的tmpi箱盒中所被儲存之track_IDs[]所表示之track_id的TMI訊軌,從分離部231所供給之串流之中加以取得,將該TMI串流中所含之TMI,當作視訊的TMI而加以取得。
又,解碼器233B,係將從控制器232所供給 之,ST之訊軌的tmpi箱盒中所被儲存之track_IDs[]所表示之track_id的TMI訊軌,從分離部231所供給之串流之中加以取得,將該TMI串流中所含之TMI,當作ST的TMI而加以取得。
其後,處理係從步驟S261前進至步驟S262,解碼器233A係將來自分離部231之視訊串流中所含之編碼資料以HEVC方式進行解碼,生成HDR視訊,處理係前進至步驟S263。此外,視訊的解碼(編碼)方式,係不限定於HEVC方式。
於步驟S263中,解碼器233B,係將來自分離部231的ST串流,亦即例如SMPTE-TT格式的ST之資料之串流,解碼成HDR ST,處理係前進至步驟S264。
於步驟S264中,控制器232係和圖35的步驟S64同樣地,判定顯示裝置3所具有之監視器是否為HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S264中被判定時,則處理係前進至步驟S265。
於步驟S265中,解碼器233A,係從步驟S261所取得之視訊的TMI之中,將從控制器232所供給之、視訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對視訊做適用之TMI而加以取得。
又,解碼器233B,係從步驟S261所取得之 ST的TMI之中,將從控制器232所供給之、ST之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI(作為HDR指定資訊之tone_mapping_info_id_ref所指定的TMI),當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S265前進至步驟S266,以下,於步驟S266及S270中,會進行和圖35的步驟S66及S70分別相同之處理。
另一方面,顯示裝置3所具有之監視器並非HDR監視器、而是STD監視器,係在步驟S264中被判定時,則處理係前進至步驟S267。
於步驟S267中,解碼器233A及233B,係和步驟S265同樣地,將對視訊做適用之TMI、及對ST做適用之TMI,分別加以取得。
其後,處理係從步驟S267前進至步驟S268,以下,於步驟S268乃至S270中,會進行和圖35的步驟S68乃至S70分別相同之處理。
圖69係圖67的步驟S254中所被進行的mode-ii的解碼處理之例子的說明用流程圖。
於步驟S281中,解碼器233A及233B,係和圖68的步驟S261同樣地,取得TMI。
亦即,解碼器233A,係將從控制器232所供給之,視訊之訊軌的tmpi箱盒中所被儲存之track_IDs[]所表示之track_id的TMI訊軌,從分離部231所供給之串 流之中加以取得,將該TMI串流中所含之TMI,當作視訊的TMI而加以取得。
又,解碼器233B,係將從控制器232所供給之,ST之訊軌的tmpi箱盒中所被儲存之track_IDs[]所表示之track_id的TMI訊軌,從分離部231所供給之串流之中加以取得,將該TMI串流中所含之TMI,當作ST的TMI而加以取得。
其後,處理係從步驟S281前進至步驟S282,於步驟S282乃至S284中,會進行和圖36的步驟S82乃至S84分別相同之處理。
亦即,在步驟S282中,解碼器233A係將來自分離部231的視訊串流中所含之編碼資料予以解碼,生成STD視訊。在步驟S283中,解碼器233B係將來自分離部231的SMPTE-TT格式的ST之資料的ST串流,解碼成STD ST。
然後,於步驟S284中,控制器232係判定顯示裝置3所具有之監視器是否為HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S284中被判定時,則處理係前進至步驟S285。
在步驟S285中,解碼器233A係從步驟S281所取得之視訊的TMI之中,將從控制器232所供給之、視訊之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對視訊做適用之TMI而加以取得。
又,解碼器233B係從步驟S281所取得之ST的TMI之中,將從控制器232所供給之、ST之訊軌之tirf箱盒中所被儲存之tone_mapping_info_id_ref所表示之tone_map_id的TMI,當作對ST做適用之TMI而加以取得。
其後,處理係從步驟S285前進至步驟S286,於步驟S286乃至S289中,會進行和圖36的步驟S86乃至S89分別相同之處理。
如以上,第3構成例的生成裝置1,係將視訊(之串流)之訊軌、及ST(之串流)之訊軌以外,還有TMI(的串流)的訊軌亦即TMI訊軌,儲存在第3之MP4檔案中。
然後,在各媒體之訊軌中係含有:作為將對該媒體(之訊軌)做適用之TMI的TMI訊軌予以指定的訊軌指定資訊的、儲存有表示track_id之track_IDs[]的tmpi箱盒、和TMI訊軌的TMI之中的、作為將對媒體做適用之TMI予以指定之HDR指定資訊的tone_mapping_info_id_ref所被儲存之tirf箱盒。
其結果為,再生裝置2,係針對各媒體,從該媒體之訊軌中所含之tmpi箱盒中所被儲存之track_IDs[]所指定之(track_id之)TMI訊軌的TMI之中,將tirf箱盒中所被儲存之tone_mapping_info_id_ref所指定之(tone_map_id之)TMI,當作對媒體做適用之TMI而加以取得,可利用於媒體之處理。
<生成裝置1的第4構成例>
圖70係圖1的生成裝置1的第4構成例的區塊圖。
此外,圖中,和圖20對應的部分,係標示同一符號,以下並適宜地省略其說明。
於圖70中,生成裝置1係具有:控制器21、檔案生成部23、及編碼處理部302。
因此,圖70的生成裝置1,係具有控制器21、及檔案生成部23這點,是與圖20共通,而在取代編碼處理部22,改為設置編碼處理部302這點上,是與圖20不同。
再者,圖70的生成裝置1,係在控制器21不具標頭資訊生成部21A,改為具有標頭資訊生成部301A這點上,是與圖20不同。
在圖70的生成裝置1中,母片之HDR資料係被輸入至編碼處理部302。
標頭資訊生成部301A,係將檔案生成部23所生成之MP4檔案的moov和必要之moof,當作標頭資訊而加以生成,供給至檔案生成部23。
編碼處理部302,係和圖20的編碼處理部22同樣地,藉由進行母片之HDR資料的編碼,而生成視訊串流及ST串流,輸出至檔案生成部23。
但是,在本實施形態中,作為儲存身為HDR資訊之TMI的XML之元素,新定義HDR儲存元素,編 碼處理部302,係針對ST,在該ST之編碼結果所得之SMPTE-TT格式的ST之資料中,含有將身為HDR資訊之TMI當作XML之元素而儲存的HDR儲存元素,而生成ST串流。
因此,在於編碼處理部302中所生成的作為ST串流的SMPTE-TT格式的ST之資料中,含有儲存身為HDR資訊之TMI的HDR儲存元素,因此僅以該SMPTE-TT格式的ST之資料,就可進行利用身為HDR資訊之TMI的HDR ST等之顯示。
亦即,針對上述第1乃至第3之MP4檔案中所儲存之作為ST串流的SMPTE-TT格式的ST之資料做適用的TMI,係設計成將該TMI儲存在tinf箱盒中,或參照(利用)ST之訊軌以外之訊軌中所含之TMI,因此將第1乃至第3之MP4檔案中所儲存之ST串流,直接儲存在MP4檔案以外之容器格式的檔案或資料時,係進行利用身為HDR資訊之TMI的HDR ST等之顯示是有困難的。
相對於此,在於編碼處理部302中所生成的作為ST串流的SMPTE-TT格式的ST之資料(以下簡稱新TT資料)中,含有儲存身為HDR資訊之TMI的HDR儲存元素,因此僅已該新TT資料,就可進行利用身為HDR資訊之TMI的HDR ST等之顯示。
因此,新TT資料,係無論是藉由MP4檔案、或是其他任何容器格式來提供,都可進行利用了身為 HDR資訊之TMI的HDR ST等之顯示。
亦即,在圖70的生成裝置1中,將新TT資料,儲存在MP4檔案中而提供,但新TT資料,係除了儲存在MP4檔案中以外,例如,可儲存在IP封包、其他任意之容器格式之檔案或資料而提供。
又,新TT資料,係即使單獨提供,或是和視訊等其他資料多工化等而提供,都可進行利用了身為HDR資訊之TMI的HDR ST等之顯示。
因此,若依據新TT資料,則可促進TMI往SMPTE-TT格式的ST之資料的導入,可增加使用者享受HDR ST的機會。
<編碼處理部302之構成例>
圖71係圖70的編碼處理部302之構成例的區塊圖。
此外,圖中,和圖26的編碼處理部22對應的部分,係標示同一符號,以下並適宜地省略其說明。
編碼處理部302係具有:特性資訊生成部31、編碼器32、轉換部33、轉換資訊生成部34、編碼器35、及串流生成部311。
因此,編碼處理部302,係在具有特性資訊生成部31、編碼器32、轉換部33、轉換資訊生成部34、及編碼器35這點上,是與圖26的編碼處理部22共通。
但是,編碼處理部302,係在取代了串流生成部36,改為設置串流生成部311這點上,是和圖26的編 碼處理部22不同。
串流生成部311,係將特性資訊生成部31、及轉換資訊生成部34各自送來的視訊的TMI,當作SEI,插入至來自編碼器32的視訊之編碼資料中,生成視訊串流,供給至檔案生成部23(圖70)。
又,串流生成部311係生成儲存有,從特性資訊生成部31、及轉換資訊生成部34各自送來之ST的TMI的HDR儲存元素。
然後,串流生成部311,係藉由在來自編碼器35的SMPTE-TT格式的ST之資料中,插入HDR儲存元素等,以生成新TT資料,將該新TT資料之串流(ST串流),供給至檔案生成部23。
此外,於圖71中,特性資訊生成部31,係和圖46的特性資訊生成部131同樣地,針對HDR視訊與HDR ST之每一者,可個別地生成身為特性資訊之TMI,針對HDR視訊,係生成該HDR視訊的身為特性資訊之TMI,針對HDR ST,係將與該HDR ST同時顯示的HDR視訊的身為特性資訊之TMI,當作ST(HDR ST)的身為特性資訊之TMI而採用。
再者,於圖71中,轉換資訊生成部34,係和圖46的轉換資訊生成部132同樣地,針對HDR視訊與HDR ST之每一者,可個別地生成身為轉換資訊之TMI,針對HDR視訊,係生成該HDR視訊的身為轉換資訊之TMI,針對HDR ST,係將與該HDR ST同時顯示的HDR 視訊的身為轉換資訊之TMI,當作ST(HDR ST)的身為轉換資訊之TMI而採用。
<HDR儲存元素>
圖72係HDR儲存元素之例子的圖示。
作為HDR儲存元素,係有儲存身為轉換資訊之TMI的ToneMap元素、和儲存身為特性資訊之TMI的HdrInfo元素。
圖72的A、圖72的B、及圖72的C,係表示ToneMap元素之例子,圖72的D,係表示HdrInfo元素之例子。
圖72的A的ToneMap元素,係相當於tone_map_id為0時的圖7的TMI,圖72的B的ToneMap元素,係相當於tone_map_id為2時的圖7的TMI,圖72的C的ToneMap元素,係相當於tone_map_id為3時的圖7的TMI。。
圖72的D的HdrInfo元素,係相當於tone_map_id為4時的圖7的TMI。
此外,圖72的ToneMap元素、及HdrInfo元素(中所被儲存之TMI),係藉由作為識別資訊的xml:id而被識別。
在圖72中,作為ToneMap元素、及HdrInfo元素的xml:id,是使用數字,但作為xml:id係亦可使用任意的文字(串)(包含數字)。
ToneMap元素、及HdrInfo元素,係可配置 (描述)在XML的作為所定元素的例如:tt、head、body、region、div、p、span、或set元素內。
圖73係toneMapRef屬性、及hdrInfoRef屬性之定義之例子的圖示。
toneMapRef屬性(toneMapRef attribute),係作為將對ST做適用之TMI所被儲存之ToneMap元素予以指定的屬性,而在所定之命名空間(例如後述的命名空間hdr)之下被新定義的指定屬性。
若某個元素是具有toneMapRef屬性,則被該toneMapRef屬性所指定的ToneMap元素中所被儲存之TMI會被取得,被當成具有該toneMapRef屬性之元素中所被描述的對ST做適用之TMI而使用。
hdrInfoRef屬性(hdrInfoRef attribute),係作為將對ST做適用之TMI所被儲存之HdrInfo元素予以指定的屬性,而在所定之命名空間(例如後述的命名空間hdr)之下被新定義的指定屬性。
若某個元素是具有hdrInfoRef屬性,則被該hdrInfoRef屬性所指定的HdrInfo元素中所被儲存之TMI會被取得,被當成具有該hdrInfoRef屬性之元素中所被描述的對ST做適用之TMI而使用。
toneMapRef屬性、及hdrInfoRef屬性,係可描述在XML的作為所定之元素的例如:body、div、p、region、span、或set元素內。
圖74係新TT資料之第1例的圖示。
在圖74的新TT資料中,於描述n1中,定義了關於身為HDR資訊之TMI的命名空間hdr。
又,描述n2及n3,係為ToneMap元素,描述n2的ToneMap元素,被係xml:id="A"所識別,描述n3的ToneMap元素,係被xml:id="B"所識別。
此外,描述n2及n3的ToneMap元素,係分別相當於圖72的B及圖72的C的ToneMap元素。
又,關於圖74的描述n2及n3的ToneMap元素,係省略該描述之一部分。
描述n4,係為p元素,具有作為toneMapRef屬性的hdr:toneMapRef="A"。
若依據描述n4的p元素,則依照作為toneMapRef屬性的hdr:toneMapRef="A",被xml:id=“A”所識別之描述n2的ToneMap元素中所被儲存之TMI會被取得,被當成對描述n4的p元素中所被描述之作為ST的文字"this subtitle references ToneMap whose id is A"做適用之TMI而使用。
描述n5,係為p元素,具有作為toneMapRef屬性的hdr:toneMapRef="B"。
若依據描述n5的p元素,則依照作為toneMapRef屬性的hdr:toneMapRef="B",被xml:id="B"所識別之描述n3的ToneMap元素中所被儲存之TMI會被取得,被當成對描述n5的p元素中所被描述之作為ST的文字"this subtitle references ToneMap whose id is B"做適用之TMI而使用。
此外,在圖74中,描述n2及n3的ToneMap元素,係被配置在body元素中,但亦可被配置在其他位置。
又,在圖74中,描述n2或n3的ToneMap元素、和具有將該ToneMap元素予以指定之toneMapRef屬性的描述n4或n5的p元素,係被描述在同一檔案中,但亦可被描述在不同檔案中。
圖75係新TT資料之第2例的圖示。
在圖75的新TT資料中,於描述n11中,係和圖74的描述n1同樣地,定義了關於身為HDR資訊之TMI的命名空間hdr。
又,描述n12及n13,係為HdrInfo元素,描述n12的HdrInfo元素,被係xml:id="AA"所識別,描述n13的HdrInfo元素,係被xml:id="BB"所識別。
此外,描述n12及n13的HdrInfo元素,係均相當於圖72的D的HdrInfo元素。
又,關於圖75的描述n12及n13的HdrInfo元素,係省略該描述之一部分。
描述n14,係為p元素,具有作為hdrInfoRef屬性的hdr:hdrInfoRef="AA"。
若依據描述n14的p元素,則依照作為hdrInfoRef屬性的hdr:hdrInfoRef="AA",被xml:id="AA"所識別之描述n12的HdrInfo元素中所被儲存之 TMI會被取得,被當成對描述n14的p元素中所被描述之作為ST的文字"this subtitle references HdrInfo whose id is AA"做適用之TMI而使用。
描述n15,係為p元素,具有作為hdrInfoRef屬性的hdr:hdrInfoRef="BB"。
若依據描述n15的p元素,則依照作為hdrInfoRef屬性的hdr:hdrInfoRef="BB",被xml:id="BB"所識別之描述n13的HdrInfo元素中所被儲存之TMI會被取得,被當成對描述n15的p元素中所被描述之作為ST的文字"this subtitle references HdrInfo whose id is BB"做適用之TMI而使用。
此外,在圖75中,描述n12及n13的HdrInfo元素,係被配置在body元素中,但亦可被配置在其他位置。
又,在圖75中,描述n12或n13的HdrInfo元素、和具有將該HdrInfo元素予以指定之hdrInfoRef屬性的描述n14或n15的p元素,係被描述在同一檔案中,但亦可被描述在不同檔案中。
甚至,在圖74及圖75中,雖然是在新TT資料內,僅描述ToneMap元素、及HdrInfo元素之其中一方,但亦可在新TT資料內描述ToneMap元素、及HdrInfo元素之雙方。
甚至,在圖74及圖75中,雖然是在p元素中,僅指定toneMapRef屬性、及hdrInfoRef屬性之其中 一方,但在1個元素中,係可指定toneMapRef屬性、及hdrInfoRef屬性之雙方。
圖76係新TT資料之第3例的圖示。
此處,在圖74的新TT資料的第1例中,雖然是將對ST做適用之TMI所被儲存的ToneMap元素,藉由toneMapRef屬性來加以指定,但在圖76的新TT資料的第3例中,係不使用toneMapRef屬性,就能指定對ST做適用之TMI所被儲存的ToneMap元素。
亦即,在圖76的新TT資料的第3例中,係將對ST做適用之TMI所被儲存的ToneMap元素,配置在該ST所表示的元素中,藉此,作為對ST做適用之TMI所被儲存的ToneMap元素,就會指定該ST所表示的元素中所被配置的ToneMap元素。
在圖76的新TT資料中,於描述n21中,係和圖74的描述n1同樣地,定義了關於身為HDR資訊之TMI的命名空間hdr。
又,於圖76中,在描述n22的div元素中係被配置有,與圖74的描述n2相同的描述n23的ToneMap元素。
再者,在描述n22的div元素中係被配置有,作為ST之文字"this subtitle references ToneMap whose identifiers are A"會被顯示的描述n24的p元素。
其結果為,針對描述n22的div元素中所被配置之描述n24的p元素,係同樣地,描述n22的div元素 中所被配置之描述n23的ToneMap元素中所被儲存之TMI會被取得,被當成對描述n24的p元素中所被描述之作為ST之文字"this subtitle references ToneMap whose identifiers are A"做適用之TMI而使用。
又,於圖76中,在描述n25的div元素中係被配置有,與圖74的描述n3相同的描述n26的ToneMap元素。
再者,在描述n25的div元素中係被配置有,作為ST之文字"this subtitle references ToneMap whose identifiers are B"會被顯示的描述n27的p元素。
其結果為,針對描述n25的div元素中所被配置之描述n27的p元素,係同樣地,描述n25的div元素中所被配置之描述n26的ToneMap元素中所被儲存之TMI會被取得,被當成對描述n27的p元素中所被描述之作為ST之文字"this subtitle references ToneMap whose identifiers are B"做適用之TMI而使用。
圖77係新TT資料之第4例的圖示。
此處,在圖75的新TT資料的第2例中,雖然是將對ST做適用之TMI所被儲存的HdrInfo元素,藉由hdrInfoRef屬性來加以指定,但在圖77的新TT資料的第4例中,係不使用hdrInfoRef屬性,就能指定對ST做適用之TMI所被儲存的HdrInfo元素。
亦即,在圖77的新TT資料的第4例中,係與圖76的情況同樣地,將對ST做適用之TMI所被儲存 的HdrInfo元素,配置在該ST所表示的元素中,藉此,作為對ST做適用之TMI所被儲存的HdrInfo元素,就會指定該ST所表示的元素中所被配置的HdrInfo元素。
在圖77的新TT資料中,於描述n31中,係和圖74的描述n1同樣地,定義了關於身為HDR資訊之TMI的命名空間hdr。
又,於圖77中,在描述n32的div元素中係被配置有,與圖75的描述n12相同的描述n33的HdrInfo元素。
再者,在描述n32的div元素中係被配置有,作為ST之文字"this subtitle references HdrInfo whose identifiers are AA"會被顯示的描述n34的p元素。
其結果為,針對描述n32的div元素中所被配置之描述n34的p元素,係同樣地,描述n32的div元素中所被配置之描述n33的HdrInfo元素中所被儲存之TMI會被取得,被當成對描述n34的p元素中所被描述之作為ST之文字"this subtitle references HdrInfo whose identifiers are AA"做適用之TMI而使用。
又,於圖77中,在描述n35的div元素中係被配置有,與圖75的描述n13相同的描述n36的HdrInfo元素。
再者,在描述n35的div元素中係被配置有,作為ST之文字"this subtitle references HdrInfo whose identifiers are BB"會被顯示的描述n37的p元素。
其結果為,針對描述n35的div元素中所被配置之描述n37的p元素,係同樣地,描述n35的div元素中所被配置之描述n36的HdrInfo元素中所被儲存之TMI會被取得,被當成對描述n37的p元素中所被描述之作為ST之文字"this subtitle references HdrInfo whose identifiers are BB"做適用之TMI而使用。
此外,在圖76及圖77中,雖然是在新TT資料內,僅描述ToneMap元素、及HdrInfo元素之其中一方,但亦可在新TT資料內描述ToneMap元素、及HdrInfo元素之雙方。
<生成裝置1之檔案生成處理>
圖78係圖70的生成裝置1所進行之檔案生成處理之例子的說明用流程圖。
一旦母片之HDR資料被輸入至生成裝置1,則於步驟S301中,生成裝置1的控制器21,係和圖29的步驟S1同樣地,判定處理模式是否為mode-i。
若處理模式是mode-i係在步驟S301中被判定時,則前進至步驟S302,編碼處理部302係進行mode-i下的編碼處理。mode-i下的編碼處理所生成之視訊串流和ST串流(es),係從編碼處理部302被供給至檔案生成部23。
另一方面,若處理模式是mode-ii係在步驟S301中被判定時,則前進至步驟S303,編碼處理部302係進行mode-ii下的編碼處理。mode-ii下的編碼處理所生 成之視訊串流和ST串流(es),係從編碼處理部302被供給至檔案生成部23。
在步驟S302或S303之後,處理係前進至步驟S304,標頭資訊生成部301A係進行標頭資訊生成處理。由標頭資訊生成處理所生成之作為標頭資訊的moov、及必要之moof,係從標頭資訊生成部301A被供給至檔案生成部23,處理係前進至步驟S305。
於步驟S305中,檔案生成部23係生成,儲存有來自編碼處理部302之視訊串流及ST串流、以及來自標頭資訊生成部301A之標頭資訊的MP4檔案並輸出之,檔案生成處理就結束。
圖79係圖78的步驟S302中所被進行的mode-i的編碼處理之例子的說明用流程圖。
於步驟S311乃至S315中,會進行和圖30的步驟S11乃至S15分別相同的處理。
其後,於步驟S316中,編碼處理部302(圖71)之串流生成部311,係作為編碼資料的SEI,將從特性資訊生成部31所供給之身為特性資訊之視訊的TMI、和從轉換資訊生成部34所供給之身為轉換資訊之視訊的TMI,插入至從編碼器32所供給之編碼資料中,生成視訊串流,處理係前進至步驟S317。
在步驟S317中,串流生成部311係生成,將從特性資訊生成部31所供給之身為特性資訊之ST的TMI予以儲存的HdrInfo元素、及將從轉換資訊生成部34所 供給之身為轉換資訊之ST的TMI予以儲存的ToneMap元素。
又,串流生成部311,係將HdrInfo元素、及ToneMap元素、以及必要之toneMapRef屬性、及hdrInfoRef屬性,插入在來自編碼器35的SMPTE-TT格式的ST之資料中,藉此而生成新TT資料。
然後,串流生成部311,係將新TT資料之串流亦即ST串流,連同視訊串流,一起供給至檔案生成部23(圖70),mode-i的編碼處理係結束(返回)。
圖80係圖78的步驟S303中所被進行的mode-ii的編碼處理之例子的說明用流程圖。
於步驟S321乃至S325中,會進行和圖31的步驟S21乃至S25分別相同的處理。
然後,於步驟S326及S327中,會進行和圖79的步驟S316及S317分別相同的處理。
<再生裝置2之第4構成例>
圖81係圖1的再生裝置2的第4構成例的區塊圖。
此外,圖中,和圖33對應的部分,係標示同一符號,以下並適宜地省略其說明。
於圖81中,再生裝置2係具有:檔案取得部51、分離部52、操作輸入部53、合成輸出部56、控制器321、及解碼處理部322。
因此,圖81的再生裝置2,係在具有檔案取 得部51、分離部52、操作輸入部53、及合成輸出部56這點上,是和圖33共通。
但是,圖81的再生裝置2,係在取代了控制器54、及解碼處理部55,而分別改為設置控制器321、及解碼處理部322這點上,是與圖33不同。
控制器321,係由:CPU、ROM、RAM等所構成。控制器321係執行所定之程式,控制再生裝置2全體的動作。
例如,控制器321,係隨應於從分離部52所供給之moov箱盒或moof箱盒,來控制解碼處理部322。
解碼處理部322,係具有解碼器322A和解碼器322B。
解碼器322A,係從分離部52所供給之視訊串流的SEI,將身為特性資訊及轉換資訊之TMI(tone_mapping_info),當作對視訊做適用之TMI而加以取得。
又,解碼器322A,係將從分離部52所供給之視訊串流中所含之編碼資料,以HEVC方式進行解碼。
然後,解碼器322A,係因應需要,將解碼結果所得之HDR視訊或STD視訊,基於對視訊做適用之身為轉換資訊之TMI,轉換成STD視訊或HDR視訊,輸出至合成輸出部56。
解碼器322A,係在輸出HDR視訊時,將HDR視訊連同對視訊做適用之身為特性資訊之TMI,輸 出至合成輸出部56。
解碼器322B,係將從分離部52所供給之ST串流,予以解碼。
又,解碼器322B,係在藉由ST串流中所含之ToneMap元素、及HdrInfo元素(toneMapRef屬性或hdrInfoRef屬性,而指定了ToneMap元素或HdrInfo元素的情況下,則將藉由該oneMapRef屬性或hdrInfoRef屬性而被指定之ToneMap元素或HdrInfo元素)中所被儲存之TMI,當作對ST做適用之TMI而加以取得,成為取得部而發揮機能。
然後,解碼器322B,係因應需要,將解碼結果所得之HDR ST或STD ST,基於對ST做適用之身為轉換資訊之TMI,轉換成STD ST或HDR ST,輸出至合成輸出部56。
解碼器322B,係在輸出HDR ST時,將HDR ST連同對ST做適用之身為特性資訊之TMI,輸出至合成輸出部56。
<再生裝置2的再生處理>
圖82係圖81的再生裝置2所進行之再生處理之例子的說明用流程圖。
於步驟S331中,檔案取得部51,係取得生成裝置1所生成之MP4檔案,供給制分離部52。
分離部52,係從來自檔案取得部51的MP4檔案中,讀出作為標頭資訊的moov箱盒或moof箱盒, 並且讀出mdat箱盒中所被儲存之作為實際資料的視訊串流或ST串流。
然後,分離部52,係將作為標頭資訊的moov箱盒或moof箱盒,供給至控制器321,並且,將視訊串流或ST串流,供給至解碼處理部322。
其後,處理係從步驟S331前進至步驟S332,控制器321係將已被檔案取得部51所取得之MP4檔案的處理模式是mode-i還是mode-ii,和圖34的步驟S42同樣地進行判定。
若處理模式是mode-i係在步驟S332中被判定時,則前進至步驟S333,解碼處理部322係進行mode-i的解碼處理。
另一方面,若處理模式是mode-ii係在步驟S332中被判定時,則前進至步驟S334,解碼處理部322係進行mode-ii的解碼處理。
於步驟S333或步驟S334中進行了解碼處理後,再生處理係結束。
圖83係圖82的步驟S333中所被進行的mode-i的解碼處理之例子的說明用流程圖。
於步驟S341中,解碼器322A係從分離部52所供給之視訊串流的SEI取得身為特性資訊及轉換資訊之TMI。
其後,處理係從步驟S341前進至步驟S342,解碼器322A係將來自分離部52之視訊串流中所含之編碼 資料以HEVC方式進行解碼,生成HDR視訊,處理係前進至步驟S343。此外,視訊的解碼(編碼)方式,係不限定於HEVC方式。
在步驟S343中,解碼器322B,係取得從分離部52所供給之ST串流(新TT資料)中所含之ToneMap元素、及HdrInfo元素中所被儲存之TMI,處理係前進至步驟S344。
於步驟S344中,解碼器322B,係將從分離部52所供給的ST串流,解碼成HDR ST,處理係前進至步驟S345。
於步驟S345中,控制器321係將顯示裝置3所具有之監視器是否為HDR監視器,和圖35的步驟S64同樣地進行判定。
顯示裝置3所具有之監視器是HDR監視器係在步驟S345中被判定時,則處理係前進至步驟S346。
於步驟S346中,解碼器322A係從步驟S341所取得的TMI中,取得對視訊做適用之TMI。此處,作為取得MP4檔案中所被儲存之對視訊做適用之TMI的方法,係可採用例如,生成裝置1及再生裝置2的第1構成例中所說明之方法等。
又,解碼器322B,係從步驟S343所取得之TMI中,若藉由對ST做適用之TMI(toneMapRef屬性或hdrInfoRef屬性,而指定了ToneMap元素或HdrInfo元素時,則取得藉由該oneMapRef屬性或hdrInfoRef屬性而 被指定之ToneMap元素或HdrInfo元素中所被儲存之TMI)。
其後,處理係從步驟S346前進至步驟S347,以下,於步驟S347及S351中,會進行和圖35的步驟S66及S70分別相同之處理。
另一方面,顯示裝置3所具有之監視器並非HDR監視器、而是STD監視器,係在步驟S345中被判定時,則處理係前進至步驟S348。
於步驟S348中,解碼器322A及322B,係和步驟S346同樣地,當作要對視訊及ST做適用之TMI而加以取得。
其後,於步驟S349乃至S351中,會進行和圖35的步驟S68乃至S69相同的處理。
圖84係圖82的步驟S334中所被進行的mode-ii的解碼處理之例子的說明用流程圖。
於步驟S361中,解碼器322A係和圖83的步驟S341同樣地,從分離部52所供給之視訊串流的SEI取得身為特性資訊及轉換資訊之TMI。
其後,處理係從步驟S361前進至步驟S362,解碼器322A係將來自分離部52之視訊串流中所含之編碼資料以HEVC方式進行解碼,生成STD視訊,處理係前進至步驟S363。此外,視訊的解碼(編碼)方式,係不限定於HEVC方式。
在步驟S363中,解碼器322B係和圖83的步 驟S343同樣地,取得從分離部52所供給之ST串流(新TT資料)中所含之ToneMap元素、及HdrInfo元素中所被儲存之TMI,處理係前進至步驟S364。
於步驟S364中,解碼器322B,係將從分離部52所供給的ST串流,解碼成STD ST,處理係前進至步驟S365。
於步驟S365中,控制器321係例如和圖83的步驟S345同樣地,判定顯示裝置3所具有之監視器是否為HDR監視器。
顯示裝置3所具有之監視器是HDR監視器係在步驟S365中被判定時,則處理係前進至步驟S366。
於步驟S366中,解碼器322A及322B,係和圖83的步驟S346同樣地,當作要對視訊及ST做適用之TMI而加以取得。
亦即,於步驟S366中,解碼器322A係從步驟S361所取得的TMI中,取得對視訊做適用之TMI。
又,解碼器322B,係從步驟S363所取得之TMI中,若藉由對ST做適用之TMI(toneMapRef屬性或hdrInfoRef屬性,而指定了ToneMap元素或HdrInfo元素時,則取得藉由該oneMapRef屬性或hdrInfoRef屬性而被指定之ToneMap元素或HdrInfo元素中所被儲存之TMI)。
其後,處理係從步驟S366前進至步驟S367,於步驟S367乃至S370中,會進行和圖36的步驟S86乃 至S89分別相同之處理。
如以上,第4構成例的生成裝置1係生成,含有把身為HDR資訊之TMI當作XML的元素而儲存之作為HDR儲存元素的ToneMap元素或HdrInfo元素的、XML的新TT資料。
其結果為,再生裝置2,係可從新TT資料,取得對ST做適用之TMI,利用於ST之處理。
此外,ToneMap元素或HdrInfo元素,甚至toneMapRef屬性或hdrInfoRef屬性,係除了適用於藉由利用XML的SMPTE-TT來顯示ST的場合以外,還可適用於,利用其他任意之標記語言來顯示ST或其他任意影像的場合。
<適用了本技術之電腦的說明>
其次,上述一連串處理,係可藉由的硬體來進行,也可藉由軟體來進行。在以軟體來進行一連串之處理時,構成該軟體的程式,係可安裝至通用的電腦等。
此處,圖85係圖示了執行上述一連串處理的程式所被安裝之電腦的一實施形態之構成例。
程式是可預先被記錄在內建於電腦中的做為記錄媒體之硬碟405或ROM403。
又或者,程式係亦可先儲存(記錄)在可移除式記錄媒體411中。此種可移除式記錄媒體411,係可以所謂套裝軟體的方式來提供。此處,作為可移除式記錄媒體411係例如有軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)碟、DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。
此外,程式除了可從如上述的可移除式記錄媒體411安裝至電腦,還可透過通訊網或播送網而下載至電腦中,安裝至內建的硬碟405。亦即,程式係可例如從下載網站,透過數位衛星播送用的人造衛星,以無線而傳輸至電腦、或透過LAN(Local Area Network)、網際網路這類網路,以有線方式而傳輸至電腦。
電腦係內藏有CPU(Central Processing Unit)402,對CPU402係透過匯流排401而連接有輸出入介面410。
CPU402係一旦透過輸出入介面410藉由使用者操作輸入部407等而進行了指令輸入,則會聽從之而執行ROM(Read Only Memory)403中所儲存的程式。或者,CPU402係將硬碟405中所儲存的程式,載入至RAM(Random Access Memory)404中而加以執行。
藉此,CPU402係會進行依照上述流程圖之處理,或是由上述區塊圖之構成所進行之處理。然後,CPU402係將其處理結果,因應需要,例如,透過輸出入介面410而從輸出部406加以輸出,或者從通訊部408進行送訊,或甚至記錄在硬碟405中等。
此外,輸入部407係由鍵盤、滑鼠、麥克風等所構成。又,輸出部406係由LCD(Liquid Crystal Display)或揚聲器等所構成。
此處,於本說明書中,電腦依照程式而進行之處理,係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即,電腦依照程式所進行的處理,係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。
又,程式係可被1個電腦(處理器)所處理,也可被複數電腦分散處理。甚至,程式係亦可被傳輸至遠方的電腦而執行之。
再者,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
此外,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,本技術係亦可將1個機能透過網路而分擔給複數台裝置,採取共通進行處理的雲端運算之構成。
又,上述的流程圖中所說明的各步驟,係可由1台裝置來執行以外,亦可由複數台裝置來分擔執行。
甚至,若1個步驟中含有複數處理的情況下,該1個步驟中所含之複數處理,係可由1台裝置來執行以外,也可由複數台裝置來分擔執行。
又,本說明書中所記載之效果僅為例示並非 限定,亦可還有其他的效果。
此外,本技術係亦可視為如下之構成。
<1>一種檔案生成裝置,係具備:檔案生成部,係生成檔案,其中係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
<2>如<1>所記載之檔案生成裝置,其中,前記注目訊軌係還含有:訊軌指定資訊,係用來指定含有適用於前記注目訊軌之前記HDR資訊的前記訊軌。
<3>如<2>所記載之檔案生成裝置,其中,前記檔案,係為箱盒結構之檔案。
<4>如<3>所記載之檔案生成裝置,其中,前記檔案,係為被ISO/IEC14496-14所規定的MP4檔案。
<5>如<4>所記載之檔案生成裝置,其中,前記注目訊軌係含有,作為儲存前記HDR指定資訊 之箱盒而被定義的tirf箱盒(ToneMappingInformationReferecenceBox)。
<6>如<4>或<5>所記載之檔案生成裝置,其中,前記注目訊軌係含有:表示將TrackReferenceBox所擁有之TrackReferenceTypeBox使用於儲存前記訊軌指定資訊之用途這件事情的,作為前記TrackReferenceTypeBox之reference_type而被定義之vtmi係已成為前記reference_type的前記TrackReferenceTypeBox。
<7>一種檔案生成方法,係含有以下步驟:生成檔案,其中係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
<8>一種檔案再生裝置,係具備:取得部,係從儲存有: 串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,取得前記HDR指定資訊所指定之前記HDR資訊。
<9>如<8>所記載之檔案再生裝置,其中,前記注目訊軌係還含有:訊軌指定資訊,係用來指定含有適用於前記注目訊軌之前記HDR資訊的前記訊軌;前記取得部,係從前記訊軌指定資訊所指定之前記訊軌中所含之前記HDR資訊,取得前記HDR指定資訊所指定之前記HDR資訊。
<10>如<9>所記載之檔案再生裝置,其中,前記檔案,係為箱盒結構之檔案。
<11>如<10>所記載之檔案再生裝置,其中,前記檔案,係為被ISO/IEC14496-14所規定的MP4檔案。
<12>如<11>所記載之檔案再生裝置,其中, 前記注目訊軌係含有,作為儲存前記HDR指定資訊之箱盒而被定義的tirf箱盒(ToneMappingInformationReferecenceBox);前記取得部,係取得前記注目訊軌中所含之前記tirf箱盒中所儲存之前記HDR指定資訊所指定之前記HDR資訊。
<13>如<11>或<12>所記載之檔案再生裝置,其中,前記注目訊軌係含有:表示將TrackReferenceBox所擁有之TrackReferenceTypeBox使用於儲存前記訊軌指定資訊之用途這件事情的,作為前記TrackReferenceTypeBox之reference_type而被定義之vtmi係已成為前記reference_type的前記TrackReferenceTypeBox;前記取得部,係從前記reference_type已成為前記vtmi的前記TrackReferenceTypeBox中所儲存之前記訊軌指定資訊所指定之前記訊軌中所含之前記HDR資訊,取得前記HDR指定資訊所指定之前記HDR資訊。
<14>一種檔案再生方法,係含有以下步驟:從儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和 轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,取得前記HDR指定資訊所指定之前記HDR資訊。

Claims (14)

  1. 一種檔案生成裝置,係具備:檔案生成部,係生成檔案,其中係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
  2. 如請求項1所記載之檔案生成裝置,其中,前記注目訊軌係還含有:訊軌指定資訊,係用來指定含有適用於前記注目訊軌之前記HDR資訊的前記訊軌。
  3. 如請求項2所記載之檔案生成裝置,其中,前記檔案,係為箱盒結構之檔案。
  4. 如請求項3所記載之檔案生成裝置,其中,前記檔案,係為被ISO/IEC14496-14所規定的MP4檔案。
  5. 如請求項4所記載之檔案生成裝置,其中,前記注目訊軌係含有,作為儲存前記HDR指定資訊之箱盒而被定義的tirf箱盒( ToneMappingInformationReferecenceBox)。
  6. 如請求項5所記載之檔案生成裝置,其中,前記注目訊軌係含有:表示將TrackReferenceBox所擁有之TrackReferenceTypeBox使用於儲存前記訊軌指定資訊之用途這件事情的,作為前記TrackReferenceTypeBox之reference_type而被定義之vtmi係已成為前記reference_type的前記TrackReferenceTypeBox。
  7. 一種檔案生成方法,係含有以下步驟:生成檔案,其中係被儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊。
  8. 一種檔案再生裝置,係具備:取得部,係從儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高 動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,取得前記HDR指定資訊所指定之前記HDR資訊。
  9. 如請求項8所記載之檔案再生裝置,其中,前記注目訊軌係還含有:訊軌指定資訊,係用來指定含有適用於前記注目訊軌之前記HDR資訊的前記訊軌;前記取得部,係從前記訊軌指定資訊所指定之前記訊軌中所含之前記HDR資訊,取得前記HDR指定資訊所指定之前記HDR資訊。
  10. 如請求項9所記載之檔案再生裝置,其中,前記檔案,係為箱盒結構之檔案。
  11. 如請求項10所記載之檔案再生裝置,其中,前記檔案,係為被ISO/IEC14496-14所規定的MP4檔案。
  12. 如請求項11所記載之檔案再生裝置,其中,前記注目訊軌係含有,作為儲存前記HDR指定資訊之箱盒而被定義的tirf箱盒( ToneMappingInformationReferecenceBox);前記取得部,係取得前記注目訊軌中所含之前記tirf箱盒中所儲存之前記HDR指定資訊所指定之前記HDR資訊。
  13. 如請求項12所記載之檔案再生裝置,其中,前記注目訊軌係含有:表示將TrackReferenceBox所擁有之TrackReferenceTypeBox使用於儲存前記訊軌指定資訊之用途這件事情的,作為前記TrackReferenceTypeBox之reference_type而被定義之vtmi係已成為前記reference_type的前記TrackReferenceTypeBox;前記取得部,係從前記reference_type已成為前記vtmi的前記TrackReferenceTypeBox中所儲存之前記訊軌指定資訊所指定之前記訊軌中所含之前記HDR資訊,取得前記HDR指定資訊所指定之前記HDR資訊。
  14. 一種檔案再生方法,係含有以下步驟:從儲存有:串流之訊軌,其係含有由:特性資訊,係表示比STD(standard)影像還高動態範圍之HDR(high dynamic range)影像的亮度特性;和轉換資訊,係表示將前記STD影像、及前記HDR影像之其中一方轉換成另一方的轉換規則所成之HDR資訊;和 注目訊軌,係含有HDR指定資訊,用來指定前記訊軌之HDR資訊之中的要適用於所注目之前記注目訊軌的前記HDR資訊的檔案中,取得前記HDR指定資訊所指定之前記HDR資訊。
TW103123304A 2013-07-19 2014-07-07 File generation device, file generation method, file reproduction device, and file reproduction method TWI630821B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-150436 2013-07-19
JP2013150436 2013-07-19

Publications (2)

Publication Number Publication Date
TW201524202A TW201524202A (zh) 2015-06-16
TWI630821B true TWI630821B (zh) 2018-07-21

Family

ID=52346146

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103123304A TWI630821B (zh) 2013-07-19 2014-07-07 File generation device, file generation method, file reproduction device, and file reproduction method

Country Status (6)

Country Link
US (1) US9788020B2 (zh)
EP (1) EP2869565B1 (zh)
JP (1) JP6402633B2 (zh)
CN (1) CN104488262B (zh)
TW (1) TWI630821B (zh)
WO (1) WO2015008683A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630820B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US10306306B2 (en) * 2014-05-12 2019-05-28 Sony Corporation Communication device and communication method to process images
CN111901599A (zh) 2014-06-27 2020-11-06 松下知识产权经营株式会社 再现装置
WO2016132836A1 (ja) * 2015-02-16 2016-08-25 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6610019B2 (ja) * 2015-06-16 2019-11-27 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
US10477176B2 (en) * 2015-08-24 2019-11-12 Sharp Kabushiki Kaisha Reception device, broadcast system, reception method, and program
WO2017047466A1 (ja) * 2015-09-18 2017-03-23 シャープ株式会社 受信装置、受信方法、プログラム
KR20230131967A (ko) * 2015-11-09 2023-09-14 인터디지털 브이씨 홀딩스 인코포레이티드 기본 스트림들로부터 디코딩된 비디오 콘텐츠를 디스플레이의 특성들에 적응시키기 위한 방법 및 디바이스
US10230812B1 (en) * 2016-01-29 2019-03-12 Amazon Technologies, Inc. Dynamic allocation of subtitle packaging
CN109417650A (zh) * 2016-07-11 2019-03-01 夏普株式会社 视频信号转换装置、视频信号转换方法、视频信号转换系统、控制程序以及记录介质
EP3780636A1 (en) * 2018-06-25 2021-02-17 Huawei Technologies Co., Ltd. Method and apparatus for processing high dynamic range video including captions
EP3824633A1 (en) 2018-07-20 2021-05-26 InterDigital VC Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
US11354789B2 (en) * 2018-09-03 2022-06-07 Canon Kabushiki Kaisha Image processing apparatus and control method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165998A1 (en) * 2003-09-09 2007-07-19 Sony Corporation File recording device, file reproducing device, file recording method, program of file recording method, recording medium containing therein program of file recording method, file reproducing method, program of file reproducing method, and recording medium containing therein program of file reproducing method
US20100172411A1 (en) * 2006-01-23 2010-07-08 Alexander Efremov High dynamic range codecs
TW201142754A (en) * 2010-02-04 2011-12-01 Microsoft Corp High dynamic range image generation and rendering
US20120051635A1 (en) * 2009-05-11 2012-03-01 Dolby Laboratories Licensing Corporation Light Detection, Color Appearance Models, and Modifying Dynamic Range for Image Display

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR101662696B1 (ko) 2008-08-22 2016-10-05 톰슨 라이센싱 콘텐츠 전달 방법 및 시스템
US8724007B2 (en) 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
EP2553931A1 (en) 2010-04-01 2013-02-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
JP6234920B2 (ja) 2011-05-10 2017-11-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ハイダイナミックレンジ画像信号生成及び処理
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
EP2792145B1 (en) 2011-12-15 2018-03-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
GB201201230D0 (en) 2012-01-25 2012-03-07 Univ Delft Tech Adaptive multi-dimensional data decomposition
US9129445B2 (en) * 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI632810B (zh) 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
TWI630820B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165998A1 (en) * 2003-09-09 2007-07-19 Sony Corporation File recording device, file reproducing device, file recording method, program of file recording method, recording medium containing therein program of file recording method, file reproducing method, program of file reproducing method, and recording medium containing therein program of file reproducing method
US20100172411A1 (en) * 2006-01-23 2010-07-08 Alexander Efremov High dynamic range codecs
US20120051635A1 (en) * 2009-05-11 2012-03-01 Dolby Laboratories Licensing Corporation Light Detection, Color Appearance Models, and Modifying Dynamic Range for Image Display
TW201142754A (en) * 2010-02-04 2011-12-01 Microsoft Corp High dynamic range image generation and rendering

Also Published As

Publication number Publication date
EP2869565A1 (en) 2015-05-06
CN104488262A (zh) 2015-04-01
EP2869565B1 (en) 2018-10-24
JPWO2015008683A1 (ja) 2017-03-02
WO2015008683A1 (ja) 2015-01-22
TW201524202A (zh) 2015-06-16
US20150208102A1 (en) 2015-07-23
JP6402633B2 (ja) 2018-10-10
CN104488262B (zh) 2019-01-25
EP2869565A4 (en) 2016-02-24
US9788020B2 (en) 2017-10-10

Similar Documents

Publication Publication Date Title
TWI630821B (zh) File generation device, file generation method, file reproduction device, and file reproduction method
TWI632810B (zh) Data generating device, data generating method, data reproducing device, and data reproducing method
TWI630820B (zh) File generation device, file generation method, file reproduction device, and file reproduction method
JP7033537B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
EP2416321B1 (en) Data generating device and data generating method, and data processing device and data processing method
CN105103540A (zh) 文件生成方法、文件生成装置及记录介质
JP7238948B2 (ja) 情報処理装置および情報処理方法
CN113014930B (zh) 信息处理设备、信息处理方法和计算机可读记录介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees