WO2017010359A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2017010359A1
WO2017010359A1 PCT/JP2016/069955 JP2016069955W WO2017010359A1 WO 2017010359 A1 WO2017010359 A1 WO 2017010359A1 JP 2016069955 W JP2016069955 W JP 2016069955W WO 2017010359 A1 WO2017010359 A1 WO 2017010359A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
information
video
stream
display
Prior art date
Application number
PCT/JP2016/069955
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017528617A priority Critical patent/JP6943179B2/ja
Priority to CN201680040344.2A priority patent/CN107852517A/zh
Priority to EP16824339.2A priority patent/EP3324637B1/en
Priority to US15/739,827 priority patent/US20180376173A1/en
Priority to AU2016294096A priority patent/AU2016294096B2/en
Publication of WO2017010359A1 publication Critical patent/WO2017010359A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and particularly to a transmission device that transmits text information together with video information.
  • subtitle (caption) information is transmitted as bitmap data.
  • DVB Digital Video Broadcasting
  • subtitle (caption) information is transmitted as bitmap data.
  • font development corresponding to the resolution is performed on the receiving side.
  • the text information has timing information.
  • TTML Timed Text Markup Language
  • W3C World Wide Web Consortium
  • the text information of the subtitle expressed in TTML is handled as a file in the form of a markup language (markup language).
  • markup language markup language
  • the purpose of this technology is to reduce the processing load for displaying the subtitle on the receiving side.
  • a video encoding unit for generating a video stream including encoded video data
  • a subtitle encoding unit for generating a subtitle stream including text information of a subtitle having display timing information, and abstract information having information corresponding to some of the plurality of pieces of information indicated by the text information
  • a transmission apparatus includes a transmission unit that transmits a container of a predetermined format including the video stream and the subtitle stream.
  • a video stream including encoded video data is generated by the video encoding unit.
  • a subtitle stream including subtitle text information having display timing information and abstract information having information corresponding to some of the plurality of pieces of information indicated by the text information is generated by the subtitle encoder.
  • the text information of the subtitle may be TTML or a derived format of this TTML.
  • the container of the predetermined format containing a video stream and a subtitle stream is transmitted by a transmission part.
  • the abstract information may include subtitle display timing information.
  • the subtitle display timing can be controlled based on the subtitle display timing information included in the abstract information without scanning the subtitle text information.
  • the display timing information of the subtitle may have information on the display start timing and the display period.
  • the subtitle stream is composed of a PES packet including a PES header and a PES payload, the subtitle text information and abstract information are arranged in the PES payload, and the display start timing is the PTS inserted in the PES header. It may be set as indicated by a display offset from (Presentation Time Stamp).
  • the abstract information may include display control information for controlling the display state of the subtitle.
  • the receiving side can control the display state of the subtitle based on the display control information included in the abstract information without scanning the text information of the subtitle.
  • the display control information may include information on at least one of the display position, color gamut, and dynamic range of the subtitle.
  • the display control information may further include target video information.
  • the abstract information may include notification information for notifying that there is a change in the text information element of the subtitle.
  • notification information for notifying that there is a change in the text information element of the subtitle.
  • the subtitle encoding unit may segment the subtitle text information and abstract information to generate a subtitle stream having a predetermined number of segments.
  • the abstract information can be easily acquired by extracting the segment including the abstract information from the subtitle stream.
  • the segment of the abstract information may be arranged first, followed by the segment of the text information of the subtitle.
  • the segment of the abstract information is arranged first, so that the receiving side can easily and efficiently extract the segment of the abstract information from the subtitle stream.
  • the subtitle stream includes the abstract information corresponding to the text information together with the text information of the subtitle. Therefore, the receiving side can perform processing for subtitle display using the abstract information, and the processing load can be reduced.
  • a receiving unit for receiving a container in a predetermined format including a video stream and a subtitle stream The video stream includes encoded video data,
  • the subtitle stream includes text information of a subtitle having display timing information, and abstract information having information corresponding to some information of a plurality of pieces of information indicated by the text information,
  • a video decoding process for decoding the video stream to obtain video data a subtitle decoding process for decoding the subtitle stream to obtain subtitle bitmap data and extracting the abstract information, and a subtitle decoding process for the video data.
  • a container of a predetermined format including a video stream and a subtitle stream is received.
  • the video stream includes encoded video data.
  • the subtitle stream includes text information of a subtitle having display timing information, and abstract information having information corresponding to some information among a plurality of pieces of information indicated by the text information.
  • the video decoding process, the subtitle decoding process, the video superimposing process, and the bitmap data process are controlled by the control unit.
  • video data is obtained by decoding a video stream.
  • subtitle decoding process the subtitle stream is decoded to obtain subtitle bitmap data, and abstract information is extracted.
  • subtitle bitmap data is superimposed on video data to obtain display video data.
  • bitmap data processing the bitmap data of the subtitle superimposed on the video data is processed based on the abstract information.
  • the abstract information includes subtitle display timing information
  • the bitmap data processing controls the superimposition timing of the subtitle bitmap data on the video data based on the subtitle display timing information. May be.
  • the abstract information includes display control information for controlling the display state of the subtitle.
  • the state of the bitmap of the subtitle superimposed on the video data is based on the display control information. It may be made to control.
  • the bitmap data of the subtitle superimposed on the video data is processed based on the abstract information extracted from the subtitle stream. Therefore, it is possible to reduce the processing load for displaying the subtitle.
  • a video encoding unit for generating a video stream including encoded video data A subtitle encoding unit that generates one or a plurality of segments in which elements of text information of a subtitle having display timing information are arranged, and generates a subtitle stream including the one or more segments;
  • a transmission apparatus includes a transmission unit that transmits a container of a predetermined format including the video stream and the subtitle stream.
  • a video stream including encoded video data is generated by the video encoding unit.
  • the subtitle encoding unit generates one or a plurality of segments in which elements of subtitle text information having display timing information are arranged, and generates a subtitle stream including the one or more segments.
  • the text information of the subtitle may be TTML or a derived format of the TTML.
  • the transmission unit transmits a container in a predetermined format including a video stream and a subtitle stream.
  • the text information of the subtitle having the display timing information is segmented and transmitted by being included in the subtitle stream. Therefore, the receiving side can satisfactorily receive each element of the subtitle text information.
  • the subtitle text information is included in the segment layer or the element layer arranged in the segment layer.
  • the transmission order and / or information regarding the presence / absence of update may be inserted.
  • the receiving side can recognize the transmission order of the subtitle text information, so that the decoding process can be performed efficiently.
  • the receiving side can easily grasp whether or not the subtitle text information is updated.
  • TTM TTMLdataMetadata
  • THLS text_header_layout_segment
  • positioned it is a figure which shows the structural example of TBS (text_body_segment) by which the body (body) of a TTML structure is arrange
  • THAS text_header_all_segment
  • positioned it is a figure which shows the example of a structure of TWS (text
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a transmission device 100 and a reception device 200.
  • the transmission apparatus 100 generates an MPEG2 transport stream TS as a container, and transmits the transport stream TS on a broadcast wave or a net packet.
  • This transport stream TS includes a video stream having encoded video data.
  • this transport stream TS includes a subtitle stream.
  • This subtitle stream includes text information of a subtitle (caption) having display timing information, and abstract information having information corresponding to some information among a plurality of pieces of information indicated by the text information.
  • the text information is, for example, TTML (Timed Text Text Markup Language) proposed by W3C ((World Wide Web Consortium).
  • the abstract information includes subtitle display timing information.
  • This display timing information includes display start timing and display period information.
  • the subtitle stream is configured by a PES packet including a PES header and a PES payload, and the subtitle text information and display timing information are arranged in the PES payload.
  • the display start timing is inserted in the PES header. It is indicated by the display offset from the PTS.
  • the abstract information includes display control information for controlling the display state of the subtitle.
  • the display control information includes subtitle display position, color gamut, and dynamic range information.
  • the abstract information includes information on the target video.
  • the receiving device 200 receives the transport stream TS transmitted from the transmitting device 100 by broadcast waves.
  • the transport stream TS includes a video stream including encoded video data and a subtitle stream including subtitle text information and abstract information.
  • the receiving device 200 obtains video data from the video stream, obtains subtitle bitmap data from the subtitle stream, and extracts abstract information.
  • the receiving apparatus 200 obtains display video data by superimposing the subtitle bitmap data on the video data.
  • the television receiver 200 processes the subtitle bitmap data to be superimposed on the video data based on the abstract information.
  • the abstract information includes subtitle display timing information, and the receiving apparatus 200 controls the superimposition timing of the title bitmap data on the video data based on the display timing information.
  • the abstract information includes display control information for controlling the display state (display position, color gamut, dynamic range, etc.) of the subtitle. Is controlled based on the display control information.
  • FIG. 2 shows a configuration example of the transmission device 100.
  • the transmission apparatus 100 includes a control unit 101, a camera 102, a video photoelectric conversion unit 103, an RGB / YCbCr conversion unit 104, a video encoder 105, a subtitle generation unit 106, a text format conversion unit 107, and a subtitle encoder. 108, a system encoder 109, and a transmission unit 110.
  • the control unit 101 includes a CPU (Central Processing Unit), and controls the operation of each unit of the transmission device 100 based on a control program.
  • the camera 102 images a subject and outputs video data (image data) of HDR (High Dynamic Range) or SDR (Standard Dynamic Range).
  • the HDR image has a contrast ratio of 0 to 100% * N (N is a number greater than 1) exceeding the brightness of the white peak of the SDR image, for example, 0 to 1000%.
  • the level of 100% corresponds to, for example, a white luminance value of 100 cd / m 2 .
  • the video photoelectric conversion unit 103 performs photoelectric conversion on the video data obtained by the camera 102 to obtain transmission video data V1.
  • the SDR photoelectric conversion characteristic is applied to perform photoelectric conversion to obtain SDR transmission video data (transmission video data having the SDR photoelectric conversion characteristic).
  • the HDR photoelectric conversion characteristics are applied to perform photoelectric conversion to obtain HDR transmission video data (transmission video data having HDR photoelectric conversion characteristics).
  • the RGB / YCbCr conversion unit 104 converts the transmission video data from the RGB domain to the YCbCr (luminance / color difference) domain.
  • the video encoder 105 performs encoding such as MPEG4-AVC or HEVC on the transmission video data V1 converted into the YCbCr domain, and generates a video stream (PES stream) VS including the encoded video data.
  • the video encoder 105 has information (transfer function) indicating electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics of the transmission video data V1 in the VUI (video usability information) area of the SPS NAL unit of the access unit (AU). Meta information such as information indicating the color gamut of the transmission video data V1 and information indicating the reference level is inserted.
  • the video encoder 105 includes meta data such as information (transfer function) indicating the electro-optical conversion characteristics corresponding to the photoelectric conversion characteristics of the transmission video data V1 and reference level information in the “SEIs” portion of the access unit (AU).
  • information transfer function
  • SEIs electro-optical conversion characteristics corresponding to the photoelectric conversion characteristics of the transmission video data V1 and reference level information in the “SEIs” portion of the access unit (AU).
  • a newly defined dynamic range / SEI message (Dynamic_range SEI message) having information is inserted.
  • the dynamic range / SEI message is provided with the information indicating the electro-optical conversion characteristics, even if the transmission video data V1 is HDR transmission video data, the HDR photoelectric conversion characteristics are compatible with the SDR photoelectric conversion characteristics.
  • the information indicating the electro-optic conversion characteristic (gamma characteristic) corresponding to the SDR photoelectric conversion characteristic is inserted into the VUI of the SPS NAL unit, the electro-optical conversion characteristic corresponding to the HDR photoelectric conversion characteristic is indicated at a place other than the VUI. This is because information is required.
  • FIG. 3 shows an example of photoelectric conversion characteristics.
  • the horizontal axis indicates the input luminance level
  • the vertical axis indicates the transmission code value.
  • a curve a shows an example of the SDR photoelectric conversion characteristics.
  • a curve b1 shows an example of the HDR photoelectric conversion characteristic (not compatible with the SDR photoelectric conversion characteristic).
  • a curve b2 shows an example of HDR photoelectric conversion characteristics (compatible with SDR photoelectric conversion characteristics).
  • the input luminance level matches the SDR photoelectric conversion characteristic up to the compatibility limit value.
  • the transmission code value becomes the compatibility level.
  • the reference level information is given to the dynamic range / SEI message when the transmission video data V1 is SDR transmission video data
  • the VUI of the SPS NAL unit has an electro-optical conversion characteristic (gamma) corresponding to the SDR photoelectric conversion characteristic. This is because there is no standard specification regarding the insertion of the reference level.
  • FIG. 4A shows a structural example (Syntax) of the dynamic range / SEI message.
  • FIG. 4B shows the contents (Semantics) of main information in the structural example.
  • the 1-bit flag information “Dynamic_range_cancel_flag” indicates whether the message “Dynamic_range” is to be refreshed. “0” indicates that the message is refreshed, and “1” indicates that the message is not refreshed, that is, the previous message is maintained as it is.
  • the 8-bit field of “coded_data_bit_depth” indicates the number of encoded pixel bits.
  • An 8-bit field of “reference_level” indicates a reference luminance level value as a reference level.
  • a 1-bit field of “modify_tf_flag” indicates whether or not to modify Transfer Function (TF) indicated by VUI (video usability information). “0” indicates that the TF indicated by the VUI is a target, and “1” indicates that the TF specified by the “transfer_function” of this SEI is used to modify the TF of the VUI.
  • the 8-bit field of “transfer_function” indicates an electro-optic conversion characteristic corresponding to the photoelectric conversion characteristic of the transmission video data V1.
  • the subtitle generation unit 106 generates text data (character code) DT as subtitle information.
  • the text format conversion unit 107 inputs the text data DT, and obtains text information of a subtitle in a predetermined format, in this embodiment, TTML (Timed Text Markup Language).
  • TTML Timed Text Markup Language
  • FIG. 5 shows an example of a TTML (Timed Text Markup Language) structure.
  • TTML is described on an XML basis.
  • FIG. 6A also shows an example of the TTML structure.
  • TTML consists of a header and a body. Each element such as metadata, styling, styling extension, layout, etc. exists in the header (head).
  • FIG. 7 shows a structural example of metadata (TTM: TTML Metadata). This metadata includes metadata title information and copyright information.
  • FIG. 8A shows a structural example of styling (TTS: TTML Styling).
  • this styling includes information such as region position, size, color (color), font (fontFamily), font size (fontSize), and text alignment (textAlign). Yes.
  • Tts: origin specifies the start position of the region that is the display area of the subtitle by the number of pixels.
  • start position (see arrow P) is (480, 600).
  • Tts: extent specifies the end position of the region by the number of offset pixels in the horizontal and vertical directions from the start position.
  • end position indicates (480 + 560, 600 + 350).
  • the number of offset pixels corresponds to the horizontal and vertical sizes of the region.
  • “Tts: opacity “ 1.0 ”” indicates the mixing ratio between the subtitle (caption) and the background video. For example, “1.0” indicates that the subtitle is 100% and the background video is 0%, and “0.1” indicates that the subtitle (caption) is 0% and the background video is 100%. In the illustrated example, it is “1.0”.
  • FIG. 9 shows a structural example of a styling extension (TTML Styling Extension).
  • the styling extension includes information on a color space and a dynamic range.
  • the color gamut information specifies the color gamut assumed by the subtitle. In the illustrated example, “ITUR2020” is indicated.
  • the dynamic range information specifies whether the dynamic range assumed by the subtitle is SDR or HDR. In the example shown in the figure, the SDR is shown.
  • FIG. 10 shows a structural example of a layout (region: TTML layout).
  • This layout includes information such as an offset (padding), a background color (backgroundColor), an alignment (displayAlign), etc., in addition to the identifier (id) of the region in which the subtitle is arranged.
  • FIG. 11 shows an example of the structure of the body.
  • information of three subtitles subtitle 1 (subtitle 1), subtitle 2 (subtitle 2), and subtitle 3 (subtitle 3) is included.
  • subtitle 1 subtitle 1
  • subtitle 2 subtitle 2
  • subtitle 3 subtitle 3
  • a display start timing and a display end timing are described, and text data is described.
  • the display start timing is “T1”
  • the display end timing is “T3”
  • the text data is “ABC”.
  • the subtitle encoder 108 converts the TTML obtained by the text format conversion unit 107 into various segments, and generates a subtitle stream SS composed of PES packets in which those segments are arranged in the payload.
  • FIG. 12 shows a configuration example of the PES packet.
  • the PES header (PES header) includes PTS (Presentation Time Stamp).
  • the PES data payload (PES data payload) includes APTS (abstract_parameter_TimedText_segment), THMS (text_header_metadata_segment), THSS (text header styling segment), THSES (text_header_styling_extension_segment), THLS (text_header_layout_segment) Yes.
  • the PES data payload may include APTS (abstract_parameter_TimedText_segment), THAS (text_header_all_segment), and TBS (text_body_segment) segments. Further, the PES data payload (PES data payload) may include APTS (abstract_parameter_TimedText_segment) and TWS (text_whole_segment) segments.
  • FIG. 13 shows the segment interface inside the PES.
  • PES_data_field indicates the container portion of the PES data payload of the PES packet.
  • the 8-bit field of “data_identifier” indicates an ID for identifying the type of data transmitted in the container part. Since the conventional subtitle (in the case of a bitmap) is supposed to be indicated by “0x20”, the text can be identified by a new value, for example, “0x21”.
  • the 8-bit field of “subtitle_stream_id” indicates an ID for identifying the type of the subtitle stream.
  • a new value for example, “0x01”, can be distinguished from the conventional subtitle stream “0x00” that transmits a bitmap.
  • FIG. 14 shows APTS (abstract_parameter_TimedText_segment), THMS (text_header_metadata_segment), THSS (text header styling segment), THSES (text_header_styling_extension_segment), THLS (text_header_layout_segment), and TBS (text_body_segment) when PES data is placed in PBS data.
  • APTS abtract_parameter_TimedText_segment
  • THMS text_header_metadata_segment
  • THSS text header styling segment
  • THSES text_header_styling_extension_segment
  • THLS text_header_layout_segment
  • TBS text_body_segment
  • FIG. 15A shows a structural example of “TimedTextSubtitling_segments ()” when each segment of APTS (abstract_parameter_TimedText_segment), THAS (text_header_all_segment), and TBS (text_body_segment) is arranged in the PES data payload.
  • FIG. 15B shows a structural example of “TimedTextSubtitling_segments ()” when each segment of APTS (abstract_parameter_TimedText_segment) and TWS (text_whole_segment) is arranged in the PES data payload.
  • each segment is inserted into the subtitle stream. For example, when there is no change other than the display subtitle, only two segments of APTS (abstract_parameter_TimedText_segment) and TBS (text_body_segment) are configured. In any case, an APTS segment having abstract information is first arranged in the PES data payload, followed by other segments. With such an arrangement, the receiving side can easily and efficiently extract the segment of the abstract information from the subtitle stream.
  • FIG. 16A shows a structural example (syntax) of THMS (text_header_metadata_segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “thm_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is “0x20” indicating THMS, for example.
  • “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • metadata as shown in FIG. 16B is arranged as XML information. This metadata is the same as the metadata element existing in the TTML header (see FIG. 7).
  • FIG. 17A shows a structural example (syntax) of THSS (text_header_styling_segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “ths_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is “0x21” indicating THSS in this example.
  • “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • metadata as shown in FIG. 17B is arranged as XML information. This metadata is the same as the styling element existing in the TTML header (see FIG. 8A).
  • FIG. 18A shows a structural example (syntax) of THSES (text_header_styling_extension_segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “thse_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is “0x22” indicating THSES here, for example.
  • “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • metadata as shown in FIG. 18B is arranged as XML information. This metadata is the same as the element of the styling extension (styling_extension) existing in the TTML header (see FIG. 9A).
  • FIG. 19A shows a structural example (syntax) of THLS (text_header_layout_segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “thl_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is “0x23” indicating THLS, for example.
  • “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • metadata as shown in FIG. 19B is arranged as XML information. This metadata is the same as the layout element existing in the TTML header (see FIG. 10).
  • FIG. 20A shows a structural example (syntax) of TBS (text_body_segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “tb_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is “0x24” indicating TBS here, for example.
  • metadata as shown in FIG. 20B is arranged as XML information. This metadata is the same as the TTML body (see FIG. 11).
  • FIG. 21A shows a structural example (syntax) of THAS (text_header_all_segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “tha_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is “0x25” indicating THAS here, for example.
  • “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • metadata as shown in FIG. 21B is arranged as XML information. This metadata is the entire header.
  • FIG. 22A shows a structural example (syntax) of TWS (text whole segment).
  • This structure includes information of “sync_byte”, “segment_type”, “page_id”, “segment_length”, “tw_version_number”, and “segment_payload ()”.
  • “Segment_type” is 8-bit data indicating the segment type, and is, for example, “0x26” indicating TWS here.
  • “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • metadata as shown in FIG. 22B is arranged as XML information. This metadata is the entire TTML (see FIG. 5). This structure is a structure for maintaining compatibility in the entire TTML, and puts the entire TTML in one segment.
  • the receiving side can recognize the transmission order of TTML. Therefore, even when all the elements of TTML are sent together, the transmission order of TTML is changed. It can be recognized that the process is performed in a predetermined order, the process up to decoding is simplified, and the decoding process can be performed efficiently.
  • FIG. 23B shows metadata (XML information) arranged in “segment_payload ()” in that case.
  • APTS abtract_parameter_TimedText_segment
  • This APTS segment includes abstract information. This abstract information has information corresponding to some information among a plurality of pieces of information indicated by TTML.
  • FIG. 24 and FIG. 25 show a structure example (syntax) of APTS (abstract_parameter_TimedText_segment). 26 and 27 show the contents (Semantics) of main information in the structural example. Like the other segments, this structure includes information on “sync_byte”, “segment_type”, “page_id”, and “segment_length”. “Segment_type” is 8-bit data indicating the segment type, and is “0x19” indicating APTS here, for example. “Segment_length” is 8-bit data indicating the length (size) of the segment.
  • the 4-bit field of “APT_version_number” indicates whether or not there is a change between the contents of the APTS (abstract_parameter_TimedText_segment) and the content that has been sent before. If there is a change, the value is incremented by one.
  • a 4-bit field of “TTM_version_number” indicates whether or not there is a change between the contents of the THMS (text_header_metadata_segment) and the content that has been sent before. If there is a change, the value is incremented by one.
  • a 4-bit field of “TTS_version_number” indicates whether or not there is a change with respect to the content sent to the element of THSS (text_header_styling_segment), and when there is a change, the value is increased by one.
  • the 4-bit field of “TTSE_version_number” indicates whether or not there is a change between the contents sent to the element of THSES (text_header_styling_extension_segment) and if there is a change, the value is incremented by one.
  • the 4-bit field of “TTL_version_number” indicates whether or not there is a change with respect to the content sent to the element of THLS (text_header_layout_segment) before. If there is a change, the value is incremented by one.
  • the 4-bit field of“ TTHA_version_number ” indicates whether or not there is a change between the contents of the THAS (text_header_all_segment) and the content sent previously, and if there is a change, the value is incremented by one.
  • the 4-bit field of “TW_version_number” indicates whether or not there is a change between the contents of TWS (text whole segment) and the contents sent previously, and if there is a change, the value is incremented by one. .
  • the 4-bit field “subtitle_display_area” specifies a subtitle display area (subtitle area). For example, “0x1” specifies 640h * 480v, “0x2” specifies 720h * 480v, “0x3” specifies 720h * 576v, “0x4” specifies 1280h * 720v, and “0x5” 1920h * 1080v is designated, “0x6” designates 3840h * 2160v, and “0x7” designates 7680h * 4320v.
  • the 4-bit field of “subtitle_color_gamut_info” specifies the assumed color gamut of the subtitle.
  • the 4-bit field of “subtitle_dynamic_range_info” specifies the dynamic range assumed by the subtitle. For example, “0x1” indicates SDR and “0x2” indicates HDR. When HDR is specified for the subtitle, it is assumed that the luminance of the subtitle is assumed to be kept below the standard white level of the video.
  • target_video_resolution specifies the assumed video resolution. For example, “0x1” specifies 640h * 480v, “0x2” specifies 720h * 480v, “0x3” specifies 720h * 576v, “0x4” specifies 1280h * 720v, and “0x5” 1920h * 1080v is designated, “0x6” designates 3840h * 2160v, and “0x7” designates 7680h * 4320v.
  • the 4-bit field of “target_video_color_gamut_info” specifies the assumed color gamut of the video. For example, “0x1” indicates “BT.709” and “0x2” indicates “BT.2020”.
  • a 4-bit field of “target_video_dynamic_range_info” specifies an assumed dynamic range of video. For example, “0x1” indicates “BT.709”, “0x2” indicates “BT.202x”, and “0x3” indicates “Smpte 2084”.
  • the 4-bit field of“ number_of_regions ” specifies the number of regions. The following fields exist as many times as there are regions.
  • a 16-bit field of “region_id” indicates a region ID.
  • the 8-bit field of“ start_time_offset ” indicates the display start time of the subtitle as an offset value from the PTS.
  • the offset value of “start_time_offset” is signed, and a negative value indicates display start at a point earlier than PTS.
  • the offset value of “start_time_offset” is 0, it means that display is started at the timing of PTS.
  • the precision of the value in the case of 8-bit representation is up to the first decimal place when the code value is divided by 10.
  • the 8-bit field “end_time_offset” indicates the display end time of the subtitle as an offset value from “start_time_offset”. This offset value indicates the display period. When the offset value of “start_time_offset” described above is 0, it indicates that the display ends at the timing of the value obtained by adding the offset value of “end_time_offset” to PTS. The precision of the value in the case of 8-bit representation is up to the first decimal place when the code value is divided by 10.
  • start_time_offset and “end_time_offset” can be transmitted with the same 90 kHz accuracy as PTS.
  • a 32-bit space is secured as each field of “start_time_offset” and “end_time_offset”.
  • the subtitle encoder 108 converts the display start timing (begin) and display end timing (end) of each subtitle included in the body of the TTML when converting the TTML into a segment. Based on the description, “PTS”, “start_time_offset”, and “end_time_offset” of each subtitle are set with reference to system time information (PCR, video / audio synchronization time). At this time, the subtitle encoder 108 may set the “PTS”, “start_time_offset”, and “end_time_offset” while verifying that the operation on the receiving side is performed correctly using the decoder buffer model. Good.
  • the 16-bit field of “region_start_horizontal” indicates the horizontal pixel position of the upper left corner of the region in the subtitle display area specified by the “subtitle_display_area” described above (see point P in FIG. 8B).
  • a 16-bit field of “region_start_vertical” indicates the vertical pixel position of the upper left end point of the region in the subtitle display area.
  • the 16-bit field “region_end_horizontal” indicates the horizontal pixel position of the lower right corner point (see point Q in FIG. 8B) of the region in the subtitle display area.
  • a 16-bit field of “region_end_vertical” indicates the vertical pixel position of the lower right end point of the region in the subtitle display area.
  • the system encoder 109 generates a transport stream TS including the video stream VS generated by the video encoder 105 and the subtitle stream SS generated by the subtitle encoder 108.
  • the transmission unit 110 transmits the transport stream TS on a broadcast wave or a net packet and transmits it to the reception device 200.
  • Video data (image data) obtained by imaging with the camera 102 is supplied to the video photoelectric conversion unit 103.
  • the video data obtained by the camera 102 is subjected to photoelectric conversion to obtain transmission video data V1.
  • the video data is SDR video data
  • SDR photoelectric conversion characteristics are applied to perform photoelectric conversion
  • SDR transmission video data transmission video data having SDR photoelectric conversion characteristics
  • HDR transmission video data transmission video data having HDR photoelectric conversion characteristics
  • the transmission video data V1 obtained by the video photoelectric conversion unit 103 is supplied from the RGB domain to the YCbCr (luminance / color difference) domain by the RGB / YCbCr conversion unit 104 and then supplied to the video encoder 105.
  • the video encoder 105 performs encoding such as MPEG4-AVC or HEVC on the transmission video data V1 to generate a video stream (PES stream) VS including the encoded video data.
  • information (transfer function) indicating the electro-optic conversion characteristic corresponding to the photoelectric conversion characteristic of the transmission video data V1, and the transmission video data V1 are stored in the VUI area of the SPS NAL unit of the access unit (AU).
  • Meta information such as information indicating a color gamut and information indicating a reference level is inserted.
  • meta data such as information (transfer function) indicating the light-emission conversion characteristic corresponding to the photoelectric conversion characteristic of the transmission video data V1 and information of the reference level is included in the “SEIs” portion of the access unit (AU).
  • SEIs transfer function
  • a newly defined dynamic range SEI message (see FIG. 4) having information is inserted.
  • the subtitle generation unit 106 generates text data (character code) DT as subtitle information.
  • This text data DT is supplied to the text format conversion unit 107.
  • the text format conversion unit 107 converts the subtitle text information having display timing information, that is, TTML, based on the text data DT (see FIGS. 3 and 4). This TTML is supplied to the subtitle encoder 108.
  • the subtitle encoder 108 converts the TTML obtained by the text format conversion unit 107 into various segments, and generates a subtitle stream SS composed of PES packets in which those segments are arranged in the payload.
  • an APTS segment having abstract information (see FIGS. 24 to 27) is first arranged in the payload of the PES packet, and subsequently, a segment having subtitle text information is arranged (see FIG. 12).
  • the video stream VS generated by the video encoder 105 is supplied to the system encoder 109.
  • the subtitle stream SS generated by the subtitle encoder 108 is supplied to the system encoder 109.
  • a transport stream TS including the video stream VS and the subtitle stream SS is generated.
  • the transport stream TS is transmitted to the receiving device 200 by the transmitting unit 110 on a broadcast wave or a net packet.
  • FIG. 29 illustrates a configuration example of the receiving device 200.
  • the receiving apparatus 200 includes a control unit 201, a user operation unit 202, a reception unit 203, a system decoder 204, a video decoder 205, a subtitle decoder 206, a color gamut / luminance conversion unit 207, a position / size conversion. Part 208.
  • the receiving apparatus 200 includes a video superimposing unit 209, a YCbCr / RGB converting unit 210, an electro-optic converting unit 211, a display mapping unit 212, and a CE monitor 213.
  • the control unit 201 includes a CPU (Central Processing Unit) and controls the operation of each unit of the receiving device 200 based on a control program.
  • the user operation unit 202 is a switch, a touch panel, a remote control transmission unit, or the like for a user such as a viewer to perform various operations.
  • the reception unit 203 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets.
  • the system decoder 204 extracts the video stream VS and the subtitle stream SS from the transport stream TS. Further, the system decoder 204 extracts various information inserted in the transport stream TS (container) and sends it to the control unit 201.
  • the video decoder 205 decodes the video stream VS extracted by the system decoder 204 and outputs transmission video data V1. In addition, the video decoder 205 extracts a parameter set or SEI message inserted in each access unit constituting the video stream VS and sends it to the control unit 201.
  • the SEI message also includes a dynamic range SEI message (see FIG. 4) having information (transfer function) indicating electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics of the transmission video data V1, reference level information, and the like. .
  • the subtitle decoder 206 processes segment data of each region included in the subtitle stream SS and outputs bitmap data of each region to be superimposed on the video data.
  • the subtitle decoder 206 also extracts the abstract information included in the APTS segment and sends it to the control unit 201.
  • This abstract information includes subtitle display timing information, subtitle display control information (subtitle display position, color gamut and dynamic range information), and target video information (resolution, color gamut and dynamic range information). Etc. are included.
  • the display timing information and display control information of the subtitle are included in the XML information arranged in “segment_payload ()” of the segment other than APTS, it can also be obtained by scanning the XML information.
  • abstract information can be easily obtained from the APTS segment only by extraction.
  • the target video information (resolution, color gamut, and dynamic range information) can be acquired from the video stream VS system, but can be easily obtained simply by extracting the abstract information from the APTS segment.
  • FIG. 30 shows a configuration example of the subtitle decoder 206.
  • the subtitle decoder 206 includes a coded buffer 261, a subtitle segment decoder 262, a font development unit 263, and a bitmap buffer 264.
  • the coded buffer 261 temporarily holds the subtitle stream SS.
  • the subtitle segment decoder 262 decodes the segment data of each region held in the coded buffer 261 at a predetermined timing to obtain text data and control codes of each region.
  • the font expansion unit 263 expands the font based on the text data and control code of each region obtained by the subtitle segment decoder 262, and obtains subtitle bitmap data of each region.
  • the font development unit 263 uses, for example, position information (“region_start_horizontal”, “region_start_vertical”, “region_end_horizontal”, “region_end_vertical”) included in the abstract information as the position information of each region.
  • Bitmap data of this subtitle is obtained in the RGB domain.
  • the color gamut of the bitmap data of the subtitle matches the color gamut indicated by the color gamut information of the subtitle included in the abstract information.
  • the dynamic range of the bitmap data of the subtitle is assumed to match the dynamic range indicated by the dynamic range information of the subtitle included in the abstract information.
  • the subtitle bitmap data has a dynamic range of SDR and is subjected to photoelectric conversion by applying SDR photoelectric conversion characteristics.
  • the dynamic range information is “HDR”
  • the subtitle bitmap data has a dynamic range of HDR and is subjected to photoelectric conversion by applying the HDR photoelectric conversion characteristics. In this case, it is limited to the luminance range up to the HDR reference level on the premise of superimposition on the HDR video.
  • the bitmap buffer 264 temporarily holds bitmap data of each region obtained by the font development unit 263.
  • the bitmap data of each region held in the bitmap buffer 264 is read from the display start timing and superimposed on the image data, and this is continued for the display period.
  • the subtitle segment decoder 262 extracts the PTS from the PES header of the PES packet.
  • the subtitle segment decoder 262 extracts abstract information from the APTS segment. These pieces of information are sent to the control unit 201.
  • the control unit 201 controls the read timing of the bitmap data of each region from the bitmap buffer 264 based on the PTS and the information of “start_time_offset” and “end_time_offset” included in the abstract information.
  • the color gamut / luminance conversion unit 207 controls the color gamut information (“subtitle_color_gamut_info”) of the subtitle bitmap data and the color gamut information (“target_video_color_gamut_info”) of the video data under the control of the control unit 201.
  • the color gamut of the subtitle bitmap data is matched with the color gamut of the video data.
  • the color gamut / luminance conversion unit 207 is controlled by the control unit 201 based on the dynamic range information (“subtitle_dynamic_range_info”) of the subtitle bitmap data and the dynamic range information (“target_video_dynamic_range_info”) of the video data. Adjustment is made so that the maximum luminance level of the subtitle bitmap data is equal to or lower than the luminance reference level of the video data.
  • FIG. 31 shows a configuration example of the color gamut / luminance conversion unit 207.
  • the color gamut luminance conversion unit 210 includes an electro-optic conversion unit 221, a color gamut conversion unit 222, a photoelectric conversion unit 223, an RGB / YCbCr conversion unit 224, and a luminance conversion unit 225.
  • the light-to-light converter 221 performs photoelectric conversion on the input subtitle bitmap data.
  • the electro-optic conversion unit 221 performs electro-optic conversion by applying the SDR electro-optic conversion characteristics to obtain a linear state.
  • the dynamic range of the subtitle bitmap data is SDR
  • the electro-optic conversion unit 221 performs electro-optic conversion by applying the HDR electro-optic conversion characteristics to obtain a linear state. It is also conceivable that the input subtitle bitmap data is in a linear state where no photoelectric conversion is performed. In that case, the electro-optic conversion unit 221 becomes unnecessary.
  • the color gamut conversion unit 222 matches the color gamut of the subtitle bitmap data output from the electro-optic conversion unit 221 with the color gamut of the video data. For example, when the color gamut of the subtitle bitmap data is “BT.709” and the video data gamut is “BT.2020”, the color gamut of the subtitle bitmap data is changed from “BT.709” to “BT.709”. Converted to BT.2020 ". When the color gamut of the subtitle bitmap data is the same as that of the video data, the color gamut conversion unit 222 outputs the input subtitle bitmap data as it is without doing anything.
  • the photoelectric conversion unit 223 performs photoelectric conversion on the subtitle bitmap data output from the color gamut conversion unit 222 by applying the same photoelectric conversion characteristic as that applied to the video data.
  • the RGB / YCbCr conversion unit 224 converts the subtitle bitmap data output from the photoelectric conversion unit 223 from the RGB domain to the YCbCr (luminance / color difference) domain.
  • the luminance conversion unit 225 For the subtitle bitmap data output from the RGB / YCbCr converter 224, the luminance conversion unit 225 has the maximum luminance level of the subtitle bitmap data equal to or lower than the reference level of the luminance of the video data. Adjustment is performed so that the white level is obtained, and output bitmap data is obtained. In this case, if the bitmap data of the subtitle has already been subjected to brightness adjustment of the bitmap data in consideration of rendering to the HDR video, when the video data is HDR, it is input without doing anything substantially. The subtitle bitmap data is output as is.
  • FIG. 32 shows a configuration example of the configuration unit 225Y related to the luminance signal Y included in the luminance conversion unit 225.
  • the configuration unit 225 ⁇ / b> Y includes an encoded pixel bit number adjustment unit 231 and a level adjustment unit 232.
  • the encoded pixel bit number adjusting unit 231 matches the encoded pixel bit number of the luminance signal Ys of the subtitle bitmap data with the encoded pixel bit number of the video data. For example, when the number of encoded pixel bits of the luminance signal Ys is “8 bits” and the number of encoded pixel bits of the video data is “10 bits”, the number of encoded pixel bits of the luminance signal Ys is changed from “8 bits” to “10 bits”. Converted.
  • the level adjustment unit 232 adjusts the luminance signal Ys combined with the number of encoded pixel bits so that the maximum level is equal to or lower than the reference level of the luminance of the video data or the reference white level, and outputs the output luminance signal Ys ′. And
  • FIG. 33 schematically shows the operation of the component 225Y shown in FIG.
  • the illustrated example shows a case where the video data is HDR.
  • the reference level is the boundary between the non-shiny part and the shiny part.
  • a reference level exists between the maximum level (sc_high) and the minimum level (sc_low) of the luminance signal Ys after the number of encoded pixel bits is adjusted.
  • the maximum level (sc_high) is adjusted to be equal to or lower than the reference level.
  • a linear scale-down method is employed.
  • the configuration unit 225Y (see FIG. 32) related to the luminance signal Ys included in the luminance conversion unit 225 has been described.
  • the luminance conversion unit 225 only the process of matching the number of encoded pixel bits with the number of encoded pixel bits of video data is performed on the color difference signals Cb and Cr.
  • the entire range expressed by the bit width is set to 100%, and the median value is used as a reference, and 50% in the positive direction from the reference value and in the negative direction. Is converted to a 50% amplitude.
  • the position / size conversion unit 208 performs position conversion processing on the subtitle bitmap data obtained by the color gamut / brightness conversion unit 207 under the control of the control unit 201.
  • the position / size conversion unit 208 displays the subtitle at an appropriate position in the background video. Change the position of the subtitle.
  • the subtitle is compatible with HD resolution and the video is UHD resolution
  • the UHD resolution exceeds the HD resolution and includes 4K resolution or 8K resolution.
  • FIG. 34 (a) shows an example in which the video is UHD resolution and the subtitle is HD resolution compatible.
  • the subtitle display area is represented by “subtitle area” in the figure.
  • the positional relationship between “subtitle area” and the video is represented by a reference position shared by both, that is, the left-top.
  • the pixel position of the start point of the region is (a, b), and the pixel position of the end point is (c, d).
  • the display position of the subtitle on the background video is not the position intended by the production side, but is biased to the upper right.
  • FIG. 34 (b) shows an example when the position conversion process is performed.
  • the pixel position of the start point of the region that is the subtitle display area is (a ′, b ′), and the pixel position of the end point is (c ′, d ′).
  • the position coordinates of the region before the position conversion are the coordinates of the HD display area, they are converted into the coordinates of the UHD display area according to the relationship with the video image frame, and thus based on the ratio of the UHD resolution to the HD resolution.
  • the subtitle size conversion processing is performed simultaneously with the position conversion.
  • the position / size conversion unit 208 applies the subtitle bitmap data obtained by the color gamut / brightness conversion unit 207 according to the operation of a user such as a viewer under the control of the control unit 201.
  • the subtitle size conversion processing is performed automatically from the relationship between the video resolution and the subtitle corresponding resolution.
  • region center position As shown in FIG. 35 (a), from the center position of the display area (dc: display center) to the center position of the region (region), that is, the point that divides the region into two horizontal and vertical directions (region center position: rc) Is determined in proportion to the video resolution.
  • the center position rc of the region is defined from the center position dc of the subtitle display area
  • the range from dc to rc The position is controlled so that the distance is doubled by the number of pixels.
  • the ratio between the distance from rc to (rsx2, rsy2) and the distance from rc to (rsx1, rsy1), the distance from rc to (rex2, rey2), and the distance from rc to (rex1, rey1) The ratio of is made to be consistent with Ratio.
  • the video superimposing unit 209 superimposes the subtitle bitmap data output from the position / size converting unit 208 on the transmission video data V1 output from the video decoder 205.
  • the video superimposing unit 209 mixes the subtitle bitmap data at the mixing ratio indicated by the mixing ratio information (Mixing data) obtained by the subtitle decoder 206.
  • the YCbCr / RGB conversion unit 210 converts the transmission video data V1 ′ on which the subtitle bitmap data is superimposed from the YCbCr (luminance / color difference) domain to the RGB domain. In this case, the YCbCr / RGB conversion unit 210 performs conversion using a conversion formula corresponding to the color gamut based on the color gamut information.
  • the electro-optic conversion unit 211 performs electro-optic conversion by applying electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics applied to the transmission video data V1 ′ converted into the RGB domain, and displays the image. For video data.
  • the display mapping unit 212 performs display luminance adjustment on the display video data according to the maximum luminance display capability of the CE monitor 213.
  • the CE monitor 213 displays an image based on the display video data for which the display brightness is adjusted.
  • the CE monitor 213 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), or the like.
  • the reception unit 203 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets.
  • This transport stream TS is supplied to the system decoder 204.
  • the system decoder 204 extracts the video stream VS and the subtitle stream SS from the transport stream TS. Further, the system decoder 204 extracts various information inserted in the transport stream TS (container) and sends it to the control unit 201.
  • the video stream VS extracted by the system decoder 204 is supplied to the video decoder 205.
  • the video stream VS is decoded to obtain transmission video data V1. Further, the video decoder 205 extracts a parameter set and SEI message inserted in each access unit constituting the video stream VS and sends the extracted parameter set and SEI message to the control unit 201.
  • the SEI message also includes a dynamic range SEI message (see FIG. 4) having information (transfer function) indicating electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics of the transmission video data V1, reference level information, and the like. .
  • the subtitle stream SS extracted by the system decoder 204 is supplied to the subtitle decoder 206.
  • the segment data of each region included in the subtitle stream SS is subjected to decoding processing, and the subtitle bitmap data of each region to be superimposed on the video data is obtained.
  • subtitle decoder 206 abstract information included in the APTS segment (see FIGS. 24 and 25) is extracted and sent to the control unit 201.
  • This abstract information includes subtitle display timing information, subtitle display control information (subtitle display position, color gamut and dynamic range information), and target video information (resolution, color gamut and dynamic range information). Etc. are included.
  • the subtitle decoder 206 controls the subtitle bit of each region by the control unit 201 based on the display timing information (“start_time_offset” and “end_time_offset”) of the subtitle included in the abstract information.
  • the output timing of map data is controlled.
  • the bitmap data of the subtitle of each region obtained by the subtitle decoder 206 is supplied to the color gamut / luminance conversion unit 207.
  • the color gamut / luminance conversion unit 207 under the control of the control unit 201, for example, based on the color gamut information (“subtitle_color_gamut_info” and “target_video_color_gamut_info”) included in the abstract information, the color gamut of the subtitle bitmap data is changed. , Matched to the color gamut of the video data.
  • the color gamut / luminance conversion unit 207 controls the luminance of the subtitle bitmap data based on the dynamic range information (“subtitle_dynamic_range_info”, “target_video_dynamic_range_info”) included in the abstract information, for example, under the control of the control unit 201. Is adjusted to be equal to or lower than the reference level of the luminance of the video data.
  • the bitmap data of the subtitles of each region obtained by the color gamut / luminance conversion unit 207 is supplied to the position / size conversion unit 208.
  • the subtitle bitmap data of each region is controlled based on, for example, resolution information (“subtitle_display_area”, “target_video_resolution”) included in the abstract information under the control of the control unit 201.
  • the position conversion process is performed.
  • the position / size conversion unit 208 applies the subtitle bitmap data obtained by the color gamut / brightness conversion unit 207 according to a user operation such as a viewer under the control of the control unit 201.
  • the subtitle size conversion process is automatically performed based on the relationship between the video resolution and the subtitle corresponding resolution.
  • the transmission video data V1 obtained by the video decoder 204 is supplied to the video superimposing unit 209. Also, the subtitle bitmap data of each region obtained by the position / size conversion unit 208 is supplied to the video superimposing unit 209. The video superimposing unit 209 superimposes the subtitle bitmap data of each region on the transmission video data V1. In this case, the subtitle bitmap data is mixed at the mixing ratio indicated by the mixing ratio information (Mixing data).
  • the transmission video data V1 ′ obtained by superimposing the subtitle bitmap data of each region obtained by the video superimposing unit 209 is converted from the YCbCr (luminance / color difference) domain to the RGB domain by the YCbCr / RGB conversion unit 210. , And supplied to the electro-optic conversion unit 211.
  • electro-optic conversion unit 211 electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics applied to the transmission video data V1 ′ are applied to perform electro-optic conversion, and display video data for displaying an image is obtained. .
  • Display video data is supplied to the display mapping unit 212.
  • display luminance adjustment is performed on the display video data in accordance with the maximum luminance display capability of the CE monitor 213 and the like.
  • the display video data whose display brightness is adjusted in this way is supplied to the CE monitor 213.
  • An image is displayed on the CE monitor 213 based on the display video data.
  • the subtitle stream includes the abstract information corresponding to the text information together with the text information of the subtitle. Therefore, the receiving side can perform processing for subtitle display using the abstract information, and the processing load can be reduced.
  • a subtitle stream SS including a PES packet in which segments of APTS (abstract_parameter_TimedText_segment) and TBS (text body segment) are arranged in the PES data payload is transmitted.
  • TBS segment data and region position information (Region_position) included in the APTS segment subtitle bitmap data for displaying the word “ABC” at the position of the region “region ⁇ ⁇ ⁇ ⁇ ⁇ r1” Is generated.
  • the receiving side outputs this bitmap data from the display start timing T1 to the display end timing T3 based on the PTS1 and the display timing information (STS1, ETS1) included in the APTS segment.
  • STS1, ETS1 the display timing information included in the APTS segment.
  • a subtitle stream SS including a PES packet in which segments of APTS (abstract_parameter_TimedText_segment) and TBS (text body segment) are arranged in the PES data payload is transmitted.
  • TBS segment data and region position information (Region_position) included in the APTS segment subtitle bitmap data for displaying the word “DEF” at the position of the region “region ⁇ ⁇ ⁇ ⁇ ⁇ r2” Is generated.
  • the receiving side outputs this bitmap data from the display start timing T2 to the display end timing T5 based on the PTS2 and the display timing information (STS2, ETS2) included in the APTS segment.
  • STS2, ETS2 the display timing information included in the APTS segment.
  • a subtitle stream SS including a PES packet in which segments of APTS (abstract_parameter_TimedText_segment) and TBS (text body segment) are arranged in the PES data payload is transmitted.
  • TBS segment data and region position information (Region_position) included in the APTS segment subtitle bitmap data for displaying the word “GHI” at the position of the region “region ⁇ ⁇ ⁇ ⁇ ⁇ r3” Is generated.
  • the receiving side outputs the bitmap data from the display start timing T4 to the display end timing T6 based on the display timing information (STS3, ETS3) included in the PTS3 and the APTS segment.
  • STS3, ETS3 display timing information included in the PTS3
  • APTS segment the display timing information included in the PTS3 and the APTS segment.
  • TTML is used as text information of a subtitle having a predetermined format having display timing information.
  • present technology is not limited to this, and other timed text information having information equivalent to TTML may be used.
  • a TTML derivative format may be used.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology is not limited to the MPEG-2 TS container, and can be similarly realized even with other format containers such as MMT or ISOBMFF.
  • the transmission / reception system 10 including the transmission device 100 and the reception device 200 is shown, but the configuration of the transmission / reception system to which the present technology can be applied is not limited thereto.
  • the configuration of the receiver 200 may be a set-top box and a monitor connected by a digital interface such as HDMI (High-Definition Multimedia Interface). “HDMI” is a registered trademark.
  • this technique can also take the following structures.
  • a video encoding unit for generating a video stream including encoded video data
  • a subtitle encoding unit for generating a subtitle stream including text information of a subtitle having display timing information, and abstract information having information corresponding to some of the plurality of pieces of information indicated by the text information
  • a transmission apparatus comprising: a transmission unit configured to transmit a container including the video stream and the subtitle stream.
  • the abstract information includes display timing information of a subtitle.
  • the display timing information of the subtitle includes information of a display start timing and a display period.
  • the subtitle stream is composed of PES packets including a PES header and a PES payload.
  • the subtitle text information and the abstract information are arranged in the PES payload, The transmission device according to (3), wherein the display start timing is indicated by a display offset from the PTS inserted in the PES header.
  • the abstract information includes display control information for controlling a display state of a subtitle.
  • the display control information includes at least information of a subtitle display position, a color gamut, and a dynamic range.
  • the display control information further includes target video information.
  • the abstract information includes notification information for notifying that an element of text information of the subtitle is changed.
  • the subtitle encoding part The transmission apparatus according to any one of (1) to (8), wherein the subtitle text information and the abstract information are segmented to generate the subtitle stream having a predetermined number of segments.
  • the subtitle stream includes The transmission device according to (9), wherein the abstract information segment is arranged first, and then the subtitle text information segment is arranged.
  • (11) The transmission device according to any one of (1) to (10), wherein the text information of the subtitle is TTML or a derived format of the TTML.
  • a video encoding step for generating a video stream including encoded video data
  • a subtitle encoding step for generating a subtitle stream including text information of a subtitle having display timing information and abstract information having information corresponding to some of the plurality of pieces of information indicated by the text information
  • a transmission method comprising: a transmission step of transmitting a container including the video stream and the subtitle stream by a transmission unit.
  • a receiving unit that receives a container of a predetermined format including a video stream and a subtitle stream,
  • the video stream includes encoded video data
  • the subtitle stream includes text information of a subtitle having display timing information, and abstract information having information corresponding to some information of a plurality of pieces of information indicated by the text information
  • a video decoding unit that obtains video data by performing a decoding process on the video stream
  • a subtitle decoding unit that performs decoding processing on the subtitle stream to obtain bitmap data of the subtitle, and extracts the abstract information
  • a video superimposing unit for superimposing the subtitle bitmap data on the video data to obtain display video data
  • a receiving apparatus further comprising: a control unit that controls bitmap data of a subtitle superimposed on the video data based on the abstract information.
  • the abstract information includes subtitle display timing information, The control unit The receiving device according to (13), wherein the superimposition timing of the subtitle bitmap data on the video data is controlled based on display timing information of the subtitle.
  • the abstract information includes display control information for controlling the display state of the subtitle.
  • the control unit The receiving device according to (13) or (14), wherein the state of the bitmap of the subtitle superimposed on the video data is controlled based on the display control information.
  • the reception unit includes a reception step of receiving a container in a predetermined format including the video stream and the subtitle stream,
  • the video stream includes encoded video data
  • the subtitle stream includes text information of a subtitle having display timing information, and abstract information having information corresponding to some information of a plurality of pieces of information indicated by the text information,
  • a video decoding step for obtaining video data by performing a decoding process on the video stream;
  • a subtitle decoding step of performing decoding processing on the subtitle stream to obtain bitmap data of the subtitle and extracting the abstract information;
  • a receiving method further comprising: a control step of controlling bitmap data of a subtitle superimposed on the video data based on the abstract information.
  • a video encoding unit that generates a video stream including encoded video data
  • a subtitle encoding unit that generates one or a plurality of segments in which elements of text information of a subtitle having display timing information are arranged, and generates a subtitle stream including the one or more segments
  • a transmission apparatus comprising: a transmission unit configured to transmit a container having a predetermined format including the video stream and the subtitle stream.
  • the subtitle encoding unit When generating one segment in which all elements of the text information of the subtitle are arranged, The transmission device according to (17), wherein information regarding the transmission order and / or presence / absence of update of the subtitle text information is inserted into the segment layer or the element layer.
  • the main feature of this technology is that the subtitle stream includes the text information of the subtitle and the abstract information corresponding to the text information, thereby reducing the processing load for displaying the subtitle on the receiving side. (See FIG. 12).
  • DESCRIPTION OF SYMBOLS 10 ... Transmission / reception system 100 ... Transmission apparatus 101 ... Control part 102 ... Camera 103 ... Video photoelectric conversion part 104 ... RGB / YCbCr conversion part 105 ... Video encoder 106 ... Subtitle generation unit 107 ... Text format conversion unit 108 ... Subtitle encoder 109 ... System encoder 110 ... Transmission unit 200 ... Receiving device 201 ... Control unit 202 ... User operation unit 203 .. receiving unit 204... System decoder 205... Video decoder 206 .. subtitle decoder 207 .. color gamut / luminance conversion unit 208... Position / size conversion unit 209. ..YCbCr / RGB conversion unit 211 ...
  • Electro-optic conversion unit 212 ... Display mapping Unit 213... CE monitor 221... Light conversion unit 222 .. color gamut conversion unit 223 .. photoelectric conversion unit 224... RGB / YCbCr conversion unit 225 .. luminance conversion unit 225 Y. 231... Encoded pixel bit number adjustment unit 232... Level adjustment unit 261. Coded buffer 262 .. subtitle segment decoder 263... Font development unit 264.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

受信側におけるサブタイトル表示のための処理負荷の軽減を図る。　符号化ビデオデータを含むビデオストリームを生成する。表示タイミング情報を持つサブタイトルのテキスト情報と、このテキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームを生成する。ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを送信する。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、ビデオ情報と共にテキスト情報を送信する送信装置等に関する。
　従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、サブタイトル（字幕）の情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている。この場合、受信側で解像度に応じたフォント展開がなされる。
　また、サブタイトルの情報をテキストベースで送信する場合、テキスト情報にタイミング情報を持たせることが提案されている。このテキスト情報として、例えば、Ｗ３Ｃ（(World Wide Web Consortium）でＴＴＭＬ（Timed Text Markup Language）が提唱されている（特許文献１参照）。
特開２０１２－１６９８８５号公報
　ＴＴＭＬで表現されるサブタイトルのテキスト情報は、マークアップ言語（markup language）の形でファイルとして扱われる。この場合、各パラメータの転送順の制約がないことから、受信側では、重要なパラメータを取得するために、ファイル全体をスキャンするということが必要となる。
　本技術の目的は、受信側におけるサブタイトル表示のための処理負荷の軽減を図ることにある。
　本技術の概念は、
　符号化ビデオデータを含むビデオストリームを生成するビデオエンコード部と、
　表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームを生成するサブタイトルエンコード部と、
　上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
　送信装置にある。
　本技術において、ビデオエンコード部により、符号化ビデオデータを含むビデオストリームが生成される。サブタイトルエンコーダにより、表示タイミング情報を持つサブタイトルのテキスト情報と、このテキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームが生成される。例えば、サブタイトルのテキスト情報は、ＴＴＭＬ、あるいはこのＴＴＭＬの派生フォーマットである、ようにされてもよい。そして、送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。
　例えば、アブストラクト情報には、サブタイトルの表示タイミング情報が含まれる、ようにされてもよい。受信側では、サブタイトルのテキスト情報をスキャンすることなく、アブストラクト情報に含まれるサブタイトルの表示タイミング情報に基づいて、サブタイトルの表示タイミングを制御することが可能となる。
　この場合、例えば、サブタイトルの表示タイミング情報は、表示開始タイミングと表示期間の情報を持つ、ようにされてもよい。そして、この場合、サブタイトルストリームは、ＰＥＳヘッダとＰＥＳペイロードとからなるＰＥＳパケットにより構成され、サブタイトルのテキスト情報とアブストラクト情報はＰＥＳペイロードに配置され、表示開始タイミングは、ＰＥＳヘッダに挿入されているＰＴＳ（Presentation Time Stamp）からの表示オフセットで示される、ようにされてもよい。
　また、例えば、アブストラクト情報には、サブタイトルの表示状態を制御する表示制御情報が含まれる、ようにされてもよい。受信側では、サブタイトルのテキスト情報をスキャンすることなく、アブストラクト情報に含まれる表示制御情報に基づいて、サブタイトルの表示状態を制御することが可能となる。
　この場合、例えば、表示制御情報には、少なくともサブタイトルの表示位置、色域およびダイナミックレンジのうちのいずれかの情報が含まれる、ようにされてもよい。そして、この場合、例えば、表示制御情報には、対象ビデオの情報がさらに含まれる、ようにされてもよい。
　また、例えば、アブストラクト情報には、サブタイトルのテキスト情報の要素に変化があることを通知する通知情報が含まれる、ようにされてもよい。この通知情報により、受信側では、サブタイトルのテキスト情報の要素に変化があることを容易に認識でき、サブタイトルのテキスト情報の要素のスキャンを効率よく行うことが可能となる。
　また、例えば、サブタイトルエンコード部は、サブタイトルのテキスト情報とアブストラクト情報をセグメント化し、所定数のセグメントを持つサブタイトルストリームを生成する、ようにされてもよい。この場合、受信側では、サブタイトルストリームからアブストラクト情報を含むセグメントを抽出することで、アブストラクト情報を容易に取得可能となる。
　この場合、例えば、サブタイトルストリームには、アブストラクト情報のセグメントが最初に配置され、続いてサブタイトルのテキスト情報のセグメントが配置される、ようにされてもよい。このようにアブストラクト情報のセグメントが最初に配置されることで、受信側では、サブタイトルストリームからアブストラクト情報のセグメントの抽出を簡単かつ効率よく行い得る。
　このように本技術においては、サブタイトルストリームに、サブタイトルのテキスト情報と共に、そのテキスト情報に対応したアブストラクト情報を含めるものである。そのため、受信側では、アブストラクト情報を用いてサブタイトル表示のため処理を行うことができ、処理負荷の軽減を図ることが可能となる。
　また、本技術の他の概念は、
　ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記ビデオストリームは、符号化ビデオデータを含み、
　上記サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含み、
　上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得ると共に、上記アブストラクト情報を抽出するサブタイトルデコード処理と、上記ビデオデータに上記サブタイトルのビットマップデータを重畳して表示用ビデオデータを得るビデオ重畳処理と、上記ビデオデータに重畳されるサブタイトルのビットマップデータを上記アブストラクト情報に基づいて処理するビットマップデータ処理を制御する制御部をさらに備える
　受信装置にある。
　本技術において、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが受信される。ビデオストリームには、符号化ビデオデータが含まれている。サブタイトルストリームには、表示タイミング情報を持つサブタイトルのテキスト情報と、このテキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報が含まれている。
　制御部により、ビデオデコード処理、サブタイトルデコード処理、ビデオ重畳処理およびビットマップデータ処理が制御される。ビデオデコード処理では、ビデオストリームがデコードされてビデオデータが得られる。また、サブタイトルデコード処理では、、サブタイトルストリームがデコードされて、サブタイトルのビットマップデータが得られると共に、アブストラクト情報が抽出される。
　ビデオ重畳処理では、ビデオデータにサブタイトルのビットマップデータが重畳されて表示用ビデオデータが得られる。ビットマップデータ処理では、ビデオデータに重畳されるサブタイトルのビットマップデータがアブストラクト情報に基づいて処理される。
　例えば、アブストラクト情報には、サブタイトルの表示タイミング情報が含まれており、ビットマップデータ処理では、ビデオデータへのサブタイトルのビットマップデータの重畳タイミングを、サブタイトルの表示タイミング情報に基づいて制御する、ようにされてもよい。
　また、例えば、アブストラクト情報には、サブタイトルの表示状態を制御する表示制御情報が含まれており、ビットマップデータ処理では、ビデオデータに重畳されるサブタイトルのビットマップの状態を表示制御情報に基づいて制御する、ようにされてもよい。
　このように本技術においては、ビデオデータに重畳されるサブタイトルのビットマップデータを、サブタイトルストリームから抽出されたアブストラクト情報に基づいて処理するものである。そのため、サブタイトル表示のための処理負荷の軽減を図ることが可能となる。
　また、本技術の他の概念は、
　符号化ビデオデータを含むビデオストリームを生成するビデオエンコード部と、
　表示タイミング情報を持つサブタイトルのテキスト情報の要素が配置された１つまたは複数のセグメントを生成し、該１つまたは複数のセグメントを含むサブタイトルストリームを生成するサブタイトルエンコード部と、
　上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
　送信装置にある。
　本技術において、ビデオエンコード部により、符号化ビデオデータを含むビデオストリームが生成される。サブタイトルエンコード部により、表示タイミング情報を持つサブタイトルのテキスト情報の要素が配置された１つまたは複数のセグメントが生成され、この１つまたは複数のセグメントを含むサブタイトルストリームが生成される。例えば、サブタイトルのテキスト情報は、ＴＴＭＬ、あるいは該ＴＴＭＬの派生フォーマットである、ようにされてもよい。送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。
　このように本技術においては、表示タイミング情報を持つサブタイトルのテキスト情報をセグメント化してサブタイトルストリームに含めて送信するものである。そのため、受信側では、サブタイトルのテキスト情報の各要素の受信を良好に行うことが可能となる。
　なお、本技術において、例えば、サブタイトルエンコード部は、サブタイトルのテキスト情報の全ての要素が配置された１つのセグメントを生成する場合、セグメントのレイヤまたはそれに配置される要素のレイヤに、サブタイトルのテキスト情報の伝送順および/または更新の有無に関する情報を挿入する、ようにされてもよい。サブタイトルのテキスト情報の伝送順に関する情報が挿入されることで、受信側では、サブタイトルのテキスト情報の伝送順を認識できることから、デコード処理を効率よく行うことが可能となる。また、サブタイトルのテキスト情報の更新の有無に関する情報が挿入されることで、受信側では、サブタイトルのテキスト情報の更新の有無を容易に把握可能となる。
　本技術によれば、受信側におけるサブタイトル表示のための処理負荷の軽減を図ることができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 光電変換特性の例を示す図である。 ダイナミックレンジ・ＳＥＩメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 ＴＴＭＬ構造を示す図である。 ＴＴＭＬ構造を示す図である。 ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。 ＴＴＭＬ構造のヘッダ（head）に存在するスタイリング（ＴＴＳ：TTML Styling）の構造例を示す図である。 ＴＴＭＬ構造のヘッダ（head）に存在するスタイリング・エクステンション（ＴＴＳＥ：TTML Styling Extension）の構造例を示す図である。 ＴＴＭＬ構造のヘッダ（head）に存在するレイアウト（ＴＴＬ：TTML layout）の構造例を示す図である。 ＴＴＭＬ構造のボディ（body）の構造例を示す図である。 ＰＥＳパケットの構成例を示す図である。 ＰＥＳ内部のセグメント・インタフェースを示す図である。 ＰＥＳデータペイロードに配置される「TimedTextSubtitling_segments()」の構造例を示す図である。 ＰＥＳデータペイロードに配置される「TimedTextSubtitling_segments()」の他の構造例を示す図である。 メタデータ（ＴＴＭ）が配置されるＴＨＭＳ（text_header_metadata_segment）の構造例を示す図である。 スタイリング（ＴＴＳ）が配置されるＴＨＳＳ（text_header_styling_segment）の構造例を示す図である。 スタイリング・エクステンション（ＴＴＭＬ）が配置されるＴＨＳＥＳ（text_header_styling_extension_segment）の構造例を示す図である。 レイアウト（ＴＴＬ）が配置されるＴＨＬＳ（text_header_layout_segment）の構造例を示す図である。 ＴＴＭＬ構造のボディ（body）が配置されるＴＢＳ（text_body_segment）の構造例を示す図である。 ＴＴＭＬ構造のヘッダ（head）が配置されるＴＨＡＳ（text_header_all_segment）の構造例を示す図である。 ＴＴＭＬ構造の全体が配置されるＴＷＳ（text whole segment）の構造例を示す図である。 ＴＴＭＬ構造の全体が配置されるＴＷＳ（text whole segment）の他の構造例を示す図である。 アブストラクト情報が配置されたＡＰＴＳ（abstract_parameter_TimedText_segment）の構造例を示す図（１/２）である。 アブストラクト情報が配置されたＡＰＴＳ（abstract_parameter_TimedText_segment）の構造例を示す図（２/２）である。 ＡＰＴＳの構造例における主要な情報の内容を示す図（１/２）である。 ＡＰＴＳの構造例における主要な情報の内容を示す図（２/２）である。 ＴＴＭＬをセグメント（Segment）に変換する場合における「ＰＴＳ」、「start_time_offset」、「end_time_offset」を設定について説明するための図である。 受信装置の構成例を示すブロック図である。 サブタイトルデコーダの構成例を示すブロック図である。 色域・輝度変換部の構成例を示す図である。 輝度変換部に含まれる輝度信号Ｙに係る構成部の構成例を示す図である。 輝度変換部の動作を模式的に表す図である。 位置・サイズ変換部における位置変換を説明するための図である。 位置・サイズ変換部におけるサイズ変換を説明するための図である。 サブタイトルの時系列順の表示制御の一例を説明するための図である。 サブタイトルの時系列順の表示制御の一例を説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と受信装置２００により構成されている。
　送信装置１００は、コンテナとしてのＭＰＥＧ２のトランスポートストリームＴＳを生成し、このトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、符号化ビデオデータを持つビデオストリームが含まれる。
　また、このトランスポートストリームＴＳには、サブタイトルストリームが含まれている。このサブタイトルストリームには、表示タイミング情報を持つサブタイトル（字幕）のテキスト情報と、このテキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報が含まれている。この実施の形態において、テキスト情報は、例えば、Ｗ３Ｃ（(World Wide Web Consortium）で提唱されているＴＴＭＬ（Timed Text Markup Language）である。
　この実施の形態において、アブストラクト情報には、サブタイトルの表示タイミング情報が含まれている。この表示タイミング情報は、表示開始タイミングと表示期間の情報を持っている。ここで、サブタイトルストリームは、ＰＥＳヘッダとＰＥＳペイロードとからなるＰＥＳパケットにより構成され、サブタイトルのテキスト情報および表示タイミング情報はＰＥＳペイロードに配置され、例えば、表示開始タイミングは、ＰＥＳヘッダに挿入されているＰＴＳからの表示オフセットで示される。
　また、この実施の形態において、アブストラクト情報には、サブタイトルの表示状態を制御するための表示制御情報が含まれている。この実施の形態において、表示制御情報には、サブタイトルの表示位置、色域およびダイナミックレンジの情報が含まれている。また、この実施の形態において、アブストラクト情報には、対象ビデオの情報が含まれている。
　受信装置２００は、送信装置１００から放送波で送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、符号化ビデオデータを含むビデオストリームと、サブタイトルのテキスト情報およびアブストラクト情報を含むサブタイトルストリームを有している。
　受信装置２００は、ビデオストリームからビデオデータを得ると共に、サブタイトルストリームからサブタイトルのビットマップデータを得ると共に、アブストラクト情報を抽出する。受信装置２００は、ビデオデータにサブタイトルのビットマップデータを重畳して表示用ビデオデータを得る。テレビ受信機２００は、ビデオデータに重畳されるサブタイトルのビットマップデータを、アブストラクト情報に基づいて処理する。
　この実施の形態において、アブストラクト情報にはサブタイトルの表示タイミング情報が含まれており、受信装置２００は、ビデオデータへのブタイトルのビットマップデータの重畳タイミングを、表示タイミング情報に基づいて制御する。また、この実施の形態において、アブストラクト情報にはサブタイトルの表示状態（表示位置、色域、ダイナミックレンジなど）を制御するための表示制御情報が含まれており、受信装置２００は、サブタイトルのビットマップの状態を、表示制御情報に基づいて制御する。
　「送信装置の構成例」
　図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、カメラ１０２と、ビデオ光電変換部１０３と、ＲＧＢ/ＹＣｂＣｒ変換部１０４と、ビデオエンコーダ１０５と、サブタイトル発生部１０６と、テキストフォーマット変換部１０７と、サブタイトルエンコーダ１０８と、システムエンコーダ１０９と、送信部１１０を有している。
　制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。カメラ１０２は、被写体を撮像して、ＨＤＲ（High Dynamic Range）、あるいはＳＤＲ（Standard Dynamic Range）のビデオデータ（画像データ）を出力する。ＨＤＲ画像は、ＳＤＲ画像の白ピークの明るさを超える０～１００％＊Ｎ（Ｎは１より大きい数）、例えば０～１０００％などのコントラスト比を持つ。ここで、１００％のレベルは、例えば、白の輝度値１００ｃｄ/ｍ２に相当する。
　ビデオ光電変換部１０３は、カメラ１０２で得られたビデオデータに対して、光電変換を施して、伝送ビデオデータＶ１を得る。この場合、ビデオデータがＳＤＲビデオデータである場合には、ＳＤＲ光電変換特性を適用して光電変換し、ＳＤＲ伝送ビデオデータ（ＳＤＲ光電変換特性を持たせた伝送ビデオデータ）を得る。一方、ビデオデータがＨＤＲビデオデータである場合には、ＨＤＲ光電変換特性を適用して光電変換し、ＨＤＲ伝送ビデオデータ（ＨＤＲ光電変換特性を持たせた伝送ビデオデータ）を得る。
　ＲＧＢ/ＹＣｂＣｒ変換部１０４は、伝送ビデオデータをＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。ビデオエンコーダ１０５は、ＹＣｂＣｒドメインに変換された伝送ビデオデータＶ１に対して、例えば、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化を施し、符号化ビデオデータを含むビデオストリーム（ＰＥＳストリーム）ＶＳを生成する。
　このとき、ビデオエンコーダ１０５は、アクセスユニット（ＡＵ）のＳＰＳ ＮＡＬユニットのＶＵＩ（video usability information）の領域に、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、伝送ビデオデータＶ１の色域を示す情報、リファレンスレベルを示す情報などのメタ情報を挿入する。
　また、ビデオエンコーダ１０５は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、リファレンスレベルの情報などのメタ情報を持つ、新規定義するダイナミックレンジ・ＳＥＩメッセージ（Dynamic_range SEI message）を挿入する。
　ここで、ダイナミックレンジ・ＳＥＩメッセージに、電光変換特性を示す情報を持たせるのは、伝送ビデオデータＶ１がＨＤＲ伝送ビデオデータであっても、ＨＤＲ光電変換特性がＳＤＲ光電変換特性と互換性を持つ場合、ＳＰＳ ＮＡＬユニットのＶＵＩには、ＳＤＲ光電変換特性に対応した電光変換特性（ガンマ特性）を示す情報が挿入されるので、ＶＵＩ以外の場所にＨＤＲ光電変換特性に対応した電光変換特性を示す情報が必要となるからである。
　図３は光電変換特性の例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。曲線ａは、ＳＤＲ光電変換特性の例を示している。また、曲線ｂ１は、ＨＤＲ光電変換特性の例（ＳＤＲ光電変換特性と互換性を持たない）を示している。さらに、曲線ｂ２は、ＨＤＲ光電変換特性の例（ＳＤＲ光電変換特性と互換性を持つ）を示している。この例の場合、入力輝度レベルが互換限界値までは、ＳＤＲ光電変換特性と一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルとなる。
　また、ダイナミックレンジ・ＳＥＩメッセージに、リファレンスレベルの情報を持たせるのは、伝送ビデオデータＶ１がＳＤＲ伝送ビデオデータであるとき、ＳＰＳ ＮＡＬユニットのＶＵＩにＳＤＲ光電変換特性に対応した電光変換特性（ガンマ特性）を示す情報が挿入されるが、リファレンスレベルを挿入することに関しては規格明記がないからである。
　図４（ａ）は、ダイナミックレンジ・ＳＥＩメッセージの構造例(Syntax)を示している。図４（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「Dynamic_range_cancel_flag」の１ビットのフラグ情報は、“Dynamic_range ”のメッセージをリフレッシュするかを示す。“０”はメッセージをリフレッシュすることを示し、“１”はメッセージをリフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。
　「Dynamic_range_cancel_flag」が“０”であるとき、以下のフィールドが存在する。「coded_data_bit_depth」の８ビットフィールドは、符号化画素ビット数を示す。「reference_level」の８ビットフィールドは、リファレンスレベルとしての基準輝度レベル値を示す。「modify_tf_flag」の1ビットフィールドは、ＶＵＩ（video usability information）で示されるTransfer Function（ＴＦ）を修正するか否かを示す。“０”はＶＵＩで示されるＴＦが対象であることを示し、“１”は本ＳＥＩの「transfer_function」で指定されるＴＦでＶＵＩのＴＦを修正することを示す。「transfer_function」の８ビットフィールドは、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す。
　図２に戻って、サブタイトル発生部１０６は、サブタイトル情報としてのテキストデータ（文字コード）ＤＴを発生する。テキストフォーマット変換部１０７は、テキストデータＤＴを入力し、所定フォーマットのサブタイトルのテキスト情報、この実施の形態においてはＴＴＭＬ（Timed Text Markup Language）を得る。
　図５は、ＴＴＭＬ（Timed Text Markup Language）構造の一例を示している。ＴＴＭＬは、ＸＭＬベースで記載される。なお、図６（ａ）も、ＴＴＭＬ構造の一例を示している。この例のように、ルート・コンテナ（root container）の位置に、「tts:extent」でサブタイトルエリア（Subtitle area）を指定することも可能である。図６（ｂ）は、「tts:extent=“1920px 1080px”」で指定される、水平１９２０ピクセル、垂直１０８０ピクセルのサブタイトルエリアを示している。
　ＴＴＭＬは、ヘッダ（head）とボディ（body）からなっている。ヘッダ（head）には、メタデータ（metadata）、スタイリング（styling）、スタイリング・エクステンション（styling extension）、レイアウト（layout）などの各要素が存在する。図７は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
　図８（ａ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、リージョン（Region）の位置、サイズ、カラー（color）、フォント（fontFamily）、フォントサイズ（fontSize）、テキストアラインメント（textAlign）などの情報が含まれている。
　「tts:origin」は、サブタイトルの表示領域であるリージョン（Region）の開始位置を画素数で指定する。この例では、「tts:origin“480px 600px”」であり、図８（ｂ）に示すように、開始位置（矢印Ｐ参照）は（４８０，６００）であることを示している。また、「tts:extent」は、リージョンの終了位置を開始位置からの水平方向、垂直方向のオフセット画素数で指定する。この例では、「tts:extent“560px 350px”」であり、図８（ｂ）に示すように、終了位置（矢印Ｑ参照）は（４８０＋５６０，６００＋３５０）であることを示している。ここで、このオフセット画素数は、リージョンの水平、垂直のサイズに対応している。
　「tts:opacity=“1.0”」は、サブタイトル（字幕）と背景ビデオとの混合比を示す。例えば、“１．０”はサブタイトルを１００％、背景ビデオを０％とすることを示し、“０．１”はサブタイトル（字幕）を０％、背景ビデオを１００％とすることを示す。図示の例では、“１．０”とされている。
　図９は、スタイリング・エクステンション（ＴＴＭＬ　Styling Extension）の構造例を示している。このスタイリング・エクステンションには、識別子（id）の他に、色域（colorspace）、ダイナミックレンジ（dynamicrange）の情報が含まれている。色域情報は、サブタイトルの想定する色域を指定する。図示の例では、“ITUR2020”であることが示されている。ダイナミックレンジ情報は、サブタイトルの想定するダイナミックレンジがＳＤＲであるかＨＤＲであるかを指定する。図示の例では、ＳＤＲであることが示されている。
　図１０は、レイアウト（region：TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。
　図１１は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）、サブタイトル２（subtitle 2）、サブタイトル３（subtitle 3）の３つのサブタイトルの情報が含まれている。サブタイトル毎に、表示開始タイミングと表示終了タイミングが記載されると共に、テキストデータが記載されている。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“Ｔ１”で、表示終了タイミングが“Ｔ３”であり、テキストデータが「ＡＢＣ」とされている。
　図２に戻って、サブタイトルエンコーダ１０８は、テキストフォーマット変換部１０７で得られたＴＴＭＬを種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したＰＥＳパケットで構成されるサブタイトルストリームＳＳを生成する。
　図１２は、ＰＥＳパケットの構成例を示している。ＰＥＳヘッダ（PES header）には、ＰＴＳ（Presentation Time Stamp）が含まれている。ＰＥＳデータペイロード（PES data payload）には、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＨＭＳ（text_header_metadata_segment）、ＴＨＳＳ（text header styling segment）、ＴＨＳＥＳ（text_header_styling_extension_segment）、ＴＨＬＳ（text_header_layout_segment）、ＴＢＳ（text_body_segment）の各セグメントが含まれている。
　なお、ＰＥＳデータペイロード（PES data payload）には、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＨＡＳ（text_header_all_segment）、ＴＢＳ（text_body_segment）の各セグメントが含まれる場合もある。また、ＰＥＳデータペイロード（PES data payload）には、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＷＳ（text_whole_segment）の各セグメントが含まれる場合もある。
　図１３は、ＰＥＳ内部のセグメント・インタフェースを示している。「PES_data_field」は、ＰＥＳパケットのＰＥＳデータペイロードのコンテナ部分を示している。「data_identifier」の８ビットフィールドは、上述のコンテナ部分で伝送するデータの種類を識別するＩＤを示す。従来のサブタイトル（ビットマップの場合）は、“０ｘ２０”で示すこととされているので、テキストの場合は新たな値、例えば“０ｘ２１”で識別することも可能である。
　「subtitle_stream_id」の８ビットフィールドは、サブタイトルストリームの種類を識別するＩＤを示す。テキスト情報を伝送するサブタイトルストリームの場合は新たな値、例えば“０ｘ０１”とし、従来のビットマップを伝送するサブタイトルストリーム“０ｘ００”と区別することが可能である。
　「TimedTextSubtitling_segments()」のフィールドにセグメント群が配置される。図１４は、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＨＭＳ（text_header_metadata_segment）、ＴＨＳＳ（text header styling segment）、ＴＨＳＥＳ（text_header_styling_extension_segment）、ＴＨＬＳ（text_header_layout_segment）、ＴＢＳ（text_body_segment）の各セグメントがＰＥＳデータペイロードに配置される場合における、「TimedTextSubtitling_segments()」の構造例を示している。
　図１５（ａ）は、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＨＡＳ（text_header_all_segment）、ＴＢＳ（text_body_segment）の各セグメントがＰＥＳデータペイロードに配置される場合における、「TimedTextSubtitling_segments()」の構造例を示している。図１５（ｂ）は、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＷＳ（text_whole_segment）の各セグメントがＰＥＳデータペイロードに配置される場合における、「TimedTextSubtitling_segments()」の構造例を示している。
　なお、各セグメントのサブタイトルストリームへの挿入の有無はフレキシブルであり、例えば、表示サブタイトル以外に変更がない場合は、ＡＰＴＳ（abstract_parameter_TimedText_segment）、ＴＢＳ（text_body_segment）の２つのセグメントのみの構成となる。いずれの場合においても、ＰＥＳデータペイロードには、アブストラクト情報を持つＡＰＴＳのセグメントが最初に配置され、それに続いてその他のセグメントが配置される。このような配置とされることで、受信側では、サブタイトルストリームからアブストラクト情報のセグメントの抽出を簡単かつ効率よく行い得る。
　図１６（ａ）は、ＴＨＭＳ（text_header_metadata_segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「thm_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＨＭＳを示す例えば「０ｘ２０」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。「segment_payload()」の中に、図１６（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ＴＴＭＬのヘッダ（head）に存在するメタデータ（metadata）の要素と同じものである（図７参照）。
　図１７（ａ）は、ＴＨＳＳ（text_header_styling_segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「ths_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＨＳＳを示す例えば「０ｘ２１」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。「segment_payload()」の中に、図１７（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ＴＴＭＬのヘッダ（head）に存在するスタイリング（styling）の要素と同じものである（図８（ａ）参照）。
　図１８（ａ）は、ＴＨＳＥＳ（text_header_styling_extension_segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「thse_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＨＳＥＳを示す例えば「０ｘ２２」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。「segment_payload()」の中に、図１８（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ＴＴＭＬのヘッダ（head）に存在するスタイリング・エクステンション（styling_extension）の要素と同じものである（図９（ａ）参照）。
　図１９（ａ）は、ＴＨＬＳ（text_header_layout_segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「thl_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＨＬＳを示す例えば「０ｘ２３」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。「segment_payload()」の中に、図１９（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ＴＴＭＬのヘッダ（head）に存在するレイアウト（layout）の要素と同じものである（図１０参照）。
　図２０（ａ）は、ＴＢＳ（text_body_segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「tb_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＢＳを示す例えば「０ｘ２４」とされる。「segment_payload()」の中に、図２０（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ＴＴＭＬのボディ（body）と同じものである（図１１参照）。
　図２１（ａ）は、ＴＨＡＳ（text_header_all_segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「tha_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＨＡＳを示す例えば「０ｘ２５」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。「segment_payload()」の中に、図２１（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ヘッダ（head）の全体である。
　図２２（ａ）は、ＴＷＳ（text whole segment）の構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「tw_version_number」、「segment_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＴＷＳを示す例えば「０ｘ２６」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。「segment_payload()」の中に、図２２（ｂ）に示すようなメタデータがＸＭＬ情報として配置される。このメタデータは、ＴＴＭＬの全体である（図５参照）。この構造は、ＴＴＭＬ全体での互換性を維持するための構造であって、ＴＴＭＬ全体を一つのセグメントに入れるものである。
　このようにＴＴＭＬの全ての要素を１つのセグメントに配置して送る場合、図２２（ｂ）に示すように、要素のレイヤに、「ttnew:sequentialinorder」、「ttnew:partialupdate」の２つの新規要素が挿入される。なお、これらは、同時に挿入されなくてもよい。
　「ttnew:sequentialinorder」は、ＴＴＭＬの伝送順に関する情報を構成する。この「ttnew:sequentialinorder」は、<head>の前に配置される。「ttnew:sequentialinorder=true　(=1)」で伝送順の制約があることを示す。その場合は、<head> の中が、<metadata>、<styling>、<styling extension>、<layout> の順で配置され、その後に<body> の中身の“<div>、<p> text </p> </div> ” が続くことを示す。なお、<styling extension>が存在しない場合は、<metadata>、<styling>、<layout> の順である。一方、「ttnew:sequentialinorder=false (=0)」で、上記制約がないことを示す。
　このように「ttnew:sequentialinorder」の要素が挿入されることで、受信側では、ＴＴＭＬの伝送順を認識できることから、ＴＴＭＬの全ての要素がまとめて送られてくる場合でも、ＴＴＭＬの伝送順が所定の順序に則ってなされることを認識でき、デコードまでの過程が簡便になり、デコード処理を効率よく行うことが可能となる。
　また、「ttnew:partialupdate」は、ＴＴＭＬの更新の有無に関する情報を構成する。この「ttnew:partialupdate」は、<head>の前に配置される。「ttnew:partialupdate=true　(=1) 」で<body> の前に、<head> のいずれかの要素のアップデートが起こることを示す。一方、「ttnew:partialupdate=false (=0)」で、上記アップデートがないことを示す。このように「ttnew:sequentialinorder」の要素が挿入されることで、受信側では、ＴＴＭＬの更新の有無を容易に把握可能となる。
　なお、上述では、「ttnew:sequentialinorder」、「ttnew:partialupdate」の２つの新規要素が要素のレイヤに挿入される例を示した。しかし、これらの新規要素が、図２３（ａ）に示すように、セグメントのレイヤに挿入される例も考えられる。図２３（ｂ）は、その場合に、「segment_payload()」の中に配置されるメタデータ（ＸＭＬ情報）を示している。
　「ＡＰＴＳ（abstract_parameter_TimedText_segment）のセグメント」
　ここで、ＡＰＴＳ（abstract_parameter_TimedText_segment）のセグメントについて説明する。このＡＰＴＳのセグメントには、アブストラクト情報が含まれる。このアブストラクト情報には、ＴＴＭＬで示される複数の情報のうちの一部の情報に対応した情報を持っている。
　図２４、図２５は、ＡＰＴＳ（abstract_parameter_TimedText_segment）の構造例（syntax）を示している。図２６、図２７は、その構造例における主要な情報の内容（Semantics）を示している。この構造には、他のセグメントと同様に、「sync_byte」、「segment_type」、「page_id」、「segment_length」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＡＰＴＳを示す例えば「０ｘ１９」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。
　「APT_version_number」の４ビットフィールドは、ＡＰＴＳ（abstract_parameter_TimedText_segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。「TTM_version_number」の４ビットフィールドは、ＴＨＭＳ（text_header_metadata_segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。「TTS_version_number」の４ビットフィールドは、ＴＨＳＳ（text_header_styling_segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。
　「TTSE_version_number」の４ビットフィールドは、ＴＨＳＥＳ（text_header_styling_extension_segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。「TTL_version_number」の４ビットフィールドは、ＴＨＬＳ（text_header_layout_segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。
　「TTHA_version_number」の４ビットフィールドは、ＴＨＡＳ（text_header_all_segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。「TW_version_number」の４ビットフィールドは、ＴＷＳ（text whole segment）の要素に以前に送られている内容との間に変化があるか否かを示し、変化がある場合には値を１つ増加する。
　「subtitle_display_area」の４ビットフィールドは、サブタイトル表示領域（サブタイトルエリア）を指定する。例えば、“０ｘ１”は６４０ｈ＊４８０ｖを指定し、“０ｘ２”は７２０ｈ＊４８０ｖを指定し、“０ｘ３”は７２０ｈ＊５７６ｖを指定し、“０ｘ４”は１２８０ｈ＊７２０ｖを指定し、“０ｘ５”は１９２０ｈ＊１０８０ｖを指定し、“０ｘ６”は３８４０ｈ＊２１６０ｖを指定し、“０ｘ７”は７６８０ｈ＊４３２０ｖを指定する。
　「subtitle_color_gamut_info」の４ビットフィールドは、サブタイトルの想定する色域を指定する。「subtitle_dynamic_range_info」の４ビットフィールドは、サブタイトルの想定するダイナミックレンジを指定する。例えば、“０ｘ１”はＳＤＲを示し、“０ｘ２”はＨＤＲを示す。サブタイトルにＨＤＲを指定する場合はサブタイトルの輝度をビデオの標準白レベル以下に抑えることを想定することを示す。
　「target_video_resolution」の４ビットフィールドは、想定するビデオの解像度を指定する。例えば、“０ｘ１”は６４０ｈ＊４８０ｖを指定し、“０ｘ２”は７２０ｈ＊４８０ｖを指定し、“０ｘ３”は７２０ｈ＊５７６ｖを指定し、“０ｘ４”は１２８０ｈ＊７２０ｖを指定し、“０ｘ５”は１９２０ｈ＊１０８０ｖを指定し、“０ｘ６”は３８４０ｈ＊２１６０ｖを指定し、“０ｘ７”は７６８０ｈ＊４３２０ｖを指定する。
　「target_video_color_gamut_info」の４ビットフィールドは、想定するビデオの色域を指定する。例えば、“０ｘ１”は「ＢＴ．７０９」を示し、“０ｘ２”は「ＢＴ．２０２０」を示す。「target_video_dynamic_range_info」の４ビットフィールドは、想定するビデオのダイナミックレンジを指定する。例えば、“０ｘ１”は「ＢＴ．７０９」を示し、“０ｘ２”は「ＢＴ．２０２ｘ」を示し、“０ｘ３”は「Ｓｍｐｔｅ　２０８４」を示す。
　「number_of_regions」の４ビットフィールドは、リージョンの数を指定する。リージョンの数だけ、以下のフィールドが繰り返し存在する。「region_id」の１６ビットフィールドは、リージョンのＩＤを示す。
　「start_time_offset」の８ビットフィールドは、サブタイトルの表示開始時刻をＰＴＳからのオフセット値として示す。この「start_time_offset」のオフセット値は、符号付きであり、負の値の場合はＰＴＳよりも早い時点での表示開始を表す。この「start_time_offset」のオフセット値が０であるときは、ＰＴＳのタイミングで表示を開始することを意味する。８ビット表現の場合の値の精度は、符号値を１０で割った、小数点第１位までになる。
　「end_time_offset」の８ビットフィールドは、サブタイトルの表示終了時刻を「start_time_offset」からのオフセット値として示す。このオフセット値は、表示期間を示す。上述の「start_time_offset」のオフセット値が０であるときは、ＰＴＳにこの「end_time_offset」のオフセット値を加えた値のタイミングで表示を終了することを示す。８ビット表現の場合の値の精度は、符号値を１０で割った、小数点第１位までになる。
　なお、「start_time_offset」、「end_time_offset」は、ＰＴＳと同じ９０ｋＨｚ精度で伝送することも可能である。その場合には、「start_time_offset」、「end_time_offset」のそれぞれのフィールドとして３２ビットの空間を確保することになる。
　サブタイトルエンコーダ１０８は、図２８に示すように、ＴＴＭＬをセグメント（Segment）に変換する際に、ＴＴＭＬのボディ（body）に含まれる各サブタイトルの表示開始タイミング（begin）と表示終了タイミング（end）の記載に基づき、システム時刻情報（ＰＣＲ、ビデオ・オーディオの同期時刻）を参照して、各サブタイトルの「ＰＴＳ」、「start_time_offset」、「end_time_offset」を設定する。この際、サブタイトルエンコーダ１０８は、デコーダ・バッファ・モデルを使用し、受信側の動作が正しく行われるように検証しながら、「ＰＴＳ」、「start_time_offset」、「end_time_offset」の設定を行うようにしてもよい。
　「region_start_horizontal」の１６ビットフィールドは、上述の「subtitle_display_area」で指定されるサブタイトル表示領域の中のリージョンの左上端点（図８（ｂ）のＰ点参照）の水平画素位置を示す。「region_start_vertical」の１６ビットフィールドは、サブタイトル表示領域の中のリージョンの左上端点の垂直画素位置を示す。「region_end_horizontal」の１６ビットフィールドは、サブタイトル表示領域の中のリージョンの右下端点（図８（ｂ）のＱ点参照）の水平画素位置を示す。「region_end_vertical」の１６ビットフィールドは、サブタイトル表示領域の中のリージョンの右下端点の垂直画素位置を示す。
　図２に戻って、システムエンコーダ１０９は、ビデオエンコーダ１０５で生成されたビデオストリームＶＳと、サブタイトルエンコーダ１０８で生成されたサブタイトルストリームＳＳを含むトランスポートストリームＴＳを生成する。送信部１１０は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
　図２に示す送信装置１００の動作を簡単に説明する。カメラ１０２で撮像されて得られたビデオデータ（画像データ）は、ビデオ光電変換部１０３に供給される。ビデオ光電変換部１０３では、カメラ１０２で得られたビデオデータに対して、光電変換が施されて、伝送ビデオデータＶ１が得られる。
　この場合、ビデオデータがＳＤＲビデオデータである場合には、ＳＤＲ光電変換特性が適用されて光電変換が行われ、ＳＤＲ伝送ビデオデータ（ＳＤＲ光電変換特性を持たせた伝送ビデオデータ）が得られる。一方、ビデオデータがＨＤＲビデオデータである場合には、ＨＤＲ光電変換特性が適用されて光電変換が行われ、ＨＤＲ伝送ビデオデータ（ＨＤＲ光電変換特性を持たせた伝送ビデオデータ）が得られる。
　ビデオ光電変換部１０３で得られた伝送ビデオデータＶ１は、ＲＧＢ/ＹＣｂＣｒ変換部１０４でＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換された後に、ビデオエンコーダ１０５に供給される。ビデオエンコーダ１０５は、この伝送ビデオデータＶ１に対して、例えば、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化が施されて、符号化ビデオデータを含むビデオストリーム（ＰＥＳストリーム）ＶＳが生成される。
　また、ビデオエンコーダ１０５では、アクセスユニット（ＡＵ）のＳＰＳ ＮＡＬユニットのＶＵＩの領域に、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、伝送ビデオデータＶ１の色域を示す情報、リファレンスレベルを示す情報などのメタ情報が挿入される。
　また、ビデオエンコーダ１０５では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、リファレンスレベルの情報などのメタ情報を持つ、新規定義するダイナミックレンジ・ＳＥＩメッセージ（図４参照）が挿入される。
　サブタイトル発生部１０６では、サブタイトル情報としてのテキストデータ（文字コード）ＤＴが発生される。このテキストデータＤＴはテキストフォーマット変換部１０７に供給される。テキストフォーマット変換部１０７では、テキストデータＤＴに基づいて、表示タイミング情報を持つサブタイトルのテキスト情報、つまりＴＴＭＬに変換される（図３、図４参照）。このＴＴＭＬは、サブタイトルエンコーダ１０８に供給される。
　サブタイトルエンコーダ１０８では、テキストフォーマット変換部１０７で得られたＴＴＭＬが種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたＰＥＳパケットで構成されるサブタイトルストリームＳＳが生成される。この場合、ＰＥＳパケットのペイロードには、アブストラクト情報を持つＡＰＴＳのセグメント（図２４-図２７参照）が最初に配置され、続いてサブタイトルのテキスト情報を持つセグメントが配置される（図１２参照）。
　ビデオエンコーダ１０５で生成されるビデオストリームＶＳは、システムエンコーダ１０９に供給される。サブタイトルエンコーダ１０８で生成されたサブタイトルストリームＳＳは、システムエンコーダ１０９に供給される。システムエンコーダ１０９では、ビデオストリームＶＳとサブタイトルストリームＳＳを含むトランスポートストリームＴＳが生成される。このトランスポートストリームＴＳは、送信部１１０により、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
　「受信装置の構成例」
　図２９は、受信装置２００の構成例を示している。この受信装置２００は、制御部２０１と、ユーザ操作部２０２と、受信部２０３と、システムデコーダ２０４と、ビデオデコーダ２０５と、サブタイトルデコーダ２０６と、色域・輝度変換部２０７と、位置・サイズ変換部２０８を有している。また、受信装置２００は、ビデオ重畳部２０９と、ＹＣｂＣｒ/ＲＧＢ変換部２１０と、電光変換部２１１と、表示マッピング部２１２と、ＣＥモニタ２１３を有している。
　制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。ユーザ操作部２０２は、視聴者などのユーザが種々の操作を行うためのスイッチ、タッチパネル、リモコン送信部などである。受信部２０３は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。
　システムデコーダ２０４は、このトランスポートストリームＴＳから、ビデオストリームＶＳとサブタイトルストリームＳＳを抽出する。また、システムデコーダ２０４は、トランスポートストリームＴＳ（コンテナ）に挿入されている種々の情報を抽出し、制御部２０１に送る。
　ビデオデコーダ２０５は、システムデコーダ２０４で抽出されるビデオストリームＶＳに対してデコード処理を行って、伝送ビデオデータＶ１を出力する。また、ビデオデコーダ２０５は、ビデオストリームＶＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。
　ＳＰＳ ＮＡＬユニットのＶＵＩの領域には、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、伝送ビデオデータＶ１の色域を示す情報、リファレンスレベルを示す情報などが挿入されている。また、このＳＥＩメッセージには、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、リファレンスレベルの情報などを持つダイナミックレンジＳＥＩメッセージ（図４参照）も含まれる。
　サブタイトルデコーダ２０６は、サブタイトルストリームＳＳに含まれている各リージョンのセグメントデータを処理し、ビデオデータに重畳すべき各リージョンのビットマップデータを出力する。また、このサブタイトルデコーダ２０６は、ＡＰＴＳのセグメントに含まれるアブストラクト情報を抽出し、制御部２０１に送る。
　このアブストラクト情報には、サブタイトルの表示タイミング情報、サブタイトルの表示制御情報（サブタイトルの表示位置、色域およびダイナミックレンジの情報）、さらには、対象ビデオの情報（解像度、色域、ダイナミックレンジの情報）などが含まれている。
　ここで、サブタイトルの表示タイミング情報や表示制御情報は、ＡＰＴＳ以外のセグメントの「segment_payload()」の中に配置されるＸＭＬ情報に含まれているので、そのＸＭＬ情報をスキャンすることでも得ることが可能であるが、ＡＰＴＳのセグメントからアブストラクト情報を抽出だけで容易に得ることができる。なお、対象ビデオの情報（解像度、色域、ダイナミックレンジの情報）は、ビデオストリームＶＳの系から取得可能であるが、ＡＰＴＳのセグメントからアブストラクト情報を抽出するだけで容易に得ることができる。
　図３０は、サブタイトルデコーダ２０６の構成例を示している。このサブタイトルデコーダ２０６は、コーデッドバッファ２６１と、サブタイトルセグメントデコーダ２６２と、フォント展開部２６３と、ビットマップバッファ２６４を有している。
　コーデッドバッファ２６１は、サブタイトルストリームＳＳを一時的に保持する。サブタイトルセグメントデコーダ２６２は、コーデッドバッファ２６１に保持されている各リージョンのセグメントデータに対して所定のタイミングでデコード処理を施して、各リージョンのテキストデータや制御コードを得る。
　フォント展開部２６３は、サブタイトルセグメントデコーダ２６２で得られた各リージョンのテキストデータや制御コードに基づいてフォント展開して、各リージョンのサブタイトルのビットマップデータを得る。この場合、フォント展開部２６３は、各リージョンの位置情報として、例えば、アブストラクト情報に含まれる位置情報（「region_start_horizontal」、「region_start_vertical」、「region_end_horizontal」、「region_end_vertical」）を用いる。
　このサブタイトルのビットマップデータはＲＧＢのドメインで得られる。また、このサブタイトルのビットマップデータの色域は、アブストラクト情報に含まれるサブタイトルの色域情報で示される色域に合致したものとされる。さらに、このサブタイトルのビットマップデータのダイナミックレンジは、アブストラクト情報に含まれるサブタイトルのダイナミックレンジ情報で示されるダイナミックレンジに合致したものとされる。
　例えば、ダイナミックレンジ情報が“ＳＤＲ”であった場合、サブタイトルのビットマップデータは、ダイナミックレンジがＳＤＲであって、ＳＤＲ光電変換特性が適用されて光電変換がされたものとされる。また、例えば、ダイナミックレンジ情報が“ＨＤＲ”であった場合、サブタイトルのビットマップデータは、ダイナミックレンジがＨＤＲであって、ＨＤＲ光電変換特性が適用されて光電変換がされたものとされる。この場合、ＨＤＲのビデオへの重畳を前提に、ＨＤＲのリファレンスレベルまでの輝度範囲に限定される。
　ビットマップバッファ２６４は、フォント展開部２６３で得られた各リージョンのビットマップデータを一時的に保持する。このビットマップバッファ２６４に保持されている各リージョンのビットマップデータは、表示開始タイミングから読み出されて画像データに重畳され、それが表示期間だけ継続される。
　ここで、サブタイトルセグメントデコーダ２６２は、ＰＥＳパケットのＰＥＳヘッダからＰＴＳを抽出する。また、サブタイトルセグメントデコーダ２６２は、ＡＰＴＳのセグメントからアブストラクト情報を抽出する。これらの情報は、制御部２０１に送られる。制御部２０１は、ＰＴＳと、アブストラクト情報に含まれる「start_time_offset」、「end_time_offset」の情報に基づいて、ビットマップバッファ２６４からの各リージョンのビットマップデータの読み出しタイミングを制御する。
　図２９に戻って、色域・輝度変換部２０７は、制御部２０１の制御のもと、サブタイトルのビットマップデータの色域情報（「subtitle_color_gamut_info」）とビデオデータの色域情報（「target_video_color_gamut_info」）に基づいて、サブタイトルのビットマップデータの色域を、ビデオデータの色域に合わせる。また、色域・輝度変換部２０７は、制御部２０１の制御のもと、サブタイトルのビットマップデータのダイナミックレンジ情報（「subtitle_dynamic_range_info」）とビデオデータのダイナミックレンジ情報（「target_video_dynamic_range_info」）に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整する。
　図３１は、色域・輝度変換部２０７の構成例を示している。この色域輝度変換部２１０は、電光変換部２２１と、色域変換部２２２と、光電変換部２２３と、ＲＧＢ/ＹＣｂＣｒ変換部２２４と、輝度変換部２２５を有している。
　電光変換部２２１は、入力されたサブタイトルのビットマップデータに対して光電変換をする。ここで、サブタイトルのビットマップデータのダイナミックレンジがＳＤＲであるとき、電光変換部２２１は、ＳＤＲ電光変換特性を適用して電光変換を行ってリニアな状態にする。また、サブタイトルのビットマップデータのダイナミックレンジがＨＤＲであるとき、電光変換部２２１は、ＨＤＲ電光変換特性を適用して電光変換を行ってリニアな状態にする。なお、入力されたサブタイトルのビットマップデータが光電変換を施していないリニア状態にあることも考えられる。その場合、電光変換部２２１は不要となる。
　色域変換部２２２は、電光変換部２２１から出力されたサブタイトルのビットマップデータの色域をビデオデータの色域に合わせる。例えば、サブタイトルのビットマップデータの色域が“ＢＴ．７０９”であってビデオデータの色域が“ＢＴ．２０２０”であるとき、サブタイトルのビットマップデータの色域は“ＢＴ．７０９”から“ＢＴ．２０２０”に変換される。なお、サブタイトルのビットマップデータの色域がビデオデータの色域と同じであるとき、色域変換部２２２は、実質的に何もせずに、入力されたサブタイトルのビットマップデータをそのまま出力する。
　光電変換部２２３は、色域変換部２２２から出力されたサブタイトルのビットマップデータに対して、ビデオデータに適用されている光電変換特性と同じ光電変換特性を適用して、光電変換を行う。ＲＧＢ/ＹＣｂＣｒ変換部２２４は、光電変換部２２３から出力されたサブタイトルのビットマップデータを、ＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
　輝度変換部２２５は、ＲＧＢ/ＹＣｂＣｒ変換部２２４から出力されたサブタイトルのビットマップデータに対して、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下、あるいは、基準となるホワイトレベルとなるように調整を行って、出力ビットマップデータを得る。この場合、サブタイトルのビットマップデータがＨＤＲビデオへのレンダリングを考慮してビットマップデータの輝度調整が既に行われている場合、ビデオデータがＨＤＲであるときには、実質的に何もせずに、入力されたサブタイトルのビットマップデータをそのまま出力する。
　図３２は、輝度変換部２２５に含まれる輝度信号Ｙに係る構成部２２５Ｙの構成例を示している。この構成部２２５Ｙは、符号化画素ビット数調整部２３１と、レベル調整部２３２を有している。
　符号化画素ビット数調整部２３１は、サブタイトルのビットマップデータの輝度信号Ｙｓの符号化画素ビット数をビデオデータの符号化画素ビット数に合わせる。例えば、輝度信号Ｙｓの符号化画素ビット数が“８ｂｉｔｓ”でビデオデータの符号化画素ビット数が“１０ｂｉｔｓ”であるとき、輝度信号Ｙｓの符号化画素ビット数が“８ｂｉｔｓ”から“１０ｂｉｔｓ”に変換される。レベル調整部２３２は、符号化画素ビット数が合わせられた輝度信号Ｙｓの最大レベルがビデオデータの輝度のリファレンスレベル以下、あるいは、リファレンス・ホワイトレベルとなるように調整して、出力輝度信号Ｙｓ´とする。
　図３３は、図３２に示す構成部２２５Ｙの動作を模式的に表している。図示の例は、ビデオデータがＨＤＲである場合を示している。リファレンスレベル（reference level）は、非輝き部分と輝き部分の境界に当たる。
　符号化画素ビット数が合わせられた後の輝度信号Ｙｓの最大レベル（sc_high）と最小レベル（sc_low）の間に、リファレンスレベルが存在する。この場合、最大レベル（sc_high）がリファレンスレベル以下となるように調整される。なお、この場合、クリップの方法では白潰れみたいな状態になるので、例えば、リニアにスケールダウンする方法が採用される。
　このように輝度信号Ｙｓのレベルが調整されることで、サブタイトルのビットマップデータをビデオデータに重畳したとき、サブタイトルが背景ビデオに輝いて表示されることが防止されるので、画品質を高画質に保つことが可能となる。
　なお、上述では、輝度変換部２２５に含まれる、輝度信号Ｙｓに係る構成部２２５Ｙ（図３２参照）について説明した。輝度変換部２２５では、色差信号Ｃｂ，Ｃｒに関しては、符号化画素ビット数をビデオデータの符号化画素ビット数に合わせる処理のみが行われる。例えば、８ビット空間から１０ビット空間への変換は、ビット幅で表現される範囲の全体を１００％とし、その中で中央値が基準とされて、基準値からプラス方向に５０％、マイナス方向に５０％の振れ幅となるように、変換される。
　図２９に戻って、位置・サイズ変換部２０８は、色域・輝度変換部２０７で得られたサブタイトルのビットマップデータに対して、制御部２０１の制御のもと、位置変換の処理を行う。位置・サイズ変換部２０８は、サブタイトルの対応解像度（「subtitle_display_area」の情報で示される）がビデオの解像度（「target_video_resolution」）と異なるとき、サブタイトルが背景ビデオの適切な位置に表示されるように、サブタイトルの位置変換をする。
　例えば、サブタイトルがＨＤ解像度対応で、ビデオがＵＨＤ解像度である場合について説明する。ここで、ＵＨＤ解像度は、ＨＤ解像度を越えるものであり、４Ｋ解像度あるいは８Ｋ解像度を含むものである。
　図３４（ａ）は、ビデオがＵＨＤ解像度で、サブタイトルがＨＤ解像度対応である場合の例を示している。サブタイトルの表示領域は、図中の“subtitle area”で表される。“subtitle area”とビデオの位置関係は、双方の基準位置、つまり、左上（left-top）を共有させたもので表されることとする。リージョンの開始点の画素位置は（ａ，ｂ）、その終了点の画素位置は（ｃ，ｄ）となっている。この場合、背景ビデオの解像度がサブタイトルの対応解像度より大きいことから、背景ビデオ上のサブタイトルの表示位置は、制作側が意図した位置ではなく、右上に偏った状態となる。
　図３４（ｂ）は、位置変換処理を行った場合の例を示している。サブタイトルの表示領域であるリージョンの開始点の画素位置は（ａ´，ｂ´）、その終了点の画素位置は（ｃ´，ｄ´）とされる。この場合、位置変換前のリージョンの位置座標はＨＤ表示領域の座標であるので、ビデオ画枠との関係に応じて、従ってＵＨＤ解像度のＨＤ解像度に対する比率に基づいてＵＨＤ表示領域の座標に変換される。なお、この例では、位置変換と同時に、サブタイトルのサイズ変換処理も行っている。
　また、位置・サイズ変換部２０８は、色域・輝度変換部２０７で得られたサブタイトルのビットマップデータに対して、制御部２０１の制御のもと、例えば、視聴者などのユーザの操作に応じて、あるいは、ビデオ解像度およびサブタイトルの対応解像度との関係から自動的に、サブタイトルのサイズ変換の処理を行う。
　図３５（ａ）に示すように、表示領域の中心位置(dc: display center)からリージョン（region）の中心位置、つまりリージョンを水平・垂直方向に２分する点(region center位置: rc)までの距離はビデオの解像度に比例して決定される。例えば、ビデオの解像度としてＨＤが想定されてサブタイトルの表示領域の中心位置ｄｃからリージョンの中心位置ｒｃが定義される場合、ビデオの解像度が４Ｋ（＝3840x2160）の際には、ｄｃからｒｃまでの距離は画素数で２倍になるように位置の制御がなされる。
　図３５（ｂ）に示すように、リージョン（Region）のサイズをｒ＿ｏｒｇ（Region 00）からｒ＿ｍｏｄ（Region 01）に変更した場合、開始位置（ｒｓｘ１，ｒｓｙ１)と終了位置（ｒｅｘ１，ｒｅｙ１)は、Ｒａｔｉｏ＝（ｒ＿ｍｏｄ/ｒ＿ｏｒｇ）を満足するように、それぞれ、開始位置（ｒｓｘ２，ｒｓｙ２)と終了位置（ｒｅｘ２，ｒｅｙ２)に修正される。
　つまり、ｒｃから（ｒｓｘ２，ｒｓｙ２)までの距離とｒｃから（ｒｓｘ1，ｒｓｙ１）までの距離との比、およびｒｃから（ｒｅｘ２，ｒｅｙ２)までの距離とｒｃから（ｒｅｘ1，ｒｅｙ１）までの距離との比は、Ｒａｔｉｏと整合するようにされる。このようにすることで、サイズ変換を行ってもリージョンの中心位置ｒｃはそのままであり、表示領域全体の相対位置関係を一定に維持しつつ、サブタイトル（リージョン）のサイズ変換を行うことが可能となる。
　図２９に戻って、ビデオ重畳部２０９は、ビデオデコーダ２０５から出力された伝送ビデオデータＶ１に、位置・サイズ変換部２０８から出力されたサブタイトルのビットマップデータを重畳する。この場合、ビデオ重畳部２０９は、サブタイトルのビットマップデータを、サブタイトルデコーダ２０６で得られた混合比情報（Mixing data）で示される混合比で混合する。
　ＹＣｂＣｒ/ＲＧＢ変換部２１０は、サブタイトルのビットマップデータが重畳された伝送ビデオデータＶ１´をＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。この場合、ＹＣｂＣｒ/ＲＧＢ変換部２１０は、色域情報に基づいて、色域に対応した変換式を用いて変換を行う。
　電光変換部２１１は、ＲＧＢドメインに変換された伝送ビデオデータＶ１´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。表示マッピング部２１２は、表示用ビデオデータに対して、ＣＥモニタ２１３の最大輝度表示能力などに応じた表示輝度調整を行う。ＣＥモニタ２１３は、表示輝度調整が行われた表示用ビデオデータに基づいて画像を表示する。このＣＥモニタ２１３は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成される。
　図２９に示す受信装置２００の動作を簡単に説明する。受信部２０３では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０４に供給される。システムデコーダ２０４では、このトランスポートストリームＴＳから、ビデオストリームＶＳおよびサブタイトルストリームＳＳが抽出される。また、システムデコーダ２０４では、トランスポートストリームＴＳ（コンテナ）に挿入されている種々の情報が抽出され、制御部２０１に送られる。
　システムデコーダ２０４で抽出されたビデオストリームＶＳは、ビデオデコーダ２０５に供給される。ビデオデコーダ２０５では、ビデオストリームＶＳに対してデコード処理が施されて、伝送ビデオデータＶ１が得られる。また、ビデオデコーダ２０５では、ビデオストリームＶＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。
　ＳＰＳ ＮＡＬユニットのＶＵＩの領域には、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、伝送ビデオデータＶ１の色域を示す情報、リファレンスレベルを示す情報などが挿入されている。また、このＳＥＩメッセージには、伝送ビデオデータＶ１が持つ光電変換特性に対応した電光変換特性を示す情報（transfer function）、リファレンスレベルの情報などを持つダイナミックレンジＳＥＩメッセージ（図４参照）も含まれる。
　システムデコーダ２０４で抽出されたサブタイトルストリームＳＳは、サブタイトルデコーダ２０６に供給される。サブタイトルデコーダ２０６では、サブタイトルストリームＳＳに含まれている各リージョンのセグメントデータに対してデコード処理が施されて、ビデオデータに重畳すべき各リージョンのサブタイトルのビットマップデータが得られる。
　また、このサブタイトルデコーダ２０６では、ＡＰＴＳのセグメント（図２４、図２５参照）に含まれるアブストラクト情報が抽出され、制御部２０１に送られる。このアブストラクト情報には、サブタイトルの表示タイミング情報、サブタイトルの表示制御情報（サブタイトルの表示位置、色域およびダイナミックレンジの情報）、さらには、対象ビデオの情報（解像度、色域、ダイナミックレンジの情報）などが含まれている。
　サブタイトルデコーダ２０６は、制御部２０１の制御のもと、例えば、アブストラクト情報に含まれるサブタイトルの表示タイミング情報（「start_time_offset」、「end_time_offset」）に基づいて、制御部２０１によって、各リージョンのサブタイトルのビットマップデータの出力タイミングが制御される。
　サブタイトルデコーダ２０６で得られた各リージョンのサブタイトルのビットマップデータは、色域・輝度変換部２０７に供給される。色域・輝度変換部２０７では、制御部２０１の制御のもと、例えば、アブストラクト情報に含まれる色域情報（「subtitle_color_gamut_info」、「target_video_color_gamut_info」）に基づいて、サブタイトルのビットマップデータの色域が、ビデオデータの色域に合わせられる。
　また、色域・輝度変換部２０７では、制御部２０１の制御のもと、例えば、アブストラクト情報に含まれるダイナミックレンジ情報（「subtitle_dynamic_range_info」、「target_video_dynamic_range_info」）に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整される。
　色域・輝度変換部２０７で得られた各リージョンのサブタイトルのビットマップデータは、位置・サイズ変換部２０８に供給される。位置・サイズ変換部２０８では、各リージョンのサブタイトルのビットマップデータに対して、制御部２０１の制御のもと、例えば、アブストラクト情報に含まれる解像度情報（「subtitle_display_area」、「target_video_resolution」）に基づいて、位置変換の処理が行われる。
　また、位置・サイズ変換部２０８では、色域・輝度変換部２０７で得られたサブタイトルのビットマップデータに対して、制御部２０１の制御のもと、例えば、視聴者などのユーザの操作に応じて、あるいは、ビデオ解像度およびサブタイトルの対応解像度との関係から自動的に、サブタイトルのサイズ変換の処理が行われる。
　ビデオデコーダ２０４で得られた伝送ビデオデータＶ１は、ビデオ重畳部２０９に供給される。また、位置・サイズ変換部２０８で得られた各リージョンのサブタイトルのビットマップデータは、ビデオ重畳部２０９に供給される。このビデオ重畳部２０９では、伝送ビデオデータＶ１に、各リージョンのサブタイトルのビットマップデータが重畳される。この場合、サブタイトルのビットマップデータが、混合比情報（Mixing data）で示される混合比で混合される。
　ビデオ重畳部２０９で得られた、各リージョンのサブタイトルのビットマップデータが重畳された伝送ビデオデータＶ１´は、ＹＣｂＣｒ/ＲＧＢ変換部２１０において、ＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、電光変換部２１１に供給される。電光変換部２１１では、伝送ビデオデータＶ１´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。
　表示用ビデオデータは、表示マッピング部２１２に供給される。この表示マッピング部２１２では、表示用ビデオデータに対して、ＣＥモニタ２１３の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはＣＥモニタ２１３に供給される。ＣＥモニタ２１３には、この表示用ビデオデータに基づいて画像が表示される。
　以上説明したように、図１に示す送受信システム１０においては、サブタイトルストリームに、サブタイトルのテキスト情報と共に、そのテキスト情報に対応したアブストラクト情報を含めるものである。そのため、受信側では、アブストラクト情報を用いてサブタイトル表示のため処理を行うことができ、処理負荷の軽減を図ることが可能となる。
　この場合、受信側では、処理負荷が軽減されることから、サブタイトルの表示が比較的速く変化していく時系列順の表示制御にも容易に対処可能となる。例えば、図３６（ａ）－（ｆ）のようにサブタイトル表示が変化していく場合を考える。
　この場合、最初、例えば、図３７（ａ）に示すように、ＡＰＴＳ（abstract_parameter_TimedText_segment）とＴＢＳ（text body segment）のセグメントがＰＥＳデータペイロードに配置されたＰＥＳパケットを含むサブタイトルストリームＳＳが送信されてくる。受信側では、ＴＢＳのセグメントデータと、ＡＰＴＳのセグメントに含まれるリージョン位置情報（Region_position）に基づいて、当該リージョン“region r1” の位置に「ＡＢＣ」の文言を表示するためのサブタイトルのビットマップデータを発生する。
　そして、受信側では、ＰＴＳ１と、ＡＰＴＳのセグメントに含まれる表示タイミング情報（ＳＴＳ１，ＥＴＳ１）に基づいて、表示開始タイミングＴ１から表示終了タイミングＴ３まで、このビットマップデータを出力する。これにより、受信側では、図３６に示すように、Ｔ１からＴ３にかけて、画面上に「ＡＢＣ」の文言の表示が継続して行われる。
　次に、例えば、図３７（ｂ）に示すように、ＡＰＴＳ（abstract_parameter_TimedText_segment）とＴＢＳ（text body segment）のセグメントがＰＥＳデータペイロードに配置されたＰＥＳパケットを含むサブタイトルストリームＳＳが送信されてくる。受信側では、ＴＢＳのセグメントデータと、ＡＰＴＳのセグメントに含まれるリージョン位置情報（Region_position）に基づいて、当該リージョン“region r2” の位置に「ＤＥＦ」の文言を表示するためのサブタイトルのビットマップデータを発生する。
　そして、受信側では、ＰＴＳ２と、ＡＰＴＳのセグメントに含まれる表示タイミング情報（ＳＴＳ２，ＥＴＳ２）に基づいて、表示開始タイミングＴ２から表示終了タイミングＴ５まで、このビットマップデータを出力する。これにより、受信側では、図３６に示すように、Ｔ２からＴ５にかけて、画面上に「ＤＥＦ」の文言の表示が継続して行われる。
　次に、例えば、図３７（ｃ）に示すように、ＡＰＴＳ（abstract_parameter_TimedText_segment）とＴＢＳ（text body segment）のセグメントがＰＥＳデータペイロードに配置されたＰＥＳパケットを含むサブタイトルストリームＳＳが送信されてくる。受信側では、ＴＢＳのセグメントデータと、ＡＰＴＳのセグメントに含まれるリージョン位置情報（Region_position）に基づいて、当該リージョン“region r3” の位置に「ＧＨＩ」の文言を表示するためのサブタイトルのビットマップデータを発生する。
　そして、受信側では、ＰＴＳ３と、ＡＰＴＳのセグメントに含まれる表示タイミング情報（ＳＴＳ３，ＥＴＳ３）に基づいて、表示開始タイミングＴ４から表示終了タイミングＴ６まで、このビットマップデータを出力する。これにより、受信側では、図３６に示すように、Ｔ４からＴ６にかけて、画面上に「ＧＨＩ」の文言の表示が継続して行われる。
　＜２．変形例＞
　なお、上述実施の形態においては、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報としてＴＴＭＬを用いる例を示した。しかし、本技術は、これに限定されず、ＴＴＭＬと同等の情報を持つその他のタイムドテキスト情報を用いることも考えらえる。例えば、ＴＴＭＬの派生フォーマットを用いてもよい。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、ＭＰＥＧ－２　ＴＳのコンテナに限定されるものではなく、例えばＭＭＴあるいは、ＩＳＯＢＭＦＦなど、その他のフォーマットのコンテナであっても同様に実現できる。
　また、上述実施の形態においては、ＴＴＭＬおよびアブストラクト情報をセグメントに載せたうえでＰＥＳパケットのＰＥＳデータペイロードに配置する例を示した。しかし、本技術は、ＰＥＳデータペイロードに、ＴＴＭＬおよびアブストラクト情報を直接配置することも考えられる。
　また、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
　また、本技術は、以下のような構成を取ることもできる。
　（１）符号化ビデオデータを含むビデオストリームを生成するビデオエンコード部と、
　表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームを生成するサブタイトルエンコード部と、
　上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信部を備える
　送信装置。
　（２）上記アブストラクト情報には、サブタイトルの表示タイミング情報が含まれる
　前記（１）に記載の送信装置。
　（３）上記サブタイトルの表示タイミング情報は、表示開始タイミングと表示期間の情報を持つ
　前記（２）に記載の送信装置。
　（４）上記サブタイトルストリームは、ＰＥＳヘッダとＰＥＳペイロードとからなるＰＥＳパケットにより構成され、
　上記サブタイトルのテキスト情報と上記アブストラクト情報はＰＥＳペイロードに配置され、
　上記表示開始タイミングは、上記ＰＥＳヘッダに挿入されているＰＴＳからの表示オフセットで示される
　前記（３）に記載の送信装置。
　（５）上記アブストラクト情報には、サブタイトルの表示状態を制御するための表示制御情報が含まれる
　前記（１）から（４）のいずれかに記載の送信装置。
　（６）上記表示制御情報には、少なくともサブタイトルの表示位置、色域およびダイナミックレンジのうちのいずれかの情報が含まれる
　前記（５）に記載の送信装置。
　（７）上記表示制御情報には、対象ビデオの情報がさらに含まれる
　前記（６）に記載の送信装置。
　（８）上記アブストラクト情報には、上記サブタイトルのテキスト情報の要素に変化があることを通知する通知情報が含まれる
　前記（１）から（７）のいずれかに記載の送信装置。
　（９）上記サブタイトルエンコード部は、
　上記サブタイトルのテキスト情報と上記アブストラクト情報をセグメント化し、所定数のセグメントを持つ上記サブタイトルストリームを生成する
　前記（１）から（８）のいずれかに記載の送信装置。
　（１０）上記サブタイトルストリームには、
　上記アブストラクト情報のセグメントが最初に配置され、続いて上記サブタイトルのテキスト情報のセグメントが配置される
　前記（９）に記載の送信装置。
　（１１）上記サブタイトルのテキスト情報は、ＴＴＭＬ、あるいは該ＴＴＭＬの派生フォーマットである
　前記（１）から（１０）のいずれかに記載の送信装置。
　（１２）符号化ビデオデータを含むビデオストリームを生成するビデオエンコードステップと、
　表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームを生成するサブタイトルエンコードステップと、
　送信部により、上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信ステップを有する
　送信方法。
　（１３）ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記ビデオストリームは、符号化ビデオデータを含み、
　上記サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含み、
　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
　上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得ると共に、上記アブストラクト情報を抽出するサブタイトルデコード部と、
　上記ビデオデータに上記サブタイトルのビットマップデータを重畳して表示用ビデオデータを得るビデオ重畳部と、
　上記ビデオデータに重畳されるサブタイトルのビットマップデータを、上記アブストラクト情報に基づいて制御する制御部をさらに備える
　受信装置。
　（１４）上記アブストラクト情報には、サブタイトルの表示タイミング情報が含まれており、
　上記制御部は、
　上記ビデオデータへの上記サブタイトルのビットマップデータの重畳タイミングを、上記サブタイトルの表示タイミング情報に基づいて制御する
　前記（１３）に記載の受信装置。
　（１５）上記アブストラクト情報には、サブタイトルの表示状態を制御するための表示制御情報が含まれており、
　上記制御部は、
　上記ビデオデータに重畳される上記サブタイトルのビットマップの状態を上記表示制御情報に基づいて制御する
　前記（１３）または（１４）に記載の受信装置。
　（１６）受信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
　上記ビデオストリームは、符号化ビデオデータを含み、
　上記サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含み、
　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
　上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得ると共に、上記アブストラクト情報を抽出するサブタイトルデコードステップと、
　上記ビデオデータに上記サブタイトルのビットマップデータを重畳して表示用ビデオデータを得るビデオ重畳ステップと、
　上記ビデオデータに重畳されるサブタイトルのビットマップデータを、上記アブストラクト情報に基づいて制御する制御ステップをさらに有する
　受信方法。
　（１７）符号化ビデオデータを含むビデオストリームを生成するビデオエンコード部と、
　表示タイミング情報を持つサブタイトルのテキスト情報の要素が配置された１つまたは複数のセグメントを生成し、該１つまたは複数のセグメントを含むサブタイトルストリームを生成するサブタイトルエンコード部と、
　上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
　送信装置。
　（１８）上記サブタイトルエンコード部は、
　上記サブタイトルのテキスト情報の全ての要素が配置された１つのセグメントを生成する場合、
　上記セグメントのレイヤまたは上記要素のレイヤに、上記サブタイトルのテキスト情報の伝送順および/または更新の有無に関する情報を挿入する
　前記（１７）に記載の送信装置。
　（１９）上記サブタイトルのテキスト情報は、ＴＴＭＬ、あるいは該ＴＴＭＬの派生フォーマットである
　前記（１７）または（１８）に記載の送信装置。
　（２０）符号化ビデオデータを含むビデオストリームを生成するビデオエンコードステップと、
　表示タイミング情報を持つサブタイトルのテキスト情報の要素が配置された１つまたは複数のセグメントを生成し、該１つまたは複数のセグメントを含むサブタイトルストリームを生成するサブタイトルエンコードステップと、
　送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
　送信方法。
　本技術の主な特徴は、サブタイトルストリームにサブタイトルのテキスト情報と共に、そのテキスト情報に対応したアブストラクト情報を含めることで、受信側におけるサブタイトル表示のため処理の負荷の軽減を図るようにしたことである（図１２参照）。
　１０・・・送受信システム
　１００・・・送信装置
　１０１・・・制御部
　１０２・・・カメラ
　１０３・・・ビデオ光電変換部
　１０４・・・ＲＧＢ/ＹＣｂＣｒ変換部
　１０５・・・ビデオエンコーダ
　１０６・・・サブタイトル発生部
　１０７・・・テキストフォーマット変換部
　１０８・・・サブタイトルエンコーダ
　１０９・・・システムエンコーダ
　１１０・・・送信部
　２００・・・受信装置
　２０１・・・制御部
　２０２・・・ユーザ操作部
　２０３・・・受信部
　２０４・・・システムデコーダ
　２０５・・・ビデオデコーダ
　２０６・・・サブタイトルデコーダ
　２０７・・・色域・輝度変換部
　２０８・・・位置・サイズ変換部
　２０９・・・ビデオ重畳部
　２１０・・・ＹＣｂＣｒ/ＲＧＢ変換部
　２１１・・・電光変換部
　２１２・・・表示マッピング部
　２１３・・・ＣＥモニタ
　２２１・・・電光変換部
　２２２・・・色域変換部
　２２３・・・光電変換部
　２２４・・・ＲＧＢ/ＹＣｂＣｒ変換部
　２２５・・・輝度変換部
　２２５Ｙ・・・構成部
　２３１・・・符号化画素ビット数調整部
　２３２・・・レベル調整部
　２６１・・・コーデッドバッファ
　２６２・・・サブタイトルセグメントデコーダ
　２６３・・・フォント展開部
　２６４・・・ビットマップバッファ

Claims (20)

  1. 　符号化ビデオデータを含むビデオストリームを生成するビデオエンコード部と、
    　表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームを生成するサブタイトルエンコード部と、
    　上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
    　送信装置。
  2. 　上記アブストラクト情報には、サブタイトルの表示タイミング情報が含まれる
    　請求項１に記載の送信装置。
  3. 　上記サブタイトルの表示タイミング情報は、表示開始タイミングと表示期間の情報を持つ
    　請求項２に記載の送信装置。
  4. 　上記サブタイトルストリームは、ＰＥＳヘッダとＰＥＳペイロードとからなるＰＥＳパケットにより構成され、
    　上記サブタイトルのテキスト情報と上記アブストラクト情報はＰＥＳペイロードに配置され、
    　上記表示開始タイミングは、上記ＰＥＳヘッダに挿入されているＰＴＳからの表示オフセットで示される
    　請求項３に記載の送信装置。
  5. 　上記アブストラクト情報には、サブタイトルの表示状態を制御するための表示制御情報が含まれる
    　請求項１に記載の送信装置。
  6. 　上記表示制御情報には、少なくともサブタイトルの表示位置、色域およびダイナミックレンジのうちのいずれかの情報が含まれる
    　請求項５に記載の送信装置。
  7. 　上記表示制御情報には、対象ビデオの情報がさらに含まれる
    　請求項６に記載の送信装置。
  8. 　上記アブストラクト情報には、上記サブタイトルのテキスト情報の要素に変化があることを通知する通知情報が含まれる
    　請求項１に記載の送信装置。
  9. 　上記サブタイトルエンコード部は、
    　上記サブタイトルのテキスト情報と上記アブストラクト情報をセグメント化し、所定数のセグメントを持つ上記サブタイトルストリームを生成する
    　請求項１に記載の送信装置。
  10. 　上記サブタイトルストリームには、
    　上記アブストラクト情報のセグメントが最初に配置され、続いて上記サブタイトルのテキスト情報のセグメントが配置される
    　請求項９に記載の送信装置。
  11. 　上記サブタイトルのテキスト情報は、ＴＴＭＬ、あるいは該ＴＴＭＬの派生フォーマットである
    　請求項１に記載の送信装置。
  12. 　符号化ビデオデータを含むビデオストリームを生成するビデオエンコードステップと、
    　表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含むサブタイトルストリームを生成するサブタイトルエンコードステップと、
    　送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
    　送信方法。
  13. 　ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    　上記ビデオストリームは、符号化ビデオデータを含み、
    　上記サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含み、
    　上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得ると共に、上記アブストラクト情報を抽出するサブタイトルデコード処理と、上記ビデオデータに上記サブタイトルのビットマップデータを重畳して表示用ビデオデータを得るビデオ重畳処理と、上記ビデオデータに重畳されるサブタイトルのビットマップデータを上記アブストラクト情報に基づいて処理するビットマップデータ処理を制御する制御部をさらに備える
    　受信装置。
  14. 　上記アブストラクト情報には、サブタイトルの表示タイミング情報が含まれており、
    　上記ビットマップデータ処理では、
    　上記ビデオデータへの上記サブタイトルのビットマップデータの重畳タイミングを、上記サブタイトルの表示タイミング情報に基づいて制御する
    　請求項１３に記載の受信装置。
  15. 　上記アブストラクト情報には、サブタイトルの表示状態を制御するための表示制御情報が含まれており、
    　上記ビットマップデータ処理では、
    　上記ビデオデータに重畳される上記サブタイトルのビットマップの状態を上記表示制御情報に基づいて制御する
    　請求項１３に記載の受信装置。
  16. 　受信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    　上記ビデオストリームは、符号化ビデオデータを含み、
    　上記サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報と、該テキスト情報で示される複数の情報のうちの一部の情報に対応した情報を持つアブストラクト情報を含み、
    　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
    　上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得ると共に、上記アブストラクト情報を抽出するサブタイトルデコードステップと、
    　上記ビデオデータに上記サブタイトルのビットマップデータを重畳して表示用ビデオデータを得るビデオ重畳ステップと、
    　上記ビデオデータに重畳されるサブタイトルのビットマップデータを、上記アブストラクト情報に基づいて制御する制御ステップをさらに有する
    　受信方法。
  17. 　符号化ビデオデータを含むビデオストリームを生成するビデオエンコード部と、
    　表示タイミング情報を持つサブタイトルのテキスト情報の要素が配置された１つまたは複数のセグメントを生成し、該１つまたは複数のセグメントを含むサブタイトルストリームを生成するサブタイトルエンコード部と、
    　上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
    　送信装置。
  18. 　上記サブタイトルエンコード部は、
    　上記サブタイトルのテキスト情報の全ての要素が配置された１つのセグメントを生成する場合、
    　上記セグメントのレイヤまたは上記要素のレイヤに、上記サブタイトルのテキスト情報の伝送順および/または更新の有無に関する情報を挿入する
    　請求項１７に記載の送信装置。
  19. 　上記サブタイトルのテキスト情報は、ＴＴＭＬ、あるいは該ＴＴＭＬの派生フォーマットである
    　請求項１７に記載の送信装置。
  20. 　符号化ビデオデータを含むビデオストリームを生成するビデオエンコードステップと、
    　表示タイミング情報を持つサブタイトルのテキスト情報の要素が配置された１つまたは複数のセグメントを生成し、該１つまたは複数のセグメントを含むサブタイトルストリームを生成するサブタイトルエンコードステップと、
    　送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
    　送信方法。
PCT/JP2016/069955 2015-07-16 2016-07-05 送信装置、送信方法、受信装置および受信方法 WO2017010359A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017528617A JP6943179B2 (ja) 2015-07-16 2016-07-05 送信装置、送信方法、受信装置および受信方法
CN201680040344.2A CN107852517A (zh) 2015-07-16 2016-07-05 传输装置、传输方法、接收装置和接收方法
EP16824339.2A EP3324637B1 (en) 2015-07-16 2016-07-05 Transmission device, transmission method, receiving device and receiving method
US15/739,827 US20180376173A1 (en) 2015-07-16 2016-07-05 Transmission device, transmission method, reception device, and reception method
AU2016294096A AU2016294096B2 (en) 2015-07-16 2016-07-05 Transmission device, transmission method, receiving device and receiving method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015142497 2015-07-16
JP2015-142497 2015-07-16

Publications (1)

Publication Number Publication Date
WO2017010359A1 true WO2017010359A1 (ja) 2017-01-19

Family

ID=57758069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069955 WO2017010359A1 (ja) 2015-07-16 2016-07-05 送信装置、送信方法、受信装置および受信方法

Country Status (6)

Country Link
US (1) US20180376173A1 (ja)
EP (1) EP3324637B1 (ja)
JP (3) JP6943179B2 (ja)
CN (1) CN107852517A (ja)
AU (1) AU2016294096B2 (ja)
WO (1) WO2017010359A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133372A1 (zh) * 2018-12-29 2020-07-02 深圳市大疆创新科技有限公司 视频的字幕处理方法和导播系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
US10970882B2 (en) 2019-07-24 2021-04-06 At&T Intellectual Property I, L.P. Method for scalable volumetric video coding
US10979692B2 (en) * 2019-08-14 2021-04-13 At&T Intellectual Property I, L.P. System and method for streaming visible portions of volumetric video
CN113206853B (zh) * 2021-05-08 2022-07-29 杭州当虹科技股份有限公司 一种视频批改结果保存改进方法
CN117714805A (zh) * 2022-09-08 2024-03-15 海信电子科技（深圳）有限公司 一种显示设备及字幕显示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312506B (zh) * 2007-05-21 2010-12-22 Nec卡西欧移动通信株式会社 附带字幕的影像重现装置
DE102009037208B3 (de) * 2009-08-12 2011-06-01 Aesculap Ag Verfahren und Vorrichtung zur Bestimmung der Lage einer Tangentialebene an drei Extrempunkten eines Körpers
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5685969B2 (ja) * 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
WO2012177874A2 (en) * 2011-06-21 2012-12-27 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
JP2013021415A (ja) * 2011-07-07 2013-01-31 Sony Corp 送信装置、送信方法および受信装置
CN103688532B (zh) * 2011-07-29 2018-05-04 索尼公司 流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统
EP2793464A4 (en) * 2011-12-16 2015-09-02 Sony Corp RECEIVING DEVICE AND CONTROL METHOD THEREFOR, DEVICE, METHOD, AND BROADCASTING SYSTEM, AND PROGRAM
JPWO2013105401A1 (ja) * 2012-01-13 2015-05-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5713142B1 (ja) * 2014-12-05 2015-05-07 ソニー株式会社 受信装置、およびデータ処理方法
CN107005733B (zh) * 2014-12-19 2020-06-16 索尼公司 发送装置、发送方法、接收装置以及接收方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DATA CODING AND TRANSMISSION SPECIFICATION FOR DIGITAL BROADCASTING ARIB STD-B24, VER.6.1, vol. 3, 16 December 2014 (2014-12-16), pages 56 - 61, XP009508389 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133372A1 (zh) * 2018-12-29 2020-07-02 深圳市大疆创新科技有限公司 视频的字幕处理方法和导播系统

Also Published As

Publication number Publication date
EP3324637A1 (en) 2018-05-23
JP6943179B2 (ja) 2021-09-29
JP2021185714A (ja) 2021-12-09
JP2023076613A (ja) 2023-06-01
EP3324637A4 (en) 2019-03-20
JP7259901B2 (ja) 2023-04-18
EP3324637B1 (en) 2021-12-22
CN107852517A (zh) 2018-03-27
AU2016294096B2 (en) 2020-10-29
JPWO2017010359A1 (ja) 2018-04-26
US20180376173A1 (en) 2018-12-27
AU2016294096A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP7259901B2 (ja) 送信方法および送信装置
US11916594B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US10542304B2 (en) Transmission device, transmission method, reception device, and reception method
JP6702300B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10375448B2 (en) Reception device, reception method, transmission device, and transmission method
US10575062B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
WO2016108268A1 (ja) 送信装置、送信方法、受信装置および受信方法
US10349144B2 (en) Reception device, receiving method, transmission device, and transmitting method
US20200068247A1 (en) Reception apparatus, reception method, and transmission apparatus
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
US10904592B2 (en) Transmission apparatus, transmission method, image processing apparatus, image processing method, reception apparatus, and reception method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16824339

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017528617

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016294096

Country of ref document: AU

Date of ref document: 20160705

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016824339

Country of ref document: EP