WO2018123719A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2018123719A1
WO2018123719A1 PCT/JP2017/045474 JP2017045474W WO2018123719A1 WO 2018123719 A1 WO2018123719 A1 WO 2018123719A1 JP 2017045474 W JP2017045474 W JP 2017045474W WO 2018123719 A1 WO2018123719 A1 WO 2018123719A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
subtitle
information
segment
packet
Prior art date
Application number
PCT/JP2017/045474
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018533962A priority Critical patent/JP7026621B2/ja
Priority to US16/076,589 priority patent/US10965927B2/en
Priority to SG11201806194XA priority patent/SG11201806194XA/en
Priority to CN201780013445.5A priority patent/CN108702530B/zh
Priority to EP17887906.0A priority patent/EP3404923A4/en
Priority to AU2017387992A priority patent/AU2017387992B2/en
Publication of WO2018123719A1 publication Critical patent/WO2018123719A1/ja
Priority to US17/188,885 priority patent/US11470296B2/en
Priority to US17/823,093 priority patent/US11765330B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device that transmits a document of subtitle text information having display timing information.
  • subtitle information is transmitted as bitmap data.
  • a text character code that is, on a text basis.
  • font development corresponding to the resolution is performed on the receiving side.
  • the text information has timing information.
  • TTML Timed Text Markup Language
  • W3C World Wide Web Consortium
  • a packet including a TTML document is generated and transmitted in synchronization with the sample period (fixed period).
  • the header of the packet includes a time stamp indicating the start time of the corresponding sample period.
  • the time stamp unified timing management is performed in the entire system.
  • TTML domain display timing (begin, end) is only relative timing for each TTML package and cannot be linked with the system.
  • TTML subtitles are produced by content alone and are independent of timing management at the time of distribution. Therefore, there is a need for a synchronization method that guarantees the relevance with the system timing at the time of transmission without changing the display timing (begin, end), which is the relative timing of the TTML subtitle.
  • the purpose of this technology is to guarantee the relevance with the system timing during transmission without changing the display timing of the subtitle text information, and to enable the subtitle display at an appropriate timing on the receiving side.
  • a packet transmission unit that generates and transmits a packet in which the text information document of the subtitle having display timing information in synchronization with the sample period is included in the payload,
  • the header of the packet includes a first time-axis time stamp indicating the start time of the corresponding sample period,
  • the packet payload further includes reference time information on the second time axis related to the display timing associated with the start time of the corresponding sample period.
  • a packet is generated and transmitted by the transmission unit in synchronization with the sample period.
  • the payload of this packet includes a document of subtitle text information having display timing information.
  • the packet may be a PES packet.
  • the subtitle text information may be TTML or a format derived from this TTML.
  • the packet header includes a first time-axis time stamp indicating the start time of the corresponding sample period.
  • the packet payload further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period.
  • the reference time information may be time information indicating the start time of the corresponding sample period.
  • the reference time information is a difference between the display start time indicated by the display timing information and the start time of the corresponding sample period, or the display end time indicated by the display timing information and the start time of the corresponding sample period. Time information indicating the difference may be used.
  • the first time axis may be time indicated by a count value of 90 kHz
  • the second time axis may be indicated time by an hour / minute / second frame.
  • the payload of the packet may include a first segment having a document of subtitle text information and a second segment having reference time information related to display timing.
  • the first segment and the second segment corresponding to the first segment may be associated by the identification information.
  • the header of the packet includes the time stamp of the first time axis indicating the start time of the corresponding sample period, and the payload of the packet is associated with the start time of the corresponding sample period.
  • the reference time information of the second time axis related to the display timing is included. Therefore, the relevance with the system timing at the time of transmission can be guaranteed without changing the display timing in the text information of the subtitle, and the subtitle can be displayed at an appropriate timing on the receiving side.
  • the packet transmission unit may generate and transmit a packet even in a sample period after the display start time indicated by the display timing information has passed.
  • the display probability of the subtitle at the time of random access by channel switching can be increased.
  • a subtitle text information document having display timing information in synchronization with the sample period is provided with a receiving unit that receives a packet included in the payload,
  • the header of the packet includes a first time axis time stamp indicating the start time of the corresponding sample period
  • the payload of the packet further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period
  • the receiving apparatus further includes a control unit that controls display timing of the subtitle based on the text information of the subtitle based on the time stamp and the reference time information.
  • the reception unit receives a packet in which the text information document of the subtitle having the display timing information is included in the payload in synchronization with the sample period.
  • the header of the packet includes a time stamp on the first time axis indicating the start time of the corresponding sample period.
  • the packet payload further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period.
  • the control unit controls the subtitle display timing based on the subtitle text information based on the time stamp and the reference time information. For example, the control unit converts the display start time and the display end time indicated by the display timing information into the time on the first time axis using the time stamp and the reference time information, and uses the converted time for the subtitle.
  • the display timing may be controlled. Further, for example, when the display start time indicated by the display timing information is before, the control unit may control to immediately display the subtitle by the text information of the subtitle.
  • the packet header includes the first time-axis time stamp indicating the start time of the corresponding sample period
  • the packet payload includes the start time of the corresponding sample period.
  • the reference time information on the second time axis related to the display timing is included, and the display timing of the subtitle by the text information of the subtitle is controlled based on the time stamp and the reference time information. Therefore, it is possible to display a subtitle at an appropriate timing.
  • the payload of the packet includes a first segment having a subtitle text information document and a second segment having reference time information related to display timing.
  • the segment and the second segment corresponding to the first segment are associated with each other by the identification information, and the control unit determines the display timing of the subtitle by the text information of the subtitle of the first segment. Control may be performed using the reference time information of the second segment associated with. Thereby, it is possible to avoid that the display timing is controlled using incorrect reference time information.
  • the relevance with the system timing at the time of transmission can be guaranteed without changing the display timing in the subtitle text information, and the subtitle can be displayed at an appropriate timing on the receiving side.
  • the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a broadcast transmission system 100 and a television receiver 200.
  • the broadcast transmission system 100 transmits an MPEG-2 transport stream (hereinafter simply referred to as “transport stream”) TS as a multiplexed stream on a broadcast wave.
  • transport stream an MPEG-2 transport stream
  • the transport stream TS has a subtitle stream as well as a video stream and an audio stream.
  • the video stream is composed of video PES packets in which encoded image data is arranged in the payload.
  • the audio stream is composed of audio PES packets in which encoded audio data is arranged in the payload.
  • a subtitle stream is composed of a subtitle PES packet in which a subtitle text information document having display timing information, a segment packet having a TTML document (TTML document) in this embodiment is arranged in a payload.
  • This subtitle PES packet is generated in synchronization with the sample period (fixed period).
  • the header of this subtitle PES packet includes a first time axis time stamp indicating the start time of the corresponding sample period.
  • This time stamp is a so-called PTS (Presentation Time Stamp), and the time is indicated by a count value of 90 kHz.
  • the PTS constitutes a sample start time.
  • timing management unified throughout the system is performed.
  • the payload of the subtitle PES packet includes the reference time information on the second time axis related to the display timing (begin, end) associated with the start time of the corresponding sample period.
  • the display timing (begin, end) is only a relative timing for each TTML package, is not linked to the system, and is independent of timing management at the time of distribution.
  • the reference time information is time information indicating the start time of the corresponding sample period, and the time is indicated by an hour, minute and second frame.
  • the payload of the subtitle PES packet includes a first segment (TTML_segment) having the text information document of the subtitle and a second segment (Reftime_segment) having the reference time information related to the display timing.
  • TTML_segment a first segment
  • Reftime_segment a second segment
  • one set (group) is constituted by the first segment and the second segment corresponding to the first segment, and the same identification information is attached to each segment and associated.
  • the payload of the subtitle PES packet may include a plurality of sets (groups) of the first segment and the second segment. Can be identified.
  • the television receiver 200 receives the transport stream TS transmitted from the broadcast transmission system 100 by broadcast waves.
  • this transport stream TS has a subtitle stream together with a video stream and an audio stream.
  • the subtitle stream is composed of subtitle PES packets.
  • the subtitle PES packet includes a first segment (TTML_segment) having a document of subtitle text information and a second segment (Reftime_segment) having reference time information related to display timing.
  • the television receiver 200 controls the subtitle display timing based on the subtitle text information based on the time stamp and the reference time information.
  • the time stamp is time information on the first time axis
  • the reference time information is time information on the second time axis, similar to the display timing information of the TTML.
  • the television receiver 200 converts the display start time and the display end time indicated by the display timing information into the time on the first time axis, and controls the subtitle display timing using the converted time.
  • one set (group) is constituted by the first segment and the second segment corresponding to the first segment, and the same identification information is attached to each segment and associated.
  • the television receiver 200 controls the subtitle display timing based on the subtitle text information of the first segment using the reference time information of the second segment associated with the first segment.
  • subtitle PES packets including the same TTML document may be sent continuously in synchronization with a plurality of sample periods.
  • the time indicated by the reference time information included in the subtitle PES packet changes sequentially as the corresponding sample period advances.
  • the subtitle PES packet is generated and sent even in the sample period after the display start time indicated by the display timing information has passed.
  • the receiving apparatus 200 performs control so that the subtitle display is immediately performed when the display start time indicated by the display timing information is before the start time of the sample period.
  • FIG. 2 shows a configuration example of the stream generation unit 110 of the broadcast transmission system 100.
  • the stream generation unit 110 includes a control unit 111, a video encoder 112, an audio encoder 113, a text format conversion unit 114, a subtitle encoder 115, and a TS formatter (multiplexer) 116.
  • the control unit 111 is configured to include, for example, a CPU (Central Processing Unit), and controls the operation of each unit of the stream generation unit 110.
  • the video encoder 112 receives the image data DV, encodes the image data DV, and generates a video stream (PES stream) composed of video PES packets having encoded image data in the payload.
  • the audio encoder 113 receives the audio data DA, encodes the audio data DA, and generates an audio stream (PES stream) composed of audio PES packets having encoded audio data.
  • the text format conversion unit 114 receives text data (character code) as subtitle information and data DT composed of display control information thereof, and obtains text information of a subtitle having a predetermined format having display timing information.
  • this text information for example, TTML or a derived format of TTML can be considered. In this embodiment, TTML is assumed.
  • FIG. 3 shows an example of the structure of a TTML document (file).
  • TTML is described on an XML basis.
  • TTML has a head and a body. In the head, there are elements of metadata, styling, and layout.
  • FIG. 4A shows an example of the structure of metadata (TTM: TTML Metadata). This metadata includes metadata title information and copyright information.
  • FIG. 4B shows a structural example of styling (TTS: TTML Styling).
  • This styling includes information such as a color (color), a font (fontFamily), a size (fontSize), and an alignment (textAlign) in addition to the identifier (id).
  • FIG. 4C shows a structural example of a layout (region: TTML layout).
  • This layout includes information such as an extent (extent), an offset (padding), a background color (backgroundColor), and an alignment (displayAlign) in addition to the identifier (id) of the region in which the subtitle is arranged.
  • FIG. 5 shows an example of the structure of the body.
  • information of subtitle 1 (subtitle 1) is included.
  • the display start time and the display end time are described, and text data is described.
  • the display start timing is “3 s”
  • the display end timing is “6 s”
  • the text data is “I ′m going to the station now”.
  • the subtitle encoder 115 generates a TTML segment (TTML_segment) including a TTML document obtained by the text format conversion unit 114. Then, the subtitle encoder 115 generates a subtitle stream (PES stream) including a subtitle PES packet in which the TTML segment is arranged in the payload.
  • TTML_segment a TTML segment
  • PES stream a subtitle stream
  • the subtitle encoder 115 generates a subtitle PES packet in synchronization with the sample period, and inserts a time stamp on the first time axis indicating the start time of the corresponding sample period as a PTS in the header of the subtitle PES packet. In the first time axis, time is indicated by a count value of 90 kHz.
  • FIG. 6 shows an example of the generation timing of the subtitle PES packet.
  • the vertical line indicates the boundary of each sample period (fixed section).
  • a subtitle PES packet having a time stamp A (Timestamp ⁇ ⁇ A) indicating the start time of the sample period as a PTS is generated.
  • the payload of this subtitle PES packet includes a TTML segment (TTML_segment) having a TTLM document having display timing information with a display start time “J” and a display end time “K”.
  • a subtitle PES packet having a time stamp B (Timestamp) B) indicating the start time of the sample period as a PTS is generated in synchronization with a certain sample period.
  • the payload of the subtitle PES packet includes a TTML segment (TTML_segment) having a TTLM document having a display start time “P” and a display end time “R”.
  • the subtitle encoder 115 also has a reference time segment (Reftime_segment) having the reference time information of the second time axis related to the display timing associated with the start time of the corresponding sample period based on the timing management by the control unit 111. Is generated. Then, the subtitle encoder 115 includes this reference time segment (Reftime_segment) in the payload of the subtitle PES packet.
  • the second time axis indicates time in an hour / minute / second frame.
  • the reference time information will be further described with reference to FIG.
  • the time on the first time axis corresponding to the start of the sample period is “timestamp1”.
  • the display timing (begin, end) of the subtitle (caption) is time information on the second time axis.
  • the display start time (begin) is “Time1”
  • the time on the second time axis corresponding to the start of the sample period is “Reftime1”
  • the difference between them is ⁇ .
  • “Reftime1” is set as reference time information.
  • the following formula (1) shows a conversion formula for obtaining “delta90”, which is a value of 90 kHz accuracy corresponding to the period of ⁇ .
  • the following formula (2) shows a conversion formula for obtaining “timestamp2” which is the time of the first time axis corresponding to the display start time (begin) of the second time axis.
  • the following formula (3) shows a conversion formula for obtaining “Timestamp3” which is the time of the first time axis corresponding to the display end time (end) of the second time axis.
  • the display end time (end) is “Time1 ′”.
  • the units of Time1, Reftime1, and Time1 ′ are “seconds”.
  • delta90 (Time1-Reftime1) * 90K
  • timestamp2 timestamp1 + delta90
  • timestamp3 timestamp2 + (Time1 ⁇ -Time1) * 90K
  • FIG. 8 schematically shows an example of the content (packet configuration) of the subtitle PES packet.
  • This example corresponds to FIG. 6 described above.
  • a subtitle PES packet having a timestamp A (Timestamp A) as a PTS a TTML segment (TTML_segment) having a TTLM document having display timing information with a display start time “J” and a display end time “K” in its payload.
  • TTML_segment a TTML document having display timing information with a display start time “J” and a display end time “K” in its payload.
  • a reference time segment (Reftime_segment) having reference time information “Reftime1”.
  • Ts_Am timestampA + (J? Reftime1) * 90K (4)
  • TTML segment having a TTLM document having display timing information with a display start time “P” and a display end time “R” in its payload.
  • TTML_segment a TTML segment having a TTLM document having display timing information with a display start time “P” and a display end time “R” in its payload.
  • Reftime_segment a reference time segment having reference time information “Reftime2” is included.
  • the insertion of the reference time segment (Reftime_segment) can be omitted.
  • FIG. 9 schematically shows an example of the contents of a subtitle PES packet in the case of re-broadcasting, for example, in which the same TTML document is re-distributed in a different broadcast time zone.
  • a time stamp of PTS1 is attached, and at the time of rebroadcasting, a time stamp of PTS2 is attached.
  • the payload includes a TTML having a TTLM document having display timing information with a display start time of “00:00:03” and a display end time of “00:00:06”, both at the time of original broadcasting and at the time of rebroadcasting.
  • a segment (TTML_segment) is included.
  • the payload includes a reference time segment (Reftime_segment) having “00:00:01” as reference time information “Reftime1” at the time of original broadcasting, and “00” as reference time information “Reftime2” at the time of rebroadcasting.
  • the reference time segment (Reftime_segment) having “: 00: 01” is included.
  • ⁇ that is a time delay from PTS1 to PTS1_1 that is the display start time is equal to ⁇ that is a time delay from PTS2 to PTS2_1 that is the display start time.
  • “Reftime1” and “Reftime2” can be set with different values. In this case, ⁇ and ⁇ have different delay amounts.
  • PTS1_1 PTS1 + (3sec? 1sec) * 90K (6)
  • PTS2_1 PTS2 + (3sec? 1sec) * 90K (7)
  • the subtitle PES packet including the TTLM document having the display timing information with the display start time “J” and the display end time “K” is transmitted only once in a certain sample period.
  • the subtitle PES packet including the TTLM document having the display timing information with the display start time “P” and the display end time “R” is transmitted only once in a certain sample period.
  • subtitle PES packets including the same TTLM document are continuously generated and transmitted in synchronization with the sample period.
  • the time indicated by the reference time information included in the subtitle PES packet changes sequentially as the corresponding sample period advances.
  • FIG. 10 schematically shows an example of the content (packet configuration) of the subtitle PES packet.
  • All subtitle PES packets having time stamp A0 (Timestamp A0), time stamp A1 (Timestamp A1), and time stamp A2 (Timestamp A2) have a display start time “J” and a display end time “K” in the payload.
  • a TTLM document having display timing information “” is included.
  • the reference time information included in each subtitle PES packet changes as “Reftime10”, “Reftime11”, and “Reftime12”.
  • the display start time “J” is before the time indicated by the reference time information, and the display side has already passed the display start time. I understand that.
  • all subtitle PES packets having time stamp B0 (Timestamp B0), time stamp B1 (Timestamp B1), and time stamp B2 (Timestamp B2) are displayed with the display start time “P” in the payload.
  • a TTLM document having display timing information whose end time is “R” is included.
  • the reference time information included in each subtitle PES packet changes as “Reftime20”, “Reftime21”, and “Reftime22”.
  • the display start time “P” is before the time indicated by the reference time information, and the display side has already passed the display start time. I understand that.
  • TTML segment (TTML_segment) and the reference time segment (Reftime_segment) related to one subtitle content are included in the payload of the subtitle PES packet
  • Reftime_segment the reference time segment related to one subtitle content
  • the payload of the subtitle PES packet may include one or more sets (groups) of TTML segments and reference time segments.
  • groups the TTML segment and the reference time segment are associated by the identification information “segment_associate_id”.
  • FIG. 11 shows an example of two subtitle contents produced individually.
  • subtitle content S1 is subtitle content synchronized with video, and displays subtitles related to the voices of characters.
  • the subtitle content S2 is subtitle content that is asynchronous to the video, and displays subtitles such as explanations of stories and scenes, actor information, and other general information (for example, weather forecast).
  • FIG. 12 schematically shows an example of the content (packet configuration) of the subtitle PES packet when subtitle contents S1 and S2 exist.
  • a subtitle PES packet having a timestamp A (Timestamp A) as a PTS a TTLM document having display timing information with a display start time “S1_b1” and a display end time “S1_e1” related to the subtitle content S1 is included in the payload.
  • a TTML segment “S1 TTML” is included, and a reference time segment “Reftime A_S1” having reference time information “A_S1” is included.
  • the payload includes a TTML segment “S2 TTML” having a TTLM document having display timing information with the display start time “S2_b1” and the display end time “S2_e1” related to the caption content S2.
  • a reference time segment “ReftimeSA_S2” having reference time information “A_S2” is included.
  • TTLM having the display timing information with the display start time “S1_b2” and the display end time “S1_e2” related to the subtitle content S1 in the payload.
  • a TTML segment “S1 TTML” having a document is included, and a reference time segment “Reftime B_S1” having reference time information “B_S1” is included.
  • the payload includes a TTML segment “S2 TTML” having a TTLM document having display timing information with the display start time “S2_b2” and the display end time “S2_e2” related to the subtitle content S2.
  • a reference time segment “Reftime ⁇ B_S2 ”having reference time information“ B_S2 ” is included.
  • TTLM having display timing information in which the display start time related to the caption content S1 is “S1_b3” and the display end time is “S1_e3”.
  • a TTML segment “S1 TTML” having a document is included, and a reference time segment “Reftime C_S1” having reference time information “C_S1” is included.
  • FIG. 13 shows an example of the arrangement order when the TTLM document and the reference time segment related to the caption contents S1 and S2 exist in the subtitle PES packet.
  • This example corresponds to a subtitle PES packet having the time stamp A (Timestamp A) of FIG. 12 as a PTS.
  • FIG. 13A shows a reference time segment “Reftime A_S1”, a TTLM document “S1 TTML”, a reference time segment “Reftime A_S2”, and a TTML segment “S2 TTML”.
  • FIG. 13B shows a reference time segment “Reftime A_S1”, a reference time segment “Reftime A_S2”, a TTLM document “S1 TTML”, and a TTML segment “S2 TTML”.
  • These arrangement orders are examples, and other arrangement orders may be used.
  • the reference time segment “ReftimeRefA_S1” and the TTLM document “S1 TTML” are associated with each other by the identification information “segment_associate_id1”, and the reference time segment “Reftime A_S2” and the TTML segment “S2 TTML” are associated with each other by “segment_associate_id2”.
  • FIG. 13C it is possible to arrange one reference time segment “ReftimeTA”, TTLM document “S1 TTML”, and TTML segment “S2 TTML”.
  • the TTLM document “S1 TTML” is associated with “segment_associate_id1”
  • the TTLM document “S2 TTML” is associated with “segment_associate_id2”.
  • FIG. 14 shows a configuration example of the subtitle PES packet.
  • FIG. 14A shows a case where data of one caption content is included, the header includes PTS, and the payload includes only one set of the reference time segment and the TTML segment.
  • FIG. 14B is a modification of FIG. 14A, in which the transmission of the reference time information is omitted, and only the TTML segment exists in the payload.
  • FIG. 14C shows a case where data of a plurality of subtitle contents, here, two subtitle contents are included, the header includes the PTS, and the payload includes two sets of the reference time segment and the TTML segment.
  • FIG. 14D shows a case where data of a plurality of subtitle contents, here, two subtitle contents are included, the header includes PTS, and the payload includes one reference time segment and two TTML segments.
  • FIG. 15A shows an example of the structure of a subtitle PES packet (PES_packet).
  • PES_startcode_prefix a fixed pattern “0x000001” is arranged.
  • An 8-bit field of “stream_id” indicates a stream identifier.
  • the 16-bit field of “PES_packet_length” indicates the number of subsequent bytes as the length (size) of the PES packet.
  • PES_packet_length there is a field of “Optional_PES_header ()”. In this field, time stamps of PTS, DTS, and the like are arranged. After this field, there is a field “PES_packet_data_byte”. This field corresponds to the PES payload. In this field, “PES_data_byte_field ()” for containerizing data is arranged.
  • FIG. 15B shows a structural example of “PES_data_byte_field ()”.
  • the 8-bit field of “data_identifier” indicates an identifier for identifying the type of data in the container portion. Since the conventional subtitle (in the case of a bitmap) is supposed to be indicated by “0x20”, the text can be identified by a new value, for example, “0x21”.
  • the 8-bit field of “subtitle_stream_id” indicates an identifier for identifying the type of the subtitle stream.
  • a new value for example, “0x01”, can be distinguished from the conventional subtitle stream “0x00” that transmits a bitmap.
  • FIG. 16 shows an example of the definition of TT subtitle segment type (TT_subtitle segment_type). “0xA0” indicates a TTML segment (TTML_segment). “0xA1” indicates a reference time segment (Reftime_segment).
  • FIG. 17A shows a structural example (Syntax) of a TTML segment (TTML_segment).
  • FIG. 17B shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “sync_byte” is a unique word indicating the start of a segment.
  • An 8-bit field of “segment_type” indicates a segment type (segment type). Here, it is “0xA0” indicating a TTML segment (TTML_segment).
  • “Segment_length” is a 16-bit field indicating the number of subsequent bytes as the length (size) of the subtitle segment.
  • a 4-bit field of “TTML_version_number” indicates update of information. If an update is made, the value is incremented by one.
  • An 8-bit field of “segment_associate_id” indicates identification information used for identifying mutually related segments.
  • a TTML document is arranged in the field of “segment_payload ()”.
  • FIG. 18A shows a structure example (Syntax) of the reference time segment (Reftime_segment).
  • FIG. 18B shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “sync_byte” is a unique word indicating the start of a segment.
  • An 8-bit field of “segment_type” indicates a segment type (segment type). Here, it is “0xA1” indicating the reference time segment (Reftime_segment).
  • Segment_length is a 16-bit field indicating the number of subsequent bytes as the length (size) of the subtitle segment.
  • a 4-bit field of “reftime_version_number” indicates information update. If an update is made, the value is incremented by one.
  • the 8-bit field of “number_of_reftime_targets” indicates the number of targets that supply “reftime”.
  • An 8-bit field of “segment_associate_id” indicates identification information used for identifying mutually related segments.
  • the 8-bit field of“ reftime_hour ” indicates the decimal time of the reference time information.
  • the 8-bit field of “reftime_minute” indicates the decimal number of minutes in the reference time information.
  • the 8-bit field of “reftime_second” indicates the second in decimal notation of the reference time information.
  • An 8-bit field of “reftime_frame” indicates a decimal frame of the reference time information.
  • the TS formatter 116 multiplexes the video stream generated by the video encoder 112, the audio stream generated by the audio encoder 113, and the subtitle stream generated by the subtitle encoder 115 into TS packets, and multiplexes them.
  • a transport stream TS as a stream is obtained.
  • the operation of the stream generation unit 110 shown in FIG. 2 will be briefly described.
  • the image data DV is supplied to the video encoder 112.
  • the image data DV is encoded, and a video stream (PES stream) including a video PES packet having encoded image data in a payload is generated.
  • This video stream is supplied to the TS formatter 116.
  • the audio data DA is supplied to the audio encoder 113.
  • the audio encoder 113 encodes the audio data DA, and generates an audio stream (PES stream) composed of audio PES packets having encoded audio data. This audio stream is supplied to the TS formatter 116.
  • the text data (character code) as the subtitle information and the data DT composed of the display control information are supplied to the text format conversion unit 114.
  • This text format conversion unit 114 obtains subtitle text information in a predetermined format having display timing information, here, TTML. This TTML is supplied to the subtitle encoder 115.
  • the subtitle encoder 115 generates a TTML segment (TTML_segment) including a TTML document obtained by the text format conversion unit 114. Then, the subtitle encoder 115 generates a subtitle stream (PES stream) configured by a subtitle PES packet in which the TTML segment is arranged in the payload.
  • TTML_segment a TTML segment obtained by the text format conversion unit 114.
  • PES stream a subtitle stream configured by a subtitle PES packet in which the TTML segment is arranged in the payload.
  • the subtitle PES packet is generated in synchronization with the sample period, and the time stamp (90 kHz accuracy) on the first time axis indicating the start time of the corresponding sample period is set as the PTS in the header of the subtitle PES packet. Inserted.
  • the subtitle encoder 115 has second time axis reference time information (hour / minute / second frame) related to the display timing associated with the start time of the corresponding sample period based on the timing management by the control unit 111.
  • a reference time segment (Reftime_segment) is generated. Then, in the subtitle encoder 115, this reference time segment (Reftime_segment) is included in the payload of the subtitle PES packet.
  • the subtitle stream generated by the subtitle encoder 115 is supplied to the TS formatter 116.
  • the stream generated by each encoder is converted into a TS packet and multiplexed to generate a transport stream TS as a multiplexed stream.
  • FIG. 19 shows a configuration example of the television receiver 200.
  • the television receiver 200 includes a receiving unit 201, a TS analysis unit (demultiplexer) 202, a video decoder 203, a video superimposing unit 204, a panel drive circuit 205, and a display panel 206.
  • the television receiver 200 includes an audio decoder 207, an audio output circuit 208, a speaker 209, and a subtitle decoder 210.
  • the television receiver 200 also includes a CPU 221, a flash ROM 222, a DRAM 223, an internal bus 224, a remote control receiver 225, and a remote control transmitter 226.
  • the CPU 221 controls the operation of each part of the television receiver 200.
  • the flash ROM 222 stores control software and data.
  • the DRAM 223 constitutes a work area for the CPU 221.
  • the CPU 221 develops software and data read from the flash ROM 222 on the DRAM 223 to activate the software, and controls each unit of the television receiver 200.
  • the remote control receiving unit 225 receives the remote control signal (remote control code) transmitted from the remote control transmitter 226 and supplies it to the CPU 221.
  • the CPU 221 controls each part of the television receiver 200 based on this remote control code.
  • the CPU 221, flash ROM 222, and DRAM 223 are connected to the internal bus 224.
  • the receiving unit 201 receives the transport stream TS transmitted from the broadcast transmission system 100 on a broadcast wave.
  • the transport stream TS includes a video stream, an audio stream, and a subtitle stream.
  • the TS analysis unit 202 extracts video, audio, and subtitle streams from the transport stream TS.
  • the audio decoder 207 performs a decoding process on the audio PES packet constituting the audio stream extracted by the TS analysis unit 202 to obtain audio data.
  • the audio output circuit 208 performs necessary processing such as D / A conversion and amplification on the audio data, and supplies the audio data to the speaker 209.
  • the video decoder 203 performs a decoding process on the video PES packet constituting the video stream extracted by the TS analysis unit 202 to obtain image data.
  • the subtitle decoder 210 performs a decoding process on the subtitle PES packet constituting the subtitle stream extracted by the TS analysis unit 202, and obtains bitmap data (subtitle graphics data) of each region to be superimposed on the image data.
  • the payload of the subtitle PES packet includes a TTML segment (see FIGS. 3 to 5 and 17) including a TTML document and a reference time segment (see FIG. 18) having reference time information.
  • the subtitle decoder 210 extracts a TTML document from the TTML segment, and obtains bitmap data of each region based on the TTML document.
  • the subtitle decoder 210 extracts information on the display timing (begin, end) of each region from the body of the TTML document (see FIG. 5) and sends it to the CPU 221.
  • This display timing (begin, end) is only a relative timing for each TTML package, is not linked to the system, and is independent of timing management at the time of distribution.
  • the subtitle decoder 210 extracts the reference time information of the second time axis related to the display timing of each region from the reference time segment, and sends it to the CPU 211. Also, the subtitle decoder 210 sends the time stamp (PTS) of the first time axis with 90 kHz accuracy included in the header of the subtitle PES packet to the CPU 211. This time stamp (PTS) is a timing management that is unified throughout the system.
  • the CPU 211 uses the time stamp and the reference time information (the start time of the sample period indicated by the second time axis) to display the display start time and the display end time of each region indicated by the display timing (begin, end) information. Is converted to a time of 90 kHz accuracy on the first time axis (see the above formulas (2) and (3)).
  • the payload of the subtitle PES packet may include a TTML segment and a reference time segment related to a plurality of subtitle contents produced individually. That is, the payload of the subtitle PES packet may include not only one set (group) of TTML segments and reference time segments but also two or more.
  • the TTML segment and the reference time segment are associated by the identification information “segment_associate_id”.
  • the CPU 211 converts the display start time and display end time of each region in the TTML document included in a certain TTML segment into a time of 90 kHz accuracy as described above, the reference time segment associated with the TTML segment has By using the reference time information, erroneous conversion is prevented.
  • the video superimposing unit 204 superimposes the bitmap data of each region obtained from the subtitle decoder 210 on the image data obtained by the video decoder 203. In this case, under the control of the CPU 211, the video superimposing unit 204 superimposes the bitmap data of each region for the period from the display start time to the display end time with 90 kHz accuracy converted as described above.
  • subtitle PES packets including the same TTLM document are continuously generated and sent in synchronization with the sample period (see FIG. 10).
  • the display start time of each region indicated by the display timing (begin) information may be before the reference time (sample period start time) “Reftime” indicated by the reference time information.
  • the video superimposing unit 204 When the display start time of each region indicated by the display timing (begin) information is before the start time of the sample period indicated by the reference time information under the control of the CPU 211, the video superimposing unit 204 The bitmap data of each region obtained from the subtitle decoder 210 is immediately superimposed on the image data obtained by the video decoder 203.
  • the flowchart of FIG. 20 shows an example of a subtitle display control processing procedure performed each time the CPU 211 receives a subtitle PES packet.
  • “J” and “K” indicate the display start time and display end time indicated by the information of display timing (begin, end), respectively (see FIG. 10).
  • step ST1 the CPU 211 determines whether “Reftime” is smaller than “J”.
  • “Reftime” is smaller than “J” (for example, “Reftime 10” in FIG. 10)
  • the CPU 211 waits until the system clock corresponds to the timing of “J” in step ST2, and Bitmap data of each region is superimposed on the image data at timing, and control is performed so that subtitle display is started.
  • step ST1 determines in step ST3 whether “Reftime” is greater than “J” and less than “K”. When “Reftime” is greater than or equal to “J” and less than or equal to “K” (for example, when “Reftime 11” in FIG. 10), the process proceeds to step ST4.
  • step ST4 the CPU 211 determines whether or not the time from “Reftime” to “K” is equal to or greater than the threshold value TH, that is, whether or not there is sufficient time margin from “Reftime” to “K”.
  • the CPU 211 immediately superimposes the bitmap data of each region on the image data in step ST5. The subtitle display is controlled to start.
  • step ST6 when “Reftime” is not less than “J” and not more than “K” in step ST3, and further, when the time from “Reftime” to “K” is not not less than the threshold value TH in step ST4, the CPU 211 performs step ST6.
  • the bitmap data of each region is not superimposed on the image data, that is, the subtitle is not displayed.
  • the panel drive circuit 205 drives the display panel 206 based on the display image data obtained by the video superimposing unit 204.
  • the display panel 206 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), and the like.
  • the receiving unit 201 receives the transport stream TS transmitted from the broadcast transmission system 100 on the broadcast wave.
  • the transport stream TS includes a video stream, an audio stream, and a subtitle stream.
  • the transport stream TS is supplied to the TS analysis unit 202.
  • the TS analysis unit 202 extracts video, audio, and subtitle streams from the transport stream TS.
  • the video stream (PES stream) extracted by the TS analysis unit 202 is supplied to the video decoder 203.
  • the video PES packet constituting the video stream is subjected to decoding processing to obtain image data. This image data is supplied to the video superimposing unit 204.
  • the subtitle stream (PES stream) extracted by the TS analysis unit 202 is supplied to the subtitle decoder 210.
  • the subtitle PES packet constituting the subtitle stream is decoded, and bitmap data (subtitle graphics data) of each region to be superimposed on the image data is obtained.
  • a TTML document is extracted from the TTML segment included in the payload of the subtitle PES packet, and bitmap data of each region is obtained based on the TTML document.
  • the subtitle decoder 210 information on the display timing (begin, end) of each region is extracted from the body of the TTML document (see FIG. 5) and sent to the CPU 221. Further, in the subtitle decoder 210, the reference time information on the second time axis related to the display timing of each region is extracted from the reference time segment and sent to the CPU 211. Further, the subtitle decoder 210 extracts a time stamp (PTS) of the first time axis with 90 kHz accuracy included in the header of the subtitle PES packet and sends it to the CPU 211.
  • PTS time stamp
  • the CPU 211 uses the time stamp and the reference time information (the start time of the sample period indicated by the second time axis) to display the display start time and the display end of each region indicated by the display timing (begin, end) information.
  • the time is converted to a 90 kHz accurate time on the first time axis. (See formulas (2) and (3) above).
  • the bitmap data of each region output from the subtitle decoder 210 is supplied to the video superimposing unit 204.
  • the bitmap data of each region obtained from the subtitle decoder 210 is superimposed on the image data obtained by the video decoder 203.
  • the video superimposing unit 204 superimposes the bitmap data of each region for the period from the display start time to the display end time with 90 kHz accuracy converted as described above under the control of the CPU 211. .
  • the video superimposing unit 204 under the control of the CPU 211, when the display start time of each region indicated by the display timing (begin) information is before the start time of the sample period, The bitmap data of each region obtained from the subtitle decoder 210 is immediately superimposed on the image data obtained by the decoder 203.
  • Display image data obtained by the video superimposing unit 204 is supplied to the panel drive circuit 205.
  • the panel drive circuit 205 drives the display panel 206 based on the display video data. As a result, an image in which each region is superimposed is displayed on the display panel 206.
  • the broadcast transmission system 100 generates and transmits a subtitle PES packet in synchronization with the sample period, and the header of the subtitle PES packet includes a corresponding sample period.
  • the time stamp (PTS) of the first time axis indicating the start time of the subtitle PES packet is included, and the payload of the subtitle PES packet includes the second time related to the display timing of each region associated with the start time of the corresponding sample period.
  • the reference time information of the time axis is included. Therefore, the relevance with the system timing at the time of transmission can be guaranteed without changing the display timing in the subtitle text information, and the subtitle can be displayed at an appropriate timing on the receiving side.
  • the broadcast transmission system 100 associates the TTML segment and the reference time segment with the identification information in each set of the TTML segment and the reference time segment included in the payload of the subtitle PES packet. Therefore, when the reception side converts the display start time and display end time of each region in the TTML document included in a certain TTML segment into a time of 90 kHz accuracy, the reference time segment associated with the TTML segment has a reference. By using time information, erroneous conversion can be prevented.
  • the television receiver 200 displays the subtitle based on the text information of the subtitle based on the time stamp (PTS) included in the header of the subtitle PES packet and the reference time information included in the payload. Control timing. Therefore, it is possible to display a subtitle at an appropriate timing.
  • PTS time stamp
  • the reference time information included in the payload of the subtitle PES packet is the time information indicating the start time “Reftime” of the corresponding sample period, but the display indicated by the display timing information Time information indicating the difference “ ⁇ ” (see FIG. 7) between the start time and the start time of the corresponding sample period, or the start time of the sample period corresponding to the display end time indicated by the display timing information Is also possible.
  • TTML is used as text information of a subtitle having a predetermined format having display timing information.
  • present technology is not limited to this, and other timed text information having information equivalent to TTML may be used.
  • a TTML derivative format may be used.
  • the transmission / reception system 10 including the broadcast transmission system 100 and the television receiver 200 is shown, but the configuration of the transmission / reception system to which the present technology can be applied is not limited thereto.
  • a configuration of a set top box and a monitor in which the television receiver 200 is connected by a digital interface such as HDMI (High-Definition Multimedia Interface) may be used.
  • HDMI High-Definition Multimedia Interface
  • HDMI High-Definition Multimedia Interface
  • the container multiplexed stream
  • the container is an MPEG-2 transport stream.
  • the present technology can be similarly applied when the multiplexed stream is an MMT stream or a DASH / ISOBMFF stream.
  • a packet transmission unit that generates and transmits a packet in which a subtitle text information document having display timing information in synchronization with a sample period is included in a payload,
  • the header of the packet includes a first time-axis time stamp indicating the start time of the corresponding sample period
  • the payload of the packet further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period.
  • the reference time information is time information indicating a start time of the corresponding sample period.
  • the reference time information is the difference between the display start time indicated by the display timing information and the start time of the corresponding sample period, or the start time of the sample period corresponding to the display end time indicated by the display timing information.
  • the first time axis is a time indicated by a count value of 90 kHz
  • the second time axis is a time indicated by an hour / minute / second frame.
  • Transmitter device (5)
  • the payload of the packet includes a first segment having a document of text information of the subtitle and a second segment having reference time information related to the display timing.
  • the transmission apparatus in any one of. (7) The transmission device according to (6), wherein the first segment and the second segment corresponding to the first segment are associated with each other by identification information. (8) The packet transmission unit generates and transmits the packet even in the sample period after the display start time indicated by the display timing information has passed. Any one of (1) to (7) The transmitting device described.
  • the transmission unit generates and transmits a packet in which the text information document of the subtitle having the display timing information in synchronization with the sample period is included in the payload,
  • the header of the packet includes a first time-axis time stamp indicating the start time of the corresponding sample period,
  • the payload of the packet further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period.
  • a receiving unit that receives a packet in which a text information document of a subtitle having display timing information in synchronization with a sample period is included in a payload;
  • the header of the packet includes a first time axis time stamp indicating the start time of the corresponding sample period,
  • the payload of the packet further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period,
  • a receiving apparatus further comprising: a control unit that controls display timing of the subtitle based on the text information of the subtitle based on the time stamp and the reference time information.
  • the control unit converts the display start time and the display end time indicated by the display timing information into the time of the first time axis using the time stamp and the reference time information, and the converted time
  • the receiving device wherein the display timing of the subtitle is controlled using time.
  • the payload of the packet includes a first segment having a text information document of the subtitle and a second segment having reference time information related to the display timing, The first segment and the second segment corresponding to the first segment are associated by identification information, The control unit controls the display timing of the subtitle based on the text information of the subtitle of the first segment, using reference time information of the second segment associated with the first segment.
  • the receiving device according to any one of (10) to (12).
  • the reception unit receives a packet in which a document of subtitle text information having display timing information in synchronization with the sample period is included in the payload;
  • the header of the packet includes a first time axis time stamp indicating the start time of the corresponding sample period,
  • the payload of the packet further includes reference time information on the second time axis related to the display timing, which is associated with the start time of the corresponding sample period,
  • a receiving method in which a receiving unit controls display timing of a subtitle by text information of the subtitle based on the time stamp and the reference time information.
  • the main feature of this technology is that the subtitle PES packet is generated and transmitted in synchronization with the sample period, and includes the first time axis time stamp (PTS) indicating the start time of the corresponding sample period in the header.
  • PTS time axis time stamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Television Systems (AREA)

Abstract

サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証し、受信側において適切なタイミングでのサブタイトル表示を可能とする。　サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信する。パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれる。パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントを送信する送信装置等に関する。
　従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、サブタイトルの情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている。この場合、受信側で解像度に応じたフォント展開がなされる。
　また、サブタイトルの情報をテキストベースで送信する場合、テキスト情報にタイミング情報を持たせることが提案されている。このテキスト情報として、例えば、Ｗ３Ｃ（World Wide Web Consortium）でＴＴＭＬ（Timed Text Markup Language）が提唱されている（特許文献１参照）。
特開２０１２－１６９８８５号公報
　サンプル期間（固定区間）に同期してＴＴＭＬのドキュメントが含まれたパケットを生成して送信することが考えられる。この場合、パケットのヘッダには対応するサンプル期間の開始時刻を示すタイムスタンプが含まれる。タイムスタンプに関してはシステム全体で統一されたタイミング管理がなされる。
　ＴＴＭＬのドメインの表示タイミング（begin, end）は、ＴＴＭＬのパッケージごとの相対的なタイミングでしかなく、システムとの連携がとれない。一方で、ＴＴＭＬのサブタイトルはコンテンツ単体で制作されたものであり、配信時のタイミング管理とは独立である。そのため、ＴＴＭＬのサブタイトルの相対的タイミングである表示タイミング（begin, end）を変えずに、伝送時のシステムタイミングとの関連性を保証する同期方法が必要になる。
　本技術の目的は、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証し、受信側において適切なタイミングでのサブタイトル表示を可能とすることにある。
　本技術の概念は、
　サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信するパケット送信部を備え、
　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
　送信装置にある。
　本技術において、送信部により、サンプル期間に同期してパケットが生成されて送信される。このパケットのペイロードには、表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントが含まれる。例えば、パケットは、ＰＥＳパケットである、ようにされてもよい。また、サブタイトルのテキスト情報は、ＴＴＭＬあるいはこのＴＴＭＬの派生フォーマットである、ようにされてもよい。
　パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれる。また、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる。例えば、基準時間情報は、対応するサンプル期間の開始時刻を示す時間情報である、ようにされてもよい。また、例えば、基準時間情報は、表示タイミング情報で示される表示開始時刻と対応するサンプル期間の開始時刻との差、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻との差を示す時間情報である、ようにされてもよい。また、例えば、第１の時間軸は９０ｋＨｚのカウント値で時間が示され、第２の時間軸は時分秒フレームで時間が示される、ようにされてもよい。
　また、例えば、パケットのペイロードには、サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれる、ようにされてもよい。そして、この場合、第１のセグメントとこの第１のセグメントに対応する第２のセグメントは識別情報により対応付けされる、ようにされてもよい。
　このように本技術においては、パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報が含まれる。そのため、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証でき、受信側において適切なタイミングでのサブタイトル表示が可能となる。
　なお、本技術において、例えば、パケット送信部は、パケットを、表示タイミング情報で示される表示開始時刻が過ぎた後のサンプル期間においても生成して送信する、ようにされてもよい。これにより、例えば、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めることが可能となる。
　また、本技術の他の概念は、
　サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信する受信部を備え、
　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
　上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する制御部をさらに備える
　受信装置にある。
　本技術において、受信部により、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットが受信される。ここで、パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれている。また、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれている。
　制御部により、タイムスタンプおよび基準時間情報に基づいて、サブタイトルのテキスト情報によるサブタイトルの表示タイミングが制御される。例えば、制御部は、タイムスタンプおよび基準時間情報を用いて表示タイミング情報で示される表示開始時刻および表示終了時刻を第１の時間軸の時刻に変換し、この変換された時刻を用いてサブタイトルの表示タイミングを制御する、ようにされてもよい。また、例えば、制御部は、表示タイミング情報で示される表示開始時刻が前にあるとき、サブタイトルのテキスト情報によるサブタイトルの表示を直ちに行うように制御する、ようにされてもよい。
　このように本技術においては、パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報が含まれており、タイムスタンプおよび基準時間情報に基づいてサブタイトルのテキスト情報によるサブタイトルの表示タイミングが制御される。そのため、適切なタイミングでのサブタイトル表示が可能となる。
　なお、本技術において、例えば、パケットのペイロードには、サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれており、第１のセグメントとこの第１のセグメントに対応する第２のセグメントは識別情報により対応付けされており、制御部は、第１のセグメントが持つサブタイトルのテキスト情報によるサブタイトルの表示タイミングを、この第１のセグメントと対応付けされている第２のセグメントが持つ基準時間情報を用いて制御する、ようにされてもよい。これにより、誤った基準時間情報を用いて表示タイミングが制御されるということが回避可能となる。
　本技術によれば、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証でき、受信側において適切なタイミングでのサブタイトル表示が可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 放送送出システムのストリーム生成部の構成例を示すブロック図である。 ＴＴＭＬ構造を説明するための図である。 ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素の構造例を示す図である。 ＴＴＭＬ構造のボディ（body）の構造例を示す図である。 サブタイトルＰＥＳパケットの生成タイミングの一例を示す図である。 基準時間情報を説明するための図である。 サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示す図である。 再放送のケースにおけるサブタイトルＰＥＳパケットの内容の一例を概略的に示す図である。 サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示す図である。 個別に制作された２つの字幕コンテンツの例を示す図である。 字幕コンテンツＳ１，Ｓ２が存在する場合におけるサブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示す図である。 サブタイトルＰＥＳパケットに字幕コンテンツＳ１，Ｓ２に係るＴＴＬＭドキュメントおよび基準時間セグメントが存在する場合における配列順の一例を示す図である。 サブタイトルＰＥＳパケットの構成例を示す図である。 サブタイトルＰＥＳパケット（PES_packet）の構造例と、「PES_data_byte_field()」の構造例を示す図である。 ＴＴ・サブタイトル・セグメント・タイプの定義の一例を示す図である。 ＴＴＭＬセグメントの構造例と、その構造例などにおける主要な情報の内容を示す図である。 基準時間セグメントの構造例と、その構造例などにおける主要な情報の内容を示す図である。 テレビ受信機の構成例を示すブロック図である。 ＣＰＵがサブタイトルＰＥＳパケットを受信する毎に行うサブタイトルの表示制御の処理手順の一例を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、放送送出システム１００とテレビ受信機２００により構成されている。
　放送送出システム１００は、多重化ストリームとしてのＭＰＥＧ－２トランスポートストリーム（以下、単に、「トランスポートストリーム」という）ＴＳを、放送波に載せて送信する。
　トランスポートストリームＴＳは、ビデオストリーム、オーディオストリームと共に、サブタイトルストリームを有している。ビデオストリームは、ペイロードに符号化画像データが配置されたビデオＰＥＳパケットにより構成される。オーディオストリームは、ペイロードに符号化音声データが配置されたオーディオＰＥＳパケットにより構成される。
　サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報のドキュメント、この実施の形態ではＴＴＭＬのドキュメント（ＴＴＭＬドキュメント）を持つセグメントパケットがペイロードに配置されたサブタイトルＰＥＳパケットにより構成される。このサブタイトルＰＥＳパケットは、サンプル期間（固定区間）に同期して生成される。
　このサブタイトルＰＥＳパケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれる。このタイムスタンプは、いわゆるＰＴＳ（Presentation Time Stamp）であり、９０ｋＨｚのカウント値で時間が示される。この場合、ＰＴＳは、サンプルスタートタイムを構成する。このＰＴＳに関しては、システム全体で統一されたタイミング管理がなされている。
　また、サブタイトルＰＥＳパケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミング（begin, end）に係る第２の時間軸の基準時間情報が含まれる。表示タイミング（begin, end）は、ＴＴＭＬのパッケージごとの相対的なタイミングでしかなく、システムとの連携はとられておらず、配信時のタイミング管理とは独立である。この実施の形態において、基準時間情報は、対応するサンプル期間の開始時刻を示す時間情報とされ、時分秒フレームで時間が示される。
　サブタイトルＰＥＳパケットのペイロードには、上述のサブタイトルのテキスト情報のドキュメントを持つ第１のセグメント（TTML_segment）と、上述の表示タイミングに係る基準時間情報を持つ第２のセグメント（Reftime_segment）が含まれる。ここで、第１のセグメントとこの第１のセグメントに対応する第２のセグメントにより１つの組（グループ）が構成され、それぞれのセグメントに同一の識別情報が付されて対応付けされる。個別に制作された複数の字幕コンテンツが存在する場合には、サブタイトルＰＥＳパケットのペイロードには、第１のセグメントと第２のセグメントとの組（グループ）が複数含まれることもあるが、識別情報により識別が可能とされる。
　テレビ受信機２００は、放送送出システム１００から放送波で送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、ビデオストリーム、オーディオストリームと共に、サブタイトルストリームを有している。サブタイトルストリームは、上述したように、サブタイトルＰＥＳパケットにより構成されている。このサブタイトルＰＥＳパケットには、サブタイトルのテキスト情報のドキュメントを持つ第１のセグメント（TTML_segment）と、表示タイミングに係る基準時間情報を持つ第２のセグメント（Reftime_segment）が含まれている。
　テレビ受信機２００は、サブタイトルのテキスト情報によるサブタイトル表示のタイミングを、タイムスタンプおよび基準時間情報に基づいて制御する。上述したように、タイムスタンプは第１の時間軸の時間情報であり、基準時間情報はＴＴＭＬが持つ表示タイミング情報と同様に第２の時間軸の時間情報である。テレビ受信機２００は、表示タイミング情報で示される表示開始時刻および表示終了時刻を第１の時間軸の時刻に変換し、この変換された時刻を用いてサブタイトル表示のタイミングを制御する。
　ここで、第１のセグメントとこの第１のセグメントに対応する第２のセグメントにより１つの組（グループ）が構成され、それぞれのセグメントに同一の識別情報が付されて対応付けされる。テレビ受信機２００は、第１のセグメントが持つサブタイトルのテキスト情報によるサブタイトルの表示タイミングを、この第１のセグメントと対応付けされている第２のセグメントが持つ基準時間情報を用いて制御する。
　なお、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めるために、同一のＴＴＭＬドキュメントを含むサブタイトルＰＥＳパケットが複数のサンプル期間に同期して連続的に送られてくる場合もある。その場合、各サブタイトルＰＥＳパケットにおいて、それに含まれる基準時間情報が示す時刻は、対応するサンプル期間が進んでいくことから、順次変化していく。この場合、サブタイトルＰＥＳパケットは、表示タイミング情報で示される表示開始時刻が過ぎた後のサンプル期間においても生成されて送られてくる。受信装置２００は、表示タイミング情報で示される表示開始時刻が、サンプル期間の開始時刻より前にあるとき、サブタイトル表示を直ちに行うように制御する。
　［放送送出システムのストリーム生成部の構成例］
　図２は、放送送出システム１００のストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、制御部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、テキストフォーマット変換部１１４と、サブタイトルエンコーダ１１５と、ＴＳフォーマッタ（マルチプレクサ）１１６を有している。
　制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）を備えた構成とされており、ストリーム生成部１１０の各部の動作を制御する。ビデオエンコーダ１１２は、画像データＤＶを入力し、この画像データＤＶに対して符号化を施し、ペイロードに符号化画像データを持つビデオＰＥＳパケットにより構成されるビデオストリーム（ＰＥＳストリーム）を生成する。オーディオエンコーダ１１３は、音声データＤＡを入力し、この音声データＤＡに対して符号化を施し、符号化音声データを持つオーディオＰＥＳパケットにより構成されるオーディオストリーム（ＰＥＳストリーム）を生成する。
　テキストフォーマット変換部１１４は、サブタイトル情報としてのテキストデータ（文字コード）とその表示制御情報で構成されるデータＤＴを入力し、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報を得る。このテキスト情報として、例えば、ＴＴＭＬあるいはＴＴＭＬの派生フォーマットが考えられるが、この実施の形態においてはＴＴＭＬであるとする。
　図３は、ＴＴＭＬのドキュメント（ファイル）の構造例を示している。ＴＴＭＬは、ＸＭＬベースで記載される。ＴＴＭＬには、ヘッド（head）と、ボディ（body）が存在する。そして、ヘッド（head）には、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素が存在する。
　図４（ａ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
　図４（ｂ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、カラー（color）、フォント（fontFamily）、サイズ（fontSize）、アラインメント（textAlign）などの情報が含まれている。
　図４（ｃ）は、レイアウト（region：TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、範囲（extent）、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。
　図５は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）の情報が含まれている。表示開始時刻と表示終了時刻が記載されると共に、テキストデータが記載されている。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“３ｓ”で、表示終了タイミングが“６ｓ”であり、テキストデータが「I’m going to the station now」とされている。
　図２に戻って、サブタイトルエンコーダ１１５は、テキストフォーマット変換部１１４で得られるＴＴＭＬのドキュメントを含むＴＴＭＬセグメント（TTML_segment）を生成する。そして、サブタイトルエンコーダ１１５は、ペイロードにそのＴＴＭＬセグメントを配置したサブタイトルＰＥＳパケットにより構成されるサブタイトルストリーム（ＰＥＳストリーム）を生成する。
　サブタイトルエンコーダ１１５は、サブタイトルＰＥＳパケットをサンブル期間に同期して生成し、このサブタイトルＰＥＳパケットのヘッダに、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプをＰＴＳとして挿入する。この第１の時間軸は、９０ｋＨｚのカウント値で時間が示される。
　図６は、サブタイトルＰＥＳパケットの生成タイミングの一例を示している。図において、縦線は、各サンプル期間（固定区間）の境界を示している。この例では、あるサンプル期間に同期して、そのサンプル期間の開始時刻を示すタイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットが生成される。このサブタイトルＰＥＳパケットのペイロードには、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれている。
　また、この例では、あるサンプル期間に同期して、そのサンプル期間の開始時刻を示すタイムタイムスタンプＢ（Timestamp B）をＰＴＳとして持つサブタイトルＰＥＳパケットが生成される。このサブタイトルＰＥＳパケットのペイロードには、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ” 表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれている。
　また、サブタイトルエンコーダ１１５は、制御部１１１によるタイミング管理に基づいて、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報を持つ基準時間セグメント（Reftime_segment）を生成する。そして、サブタイトルエンコーダ１１５は、サブタイトルＰＥＳパケットのペイロードに、この基準時間セグメント（Reftime_segment）を含める。この第２の時間軸は、時分秒フレームで時間が示される。
　図７を参照して、基準時間情報について、さらに説明する。サンプル期間の開始に対応した第１の時間軸の時刻を“timestamp1”とする。また、サブタイトル（字幕）の表示タイミング（begin, end）は第２の時間軸の時間情報である。表示開始時刻（begin）を“Time1”とし、サンプル期間の開始に対応した第２の時間軸における時刻を“Reftime1”とし、それらの間の差をΔとする。この場合に、“Reftime1”を、基準時間情報とする。
　このような基準時間情報をサブタイトルＰＥＳパケットのペイロードに挿入して送信することで、受信側においては、第２の時間軸の時間情報であるサブタイトル（字幕）の表示タイミング（begin, end）を、第１の時間軸に変換し、変換された時刻を用いてサブタイトルの表示タイミングを制御することが可能となる。
　以下の数式（１）は、Δの期間に対応する９０ｋＨｚ精度の値である“delta90”を求めるため変換式を示している。また、以下の数式（２）は、第２の時間軸の表示開始時刻（begin）に対応した第１の時間軸の時刻である“timestamp2”を求めるための変換式を示している。さらに、以下の数式（３）は、第２の時間軸の表示終了時刻（end）に対応した第１の時間軸の時刻である“Timestamp3”を求めるための変換式を示している。なお、表示終了時刻（end）を“Time1´”とする。なお、これらの数式において、Time1、Reftime1、Time1´のそれぞれの単位は「秒」である。
　delta90 = ( Time1-Reftime1 ) * 90K　　　・・・（１）
　timestamp2 = timestamp1 + delta90　　　・・・（２）
　timestamp3 = timestamp2 + (Time1´ - Time1 ) * 90K　　　・・・（３）
　なお、上述では、表示開始時刻“Time1”が時刻“Reftime1”より大きくなる一般的な場合を示しているが、これらが一致する場合もある。その場合には、基準時間情報となる“Reftime1”は、“Time1”とされる。この場合、基準時間情報の送信を省略することも可能である。
　図８は、サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示している。この例は、上述の図６に対応している。タイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれると共に、基準時間情報“Reftime1”を持つ基準時間セグメント（Reftime_segment）が含まれる。
　この場合、受信側においては、例えば、以下の数式（４）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“Ts_Am”を求めることができる。
　TS_Am = timestampA + ( J ? Reftime1 ) * 90K　　　・・・（４）
　また、タイムスタンプＢ（Timestamp B）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれると共に、基準時間情報“Reftime2”を持つ基準時間セグメント（Reftime_segment）が含まれる。なお、この場合には、基準時間セグメント（Reftime_segment）の挿入を省略することも可能である。
　この場合、受信側においては、例えば、以下の数式（５）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“Ts_Bm”を求めることができる。
　TS_Bm = timestampB + ( P ? Reftime2 ) * 90K 
　　　　= timestampB　　　　　　　　　　　　・・・（５）
　図９は、同一のＴＴＭＬドキュメントを別の放送時間帯で再配信する、例えば再放送のケースにおけるサブタイトルＰＥＳパケットの内容の一例を概略的に示している。オリジナルの放送時には、ＰＴＳ１のタイムスタンプが付けられ、再放送時にはＰＴＳ２のタイムスタンプが付けられる。ペイロードには、オリジナルの放送時および再放送時の双方において、表示開始時刻が“00:00:03”で表示終了時刻が“00:00:06”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれる。
　また、ペイロードには、オリジナルの放送時には基準時間情報“Reftime1”として“00:00:01”を持つ基準時間セグメント（Reftime_segment）が含まれるようにし、再放送時には基準時間情報“Reftime2”として“00:00:01”を持つ基準時間セグメント（Reftime_segment）が含まれるようにする。この場合、ＰＴＳ１から表示開始時刻であるＰＴＳ１_１までの時間遅延であるαとＰＴＳ２から表示開始時刻であるＰＴＳ２_１までの時間遅延であるβとは等しい値となる。一方で、”Reftime1”と”Reftime2”を異なる値で設定することも可能である。この場合は、上記αとβは異なる遅延量となる。
　これにより、受信側においては、オリジナル放送時には、以下の数式（６）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“PTS1_1”を求めることができる。
　PTS1_1 = PTS1 + ( 3sec ? 1sec ) * 90K　　　・・・（６）
　また、受信側においては、再放送時には、以下の数式（７）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“PTS2_1”を求めることができる。これにより、再放送時においても、オリジナル放送時と同様に、サブタイトルの表示タイミング制御を行うことが可能となる。
　PTS2_1 = PTS2 + ( 3sec ? 1sec ) * 90K　　　・・・（７）
　なお、図８の例においては、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットをあるサンプル期間で１回だけ送信し、同様に、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ”の表示タイミング情報を持つＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットをあるサンプル期間で１回だけ送信する例を示した。
　しかし、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めるために、同一のＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットをサンプル期間に同期して連続的に生成して送信することも考えられる。その場合、各サブタイトルＰＥＳパケットにおいて、それに含まれる基準時間情報が示す時刻は、対応するサンプル期間が進んでいくことから、順次変化していく。
　図１０は、サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示している。タイムスタンプＡ０（Timestamp A0）、タイムスタンプＡ１（Timestamp A1）, タイムスタンプＡ２（Timestamp A２）を持つサブタイトルＰＥＳパケットは、全て、そのペイロードに、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントが含まれる。しかし、それぞれのサブタイトルＰＥＳパケットに含まれる基準時間情報は、“Reftime10”、“Reftime11”、 “Reftime12”と変化していく。この場合、タイムスタンプＡ１, タイムスタンプＡ２を持つサブタイトルＰＥＳパケットにおいては、表示開始時刻“Ｊ”が基準時間情報で示す時刻よりも前になっており、受信側では、既に表示開始時刻を過ぎていることがわかる。
　また、同様に、タイムスタンプＢ０（Timestamp B0）、タイムスタンプＢ１（Timestamp B1）, タイムスタンプＢ２（Timestamp B２）を持つサブタイトルＰＥＳパケットは、全て、そのペイロードに、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ”の表示タイミング情報を持つＴＴＬＭドキュメントが含まれる。しかし、それぞれのサブタイトルＰＥＳパケットに含まれる基準時間情報は、“Reftime20”、“Reftime21”、 “Reftime22”と変化していく。この場合、タイムスタンプＢ１, タイムスタンプＢ２を持つサブタイトルＰＥＳパケットにおいては、表示開始時刻“Ｐ”が基準時間情報で示す時刻よりも前になっており、受信側では、既に表示開始時刻を過ぎていることがわかる。
　なお、上述では、サブタイトルＰＥＳパケットのペイロードに、１つの字幕コンテンツに係るＴＴＭＬセグメント（TTML_segment）および基準時間セグメント（Reftime_segment）を含める例について説明した。しかし、サブタイトルＰＥＳパケットのペイロードに、個別に制作された複数の字幕コンテンツに係るＴＴＭＬセグメントおよび基準時間セグメントを含めることも考えられる。
　つまり、サブタイトルＰＥＳパケットのペイロードには、ＴＴＭＬセグメントおよび基準時間セグメントの組（グループ）が、１つ以上含まれることもある。このことを考慮して、後述するように、各組において、ＴＴＭＬセグメントおよび基準時間セグメントは識別情報「segment_associate_id」により関連付けされる。
　図１１は、個別に制作された２つの字幕コンテンツの例を示している。例えば、字幕コンテンツＳ１は、ビデオに同期した字幕コンテンツであり、登場人物の声に関連する字幕を表示するものである。また、例えば、字幕コンテンツＳ２は、ビデオに非同期の字幕コンテンツであり、物語やシーンの解説、俳優情報、その他の一般情報（例えば、天気予報など）の字幕を表示するものである。
　図１２は、字幕コンテンツＳ１，Ｓ２が存在する場合におけるサブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示している。タイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ１に係る表示開始時刻が“S1_b1”で表示終了時刻が“S1_e1”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S1 TTML」が含まれると共に、基準時間情報“A_S1”を持つ基準時間セグメント「Reftime A_S1」が含まれる。
　また、このサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ２に係る表示開始時刻が“S2_b1”で表示終了時刻が“S2_e1”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S2 TTML」が含まれると共に、基準時間情報“A_S2”を持つ基準時間セグメント「Reftime A_S2」が含まれる。
　また、タイムスタンプＢ（Timestamp B）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ１に係る表示開始時刻が“S1_b2”で表示終了時刻が“S1_e2”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S1 TTML」が含まれると共に、基準時間情報“B_S1”を持つ基準時間セグメント「Reftime B_S1」が含まれる。
　また、このサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ２に係る表示開始時刻が“S2_b2”で表示終了時刻が“S2_e2”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S2 TTML」が含まれると共に、基準時間情報“B_S2”を持つ基準時間セグメント「Reftime B_S2」が含まれる。
　さらに、タイムスタンプＣ（Timestamp C）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ１に係る表示開始時刻が“S1_b3”で表示終了時刻が“S1_e3”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S1 TTML」が含まれると共に、基準時間情報“C_S1”を持つ基準時間セグメント「Reftime C_S1」が含まれる。
　図１３は、サブタイトルＰＥＳパケットに字幕コンテンツＳ１，Ｓ２に係るＴＴＬＭドキュメントおよび基準時間セグメントが存在する場合における配列順の一例を示している。この例は、図１２のタイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットに対応している。
　図１３（ａ）は、基準時間セグメント「Reftime A_S1」、ＴＴＬＭドキュメント「S1 TTML」、基準時間セグメント「Reftime A_S2」、ＴＴＭＬセグメント「S2 TTML」の順に配列されたものである。図１３（ｂ）は、基準時間セグメント「Reftime A_S1」、基準時間セグメント「Reftime A_S2」、ＴＴＬＭドキュメント「S1 TTML」、ＴＴＭＬセグメント「S2 TTML」の順に配列されたものである。これらの配列順は一例であって、これ以外の配列順であってもよい。なお、基準時間セグメント「Reftime A_S1」とＴＴＬＭドキュメント「S1 TTML」は、識別情報「segment_associate_id1」で関連付けされ、基準時間セグメント「Reftime A_S2」とＴＴＭＬセグメント「S2 TTML」は「segment_associate_id2」で関連付けされる。
　また、図１３（ｃ）のように，一つの基準時間セグメント「Reftime A」とＴＴＬＭドキュメント「S1 TTML」、ＴＴＭＬセグメント「S2 TTML」の配置も可能である。この場合、一つの基準時間セグメント「Reftime A_S」の中に関連付け情報が複数あり、ＴＴＬＭドキュメント「S1 TTML」は「segment_associate_id1」で、またＴＴＬＭドキュメント「S2 TTML」は「segment_associate_id2」で関連付けされる。
　図１４は、サブタイトルＰＥＳパケットの構成例を示すものである。図１４（ａ）は、１つの字幕コンテンツのデータを含む場合であり、ヘッダにはＰＴＳが含まれ、ペイロードには基準時間セグメントとＴＴＭＬセグメントの組が１つだけ存在する。図１４（ｂ）は、図１４（ａ）の変形であり、基準時間情報の送信が省略される場合であり、ペイロードにはＴＴＭＬセグメントだけが存在する。
　図１４（ｃ）は、複数、ここでは２つの字幕コンテンツのデータを含む場合であり、ヘッダにはＰＴＳが含まれ、ペイロードには基準時間セグメントとＴＴＭＬセグメントの組が２つ存在する。図１４（ｄ）は、複数、ここでは２つの字幕コンテンツのデータを含む場合であり、ヘッダにはＰＴＳが含まれ、ペイロードには一つの基準時間セグメントと２つのＴＴＭＬセグメントが存在する。
　図１５（ａ）は、サブタイトルＰＥＳパケット（PES_packet）の構造例を示している。「PES_startcode_prefix」の２４ビットフィールドには、“０ｘ０００００１”の固定パターンが配置される。「stream_id」の８ビットフィールドは、ストリーム識別子を示す。サブタイトルＰＥＳパケットの場合、「private stream1を示す値である“１０１１１１０１”とされる。「PES_packet_length」の１６ビットフィールドは、ＰＥＳパケットの長さ（サイズ）として以降のバイト数を示す。
　「PES_packet_length」の後に、「Optional_PES_header()」のフィールドが存在する。このフィールドには、ＰＴＳ，ＤＴＳのタイムスタンプなどが配置される。このフィールドの後に、「PES_packet_data_byte」のフィールドが存在する。このフィールドが、ＰＥＳペイロードに相当する。このフィールドに、データをコンテナするための「PES_data_byte_field()」が配置される。
　図１５（ｂ）は、「PES_data_byte_field()」の構造例を示している。「data_identifier」の８ビットフィールドは、コンテナ部分でデータの種類を識別する識別子を示す。従来のサブタイトル（ビットマップの場合）は、“０ｘ２０”で示すこととされているので、テキストの場合は新たな値、例えば“０ｘ２１”で識別することも可能である。
　「subtitle_stream_id」の８ビットフィールドは、サブタイトルストリームの種類を識別する識別子を示す。テキスト情報を伝送するサブタイトルストリームの場合は新たな値、例えば“０ｘ０１”とし、従来のビットマップを伝送するサブタイトルストリーム“０ｘ００”と区別することが可能である。
　この「subtitle_stream_id」のフィールドの後に、“００００１１１１”のパターンに続いて、「Subtitling_segments()」のフィールドが存在する。このフィールドに、セグメントパケットが配置される。このフィールドの後に、「end_of_PES_data_field_marker」の８ビットフィールドが存在する。このフィールドは、ＰＥＳパケットの最後を示すマーカである。
　図１６は、ＴＴ・サブタイトル・セグメント・タイプ（TT_subtitle segment_type）の定義の一例を示している。“０ｘＡ０”は、ＴＴＭＬセグメント（TTML_segment）であることを示す。“０ｘＡ１”は、基準時間セグメント（Reftime_segment）であることを示す。
　図１７（ａ）は、ＴＴＭＬセグメント（TTML_segment）の構造例（Syntax）を示している。図１７（ｂ）は、その構造例などにおける主要な情報の内容（Semantics）を示している。「sync_byte」の８ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の８ビットフィールドは、セグメント種類（セグメントタイプ）を示す。ここでは、ＴＴＭＬセグメント（TTML_segment）であることを示す“０ｘＡ０”となる。
　「segment_length」は、１６ビットフィールドは、サブタイトル・セグメントの長さ（サイズ）として、以降のバイト数を示す。「TTML_version_number」の４ビットフィールドは、情報の更新を示す。更新がなされる場合は値を一つ増加する。「segment_associate_id」の８ビットフィールドは、相互に関連するセグメントの識別に用いる識別情報を示す。「segment_payload()」のフィールドには、ＴＴＭＬドキュメントが配置される。
　図１８（ａ）は、基準時間セグメント（Reftime_segment）の構造例（Syntax）を示している。図１８（ｂ）は、その構造例などにおける主要な情報の内容（Semantics）を示している。「sync_byte」の８ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の８ビットフィールドは、セグメント種類（セグメントタイプ）を示す。ここでは、基準時間セグメント（Reftime_segment）であることを示す“０ｘＡ１”となる。
　「segment_length」は、１６ビットフィールドは、サブタイトル・セグメントの長さ（サイズ）として、以降のバイト数を示す。「reftime_version_number」の４ビットフィールドは、情報の更新を示す。更新がなされる場合は値を一つ増加する。「number_of_reftime_targets」の８ビットフィールドは、「reftime」を供給するターゲットの数を示す。「segment_associate_id」の８ビットフィールドは、相互に関連するセグメントの識別に用いる識別情報を示す。
　「reftime_hour」の８ビットフィールドは、基準時間情報のうちの１０進数表示の時間を示す。「reftime_minute」の８ビットフィールドは、基準時間情報のうちの１０進数表示の分を示す。「reftime_second」の８ビットフィールドは、基準時間情報のうちの１０進数表示の秒を示す。「reftime_frame」の８ビットフィールドは、基準時間情報のうちの１０進数表示のフレームを示す。
　図２に戻って、ＴＳフォーマッタ１１６は、ビデオエンコーダ１１２で生成されたビデオストリーム、オーディオエンコーダ１１３で生成されたオーディオストリームおよびサブタイトルエンコーダ１１５で生成されたサブタイトルストリームを、ＴＳパケット化して多重化し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
　図２に示すストリーム生成部１１０の動作を簡単に説明する。画像データＤＶは、ビデオエンコーダ１１２に供給される。ビデオエンコーダ１１２では、この画像データＤＶに対して符号化が施され、ペイロードに符号化画像データを持つビデオＰＥＳパケットからなるビデオストリーム（ＰＥＳストリーム）が生成される。このビデオストリームは、ＴＳフォーマッタ１１６に供給される。
　また、音声データＤＡは、オーディオエンコーダ１１３に供給される。オーディオエンコーダ１１３では、音声データＤＡに対して符号化が施され、符号化音声データを持つオーディオＰＥＳパケットからなるオーディオストリーム（ＰＥＳストリーム）が生成される。このオーディオストリームは、ＴＳフォーマッタ１１６に供給される。
　また、サブタイトル情報としてのテキストデータ（文字コード）とその表示制御情報で構成されるデータＤＴは、テキストフォーマット変換部１１４に供給される。このキストフォーマット変換部１１４では、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報、ここではＴＴＭＬが得られる。このＴＴＭＬは、サブタイトルエンコーダ１１５に供給される。
　サブタイトルエンコーダ１１５では、テキストフォーマット変換部１１４で得られるＴＴＭＬのドキュメントを含むＴＴＭＬセグメント（TTML_segment）が生成される。そして、サブタイトルエンコーダ１１５では、ペイロードにそのＴＴＭＬセグメントを配置したサブタイトルＰＥＳパケットにより構成されるサブタイトルストリーム（ＰＥＳストリーム）が生成される。
　サブタイトルエンコーダ１１５では、サブタイトルＰＥＳパケットがサンブル期間に同期して生成され、このサブタイトルＰＥＳパケットのヘッダに、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプ（９０ｋＨｚ精度）がＰＴＳとして挿入される。
　また、サブタイトルエンコーダ１１５では、制御部１１１によるタイミング管理に基づいて、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報（時分秒フレーム）を持つ基準時間セグメント（Reftime_segment）が生成される。そして、サブタイトルエンコーダ１１５では、サブタイトルＰＥＳパケットのペイロードに、この基準時間セグメント（Reftime_segment）が含められる。
　サブタイトルエンコーダ１１５で生成されたサブタイトルストリームは、ＴＳフォーマッタ１１６に供給される。ＴＳフォーマッタ１１６では、各エンコーダで生成されたストリームが、ＴＳパケット化されて多重化され、多重化ストリームとしてのトランスポートストリームＴＳが生成される。
　［テレビ受信機の構成例］
　図１９は、テレビ受信機２００の構成例を示している。このテレビ受信機２００は、受信部２０１と、ＴＳ解析部（デマルチプレクサ）２０２と、ビデオデコーダ２０３と、ビデオ重畳部２０４と、パネル駆動回路２０５と、表示パネル２０６を有している。また、このテレビ受信機２００は、オーディオデコーダ２０７と、音声出力回路２０８と、スピーカ２０９と、サブタイトルデコーダ２１０を有している。また、このテレビ受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６を有している。
　ＣＰＵ２２１は、テレビ受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、テレビ受信機２００の各部を制御する。
　リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、テレビ受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２およびＤＲＡＭ２２３は、内部バス２２４に接続されている。
　受信部２０１は、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。ＴＳ解析部２０２は、トランスポートストリームＴＳからビデオ、オーディオ、サブタイトルの各ストリームを抽出する。
　オーディオデコーダ２０７は、ＴＳ解析部２０２で抽出されるオーディオストリームを構成するオーディオＰＥＳパケットにデコード処理を施し、音声データを得る。音声出力回路２０８は、音声データに対して、Ｄ／Ａ変換や増幅等の必要な処理を施し、スピーカ２０９に供給する。ビデオデコーダ２０３は、ＴＳ解析部２０２で抽出されるビデオストリームを構成するビデオＰＥＳパケットにデコード処理を施し、画像データを得る。
　サブタイトルデコーダ２１０は、ＴＳ解析部２０２で抽出されるサブタイトルストリームを構成するサブタイトルＰＥＳパケットにデコード処理を施し、画像データに重畳すべき各リージョンのビットマップデータ（サブタイトルのグラフィックスデータ）を得る。サブタイトルＰＥＳパケットのペイロードには、上述したように、ＴＴＭＬドキュメントを含むＴＴＭＬセグメント（図３－図５、図１７参照）と、基準時間情報を持つ基準時間セグメント（図１８参照）が含まれている。サブタイトルデコーダ２１０は、ＴＴＭＬセグメントからＴＴＭＬドキュメントを抽出し、このＴＴＭＬドキュメントに基づいて各リージョンのビットマップデータを得る。
　また、サブタイトルデコーダ２１０は、ＴＴＭＬドキュメントのボディ（図５参照）から各リージョンの表示タイミング（begin, end）の情報を取り出してＣＰＵ２２１に送る。この表示タイミング（begin, end）は、ＴＴＭＬのパッケージごとの相対的なタイミングでしかなく、システムとの連携はとられておらず、配信時のタイミング管理とは独立である。
　また、サブタイトルデコーダ２１０は、基準時間セグメントから、各リージョンの表示タイミングに係る第２の時間軸の基準時間情報を取り出してＣＰＵ２１１に送る。また、サブタイトルデコーダ２１０は、サブタイトルＰＥＳパケットのヘッダに含まれている９０ｋＨｚ精度の第１の時間軸のタイムスタンプ（ＰＴＳ）をＣＰＵ２１１に送る。このタイムスタンプ（ＰＴＳ）は、システム全体で統一されたタイミング管理がなされているものである。
　ＣＰＵ２１１は、タイムスタンプと基準時間情報（第２の時間軸で示されるサンプル期間の開始時刻）を用いて、表示タイミング（begin, end）の情報で示される各リージョンの表示開始時刻および表示終了時刻を第１の時間軸の９０ｋＨｚ精度の時刻に変換する（上述の数式（２）、（３）参照）。
　なお、サブタイトルＰＥＳパケットのペイロードに、個別に制作された複数の字幕コンテンツに係るＴＴＭＬセグメントおよび基準時間セグメントが含まれる場合もある。つまり、サブタイトルＰＥＳパケットのペイロードには、ＴＴＭＬセグメントおよび基準時間セグメントの組（グループ）が、１つだけでなく、２つ以上含まれる場合もある。
　しかし、上述したように、各組において、ＴＴＭＬセグメントおよび基準時間セグメントは識別情報「segment_associate_id」により関連付けされている。ＣＰＵ２１１は、あるＴＴＭＬセグメントに含まれるＴＴＭＬドキュメントにおける各リージョンの表示開始時刻および表示終了時刻を上述したように９０ｋＨｚ精度の時刻に変換する場合、このＴＴＭＬセグメントに対応付けされている基準時間セグメントが持つ基準時間情報を用いることで、誤変換を防止する。
　ビデオ重畳部２０４は、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータを重畳する。この場合、ビデオ重畳部２０４は、ＣＰＵ２１１の制御のもと、各リージョンのビットマップデータを、それぞれの上述したように変換された９０ｋＨｚ精度の表示開始時刻から表示終了時刻までの期間だけ重畳する。
　なお、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めるために、同一のＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットがサンプル期間に同期して連続的に生成されて送られてくる場合も考えられる（図１０参照）。その場合、表示タイミング（begin）の情報で示される各リージョンの表示開始時刻が、基準時間情報で示される基準時間（サンプル期間の開始時刻）「Reftime」よりも前にある場合も考えられる。
　ビデオ重畳部２０４は、ＣＰＵ２１１の制御のもと、表示タイミング（begin）の情報で示される各リージョンの表示開始時刻が、基準時間情報で示されるサンプル期間の開始時刻よりも前にあるときは、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータを直ちに重畳する。
　図２０のフローチャートは、ＣＰＵ２１１が、サブタイトルＰＥＳパケットを受信する毎に行うサブタイトルの表示制御の処理手順の一例を示している。なお、この例において、“Ｊ”、“Ｋ”はそれぞれ表示タイミング（begin, end）の情報で示される表示開始時刻、表示終了時刻を示している（図１０参照）。
　ＣＰＵ２１１は、ステップＳＴ１において、「Reftime」が“Ｊ”より小さいか否かを判断する。「Reftime」が“Ｊ”より小さいとき（例えば、図１０の「Reftime 10」のとき）、ＣＰＵ２１１は、ステップＳＴ２において、システムクロックが“Ｊ”のタイミングに相当するまで待ち、この“Ｊ”のタイミングで画像データに各リージョンのビットマップデータを重畳し、サブタイトル表示が開始されるように制御する。
　ステップＳＴ１で「Reftime」が“Ｊ”より小さくないとき、ＣＰＵ２１１は、ステップＳＴ３において、「Reftime」が“Ｊ”以上で“Ｋ”以下にあるか否かを判断する。「Reftime」が“Ｊ”以上で“Ｋ”以下にあるとき（例えば、図１０の「Reftime 11」のとき）、ステップＳＴ４に進む。
　このステップＳＴ４において、ＣＰＵ２１１は、「Reftime」から“Ｋ”までの時間が閾値ＴＨ以上か否か、つまり「Reftime」から“Ｋ”までに十分な時間的余裕があるか否かを判断する。充分な時間的余裕があるとき、サブタイトル表示が既に始まっているがその終了まで十分な時間的余裕があるとき、ＣＰＵ２１１は、ステップＳＴ５において、直ちに、画像データに各リージョンのビットマップデータを重畳し、サブタイトル表示が開始されるように制御する。
　また、ステップＳＴ３で「Reftime」が“Ｊ”以上で“Ｋ”以下にないとき、さらには、ステップＳＴ４で「Reftime」から“Ｋ”までの時間が閾値ＴＨ以上でないとき、ＣＰＵ２１１は、ステップＳＴ６において、画像データに各リージョンのビットマップデータを重畳しないように、つまりサブタイトル表示をしないように制御する。
　図１９に戻って、パネル駆動回路２０５は、ビデオ重畳部２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
　図１９に示すテレビ受信機２００の動作を簡単に説明する。受信部２０１では、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。
　このトランスポートストリームＴＳは、ＴＳ解析部２０２に供給される。ＴＳ解析部２０２では、トランスポートストリームＴＳからビデオ、オーディオ、サブタイトルの各ストリームが抽出される。ＴＳ解析部２０２で抽出されるビデオストリーム（ＰＥＳストリーム）は、ビデオデコーダ２０３に供給される。ビデオデコーダ２０３では、ビデオストリームを構成するビデオＰＥＳパケットにデコード処理が施されて、画像データが得られる。この画像データは、ビデオ重畳部２０４に供給される。
　また、ＴＳ解析部２０２で抽出されるサブタイトルストリーム（ＰＥＳストリーム）は、サブタイトルデコーダ２１０に供給される。サブタイトルデコーダ２１０では、サブタイトルストリームを構成するサブタイトルＰＥＳパケットにデコード処理が施され、画像データに重畳すべき各リージョンのビットマップデータ（サブタイトルのグラフィックスデータ）が得られる。
　この場合、サブタイトルＰＥＳパケットのペイロードに含まれているＴＴＭＬセグメントからＴＴＭＬドキュメントが抽出され、このＴＴＭＬドキュメントに基づいて各リージョンのビットマップデータが得られる。
　また、サブタイトルデコーダ２１０では、ＴＴＭＬドキュメントのボディ（図５参照）から各リージョンの表示タイミング（begin, end）の情報が取り出されてＣＰＵ２２１に送られる。また、サブタイトルデコーダ２１０では、基準時間セグメントから、各リージョンの表示タイミングに係る第２の時間軸の基準時間情報が取り出されてＣＰＵ２１１に送られる。また、サブタイトルデコーダ２１０では、サブタイトルＰＥＳパケットのヘッダに含まれている９０ｋＨｚ精度の第１の時間軸のタイムスタンプ（ＰＴＳ）が抽出されてＣＰＵ２１１に送られる。
　ＣＰＵ２１１では、タイムスタンプと基準時間情報（第２の時間軸で示されるサンプル期間の開始時刻）が用いられて、表示タイミング（begin, end）の情報で示される各リージョンの表示開始時刻および表示終了時刻が、第１の時間軸の９０ｋＨｚ精度の時刻に変換される。（上述の数式（２）、（３）参照）。
　サブタイトルデコーダ２１０から出力される各リージョンのビットマップデータは、ビデオ重畳部２０４に供給される。ビデオ重畳部２０４では、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータが重畳される。この場合、ビデオ重畳部２０４では、ＣＰＵ２１１の制御のもと、各リージョンのビットマップデータが、それぞれの上述したように変換された９０ｋＨｚ精度の表示開始時刻から表示終了時刻までの期間だけ重畳される。
　なお、この場合、ビデオ重畳部２０４では、ＣＰＵ２１１の制御のもと、表示タイミング（begin）の情報で示される各リージョンの表示開始時刻が、サンプル期間の開始時刻よりも前にあるときは、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータが直ちに重畳される。
　ビデオ重畳部２０４で得られる表示用の画像データは、パネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用のビデオデータに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には、各リージョンが重畳された画像が表示される。
　以上説明したように、図１に示す送受信システム１０において、放送送出システム１００は、サンプル期間に同期してサブタイトルＰＥＳパケットを生成して送信し、このサブタイトルＰＥＳパケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプ（ＰＴＳ）が含まれ、このサブタイトルＰＥＳパケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、各リージョンの表示タイミングに係る第２の時間軸の基準時間情報が含まれる。そのため、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証でき、受信側において適切なタイミングでのサブタイトル表示を行うことができる。
　また、図１に示す送受信システム１０において、放送送出システム１００は、サブタイトルＰＥＳパケットのペイロードに含まれるＴＴＭＬセグメントおよび基準時間セグメントの各組において、ＴＴＭＬセグメントおよび基準時間セグメントを識別情報により関連付けする。そのため、受信側において、あるＴＴＭＬセグメントに含まれるＴＴＭＬドキュメントにおける各リージョンの表示開始時刻および表示終了時刻を９０ｋＨｚ精度の時刻に変換する場合、このＴＴＭＬセグメントに対応付けされている基準時間セグメントが持つ基準時間情報を用いることで、誤変換を防止できる。
　また、図１に示す送受信システム１０において、テレビ受信機２００は、サブタイトルＰＥＳパケットのヘッダに含まれるタイムスタンプ（ＰＴＳ）およびそのペイロードに含まれる基準時間情報に基づいてサブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する。そのため、適切なタイミングでのサブタイトル表示が可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、サブタイトルＰＥＳパケットのペイロードに含まれる基準時間情報を、対応するサンプル期間の開始時刻「Reftime」を示す時間情報としたものであるが、表示タイミング情報で示される表示開始時刻と対応するサンプル期間の開始時刻との差「Δ」（図７参照）を示す時間情報とすること、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻とすることも考えられる。
　また、上述実施の形態においては、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報としてＴＴＭＬを用いる例を示した。しかし、本技術は、これに限定されず、ＴＴＭＬと同等の情報を持つその他のタイムドテキスト情報を用いることも考えられる。例えば、ＴＴＭＬの派生フォーマットを用いてもよい。
　また、上述実施の形態においては、放送送出システム１００とテレビ受信機２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、テレビ受信機２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
　また、上述実施の形態においては、コンテナ（多重化ストリーム）がＭＰＥＧ－２トランスポートストリームである例を示した。本技術は、多重化ストリームがＭＭＴストリームあるいはＤＡＳＨ/ＩＳＯＢＭＦＦストリームなどである場合にも、同様に適用できることは勿論である。
　また、本技術は、以下のような構成を取ることもできる。
　（１）サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信するパケット送信部を備え、
　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
　送信装置。
　（２）上記基準時間情報は、上記対応するサンプル期間の開始時刻を示す時間情報である
　前記（１）に記載の送信装置。
　（３）上記基準時間情報は、上記表示タイミング情報で示される表示開始時刻と上記対応するサンプル期間の開始時刻との差、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻との差を示す時間情報である
　前記（１）に記載の送信装置。
　（４）上記第１の時間軸は９０ｋＨｚのカウント値で時間が示され、上記第２の時間軸は時分秒フレームで時間が示される
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）上記パケットは、ＰＥＳパケットである
　前記（１）から（４）のいずれかに記載の送信装置。
　（６）上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれる
　前記（１）から（５）のいずれかに記載の送信装置。
　（７）上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされる
　前記（６）に記載の送信装置。
　（８）上記パケット送信部は、上記パケットを、上記表示タイミング情報で示される表示開始時刻が過ぎた後の上記サンプル期間においても生成して送信する
　前記（１）から（７）のいずれかに記載の送信装置。
　（９）送信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信し、
　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
　送信方法。
　（１０）サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信する受信部を備え、
　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
　上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する制御部をさらに備える
　受信装置。
　（１１）上記制御部は、上記タイムスタンプおよび上記基準時間情報を用いて上記表示タイミング情報で示される表示開始時刻および表示終了時刻を上記第１の時間軸の時刻に変換し、該変換された時刻を用いて上記サブタイトルの表示タイミングを制御する
　前記（１０）に記載の受信装置。
　（１２）上記制御部は、上記表示タイミング情報で示される表示開始時刻が上記サンプル期間の開始時刻より前にあるとき、上記サブタイトルのテキスト情報によるサブタイトルの表示を直ちに行うように制御する
　前記（１０）または（１１）に記載の受信装置。
　（１３）上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれており、
　上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされており、
　上記制御部は、上記第１のセグメントが持つ上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを、該第１のセグメントと対応付けされている上記第２のセグメントが持つ基準時間情報を用いて制御する
　前記（１０）から（１２）のいずれかに記載の受信装置。
　（１４）受信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信し、
　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
　受信部が、上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する
　受信方法。
　本技術の主な特徴は、サンプル期間に同期してサブタイトルＰＥＳパケットを生成して送信し、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプ（ＰＴＳ）をヘッダに含め、対応するサンプル期間の開始時刻に関連付けされた各リージョンの表示タイミングに係る第２の時間軸の基準時間情報をペイロードに含めることで、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証し、受信側において適切なタイミングでのサブタイトル表示を行い得るようにしたことである（図７、図８参照）。
　１０・・・送受信システム
　１００・・・放送送出システム
　１１０・・・ストリーム生成部
　１１１・・・制御部
　１１２・・・ビデオエンコーダ
　１１３・・・オーディオエンコーダ
　１１４・・・テキストフォーマット変換部
　１１５・・・サブタイトルエンコーダ
　１１６・・・ＴＳフォーマッタ
　２００・・・テレビ受信機
　２０１・・・受信部
　２０２・・・ＴＳ解析部
　２０３・・・ビデオデコーダ
　２０４・・・ビデオ重畳部
　２０５・・・パネル駆動回路
　２０６・・・表示パネル
　２０７・・・オーディオデコーダ
　２０８・・・音声出力回路
　２０９・・・スピーカ
　２１０・・・サブタイトルデコーダ
　２２１・・・ＣＰＵ
　２２２・・・フラッシュＲＯＭ
　２２３・・・ＤＲＡＭ
　２２４・・・内部バス
　２２５・・・リモコン受信部
　２２６・・・リモコン送信機

Claims (14)

  1. 　サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信するパケット送信部を備え、
    　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
    　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
    　送信装置。
  2. 　上記基準時間情報は、上記対応するサンプル期間の開始時刻を示す時間情報である
    　請求項１に記載の送信装置。
  3. 　上記基準時間情報は、上記表示タイミング情報で示される表示開始時刻と上記対応するサンプル期間の開始時刻との差、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻との差を示す時間情報である
    　請求項１に記載の送信装置。
  4. 　上記第１の時間軸は９０ｋＨｚのカウント値で時間が示され、上記第２の時間軸は時分秒フレームで時間が示される
    　請求項１に記載の送信装置。
  5. 　上記パケットは、ＰＥＳパケットである
    　請求項１に記載の送信装置。
  6. 　上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれる
    　請求項１に記載の送信装置。
  7. 　上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされる
    　請求項６に記載の送信装置。
  8. 　上記パケット送信部は、上記パケットを、上記表示タイミング情報で示される表示開始時刻が過ぎた後の上記サンプル期間においても生成して送信する
    　請求項１に記載の送信装置。
  9. 　送信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信し、
    　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
    　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
    　送信方法。
  10. 　サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信する受信部を備え、
    　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
    　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
    　上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する制御部をさらに備える
    　受信装置。
  11. 　上記制御部は、上記タイムスタンプおよび上記基準時間情報を用いて上記表示タイミング情報で示される表示開始時刻および表示終了時刻を上記第１の時間軸の時刻に変換し、該変換された時刻を用いて上記サブタイトルの表示タイミングを制御する
    　請求項１０に記載の受信装置。
  12. 　上記制御部は、上記表示タイミング情報で示される表示開始時刻が上記サンプル期間の開始時刻より前にあるとき、上記サブタイトルのテキスト情報によるサブタイトルの表示を直ちに行うように制御する
    　請求項１０に記載の受信装置。
  13. 　上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれており、
    　上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされており、
    　上記制御部は、上記第１のセグメントが持つ上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを、該第１のセグメントと対応付けされている上記第２のセグメントが持つ基準時間情報を用いて制御する
    　請求項１０に記載の受信装置。
  14. 　受信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信し、
    　上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
    　上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
    　受信部が、上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する
    　受信方法。
PCT/JP2017/045474 2016-12-27 2017-12-19 送信装置、送信方法、受信装置および受信方法 WO2018123719A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2018533962A JP7026621B2 (ja) 2016-12-27 2017-12-19 送信装置、送信方法、受信装置および受信方法
US16/076,589 US10965927B2 (en) 2016-12-27 2017-12-19 Transmitter, transmission method, receiver, and reception method
SG11201806194XA SG11201806194XA (en) 2016-12-27 2017-12-19 Transmitter, transmission method, receiver, and reception method
CN201780013445.5A CN108702530B (zh) 2016-12-27 2017-12-19 发送装置、发送方法、接收装置及接收方法
EP17887906.0A EP3404923A4 (en) 2016-12-27 2017-12-19 SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
AU2017387992A AU2017387992B2 (en) 2016-12-27 2017-12-19 Transmission device, transmission method, reception device, and reception method
US17/188,885 US11470296B2 (en) 2016-12-27 2021-03-01 Transmitter, transmission method, receiver, and reception method
US17/823,093 US11765330B2 (en) 2016-12-27 2022-08-30 Transmitter, transmission method, receiver, and reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016253318 2016-12-27
JP2016-253318 2016-12-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/076,589 A-371-Of-International US10965927B2 (en) 2016-12-27 2017-12-19 Transmitter, transmission method, receiver, and reception method
US17/188,885 Continuation US11470296B2 (en) 2016-12-27 2021-03-01 Transmitter, transmission method, receiver, and reception method

Publications (1)

Publication Number Publication Date
WO2018123719A1 true WO2018123719A1 (ja) 2018-07-05

Family

ID=62708178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045474 WO2018123719A1 (ja) 2016-12-27 2017-12-19 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (3) US10965927B2 (ja)
EP (1) EP3404923A4 (ja)
JP (1) JP7026621B2 (ja)
CN (1) CN108702530B (ja)
AU (1) AU2017387992B2 (ja)
SG (1) SG11201806194XA (ja)
WO (1) WO2018123719A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201806194XA (en) * 2016-12-27 2018-08-30 Sony Corp Transmitter, transmission method, receiver, and reception method
CN117714805A (zh) * 2022-09-08 2024-03-15 海信电子科技（深圳）有限公司 一种显示设备及字幕显示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282163A (ja) * 2006-04-12 2007-10-25 Matsushita Electric Ind Co Ltd データパケット、放送データ生成装置、放送データ受信装置
JP2015159363A (ja) * 2014-02-21 2015-09-03 日本放送協会 受信機及び放送システム
WO2016167187A1 (ja) * 2015-04-13 2016-10-20 ソニー株式会社 送信装置、送信方法、再生装置および再生方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004030356A1 (ja) * 2002-09-25 2004-04-08 Matsushita Electric Industrial Co., Ltd. 再生装置、光ディスク、記録媒体、プログラム、再生方法
JPWO2010038409A1 (ja) * 2008-09-30 2012-03-01 パナソニック株式会社 再生装置、記録媒体、及び集積回路
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
RU2616552C2 (ru) * 2011-12-16 2017-04-17 Сони Корпорейшн Приемное устройство и способ управления им, устройство и способ распределения, программа и система распределения
EP3280147A4 (en) * 2015-03-30 2018-08-15 LG Electronics Inc. Method and apparatus for transmitting and receiving broadcast signal
SG11201806194XA (en) * 2016-12-27 2018-08-30 Sony Corp Transmitter, transmission method, receiver, and reception method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282163A (ja) * 2006-04-12 2007-10-25 Matsushita Electric Ind Co Ltd データパケット、放送データ生成装置、放送データ受信装置
JP2015159363A (ja) * 2014-02-21 2015-09-03 日本放送協会 受信機及び放送システム
WO2016167187A1 (ja) * 2015-04-13 2016-10-20 ソニー株式会社 送信装置、送信方法、再生装置および再生方法

Also Published As

Publication number Publication date
JPWO2018123719A1 (ja) 2019-10-31
US10965927B2 (en) 2021-03-30
US20190052856A1 (en) 2019-02-14
EP3404923A1 (en) 2018-11-21
US11470296B2 (en) 2022-10-11
AU2017387992B2 (en) 2022-10-20
US20220417485A1 (en) 2022-12-29
US11765330B2 (en) 2023-09-19
JP7026621B2 (ja) 2022-02-28
AU2017387992A1 (en) 2018-09-06
CN108702530A (zh) 2018-10-23
US20210185290A1 (en) 2021-06-17
EP3404923A4 (en) 2019-01-30
CN108702530B (zh) 2022-03-29
SG11201806194XA (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP7176598B2 (ja) 送信方法
JP7020406B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11765330B2 (en) Transmitter, transmission method, receiver, and reception method
JP6825558B2 (ja) 送信装置、送信方法、再生装置および再生方法
RU2701172C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
JP6760296B2 (ja) 送信装置、送信方法、再生装置および再生方法
JP6900907B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2018021107A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018533962

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11201806194X

Country of ref document: SG

WWE Wipo information: entry into national phase

Ref document number: 2017887906

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017887906

Country of ref document: EP

Effective date: 20180814

ENP Entry into the national phase

Ref document number: 2017387992

Country of ref document: AU

Date of ref document: 20171219

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE