WO2015174207A1 - 受信装置、および送信装置、並びにデータ処理方法 - Google Patents

受信装置、および送信装置、並びにデータ処理方法 Download PDF

Info

Publication number
WO2015174207A1
WO2015174207A1 PCT/JP2015/061803 JP2015061803W WO2015174207A1 WO 2015174207 A1 WO2015174207 A1 WO 2015174207A1 JP 2015061803 W JP2015061803 W JP 2015061803W WO 2015174207 A1 WO2015174207 A1 WO 2015174207A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
subtitle
ttml
message
mode
Prior art date
Application number
PCT/JP2015/061803
Other languages
English (en)
French (fr)
Inventor
北里 直久
淳 北原
義治 出葉
山岸 靖明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2015545222A priority Critical patent/JP5874870B1/ja
Publication of WO2015174207A1 publication Critical patent/WO2015174207A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Definitions

  • the present disclosure relates to a reception device, a transmission device, and a data processing method. More specifically, for example, the present invention relates to a receiving apparatus, a transmitting apparatus, and a data processing method for transmitting or receiving data via a broadcast wave.
  • TTML Timed Text Markup
  • XML Extensible Markup Language
  • TTML can be linked with web applications such as HTML5, and has a feature that not only character codes but also bitmaps can be used. Note that TTML is described in, for example, Japanese Patent Application Laid-Open No. 2012-169885.
  • TTML subtitle data which is the above subtitle data, is used in VOD, for example, but no specific proposal has yet been made regarding a specific method for distributing TTML subtitle data by, for example, television broadcasting.
  • the present disclosure provides a reception device, a transmission device, and a data processing method that can transmit and receive TTML caption data via broadcast waves and perform various caption display controls based on TTML caption data on the reception side.
  • the purpose is to do.
  • the first aspect of the present disclosure is: A DDB (Download Data Block) message storing TTML (Timed Text Markup Language) subtitle data; A DII (Download Info Indication) message storing subtitle correspondence information corresponding to the TTML subtitle data stored in the DDB message, A communication unit that receives data stored as TS packet data defined by MPEG-2TS; The receiving apparatus includes a TTML caption data stored in the DDB message and a data processing unit that performs caption display control to which the DII message is applied.
  • TTML Timed Text Markup Language
  • DII Download Info Indication
  • the second aspect of the present disclosure is: A DDB (Download Data Block) message storing TTML (Timed Text Markup Language) subtitle data; Generating a DII (Download Info Indication) message storing subtitle correspondence information corresponding to the TTML subtitle data stored in the DDB message; A data processing unit for generating a TS packet defined by MPEG-2TS storing a generation message; The transmission apparatus includes a communication unit that transmits the TS packet.
  • TTML Timed Text Markup Language
  • DII Download Info Indication
  • the third aspect of the present disclosure is: A data processing method executed in the receiving device, A communication unit having a DDB (Download Data Block) message storing TTML (Timed Text Markup Language) subtitle data; A DII (Download Info Indication) message storing subtitle correspondence information corresponding to the TTML subtitle data stored in the DDB message, Received as TS packet storage data defined by MPEG-2TS,
  • the data processing method is a data processing method for executing subtitle display control using the TTML subtitle data stored in the DDB message and the DII message.
  • the fourth aspect of the present disclosure is: A data processing method executed in a transmission device, A data processing unit having a DDB (Download Data Block) message storing TTML (Timed Text Markup Language) subtitle data; Generating a DII (Download Info Indication) message storing subtitle correspondence information corresponding to the TTML subtitle data stored in the DDB message; Generate a TS packet defined by MPEG-2TS that stores the generated message, A communication unit is in a data processing method for transmitting the TS packet.
  • DDB Download Data Block
  • DII Download Info Indication
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method for realizing reliable display control of TTML subtitle data are realized.
  • a DDB message storing TTML subtitle data and a DII message storing subtitle data control information and the like are transmitted from the transmitting device to the receiving device as TS packets defined by MPEG-2TS.
  • the receiving apparatus executes TTML subtitle data in the DDB message and subtitle display control to which the DII message is applied.
  • the DII message defines a time mode (TMD) that is a subtitle display timing control mode, and an operation mode (OPM) that selectively executes subtitle immediate display, display in accordance with TTML description, and the like. Enables display control according to DII mode designation.
  • TMD 15: Processing at the time of mode setting without time control Specific processing corresponding to each mode of operation mode (OPM) 7-1.
  • OPM 0: Processing at the time of live mode setting 7-2.
  • OPM 1: Processing at the time of setting the segmentation mode 7-3.
  • OPM 2: Processing at the time of setting the program mode 8. Processing sequence of processing executed by transmission device and reception device 9.
  • the communication system 10 includes a transmission device 20 that is a communication device that transmits image data, audio data, further caption data, and various types of control information, and data transmitted by the transmission device 20. It has the receiving device 30 which is a communication apparatus which receives.
  • the transmission device 20 is a device that provides content such as various programs such as a broadcasting station 21.
  • the receiving device 30 is a client device of a general user, and specifically includes, for example, a television 31, a PC 32, a portable terminal 33, and the like.
  • Data communication between the transmission device 20 and the reception device 30 is performed as one-way communication using broadcast waves.
  • the MPEG-2TS format defines a data storage format (container format) for transmitting encoded data, which is content configuration data, such as images (Video), audio (Audio), and captions (Caption) via broadcast waves. Format.
  • the MPEG-2TS format is a format standardized in ISO13818-1, and is used, for example, for data recording for BD (Blu-ray (registered trademark) Disc), digital broadcasting, and the like.
  • the transmission device 20 encodes the content data, generates a data file including the encoded data and the metadata of the encoded data, stores the generated encoded data in a TS packet defined in MPEG-2 TS, and broadcast waves To send through.
  • the data provided by the transmission device 20 to the reception device 30 is composed of reproduction target data such as images, sounds, and captions, as well as guide information such as a program guide, notification information, and control information.
  • FIG. 2 shows the types of data that the transmission device 20 transmits to the reception device 30.
  • the data that the transmission device 20 transmits to the reception device 30 includes the following data.
  • Each of these data is stored in a TS packet as a payload of a TS packet defined in the MPEG-2 TS format and transmitted.
  • ES is an elementary stream and is encoded data such as an image, audio, and caption stored in a TS packet.
  • DDB download data block
  • the subtitle channel is a channel set for each subtitle of a different data mode according to a language type such as Japanese or English, or a normal subtitle or a type for a hearing impaired person.
  • the caption data corresponding to each channel is transmitted to the receiving device 30 as a DDB message.
  • a message storing control information and attribute information corresponding to a DDB message is a DII message. These message transmission modes will be further described later.
  • the signaling data 80 includes guide information such as a program guide, notification information, control information, and the like.
  • each data shown in FIG. 2 is stored and transmitted as a payload of a TS packet defined in the MPEG-2 TS format.
  • the structure of a TS packet defined in the MPEG-2 TS format will be described.
  • the TS packet has a header (TP header) and a payload portion.
  • the payload of one TS packet stores encoded data of any one type of data such as an image, sound, and caption.
  • a PID (packet ID) indicating the data type of the payload is recorded in the header (TP header) of the TS packet. Based on the packet ID, the payload data type (image, audio, caption, etc.) can be determined.
  • the payload of the TS packet for example, an elementary stream (ES) that is encoded data such as an image or sound is stored.
  • ES elementary stream
  • the following data is stored in the header information of the TS packet.
  • A Byte for synchronization (Sync byte)
  • B Transport error identifier (Transport_error_indicator)
  • C Payload unit start identifier (Payload_unit_start_indicator)
  • D Transport priority (Transport_priority)
  • E Program ID (PID)
  • F Transport scrambling control (Transport scrambling control)
  • G Adaptation field control (Adaptation field control)
  • H Continuity counter
  • the caption data is data to be displayed superimposed on the image data, and it is necessary to control the display position and display timing.
  • processing related to caption data will be described with reference to FIG.
  • FIG. 4 is a diagram illustrating the caption data body transmitted from the transmission device 20 described with reference to FIG. 2 to the reception device 30, and information applied to the control of the caption data.
  • the caption related data transmitted from the transmission device 20 to the reception device 30 includes the following data.
  • Caption channel Caption channel
  • DDB Download Data Block
  • Signaling data 80 These data include data necessary for displaying subtitles on the receiving device 30 side.
  • the transmission device 20 transmits TTML (Timed Text Markup Language) data, which is subtitle data in XML (Extensible Markup Language) format, in a DDB message. Furthermore, subtitle correspondence information including control information and attribute information for TTML subtitle data stored in the DDB message is transmitted as a DII message.
  • the transmission apparatus 20 transmits each of these messages according to the carousel method (DSM-CC carousel).
  • the transmitting apparatus 20 responds to one or more DDB messages that store TTML subtitle data, which is subtitle data, with a DII message that stores control information and attribute information of TTML subtitle data. Is generated.
  • the DDB message is set as a module-unit message corresponding to the type of subtitle, and a module ID as a module identifier is set.
  • the types of subtitles are distinguished not only by language types such as Japanese and English, but also by various factors such as subtitle types and time modes that define the subtitle display timing, and these elements are composed of the same elements.
  • TTML subtitle data is made one module. The data structure of the DDB message will be described in detail later.
  • control information and attribute information related to TTML subtitle data stored in one or more DDB messages are recorded.
  • the DII message has a configuration in which control information and attribute information corresponding to a plurality of modules can be individually recorded in units of modules. For example, each module, that is, the type of TTML subtitle data stored in each DDB message, display control information including display timing, and the like are described. Details of the DII message will be described later.
  • each DDB message and each DII message have a section format including a section header and a payload.
  • Module ID, module version, etc. are recorded in the section header corresponding to DBB.
  • TTML subtitle data is stored in the payload.
  • the DBB data structure will be described in detail later.
  • control information and attribute information corresponding to one or more modules are recorded in association with the module ID and the module version.
  • information such as the number of modules (number of modules) in which control information and attribute information are recorded in the DII message is recorded.
  • the section consisting of these DBB message and DII message is divided into a plurality of payloads when stored in one payload of a TS packet of a predetermined length. Sent.
  • the transmission device 20 transmits not only the caption data but also TS packets storing image data and audio data.
  • the receiving device 30 analyzes the header of each of the many TS packets to be received, classifies each data storage packet such as an image, audio, subtitle, etc. based on the PID (packet identifier) of each header, and sets each data type Perform processing according to.
  • PID packet identifier
  • the signaling data 80 transmitted by the transmission apparatus 20 is configured by guide information such as a program guide, notification information, attribute information corresponding to transmission content, control information, and the like. Specifically, for example, it is constituted by data called PSI / SI (Program Specific Information).
  • PSI / SI includes, for example, the following data.
  • PMT Program Map Table
  • NIT Network Information Table
  • EIT Event Information Table
  • the PMT (Program Map Table) includes a map as correspondence information between the PID of the TS packet and the data type. That is, the receiving device 30 first refers to the PMT and confirms the PID corresponding to the image, audio, and caption data. The receiving device 30 refers to the PMT, confirms the PID of each data type, and separates the received packet by data type based on the confirmed PID corresponding to the data type.
  • NIT Network Information Table
  • the signaling data 80 includes various data other than these, such as a program guide.
  • the receiving device 30 can use the signaling data 80 to perform various settings of the receiving device and obtain various information related to the program.
  • An EIT Event Information Table
  • An EIT Event Information Table
  • the signaling data 80 includes various notification data that can be used in the receiving device 30.
  • FIG. 6 is a diagram illustrating a configuration example of TTML subtitle data in XML format stored in the DDB message.
  • (A) subtitle channels # 1 and 72 described with reference to FIGS. 2 and 4 include (B) DDB message shown in FIG. 6, and TTML subtitle data is stored in the DDB message.
  • the TTML subtitle data is, for example, data in XML format as shown in FIG. 6C, and has a configuration in which information such as a display area and display timing can be described in addition to a character string that is actually displayed.
  • the receiving device 30 interprets such TTML caption data, and displays display data as shown in FIG. 6D, that is, display data in which captions are superimposed on image data acquired and decoded from other TS packets. Generate and display on the display unit.
  • the DDB message has the following data.
  • A Module ID (moduleID),
  • B Module version (moduleVersion)
  • C Block number (blockNumber)
  • D Block data byte (blockDataByte)
  • Module ID is a module identifier.
  • the module is set corresponding to each subtitle type.
  • subtitle types are classified by various elements such as subtitle types and time modes that define the display timing of subtitles, in addition to language types such as Japanese and English, and these elements are the same.
  • TTML subtitle data is made one module.
  • the DII message storing the control information has a configuration in which the control information is recorded in module units. Display control of caption data recorded in a TTML file corresponding to a specific module is executed according to control information in a DII message recorded in units of modules. This control process will be described in detail later.
  • the module version is a field for recording a version identifier that can be used for module update processing. Even for the same module ID, if the versions are different, it is possible to perform version-compatible processing.
  • the block number is a block number corresponding to DDB (download data block).
  • the block data byte is a field for storing TTML caption data.
  • TTML subtitle data in the XML format described above with reference to FIG. 6C is stored.
  • DII Download Info Indication
  • control information and attribute information of TTML subtitle data stored in the DDB message are recorded.
  • Control information and attribute information in units of modules are recorded in the caption module information [moduleInfoByte] recording field of the DII message shown in FIG.
  • the caption module information [moduleInfoByte] recording field can sequentially record a plurality of control information and attribute information corresponding to a plurality of modules. That is, it has a loop configuration, and has a configuration in which control information and attribute information for each module can be recorded in each loop.
  • FIG. 9 is a diagram showing a caption module information descriptor (caption module info descriptor) recorded in the caption module information [moduleInfoByte] recording field.
  • Caption channel tag Caption_channel_tag
  • Language code ISO_639_language_code
  • Subtitle type Type
  • TMD Time mode
  • DMF Display mode
  • OPM Operation mode
  • Display format Form
  • Compression_mode Compression mode
  • Caption channel tag (caption_channel_tag)
  • the caption channel tag (caption_channel_tag) is a tag for identifying a caption channel for each module, that is, for each module ID.
  • FIG. 10 shows a data configuration example of a caption channel tag (caption_channel_tag).
  • the caption channel tag (caption_channel_tag) has an 8-bit structure, The upper 4 bits (Bit 7 to 4) are used, The lower 4 bits (Bit 3 to 0) are the language type, Indicates.
  • the caption for the hearing impaired is, for example, a caption with a comment such as (in a loud voice) or (in a soft voice) in addition to normal caption data.
  • An identification tag corresponding to such different subtitles is set.
  • the caption channel tag may include other attribute information of the caption channel in addition to these data.
  • the language code (ISO_639_language_code) is data indicating the language type indicated by the lower 4 bits of the caption channel tag (caption_channel_tag) as a language code defined by ISO639-2. For example, in Japanese, jpn (01101010 01110000 01101110) It becomes.
  • the caption type (Type) is information indicating a caption type.
  • the closed caption basic information indicates basic closed caption data.
  • the subtitle extension information is used when rich expression is performed by changing the character display format. However, it is used only when the receiving device can make science.
  • the character superimposition is data for identifying a character such as breaking news.
  • TMD Time mode
  • the “TTML description” is a description related to the display timing recorded in the TTML caption data described above with reference to FIG.
  • the TTML description is a description about the display timing for represent letters one second from the time of 427 seconds from the start of the program "Hello”.
  • TMD time mode recorded in the DII message is data used to make it possible to display subtitles at a display timing that matches the video in any case.
  • the specific processing modes of the four modes that can be recorded in the time mode (TMD) will be described later.
  • Display mode This is information indicating the subtitle display mode. A specific example is shown in FIG.
  • the display mode (DMF) has a 4-bit configuration.
  • the upper 2 bits (Bits 3 and 2) are the reception processing mode,
  • the lower 2 bits (Bit 1 to 0) are the recording / playback processing mode, Indicates.
  • 00 Automatic display upon reception is a mode that specifies that subtitles are displayed according to the TTML subtitle data received when receiving the DDB message storing the TTML and the control information of the DII message.
  • 01 Automatic non-display on reception is a mode that stipulates that the subtitles recorded in the TTML subtitle data received when receiving the DDB message storing the TTML are not displayed.
  • 10 Selection display at the time of reception is a mode in which the subtitles of the TTML subtitle data received at the time of receiving the DDB message storing the TTML can be displayed or not displayed, for example, by a remote control setting by the user.
  • the processing mode at the time of recording / playback of the lower 2 bits stipulates processing when a program is recorded on a medium such as a hard disk and then played back.
  • 00 automatic display during recording / playback is a mode that specifies that subtitles are displayed in accordance with TTML subtitle data and control information of the DII message during playback of content including a DDB message storing TTML.
  • 01 Automatic non-display during recording / reproduction is a mode that stipulates that subtitles recorded in TTML subtitle data are not displayed during reproduction of content including a DDB message storing TTML.
  • 10 Selection display during recording / playback is a mode in which the subtitles of TTML subtitle data can be displayed or hidden by, for example, remote control setting by the user during content playback.
  • Operation mode is operation mode defining information applied to caption display control.
  • OPM Operation mode
  • Live mode is a mode in which, for example, received TTML subtitle data is displayed immediately upon reception.
  • this is a setting mode used when displaying caption data such as simultaneous interpretation.
  • Segmentation mode is a mode that is applied to content for which caption data has been prepared in advance, such as movie content, in accordance with the display timing specified in the control information of the DII message and TTML caption data This is a mode for executing display.
  • Program mode for example, prepares a TTML file that records all subtitles in one program unit, transmits the TTML file from the transmitting device to the receiving device, and the receiving device uses one TTML file to In this mode, subtitle display of a program is executed.
  • OPM operation mode
  • the signaling data 80 transmitted from the transmission device 20 to the reception device 30 includes guide information such as a program guide, notification information, control information, and the like.
  • guide information such as a program guide, notification information, control information, and the like.
  • data such as PSI / SI (Program Specific Information) is included, for example, PMT (Program Map Table).
  • NIT Network Information Table
  • the PMT (Program Map Table) includes a map as correspondence information between the PID of the TS packet and the data type. That is, the receiving device 30 first refers to the PMT and confirms the PID corresponding to the image, audio, and caption data. The receiving device 30 can check the PID of each data type with reference to the PMT, and can classify the received packet by data type based on the checked PID corresponding to the data type.
  • FIG. 17 is a diagram illustrating the data structure of the PMT.
  • the main data recorded in the PMT is the following data.
  • Service identifier program_number
  • PCR_PID PCR_PID
  • ES Elementary stream
  • Stream type 3b
  • Elementary PID 3c
  • Elementary correspondence information (information descriptor: descriptor)
  • the service identifier (program_number) is information for identifying content in service units such as a program name.
  • PCR_PID is a program clock reference PID, and is PID information of a packet storing a time stamp corresponding to a service (content such as a program).
  • ES Elementary stream
  • ES Information records detailed information about elementary streams (ES) each storing images (Video), audio (Audio), and captions (Caption) corresponding to services (contents such as programs). It is a field to be. Information of each of an image (Video), sound (Audio), and caption (Caption) is sequentially recorded.
  • the stream type is information indicating which information is ES (elementary stream) of image, audio, or caption.
  • the elementary PID indicates the PID of a TS packet that stores data of a type defined by the stream type.
  • ES information data component information
  • additional information related to the type of data (ES: image, audio, caption) defined by the stream type that is, additional information such as control information and attribute information for each ES unit. To be recorded.
  • FIG. 18 shows a detailed configuration example of (3c) data component information (ES information).
  • Data component information (ES information)
  • P Data component identifier
  • Q Data component additional information
  • data_component_id In the data component identifier (data_component_id), information on the data type (image, audio, subtitle) indicating which additional information is image, audio, or subtitle is recorded.
  • additional information additional_data_component_info
  • various additional information corresponding to images, audio, and subtitles can be recorded.
  • FIG. 19 shows a data configuration example of a data component additional information (additional_data_component_info) field related to caption data.
  • the following information is recorded in the data component additional information (additional_data_component_info) related to caption data.
  • additional_data_component_info additional information related to caption data.
  • A Number of subtitle channels
  • b Start module identifier
  • c Default property flag
  • d Subtitle channel list flag
  • e Information common to each subtitle channel
  • f Correspondence list of each subtitle channel tag and language
  • the number of caption channels indicates how many caption channels (for example, channels # 1, # 2, etc. shown in FIG. 2) are included in the caption ES corresponding to this additional information.
  • the start module identifier is an identifier of a module corresponding to the first caption channel. When a plurality of subtitle channels are included, the module identifier of each subtitle channel module is a value incremented by 1 with respect to this value.
  • the default property flag is a flag indicating whether or not data is recorded in [(e) subtitle channel common information] in which additional information common to a plurality of channels is recorded.
  • the caption channel list flag is a flag indicating whether or not data is recorded in “(f) a caption channel tag list of each caption channel”.
  • Each subtitle channel common information is a field for recording additional information common to a plurality of channels, and has been described as record information of the DII message.
  • Subtitle type (Type) (2) Operation mode (OPM) (3) Display format (Format) (4) Time mode (TMD) (5) Display mode (DMF) Each of these pieces of information is recorded.
  • OPM Operation mode
  • TMD Time mode
  • DMF Display mode
  • the receiving apparatus 30 receives and analyzes the PMT first, it is possible to quickly prepare for reception and reproduction by setting the receiving apparatus based on the PMT data.
  • the subtitle channel tag list of each subtitle channel is a module identifier that is a list of subtitle channel tags (caption_channel_tag) that is the configuration data of the DII message described above with reference to FIG. 10 set for each subtitle channel. This is indicated by subtitle channels in order of value. As a result, it is possible to know in advance the languages and usage variations of a plurality of subtitle channels included in the subtitle ES.
  • subtitle display control on the receiving apparatus side corresponding to these four time mode settings will be described.
  • EIT Event Information Table
  • the content (program) title, broadcast date, broadcast content, performer It is a table that records information such as.
  • FIG. 20 A specific configuration example of the EIT is shown in FIG. As shown in FIG. 20, the following data is recorded in the EIT.
  • (C) Program duration (duration) For example, such information is included.
  • the receiving device 30 is recorded in this EIT.
  • TTML subtitle data display timing control processing executed by the receiving device 30 will be described with reference to FIG.
  • the subtitle-compatible ES (elementary stream) and PSI / SI shown in the figure indicate data transmitted from the transmission device 20 to the reception device 30.
  • the receiving device 30 acquires the EIT from the PSI / SI, and acquires the DII message and the DDB message from the caption compatible ES.
  • the time axis (t) is shown at the top of FIG.
  • start_time t0
  • start_time t0
  • TTML description + EIT starttime This setting indicates that the content executes processing for determining the subtitle display timing according to the TTML description and the EIT start time description.
  • the receiving device 30 refers to the DII message and performs display timing control of TTML subtitle data applied to the content.
  • the receiving device 30 refers to the display timing information of captions recorded in both TTML and EIT data.
  • TMD 2: TTML description + NPT mode setting process
  • TMD 2: TTML description + NPT mode setting process
  • NPT (Normal Play Time) reference data includes STC (system time clock) time information (st), NPT (normal play time) time information (nt), It has correspondence data of these two time information. Update data of the NPT reference data is sequentially transmitted from the transmission device 20 to the reception device 30.
  • NPT_Reference STC time information
  • NPT_Reference NPT time information
  • STC time information is time information counted according to the system time clock (STC), and is time information synchronized between both the transmission device and the reception device.
  • the NPT time is time information from the start of the program, and is time information that is stopped when the program is interrupted, such as CM, and is counted according to the progress of the program. That is, the STC time information (STC_Reference) always proceeds, but the NPT time information (NPT_Reference) proceeds only during the time that the program is progressing, and does not proceed when the CM or the like is interrupted.
  • the NPT data shown in FIG. 22 is successively updated in the transmission device 20 and transmitted to the reception device 30.
  • the STC time information (STC_Reference) is updated to data indicating the same progress as the passage of time.
  • NPT time information NPT_Reference indicates the time from the beginning of the program and is not updated when the program is interrupted, but becomes time information indicating only the time corresponding to the broadcast program time.
  • the receiving device 30 is recorded in this NPT.
  • STC_Reference STC_Reference
  • NPT_Reference NPT time information
  • DII message (b) DDB TTML (C) NPT (D) Subtitle display image example Each of these data is shown.
  • caption-capable ES (elementary stream) and NPT shown in the figure indicate data transmitted from the transmission device 20 to the reception device 30. Further, the time axis (t) corresponding to NPT and STC is shown at the top of FIG.
  • This setting indicates that the content is to execute processing for determining the subtitle display timing according to the TTML description and the NPT description.
  • the subtitle display timing is described as data in seconds (s), but in the example shown in FIG. 23, the count value of the 90 KHz clock is used.
  • the count value of 90KHz is a "Hello" caption data recorded in TTML at which point the program start time to 276,392 per second, which is description data for causing the display.
  • ⁇ Div region "r1"> This data is, is the designated information of the display area of the subtitle "Hello”.
  • the receiving device 30 refers to the DII message and performs display timing control of TTML subtitle data applied to the content.
  • the receiving device 30 refers to the subtitle display timing information recorded in both the TTML and the latest NPT data.
  • the NPT reference data acquired immediately before the count value of the system time clock (STC) becomes “276392t” recorded in the TTML is acquired, and the correspondence data of STC and NPT is acquired.
  • NPT reference data is acquired at a time when the STC count value is 398000 t.
  • the NPT time information (n1) is a value obtained by counting the actual broadcast time of the program.
  • the STC St1 294392t converted this is the calculation result to the subtitle display timing, the receiver when the STC counter value of the internal became above values, displays "Hello” recorded in TTML subtitle data. .
  • This display result is the display data shown in FIG.
  • TMD 3: Processing when setting TTML description + absolute time mode]
  • TMD 3: Processing when setting TTML description + absolute time mode
  • the absolute time is time information that can be measured in the system time clock (STC).
  • STC system time clock
  • STC is used as time information synchronized between both the transmission device 20 and the reception device 30.
  • TTML caption data display timing control processing executed by the receiving device 30 will be described with reference to FIG.
  • the caption-capable ES (elementary stream) shown in the figure indicates data transmitted from the transmission device 20 to the reception device 30.
  • the receiving device 30 acquires the DII message and the DDB message from the caption compatible ES.
  • the time axis (t) is shown at the top of FIG.
  • the receiving device 30 refers to the DII message and performs display timing control of TTML subtitle data applied to the content.
  • the receiving device 30 refers to the subtitle display timing information recorded in the TTML.
  • the receiving device 30 calculates absolute time information according to an internal clock. Note that the clock inside the receiver is sequentially corrected by the absolute time information received from the outside, and the receiving device 30 can acquire the correct absolute time information.
  • Receiving device 30 the absolute time, when it becomes the time 13:40:11 described in TTML subtitle data (t1), and displays a "Hello" recorded in TTML subtitle data. This display result is the display data shown in FIG.
  • TMD 15: Processing when setting mode without time control]
  • TMD time mode
  • 1111 No time control
  • TMD 15: Processing when setting mode without time control
  • TTML caption data display timing control processing executed by the receiving device 30 will be described with reference to FIG.
  • DII message (b) DDB TTML (C) Subtitle display image example Each of these data is shown.
  • the caption-capable ES (elementary stream) shown in the figure indicates data transmitted from the transmission device 20 to the reception device 30.
  • the receiving device 30 acquires the DII message and the DDB message from the caption compatible ES.
  • the time axis (t) is shown at the top of FIG.
  • the receiving device 30 refers to the DII message and performs display timing control of TTML subtitle data applied to the content.
  • the receiving device 30 refers to the subtitle display timing information recorded in the TTML. No subtitle display timing information is recorded in the TTML of the DDB.
  • Receiving device 30 receives the DDB message including TTML caption data immediately, displays "Hello" recorded in TTML subtitle data. This display result is the display data shown in FIG. This is, for example, subtitle display of a translation sentence for simultaneous interpretation.
  • Live mode is a mode in which, for example, received TTML subtitle data is displayed immediately upon reception.
  • this mode is used when displaying caption data such as simultaneous interpretation.
  • Segmentation mode is a mode that is applied to content for which caption data has been prepared in advance, such as movie content, in accordance with the display timing specified in the control information of the DII message and TTML caption data This is a mode for executing display.
  • Program mode for example, prepares a TTML file that records all subtitles in one program unit, transmits the TTML file from the transmission device to the reception device, and the reception device uses one TTML file. In this mode, subtitle display of a program is executed.
  • DII message (b) to (e) DDB message storing TTML subtitle data Each of these data is shown.
  • the caption-capable ES (elementary stream) shown in the figure indicates data transmitted from the transmission device 20 to the reception device 30.
  • the receiving device 30 acquires the DII message and the DDB message from the caption compatible ES.
  • the lower part of FIG. 26 shows a time axis (t), TTML subtitle data applied according to the passage of time, and a subtitle display example.
  • TTML of each DDB message does not include a description of subtitle display timing information.
  • ⁇ Div region "r1">
  • ⁇ Div region "r2”>
  • the receiving device 30 refers to the DII message and confirms the operation mode.
  • the receiving device 30 sequentially receives DDB messages storing TTML caption data.
  • the receiving device 30 extracts the TTML subtitle data from the received DDB message and displays the subtitle data in accordance with the display control information (display area designation only) recorded in the TTML subtitle data.
  • the display processing result is four images shown in the lower part of FIG.
  • the receiving apparatus first receives (b) a DDB message (TTML1) and performs subtitle display according to TTML1 stored in the DDB message.
  • the image (p) is a subtitle superimposed image displayed according to TTML1 stored in (b) DDB message (TTML1).
  • the caption data “Thank you” stored in TTML1 is displayed in the designated area (r1) of the area designation information recorded in TTML1.
  • the display timing is time (t1). This time (t1) is the shortest timing that can be displayed after the receiving apparatus 30 receives the DDB message storing TTML1 and executes necessary processing.
  • the receiving apparatus receives (c) the DDB message (TTML2), and performs subtitle display according to TTML2 stored in the DDB message.
  • the image (q) is a subtitle superimposed image displayed according to TTML2 stored in (c) DDB message (TTML2).
  • the caption data “you are welcome” stored in TTML2 is displayed in the designated area (r2) of the area designation information recorded in TTML2.
  • the display timing is time (t2). This time (t2) is the shortest timing that can be displayed after the receiving apparatus 30 receives the DDB message storing TTML2 and executes necessary processing.
  • the receiving apparatus receives (d) the DDB message (TTML3), and performs subtitle display according to TTML3 stored in the DDB message.
  • the image (r) is a caption superimposed image displayed in accordance with TTML3 stored in (d) DDB message (TTML3).
  • the caption data “This is an example” stored in TTML3 is displayed in the designated area (r2) of the area designation information recorded in TTML3.
  • the display timing is time (t3). This time (t3) is the shortest timing that can be displayed after the receiving apparatus 30 receives the DDB message storing TTML3 and executes the necessary processing.
  • the receiving apparatus receives (e) the DDB message (TTML4), and performs subtitle display according to TTML4 stored in the DDB message.
  • the image (s) is a caption superimposed image displayed according to TTML4 stored in (e) DDB message (TTML4).
  • the caption data “ ⁇ ⁇ ⁇ *...” Stored in the TTML4 is displayed in the designated area (r2) of the area designation information recorded in the TTML4.
  • another subtitle data “(Battery sound)” stored in TTML4 is displayed in the designated area (r3) of the area designation information recorded in TTML4.
  • the designated area r2 in TTML2, TTML3, and TTML4 indicates the same area.
  • the character string designated in the designated area r2 of the TTML3 is also left in the TTML3, leaving the latter half of the character string designated in the designated area r2 of the TTML2.
  • display is assumed. Assuming such a case, in the live mode, each TTML cannot be processed independently.
  • OPM 1: Processing when setting the segmentation mode]
  • OPM 1: Processing when setting the segmentation mode
  • OPM 1: Processing when setting the segmentation mode
  • OPM 1: Processing when setting the segmentation mode
  • OPM 1: Processing when setting the segmentation mode
  • DII message (b) to (c) DDB message storing TTML subtitle data Each of these data is shown.
  • the caption-capable ES (elementary stream) shown in the figure indicates data transmitted from the transmission device 20 to the reception device 30.
  • the receiving device 30 acquires the DII message and the DDB message from the caption compatible ES.
  • the lower part of FIG. 27 shows a time axis (t), TTML caption data applied according to the passage of time, and a caption display example.
  • the above data is recorded.
  • This setting indicates that the received TTML subtitle data is displayed in accordance with the display timing defined in the control information of the DII message and TTML subtitle data.
  • Each TTML of the DDB message includes a description of subtitle display timing information.
  • DDB (TTML2)
  • ⁇ P begin “170s”>
  • the subtitle display timing information is recorded in association with the subtitle “You are welcome”.
  • ⁇ P begin “175s”>
  • the subtitle display timing information is recorded in association with the subtitle “This is an example.”... “ ⁇ ⁇ ⁇ *”. These are recorded as display timing information of caption data corresponding to the display area (r2).
  • DDB (TTML2) ⁇ P begin “180s”>
  • the subtitle display timing information is recorded in association with the subtitle “battery sound”. This is recorded as display timing information of caption data corresponding to the display area (r3).
  • DDB (TTML2) does not describe display period information (duration). This is a setting for automatically erasing the previous caption display by the subsequent caption data display.
  • the display subtitles are sequentially switched and displayed as time elapses.
  • roll-up display that is, subtitle display is performed on a plurality of lines, new subtitles are sequentially displayed on the lower line, and upper upper subtitles are sequentially erased along with the new subtitle display.
  • the receiving device 30 refers to the DII message and confirms the operation mode.
  • the receiving device 30 sequentially receives DDB messages storing TTML caption data.
  • the receiving device 30 extracts TTML subtitle data from the received DDB message and displays the subtitle data according to the display control information recorded in the TTML subtitle data.
  • the display processing result is four images shown in the lower part of FIG.
  • the receiving apparatus first receives (b) a DDB message (TTML1) and performs subtitle display according to TTML1 stored in the DDB message.
  • the image (p) is a subtitle superimposed image displayed according to TTML1 stored in (b) DDB message (TTML1).
  • the caption data “Thank you” stored in TTML1 is displayed in the designated area (r1) of the area designation information recorded in TTML1.
  • the receiving apparatus receives (c) the DDB message (TTML2), and performs subtitle display according to TTML2 stored in the DDB message.
  • Images (q) to (s) are subtitle superimposed images displayed in accordance with TTML2 stored in (c) DDB message (TTML2).
  • the subtitle data “you are welcome” stored in TTML2 is displayed in the designated area (r2) of the area designation information recorded in TTML2.
  • This image is the image (q).
  • the display timing is time (t2).
  • the caption data “This is an example” stored in TTML2 is displayed in the designated area (r2) of the area designation information recorded in TTML2.
  • This image is the image (r).
  • the display timing is time (t3).
  • the caption data “ ⁇ ⁇ ⁇ *...” Stored in TTML2 is displayed in the designated area (r2) of the area designation information recorded in TTML2.
  • This image is the image (s).
  • the display timing is time (t3).
  • This subtitle data “ ⁇ ⁇ ⁇ *...” Is a subtitle that follows the “example of case” recorded in TTML2 and does not fit in the designated area (r2). Overwritten and displayed. Therefore, the display timing is displayed with a deviation from the specified time (t2). In addition, it is good also as a structure which performs a roll-up display as mentioned above.
  • the receiving apparatus displays the caption data “(sound of a butterfly)” stored in TTML2 in the designated area (r3) of the area designation information recorded in TTML2.
  • This image is the image (s).
  • the display timing is time (t3).
  • the reception device 30 executes subtitle display of the TTML subtitle data stored in the received DDB message according to the display timing defined in the control information of the TTML subtitle data. To do. With this process, it is possible to execute caption display synchronized with a scene of an image of content such as a movie. In the case of this operation mode, each TTML caption data can be processed independently. Therefore, when processing new TTML subtitle data, it is possible to process without affecting the previous TTML subtitle data.
  • OPM 2: Processing when setting the program mode]
  • DII message (b) TTML subtitle data (TTML1) extracted from the DDB message (C) DII message Each of these data is shown.
  • the caption-capable ES (elementary stream) shown in the figure indicates data transmitted from the transmission device 20 to the reception device 30.
  • the receiving device 30 acquires the DII message and the DDB message from the caption compatible ES.
  • the lower part of FIG. 28 shows a time axis (t), TTML caption data applied according to the passage of time, and a caption display example.
  • the TTML caption data (TTML1) extracted from the DDB message includes all caption data related to one program.
  • the same TTML subtitle data file is repeatedly transmitted because subtitles cannot be displayed when this broadcasting service is selected after transmission by transmitting the DDB message only once.
  • This (b) TTML1 includes a description of control information defining display timing and display area for each of a plurality of caption data.
  • the display area information is recorded.
  • the display subtitles are sequentially switched and displayed over time.
  • the process to do is performed.
  • roll-up display that is, subtitle display is performed on a plurality of lines, new subtitles are sequentially displayed on the lower line, and upper upper subtitles are sequentially erased along with the new subtitle display.
  • the receiving device 30 refers to the DII message and confirms the operation mode.
  • the receiving apparatus 30 receives a DDB message for TTML subtitle data corresponding to one program, it is not necessary to receive a DDB message that is repeatedly transmitted. Therefore, in this case, the same reception is not performed until the update of the DDB message is confirmed by the downloadId of the DII message and the moduleId of the corresponding caption channel, and the module of the corresponding caption channel is updated.
  • the receiving device 30 takes out the reconstructed TTML subtitle data and displays the subtitle data according to the display control information (display area designation only) recorded in the TTML subtitle data.
  • the display processing result is four images shown in the lower part of FIG.
  • the receiving apparatus performs subtitle display according to the reconstructed TTML1.
  • the image (p) is a caption superimposed image displayed according to TTML1.
  • the caption data “Thank you” stored in TTML1 is displayed in the designated area (r1) of the area designation information recorded in TTML1.
  • the display timing is time (t1).
  • the receiving apparatus sequentially displays captions using the same TTML1.
  • Images (q) to (s) are subtitle superimposed images displayed according to TTML1.
  • the subtitle data “You are welcome” stored in TTML1 is displayed in the designated area (r2) of the area designation information recorded in TTML1. This image is the image (q).
  • the display timing is time (t2).
  • the caption data “This is an example” stored in TTML1 is displayed in the designated area (r2) of the area designation information recorded in TTML1.
  • This image is the image (r).
  • the display timing is time (t3).
  • the caption data “ ⁇ ⁇ ⁇ ...” Stored in TTML1 is displayed in the designated area (r2) of the area designation information recorded in TTML1.
  • This image is the image (s).
  • the display timing is time (t3).
  • This subtitle data “ ⁇ ⁇ ⁇ *...” Is a subtitle that follows the “example of case” recorded in TTML1 and does not fit in the designated area (r2). Overwritten and displayed. Therefore, the display timing is displayed with a deviation from the specified time (t2). In addition, it is good also as a structure which performs a roll-up display as mentioned above.
  • the receiving device displays the subtitle data “(Battery sound)” stored in TTML1 in the designated area (r3) of the area designation information recorded in TTML1.
  • This image is the image (s).
  • the display timing is time (t3).
  • the receiving device 30 is A process of receiving a TTML caption data file corresponding to one program only once and ignoring repeatedly transmitted data is performed. This process eliminates the need to execute DDB message reception and analysis processing in parallel within the content display period for content such as movies, for example, thereby reducing the processing load on the receiving apparatus. Also in this operation mode, each TTML caption data can be processed independently. Therefore, when processing new TTML subtitle data, it is possible to process without affecting the previous TTML subtitle data.
  • Live mode is a mode in which received TTML subtitle data is displayed immediately upon reception. For example, this mode is used when displaying caption data such as simultaneous interpretation.
  • 01 Segmentation mode is a mode applied to content for which caption data has been prepared in advance, such as movie content, in accordance with the display timing specified in the control information of the DII message and TTML caption data This is a mode for executing display.
  • 10 Program mode (Program mode), for example, prepares a TTML file that records all subtitles in one program unit, transmits the TTML file from the transmitting device to the receiving device, and the receiving device uses one TTML file to In this mode, subtitle display of a program is executed.
  • TTML subtitle data As processing in the receiving apparatus, it is determined whether newly received TTML subtitle data may be overwritten in the memory area for displaying the previous TTML subtitle data display data, or whether it should be temporarily stored in another area to confirm the relationship. Information to do is necessary. That is, a flag indicating whether or not processing independent of subtitle display based on TTML subtitle data received in advance (independent processing propriety flag) may be set in the DII message.
  • a flag may be set in the DII message.
  • processing sequence of processing executed by transmitting device and receiving device Next, processing sequences executed by the transmission device and the reception device will be described with reference to the flowcharts shown in FIGS. First, processing executed by the transmission apparatus 20 will be described with reference to the flowchart shown in FIG.
  • the processing according to the flow shown in FIG. 29 is executed in the data processing unit of the transmission device 20. For example, it is executed according to a program stored in the storage unit under the control of a CPU having a program execution function in the data processing unit. Note that the flow shown in FIG. 29 is a flow that will be described with a focus on processing for subtitles.
  • step S101 the transmission apparatus generates one or more DDB messages storing TTML caption data.
  • the DDB message is message data having the data structure described above with reference to FIG.
  • the DDB message is generated as a module unit message defined for each subtitle type.
  • Subtitle types are distinguished not only by language type but also by subtitle channel tag, subtitle type, and the like.
  • control information and attribute information are recorded in units of modules, and TTML character data belonging to the same module is subjected to the same control.
  • a DII message storing control information corresponding to the DDB message generated in step S101 is generated.
  • the DII message is a message that stores a plurality of caption-related control information and attribute information described above with reference to FIGS.
  • the following descriptors are recorded in the subtitle module information [moduleInfoByte] recording field of the DII message.
  • Caption channel tag (caption_channel_tag)
  • Language code (ISO_639_language_code)
  • Subtitle type Type
  • TMD Time mode
  • DMF Display mode
  • OPM Operation mode
  • Display format Format
  • Compression_mode Compression mode
  • These subtitle-compatible control information and attribute information are information in units of modules.
  • control according to the control information in units of modules, for example, display timing control is executed. .
  • a PMT including control information and attribute information corresponding to the TTML caption data stored in the DDM message is generated.
  • the PMT has the data structure described above with reference to FIGS. For example, the following information is recorded in the PMT.
  • Each subtitle channel common information is a field for recording additional information common to a plurality of channels, and has been described as record information of the DII message.
  • Subtitle type (Type) (2) Operation mode (OPM) (3) Display format (Format) (4) Time mode (TMD) (5) Display mode (DMF) These pieces of information are recorded.
  • OPM Operation mode
  • TMD Time mode
  • DMF Display mode
  • step S105 the transmission device 20 transmits a packet storing information such as DDB, DII, and PMT.
  • the transmission device 20 generates and transmits a packet storing an image and sound and a packet storing other control information.
  • the processing sequence executed by the receiving device 30 will be described with reference to the flow shown in FIG.
  • the processing according to the flow shown in FIG. 30 is executed in the data processing unit of the receiving device 30. For example, it is executed according to a program stored in the storage unit under the control of a CPU having a program execution function in the data processing unit. Note that the flow shown in FIG. 30 is a flow that will be described with a focus on processing for subtitles.
  • step S201 the reception device receives a packet transmitted from the transmission device 20.
  • step S202 based on the packet identifier (PID) of the received packet, the data is classified into packets for each data type (image, audio, caption, etc.).
  • PID packet identifier
  • step S203 the receiving device 30 acquires a DDB message storing TTML caption data stored as a packet payload, a DII message storing control information corresponding to the DDB message, and a PMT.
  • step S204 subtitle data display control is executed using the TTML subtitle data recorded in the DDB message, the DII message storing control information corresponding to the DDB message, and the PMT recording information.
  • FIG. 31 illustrates a configuration example of the transmission device 20 and the reception device 30.
  • the transmission device 20 includes a data processing unit 121, a communication unit 122, and a storage unit 123.
  • the receiving device 30 includes a data processing unit 151, a communication unit 152, a storage unit 153, an input unit 154, and an output unit 155.
  • the data processing unit 121 of the transmission device 20 executes various data processes for executing the data distribution service. For example, generation of configuration data of the data distribution service and transmission control are performed. Specifically, image and audio data storage packet generation, subtitle data storage packet generation, and distribution processing are executed. Furthermore, it generates and distributes signaling data such as PSI / SI.
  • the caption data storage packet includes a packet storing a DDB message storing TTML caption data in XML format and a DII message storing control information for the DDB message.
  • the communication unit 122 performs transmission processing of control signals such as images, sounds, captions, and other signaling data generated by the data processing unit 121.
  • the storage unit 123 stores data such as images, sounds, and captions to be distributed. Furthermore, the storage unit 123 is used as a work area for data processing executed by the data processing unit 121, and is also used as a storage area for various parameters.
  • the receiving device 30 includes a data processing unit 151, a communication unit 152, a storage unit 153, an input unit 154, and an output unit 155.
  • the communication unit 152 receives data distributed from the transmission device 20, for example, a packet storing video, audio, and subtitles, and signaling data.
  • the caption data includes a DDB message and a DII message.
  • the data processing unit 151 performs display control of caption data according to the above-described embodiment.
  • subtitle display control is executed in accordance with control signals such as DDB messages, DII messages, and other PMTs.
  • a user instruction command such as a content designation command is input via the input unit 154.
  • the reproduction data is output to an output unit 155 such as a display unit or a speaker.
  • the storage unit 153 stores received data such as images, sounds, and captions. Furthermore, the storage unit 153 is used as a work area for data processing executed by the data processing unit 151, and is also used as a storage area for various parameters.
  • FIG. 32 is a diagram illustrating a detailed configuration of the data processing unit 121 of the transmission device 20.
  • the data processing unit 121 includes an image data processing unit 201, an audio data processing unit 202, a caption data processing unit 203, a control signal generation unit 204, and a packet generation unit 205.
  • the image data processing unit 201 performs processing on image data that is configuration data of content to be transmitted to the receiving device, for example, transmission data generation processing such as encoding processing, and generates an image elementary stream to be stored in the TS packet. This is supplied to the packet generation unit 205.
  • the audio data processing unit 202 performs processing on audio data that is content data to be transmitted to the receiving device, for example, transmission data generation processing such as encoding processing, and generates an audio elementary stream to be stored in the TS packet. This is supplied to the packet generation unit 205.
  • the caption data processing unit performs processing on caption data that is content configuration data to be transmitted to the receiving device. Specifically, a DDB message storing TTML subtitle data and a DII message storing control information and attribute information corresponding to the DDB message are generated and supplied to the packet generation unit 205.
  • the control signal generation unit 204 generates a control signal including, for example, a PSI / SI control signal including PMT, and outputs the control signal to the packet generation unit 205.
  • the packet generation unit 205 generates a packet storing images, audio, captions, and control signals and supplies the packet to the communication unit 122.
  • a packet identifier (PID) corresponding to a data type such as image, audio, or caption is set in the TS packet generated by the packet generation unit 205.
  • the communication unit 122 outputs a packet input from the packet generation unit 205 via a broadcast wave.
  • FIG. 33 is a diagram illustrating a detailed configuration of the data processing unit 151 of the receiving device 30.
  • the data processing unit 151 of the receiving device 30 includes a packet separation unit 301, an image data processing unit 302, an audio data processing unit 303, a caption data processing unit 304, a control unit 305, and a superimposition processing unit 306.
  • the packet separation unit 301 separates the received packet for each data type (image, audio, caption, control signal) based on the packet identifier (PID) of the packet received via the communication unit 152, and separates each separated packet.
  • the data is supplied to each data processing unit.
  • the image data processing unit 302 obtains the main value of the image data from the packet storing the image data, and executes processing necessary for image reproduction processing such as decoding processing.
  • the audio data processing unit 303 obtains the main value of the audio data from the packet storing the audio data, and executes processing necessary for audio reproduction processing such as decoding processing.
  • the subtitle data processing unit 304 acquires a DDB message including TTML subtitle data and a DII message storing control information and attribute information corresponding to the DDB message from a packet storing subtitle-related data, and is further supplied from the control unit 305.
  • control information such as PMT, NPT, etc.
  • subtitle output timing is controlled to output subtitles.
  • the control unit 305 executes processing control in each processing unit of the image data processing unit 302, the audio data processing unit 303, the subtitle data processing unit 304, and the superimposition processing unit 306, in addition to the output of the above-described subtitle-related control signals.
  • the superimposition processing unit 306 performs superimposition processing of the image data output from the image data processing unit 302 and the caption data output from the caption data processing unit 304, and outputs the result to the display unit.
  • FIG. 34 shows a hardware configuration example of a communication device applicable as the transmission device 20 and the reception device 30.
  • a CPU (Central Processing Unit) 401 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 402 or a storage unit 408. For example, processing according to the sequence described in the above-described embodiment is executed.
  • a RAM (Random Access Memory) 403 stores programs executed by the CPU 401, data, and the like. These CPU 401, ROM 402, and RAM 403 are mutually connected by a bus 404.
  • the CPU 401 is connected to an input / output interface 405 through a bus 404.
  • the input / output interface 405 is connected to an input unit 406 including various switches, a keyboard, a mouse, a microphone, and the like, and an output unit 407 including a display and a speaker. Yes.
  • the CPU 401 executes various processes in response to a command input from the input unit 406 and outputs the processing result to the output unit 407, for example.
  • the storage unit 408 connected to the input / output interface 405 includes, for example, a hard disk and stores programs executed by the CPU 401 and various data.
  • the communication unit 409 functions as a data communication transmission / reception unit via a network such as the Internet or a local area network, and further as a broadcast wave transmission / reception unit, and communicates with an external device.
  • the drive 410 connected to the input / output interface 405 drives a removable medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
  • a removable medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the encoding or decoding of data can be executed as the processing of the CPU 401 as the data processing unit, but a configuration including a codec as dedicated hardware for executing the encoding or decoding processing may be adopted.
  • a DDB Download Data Block
  • TTML Timed Text Markup Language
  • DII Download Info Indication
  • a communication unit that receives data stored as TS packet data defined by MPEG-2TS
  • a receiving apparatus comprising: a TTML subtitle data stored in the DDB message; and a data processing unit that executes subtitle display control using the DII message.
  • the DII message includes subtitle display control information in module units set in subtitle type units, The data processing unit The receiving device according to (1), wherein subtitle display control is performed according to subtitle display control information in units of modules recorded in the DII message.
  • the DII message includes time mode (TMD) setting information that defines subtitle display timing, The receiving apparatus according to (1) or (2), wherein the data processing unit executes control of subtitle display timing according to a setting mode of a time mode (TMD) recorded in a DII message.
  • TMD time mode
  • the time mode (TMD) of the DII message has a configuration capable of designating a mode using a TTML description and an EIT (Event Information Table).
  • the data processing unit obtains the display timing control information described in the TTML subtitle data acquired from the DDB message and the EIT.
  • the time mode (TMD) of the DII message has a configuration capable of designating a mode using TTML description and NPT (Normal Play Time)
  • the data processing unit obtains from the NPT the display timing control information described in the TTML subtitle data acquired from the DDB message when the setting of the time mode of the DII message is a mode that specifies the use of the TTML description and the NPT.
  • the receiving apparatus according to (3) or (4), wherein subtitle display timing is determined by using correspondence data between NPT time information and STC (system time clock) time information.
  • the time mode (TMD) of the DII message has a configuration capable of designating a mode using a TTML description and an absolute time
  • the data processing unit displays the display timing control information described in the TTML subtitle data acquired from the DDB message and the absolute time.
  • the time mode (TMD) of the DII message has a configuration capable of designating a mode indicating no display timing control of TTML caption data
  • the data processing unit performs subtitle display timing control for immediately displaying the TTML subtitle data acquired from the DDB message when the time mode setting of the DII message is a mode indicating no display timing control of the TTML subtitle data.
  • the DII message includes operation mode (OPM) setting information defining subtitle display control information,
  • OPM operation mode
  • the receiving apparatus according to any one of (1) to (7), wherein the data processing unit executes subtitle display control according to an operation mode (OPM) setting mode recorded in a DII message.
  • OPM operation mode
  • the operation mode (OPM) of the DII message has a configuration capable of designating a live mode for immediate display after receiving TTML subtitle data,
  • the operation mode (OPM) of the DII message has a configuration capable of designating a segmentation mode in which TTML subtitle data is displayed according to the TTML description.
  • the operation mode (OPM) of the DII message has a configuration capable of designating a program mode for executing a caption display process using TTML caption data in units of programs,
  • the receiving apparatus according to any one of (8) to (10), wherein the data processing unit executes subtitle display control using TTML subtitle data for each program when the operation mode of the DII message is set to the program mode. .
  • the communication unit receives a PMT (Program Map Table) in which control information corresponding to the TTML caption data is recorded,
  • PMT Program Map Table
  • the receiving apparatus according to any one of (1) to (11), wherein the data processing unit executes display control of the TTML caption data using PMT recording information.
  • a DDB Download Data Block
  • TTML Timed Text Markup Language
  • DII Download Info Indication
  • the data processing unit The transmission device according to (13), wherein the transmission device generates a DII message including subtitle display control information in module units set in subtitle type units.
  • the data processing unit EIT Event Information Table
  • NPT Normal Play Time
  • TMD Time mode
  • the data processing unit generates a DII message including operation mode (OPM) designation information for selectively executing TTML subtitle data immediate display or display according to the TTML description.
  • OPM operation mode
  • the data processing unit generates a PMT (Program Map Table) in which control information corresponding to the TTML caption data is recorded,
  • PMT Program Map Table
  • the transmission device according to any one of (13) to (16), wherein the communication unit transmits a PMT in which control information corresponding to the TTML caption data is recorded.
  • a data processing method executed in the receiving device A communication unit having a DDB (Download Data Block) message storing TTML (Timed Text Markup Language) subtitle data; A DII (Download Info Indication) message storing subtitle correspondence information corresponding to the TTML subtitle data stored in the DDB message, Received as TS packet storage data defined by MPEG-2TS, A data processing method in which a data processing unit executes TTML subtitle data stored in the DDB message and subtitle display control using the DII message.
  • DDB Download Data Block
  • TTML Timed Text Markup Language
  • DII Download Info Indication
  • a data processing method executed in a transmission device A data processing unit having a DDB (Download Data Block) message storing TTML (Timed Text Markup Language) subtitle data; Generating a DII (Download Info Indication) message storing subtitle correspondence information corresponding to the TTML subtitle data stored in the DDB message; Generate a TS packet defined by MPEG-2TS that stores the generated message, A data processing method in which a communication unit transmits the TS packet.
  • DDB Download Data Block
  • DII Download Info Indication
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method for realizing reliable display control of TTML subtitle data are realized.
  • a DDB message storing TTML subtitle data and a DII message storing subtitle data control information and the like are transmitted from the transmitting device to the receiving device as TS packets defined by MPEG-2TS.
  • the receiving apparatus executes TTML subtitle data in the DDB message and subtitle display control to which the DII message is applied.
  • the DII message defines a time mode (TMD) that is a subtitle display timing control mode, and an operation mode (OPM) that selectively executes subtitle immediate display, display in accordance with TTML description, and the like. Enables display control according to DII mode designation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

TTML字幕データの確実な表示制御を実現する装置、方法を提供する。送信装置から受信装置にTTML字幕データを格納したDDBメッセージと、字幕データの制御情報等を格納したDIIメッセージをMPEG-2TSの規定するTSパケットとして送信する。受信装置は、DDBメッセージ内のTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行する。DIIメッセージは、字幕表示タイミングの制御モードであるタイムモード(TMD)や、字幕の即時表示やTTML記述に従った表示等を選択的に実行させる動作モード(OPM)を規定しており、受信装置はDIIのモード指定に応じた表示制御が可能となる。

Description

受信装置、および送信装置、並びにデータ処理方法
 本開示は、受信装置、および送信装置、並びにデータ処理方法に関する。さらに詳細には例えば放送波を介したデータの送信または受信を実行する受信装置、および送信装置、並びにデータ処理方法に関する。
 映像に対して字幕を重畳して表示する方式には様々な方式があるが、表示領域や表示タイミング等の制御を可能としたXML(Extensible Markup Language)形式の字幕データであるTTML(Timed Text Markup Language)の利用が多くなってきている。
 TTMLは、HTML5等のwebアプリケーションとの連携も可能であり、また文字符号だけでなくビットマップも利用可能であるという特徴を持つ。
 なお、TTMLについては、例えば特許文献1(特開2012-169885号公報)に記載がある。
特開2012-169885号公報
 上記の字幕データであるTTML字幕データは、例えばVODなどにおいて利用されているが、例えばテレビ放送でTTML字幕データを配信する具体的な手法については、まだ明確な提案がなされていない。
 本開示は、TTML字幕データを、放送波を介して送受信し、受信側においてTTML字幕データに基づく様々な字幕表示制御を行うことを可能とした受信装置、および送信装置、並びにデータ処理方法を提供することを目的とする。
 本開示の第1の側面は、
 TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
 MPEG-2TSの規定するTSパケットの格納データとして受信する通信部と、
 前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理部を有する受信装置にある。
 さらに、本開示の第2の側面は、
 TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
 生成メッセージを格納したMPEG-2TSの規定するTSパケットを生成するデータ処理部と、
 前記TSパケットを送信する通信部を有する送信装置にある。
 さらに、本開示の第3の側面は、
 受信装置において実行するデータ処理方法であり、
 通信部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
 MPEG-2TSの規定するTSパケットの格納データとして受信し、
 データ処理部が、前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理方法にある。
 さらに、本開示の第4の側面は、
 送信装置において実行するデータ処理方法であり、
 データ処理部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
 生成メッセージを格納したMPEG-2TSの規定するTSパケットを生成し、
 通信部が、前記TSパケットを送信するデータ処理方法にある。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、TTML字幕データの確実な表示制御を実現する装置、方法が実現される。
 具体的には、送信装置から受信装置にTTML字幕データを格納したDDBメッセージと、字幕データの制御情報等を格納したDIIメッセージをMPEG-2TSの規定するTSパケットとして送信する。受信装置は、DDBメッセージ内のTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行する。DIIメッセージは、字幕表示タイミングの制御モードであるタイムモード(TMD)や、字幕の即時表示やTTML記述に従った表示等を選択的に実行させる動作モード(OPM)を規定しており、受信装置はDIIのモード指定に応じた表示制御が可能となる。
 本構成により、TTML字幕データの確実な表示制御を実現する装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理を実行する通信システムの一構成例について説明する図である。 送信装置の送信データについて説明する図である。 TSパケットの構成について説明する図である。 送信装置の送信する字幕関連データの例について説明する図である。 DDBメッセージとDIIメッセージの送信構成について説明する図である。 TTML字幕データを利用した字幕表示処理について説明する図である。 DDBメッセージのデータ構造について説明する図である。 DIIメッセージのデータ構造について説明する図である。 DIIメッセージに含まれる字幕モジュール情報記述子について説明する図である。 DIIメッセージに記録される字幕チャンネルタグについて説明する図である。 DIIメッセージに記録される字幕タイプについて説明する図である。 DIIメッセージに記録されるタイムモードについて説明する図である。 DIIメッセージに記録される表示モードについて説明する図である。 DIIメッセージに記録される動作モードについて説明する図である。 DIIメッセージに記録される表示書式について説明する図である。 DIIメッセージに記録される圧縮モードについて説明する図である。 PMT(プログラム・マップ・テーブル)の構造について説明する図である。 PMTに記録されるデータコンポーネント情報について説明する図である。 PMTに記録されるTTML字幕対応情報の例について説明する図である。 EIT(Envent Information Table)の構造について説明する図である。 TMD=1:TTML記述+EIT starttimeのモード設定時の処理について説明する図である。 NPT(Normal Play Time)のデータ構造について説明する図である。 TMD=2:TTML記述+NPTのモード設定時の処理について説明する図である。 TMD=3:TTML記述+絶対時刻のモード設定時の処理について説明する図である。 TMD=15:時刻制御なしのモード設定時の処理について説明する図である。 OPM=0:ライブモードのモード設定時の処理について説明する図である。 OPM=1:セグメンテーションモードのモード設定時の処理について説明する図である。 OPM=2:プログラムモードのモード設定時の処理について説明する図である。 送信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 受信装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 送信装置と受信装置の構成例について説明する図である。 送信装置の構成例について説明する図である。 受信装置の構成例について説明する図である。 通信装置である送信装置と受信装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の受信装置、および送信装置、並びにデータ処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.通信システムの構成例について
 2.字幕データと字幕対応情報を格納したDDB、DIIの概要について
 3.DDBメッセージのデータ構造について
 4.DIIメッセージのデータ構造について
 5.PMT(プログラム・マップ・テーブル)の構造について
 6.タイムモード(TMD)の各モード対応の具体的処理について
 6-1.TMD=1:TTML記述+EIT starttimeのモード設定時の処理について
 6-2.TMD=2:TTML記述+NPTのモード設定時の処理について
 6-3.TMD=3:TTML記述+絶対時刻のモード設定時の処理について
 6-4.TMD=15:時刻制御なしのモード設定時の処理について
 7.動作モード(OPM)の各モード対応の具体的処理について
 7-1.OPM=0:ライブモードのモード設定時の処理について
 7-2.OPM=1:セグメンテーションモードのモード設定時の処理について
 7-3.OPM=2:プログラムモードのモード設定時の処理について
 8.送信装置と受信装置の実行する処理の処理シーケンスについて
 9.送信装置と受信装置の構成例について
 10.本開示の構成のまとめ
  [1.通信システムの構成例について]
 まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
 図1に示すように、通信システム10は、画像データや音声データ、さらに字幕データ、さらに各種の制御情報等のデータを送信する通信装置である送信装置20と、送信装置20の送信するデータを受信する通信装置である受信装置30を有する。
 送信装置20は、具体的には、例えば放送局21等、様々な番組等のコンテンツを提供する側の装置である。
 一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
 送信装置20と受信装置30間のデータ通信は、放送波による一方向通信として行われる。
 送信装置20から受信装置30に対するデータ送信は、MPEG-2TSフォーマットに従って実行される。
 MPEG-2TSフォーマットは、画像(Video)、音声(Audio)、字幕(Caption)等、コンテンツ構成データである符号化データを放送波を介して伝送する際のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
 MPEG-2TSフォーマットは、ISO13818-1において標準化されたフォーマットであり、例えばBD(Blu-ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
 送信装置20は、コンテンツデータを符号化し、符号化データおよび符号化データのメタデータを含むデータファイルを生成し、生成した符号化データをMPEG-2TSにおいて規定されるTSパケットに格納して放送波を介して送信する。
 送信装置20が受信装置30に提供するデータは、画像、音声、字幕等の再生対象データの他、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
 送信装置20の送信データの例について図2を参照して説明する。
 図2には、送信装置20が受信装置30に対して送信するデータの種類を示している。送信装置20が受信装置30に対して送信するデータには以下のデータがある。
 (a)画像データ(Video ES)50
 (b)音声データ(Audio ES)60
 (c)字幕データ(Caption ES)70
 (d)シグナリングデータ80
 これらの各データはいずれもMPEG-2TSフォーマットで規定されるTSパケットのペイロードとしてTSパケットに格納して送信する。
 なお、ESはエレメンタリストリームでありTSパケットに格納する画像、音声、字幕等の符号化データである。
 字幕データ70には、
 (b1)字幕対応情報(=DII(ダウンロード・インフォ・インディケーション)メッセージ)71、
 (b2)各チャンネル対応の字幕データを含む字幕チャンネル(Caption cjannel)(=DDB(ダウンロード・データ・ブロック)メッセージ)72~74、
 これらが含まれる。
 字幕チャンネルは、例えば日本語、英語等の言語種別や、通常字幕や難聴者向け等の種類に応じた異なるデータ態様の字幕ごとに設定されるチャンネルである。
 これらの各チャンネル対応の字幕データはDDBメッセージとして受信装置30に送信される。DDBメッセージに対応する制御情報や属性情報を格納したメッセージがDIIメッセージである。
 これらのメッセージ送信態様については、さらに後段で説明する。
 シグナリングデータ80は、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
 前述したように、図2に示す各データはMPEG-2TSフォーマットで規定されるTSパケットのペイロードとして格納されて送信される。
 図3を参照してMPEG-2TSフォーマットで規定されるTSパケットの構成について説明する。
 図3(A)に示すように、TSパケットはヘッダ(TPヘッダ)とペイロード部を有する。1つのTSパケットのペイロードには画像、音声、字幕等、いずれか一種類のデータの符号化データが格納される。
 TSパケットのヘッダ(TPヘッダ)にはペイロードのデータ種類を示すPID(パケットID)が記録される。
 パケットIDに基づいて、ペイロードのデータ種類(画像,音声,字幕等)を判別することが可能な構成となっている。
 TSパケットのペイロードには、例えば、画像や音声等の符号化データであるエレメンタリストリーム(ES)が格納される。
 さらに、図3(B)に示すように、TSパケットのヘッダ情報には、以下の各データが格納される。
 (a)同期用バイト(Sync byte)
 (b)トランスポートエラー識別子(Transport_error_indicator)
 (c)ペイロードユニットスタート識別子(Payload_unit_start_indicator)
 (d)トランスポートプライオリティ(Transport_priority)
 (e)プログラムID(PID)
 (f)トランスポートスクランブリングコントロール(Transport scrambling control)
 (g)アダプテーションフィールドコントロール(Adaptation field contrpl)
 (h)コンティニュイテイカウンタ(Continuity counter)
  [2.字幕データと字幕対応情報を格納したDDB、DIIの概要について]
 字幕データは、画像データに重畳して表示するデータであり、表示位置や表示タイミングの制御が必要となる。
 以下、図4以下を参照して字幕データに関する処理について説明する。
 図4は、図2を参照して説明した送信装置20から受信装置30に対して送信する字幕データ本体と、字幕データの制御に適用する情報を示す図である。
 送信装置20から受信装置30に対して送信する字幕関連データには以下のデータがある。
 字幕対応情報(=DII(ダウンロード・インフォ・インディケーション)メッセージ)71、
 各チャンネル対応の字幕データを含む字幕チャンネル(Caption cjannel)(=DDB(ダウンロード・データ・ブロック)メッセージ)72、
 シグナリングデータ80、
 これらのデータが、受信装置30側で字幕を表示する際に必要となるデータを含んでいる。
 本開示の送信装置20は、XML(Extensible Markup Language)形式の字幕データであるTTML(Timed Text Markup Language)データをDDBメッセージに含めて送信する。
 さらにDDBメッセージに格納されたTTML字幕データに対する制御情報や属性情報を含む字幕対応情報をDIIメッセージとして送信する。
 送信装置20は、これら各メッセージをカルーセル方式(DSM-CCカルーセル)に従って送信する。
 図5を参照して、DDBメッセージとDIIメッセージの送信処理の概要について説明する。
 送信装置20は、まず、図5(A)に示すように字幕データであるTTML字幕データを格納した1つ以上のDDBメッセージに対して、TTML字幕データの制御情報や属性情報を格納したDIIメッセージを生成する。
 DDBメッセージは、字幕の種類に応じたモジュール単位のメッセージとして設定され、モジュール識別子としてのモジュールIDが設定される。
 なお、字幕の種類とは、日本語や英語等の言語種類のみならず、字幕タイプや、字幕の表示タイミングを規定したタイムモード等、様々な要素によって区別され、これら各要素が同一要素からなるTTML字幕データを1つのモジュールとする。
 なお、DDBメッセージのデータ構造については後段で詳細に説明する。
 DIIメッセージは、1つの以上のDDBメッセージに格納されたTTML字幕データに関する制御情報や属性情報が記録される。
 DIIメッセージには、複数のモジュール対応の制御情報や属性情報を、モジュール単位で個別に記録可能な構成を持つ。
 例えば各モジュール、すなわち各DDBメッセージに格納されたTTML字幕データの種類や、表示タイミング等を含む表示制御情報などが記述される。
 なお、DIIメッセージの詳細についても後段で説明する。
 各DDBメッセージと各DIIメッセージは、図5(B)に示すように、セクションヘッダとペイロードからなるセクション形式を有する。
 DBB対応のセクションヘッダには、モジュールID、モジュールバージョン等が記録される。ペイロードにはTTML字幕データが格納される。なお、DBBのデータ構造については後段で詳細に説明する。
 DIIメッセージのペイロードには1つ以上のモジュール対応の制御情報や属性情報がモジュールID、モジュールバージョンに対応付けて記録される。ヘッダには、DIIメッセージに制御情報や属性情報を記録したモジュールのモジュール数(number of modules)等の情報が記録される。
 これらDBBメッセージ、DIIメッセージからなるセクションは、図5(C)に示すように、所定長のTSパケットの1つのペイロードに収まらない場合には複数のペイロードに分割して格納され、放送波を介して送信される。
 なお、送信装置20は、これらの字幕データのみではなく画像データ、音声データを格納したTSパケットも送信する。
 受信装置30は、受信する多数のTSパケット各々のヘッダを解析し、各ヘッダのPID(パケット識別子)に基づいて、画像、音声、字幕等の各データ格納パケットを分類して、それぞれのデータ種類に応じた処理を行なう。
 図4に戻り、送信装置20の送信するその他のデータについて説明する。送信装置20が送信するシグナリングデータ80は、番組ガイド等の案内情報や通知情報、送信コンテンツに対応する属性情報や制御情報等によって構成される。
 具体的には、例えば、PSI/SI(Program Specific Information)とよばれるデータ等によって構成される。
 PSI/SIには、例えば、以下のデータが含まれる。
 PMT(Program Map Table)
 NIT(Network Information Table)
 EIT(Envent Information Table)
 これらのテーブル等が含まれる。
 PMT(Program Map Table)は、TSパケットのPIDとデータ種別の対応情報としてのマップを含む。すなわち受信装置30は、まずPMTを参照して、画像、音声、字幕、それぞれのデータに対応するPIDを確認する。
 受信装置30は、PMTを参照して各データ種別のPIDを確認して、確認したデータ種別対応のPIDに基づいて、受信パケットをデータ種類別に分離する。
 NIT(Network Information Table)
はチャンネル番号や、変調方式等、各チャンネルの送信データの受信に必要となる設定情報などが含まれる。
 なお、シグナリングデータ80には、これらの他、例えば番組表等、様々なデータが含まれる。受信装置30はシグナリングデータ80を利用して、受信装置の様々な設定等を行うことが可能となり、また番組に関する様々な情報を得ることができる。
 EIT(Envent Information Table)は、コンテンツ(番組)のタイトル、放送日時、放送の内容、出演者などの情報を記録したテーブルである。
 シグナリングデータ80には、これらのデータの他、受信装置30において利用可能な様々な通知データ等が含まれる。
 図6は、DDBメッセージに格納するXML形式のTTML字幕データの構成例を示す図である。
 例えば図2、図4を参照して説明した(A)字幕チャンネル#1,72には、図6に示す(B)DDBメッセージが含まれ、DDBメッセージには、TTML字幕データが格納されている。
 TTML字幕データは、例えば、図6(C)に示すようなXML形式のデータであり、実際に表示される文字列の他、表示領域、表示タイミング等の情報を記述可能なとした構成を持つ。
 受信装置30は、このようなTTML字幕データを解釈して、図6(D)に示すような表示データ、すなわち、他のTSパケットから取得して復号した画像データに字幕を重畳した表示データを生成して表示部に表示する処理を行う。
  [3.DDBメッセージのデータ構造について]
 次にTTML字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージのデータ構造について図7を参照して説明する。
 DDBメッセージには、図7に示すように、以下のデータを持つ。
 (a)モジュールID(moduleID)、
 (b)モジュールバージョン(moduleVersion)
 (c)ブロックナンバー(blockNumber)
 (d)ブロックデータバイト(blockDataByte)
 モジュールIDは、モジュール識別子である。本例ではモジュールは各字幕の種類に対応して設定される。なお、前述したように、字幕種類とは、日本語や英語等の言語種類の他、字幕タイプや、字幕の表示タイミングを規定したタイムモード等、様々な要素によって区分され、これら各要素が同じTTML字幕データを1つのモジュールとする。
 制御情報を格納したDIIメッセージは、モジュール単位で制御情報を記録した構成を有する。特定のモジュール対応のTTMLファイルに記録された字幕データの表示制御は、モジュール単位で記録されたDIIメッセージ内の制御情報に従って実行される。
 この制御処理については後段で詳細に説明する。
 モジュールバージョンは、モジュールの更新処理に対応可能としたバージョン識別子を記録するフィールドである。同一のモジュールIDであってもバージョンが異なれば、バージョン対応の処理を行なうことが可能となる。
 ブロックナンバーは、DDB(ダウンロード・データ・ブロック)対応のブロック番号である。
 ブロックデータバイトは、TTML字幕データを格納するフィールドである。先に図6(c)を参照して説明したXML形式のTTML字幕データが格納される。
  [4.DIIメッセージのデータ構造について]
 次にTTML字幕データに対する属性情報や制御情報等の字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージのデータ構造について図8を参照して説明する。
 先に説明したよう、DIIメッセージには、DDBメッセージに格納されたTTML字幕データの制御情報や属性情報が記録される。
 図8に示すDIIメッセージの字幕モジュール情報[moduleInfoByte]記録フィールドに、モジュール単位の制御情報、属性情報が記録される。
 なお、この字幕モジュール情報[moduleInfoByt]記録フィールドは、複数のモジュールに対応する複数の制御情報や属性情報を順次記録可能である。すなわちループ構成を有し、各ループに各モジュール単位の制御情報や属性情報を記録することを可能とした構成を持つ。
 字幕モジュール情報[moduleInfoByt]記録フィールドの具体的な構成について、図9以下を参照して説明する。
 図9は、字幕モジュール情報[moduleInfoByt]記録フィールドに記録される字幕モジュール情報記述子(caption module info descriptot)を示す図である。
 字幕モジュール情報[moduleInfoByt]記録フィールドには、以下の記述子が記録される。
 (1)字幕チャンネルタグ(caption_channel_tag)
 (2)言語コード(ISO_639_language_code)
 (3)字幕タイプ(Type)
 (4)タイムモード(TMD)
 (5)表示モード(DMF)
 (6)動作モード(OPM)
 (7)表示書式(Format)
 (8)圧縮モード(Compression_mode)
 以下、これらの情報の詳細について、順次、説明する。
 (1)字幕チャンネルタグ(caption_channel_tag)
 字幕チャンネルタグ(caption_channel_tag)は、モジュール単位、すなわちモジュールID毎の字幕チャンネルを識別するタグである。
 図10に字幕チャンネルタグ(caption_channel_tag)のデータ構成例を示す。
 字幕チャンネルタグ(caption_channel_tag)は8ビット構成であり、
 上位4ビット(Bit7~4)が利用態様、
 下位4ビット(Bit3~0)が言語種類、
 を示す。
 上位4ビットの利用態様としては、例えば、
 0000=通常字幕
 0001=難聴者向け字幕、
 等である。
 例えば難聴者向け字幕とは、例えば、通常の字幕データに加えて(大きな声で)、(かすれた声で)等の解説付きの字幕などである。
 このような異なる字幕に対応させた識別タグを設定する。
 下位4ビットは、言語種別を示すデータであり、
 0000=第1言語、
 0001=第2言語、
 0010=第3言語、
 このような設定で言語の種類(日本語、英語、フランス語等)を示す。
 なお、字幕チャンネルタグは、これらのデータの他、字幕チャンネルのその他の属性(property)情報を含める構成としてもよい。
 (2)言語コード(ISO_639_language_code)
 言語コード(ISO_639_language_code)は、字幕チャンネルタグ(caption_channel_tag)の下位4ビットで示される言語種類をISO639-2で規定される言語コードとして示したデータである。
 例えば日本語の場合は、
 jpn(01101010 01110000 01101110)
 となる。
 (3)字幕タイプ(Type)
 字幕タイプ(Type)は、字幕のタイプを示す情報である。
 図11に具体例を示す。
 00=字幕基本情報
 01=字幕拡張情報
 10=文字スーパー
 これらの字幕タイプを識別する情報を記録する。
 なお、字幕基本情報は、基本的な字幕データであることを示す。字幕拡張情報は、文字の表示形式を変更したリッチな表現を行う場合などに用いられる。ただし、受信装置側で理科できる場合にのみ利用される。文字スーパーは、ニュース速報等の文字であることなどを識別させるためのデータである。
 (4)タイムモード(TMD)
 タイムモード(TMD)は、字幕の表示タイミングの制御に用いる時刻制御モードを示す。具体的には、図12に示すように、以下の各モードのいずれかが記録される。
 0001=TTML記述+EIT starttime
 0010=TTML記述+NPT
 0011=TTML記述+絶対時刻
 1111=提示制御なし(受信時、即時表示等)
 「TTML記述」とは、先に図6(c)を参照して説明したTTML字幕データに記録された表示タイミングに関する記述である。
 図6(c)に示すTTML字幕データには、以下の表示タイミング制御情報が記録されている。
 <p begin "427s"dur="1s">
 このTTML記述は、番組開始から427秒の時点から1秒間「こんにちは」という文字を表させるための表示タイミングに関する記述である。
 しかし、実際の番組表示に際しては、例えばコマーシャルの挿入や、臨時ニュースなどにより、必ずしもこのTTML字幕データの記述のみに依存した表示タイミング制御が行えない場合がある。
 DIIメッセージに記録されたタイムモード(TMD)は、どのような場合でも、確実に映像に合わせた表示タイミングで字幕の表示を可能とするために用いられるデータである。
 なお、タイムモード(TMD)に記録可能な4つのモードの具体的な処理態様については、後段で説明する。
 (5)表示モード(DMF)
 表示モード(DMF)は、
 字幕の表示モードを示す情報である。具体例を図13に示す。
 表示モード(DMF)は4ビット構成であり、
 上位2ビット(Bit3~2)が受信時処理態様、
 下位2ビット(Bit1~0)が記録再生時処理態様、
 を示す。
 上位2ビットの受信時処理態様は、TTML字幕データを格納したDDBメッセージを受信した際の処理を規定したものであり、
 00=受信時自動表示、
 01=受信時自動非表示、
 10=受信時選択表示
 これらの各表示モードの何れかを規定する。
 00=受信時自動表示は、TTMLを格納したDDBメッセージの受信時に受信したTTML字幕データとDIIメッセージの制御情報に従って字幕を表示することを規定したモードである。
 01=受信時自動非表示は、TTMLを格納したDDBメッセージの受信時に受信したTTML字幕データに記録された字幕は非表示とすることを規定したモードである。
 10=受信時選択表示は、例えばユーザによるリモコン設定などにより、TTMLを格納したDDBメッセージの受信時に受信したTTML字幕データの字幕を表示または非表示とすることを可能としたモードである。
 下位2ビットの記録再生時処理態様は、番組等をハードディスクなどのメディアに記録した後、再生する場合の処理を規定したものであり、
 00=記録再生時自動表示、
 01=記録再生時自動非表示、
 10=記録再生時選択表示
 これらの各表示モードの何れかを規定する。
 00=記録再生時自動表示は、TTMLを格納したDDBメッセージを含むコンテンツの再生時にTTML字幕データとDIIメッセージの制御情報に従って字幕を表示することを規定したモードである。
 01=記録再生時自動非表示は、TTMLを格納したDDBメッセージを含むコンテンツの再生時にTTML字幕データに記録された字幕は非表示とすることを規定したモードである。
 10=記録再生時選択表示は、コンテンツ再生時に例えばユーザによるリモコン設定などにより、TTML字幕データの字幕を表示または非表示とすることを可能としたモードである。
 (6)動作モード(OPM)
 動作モード(OPM)は、字幕の表示制御に適用する動作モード規定情報である。具体例を図14に示す。動作モード(OPM)としては以下の各モードの設定が可能である。
 00=ライブモード(Live mode)
 01=セグメンテーションモード(Segmentation mode)
 10=プログラムモード(Program mode)
 00=ライブモード(Live mode)は、例えば、受信したTTML字幕データを、受信時に即時表示させるモードである。例えば同時通訳等の字幕データの表示などの際に利用される設定するモードである。
 01=セグメンテーションモード(Segmentation mode)は、映画コンテンツのように、予め字幕データが準備されたコンテンツに適用されるモードであり、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させる場合のモードである。
 10=プログラムモード(Program mode)は、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを準備して、送信装置から受信装置に送信し、受信装置が1つのTTMLファイルを利用して1番組の字幕表示を実行するモードである。
 なお、動作モード(OPM)の各モード設定時の処理の具体例については、後段で詳細に説明する。
 (7)表示書式(Format)
 表示書式(Format)は、字幕データを表示する表示画面の表示書式を規定する記述子である。具体的には、図15に示すように、以下の各書式の設定がなされる。
 0000=1920×1080(HD)
 0001=3840×2160(4K)
 0010=7860×4320(8K)
 例えば、これらの表示画面に対応する字幕データであることを示す。
 (8)圧縮モード(Compression_mode)
 圧縮モード(Compression_mode)は、TTML字幕データの圧縮モードを示す記述子である。具体的には、図16に示すように以下の各アッシュクモードのいずれかが設定される。
 000=圧縮なし
 001=EXIによる圧縮
 010=BIMによる圧縮
 011=ZIPによる圧縮
 例えば、TTML字幕データが上記のいずれの圧縮処理がなされたデータであるかを示す情報を設定する。
  [5.PMT(プログラム・マップ・テーブル)の構造について]
 先に図4を参照して説明したように、送信装置20から受信装置30に送信されるシグナリングデータ80は、番組ガイド等の案内情報や通知情報、制御情報等によって構成される。
 具体的には、PSI/SI(Program Specific Information)とよばれるデータなどが含まれ、例えば
 PMT(Program Map Table)
 NIT(Network Information Table)
 これらのテーブル等が含まれる。
 PMT(Program Map Table)は、TSパケットのPIDとデータ種別の対応情報としてのマップを含む。すなわち受信装置30は、まずPMTを参照して、画像、音声、字幕、それぞれのデータに対応するPIDを確認する。
 受信装置30は、PMTを参照して各データ種別のPIDを確認して、確認したデータ種別対応のPIDに基づいて、受信パケットをデータ種類別に分類することが可能となる。
 このPMTの具体的構成について、図17以下を参照して説明する。
 図17は、PMTのデータ構造を示す図である。
 PMTに記録される主なデータは以下のデータである。
 (1)サービス識別子(program_number)
 (2)PCR_PID
 (3)エレメンタリストリーム(ES)情報
 (3a)ストリームタイプ
 (3b)エレメンタリPID
 (3c)エレメンタリ対応情報(情報記述子:descriptor)
 (1)サービス識別子(program_number)は、例えば番組名等、サービス単位のコンテンツを識別する情報である。
 (2)PCR_PIDは、プログラム・クロック・リフェランス(program clock reference)PIDであり、サービス(番組等のコンテンツ)対応のタイムスタンプを格納したパケットのPID情報である。
 (3)エレメンタリストリーム(ES)情報は、サービス(番組等のコンテンツ)対応の画像(Video)、音声(Audio)、字幕(Caption)各々を格納したエレメンタリストリーム(ES)に関する詳細情報を記録するフィールドである。
 画像(Video)、音声(Audio)、字幕(Caption)各々の情報が順次、記録される。
 このフィールドには、以下の各情報が記述される。
 (3a)ストリームタイプ
 (3b)エレメンタリPID
 (3c)データコンポーネント(ES)情報(ES情報)
 (3a)ストリームタイプは、画像、音声、字幕のいずれのES(エレメンタリストリーム)の情報であるかを示す情報である。
 (3b)エレメンタリPIDは、ストリームタイプで規定された種類のデータを格納したTSパケットのPIDを示す。
 (3c)データコンポーネント情報(ES情報)には、ストリームタイプで規定された種類のデータ(ES:画像、音声、字幕)に関する追加情報、すなわち各ES単位の制御情報、属性情報等の追加情報が記録される。
 図18に、(3c)データコンポーネント情報(ES情報)の詳細構成例を示す。
 データコンポーネント情報(ES情報)には、
 (p)データコンポーネント識別子(data_component_id)
 (q)データコンポーネント追加情報(additional_data_component_info)
 これらの各データフィールドが設定される。
  (p)データコンポーネント識別子(data_component_id)には、画像、音声、字幕のていずれの追加情報であるかを示すデータ種別(画像、音声、字幕)の情報を記録する。
 データコンポーネント追加情報(additional_data_component_info)フィールドに画像、音声、字幕対応の様々な追加情報が記録可能となる。
 字幕データに関するデータコンポーネント追加情報(additional_data_component_info)フィールドのデータ構成例を図19に示す。
 図19に示すように、字幕データに関するデータコンポーネント追加情報(additional_data_component_info)には、以下の各情報が記録される。
 (a)字幕チャンネル数
 (b)スタートモジュール識別子
 (c)デフォルトプロパティフラグ
 (d)字幕チャンネルリストフラグ
 (e)各字幕チャンネル共通情報
 (f)各字幕チャンネルタグと言語との対応リスト
 (a)字幕チャンネル数は、この追加情報に対応する字幕ESにいくつの字幕チャンネル(例えば、図2に示すチャンネル#1,#2等)を含むかを示す。
 (b)スタートモジュール識別子は、最初の字幕チャンネルに相当するのモジュールの識別子である。複数の字幕チャンネルを含む場合には、各字幕チャンネルのモジュールのモジュール識別子はこの値に対して1ずつインクリメントした値となる。
 (c)デフォルトプロパティフラグは、複数のチャンネルに共通する追加情報を記録する[(e)各字幕チャンネル共通情報]にデータが記録されているか否かを示すフラグである。
 (d)字幕チャンネルリストフラグは、「(f)各字幕チャンネルの字幕チャンネルタグリスト」にデータが記録されているか否かを示すフラグである。
 (e)各字幕チャンネル共通情報は、複数のチャンネルに共通する追加情報を記録するフィールドであり、先にDIIメッセージの記録情報として説明した
 (1)字幕タイプ(Type)
 (2)動作モード(OPM)
 (3)表示書式(Format)
 (4)タイムモード(TMD)
 (5)表示モード(DMF)
 これらの各情報が記録される。
 なお、受信装置30は、PMTを最初に受信して解析するので、PMTのデータに基づく受信装置の設定を行うことで、いち早く受信、再生準備を整えることが可能となる。
 (f)各字幕チャンネルの字幕チャンネルタグリストは、各字幕チャンネル毎に設定された先に図10を参照して説明したDIIメッセージの構成データである字幕チャンネルタグ(caption_channel_tag)のリストをモジュール識別子の値の順の字幕チャンネルで示すものである。これにより字幕ESに含まれる複数の字幕チャンネルの言語や利用形態のバリエーションをあらかじめ知ることが可能である。
 
  [6.タイムモード(TMD)の各モード対応の具体的処理について]
 次に、DIIメッセージに記録される字幕モジュール情報記述子(caption module info descriptot)の1つであるタイムモード(TMD)の各モード対応の具体的処理について説明する。
 図12を参照して説明したように、タイムモード(TMD)は、字幕の表示タイミングの制御に用いる時刻制御モードを示す。具体的には、図12に示すように、以下の各モードのいずれかが記録される。
 0001=TTML記述+EIT starttime
 0010=TTML記述+NPT
 0011=TTML記述+絶対時刻
 1111=提示制御なし(受信時、即時表示等)
 以下、これら4つのタイムモード設定に対応した受信装置側の字幕表示制御の具体例について説明する。
  [6-1.TMD=1:TTML記述+EIT starttimeのモード設定時の処理について]
 まず、タイムモード(TMD)が、TMD=1、すなわち、
 0001=TTML記述+EIT starttime
 上記設定である場合の字幕表示制御について図20、図21を参照して説明する。
 このTMD=1のモード設定は、受信装置30に、TTMLに記述された字幕表示時間と、EIT(Envent Information Table)の記録情報を適用して表示タイミングを制御させるモードである。
 EIT(Envent Information Table)は、先に図4を参照して説明したように、シグナリングデータ80のPSI/SIの構成情報であり、コンテンツ(番組)のタイトル、放送日時、放送の内容、出演者などの情報を記録したテーブルである。
 EITの具体的構成例を図20に示す。
 図20に示すようにEITには、以下の各データが記録される。
 (a)番組のID(event_id)
 (b)番組開始時刻(start_time)
 (c)番組時間長(duration)
 例えばこれらの情報が含まれる。
 受信装置30は、このEITに記録された、
 (b)番組開始時刻(start_time)
 を用いてTTML字幕データの字幕表示タイミングを決定する。
 受信装置30の実行するTTML字幕データの表示タイミング制御処理について図21を参照して説明する。
 図21には、
 (a)EIT
 (b)DIIメッセージ
 (c)DDBのTTML
 (d)字幕の表示された画像例
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)と、PSI/SIは、送信装置20から受信装置30に対して送信されるデータを示している。
 受信装置30は、EITをPSI/SIから取得し、DIIメッセージと、DDBメッセージは字幕対応ESから取得する。
 さらに、図21の最上段には、時間軸(t)を示している。
 (a)EITには、番組開始時刻情報として、
 start_time=t0
 上記情報が記録されている。
 これは、番組が開始される絶対時刻を示す情報である。
 (b)DIIメッセージには、タイムモードとして、
 TMD=1(=0001)
 上記データが記録されている。
 これは、先に図12を参照して説明したように、
 TMD=0001=TTML記述+EIT starttime
 この設定であり、TTML記述とEITのスタートタイム記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを示している。
 (c)DDBのTTMLには、字幕表示タイミング情報として
 <p begin="427s" dur="1s">
 上記データがある。
 これは、番組開始時間から427秒後にTTMLに記録された字幕データ「こんにちは」を1秒間表示することを行わせるための記述データである。
 なお、
 <div region="r1">
 このデータは、字幕「こんにちは」の表示領域の指定情報である。
 まず、受信装置30は、DIIメッセージを参照して、コンテンツに適用するTTML字幕データの表示タイミング制御が、
 TMD=0001=TTML記述+EIT starttime
 この設定であることを確認する。
 すなわち、TTML記述とEITのスタートタイム記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを確認する。
 次に、受信装置30は、TTMLと、EITの両データに記録された字幕の表示タイミング情報を参照する。
 DDBのTTMLには、字幕表示タイミング情報として
 <p begin="427s" dur="1s">
 上記データが記録されている。
 EITには、番組開始時刻情報として、
 start_time=t0
 上記情報が記録されている。
 受信装置30は、
 EITには、番組開始時刻情報として記録された、
 start_time=t0
 この番組開始の絶対時刻情報を確認し、この絶対時刻t0から、受信装置30の保持する時計に基づいて、
 DDBのTTMLの字幕表示タイミング情報、
 <p begin="427s" dur="1s">
 上記情報に記録された427秒をカウントする。
 番組開始時刻(t0)から427秒経過した時点(t1)で、TTML字幕データに記録された「こんにちは」を表示する。
 この表示結果が図21(d)に示す表示データである。
  [6-2.TMD=2:TTML記述+NPTのモード設定時の処理について]
 次に、タイムモード(TMD)が、TMD=2、すなわち、
 0002=TTML記述+NPT
 上記設定である場合の字幕表示制御について図22、図23を参照して説明する。
 このTMD=2のモード設定は、受信装置30に、TTMLに記述された字幕表示時間と、NPT(Normal Play Time)の記録情報を適用して表示タイミングを制御させるモードである。
 NPT(Normal Play Time)参照データは、 STC(システムタイムクロック)の時間情報(st)と、
 NPT(ノーマルプレイタイム)の時間情報(nt)と、
 これら2つの時間情報の対応データを持つ。このNPT参照データは、送信装置20から
受信装置30に順次、更新データが送信される。
 NPT参照データの具体的構成例を図22に示す。
 図22に示すようにNPTには、以下の各データが記録される。
 (a)STC時間情報(STC_Reference)
 (b)NPT時間情報(NPT_Reference)
 例えばこれらの情報が含まれる。
 (a)STC時間情報(STC_Reference)は、システムタイムクロック(STC)に従ってカウントされる時間情報であり、送信装置、受信装置双方で同期した時間情報である。
 NPT時間は、番組開始からの時間情報であり、例えばCM等、番組が中断した時点で停止され、番組の進行に従ってカウントされる時間情報である。
 すなわち、STC時間情報(STC_Reference)は、常時、進行するが、NPT時間情報(NPT_Reference)は、番組が進行している時間のみ進行し、CM等の中断時には進行しない。
 図22に示すNPTデータは、遂次、送信装置20において更新されて受信装置30に送信される。
 (a)STC時間情報(STC_Reference)は、時間の経過と同じ経過を示すデータに更新されるが、
 (b)NPT時間情報(NPT_Reference)は、番組の先頭からの時間を示し、かつ番組が中断している場合は更新されず、放送された番組時間に相当する時間のみを示す時間情報となる。
 番組開始時間においては、
 (a)STC時間情報(STC_Reference)=t0
 (b)NPT時間情報(NPT_Reference)=0
 上記のように、NPT時間のカウントが開始されるが、その後の時間情報の増加は等しく進む。これらのカウントは90KHzクロックにより行われる。これは27MHzクロックに基づくカウンタ値であるSTCの上位部分に相当する。
 しかし、番組開始後、CM等の番組中断事由が発生すると、上記2つの時間情報の増加はずれたものとなる。
 すなわち、
 (a)STC時間情報(STC_Reference)=s1
 (b)NPT時間情報(NPT_Reference)=n1
 受信装置30は、このNPTに記録された、
 (a)STC時間情報(STC_Reference)=s1
 (b)NPT時間情報(NPT_Reference)=n1
 これらの2つの時間の対応情報を用いてTTML字幕データの字幕表示タイミングを決定する。
 受信装置30の実行するTTML字幕データの表示タイミング制御処理について図23を参照して説明する。
 図23には、
 (a)DIIメッセージ
 (b)DDBのTTML
 (c)NPT
 (d)字幕の表示された画像例
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)と、NPTは、送信装置20から受信装置30に対して送信されるデータを示している。
 さらに、図23の最上段には、NPTとSTC対応の時間軸(t)を示している。
 (a)DIIメッセージには、タイムモードとして、
 TMD=2(=0010)
 上記データが記録されている。
 これは、先に図12を参照して説明したように、
 TMD=0010=TTML記述+NPT
 この設定であり、TTML記述とNPT記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを示している。
 (b)DDBのTTMLには、字幕表示タイミング情報として
 <p begin="276392t" dur="1s">
 上記データがある。
 さらに、
 <tt ttp:tickrate="90000">
 上記データがある。
 <tt ttp:tickrate="90000">は、時間を90KHzでカウントすることを意味する。
 <p begin="276392t" dur="1s">は、90KHzクロックのカウント値で字幕表示開始時刻を示している。
 図21を参照して説明したTTMLでは秒(s)単位のデータとして字幕の表示タイミングを記述していたが、この図23に示す例では、90KHzクロックのカウント値で示している。TMD=2(=0010)の場合、これがNPT時間で字幕表示開始時刻を示すことになる。
 90KHzのカウント値が番組開始時間から276392に達した時点でTTMLに記録された字幕データ「こんにちは」を1秒間、表示することを行わせるための記述データである。
 なお、
 <div region="r1">
 このデータは、字幕「こんにちは」の表示領域の指定情報である。
 (c)NPT参照データには、
 (a)STC時間情報(STC_Reference)=sx
 (b)NPT時間情報(NPT_Reference)=nx
 これらの2つの時間の対応情報が記録されている。
 なお、NPT参照データは逐次更新されており、受信装置30は最も新しいNPT参照データを利用する。
 まず、受信装置30は、DIIメッセージを参照して、コンテンツに適用するTTML字幕データの表示タイミング制御が、
 TMD=0010=TTML記述+NPT
 この設定であることを確認する。
 すなわち、TTML記述とNPTの記述に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを確認する。
 次に、受信装置30は、TTMLと、最新のNPTの両データに記録された字幕の表示タイミング情報を参照する。
 DDBのTTMLには、字幕表示タイミング情報として
 <p begin="276392t" dur="1s">
 NPT参照データには、
 (a)STC時間情報(STC_Reference)=s1
 (b)NPT時間情報(NPT_Reference)=n1
 これらの2つの時間の対応情報が記録されている。
 なお、NPT参照データは逐次更新されており、受信装置30は最も新しいNPT参照データを利用する。
 例えば、システムタイムクロック(STC)のカウント値がTTMLに記録された「276392t」になる直前に取得したNPT参照データを取得して、STCとNPTの対応データを取得する。
 例えばSTCカウント値が398000tの時間にNPT参照データを取得したとする。
 取得したNPTには、例えば、以下の2つの時間情報の対尾合うデータが記録されている。
 (a)STC時間情報(STC_Reference)=s1=400000t
 (b)NPT時間情報(NPT_Reference)=n1=253000t
 NPT時間情報(n1)は、番組の実放送時間をカウントした値である。
 受信装置30は、これら2つの時間情報の対応データに基づいて、TTML字幕データに記録された字幕の時間情報、すなわち、
 <p begin="276392t" dur="1s">
 上記字幕表示開始時刻であるNPT時間値=276392tをSTC値 St1に換算する。。
 すなわち、St1=276392+(400000-253000)=423392
 この算出結果である換算したSTC St1=294392tを字幕表示タイミングとし、受信機は内部のSTCカウンタ値が上記の値になった時、TTML字幕データに記録された「こんにちは」を表示する。

  この表示結果が図23(d)に示す表示データである。
  [6-3.TMD=3:TTML記述+絶対時刻のモード設定時の処理について]
 次に、タイムモード(TMD)が、TMD=3、すなわち、
 0011=TTML記述+絶対時刻
 上記設定である場合の字幕表示制御について図24を参照して説明する。
 このTMD=3のモード設定は、受信装置30に、TTMLに記述された字幕表示時間と、絶対時刻を適用して表示タイミングを制御させるモードである。
 絶対時刻は、システムタイムクロック(STC)において計測できる時間情報となる。システムタイムクロック(STC)は送信装置20と受信装置30の双方で同期した時間情報として利用される。
 受信装置30の実行するTTML字幕データの表示タイミング制御処理について図24を参照して説明する。
 図24には、
 (a)DIIメッセージ
 (b)DDBのTTML
 (c)字幕の表示された画像例
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)は、送信装置20から受信装置30に対して送信されるデータを示している。
 受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
 さらに、図24の最上段には、時間軸(t)を示している。
 (a)DIIメッセージには、タイムモードとして、
 TMD=3(=0011)
 上記データが記録されている。
 これは、先に図12を参照して説明したように、
 TMD=0011=TTML記述+絶対時刻
 この設定であり、TTML記述と絶対時刻に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを示している。
 (b)DDBのTTMLには、字幕表示タイミング情報として
 <p begin="13:40:11" dur="1s">
 上記データがある。
 これは、絶対時刻=13:40:11にTTMLに記録された字幕データ「こんにちは」を1秒間表示することを行わせるための記述データである。
 なお、
 <div region="r1">
 このデータは、字幕「こんにちは」の表示領域の指定情報である。
 まず、受信装置30は、DIIメッセージを参照して、コンテンツに適用するTTML字幕データの表示タイミング制御が、
 TMD=0001=TTML記述+絶対時刻
 この設定であることを確認する。
 すなわち、TTML記述と絶対時刻に従って字幕の表示タイミングを決定する処理を実行するコンテンツであることを確認する。
 次に、受信装置30は、TTMLに記録された字幕の表示タイミング情報を参照する。
 DDBのTTMLには、字幕表示タイミング情報として
 <p begin="13:40:11s" dur="1s">
 上記データが記録されている。
 受信装置30は、内部の時計に従って絶対時刻情報を算出する。なお、受信機の内部の時計は、外部から受信する絶対時刻情報によって遂次修正され、受信装置30は、正しい絶対時刻情報を取得することができる。
 受信装置30は、絶対時刻が、TTML字幕データに記述された時刻13:40:11となった時点(t1)で、TTML字幕データに記録された「こんにちは」を表示する。
 この表示結果が図24(c)に示す表示データである。
  [6-4.TMD=15:時刻制御なしのモード設定時の処理について]
 次に、タイムモード(TMD)が、TMD=15、すなわち、
 1111=時刻制御なし
 上記設定である場合の字幕表示制御について図25を参照して説明する。
 このTMD=15のモード設定は、受信装置30に、時刻制御なしで字幕を表示させるモードである。例えばTTML字幕データを格納したDDBメッセージの受信後、速やかに表示を行う。例えば、ライブの字幕翻訳データの表示や、ニュース速報の表示などにおいて適用される。
 受信装置30の実行するTTML字幕データの表示タイミング制御処理について図25を参照して説明する。
 図25には、
 (a)DIIメッセージ
 (b)DDBのTTML
 (c)字幕の表示された画像例
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)は、送信装置20から受信装置30に対して送信されるデータを示している。
 受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
 さらに、図25の最上段には、時間軸(t)を示している。
 (a)DIIメッセージには、タイムモードとして、
 TMD=15(=1111)
 上記データが記録されている。
 これは、先に図12を参照して説明したように、
 TMD=1111=時刻制御なし
 この設定であり、字幕の表示タイミングの制御情報がないコンテンツであることを示している。
 (b)DDBのTTMLには、字幕表示タイミング情報についての記述が含まれない。
 なお、
 <div region="r1">
 このデータは、字幕「こんにちは」の表示領域の指定情報である。
 まず、受信装置30は、DIIメッセージを参照して、コンテンツに適用するTTML字幕データの表示タイミング制御が、
 TMD=1111=時刻制御なし
 この設定であることを確認する。
 すなわち、字幕の表示タイミングの制御のないコンテンツであることを確認する。
 次に、受信装置30は、TTMLに記録された字幕の表示タイミング情報を参照する。
 DDBのTTMLには、字幕表示タイミング情報が記録されていない。
 受信装置30は、TTML字幕データを含むDDBメッセージを受信すると、即座に、TTML字幕データに記録された「こんにちは」を表示する。
 この表示結果が図25(c)に示す表示データである。これは、例えば同時通訳の翻訳文の字幕表示などである。
  [7.動作モード(OPM)の各モード対応の具体的処理について]
 次に、DIIメッセージに記録される字幕モジュール情報記述子(caption module info descriptot)の1つである動作モード(OPM)の各モード対応の具体的処理について説明する。
 図14を参照して説明したように、動作モード(OPM)は、字幕の表示制御に適用する動作モード規定情報である。図14に示したように動作モード(OPM)としては以下の各モードの設定が可能である。
 00=ライブモード(Live mode)
 01=セグメンテーションモード(Segmentation mode)
 10=プログラムモード(Program mode)
 00=ライブモード(Live mode)は、例えば、受信したTTML字幕データを、受信時に即時表示させるモードである。例えば同時通訳等の字幕データの表示などの際に利用されるモードである。
 01=セグメンテーションモード(Segmentation mode)は、映画コンテンツのように、予め字幕データが準備されたコンテンツに適用されるモードであり、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させる場合のモードである。
 10=プログラムモード(Program mode)は、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを準備して、送信装置から受信装置に送信し、受信装置が1つのTTMLファイルを利用して1番組の字幕表示を実行するモードである。
 以下、これら3つの動作モード設定に対応した受信装置側の字幕表示制御の具体例について説明する。
  [7-1.OPM=0:ライブモードのモード設定時の処理について]
 まず、動作モード(OPM)が、OPM=0、すなわち、
 OPM=00=ライブモード
 上記設定である場合の字幕表示制御について図26を参照して説明する。
 このOPM=0のモード設定は、受信装置30に、受信したTTML字幕データを、受信時に即時表示させるモードである。例えば同時通訳等の字幕データの表示などの際に利用されるモードである。
 図26には、
 (a)DIIメッセージ
 (b)~(e)TTML字幕データを格納したDDBメッセージ
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)は、送信装置20から受信装置30に対して送信されるデータを示している。
 受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
 さらに、図26の下段には、時間軸(t)と、時間経過に従って適用されるTTML字幕データと字幕表示例を示している。
 (a)DIIメッセージには、
 OPM=0(=00)
 上記データが記録されている。
 これは、先に図14を参照して説明したように、
 OPM=00=ライブモード
 この設定であり、受信したTTML字幕データを、受信時に即時表示させるモードであることを示している。
 (b)~(e)DDBメッセージ各々のTTMLには、いずれも字幕表示タイミング情報についての記述が含まれない。
 なお、
 <div region="r1">
 <div region="r2">
 <div region="r3">
 これらのデータは、各TTML字幕データに含まれる字幕の表示領域の指定情報である。r1,r2,r3は異なる領域の指定情報である。
 まず、受信装置30は、DIIメッセージを参照して、動作モードの確認を行う。
 OPM=00=ライブモード
 この設定であることを確認する。
 すなわち、字幕の表示を、TTML字幕データの受信時に即時実行するモードであることを確認する。
 次に、受信装置30は、TTML字幕データを格納したDDBメッセージを順次、受信する。
 受信装置30は、受信したDDBメッセージからTTML字幕データを取り出してTTML字幕データに記録された表示制御情報(表示領域指定のみ)に従って、字幕データを表示する。
 この表示処理結果が、図26の下段に示す4枚の画像となる。
 受信装置は、まず、(b)DDBメッセージ(TTML1)を受信し、このDDBメッセージに格納されたTTML1に従った字幕表示を行う。
 画像(p)は、(b)DDBメッセージ(TTML1)に格納されたTTML1に従って表示される字幕重畳画像である。
 TTML1に格納された字幕データ「ありがとう」を、TTML1に記録された領域指定情報の指定領域(r1)に表示する。表示タイミングは時間(t1)となる。この時間(t1)は、受信装置30がTTML1を格納したDDBメッセージを受信して必要な処理を実行後、表示可能な最短のタイミングである。
 受信装置は、次に(c)DDBメッセージ(TTML2)を受信し、このDDBメッセージに格納されたTTML2に従った字幕表示を行う。
 画像(q)は、(c)DDBメッセージ(TTML2)に格納されたTTML2に従って表示される字幕重畳画像である。
 TTML2に格納された字幕データ「どういたしまして」を、TTML2に記録された領域指定情報の指定領域(r2)に表示する。表示タイミングは時間(t2)となる。この時間(t2)は、受信装置30がTTML2を格納したDDBメッセージを受信して必要な処理を実行後、表示可能な最短のタイミングである。
 受信装置は、次に(d)DDBメッセージ(TTML3)を受信し、このDDBメッセージに格納されたTTML3に従った字幕表示を行う。
 画像(r)は、(d)DDBメッセージ(TTML3)に格納されたTTML3に従って表示される字幕重畳画像である。
 TTML3に格納された字幕データ「例の件ですが」を、TTML3に記録された領域指定情報の指定領域(r2)に表示する。表示タイミングは時間(t3)となる。この時間(t3)は、受信装置30がTTML3を格納したDDBメッセージを受信して必要な処理を実行後、表示可能な最短のタイミングである。
 受信装置は、次に(e)DDBメッセージ(TTML4)を受信し、このDDBメッセージに格納されたTTML4に従った字幕表示を行う。
 画像(s)は、(e)DDBメッセージ(TTML4)に格納されたTTML4に従って表示される字幕重畳画像である。
 TTML4に格納された字幕データ「○△×*・・・」を、TTML4に記録された領域指定情報の指定領域(r2)に表示する。
 さらに、TTML4に格納されたもう1つの字幕データ「(バタン ドアの音)」を、TTML4に記録された領域指定情報の指定領域(r3)に表示する。
ここで、TTML2、TTML3、TTML4における指定領域r2は同一の領域を示す。本例では示していないがいわゆるロールアップモードの指定がある場合にはTTML3においても、TTML2の指定領域r2で指定された文字列の後半を残してTTML3の指定領域r2で指定された文字列を加えて表示することが想定される。そのようなケースを想定するとライブモードの場合、各TTMLを独立して処理することはできない。
 このように、動作モード(OPM)=0のライブモード設定時には、受信装置30は、受信したDDBメッセージに格納されたTTML字幕データの字幕の表示を即時、実行する。
 この処理により、例えば生中継の会話における翻訳文の表示などを遅滞なく実行することが可能となる。またこの動作モードの場合には以前のTTML字幕データとの依存関係が発生しうる。
  [7-2.OPM=1:セグメンテーションモードのモード設定時の処理について]
 次に、動作モード(OPM)が、OPM=1、すなわち、
 OPM=01=セグメンテーションモード
 上記設定である場合の字幕表示制御について図27を参照して説明する。
 このOPM=1のモード設定は、映画コンテンツのように、予め字幕データが準備されたコンテンツに適用されるモードであり、受信装置30に、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させるモードである。
 図27には、
 (a)DIIメッセージ
 (b)~(c)TTML字幕データを格納したDDBメッセージ
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)は、送信装置20から受信装置30に対して送信されるデータを示している。
 受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
 さらに、図27の下段には、時間軸(t)と、時間経過に従って適用されるTTML字幕データと字幕表示例を示している。
 (a)DIIメッセージには、
 OPM=1(=01)
 上記データが記録されている。
 これは、先に図14を参照して説明したように、
 OPM=01=セグメンテーションモード
 この設定であり、受信したTTML字幕データを、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させるモードであることを示している。
 (b)~(c)DDBメッセージ各々のTTMLには、いずれも字幕表示タイミング情報についての記述が含まれる。
 (b)DDB(TTML1)には、
 <p begin="156s" duration="5s">
 上記字幕表示タイミング情報が記録されている。
 また、(c)DDB(TTML2)には、
 <p begin="170s">
 上記字幕表示タイミング情報が、字幕「どういたしまして」に対応付けて記録されている。
 さらに、
 <p begin="175s">
 上記字幕表示タイミング情報が、字幕「例の件ですが」・・・「○△×*」・・に対応付けて記録されている。
 これらはいずれも表示領域(r2)に対応する字幕データの表示タイミング情報として記録されている。
 さらに、(c)DDB(TTML2)には、
 <p begin="180s">
 上記字幕表示タイミング情報が、字幕「バタン ドアの音」に対応付けて記録されている。
 これは表示領域(r3)に対応する字幕データの表示タイミング情報として記録されている。
 なお、(c)DDB(TTML2)には、表示期間情報(duration)が記述されていない。これは、その後の字幕データの表示により、前の字幕表示を自動的に消去する場合の設定である。
 また、
 <div region="r1">
 <div region="r2">
 <div region="r3">
 これらのデータは、各TTML字幕データに含まれる字幕の表示領域の指定情報である。r1,r2,r3は異なる領域の指定情報である。
 なお、TTML字幕データ中に指定された字幕データが、1つの指定領域に表示できない場合、時間経過に伴い、表示字幕を順次、切り替えて表示する処理を行なう。あるいは、ロールアップ表示、すなわち、字幕表示を複数行で行い、順次新しい字幕を下側の行に表示して、新しい字幕表示に伴い、上側の古い字幕を順次消していく処理を行なう。
 図27に示すOPM=1の場合の受信装置30の処理について説明する。
 まず、受信装置30は、DIIメッセージを参照して、動作モードの確認を行う。
 OPM=01=セグメンテーションモード
 この設定であることを確認する。
 すなわち、字幕表示を、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従って表示するモードであることを確認する。
 次に、受信装置30は、TTML字幕データを格納したDDBメッセージを順次、受信する。
 受信装置30は、受信したDDBメッセージからTTML字幕データを取り出してTTML字幕データに記録された表示制御情報に従って、字幕データを表示する。
 この表示処理結果が、図27の下段に示す4枚の画像となる。
 受信装置は、まず、(b)DDBメッセージ(TTML1)を受信し、このDDBメッセージに格納されたTTML1に従った字幕表示を行う。
 画像(p)は、(b)DDBメッセージ(TTML1)に格納されたTTML1に従って表示される字幕重畳画像である。
 TTML1に格納された字幕データ「ありがとう」を、TTML1に記録された領域指定情報の指定領域(r1)に表示する。表示タイミングは時間(t1)となる。
 この時間(t1)は、TTML1に記録された字幕表示時間情報、すなわち、
 <p begin="156s" duration="5s">
 上記字幕表示タイミング情報に対応する時間である。
 受信装置は、次に(c)DDBメッセージ(TTML2)を受信し、このDDBメッセージに格納されたTTML2に従った字幕表示を行う。
 画像(q)~(s)は、(c)DDBメッセージ(TTML2)に格納されたTTML2に従って表示される字幕重畳画像である。
 まず、TTML2に格納された字幕データ「どういたしまして」を、TTML2に記録された領域指定情報の指定領域(r2)に表示する。
 この画像が画像(q)となる。
 表示タイミングは時間(t2)となる。この時間(t2)は、TTML2に記録された「どういたしまして」に対応する字幕表示時間情報、すなわち、
 <p begin="170s">
 上記字幕表示タイミング情報に対応する時間である。
 次に、TTML2に格納された字幕データ「例の件ですが」を、TTML2に記録された領域指定情報の指定領域(r2)に表示する。
 この画像が画像(r)となる。
 表示タイミングは時間(t3)となる。この時間(t3)は、TTML2に記録された「例の件ですが」に対応する字幕表示時間情報、すなわち、
 <p begin="175s">
 上記字幕表示タイミング情報に対応する時間である。
 次に、TTML2に格納された字幕データ「○△×*・・・」を、TTML2に記録された領域指定情報の指定領域(r2)に表示する。
 この画像が画像(s)となる。
 表示タイミングは時間(t3)となる。
 この字幕データ「○△×*・・・」については、TTML2に記録された「例の件ですが」に続く字幕であり、指定領域(r2)に入りきらないため、古い字幕を消去して上書きして表示される。したがって表示タイミングが指定時間(t2)からずれて表示される。なお、前述したようにロールアップ表示を行う構成としてもよい。
 さらに、受信装置は、TTML2に格納された字幕データ「(バタン ドアの音)」を、TTML2に記録された領域指定情報の指定領域(r3)に表示する。
 この画像が画像(s)となる。
 表示タイミングは時間(t3)となる。この時間(t3)は、TTML2に記録された「(バタン ドアの音)」に対応する字幕表示時間情報、すなわち、
 <p begin="180s">
 上記字幕表示タイミング情報に対応する時間である。
 このように動作モード(OPM)=1のセグメンテーションモード設定時には、受信装置30は、受信したDDBメッセージに格納されたTTML字幕データの字幕表示をTTML字幕データの制御情報に規定された表示タイミングに従って実行する。
 この処理により、例えば映画等のコンテンツの画像のシーンと同期した字幕表示を実行することが可能となる。またこの動作モードの場合には各TTML字幕データの処理を独立して行うことができる。よって新たなTTML字幕データの処理を行う場合には以前のTTML字幕データの影響なく処理することが可能である。
  [7-3.OPM=2:プログラムモードのモード設定時の処理について]
 次に、動作モード(OPM)が、OPM=2、すなわち、
 OPM=10=プログラムモード
 上記設定である場合の字幕表示制御について図28を参照して説明する。
 このOPM=2のモード設定は、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを準備して、送信装置から受信装置に繰り返し送信し、受信装置が1つのTTMLファイルを利用して1番組の字幕表示を実行するモードである。
 図28には、
 (a)DIIメッセージ
 (b)DDBメッセージから抽出したTTML字幕データ(TTML1)
 (c)DIIメッセージ
 これらの各データを示している。
 また、図に示す字幕対応ES(エレメンタリストリーム)は、送信装置20から受信装置30に対して送信されるデータを示している。
 受信装置30は、DIIメッセージと、DDBメッセージを字幕対応ESから取得する。
 さらに、図28の下段には、時間軸(t)と、時間経過に従って適用されるTTML字幕データと字幕表示例を示している。
 (a)DIIメッセージには、
 OPM=2(=10)
 上記データが記録されている。
 これは、先に図14を参照して説明したように、
 OPM=10=プログラムモード
 この設定であり、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを利用して1つの番組の字幕表示を実行するモードである。
 (b)DDBメッセージから抽出したTTML字幕データ(TTML1)は、1つの番組に関する字幕データをすべて含む。
 なお、DDBメッセージを1回伝送するだけでは伝送した後にこの放送サービスを選局した場合に字幕表示ができないので、本モードにおいては同じTTML字幕データファイルを繰り返し送信する。
 この(b)TTML1には複数の字幕データ各々について、表示タイミングと表示領域を規定した制御情報の記述が含まれる。
 字幕「ありがとう」に対して、
 <p begin="156s" duration="5s">
 上記字幕表示タイミング情報が記録され、
 <div region="r1">
 上記表示領域情報が記録されている。
 さらに、字幕「どういたしまして」に対して、
 <p begin="170s">
 上記字幕表示タイミング情報が記録され、
 <div region="r2">
 上記表示領域情報が記録されている。
 さらに、上記表示領域情報<div region="r2">を適用した字幕として、「例の件ですが」、「○△×*・・」各々に対して、
 <p begin="175s">
 上記字幕表示タイミング情報が記録されている。
 さらに、字幕「バタン ドアの音」に対応付けて、
 <p begin="180s">
 上記字幕表示タイミング情報が記録され、
 <div region="r3">
 上記表示領域情報が記録されている。
 なお、先に、図27を参照して説明したように、TTML字幕データ中に指定された字幕データが、1つの指定領域に表示できない場合、時間経過に伴い、表示字幕を順次、切り替えて表示する処理を行なう。あるいは、ロールアップ表示、すなわち、字幕表示を複数行で行い、順次新しい字幕を下側の行に表示して、新しい字幕表示に伴い、上側の古い字幕を順次消していく処理を行なう。
 図28に示すOPM=2の場合の受信装置30の処理について説明する。
 まず、受信装置30は、DIIメッセージを参照して、動作モードの確認を行う。
 OPM=10=プログラムモード
 この設定であることを確認する。
 すなわち、字幕表示を、1つの番組対応の字幕をすべて記録したTTML字幕データファイルに従って表示するモードであることを確認する。
 次に、受信装置30は、1つの番組対応のTTML字幕データをDDBメッセージを一度受信したら、繰り返し伝送されるDDBメッセージを受信する必要はない。よってこの場合、DIIメッセージのdownloadIdと該当する字幕チャンネルのmoduleIdによりDDBメッセージの更新を確認し、該当する字幕チャンネルのモジュールが更新されるまでは同じ受信しない。 受信装置30は、再構築したTTML字幕データを取り出してTTML字幕データに記録された表示制御情報(表示領域指定のみ)に従って、字幕データを表示する。
 この表示処理結果が、図28の下段に示す4枚の画像となる。
 受信装置は、再構築したTTML1に従った字幕表示を行う。
 画像(p)は、TTML1に従って表示される字幕重畳画像である。
 TTML1に格納された字幕データ「ありがとう」を、TTML1に記録された領域指定情報の指定領域(r1)に表示する。表示タイミングは時間(t1)となる。
 この時間(t1)は、TTML1に記録された字幕表示時間情報、すなわち、
 <p begin="156s" duration="5s">
 上記字幕表示タイミング情報に対応する時間である。
 受信装置は、同じTTML1を用いて、順次、字幕表示を行う。
 画像(q)~(s)は、TTML1に従って表示される字幕重畳画像である。
 TTML1に格納された字幕データ「どういたしまして」を、TTML1に記録された領域指定情報の指定領域(r2)に表示する。
 この画像が画像(q)となる。
 表示タイミングは時間(t2)となる。この時間(t2)は、TTML1に記録された「どういたしまして」に対応する字幕表示時間情報、すなわち、
 <p begin="170s">
 上記字幕表示タイミング情報に対応する時間である。
 次に、TTML1に格納された字幕データ「例の件ですが」を、TTML1に記録された領域指定情報の指定領域(r2)に表示する。
 この画像が画像(r)となる。
 表示タイミングは時間(t3)となる。この時間(t3)は、TTML1に記録された「例の件ですが」に対応する字幕表示時間情報、すなわち、
 <p begin="175s">
 上記字幕表示タイミング情報に対応する時間である。
 次に、TTML1に格納された字幕データ「○△×*・・・」を、TTML1に記録された領域指定情報の指定領域(r2)に表示する。
 この画像が画像(s)となる。
 表示タイミングは時間(t3)となる。
 この字幕データ「○△×*・・・」については、TTML1に記録された「例の件ですが」に続く字幕であり、指定領域(r2)に入りきらないため、古い字幕を消去して上書きして表示される。したがって表示タイミングが指定時間(t2)からずれて表示される。なお、前述したようにロールアップ表示を行う構成としてもよい。
 さらに、受信装置は、TTML1に格納された字幕データ「(バタン ドアの音)」を、TTML1に記録された領域指定情報の指定領域(r3)に表示する。
 この画像が画像(s)となる。
 表示タイミングは時間(t3)となる。この時間(t3)は、TTML1に記録された「(バタン ドアの音)」に対応する字幕表示時間情報、すなわち、
 <p begin="180s">
 上記字幕表示タイミング情報に対応する時間である。
 このように動作モード(OPM)=2のプログラムモード設定時には、受信装置30は、。1つの番組対応のTTML字幕データファイルを一度だけ受信し、繰り返し伝送されるデータは無視する処理を行う。
 この処理により、例えば映画等のコンテンツについて、コンテンツ表示期間内にDDBメッセージの受信、解析処理を並列に実行する必要がなくなり、受信装置の処理負荷を軽減することが可能となる。またこの動作モードの場合にも各TTML字幕データの処理を独立して行うことができる。よって新たなTTML字幕データの処理を行う場合には以前のTTML字幕データの影響なく処理することが可能である。
 図26~図28を参照して動作モード(OPM)の各モード対応の受信装置30の処理について説明した。
 先に説明したように、DIIメッセージに記録される動作モード(OPM)は、
 00=ライブモード(Live mode)
 01=セグメンテーションモード(Segmentation mode)
 10=プログラムモード(Program mode)
 これらのモード設定が可能な構成となっている。
 00=ライブモード(Live mode)は、受信したTTML字幕データを、受信時に即時表示させるモードである。例えば同時通訳等の字幕データの表示などの際に利用されるモードである。
 01=セグメンテーションモード(Segmentation mode)は、映画コンテンツのように、予め字幕データが準備されたコンテンツに適用されるモードであり、DIIメッセージとTTML字幕データの制御情報に規定された表示タイミングに従った表示を実行させる場合のモードである。
 10=プログラムモード(Program mode)は、例えば1つの番組単位の字幕の全てを記録したTTMLファイルを準備して、送信装置から受信装置に送信し、受信装置が1つのTTMLファイルを利用して1番組の字幕表示を実行するモードである。
 ライブモード(OPM=00)とセグメンテーションモード(OPM=1)との差異は、
 OPM=00=受信TTMLに従った字幕の即時表示を行う、
 OPM=01=受信TTMLに記録されたタイミングに基づいて字幕表示を行う、
 これらの差異である。
 上述した実施例では、図26を参照したOPM=00の処理例では、受信TTMLに字幕の表示タイミングの記述が含まれない。
 従って、受信TTMLに字幕の表示タイミングの記述が含まれない場合は即時表示を行うというルールに従う設定とした場合、すべてOPM=01とすることも可能である。
 ただし、前述した通りOPM=00の場合には、以前受信したTTML字幕データと独立して処理できないケースが存在する。一方でOPM=01の場合には各TTML字幕データは独立して処理することが可能である。受信装置における処理としては、新たに受信したTTML字幕データを直前のTTML字幕データ表示用データ格納用メモリ領域に上書きしてよいか、あるいは一旦別の領域に格納して関係性を確認すべきか判断する情報が必要である。、つまり先行受信したTTML字幕データに基づく字幕表示と独立した処理の可否を示すフラグ(独立処理可否フラグ)を、DIIメッセージに設定する構成としてもよい。
 また、OPM=2の設定は、1つの番組対応のTTML字幕データを用いた処理を実行させるモードであるが、同様の意味を持つフラグとして、繰り返し同じTTML字幕データを伝送するか否かを示すフラグ(リピートフラグ)をDIIメッセージに設定する構成としてもよい。
  [8.送信装置と受信装置の実行する処理の処理シーケンスについて]
 次に、図29、図30に示すフローチャートを参照して、送信装置と受信装置の実行する処理シーケンスについて説明する。
 まず、図29に示すフローチャートを参照して送信装置20の実行する処理について説明する。図29に示すフローに従った処理は、送信装置20のデータ処理部において実行される。例えばデータ処理部内のプログラム実行機能を有するCPUの制御の下、記憶部に格納されたプログラムに従って実行される。
 なお、図29に示すフローは、字幕に対する処理を中心として説明するフローである。
 送信装置は、ステップS101において、TTML字幕データを格納した1つ以上のDDBメッセージを生成する。
 DDBメッセージは、先に図7を参照して説明したデータ構造を持つメッセージデータである。
 なお、DDBメッセージは、字幕種類ごとに規定されるモジュール単位のメッセージとして生成する。
 字幕種類とは、言語の種類のみならず、字幕チャンネルタグや、字幕タイプ等によっても区別される。
 DIIメッセージには、モジュール単位で制御情報や属性情報が記録され、同一モジュールに属するTTML文字データは、同一の制御がなされることになる。
 次に、ステップS102において、ステップS101で生成したDDBメッセージに対応する制御情報を格納したDIIメッセージを生成する。
 DIIメッセージは、先に図8~図16を参照して説明した複数の字幕関連の制御情報や属性情報を格納したメッセージである。
 前述したようにDIIメッセージの字幕モジュール情報[moduleInfoByt]記録フィールドには、以下の記述子が記録される。
 (1)字幕チャンネルタグ(caption_channel_tag)
 (2)言語コード(ISO_639_language_code)
 (3)字幕タイプ(Type)
 (4)タイムモード(TMD)
 (5)表示モード(DMF)
 (6)動作モード(OPM)
 (7)表示書式(Format)
 (8)圧縮モード(Compression_mode)
 これらの字幕対応の制御情報、属性情報は、モジュール単位の情報であり、同一モジュールに属するTTML文字データに対しては、そのモジュール単位の制御情報に従った制御、例えば表示タイミング制御が実行される。
 次に、ステップS103において、DDMメッセージに格納したTTML字幕データに対応する制御情報、属性情報を含むPMTを生成する。
 PMTは、先に図17~図19を参照して説明したデータ構造を有する。
 PMTには、例えば以下の情報が記録される。
 (a)字幕チャンネル識別子
 (b)スタートモジュール識別子
 (c)デフォルトプロパティフラグ
 (d)字幕チャンネルリストフラグ
 (e)各字幕チャンネル共通情報
 (f)各字幕チャンネルタグと言語との対応リスト
 (e)各字幕チャンネル共通情報は、複数のチャンネルに共通する追加情報を記録するフィールドであり、先にDIIメッセージの記録情報として説明した
 (1)字幕タイプ(Type)
 (2)動作モード(OPM)
 (3)表示書式(Format)
 (4)タイムモード(TMD)
 (5)表示モード(DMF)
 これらの情報が記録される。
 送信装置20は、ステップS105において、DDB,DII,PMT等の情報を格納したパケットを送信する。
 なお、送信装置20は、この他、画像、音声を格納したパケットや、その他の制御情報を格納したパケットも生成して送信する。
 次に、図30に示すフローを参照して受信装置30の実行する処理シーケンスについて説明する。図30に示すフローに従った処理は、受信装置30のデータ処理部において実行される。例えばデータ処理部内のプログラム実行機能を有するCPUの制御の下、記憶部に格納されたプログラムに従って実行される。
 なお、図30に示すフローは、字幕に対する処理を中心として説明するフローである。
 受信装置は、ステップS201において、送信装置20から送信されるパケットを受信する。
 ステップS202において、受信パケットのパケット識別子(PID)に基づいて、データ種類ごと(画像、音声、字幕等)のパケットに分類する。
 受信装置30は、次に、ステップS203において、パケットのペイロードとして格納されたTTML字幕データを格納したDDBメッセージ、DDBメッセージ対応の制御情報を格納したDIIメッセージ、さらにPMTを取得する。
 次に、ステップS204において、DDBメッセージに記録されたTTML字幕データ、DDBメッセージ対応の制御情報を格納したDIIメッセージ、さらにPMTの各記録情報を利用して字幕データの表示制御を実行する。
  [9.送信装置と受信装置の構成例について]
 次に、通信装置である送信装置20と、受信装置30の装置構成例について、図31以下を参照して説明する。
 図31には、送信装置20と、受信装置30の構成例を示している。
 送信装置20は、データ処理部121、通信部122、記憶部123を有する。
 受信装置30は、データ処理部151、通信部152、記憶部153、入力部154、出力部155を有する。
 送信装置20のデータ処理部121は、データ配信サービスを実行するための各種のデータ処理を実行する。例えばデータ配信サービスの構成データの生成や送信制御を行う。
 具体的には、画像、音声データの格納パケットの生成、字幕データを格納したパケット生成、配信処理を実行する。さらに、PSI/SI等のシグナリングデータの生成、配信処理を実行する。
 なお、字幕データ格納パケットには、XML形式のTTML字幕データを格納したDDBメッセージ、およびDDBメッセージに対する制御情報を格納したDIIメッセージを格納したパケットが含まれる。
 通信部122は、データ処理部121の生成した画像、音声、字幕、その他のシグナリングデータ等の制御信号の送信処理を行う。
 記憶部123は配信対象とする画像、音声、字幕等の各データなどが格納される。
 さらに、記憶部123は、データ処理部121の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
 一方、受信装置30は、データ処理部151、通信部152、記憶部153、入力部154、出力部155を有する。
 通信部152は、送信装置20から配信されるデータ、例えば画像、音声、字幕を格納したパケットやシグナリングデータを受信する。
 字幕データにはDDBメッセージ、DIIメッセージが含まれる。
 データ処理部151は、例えば、上述した実施例に従った字幕データの表示制御を実行する。
 具体的にはDDBメッセージ、DIIメッセージ、その他のPMT等の制御信号に従った字幕の表示制御を実行する。
 ユーザの指示コマンド、例えばコンテンツ指定コマンド等は入力部154を介して入力される。
 再生データは表示部やスピーカ等の出力部155に出力される。
 記憶部153は受信した画像、音声、字幕等の各データが格納される。
 さらに、記憶部153は、データ処理部151の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
 図32は、送信装置20のデータ処理部121の詳細構成を示す図である。
 データ処理部121は、画像データ処理部201、音声データ処理部202、字幕データ処理部203、制御信号生成部204、パケット生成部205を有する。
 画像データ処理部201は、受信装置に送信するコンテンツの構成データである画像データに対する処理、例えば符号化処理等の送信用データ生成処理を行ない、TSパケットに格納する画像エレメンタリストリームを生成してパケット生成部205に供給する。
 音声データ処理部202は、受信装置に送信するコンテンツの構成データである音声データに対する処理、例えば符号化処理等の送信用データ生成処理を行ない、TSパケットに格納する音声エレメンタリストリームを生成してパケット生成部205に供給する。
 字幕データ処理部は、受信装置に送信するコンテンツの構成データである字幕データに対する処理を行なう。
 具体的には、TTML字幕データを格納したDDBメッセージ、さらに、DDBメッセージに対応する制御情報や属性情報を格納したDIIメッセージの生成処理を行ない、パケット生成部205に供給する。
 制御信号生成部204は、例えばPMT等を含むPSI/SI制御信号等からなる制御信号を生成してパケット生成部205に出力する。
 パケット生成部205は、画像、音声、字幕、制御信号を格納したパケットを生成して通信部122に供給する。
 なお、パケット生成部205の生成するTSパケットには画像、音声、字幕等のデータ種別に応じたパケット識別子(PID)が設定される。
 通信部122はパケット生成部205から入力するパケットを放送波を介して出力する。
 図33は、受信装置30のデータ処理部151の詳細構成を示す図である。
 受信装置30のデータ処理部151は、パケット分離部301、画像データ処理部302、音声データ処理部303、字幕データ処理部304、制御部305、重畳処理部306を有する。
 パケット分離部301は、通信部152を介して受信するパケットのパケット識別子(PID)に基づいて受信パケットをデータ種別(画像、音声、字幕、制御信号)ごとに分離して、分離した各パケットを各データ処理部に供給する。
 画像データ処理部302は、画像データを格納したパケットから画像データを主値得し、復号処理等、画像の再生処理に必要な処理を実行する。
 音声データ処理部303は、音声データを格納したパケットから音声データを主値得し、復号処理等、音声の再生処理に必要な処理を実行する。
 字幕データ処理部304は、字幕関連データを格納したパケットから、TTML字幕データを含むDDBメッセージ、DDBメッセージ対応の制御情報や属性情報を格納したDIIメッセージを取得し、さらに、制御部305から供給されるPMT、NPT等の制御情報を適用して、字幕の出力タイミングを制御して字幕の出力を行う。
 制御部305は、上述した字幕関連の制御信号の出力の他、画像データ処理部302、音声データ処理部303、字幕データ処理部304、重畳処理部306の各処理部における処理制御を実行する。
 重畳処理部306は、画像データ処理部302から出力される画像データと、字幕データ処理部304から出力される字幕データの重畳処理を実行して、表示部に出力する。
 図34は、送信装置20、受信装置30として適用可能な通信装置のハードウェア構成例を示している。
 CPU(Central Processing Unit)401は、ROM(Read Only Memory)402、または記憶部408に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)403には、CPU401が実行するプログラムやデータなどが記憶される。これらのCPU401、ROM402、およびRAM403は、バス404により相互に接続されている。
 CPU401はバス404を介して入出力インタフェース405に接続され、入出力インタフェース405には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部406、ディスプレイ、スピーカなどよりなる出力部407が接続されている。CPU401は、入力部406から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部407に出力する。
 入出力インタフェース405に接続されている記憶部408は、例えばハードディスク等からなり、CPU401が実行するプログラムや各種のデータを記憶する。通信部409は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース405に接続されているドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア411を駆動し、データの記録あるいは読み取りを実行する。
 なお、データの符号化あるいは復号は、データ処理部としてのCPU401の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。
  [10.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
 MPEG-2TSの規定するTSパケットの格納データとして受信する通信部と、
 前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理部を有する受信装置。
 (2)前記DIIメッセージは、字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含み、
 前記データ処理部は、
 前記DIIメッセージに記録されたモジュール単位の字幕表示制御情報に従って字幕表示制御を行う前記(1)に記載の受信装置。
 (3)前記DIIメッセージは、字幕表示タイミングを規定したタイムモード(TMD)の設定情報を含み、
 前記データ処理部は、DIIメッセージに記録されたタイムモード(TMD)の設定モードに応じた字幕表示タイミングの制御を実行する前記(1)または(2)に記載の受信装置。
 (4) 前記DIIメッセージのタイムモード(TMD)は、TTML記述とEIT(Envent Information Table)を利用したモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とEITの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、EITから得られるコンテンツ開始時間情報を併用して字幕表示タイミングを決定する前記(3)に記載の受信装置。
 (5) 前記DIIメッセージのタイムモード(TMD)は、TTML記述とNPT(Normal Play Time)を利用したモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とNPTの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、NPTから得られるNPT時間情報とSTC(システムタイムクロック)時間情報との対応データを併用して字幕表示タイミングを決定する前記(3)または(4)に記載の受信装置。
 (6) 前記DIIメッセージのタイムモード(TMD)は、TTML記述と絶対時刻を利用したモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述と絶対時刻の利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、絶対時刻を併用して字幕表示タイミングを決定する前記(3)~(5)いずれかに記載の受信装置。
 (7) 前記DIIメッセージのタイムモード(TMD)は、TTML字幕データの表示タイミング制御なしを示すモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML字幕データの表示タイミング制御なしを示すモードである場合、DDBメッセージから取得したTTML字幕データを即時表示する字幕表示タイミング制御を行う前期(3)~(6)いずれかに記載の受信装置。
 (8) 前記DIIメッセージは、字幕表示制御情報を規定した動作モード(OPM)の設定情報を含み、
 前記データ処理部は、DIIメッセージに記録された動作モード(OPM)の設定モードに応じた字幕表示制御を実行する前記(1)~(7)いずれかに記載の受信装置。
 (9)前記DIIメッセージの動作モード(OPM)は、TTML字幕データを受信後、即時表示させるライブモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージの動作モードの設定がライブモードである場合、DDBメッセージから取得したTTML字幕データを、受信後、即時表示する表示制御を実行する前記(8)に記載の受信装置。
 (10)前記DIIメッセージの動作モード(OPM)は、TTML字幕データを、TTML記述に従って表示させるセグメンテーションモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージの動作モードの設定がセグメンテーションモードである場合、DDBメッセージから取得したTTML字幕データを、TTML記述の表示タイミングに従って表示する前記(8)または(9)に記載の受信装置。
 (11) 前記DIIメッセージの動作モード(OPM)は、番組単位のTTML字幕データを利用した字幕表示処理を実行させるプログラムモードを指定可能な構成を有し、
 前記データ処理部は、DIIメッセージの動作モードの設定がプログラムモードである場合、番組単位のTTML字幕データを利用した字幕表示制御を実行する前記(8)~(10)いずれかに記載の受信装置。
 (12)前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMT(Program Map Table)を受信し、
 前記データ処理部は、PMTの記録情報を利用して前記TTML字幕データの表示制御を実行する前記(1)~(11)いずれかに記載の受信装置。
 (13) TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
 生成メッセージを格納したMPEG-2TSの規定するTSパケットを生成するデータ処理部と、
 前記TSパケットを送信する通信部を有する送信装置。
 (14) 前記データ処理部は、
 字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含むDIIメッセージを生成する前記(13)に記載の送信装置。
 (15) 前記データ処理部は、
 EIT(Envent Information Table)、または、
 NPT(Normal Play Time)、または、
 絶対時刻、
 のいずれかの情報を選択的に適用して字幕表示タイミングを決定させるタイムモード(TMD)指定情報を含むDIIメッセージを生成する前記(13)または(14)に記載の送信装置。
 (16) 前記データ処理部は、TTML字幕データの即時表示、またはTTML記述に従った表示を選択的に実行させる動作モード(OPM)指定情報を含むDIIメッセージを生成する前記(13)~(15)いずれかに記載の送信装置。
 (17) 前記データ処理部は、前記TTML字幕データに対応する制御情報を記録したPMT(Program Map Table)を生成し、
 前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMTを送信する前記(13)~(16)いずれかに記載の送信装置。
 (18) 受信装置において実行するデータ処理方法であり、
 通信部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
 MPEG-2TSの規定するTSパケットの格納データとして受信し、
 データ処理部が、前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理方法。
 (19) 送信装置において実行するデータ処理方法であり、
 データ処理部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
 DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
 生成メッセージを格納したMPEG-2TSの規定するTSパケットを生成し、
 通信部が、前記TSパケットを送信するデータ処理方法。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、TTML字幕データの確実な表示制御を実現する装置、方法が実現される。
 具体的には、送信装置から受信装置にTTML字幕データを格納したDDBメッセージと、字幕データの制御情報等を格納したDIIメッセージをMPEG-2TSの規定するTSパケットとして送信する。受信装置は、DDBメッセージ内のTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行する。DIIメッセージは、字幕表示タイミングの制御モードであるタイムモード(TMD)や、字幕の即時表示やTTML記述に従った表示等を選択的に実行させる動作モード(OPM)を規定しており、受信装置はDIIのモード指定に応じた表示制御が可能となる。
 本構成により、TTML字幕データの確実な表示制御を実現する装置、方法が実現される。
  10 通信システム
  20 送信装置
  21 放送局
  30 受信装置
  31 TV
  32 PC
  33 携帯端末
  50 画像データ
  60 音声データ
  70 字幕データ
  71 字幕対応情報
  72~74 字幕チャンネル
  80 シグナリングデータ
 121 データ処理部
 122 通信部
 123 記憶部
 151 データ処理部
 152 通信部
 153 記憶部
 154 入力部
 155 出力部
 201 画像データ処理部
 202 音声データ処理部
 203 字幕データ処理部
 204 制御信号生成部
 205 パケット生成部
 301 パケット分離部
 302 画像データ処理部
 303 音声データ処理部
 304 字幕データ処理部
 305 制御部
 306 重畳処理部
 401 CPU
 402 ROM
 403 RAM
 404 バス
 405 入出力インタフェース
 406 入力部
 407 出力部
 408 記憶部
 409 通信部
 410 ドライブ
 411 リムーバブルメディア

Claims (19)

  1.  TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
     DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
     MPEG-2TSの規定するTSパケットの格納データとして受信する通信部と、
     前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理部を有する受信装置。
  2.  前記DIIメッセージは、字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含み、
     前記データ処理部は、
     前記DIIメッセージに記録されたモジュール単位の字幕表示制御情報に従って字幕表示制御を行う請求項1に記載の受信装置。
  3.  前記DIIメッセージは、字幕表示タイミングを規定したタイムモード(TMD)の設定情報を含み、
     前記データ処理部は、DIIメッセージに記録されたタイムモード(TMD)の設定モードに応じた字幕表示タイミングの制御を実行する請求項1に記載の受信装置。
  4.  前記DIIメッセージのタイムモード(TMD)は、TTML記述とEIT(Envent Information Table)を利用したモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とEITの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、EITから得られるコンテンツ開始時間情報を併用して字幕表示タイミングを決定する請求項3に記載の受信装置。
  5.  前記DIIメッセージのタイムモード(TMD)は、TTML記述とNPT(Normal Play Time)を利用したモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述とNPTの利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、NPTから得られるNPT時間情報とSTC(システムタイムクロック)時間情報との対応データを併用して字幕表示タイミングを決定する請求項3に記載の受信装置。
  6.  前記DIIメッセージのタイムモード(TMD)は、TTML記述と絶対時刻を利用したモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML記述と絶対時刻の利用を指定するモードである場合、DDBメッセージから取得したTTML字幕データに記述された表示タイミング制御情報と、絶対時刻を併用して字幕表示タイミングを決定する請求項3に記載の受信装置。
  7.  前記DIIメッセージのタイムモード(TMD)は、TTML字幕データの表示タイミング制御なしを示すモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージのタイムモードの設定が、TTML字幕データの表示タイミング制御なしを示すモードである場合、DDBメッセージから取得したTTML字幕データを即時表示する字幕表示タイミング制御を行う請求項3に記載の受信装置。
  8.  前記DIIメッセージは、字幕表示制御情報を規定した動作モード(OPM)の設定情報を含み、
     前記データ処理部は、DIIメッセージに記録された動作モード(OPM)の設定モードに応じた字幕表示制御を実行する請求項1に記載の受信装置。
  9.  前記DIIメッセージの動作モード(OPM)は、TTML字幕データを受信後、即時表示させるライブモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージの動作モードの設定がライブモードである場合、DDBメッセージから取得したTTML字幕データを、受信後、即時表示する表示制御を実行する請求項8に記載の受信装置。
  10.  前記DIIメッセージの動作モード(OPM)は、TTML字幕データを、TTML記述に従って表示させるセグメンテーションモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージの動作モードの設定がセグメンテーションモードである場合、DDBメッセージから取得したTTML字幕データを、TTML記述の表示タイミングに従って表示する請求項8に記載の受信装置。
  11.  前記DIIメッセージの動作モード(OPM)は、番組単位のTTML字幕データを利用した字幕表示処理を実行させるプログラムモードを指定可能な構成を有し、
     前記データ処理部は、DIIメッセージの動作モードの設定がプログラムモードである場合、番組単位のTTML字幕データを利用した字幕表示制御を実行する請求項8に記載の受信装置。
  12.  前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMT(Program Map Table)を受信し、
     前記データ処理部は、PMTの記録情報を利用して前記TTML字幕データの表示制御を実行する請求項1に記載の受信装置。
  13.  TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
     DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
     生成メッセージを格納したMPEG-2TSの規定するTSパケットを生成するデータ処理部と、
     前記TSパケットを送信する通信部を有する送信装置。
  14.  前記データ処理部は、
     字幕種類単位で設定されるモジュール単位の字幕表示制御情報を含むDIIメッセージを生成する請求項13に記載の送信装置。
  15.  前記データ処理部は、
     EIT(Envent Information Table)、または、
     NPT(Normal Play Time)、または、
     絶対時刻、
     のいずれかの情報を選択的に適用して字幕表示タイミングを決定させるタイムモード(TMD)指定情報を含むDIIメッセージを生成する請求項13に記載の送信装置。
  16.  前記データ処理部は、TTML字幕データの即時表示、またはTTML記述に従った表示を選択的に実行させる動作モード(OPM)指定情報を含むDIIメッセージを生成する請求項13に記載の送信装置。
  17.  前記データ処理部は、前記TTML字幕データに対応する制御情報を記録したPMT(Program Map Table)を生成し、
     前記通信部は、前記TTML字幕データに対応する制御情報を記録したPMTを送信する請求項13に記載の送信装置。
  18.  受信装置において実行するデータ処理方法であり、
     通信部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
     DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを、
     MPEG-2TSの規定するTSパケットの格納データとして受信し、
     データ処理部が、前記DDBメッセージに格納されたTTML字幕データと、DIIメッセージを適用した字幕表示制御を実行するデータ処理方法。
  19.  送信装置において実行するデータ処理方法であり、
     データ処理部が、TTML(Timed Text Markup Language)字幕データを格納したDDB(ダウンロード・データ・ブロック)メッセージと、
     DDBメッセージに格納されたTTML字幕データに対応する字幕対応情報を格納したDII(ダウンロード・インフォ・インディケーション)メッセージを生成し、
     生成メッセージを格納したMPEG-2TSの規定するTSパケットを生成し、
     通信部が、前記TSパケットを送信するデータ処理方法。
PCT/JP2015/061803 2014-05-12 2015-04-17 受信装置、および送信装置、並びにデータ処理方法 WO2015174207A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015545222A JP5874870B1 (ja) 2014-05-12 2015-04-17 受信装置、および送信装置、並びにデータ処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014098663 2014-05-12
JP2014-098663 2014-05-12

Publications (1)

Publication Number Publication Date
WO2015174207A1 true WO2015174207A1 (ja) 2015-11-19

Family

ID=54479751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061803 WO2015174207A1 (ja) 2014-05-12 2015-04-17 受信装置、および送信装置、並びにデータ処理方法

Country Status (2)

Country Link
JP (1) JP5874870B1 (ja)
WO (1) WO2015174207A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154607A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020137091A (ja) * 2019-02-26 2020-08-31 日本電気株式会社 信号処理モジュール、信号符号化装置、信号処理方法、および信号処理用プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111513A1 (ja) * 2011-02-15 2012-08-23 ソニー株式会社 表示制御方法、記録媒体、表示制御装置
US20120320267A1 (en) * 2011-06-15 2012-12-20 Echostar Technologies L.L.C. Systems and methods for processing timed text in video programming

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015159366A (ja) * 2014-02-21 2015-09-03 日本放送協会 受信機
JP6384119B2 (ja) * 2014-05-15 2018-09-05 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111513A1 (ja) * 2011-02-15 2012-08-23 ソニー株式会社 表示制御方法、記録媒体、表示制御装置
US20120320267A1 (en) * 2011-06-15 2012-12-20 Echostar Technologies L.L.C. Systems and methods for processing timed text in video programming

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BABA ET AL.: "A Study of Schemes for Multimedia Services on Super Hi-Vision Satellite Broadcasting System", ITE TECHNICAL REPORT, vol. 38, no. 35, 5 September 2014 (2014-09-05), pages 21 - 24, XP055236536 *
DIGITAL HOSO NI OKERU MMT NI YORU MEDIA TRANSPORT HOSHIKI ARIB STD-B60, 31 July 2014 (2014-07-31), pages 115 - 121 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154607A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2017154607A1 (ja) * 2016-03-10 2019-01-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020137091A (ja) * 2019-02-26 2020-08-31 日本電気株式会社 信号処理モジュール、信号符号化装置、信号処理方法、および信号処理用プログラム

Also Published As

Publication number Publication date
JP5874870B1 (ja) 2016-03-02
JPWO2015174207A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
KR101898304B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법, 프로그램 및 방송 시스템
KR102256350B1 (ko) 수신 장치, 및 송신 장치, 및 데이터 처리 방법
KR100782835B1 (ko) 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
US20140237536A1 (en) Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents
JP7031589B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN103491430B (zh) 流媒体数据处理方法和电子设备
JP5713140B1 (ja) 受信装置、およびデータ処理方法
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
JP5874870B1 (ja) 受信装置、および送信装置、並びにデータ処理方法
JP5316542B2 (ja) デジタル放送方法およびデータ受信装置
JP7552749B2 (ja) 送信装置、受信装置および受信方法
JP5316543B2 (ja) データ伝送装置およびデータ受信装置
JP5713142B1 (ja) 受信装置、およびデータ処理方法
JP5713141B1 (ja) 受信装置、およびデータ処理方法
JP5870718B2 (ja) 受信装置、受信方法およびプログラム
JP2000013759A (ja) 情報送信装置および方法、情報受信装置および方法、並びに提供媒体
JP2016165123A (ja) 信号処理装置及びプログラム
JP2016116032A (ja) 受信装置、放送システム、受信方法及びプログラム
KR100513795B1 (ko) 시스템 타임 클럭을 이용한 동기화 이벤트 서비스를제공하는 디지털 데이터 방송 송/수신 장치 및 그 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015545222

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15792387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15792387

Country of ref document: EP

Kind code of ref document: A1