WO2017159482A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2017159482A1
WO2017159482A1 PCT/JP2017/009182 JP2017009182W WO2017159482A1 WO 2017159482 A1 WO2017159482 A1 WO 2017159482A1 JP 2017009182 W JP2017009182 W JP 2017009182W WO 2017159482 A1 WO2017159482 A1 WO 2017159482A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
information
font
display position
stream
Prior art date
Application number
PCT/JP2017/009182
Other languages
English (en)
French (fr)
Inventor
塚越 郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/077,616 priority Critical patent/US10979664B2/en
Priority to EP17766483.6A priority patent/EP3432585B1/en
Priority to ES17766483T priority patent/ES2859660T3/es
Priority to CN201780015897.7A priority patent/CN108886627B/zh
Priority to EP20175539.4A priority patent/EP3734978A1/en
Priority to JP2018505848A priority patent/JP7063261B2/ja
Publication of WO2017159482A1 publication Critical patent/WO2017159482A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • H04N21/23617Multiplexing of additional data and video streams by inserting additional data into a data carousel, e.g. inserting software modules into a DVB carousel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and particularly to a transmission device that transmits subtitle text information together with video data.
  • subtitle information is transmitted as bitmap data.
  • character code of text that is, on a text basis.
  • TTML Timed Text Markup Language
  • W3C World Wide Web Consortium
  • the subtitle display position is specified by, for example, a relative position with respect to the video area in the subtitle display position information included in the subtitle text information.
  • the aspect ratio of the video area and the aspect ratio of the display area do not match, a part of the subtitle may not be displayed in the display area depending on the display method.
  • font designation information is included in subtitle text information for transmission.
  • the video area (display video) displayed on the monitor (display) instead of the relative position to the video area on the receiving side. It is conceivable to perform processing as a relative position to (region). In that case, if the aspect ratio of the video area and the aspect ratio of the display video area are different, for example, the subtitle display position is compressed only in the horizontal direction, and there is a possibility that the subtitle display gives a viewer a sense of incongruity.
  • subtitle text information is included in font specification information and transmitted, if the specified font file is not installed on the receiving side, subtitles can be displayed in the specified font. Therefore, there is a possibility that the caption display is not as intended by the creator.
  • the purpose of this technology is to enable the subtitle display on the receiving side to be performed satisfactorily.
  • the transmission apparatus includes an information insertion unit that inserts auxiliary information used when displaying the caption using the caption position information in the container of the subtitle stream.
  • a container having a predetermined format including a video stream having video data and a subtitle stream having subtitle text information is transmitted by the transmission unit.
  • the subtitle text information includes subtitle display position information that specifies the subtitle display position as a relative position to the subtitle display range.
  • the information insertion unit inserts auxiliary information used when displaying the subtitle using the subtitle position information in the container of the subtitle stream.
  • the auxiliary information may be inserted into the PES packet and / or the program map table.
  • the auxiliary information includes information related to the subtitle display position resizing process performed on the receiving side when the aspect ratio of the video area and the aspect ratio of the display video area are different. May be.
  • the information related to the resizing process may be information indicating a line position that should be a fixed position when the vertical size is compressed by the resizing process of the caption display position.
  • the auxiliary information may include information for determining the caption display range.
  • the information for determining the caption display range may be reference point information and aspect ratio information of the caption display range.
  • auxiliary information used when displaying subtitles using subtitle position information is inserted into the container of the subtitle stream. Therefore, on the receiving side, by using this auxiliary information together with the caption position information, it is possible to appropriately acquire the caption display position and perform the caption display well.
  • a receiving unit for receiving a container in a predetermined format including a video stream having video data and a subtitle stream having subtitle text information having subtitle display position information specifying a subtitle display position relative to a subtitle display range;
  • a process of decoding the video stream to obtain video data, a process of decoding the subtitle stream to obtain subtitle bitmap data, and the subtitle display position information and the subtitle inserted in the subtitle stream container Processing for performing display position control on bitmap data of the subtitle based on subtitle display position acquired using auxiliary information used when displaying subtitles using position information; and
  • the receiving apparatus includes a control unit that controls a process of superimposing the subtitle bitmap data performed on the video data.
  • a container having a predetermined format including a video stream having video data and a subtitle stream having subtitle text information is received by the receiving unit.
  • the subtitle text information includes subtitle display position information that specifies the subtitle display position as a relative position to the subtitle display range.
  • Auxiliary information used when displaying subtitles using subtitle position information is inserted into the container of the subtitle stream.
  • the control unit decodes the video stream to obtain video data, decodes the subtitle stream to obtain subtitle bitmap data, and the subtitle display position acquired using the subtitle display position information and the auxiliary information
  • the subtitle bitmap data is controlled based on the display position control, and the subtitle bitmap data subjected to the display position control is superimposed on the video data.
  • the auxiliary information includes information related to the resize processing of the subtitle display position determined based on the subtitle display position information, which is performed on the receiving side when the aspect ratio of the video area and the aspect ratio of the display video area are different.
  • the subtitle display position is determined based on the subtitle display position information with the display video area as the subtitle display range, and the determined subtitle
  • the display position may be resized using information related to the resizing process, and the display position control may be performed on the bitmap data of the caption based on the caption display position subjected to the resizing process.
  • the auxiliary information includes information for determining the caption display range, and in the process of performing the display position control, the caption display range is determined when the aspect ratio of the video area and the aspect ratio of the display video area are different.
  • the subtitle display range is set in the display video area based on the information for determining the subtitle display position based on the subtitle display position information, and the subtitle bitmap data is displayed based on the determined subtitle display position. The position may be controlled.
  • auxiliary information used when subtitles are displayed using subtitle position information is inserted into the container of the subtitle stream, and subtitles acquired using the subtitle display position information and auxiliary information are inserted. Based on the display position, display position control is performed on the bitmap data of the caption. Therefore, it is possible to display subtitles satisfactorily.
  • the transmission apparatus includes an information insertion unit that inserts download information for downloading at least a font file designated by the font designation information into the container of the subtitle stream.
  • a container having a predetermined format including a video stream having video data and a subtitle stream having subtitle text information is transmitted by the transmission unit.
  • the text information of subtitles has font designation information.
  • the download information for downloading at least the font file specified by the font specification information is inserted into the container of the subtitle stream by the information insertion unit.
  • the auxiliary information may be inserted into the PES packet and / or the program map table.
  • the download information may be information for acquiring a font file from a broadcast signal, or information for acquiring a font file from a server on a network.
  • At least download information for downloading a font file designated by the font designation information is inserted into the container of the subtitle stream. Therefore, if the receiving side does not have the font file specified in the font specification information, it can obtain the font file specified in the font specification information based on the download information, and display the subtitles. Can be performed satisfactorily.
  • a receiving device including a control unit that controls processing to be superimposed on the signal.
  • a container having a predetermined format including a video stream having video data and a subtitle stream having subtitle text information is received by the receiving unit.
  • the text information of subtitles has font designation information. Download information for downloading at least a font file designated by the font designation information is inserted in the container of the subtitle stream.
  • the control unit decodes the video stream to obtain video data, obtains the font file of the font specified by the font designation information based on the download information, and decodes the subtitle stream to obtain the font file. Based on this, processing for obtaining caption bitmap data and processing for superimposing caption bitmap data on video data are controlled.
  • download information for downloading at least a font file designated by the font designation information is inserted into the container of the subtitle stream, and the font designation information is designated based on the download information.
  • a font file of the selected font is acquired and used when obtaining bitmap data of subtitles. Therefore, even when the font file specified by the font specification information is not provided, the subtitle display can be performed satisfactorily.
  • the transmission apparatus includes a transmission unit that transmits the transport stream in which the section table is inserted.
  • a predetermined number of section tables each having a different font file are sequentially and repeatedly inserted into the transport stream by the section table insertion unit.
  • the transmission unit transmits the transport stream in which the section table is inserted.
  • the predetermined number of section tables are repeatedly transmitted in the data carousel.
  • a predetermined number of section tables each having a different font file are sequentially inserted into the transport stream. Therefore, on the receiving side, it is possible to easily obtain a font file of a font specified by, for example, font specifying information included in text information of subtitles from the transport stream.
  • the display video area is set as the subtitle display range, and the subtitle display position is determined based on the subtitle display position information (first method)
  • the subtitle display position is determined based on the subtitle display position information (first method)
  • the display video area is set as the subtitle display range
  • the subtitle display position is determined based on the subtitle display position information
  • the resize processing is performed. It is a figure which shows the example of a subtitle display in a case (1st method) (two subtitle display positions).
  • the subtitle display range is set in the display video area, and the subtitle display position is determined based on the subtitle display position information (second method) )
  • the subtitle display range is set in the display video area, and the subtitle display position is determined based on the subtitle display position information (second method) )
  • summary of the case (Case1) which acquires the file of the font specified by the font specification information of TTML from the transport stream TS (broadcast signal), and the case (Case2) which acquires the file from the server on a network. is there. It is a figure which shows typically that one section table with a font table (Font table) is repeatedly transmitted with a data carousel other than N section tables with a font file (Font file). It is a figure which shows the structural example of a font downloading section table. It is a figure which shows the content of the main information in the structural example of a font downloading section table.
  • FIG. 10 is a diagram schematically showing font table information described in a font downloading section table when “data_downloading_id” is “0x00”. It is a figure which shows the correspondence of the value of "font_group_id", and a font group. It is a figure which shows the structural example of a font table descriptor.
  • FIG. 10 is a diagram schematically showing font table information described in a font downloading section table when “data_downloading_id” is other than “0x00”. It is a figure which shows the structural example of a font file descriptor. It is a figure which shows the structural example of transport stream TS. It is a block diagram which shows the structural example of a television receiver.
  • FIG. 10 is a diagram for explaining an example of an aspect ratio of a video area and an aspect ratio of a monitor (display) and an example of determining whether or not the mode is a mode for displaying the entire video area. It is a figure with which it uses for the description of determination of a caption display position in the mode which displays the whole video area, and when there is no designation
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a broadcast transmission system 100 and a television receiver 200.
  • the broadcast transmission system 100 transmits a transport stream of MPEG-2 TS (hereinafter simply referred to as “transport stream TS”) as a container (multiplexed stream) on a broadcast wave.
  • transport stream TS MPEG-2 TS
  • the transport stream TS includes a video stream having video data and a subtitle stream having subtitle text information.
  • subtitle text information for example, TTML or a TTML derived format can be considered.
  • TTML is assumed.
  • This TTML has subtitle display position information, and this subtitle display position information specifies a subtitle display position (region) by a relative position (proportional value) with respect to the subtitle display range.
  • the TTML has font designation information.
  • the broadcast transmission system 100 inserts auxiliary information used when displaying the caption using the caption display position information in the container of the TTML and / or the subtitle stream.
  • the broadcast transmission system 100 inserts this auxiliary information into a PES (Packetized Elementary Stream) packet and a PMT (Program Map Table) in addition to being included in the TTML.
  • PES Packetized Elementary Stream
  • PMT Program Map Table
  • This auxiliary information includes information related to the subtitle display position resizing process determined based on the subtitle display position information performed on the receiving side when the aspect ratio of the video area and the aspect ratio of the display video area are different.
  • the information related to the resizing process is information indicating a line position that should be a fixed position when the vertical size is compressed by the resizing process of the caption display position, for example.
  • this auxiliary information includes information for determining the caption display range.
  • the information for determining the caption display range is reference point information and aspect ratio information of the caption display range.
  • the broadcast transmission system 100 inserts download information for downloading at least a font file designated by the font designation information into the container of the subtitle stream.
  • This download information includes information for acquiring a font file from a broadcast signal (transport stream TS), information for acquiring a font file from a server on the network, and the like.
  • the broadcast transmission system 100 inserts this download information into a PES (Packetized Elementary Stream) packet and a PMT (Program Map Table).
  • PES Packetized Elementary Stream
  • PMT Program Map Table
  • the broadcast transmission system 100 sequentially and repeatedly inserts a predetermined number of section tables including different font files into the transport stream TS as a broadcast signal. That is, the broadcast transmission system 100 repeatedly transmits a predetermined number of section tables in the data carousel.
  • the transport stream TS into which the section table including the font file is inserted is not necessarily the same as the transport stream TS including the subtitle stream described above, and may be a transport stream TS of another service.
  • the television receiver 200 receives the transport stream TS sent from the broadcast transmission system 100.
  • the television receiver 200 performs decoding processing on a video stream having video data to obtain video data, and also performs decoding processing on a subtitle stream having TTML as subtitle text information to obtain subtitle bitmap data.
  • the television receiver 200 uses a font file designated by font designation information included in the TTML when obtaining bitmap data of subtitles. As described above, at least download information for downloading a font file designated by the font designation information is inserted into a PES packet and a PMT (Program Map Map). When the television receiver 200 does not have a font file designated by the font designation information, the television receiver 200 downloads and uses the font file based on the download information.
  • the caption display position information included in TTML is specified as a relative position with respect to the caption display range. Further, as described above, auxiliary information used when displaying captions using caption display position information is included in the TTML, and is inserted in the PES packet and the PMT.
  • the television receiver 200 acquires the caption display position using the caption display position information and the auxiliary information, and performs display position control on the bitmap data of the caption based on the acquired caption display position.
  • the television receiver 200 superimposes subtitle bitmap data on which display position control has been performed on the video data to obtain video data for display.
  • the television receiver 200 When the aspect ratio of the video area is different from the aspect ratio of the display video area (video area displayed on the monitor) as the display position control for the caption bitmap data, the television receiver 200 performs the following first method or first method. Method 2 is selectively executed.
  • the television receiver 200 determines the caption display position based on the caption display position information with the display video area as the caption display range. Then, a resize process is performed on the determined caption display position to obtain a final caption display position.
  • the television receiver 200 controls the display position of the bitmap data of the caption based on the caption display position acquired in this way.
  • the resizing process is a process for restoring the original shape as the caption display position. For example, when the determined caption display position is compressed only in the horizontal direction, it is compressed in the vertical direction at the same rate. For example, when compressing the size in the vertical direction by resizing, the compression is performed with a predetermined line position such as the top line (upper line), bottom line (lower line), or middle line (middle line) fixed. To do.
  • the television receiver 200 can use the information indicating the line position that should be the fixed position as information related to the resizing process in the TTML, the PES packet, the PMT, or the like.
  • the television receiver 200 sets a subtitle display range in the display video area and sets the subtitle display position based on the subtitle display position information. Decide and obtain the final caption display position.
  • the television receiver 200 controls the display position of the bitmap data of the caption based on the caption display position acquired in this way.
  • the television receiver 200 can appropriately set the caption display range using the information. For example, the television receiver 200 selects the second method when the information for determining the caption display range is included in TTML, PES packet, PMT, etc., and the first method when the information is not included. Select a method.
  • FIG. 2 shows an example of the subtitle display position (region) determined by the subtitle display position information.
  • “RP” indicates the reference point (Reference Pont) which is the top-left of the caption display range.
  • FIG. 2A shows an example in which the video area has the same aspect ratio as the display video area.
  • the aspect ratio of the video area is 16: 9
  • the aspect ratio of the monitor is 16: 9
  • the aspect ratio of the display video area is 16: 9.
  • the display video area is set as the caption display range
  • the caption display position is determined based on the caption display position information specified by the relative position to the display video area.
  • FIG. 2B shows a case where the aspect ratio of the video area is different from the aspect ratio of the display video area.
  • the display video area is set as the subtitle display range, and the subtitle display position is determined based on the subtitle display position information.
  • This is an example of a case (first method).
  • the aspect ratio of the video area is 16: 9, the aspect ratio of the monitor is 4: 3, and the display method is center-cut.
  • the ratio is 4: 3.
  • the subtitle display position has the same width in the vertical direction as compared with the case of FIG. 2A, but the width is compressed in the horizontal direction.
  • the shape of the caption display position is different from that in the case of FIG.
  • FIG. 2C shows a case where the aspect ratio of the video area is different from the aspect ratio of the display video area.
  • a subtitle display range is set in the display video area, and the subtitle display position is determined based on the subtitle display position information.
  • the aspect ratio of the video area is 16: 9
  • the aspect ratio of the monitor is 4: 3
  • the display method is center-cut.
  • the ratio is 4: 3.
  • the caption display position has a compressed width in both the vertical direction and the horizontal direction as compared with the case of FIG.
  • the aspect ratio of the set caption display range is 16: 9
  • the shape of the caption display position is the same as in the case of FIG.
  • FIG. 3 shows an example of a TTML structure.
  • TTML is described based on XML.
  • the language (language) and name space (name space) are defined in the tt root container.
  • a namespace is defined as a unique element name that can be uniquely identified in all elements in the system or standard system.
  • tts: extent first declares the target area of 100% of the video that is the target of the position information of subtitles
  • “Fullvideo” is for 4K video Indicates the entire video with a resolution of 3840 (H) ⁇ 2160 (V), and when the target is 2K (full HD) video, indicates the entire video with a resolution of 1920 (H) ⁇ 1080 (V).
  • “Dto: dispasp “ 16: 9 ”” indicates the aspect ratio information of the subtitle display range, and indicates that the subtitle display range is an area having an aspect ratio of 16: 9. In the example shown in the figure, the aspect ratio of the subtitle display range is 16: 9, but the aspect ratio of the subtitle display range is specified as 4: 3, 21: 9, as shown in FIG. It is also possible to do.
  • “Dto: RPoffset “ Ax%, By% ”” indicates the reference point information of the subtitle display range, and as shown in FIG. 4, the subtitle display range when the horizontal and vertical directions of the display video area are each 100%. The position of the reference point (RP: Reference Point) is indicated by the ratio of the offset from the top-left of the display video area.
  • the head has a layout element.
  • the XML ID is indicated by “p1”
  • the region ID is indicated by “r1”
  • the font is designated
  • the text data of the subtitle (subtitle) is described.
  • the text data is “ABCDE”.
  • “Font-family:“ Arial ”,“ Tahoma ”,“ sans-serif ” is font designation information that designates the font of the p element.
  • “Arial” and “Tahoma” indicate individual font names, and “sans-serif” indicates a generic family (generic name) of fonts.
  • the line position to be fixed is shown as the top line (upper line).
  • the bottom line (lower line) and the middle line (intermediate line) are shown.
  • Etc. can also be specified.
  • FIG. 5 also shows an example of the TTML structure.
  • the head has a layout element.
  • the XML ID is indicated by “p1”
  • the region ID is indicated by “r1”
  • the font is designated
  • the text of the caption (subtitle) is displayed.
  • the text data is “ABCDE”.
  • “Font-family:“ Arial ”,“ Tahoma ”,“ sans-serif ” is font designation information that designates the font of the p element.
  • “Arial” and “Tahoma” indicate individual font names, and “sans-serif” indicates a generic family (generic name) of fonts.
  • the line position that should be the fixed position is the bottom line (lower line).
  • the XML ID is indicated by “p2”
  • the region ID is indicated by “r2”
  • the text data of the subtitle (subtitle) is described in relation to the second subtitle position.
  • the text data is “FGH”.
  • “Font-family “ monospaceSerif “” is font designation information that designates the font of the p element.
  • “monospaceSerif” indicates a generic family (generic name) of the font.
  • FIG. 6 shows a display example of subtitles (subtitles) when the aspect ratio of the video area and the aspect ratio of the display video area (video area displayed on the monitor) are the same.
  • the video area has an aspect ratio of 16: 9 and the monitor has an aspect ratio of 16: 9, and has a TTML structure (one caption display position) as shown in FIG. It is an example.
  • the video area is indicated by a broken line frame
  • the monitor area is indicated by a solid line frame.
  • the display video area is set as the caption display range
  • “RP” indicates the reference point (Reference Pont) which is the top-left of the caption display range.
  • the subtitle “ABCDE” based on text data is displayed at the subtitle display position determined in this way.
  • the frames indicating the video area, the monitor area, and the caption display range are displayed in a shifted manner, but this is a measure for clearly displaying each frame. ing. Although the description is omitted, the same display is performed in each of the following drawings.
  • FIG. 7 also shows a display example of subtitles (subtitles) when the aspect ratio of the video area and the aspect ratio of the display video area (video area displayed on the monitor) are the same.
  • the video area has an aspect ratio of 16: 9 and the monitor has an aspect ratio of 16: 9, and has a TTML structure (two subtitle display positions) as shown in FIG. It is an example.
  • the video area is indicated by a broken line frame
  • the monitor area is indicated by a solid line frame.
  • the display video area is the subtitle display range
  • the subtitle “ABCDE” based on text data is displayed at the first subtitle display position (first region), and the subtitle “FGH” based on text data is displayed at the second subtitle display position (second region). Yes.
  • the interval between the two caption display positions (regions) is, for example, 10 lines.
  • FIG. 8 shows a case where the aspect ratio of the video area is different from the aspect ratio of the display video area (video area displayed on the monitor), where the display video area is the subtitle display range, and the subtitle is displayed based on the subtitle display position information
  • the example of a subtitle (subtitle) display in the case where the display position is determined (first method) is shown.
  • the aspect ratio of the video area is 16: 9 and the aspect ratio of the monitor is 4: 3, and the TTML structure (with one caption display position) as shown in FIG. 3 is used. It is an example.
  • the video area is indicated by a broken line frame
  • the monitor area is indicated by a solid line frame.
  • the subtitle “ABCDE” based on the text data is displayed at the subtitle display position.
  • the caption display position has the same width in the vertical direction as compared with the case of FIG. 6, but the width is compressed in the horizontal direction.
  • the font size of the caption is adjusted to a smaller size as the width of the caption display position is compressed.
  • FIG. 9 shows a display example when the resizing process is performed.
  • the display position is compressed in the vertical direction at the same rate.
  • the compression in the vertical width is performed in a state where a predetermined line position is fixed.
  • the broken line frame indicates the caption display position before the compression of the width in the vertical direction.
  • FIG. 10 also shows a case where the aspect ratio of the video area is different from the aspect ratio of the display video area (video area displayed on the monitor).
  • the example of a subtitle (subtitle) display in the case where the display position is determined (first method) is shown.
  • the video area has an aspect ratio of 16: 9 and the monitor has an aspect ratio of 4: 3, and has a TTML structure (two subtitle display positions) as shown in FIG.
  • the display example when resizing processing is performed is shown.
  • the video area is indicated by a broken line frame
  • the monitor area is indicated by a solid line frame.
  • the display video area is the subtitle display range
  • the subtitle “ABCDE” based on text data is displayed at the first subtitle display position (first region), and the subtitle “FGH” based on text data is displayed at the second subtitle display position (second region). Yes.
  • the font size of the subtitle is adjusted to match it.
  • the predetermined line position is the bottom line (lower line). This is an example.
  • the predetermined line position is the top line (upper line) It is.
  • FIG. 11 shows a case where the aspect ratio of the video area is different from the aspect ratio of the display video area (video area displayed on the monitor), and a subtitle display range is set in the display video area, based on the subtitle display position information.
  • a display example of subtitles (subtitles) when the subtitle display position is determined (second method) is shown.
  • the aspect ratio of the video area is 16: 9 and the aspect ratio of the monitor is 4: 3, and the TTML structure (with one caption display position) as shown in FIG. 3 is used.
  • a display example is shown.
  • the video area is indicated by a broken line frame
  • the monitor area is indicated by a solid line frame.
  • the subtitle “ABCDE” based on the text data is displayed at the subtitle display position. In this case, according to the compression of the subtitle display position (region), the font size of the subtitle is adjusted to match it.
  • a caption display range having the same aspect ratio as that of the video area is set in the display video area.
  • a subtitle display range having an aspect ratio of 16: 9 is set in the display video area.
  • the subtitle display position is the width compressed in both the vertical direction and the horizontal direction
  • the shape of the subtitle display position is the same as that in FIG. 6, and the subtitle display position accompanying the adjustment of the font size of the subtitles. No adjustment (resizing process) is required.
  • FIG. 12 also shows a case where the aspect ratio of the video area is different from the aspect ratio of the display video area (video area displayed on the monitor), and a subtitle display range is set in the display video area, based on the subtitle display position information.
  • a display example of subtitles (subtitles) when the subtitle display position is determined (second method) is shown.
  • the video area has an aspect ratio of 16: 9 and the monitor has an aspect ratio of 4: 3, and has a TTML structure (two subtitle display positions) as shown in FIG.
  • a display example is shown.
  • the video area is indicated by a broken line frame
  • the monitor area is indicated by a solid line frame.
  • the display video area is the subtitle display range
  • the first and second subtitle display positions (regions) are determined.
  • the subtitle “ABCDE” based on text data is displayed at the first subtitle display position (first region)
  • the subtitle “FGH” based on text data is displayed at the second subtitle display position (second region). Yes.
  • FIG. 13 illustrates a configuration example of the stream generation unit 110 of the broadcast transmission system 100.
  • the stream generation unit 110 includes a control unit 111, a video encoder 112, an audio encoder 113, a text format conversion unit 114, a subtitle encoder 115, and a TS formatter (multiplexer) 116.
  • the control unit 111 is configured to include, for example, a CPU (Central Processing Unit), and controls the operation of each unit of the stream generation unit 110.
  • the video encoder 112 receives the video data DV, encodes the video data DV, and generates a video stream (PES stream) composed of video PES packets having encoded video data in the payload.
  • the audio encoder 113 receives the audio data DA, encodes the audio data DA, and generates an audio stream (PES stream) composed of audio PES packets having encoded audio data.
  • the text format conversion unit 114 inputs text data (character code) DT and obtains TTML (Timed Text Markup Language) as subtitle information (see FIGS. 3 and 5).
  • This TTML includes caption display position information.
  • the caption display position (region) is specified by a relative position (proportional value) to the caption display range.
  • the TTML includes font designation information.
  • the TTML information on the resize processing of the subtitle display position performed on the receiving side when the aspect ratio of the video area and the aspect ratio of the display video area are different, for example, the vertical size in the resize process of the subtitle display position.
  • Information indicating a line position to be a fixed position in the case of compression is included.
  • the TTML also includes information for determining the caption display range (subtitle display range reference point information and aspect ratio information).
  • the subtitle encoder 115 converts the TTML obtained by the text format conversion unit 114 into various segments, and generates a subtitle stream (PES stream) composed of subtitle PES packets in which the segments are arranged in the payload.
  • PES stream a subtitle stream
  • the subtitle encoder 115 inserts into the PES packet information related to resizing processing similar to that included in the TTML and information for determining the caption display range. Specifically, a newly defined TTML display segment (TTML_display_segment) having such information is generated, and this segment is inserted into the PES packet.
  • TTML_display_segment a newly defined TTML display segment having such information is generated, and this segment is inserted into the PES packet.
  • the subtitle encoder 115 inserts in the PES packet download information for downloading at least a font file designated by the TTML font designation information. Specifically, a newly defined font download segment (Font_download_segment) having information for downloading from a broadcast signal (transport stream TS) and a newly defined URL having information for downloading from a server on the network Generate signaling segments (URL_signaling_segment) and insert those segments into the PES packet.
  • Font_download_segment a newly defined font download segment having information for downloading from a broadcast signal (transport stream TS)
  • URL_signaling_segment Generate signaling segments
  • FIG. 14A shows a structure example (Syntax) of the subtitle PES packet (PES_packet).
  • PES_startcode_prefix a fixed pattern “0x000001” is arranged.
  • An 8-bit field of “stream_id” indicates a stream identifier.
  • the 16-bit field of “PES_packet_length” indicates the number of subsequent bytes as the length (size) of the PES packet.
  • PES_packet_length there is a field of “Optional_PES_header ()”. In this field, time stamps of PTS, DTS, and the like are arranged. After this field, there is a field “PES_packet_data_byte”. This field corresponds to the PES payload. In this field, “PES_data_byte_field ()” for containerizing data is arranged.
  • FIG. 14B shows a structural example (Syntax) of “PES_data_byte_field ()”.
  • the 8-bit field of “data_identifier” indicates an identifier for identifying the type of data in the container portion. Since the conventional subtitle (in the case of a bitmap) is supposed to be indicated by “0x20”, the text can be identified by a new value, for example, “0x21”.
  • the 8-bit field of “subtitle_stream_id” indicates an identifier for identifying the type of the subtitle stream.
  • a new value for example, “0x01”, can be distinguished from the conventional subtitle stream “0x00” that transmits a bitmap.
  • FIG. 15 shows an example of the definition of the segment type (segment_type).
  • “0xA0” indicates a segment for transmitting the entire TTML document.
  • “0xA1” indicates that the segment transmits the ⁇ tt> portion.
  • “0xA2” indicates a segment for transmitting a ⁇ head> portion.
  • “0xA3” indicates a segment packet that transmits a ⁇ body> portion.
  • “0xA4” indicates a TTML display segment.
  • “0xA5” indicates a font download segment.
  • “0xA6” indicates a URL signaling segment.
  • FIG. 16 shows a structural example (Syntax) of a TTML display segment (TTML_display_segment).
  • FIG. 17 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “sync_byte” is a unique word indicating the start of a segment.
  • An 8-bit field of “segment_type” indicates the type of segment. In the case of this TTML display segment, “segment_type” is set to “0xA4” (see FIG. 15), indicating that it is a TTML display segment.
  • the 16-bit field of “segment_length” indicates the number of subsequent bytes as the length (size) of the TTML display segment.
  • the 4-bit field of “tds_version_number” indicates the update of the TTML display segment. If there is a change in the element, increase the value by one.
  • the 8-bit field of “display_aspect_type” indicates the aspect ratio of the caption display range. For example, “0x01” indicates 16: 9, “0x02” indicates 4: 3, and “0x03” indicates 21: 9. The information in this field corresponds to the “dto: dispasp” information in TTML (see FIGS. 3 and 5).
  • the 8-bit field of “reference_point_offset_v” indicates the vertical position of the reference point of the subtitle display range when the vertical horizontal of the display video area is 100%, as a ratio of the offset from the top left of the display video area.
  • the 8-bit field of “reference_point_offset_h” indicates the horizontal position of the reference point of the subtitle display range when the vertical horizontal of the display video area is 100%, as a ratio of the offset from the top left of the display video area. .
  • the information in these fields corresponds to the “dto: RPoffset” information in TTML (see FIGS. 3 and 5).
  • scaling_justify_flag indicates whether or not to specify a scaling reference point when performing region scaling. “1” indicates that a reference point is specified, and “0” indicates that a reference point is not specified.
  • the uppermost region uses the lower part of the region as a reference (bottom_line_justified), and the lowermost region uses the upper part of the region as a reference (top_line_justified).
  • the information in this field corresponds to the “dto: scalingjustify” information in TTML (see FIGS. 3 and 5).
  • FIG. 18 shows a structural example (Syntax) of a font download segment (Font_download_segment).
  • FIG. 19 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “sync_byte” is a unique word indicating the start of a segment.
  • An 8-bit field of “segment_type” indicates the type of segment. In the case of this font download segment, “segment_type” is set to “0xA5” (see FIG. 15), indicating that it is a font download segment.
  • the 16-bit field of “segment_length” indicates the number of subsequent bytes as the length (size) of the font download segment.
  • a 4-bit field of “fds_version_number” indicates update of the font download segment. If there is a change in the element, increase the value by one.
  • a 16-bit field of “original_network_id” indicates identification information of a network through which download data is transmitted.
  • a 16-bit field of “transport_stream_id” indicates identification information of an individual transport stream.
  • a 16-bit field of “service_id” indicates identification information of a service to be downloaded. In the case of a download target common to distribution media, the font file may be sent by another transport stream instead of its own transport stream. "Original_network_id”, “transport_stream_id”, and “service_id” information can be specified.
  • the 8-bit field of “font_file_id” indicates the identification number assigned to the font file.
  • a 24-bit field of “ISO — 639_language_code” indicates a code consisting of three characters for identifying a language. For example, “jpn” indicates Japanese and “eng” indicates English.
  • the 8-bit field of “font_group_id” indicates the identification information of the font group and corresponds to the generic family of TTML.
  • An 8-bit field of “font_name_id” indicates an individual font name.
  • the 8-bit field of “text_length” indicates the length (size) of the subsequent character code part in bytes.
  • the character code is placed in the “char” field.
  • a character code indicating an individual font name or the like can be arranged as a character code.
  • FIG. 18 includes download information for one font file, but it is also possible to include download information for a plurality of font files.
  • the for loop has a structure in which the field from “original_network_id” is repeated.
  • FIG. 20 shows a structural example (Syntax) of a URL / signaling segment (URL_signaling_segment).
  • FIG. 21 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “sync_byte” is a unique word indicating the start of a segment.
  • An 8-bit field of “segment_type” indicates the type of segment. In the case of this URL / signaling segment, “segment_type” is set to “0xA6” (see FIG. 15), indicating that it is a URL / signaling segment.
  • the 16-bit field of “segment_length” indicates the number of subsequent bytes as the length (size) of the font download segment.
  • the 4-bit field of “uss_version_number” indicates the update of the URL / signaling segment. If there is a change in the element, increase the value by one.
  • the 24-bit field of “ISO_639_language_code” indicates a code consisting of three characters for identifying the language. For example, “jpn” indicates Japanese and “eng” indicates English.
  • the 8-bit field of “font_group_id” indicates the identification information of the font group and corresponds to the generic family of TTML.
  • An 8-bit field of “font_name_id” indicates an individual font name.
  • the 8-bit field “url_type” indicates the server type. For example, “0x01” indicates a font server (uncompressed URL), “0x02” indicates a general server (uncompressed URL), “0x11” indicates a font server (compressed URL), and “0x12” indicates a general server Indicates a server (compressed URL).
  • the 8-bit field of “url_string_length” indicates the length (size) of the character code portion indicating the character string of the subsequent URL in bytes. The character code is placed in the “char” field.
  • the download information for one font file is included, but the download information for a plurality of font files can also be included. In that case, the field from “ISO_639_language_code” is repeated by the for loop.
  • the TS formatter 116 transport-packets and multiplexes the video stream generated by the video encoder 112, the audio stream generated by the audio encoder 113, and the subtitle stream generated by the subtitle encoder 115, A transport stream TS as a container (multiplexed stream) is obtained.
  • the TS formatter 116 inserts in the PMT (Program Map) information related to resizing processing similar to that included in the TTML and information for determining the caption display range. Specifically, a newly defined TTML display descriptor (TTML_display_descriptor) having such information is generated, and this descriptor is inserted into the PMT.
  • PMT Program Map
  • the TS formatter 116 inserts, into the PMT, download information for downloading at least the font file specified by the TTML font specification information.
  • download information for downloading at least the font file specified by the TTML font specification information.
  • a newly defined font download descriptor (Font_download_descriptor) having information for downloading from a broadcast signal (transport stream TS) and a newly defined URL having information for downloading from a server on the network
  • URL_signaling_descriptor Generate signaling descriptors
  • FIG. 22 shows a structural example (Syntax) of a TTML display descriptor (TTML_display_descriptor).
  • the 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates that it is a TTML display descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • the 8-bit field of“ display_aspect_type ” indicates the aspect ratio of the caption display range.
  • the information in this field corresponds to the “dto: dispasp” information in TTML (see FIGS. 3 and 5).
  • the 8-bit field of “reference_point_offset_v” indicates the vertical position of the reference point of the subtitle display range when the vertical horizontal of the display video area is 100%, as a ratio of the offset from the top left of the display video area.
  • the 8-bit field of “reference_point_offset_h” indicates the horizontal position of the reference point of the subtitle display range when the vertical horizontal of the display video area is 100%, as a ratio of the offset from the top left of the display video area. .
  • the information in these fields corresponds to the “dto: RPoffset” information in TTML (see FIGS. 3 and 5).
  • scaling_justify_flag indicates whether or not to specify a scaling reference point when performing region scaling. “1” indicates that a reference point is specified, and “0” indicates that a reference point is not specified. The information in this field corresponds to the “dto: scalingjustify” information in TTML (see FIGS. 3 and 5).
  • the 8-bit field of “text_length” indicates the length (size) of the subsequent character code part in bytes.
  • the character code is placed in the “char” field.
  • a character code indicating an aspect ratio or the like can be arranged as a character code.
  • FIG. 23 shows a structural example (Syntax) of a font download descriptor (Font_download_descriptor).
  • An 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates a font download descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • a 16-bit field of “original_network_id” indicates identification information of a network through which download data is transmitted.
  • a 16-bit field of “transport_stream_id” indicates identification information of an individual transport stream.
  • a 16-bit field of “service_id” indicates identification information of a service to be downloaded. In the case of a download target common to distribution media, the font file may be sent by another transport stream instead of its own transport stream. "Original_network_id”, “transport_stream_id”, and “service_id” information can be specified.
  • the 8-bit field of “font_file_id” indicates the identification number assigned to the font file.
  • a 24-bit field of “ISO — 639_language_code” indicates a code consisting of three characters for identifying a language.
  • the 8-bit field of “font_group_id” indicates the identification information of the font group and corresponds to the generic family of TTML.
  • An 8-bit field of “font_name_id” indicates an individual font name.
  • the 8-bit field of “text_length” indicates the length (size) of the subsequent character code part in bytes.
  • the character code is placed in the “char” field.
  • a character code indicating an individual font name or the like can be arranged as a character code.
  • FIG. 23 includes download information for one font file, it is also possible to include download information for a plurality of font files. In that case, the for loop has a structure in which the field from “original_network_id” is repeated.
  • FIG. 24 shows a structural example (Syntax) of a font download descriptor (Font_download_descriptor).
  • An 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates a font download descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • the 24-bit field of “ISO_639_language_code” indicates a code consisting of three characters for identifying the language.
  • the 8-bit field of “font_group_id” indicates the identification information of the font group and corresponds to the generic family of TTML.
  • An 8-bit field of “font_name_id” indicates an individual font name.
  • the 8-bit field of “url_type” indicates the type of server.
  • the 8-bit field of “url_string_length” indicates the length (size) of the character code portion indicating the character string of the subsequent URL in bytes. The character code is placed in the “char” field.
  • the download information for one font file is included, but it is also possible to include download information for a plurality of font files. In that case, the field from “ISO_639_language_code” is repeated by the for loop.
  • the television receiver 200 is based on the information included in the font download segment (see FIG. 18) inserted into the PES packet or the font download descriptor (see FIG. 23) inserted into the PMT.
  • the font download segment see FIG. 18
  • the font download descriptor see FIG. 23
  • a file of a font designated by the TTML font designation information can be acquired from the transport stream TS (broadcast signal).
  • the television reception is performed.
  • the machine 200 can acquire a font file designated by the TTML font designation information from a server on the network, as shown as “Font download (case 2)” in FIG.
  • the TS formatter 116 sequentially and repeatedly inserts a predetermined number of section tables having different font files (Font (file) into the transport stream TS. That is, the broadcast transmission system 100 repeatedly transmits the predetermined number of section tables in the data carousel.
  • one section table having font tables (Font table) is repeatedly transmitted in the data carousel, and the receiver 200 receives the section tables. It is schematically shown that the signal can be received without being limited in timing.
  • a font downloading section table (FDT: Font_downloading_section table) as a private section table is newly defined.
  • the font downloading section table has fields such as “data_downloading_id”, “section_number”, and “last_section_number” although the table structure will be described later.
  • a value from 0 to N is inserted in the “data_downloading_id” field of the circulating font downloading section table so that each section table can be identified.
  • the same value as the “data_downloading_id” field is inserted into the “section_number” field of the font downloading section table that circulates, and the value of N is inserted into the “last_section_number” field of each section table.
  • the receiver 200 can recognize the positional relationship during the cyclic supply by the values of the fields of “section_number” and “last_section_number” of the received font downloading section table. That is, the receiver 200 recognizes the position of the current section table by the value of the field of “section_number”, and the last section table that circulates when the value of the field of “section_number” matches the value of the field of “last_section_number”. It can be used to acquire all section tables in one round.
  • FIG. 27 shows a structural example (Syntax) of a font downloading section table (Font_downloading_section table).
  • FIG. 28 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field “table_id” indicates table identification information.
  • a value indicating a font downloading section table is designated as the table identification information.
  • a 16-bit field of “data_downloading_id” indicates a unique value defined for each “original_network_id” in the identification information of download data. For example, “0x00” indicates font table information, and other than “0x00” indicates font file information.
  • the 5-bit field of “version_number” indicates update of the font downloading section table. If there is a change in the element, increase the value by one.
  • a 16-bit field of “original_network_id” indicates identification information of a network through which download data is transmitted.
  • a 16-bit field of “transport_stream_id” indicates identification information of an individual transport stream.
  • a 16-bit field of “service_id” indicates identification information of a service to be downloaded.
  • a font table descriptor (Font_table_descriptor) is arranged when “data_downloading_id” is “0x00”, and a font file descriptor when “data_downloading_id” is other than “0x00”.
  • (Font_file_descriptor) is arranged.
  • a font file (Font (file) is arranged in the field of “data_byte”.
  • FIG. 29 schematically shows font table information described in the font downloading section table when “data_downloading_id” is “0x00”.
  • the font table descriptor (Font_table_descriptor) is arranged in the field of “descriptor ()”.
  • the font file information includes information such as “Font_file_id”, “ISO_639_language_code”, “font_group_id”, and “font_name_id”.
  • “Font_file_id” indicates an identification number assigned to the font file.
  • “ISO_639_language_code” indicates a language identification code.
  • “Font_group_id” indicates identification information of the font group.
  • “Font_name_id” indicates an individual font name.
  • FIG. 30 shows the correspondence between the value of “font_group_id” and the font group.
  • FIG. 31 shows a structural example (Syntax) of a font table descriptor (Font_table_descriptor).
  • An 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates a font table descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • the 8-bit field of“ number_of_font_files ” indicates the number of font files. There are an 8-bit field of “Font_file_id”, a 24-bit field of “ISO_639_language_code”, an 8-bit field of “font_group_id”, and an 8-bit field of “font_name_id” corresponding to the number of font files.
  • the 8-bit field of “text_length” indicates the length (size) of the subsequent character code part in bytes.
  • the character code is placed in the “char” field.
  • a character code indicating an individual font name or the like can be arranged as a character code.
  • FIG. 32 schematically shows font table information described in the font downloading section table when “data_downloading_id” is other than “0x00”.
  • the font file descriptor (Font_file_ descriptor) is arranged in the field of “descriptor ()”, and the font file (Font) in the field of “data_byte”. file) is placed.
  • the font file information includes information such as “Font_file_id”, “ISO_639_language_code”, “font_group_id”, and “font_name_id”.
  • “Font_file_id” indicates an identification number assigned to the font file.
  • “ISO_639_language_code” indicates a language identification code.
  • “Font_group_id” indicates identification information of the font group.
  • “Font_name_id” indicates an individual font name.
  • FIG. 33 shows a structural example (Syntax) of a font file descriptor (Font_file_descriptor).
  • the 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates a font file descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • the 8-bit field of “Font_file_id” indicates the information of the font file to be transmitted.
  • the 8-bit field of “text_length” indicates the length (size) of the subsequent character code portion in bytes.
  • the character code is placed in the “char” field. For example, a character code indicating an individual font name or the like can be arranged as a character code.
  • the video data DV is supplied to the video encoder 112.
  • the video data DV is encoded, and a video stream (PES stream) composed of video PES packets having encoded image data in the payload is generated.
  • This video stream is supplied to the TS formatter 116.
  • the audio data DA is supplied to the audio encoder 113.
  • the audio encoder 113 encodes the audio data DA and generates an audio stream (PES stream) including audio PES packets having encoded audio data. This audio stream is supplied to the TS formatter 116.
  • the text format conversion unit 114 obtains TTML as caption information (see FIGS. 3 and 5).
  • This TTML includes subtitle display position information that specifies a subtitle display position (region) as a relative position (proportional value) to the subtitle display range.
  • the TTML includes font designation information.
  • the TTML also includes auxiliary information (information related to resizing processing and information for determining a caption display range) used when captions are displayed using caption display position information.
  • This TTML is supplied to the subtitle encoder 115.
  • TTML is converted into various segments, and a subtitle stream including subtitle PES packets in which those segments are arranged in the payload is generated.
  • This subtitle stream is supplied to the TS formatter 116.
  • auxiliary information (information related to resizing processing, subtitle display range, etc.) used when displaying subtitles using subtitle display position information similar to that included in the TTML is included in the PES packet. Information for determination) is inserted. Specifically, a TTML display segment (see FIG. 16) having such information is generated, and this segment is inserted into the PES packet.
  • download information for downloading at least the font file specified by the TTML font specification information is inserted into the PES packet.
  • a font download segment (see FIG. 18) having information for downloading from a broadcast signal (transport stream TS), and a URL signaling signaling having information for downloading from a server on the network. Segments (see FIG. 20) are generated and inserted into the PES packet.
  • the video stream generated by the video encoder 112 the audio stream generated by the audio encoder 113, and the subtitle stream generated by the subtitle encoder 115 are transport packetized and multiplexed, and the container (multiplexed) A transport stream TS as a stream) is generated.
  • the TS formatter 116 determines auxiliary information (information related to resizing processing, a caption display range, which is used when displaying captions using caption display position information, which is the same as that included in the TTML, in the PMT. Information) is inserted. Specifically, a TTML display descriptor (see FIG. 22) having such information is generated, and this descriptor is inserted into the PMT.
  • download information for downloading a font file specified by at least the font designation information of TTML is inserted into the PMT.
  • a font download descriptor (see FIG. 23) having information for downloading from a broadcast signal (transport stream TS) and a newly defined URL / information having information for downloading from a server on the network.
  • Signaling descriptors (see FIG. 24) are generated, and these descriptors are inserted into the PMT.
  • FIG. 34 illustrates a configuration example of the transport stream TS.
  • the configuration for the video and audio portions is omitted.
  • there is a subtitle PES packet “Subtitle PES” which is a PES packet of the subtitle stream.
  • a PTS time stamp is inserted in the PES header, and the PES payload includes a segment having the entire TTML document or a divided portion of the TTML document (timed text subtitling segment). : TimedText subtitle segments) is inserted. This segment includes information related to resizing processing (“dto: scalingjustify”) and information for determining a caption display range (“dto: dispasp”, “dto: RPoffset”).
  • this segment includes font designation information (“fontFamily”).
  • TTML_display_segment (see FIG. 16) is inserted in the PES payload of the subtitle PES packet.
  • This segment includes information related to resizing processing (“dto: scalingjustify”) included in the above-mentioned timed text subtitle segment (TimedText subtitle segments) and information for determining the subtitle display range (“dto : dispasp ”,“ dto: RPoffset ”), information related to resizing processing (“ scaling_justify_flag ”) and information for determining the subtitle display range (“ display_aspect_type ”,“ reference_point_offset_v, reference_point_offset_h ”) are inserted .
  • a font download segment (Font_download_segment) (see FIG. 18) is inserted in the PES payload of the subtitle PES packet.
  • the file of the font specified by the font specification information (“fontFamily”) included in the above-mentioned timed text subtitle segment (TimedText subtitle segments) is broadcast signal (transport stream TS ) (For example, “font_file_id”, “ISO_639_language_code”, “font_group_id”, “font_name_id”) is inserted.
  • a URL / signaling segment (URL_signalin_segment) (see FIG. 20) is inserted in the PES payload of the subtitle PES packet.
  • the font file specified in the font specification information (“fontFamily") included in the above-mentioned timed text subtitle segment (TimedText subtitle segments) is downloaded from the server on the network.
  • Information (“ISO_639_language_code”, “font_group_id”, “font_name_id”, “url_type”, “URL”, etc.) is inserted.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream TS belongs.
  • the PMT includes a subtitle elementary stream loop (Subtitle ES loop) having information related to the subtitle stream.
  • TTML_display_descriptor a TTML display descriptor (TTML_display_descriptor) (see FIG. 22), a font download descriptor (Font_download_descriptor) (see FIG. 23), and a URL signaling descriptor (URL_signaling_descriptor) (see FIG. 24) are arranged.
  • scaling_justify_flag Information related to resizing processing
  • information for determining a caption display range (“display_aspect_type”, “reference_point_offset_v, reference_point_offset_h”) are inserted in the TTML display descriptor.
  • Download information similar to the font download segment (“font_file_id”, “ISO_639_language_code”, “font_group_id”, “font_name_id”, etc.) is inserted in the font download descriptor.
  • Download information (“ISO_639_language_code”, “font_group_id”, “font_name_id”, “url_type”, “URL”, etc.) similar to the URL / signaling segment is inserted in the URL / signaling descriptor.
  • a font download descriptor and a URL signaling descriptor may be arranged under the EIT (Event Information Table) of the transport stream TS. This makes it possible to describe download information for each program.
  • the transport stream TS includes FDT (Font_downloading_section table) (see FIG. 27)).
  • FDT Font_downloading_section table
  • the font table file is cyclically supplied by the data carousel.
  • a font table descriptor Font_table_descriptor
  • a font file descriptor Font_file_ descriptor
  • a font file Font_file
  • this FDT may not exist in the transport stream TS.
  • the receiver 200 downloads the font file based on the download information included in the font download segment of the PES packet or the font download descriptor of the PMT, the font file is downloaded from another transport stream TS. Will be downloaded.
  • FIG. 35 illustrates a configuration example of the television receiver 200.
  • the television receiver 200 includes a receiving unit 201, a TS analyzing unit (demultiplexer) 202, a video decoder 203, a video superimposing unit 204, a panel driving circuit 205, and a display panel 206 as a monitor (display). is doing.
  • the television receiver 200 includes an audio decoder 207, an audio output circuit 208, a speaker 209, and a subtitle decoder 210.
  • the television receiver 200 includes a CPU 221, a flash ROM 222, a DRAM 223, an internal bus 224, a remote control receiver 225, a remote control transmitter 226, and a communication interface 227.
  • the CPU 221 controls the operation of each part of the television receiver 200.
  • the flash ROM 222 stores control software and data.
  • the DRAM 223 constitutes a work area for the CPU 221.
  • the CPU 221 develops software and data read from the flash ROM 222 on the DRAM 223 to activate the software, and controls each unit of the television receiver 200.
  • the remote control receiving unit 225 receives the remote control signal (remote control code) transmitted from the remote control transmitter 226 and supplies it to the CPU 221.
  • the CPU 221 controls each part of the television receiver 200 based on this remote control code.
  • the CPU 221, flash ROM 222, and DRAM 223 are connected to the internal bus 224.
  • the communication interface 227 communicates with a server existing on a network such as the Internet under the control of the CPU 221. This communication interface 227 is connected to the internal bus 224.
  • the receiving unit 201 receives the transport stream TS transmitted from the broadcast transmission system 100 on a broadcast wave.
  • the transport stream TS includes a video stream, an audio stream, and a subtitle stream.
  • the TS analysis unit 202 extracts PES packets of video, audio, and subtitle streams from the transport stream TS.
  • the TS analysis unit 202 analyzes various information inserted in the header of each TS packet, and selectively selects a TS packet including data of video, audio, and subtitle PES packets based on “PID”. To obtain video, audio, and subtitle PES packets.
  • the TS analysis unit 202 analyzes various information inserted in the header of each TS packet, extracts various information inserted in the transport stream TS based on “PID”, and sends it to the CPU 221. .
  • This information includes a TTML display descriptor (TTML_display_descriptor) (see FIG. 22), a font download descriptor (Font_download_descriptor) (see FIG. 23), and a URL signaling descriptor (URL_signaling_descriptor) (see FIG. 24).
  • the CPU 221 obtains information (“scaling_justify_flag”) regarding the resize processing as auxiliary information used when displaying the caption using the TTML caption display position information of the subtitle stream from the TTML display descriptor, and the caption display range.
  • Information for determination (“display_aspect_type”, “reference_point_offset_v, reference_point_offset_h”) is acquired.
  • the CPU 221 downloads information about the font file designated by the font designation information included in the TTML included in the subtitle stream from the broadcast signal (transport stream TS) (“ font_file_id “,” ISO_639_language_code “,” font_group_id “,” font_name_id “, etc.).
  • the CPU 221 also downloads information (“ISO_639_language_code”, “ISO_639_language_code”, “font”) from the server on the network from the URL, signaling descriptor, and the font file designated by the font designation information included in the TTML of the subtitle stream.
  • font_group_id “ font_name_id ”,“ url_type ”,“ URL ”, etc.).
  • the information extracted by the TS analysis unit 202 includes FDT in the case where a font file specified by the font specification information included in the TTML included in the subtitle stream is downloaded from the broadcast signal (transport stream TS). (Font_downloading_section table) (see FIG. 27)) is also included.
  • the CPU 221 acquires the font file specified by the font specification information included in the TTML included in the subtitle stream from the FDT.
  • the audio decoder 207 performs decoding processing on the audio PES packet obtained by the TS analysis unit 202 to obtain audio data.
  • the audio output circuit 208 performs necessary processing such as D / A conversion and amplification on the audio data and supplies the audio data to the speaker 209.
  • the video decoder 203 performs a decoding process on the video PES packet obtained by the TS analysis unit 202 to obtain video data. Note that the video decoder 203 also performs resolution conversion of video data as appropriate according to the display mode and the like. For example, when the aspect ratio of the video area is 16: 9, the aspect ratio of the monitor (display) is 4: 3, and the display mode is letterbox, the resolution conversion of the video data is performed.
  • the subtitle decoder 210 performs a decoding process on the subtitle PES packet obtained by the TS analysis unit 202, obtains TTML from the timed text subtitle segment (TimedText subtitle segments), and sends it to the CPU 221.
  • the CPU 221 uses subtitle display position information for designating a subtitle display position (region) as a relative position (proportional value) with respect to the subtitle display range from this TTML, and further uses this subtitle display position information to display subtitles.
  • Information relating to the resizing process (“dto: scalingjustify”), information for determining the subtitle display range (“dto: dispasp”, “dto: RPoffset”), and the like are acquired.
  • the subtitle decoder 210 also includes a TTML display segment (TTML_display_segment) (see FIG. 16), a font download segment (Font_download_segment) (see FIG. 18), URL, and URL included in the subtitle PES packet obtained by the TS analysis unit 202.
  • a signaling segment (URL_signalin_segment) (see FIG. 20) is extracted and sent to the CPU 221.
  • the CPU 221 displays information (“scaling_justify_flag”) and subtitle display range as auxiliary information used when displaying subtitles using the TTML subtitle display position information of the subtitle stream from the TTML display segment.
  • Information for determination (“display_aspect_type”, “reference_point_offset_v, reference_point_offset_h”) is acquired.
  • the CPU 221 downloads information about the font file designated by the font designation information included in the TTML included in the subtitle stream from the broadcast download segment (transport stream TS) (“ font_file_id “,” ISO_639_language_code “,” font_group_id “,” font_name_id “, etc.).
  • the CPU 221 also downloads information (“ISO_639_language_code”, “ISO_639_language_code”, “URL”) from the URL / signaling segment from the server on the network that is designated by the font designation information included in the TTML included in the subtitle stream. font_group_id ”,“ font_name_id ”,“ url_type ”,“ URL ”, etc.).
  • the subtitle decoder 210 converts text data (font data) of subtitles (subtitles) at each subtitle display position (region) included in the TTML into bitmap data (binary image information) under the control of the CPU 221. .
  • the font size of the subtitle is determined by the subtitle display position information under the control of the CPU 221 or is a font specified by TTML according to the size of the subtitle display position obtained by further resizing processing. The size is adjusted appropriately.
  • the CPU 221 determines the caption display position based on the caption display position information, and further performs a resizing process on the determined caption display position as necessary. At this time, the CPU 221 appropriately uses auxiliary information (information relating to resizing processing, information for determining a caption display range) inserted in the TTML, the PES packet, the PMT, or the like as described above. Details of the subtitle display position determination and resizing process performed by the CPU 221 will be described later.
  • the subtitle decoder 210 uses a font file specified by the font specification information of the TTML when obtaining bitmap data of subtitles under the control of the CPU 221.
  • the CPU 221 appropriately selects the font file based on the download information inserted in the PES packet, the PMT, etc. as described above.
  • a broadcast signal transport stream TS
  • downloaded from a server on the network is used. If the file cannot be downloaded, a substitute font file (for example, a default font file) is used. Details of the procedure for determining the font file used in the CPU 221 will be described later.
  • the video superimposing unit 204 superimposes the subtitle bitmap data of each subtitle display position obtained by the subtitle decoder 210 on the video data obtained by the video decoder 203, and displays the display video data. obtain.
  • the CPU 221 determines that the superimposed position of the caption bitmap data becomes the caption display position based on the caption display position determined by the caption display position information as described above or obtained by further resizing. To control.
  • the panel drive circuit 205 drives the display panel 206 based on the display video data obtained by the video superimposing unit 204.
  • the display panel 206 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), and the like.
  • the receiving unit 201 receives the transport stream TS transmitted from the broadcast transmission system 100 on the broadcast wave.
  • the transport stream TS includes a video stream, an audio stream, and a subtitle stream.
  • the transport stream TS is supplied to the TS analysis unit 202.
  • the TS analysis unit 202 extracts PES packets of video, audio, and subtitle streams from the transport stream TS.
  • various information inserted in the transport stream TS is extracted and sent to the CPU 221.
  • This information includes TTML display descriptors, font download descriptors, and URL signaling descriptors.
  • the CPU 221 acquires auxiliary information (information related to size processing and information for determining a caption display range) used when displaying a caption using the TTML caption display position information of the subtitle stream.
  • the CPU 221 acquires download information for downloading a font file specified by the font specification information included in the TTML included in the subtitle stream from a broadcast signal (transport stream TS) or a server on the network.
  • the TS analysis unit 202 downloads the file of the font specified by the font specification information included in the TTML included in the subtitle stream from the broadcast signal (transport stream TS)
  • the TS analysis unit 202 starts from the transport stream TS.
  • FDT is extracted and sent to the CPU 221.
  • the CPU 221 acquires the font file specified by the font specification information included in the TTML included in the subtitle stream.
  • the video PES packet extracted by the TS analysis unit 202 is supplied to the video decoder 203.
  • the video PES packet is decoded to obtain video data.
  • the video decoder 203 also appropriately converts the resolution of the video data according to the display mode.
  • the subtitle PES packet extracted by the TS analysis unit 202 is supplied to the subtitle decoder 210.
  • the subtitle PES packet obtained by the TS analysis unit 202 is subjected to decoding processing to obtain TTML.
  • This TTML is sent to the CPU 221.
  • the CPU 221 uses subtitle display position information for designating a subtitle display position (region) as a relative position (proportional value) to the subtitle display range from this TTML, and further used when displaying subtitles using this subtitle display position information.
  • Auxiliary information (information relating to resizing processing, information for determining a caption display range), and the like are acquired.
  • the subtitle decoder 210 extracts a TTML display segment, a font download segment, and a URL signaling segment from the subtitle PES packet obtained by the TS analysis unit 202, and sends it to the CPU 221.
  • the CPU 221 acquires auxiliary information (information related to size processing and information for determining a caption display range) used when displaying a caption using the TTML caption display position information of the subtitle stream.
  • the CPU 221 acquires download information for downloading a font file specified by the font specification information included in the TTML included in the subtitle stream from a broadcast signal (transport stream TS) or a server on the network.
  • the text data (font data) of the subtitle (subtitle) at each subtitle display position (region) included in the TTML is converted into bitmap data (binary image information).
  • the font size of the subtitle is determined by the subtitle display position information under the control of the CPU 221 or is a font specified by TTML according to the size of the subtitle display position obtained by further resizing processing. The size is adjusted appropriately.
  • a font file designated by the font designation information of TTML is used.
  • the font file is transmitted as a broadcast signal (transport stream TS) based on download information inserted in a PES packet, PMT, or the like. Alternatively, it is downloaded from a server on the network and used. At this time, if the font file cannot be downloaded, a substitute font file is used.
  • the CPU 221 determines the subtitle display position based on the subtitle display position information, and further performs a resizing process on the determined subtitle display position as necessary. At this time, the CPU 221 appropriately uses auxiliary information (information relating to resizing processing, information for determining a caption display range) inserted in a TTML, a PES packet, a PMT, or the like as described above.
  • auxiliary information information relating to resizing processing, information for determining a caption display range
  • Bitmap data of subtitles at each subtitle display position output from the subtitle decoder 210 is supplied to the video superimposing unit 204.
  • the video superimposing unit 204 superimposes subtitle bitmap data at each subtitle display position obtained by the subtitle decoder 210 on the video data obtained by the video decoder 203 to obtain video data for display.
  • the CPU 221 controls the superimposed position of the caption bitmap data to be the caption display position based on the caption display position determined by the caption display position information or obtained by further resizing. .
  • the display video data obtained by the video superimposing unit 204 is supplied to the panel drive circuit 205.
  • the panel drive circuit 205 drives the display panel 206 based on the display video data. Thereby, the display panel 206 displays an image in which a caption (subtitle) is superimposed on each caption display position (region).
  • the audio PES packet extracted by the TS analysis unit 202 is supplied to the audio decoder 207.
  • the audio PES packet is decoded and audio data is obtained.
  • This audio data is supplied to the audio output circuit 208.
  • the audio output circuit 208 performs necessary processing such as D / A conversion and amplification on the audio data.
  • the processed audio data is supplied to the speaker 209. Thereby, an audio output corresponding to the display image on the display panel 206 is obtained from the speaker 209.
  • Subtitle display position determination and resizing procedure Details of the procedure for determining the subtitle display position and resizing processing in the CPU 221 will be described.
  • the flowchart in FIG. 36 illustrates an example of the procedure for determining the caption display position and resizing processing in the CPU 221.
  • the aspect ratio of the video area is 16: 9.
  • the aspect ratio of the designated subtitle display range is 16: 9 and 4: 3
  • the monitor (display) has an aspect ratio of 16: 9 and 4: 3.
  • step ST2 the CPU 221 starts a process by step ST1, and moves to the process of step ST2 after that.
  • the CPU 221 determines whether or not the receiver display is a mode for displaying the entire video area. For example, when the monitor aspect ratio is 16: 9 (see FIG. 37 (f)), or when the monitor aspect ratio is 4: 3 and the letterbox display method is used (FIG. 37 (FIG. 37)). In (g), it is determined that it is a mode for displaying the entire video area. Further, for example, when the aspect ratio of the monitor is 4: 3 and the center-cut display method is employed (see FIG. 37 (h)), it is determined that the mode does not display the entire video area. To do.
  • step ST3 the CPU 221 determines whether or not a caption display range is designated. For example, when the reference point information (RPoffset) and aspect ratio information (dispasp) of the caption display range exist in the TTML tt root container, it is determined that the caption display range is designated.
  • RPoffset reference point information
  • dispasp aspect ratio information
  • FIG. 38 (a) shows an example in which the aspect ratio of the monitor is 16: 9.
  • FIG. 38B shows an example in which the aspect ratio of the monitor is 4: 3 and the letterbox display method is employed.
  • RP indicates a reference point (Reference Pont) that is the top-left of the caption display range.
  • step ST4 After the process in step ST4, the CPU 221 ends the process in step ST5.
  • step ST6 the CPU 221 determines a caption display position (region) in the designated caption display range.
  • the CPU 221 uses only the aspect ratio information (dispasp) as the caption display range information, and sets the caption display range on the display video area.
  • FIG. 39 (a) shows an example in which the aspect ratio of the monitor is 16: 9 and the aspect ratio indicated by the aspect ratio information (dispasp) is 16: 9.
  • FIG. 39B shows an example in which the aspect ratio of the monitor is 16: 9 and the aspect ratio indicated by the aspect ratio information (dispasp) is 4: 3.
  • the CPU 221 matches the vertical width or horizontal width at the center of the display video area and the aspect ratio information ( Set the subtitle display range of the aspect ratio indicated by (dispasp).
  • the aspect ratio of the monitor is 16: 9
  • the aspect ratio information (dispasp) is 4: 3, so that the vertical widths match.
  • FIG. 39C shows an example in which the aspect ratio of the monitor is 4: 3, the letterbox display method is adopted, and the aspect ratio indicated by the aspect ratio information (dispasp) is 16: 9.
  • FIG. 39D shows an example in which the aspect ratio of the monitor is 4: 3, the letterbox display method is adopted, and the aspect ratio indicated by the aspect ratio information (dispasp) is 4: 3. .
  • step ST6 the CPU 221 ends the process in step ST5.
  • step ST7 the CPU 221 determines whether or not a caption display range is designated. For example, when the reference point information (RPoffset) and aspect ratio information (dispasp) of the caption display range exist in the TTML tt root container, it is determined that the caption display range is designated.
  • RPoffset reference point information
  • dispasp aspect ratio information
  • FIG. 40 (a) shows an example in which the monitor aspect ratio is 4: 3 and the center-cut display method is employed.
  • the vertical width of the caption display position is compressed from EV% to EV u% by resizing processing.
  • step ST8 the CPU 221 ends the process in step ST5.
  • step ST9 the CPU 221 determines a caption display position (region) in the designated caption display range. At this time, the CPU 221 sets the subtitle display range on the display video area using the subtitle display range information (reference point information (RPoffset), aspect ratio information (dispasp)).
  • the subtitle display range information reference point information (RPoffset), aspect ratio information (dispasp)
  • the CPU 221 sets the position shifted from the top-left of the display video area by the reference point information (RPoffset) as the top-left of the caption display range, and aspect ratio information (dispasp)
  • the range corresponding to the aspect ratio indicated by is set as the caption display range.
  • the horizontal width of the caption display range is the same as the horizontal width of the display video area.
  • FIG. 40B shows an example in which the aspect ratio of the monitor is 4: 3, the center cut display method is used, and the aspect ratio indicated by the aspect ratio information (dispasp) is 16: 9.
  • FIG. 40 (c) shows an example in which the aspect ratio of the monitor is 4: 3, the center cut display method is adopted, and the aspect ratio indicated by the aspect ratio information (dispasp) is 4: 3. .
  • step ST9 the CPU 221 ends the process in step ST5.
  • step ST11 the CPU 221 starts a process by step ST11, and moves to the process of step ST12 after that.
  • step ST12 the CPU 221 receives a font designation by TTML. That is, the CPU 221 receives TTML including font designation information from the subtitle decoder 210.
  • step ST13 the CPU 221 determines whether or not the television receiver 200 is equipped with the font file designated by the TTML font designation information and the designated font file.
  • the CPU 221 determines in step ST14 to use the installed designated font file, and thereafter ends the process in step ST15.
  • the CPU 221 determines in step ST16 whether or not the designated font file is supplied in the private section table, that is, FDT (Font_downloading_section table). In this case, if the font download segment (Font_download_segment) (see FIG. 18) or the font download descriptor (Font_download_descriptor) (see FIG. 23) includes download information of the designated font file, the CPU 221 It is determined that the designated font file is supplied by FDT.
  • FDT Font_downloading_section table
  • the CPU 221 determines in step ST17 whether or not the designated font file has been downloaded from the carousel transmission. When the designated font file can be downloaded, the CPU 221 determines to use the downloaded designated font file in step ST14, and thereafter ends the process in step ST15.
  • step ST17 When the designated font file cannot be downloaded in step ST17, the CPU 221 proceeds to the process in step ST18. Even when it is determined in step ST16 that the designated font file is not supplied by FDT, the CPU 221 proceeds to the process of step ST18.
  • step ST18 the CPU 221 determines whether there is URL information for downloading the designated font file.
  • the CPU 221 includes a case where the URL / signaling segment (URL_signalin_segment) (see FIG. 20) or the URL / signaling descriptor (URL_signaling_descriptor) (see FIG. 24) includes URL information for downloading the designated font file. It is determined that there is URL information for downloading the designated font file.
  • the CPU 221 determines in step ST19 whether the specified font file has been downloaded from the server on the network. When the designated font file can be downloaded, the CPU 221 determines to use the downloaded designated font file in step ST14, and thereafter ends the process in step ST15.
  • step ST19 When the designated font file cannot be downloaded in step ST19, the CPU 221 proceeds to the process in step ST20. Even when it is determined in step ST18 that there is no URL information for downloading the designated font file, the CPU 221 proceeds to the process of step ST20.
  • step ST20 the CPU 221 decides to use a substitute font file, for example, a default font file, instead of the designated font file, and thereafter ends the process in step ST15.
  • a substitute font file for example, a default font file
  • the broadcast transmission system 100 is used when subtitles are displayed on a subtitle stream container (for example, PES packet, PMT) using subtitle position information.
  • a subtitle stream container for example, PES packet, PMT
  • Auxiliary information information related to resizing processing, information for determining a caption display range
  • this auxiliary information is inserted. Therefore, on the receiving side, by using this auxiliary information together with the caption position information, it is possible to appropriately acquire the caption display position and perform the caption display well.
  • the television receiver 200 controls the display position of the bitmap data of the caption based on the caption display position acquired using the caption display position information and the auxiliary information. Therefore, it is possible to display subtitles satisfactorily.
  • the broadcast transmission system 100 downloads at least a font file specified by TTML font specification information to a subtitle stream container (for example, PES packet, PMT). Insert download information. Therefore, if the receiving side does not have the font file specified in the font specification information, it can obtain the font file specified in the font specification information based on the download information, and display the subtitles. Can be performed satisfactorily.
  • a subtitle stream container for example, PES packet, PMT.
  • the television receiver 200 obtains a font file of a font designated by the font designation information based on the download information, and uses it to obtain subtitle bitmap data. Therefore, even when the font file specified by the font specification information is not provided, the subtitle display can be performed satisfactorily.
  • FIG. 42 shows an example of a TTML structure in that case. This example is an example in which there are two subtitle display positions (regions), as in FIG.
  • TTML is used as text information of subtitles in a predetermined format.
  • the present technology is not limited to this, and other text information having information equivalent to TTML may be used.
  • a TTML derivative format may be used.
  • the transmission / reception system 10 including the broadcast transmission system 100 and the television receiver 200 is shown, but the configuration of the transmission / reception system to which the present technology can be applied is not limited thereto.
  • a configuration of a set top box and a monitor in which the television receiver 200 is connected by a digital interface such as HDMI (High-Definition Multimedia Interface) may be used.
  • HDMI High-Definition Multimedia Interface
  • HDMI High-Definition Multimedia Interface
  • the container is an MPEG-2 TS transport stream.
  • the present technology can also be applied to a case where the container is an MMT transport stream or a DASH / ISOBMFF stream.
  • this technique can also take the following structures.
  • a transmission unit that transmits a container of a predetermined format including a video stream having video data and a subtitle stream having subtitle text information having subtitle display position information that specifies a subtitle display position relative to the subtitle display range;
  • a transmission apparatus comprising: an information insertion unit that inserts auxiliary information used when displaying a caption using the caption position information in the container of the subtitle stream.
  • the auxiliary information is The information according to (1), including information related to a subtitle display position resizing process performed based on the subtitle display position information performed on a reception side when the aspect ratio of the video area is different from the aspect ratio of the display video area Transmitter device.
  • the transmission device (3) The transmission device according to (2), wherein the information related to the resizing process is information indicating a line position that should be a fixed position when the vertical size is compressed in the subtitle display position resizing process.
  • the auxiliary information is The transmission device according to any one of (1) to (3), including information for determining the caption display range.
  • the transmission device (4), wherein the information for determining the caption display range is reference point information and aspect ratio information of the caption display range.
  • the information insertion unit The transmission apparatus according to any one of (1) to (5), wherein the auxiliary information is inserted into a PES packet and / or a program map table.
  • the transmission unit transmits a container in a predetermined format including a video stream having video data and a subtitle stream having subtitle text information having subtitle display position information for specifying a subtitle display position relative to the subtitle display range.
  • a receiving unit that receives a container of a predetermined format including a video stream having video data and a subtitle stream having subtitle text information having subtitle display position information that specifies a subtitle display position relative to the subtitle display range; , A video decoding unit that obtains video data by performing a decoding process on the video stream; A subtitle decoding unit that obtains subtitle bitmap data by performing decoding processing on the subtitle stream; Auxiliary information used when displaying subtitles using the subtitle position information is inserted into the container of the subtitle stream, A display control unit for performing display position control on bitmap data of the subtitle based on the subtitle display position acquired using the subtitle display position information and the auxiliary information; A receiving apparatus, further comprising: a video superimposing unit that superimposes the subtitle bitmap data on which the display position control has been performed on the video data.
  • the auxiliary information includes information related to the subtitle display position resizing process determined based on the subtitle display position information performed on the receiving side when the aspect ratio of the video area and the aspect ratio of the display video area are different.
  • the display control unit When the aspect ratio of the video area is different from the aspect ratio of the display video area, the subtitle display position is determined based on the subtitle display position information using the display video area as the subtitle display range, and the resize is performed at the determined subtitle display position.
  • the receiving device according to (8) wherein a resize process is performed using information related to the process, and display position control is performed on the caption bitmap data based on the caption display position on which the resize process has been performed.
  • the auxiliary information includes information for determining the caption display range,
  • the display control unit When the aspect ratio of the video area and the aspect ratio of the display video area are different, the subtitle display range is set in the display video area based on the information for determining the subtitle display range, and the subtitle is displayed based on the subtitle display position information.
  • the receiving device according to (8), wherein a position is determined, and display position control is performed on the bitmap data of the caption based on the determined caption display position.
  • the reception unit receives a container in a predetermined format including a video stream having video data and a subtitle stream having subtitle text information having subtitle display position information specifying a subtitle display position relative to the subtitle display range.
  • a transmission apparatus comprising: an information insertion unit that inserts download information for downloading at least a font file designated by the font designation information into the container of the subtitle stream.
  • the download information is information for acquiring the font file from a broadcast signal.
  • the transmission device according to (12) or (13), wherein the download information is information for acquiring the font file from a server on a network.
  • the information insertion unit The transmission device according to any one of (12) to (14), wherein the download information is inserted into a PES packet and / or a program map table.
  • a receiving unit that receives a container in a predetermined format including a video stream having video data and a subtitle stream having subtitle text information having font designation information;
  • a video decoding unit for obtaining video data by performing a decoding process on the video stream;
  • Download information for downloading at least the font file specified in the font specification information is inserted in the container of the subtitle stream,
  • a font file download unit that acquires a font file of the font specified by the font specification information based on the download information;
  • a subtitle decoding unit that performs decoding processing on the subtitle stream and obtains subtitle bitmap data based on the acquired font file;
  • a display control unit that performs display position control on the bitmap data of the caption based on the caption display position acquired using the caption display position information;
  • a receiving apparatus further comprising: a video superimposing unit that superimposes the subtitle bitmap data on which the display position control has been performed on the video data.
  • Download information for downloading at least the font file specified in the font specification information is inserted in the container of the subtitle stream,
  • a transmission apparatus comprising: a transmission unit that transmits the transport stream in which the section table is inserted.
  • a section table insertion step for sequentially and repeatedly inserting a predetermined number of section tables having different font files into the transport stream;
  • a transmission method comprising: a transmission step of transmitting a transport stream in which the section table is inserted by a transmission unit.
  • auxiliary information information related to resizing processing and a subtitle display range is determined
  • subtitle position information in a subtitle stream container for example, PES packet, PMT.
  • the main feature of the present technology is that the download information for downloading at least the font file designated by the font designation information of TTML is inserted into the container (eg, PES packet, PMT) of the subtitle stream. If the font file specified in the font specification information is not available, the font file specified in the font specification information can be acquired based on the download information, and subtitles can be displayed well. (See FIG. 34).
  • the container eg, PES packet, PMT

Abstract

受信側における字幕表示を良好に行い得るようにする。 ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する。サブタイトルストリームのコンテナに、字幕位置情報を用いて字幕を表示するときに使用される補助情報を挿入する。例えば、補助情報は、リサイズ処理に関する情報、字幕表示範囲を決定するための情報などである。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、ビデオデータと共に字幕のテキスト情報を送信する送信装置等に関する。
 従来、例えば、DVB(Digital Video Broadcasting)の放送などでは、字幕情報をビットマップデータで送信する運用が行われている。近時、字幕情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている。このテキスト情報として、例えば、W3C(World Wide Web Consortium)でTTML(Timed Text Markup Language)が提唱されている(特許文献1参照)。
 従来、字幕のテキスト情報に含まれる字幕表示位置情報において字幕表示位置を、例えばビデオ領域に対する相対位置で指定することが知られている。この場合、ビデオ領域のアスペクト比とディスプレイ領域のアスペクト比とが一致しない場合には、表示方法によって字幕の一部がディスプレイ領域からはみ出して表示されなくなることがあった。また、従来、字幕のテキスト情報にフォント指定情報を含めて送信することが知られている。
特開2012-169885号公報
 上述したように字幕の一部がディスプレイ領域からはみ出して表示されなくなることを回避するため、例えば、受信側において、ビデオ領域に対する相対位置ではなく、モニタ(ディスプレイ)に表示されるビデオ領域(表示ビデオ領域)に対する相対位置として処理を行うことが考えられる。その場合、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比とが異なる場合、例えば字幕表示位置が水平方向にだけ圧縮されたものとなり、視聴者に違和感を与える字幕表示になる可能性がある。また、上述したように字幕のテキスト情報にフォント指定情報を含めて送信する場合、受信側において、指定されたフォントのファイルを搭載していない場合には、指定されたフォントでの字幕表示ができず、制作者が意図したような字幕表示にならない可能性がある。
 本技術の目的は、受信側における字幕表示を良好に行い得るようにすることにある。
 本技術の概念は、
 ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信部と、
 上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を挿入する情報挿入部を備える
 送信装置にある。
 本技術において、送信部により、ビデオデータを持つビデオストリームと字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナが送信される。字幕のテキスト情報は、字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有するものである。
 情報挿入部により、サブタイトルストリームのコンテナに、字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入される。例えば、補助情報は、PESパケットおよび/またはプログラムマップテーブルに挿入される、ようにされてもよい。
 例えば、補助情報は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、字幕表示位置情報に基づいて決定される字幕表示位置のリサイズ処理に関する情報を含む、ようにされてもよい。この場合、例えば、リサイズ処理に関する情報は、字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示す情報である、ようにされてもよい。
 また、例えば、補助情報は、字幕表示範囲を決定するための情報を含む、ようにされてもよい。この場合、例えば、字幕表示範囲を決定するための情報は、字幕表示範囲の基準点情報およびアスペクト比情報である、ようにされてもよい。
 このように本技術においては、サブタイトルストリームのコンテナに字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入される。そのため、受信側では、字幕位置情報と共にこの補助情報を用いることで字幕表示位置を適切に取得して字幕表示を良好に行うことが可能となる。
 また、本技術の他の概念は、
 ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコード処理して字幕のビットマップデータを得る処理と、上記字幕表示位置情報および上記サブタイトルストリームのコンテナに挿入されている上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う処理と、上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳する処理を制御する制御部を備える
 受信装置にある。
 本技術において、受信部により、ビデオデータを持つビデオストリームと字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナが受信される。字幕のテキスト情報は、字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有するものである。サブタイトルストリームのコンテナに字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入されている。
 制御部により、ビデオストリームをデコードしてビデオデータを得る処理と、サブタイトルストリームをデコード処理して字幕のビットマップデータを得る処理と、字幕表示位置情報および補助情報を用いて取得される字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御を行う処理と、表示位置制御が行われた字幕のビットマップデータをビデオデータに重畳する処理が制御される。
 例えば、補助情報は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、字幕表示位置情報に基づいて決定される字幕表示位置のリサイズ処理に関する情報を含み、表示位置制御を行う処理では、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合、表示ビデオ領域を字幕表示範囲として字幕表示位置情報に基づいて字幕表示位置を決定し、該決定された字幕表示位置にリサイズ処理に関する情報を用いてリサイズ処理を施し、該リサイズ処理が施された字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御をする、ようにされてもよい。
 また、例えば、補助情報は、字幕表示範囲を決定するための情報を含み、表示位置制御を行う処理では、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合、字幕表示範囲を決定するための情報に基づいて表示ビデオ領域に字幕表示範囲を設定し、字幕表示位置情報に基づいて字幕表示位置を決定し、該決定された字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御をする、ようにされてもよい。
 このように本技術においては、サブタイトルストリームのコンテナに字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入されており、字幕表示位置情報および補助情報を用いて取得される字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御が行われる。そのため、字幕表示を良好に行うことが可能となる。
 また、本技術の他の概念は、
 ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信部と、
 上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する情報挿入部を備える
 送信装置にある。
 本技術において、送信部により、ビデオデータを持つビデオストリームと字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナが送信される。字幕のテキスト情報は、フォント指定情報を有するものである。
 情報挿入部により、サブタイトルストリームのコンテナに少なくともフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入される。例えば、補助情報は、PESパケットおよび/またはプログラムマップテーブルに挿入される、ようにされてもよい。例えば、ダウンロード情報は、フォントファイルを放送信号から取得するための情報であるか、あるいはフォントファイルをネットワーク上のサーバから取得するための情報である、ようにされてもよい。
 このように本技術においては、サブタイトルストリームのコンテナに少なくともフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入される。そのため、受信側では、フォント指定情報で指定されているフォントのファイルを持っていない場合に、当該ダウンロード情報に基づいてフォント指定情報で指定されているフォントのファイルを取得することができ、字幕表示を良好に行うことが可能となる。
 また、本技術の他の概念は、
 ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームのコンテナに挿入されている少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報に基づいて上記フォント指定情報で指定されたフォントのフォントファイルを取得する処理と、上記サブタイトルストリームをデコードし上記取得されたフォントファイルに基づいて字幕のビットマップデータを得る処理と、上記字幕のビットマップデータを上記ビデオデータに重畳する処理を制御する制御部を備える
 受信装置にある。
 本技術において、受信部により、ビデオデータを持つビデオストリームと字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナが受信される。字幕のテキスト情報は、フォント指定情報を有するものである。サブタイトルストリームのコンテナに少なくともフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入されている。
 制御部により、ビデオストリームをデコードしてビデオデータを得る処理と、ダウンロード情報に基づいてフォント指定情報で指定されたフォントのフォントファイルを取得する処理と、サブタイトルストリームをデコードし取得されたフォントファイルに基づいて字幕のビットマップデータを得る処理と、字幕のビットマップデータをビデオデータに重畳する処理が制御される。
 このように本技術においては、サブタイトルストリームのコンテナに少なくともフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入されており、このダウンロード情報に基づいてフォント指定情報で指定されたフォントのフォントファイルが取得されて、字幕のビットマップデータを得る際に用いられる。そのため、フォント指定情報で指定されているフォントのファイルを持っていない場合にあっても、字幕表示を良好に行うことが可能となる。
 また、本技術の他の概念は、
 トランスポートストリームにそれぞれ異なるフォントファイルを持つ定数のセクションテーブルを順次繰り返し挿入するセクションテーブル挿入部と、
 上記セクションテーブルが挿入されたトランスポートストリームを送信する送信部を備える
 送信装置にある。
 本技術において、セクションテーブル挿入部により、トランスポートストリームにそれぞれ異なるフォントファイルを持つ所定数のセクションテーブルが順次繰り返し挿入される。送信部により、セクションテーブルが挿入されたトランスポートストリームが送信される。この場合、所定数のセクションテーブルは、データカルーセルで繰り返し送信されることとなる。
 このように本技術においては、トランスポートストリームにそれぞれ異なるフォントファイルを持つ所定数のセクションテーブルが順次繰り返し挿入される。そのため、受信側では、トランスポートストリームから、例えば字幕のテキスト情報が有するフォント指定情報で指定されるフォントのフォントファイルを容易に取得可能となる。
 本技術によれば、受信側における字幕表示を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 字幕表示位置情報で決定される字幕表示位置(リージョン)の一例を示す図である。 TTMLの構造例(字幕表示位置が1個)を示す図である。 TTML構造における主要な情報の内容を示す図である。 TTMLの構造例(字幕表示位置が2個)を示す図である。 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が同じである場合における字幕の表示例(字幕表示位置が1個)を示す図である。 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が同じである場合における字幕の表示例(字幕表示位置が2個)を示す図である。 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合であって、表示ビデオ領域が字幕表示範囲とされ、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第1の方法)における字幕の表示例(字幕表示位置が1個)を示す図である。 リサイズ処理が施された場合の表示例を示す図である。 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合であって、表示ビデオ領域が字幕表示範囲とされ、字幕表示位置情報に基づいて字幕表示位置が決定され、さらにリサイズ処理が施された場合(第1の方法)における字幕の表示例(字幕表示位置が2個)を示す図である。 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合であって、表示ビデオ領域に字幕表示範囲が設定され、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第2の方法)における字幕の表示例(字幕表示位置が1個)を示す図である。 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合であって、表示ビデオ領域に字幕表示範囲が設定され、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第2の方法)における字幕の表示例(字幕表示位置が2個)を示す図である。 放送送出システムのストリーム生成部の構成例を示すブロック図である。 サブタイトルPESパケットの構造例と、「PES_data_byte_field()」の構造例を示す図である。 セグメントタイプの定義の一例を示す図である。 TTML・ディスプレイ・セグメントの構造例を示す図である。 TTML・ディスプレイ・セグメントの構造例における主要な情報の内容を示す図である。 フォント・ダウンロード・セグメントの構造例を示す図である。 フォント・ダウンロード・セグメントの構造例における主要な情報の内容を示す図である。 URL・シグナリング・セグメントの構造例を示す図である。 URL・シグナリング・セグメントの構造例における主要な情報の内容を示す図である。 TTML・ディスプレイ・デスクリプタの構造例)を示す図である。 フォント・ダウンロード・デスクリプタの構造例を示す図である。 フォント・ダウンロード・デスクリプタの構造例を示す図である。 TTMLのフォント指定情報で指定されているフォントのファイルをトランスポートストリームTS(放送信号)から取得するケース(Case1)とそのファイルをネットワーク上のサーバから取得するケース(Case2)の概要を示す図である。 フォントファイル(Font file)を持つN個のセクションテーブルの他に、フォントテーブル(Font table)を持つ1個のセクションテーブルがデータカルーセルで繰り返し送信されることを模式的に示す図である。 フォント・ダウンローディング・セクションテーブルの構造例を示す図である。 フォント・ダウンローディング・セクションテーブルの構造例における主要な情報の内容を示す図である。 「data_downloading_id」が“0x00”であるときにフォント・ダウンローディング・セクションテーブルに記述されるフォントテーブル情報を概略的に示す図である。 「font_group_id」の値とフォントグループとの対応関係を示す図である。 フォント・テーブル・デスクリプタの構造例を示す図である。 「data_downloading_id」が“0x00”以外であるときにフォント・ダウンローディング・セクションテーブルに記述されるフォントテーブル情報を概略的に示す図である。 フォント・ファイル・デスクリプタの構造例を示す図である。 トランスポートストリームTSの構成例を示す図である。 テレビ受信機の構成例を示すブロック図である。 テレビ受信機のCPUにおける字幕表示位置の決定およびリサイズ処理の手順の一例を示すフローチャートである。 ビデオ領域のアスペクト比とモニタ(ディスプレイ)のアスペクト比の一例と、ビデオ全領域を表示するモードか否かの判断例の説明に供する図である。 ビデオ全領域を表示するモードで、かつ字幕表示範囲の指定がない場合における字幕表示位置の決定の説明に供する図である。 ビデオ全領域を表示するモードで、かつ字幕表示範囲の指定がある場合における字幕表示位置の決定の説明に供する図である。 ビデオ全領域を表示しないモードで、かつ字幕表示範囲の指定がない場合およびある場合における字幕表示位置の決定の説明に供する図である。 テレビ受信機のCPUにおける使用フォントファイルの決定処理の手順の一例を示すフローチャートである。 TTMLの構造例(字幕表示位置が2個)を示す図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [送受信システムの構成例]
 図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、放送送出システム100とテレビ受信機200により構成されている。放送送出システム100は、コンテナ(多重化ストリーム)としてのMPEG-2 TSのトランスポートストリーム(以下、単に、「トランスポートストリームTS」という)を、放送波に載せて送信する。
 トランスポートストリームTSには、ビデオデータを持つビデオストリームと、字幕(サブタイトル)のテキスト情報を持つサブタイトルストリームが含まれる。ここで、字幕のテキスト情報として、例えば、TTMLあるいはTTMLの派生フォーマットなどが考えられるが、この実施の形態においては、TTMLであるとする。このTTMLは字幕表示位置情報を有し、この字幕表示位置情報は、字幕表示位置(リージョン)を字幕表示範囲に対する相対位置(プロポーショナルな値)で指定する。また、このTTMLは、フォント指定情報を有する。
 放送送出システム100は、このTTMLおよび/またはサブタイトルストリームのコンテナに、字幕表示位置情報を用いて字幕を表示するときに使用される補助情報を挿入する。この実施の形態において、放送送出システム100は、この補助情報を、TTMLに含める他、PES(Packetized Elementary Stream)パケットとPMT(Program Map Table)に挿入する。
 この補助情報に、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、字幕表示位置情報に基づいて決定された字幕表示位置のリサイズ処理に関する情報が含まれる。このリサイズ処理に関する情報は、例えば、字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示す情報である。また、この補助情報に、字幕表示範囲を決定するための情報が含まれる。例えば、この字幕表示範囲を決定するための情報は、字幕表示範囲の基準点情報およびアスペクト比情報である。
 また、放送送出システム100は、サブタイトルストリームのコンテナに、少なくともフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する。このダウンロード情報は、フォントファイルを放送信号(トランスポートストリームTS)から取得するための情報やフォントファイルをネットワーク上のサーバから取得するための情報などである。この実施の形態において、放送送出システム100は、このダウンロード情報を、PES(Packetized Elementary Stream)パケットとPMT(Program Map Table)に挿入する。
 また、放送送出システム100は、放送信号としてのトランスポートストリームTSに、互いに異なるフォントファイルを含む所定数のセクションテーブルを順次繰り返し挿入する。つまり、放送送出システム100は、所定数のセクションテーブルを、データカルーセルで繰り返し送信する。なお、フォントファイルを含むセクションテーブルを挿入するトランスポートストリームTSは、上述のサブタイトルストリームを含むトランスポートストリームTSと同一である必要はなく、他のサービスのトランスポートストリームTSであってもよい。
 テレビ受信機200は、放送送出システム100から送られてくるトランスポートストリームTSを受信する。テレビ受信機200は、ビデオデータを持つビデオストリームにデコード処理を施してビデオデータを得ると共に、字幕のテキスト情報としてのTTMLを持つサブタイトルストリームにデコード処理を施して字幕のビットマップデータを得る。
 テレビ受信機200は、字幕のビットマップデータを得る際、TTMLが有するフォント指定情報で指定されるフォントのファイルを用いる。上述したように、少なくともフォント指定情報で指定されるフォントのファイルをダウンロードするためのダウンロード情報が、PESパケットとPMT(Program Map Table)に挿入されている。テレビ受信機200は、フォント指定情報で指定されるフォントのファイルを搭載していないとき、ダウンロード情報に基づいて当該フォントのファイルをダウンロードして用いる。
 上述したようにTTMLが有する字幕表示位置情報において、字幕表示位置は字幕表示範囲に対する相対位置で指定されている。また、上述したように、字幕表示位置情報を用いて字幕を表示するときに使用される補助情報が、TTMLに含められている他、PESパケットとPMTに挿入されている。
 テレビ受信機200は、字幕表示位置情報および補助情報を用いて字幕表示位置を取得し、この取得された字幕表示位置に基づいて、字幕のビットマップデータに対して表示位置制御をする。テレビ受信機200は、表示位置制御が行われた字幕のビットマップデータをビデオデータに重畳して、表示用のビデオデータを得る。
 テレビ受信機200は、字幕のビットマップデータに対する表示位置制御として、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が異なる場合、以下の第1の方法あるいは第2の方法を選択的に実行する。
 第1の方法では、テレビ受信機200は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合、表示ビデオ領域を字幕表示範囲として字幕表示位置情報に基づいて字幕表示位置を決定した後、この決定された字幕表示位置にリサイズ処理を施し、最終的な字幕表示位置を取得する。テレビ受信機200は、このように取得された字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御をする。
 リサイズ処理では、字幕表示位置として本来の形状を回復する処理であり、例えば、決定された字幕表示位置が水平方向にだけ圧縮されたものである場合、垂直方向にも同じ割合で圧縮する。例えば、リサイズ処理で垂直方向のサイズを圧縮する場合、トップライン(上のライン)、ボトムライン(下のライン)、あるいはミドルライン(中間のライン)などの所定のライン位置を固定した状態で圧縮する。
 この所定のライン位置を適切に選択することで、例えば、2つの字幕表示位置があった場合、その2つの字幕表示位置の垂直方向の間隔を、リサイズ処理を行っても維持することが可能となる。テレビ受信機200は、TTML、PESパケット、PMT等に、リサイズ処理に関する情報として、固定位置とすべきライン位置を示す情報が挿入されているとき、その情報を利用できる。
 第2の方法では、テレビ受信機200は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合、表示ビデオ領域に字幕表示範囲を設定し、字幕表示位置情報に基づいて字幕表示位置を決定し、最終的な字幕表示位置を取得する。テレビ受信機200は、このように取得された字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御をする。
 テレビ受信機200は、TTML、PESパケット、PMT等に挿入されている字幕表示範囲を決定するための情報が挿入されているとき、その情報を利用して字幕表示範囲を適切に設定できる。例えば、テレビ受信機200は、TTML、PESパケット、PMT等に字幕表示範囲を決定するための情報が含まれているときは第2の方法を選択し、それが含まれていないとき第1の方法を選択する。
 図2は、字幕表示位置情報で決定される字幕表示位置(リージョン)の一例を示している。この例は、TTMLで、字幕表示位置情報が、字幕表示位置の基点(origin)を示す情報「origin=“OH%OV%”」と、字幕表示位置の領域(extent)を示す情報「extent=“EH%EV%”」で与えられている場合を示している。“RP”は、字幕表示範囲のトップ―レフト(top-left)である基準点(Reference Pont)を示している。
 図2(a)は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が同じ場合の例を示している。この例では、ビデオ領域のアスペクト比が16:9に対して、モニタのアスペクト比は16:9であって、表示ビデオ領域のアスペクト比が16:9となっている。この場合、表示ビデオ領域が字幕表示範囲とされ、それに対する相対位置で指定される字幕表示位置情報に基づき字幕表示位置が決定される。
 図2(b)は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合であって、表示ビデオ領域が字幕表示範囲とされ、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第1の方法)の例である。この例では、ビデオ領域のアスペクト比が16:9に対して、モニタのアスペクト比は4:3であり、表示方法がセンターカット(Center-cut)である場合であって、表示ビデオ領域のアスペクト比が4:3となっている。この場合、字幕表示位置は、図2(a)の場合と比較して、垂直方向には同じ幅となるが、水平方向には、その幅が圧縮されたものとなる。この場合、字幕表示位置の形状は、図2(a)の場合とは異なったものとなる。
 図2(c)は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合であって、表示ビデオ領域に字幕表示範囲が設定され、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第2の方法)の例である。この例では、ビデオ領域のアスペクト比が16:9に対して、モニタのアスペクト比は4:3であり、表示方法がセンターカット(Center-cut)である場合であって、表示ビデオ領域のアスペクト比が4:3となっている。この場合、字幕表示位置は、図2(a)の場合と比較して、垂直方向および水平方向の双方に、その幅が圧縮されたものとなる。設定される字幕表示範囲のアスペクト比が16:9である場合には、字幕表示位置の形状は、図2(a)の場合と同じくなる。
 図3は、TTML構造の一例を示している。この例は、字幕表示位置(リージョン)が1個の場合の例である。TTMLは、XMLを基本に記載される。ttルートコンテナには、ランゲージ(言語)やネームスペース(名前空間)が定義されている。ネームスペースは、システムあるいは規格体系において全要素中で一意に識別できるための固有の要素名として定義されるものである。また、<tt>において、「tts:extent」は、字幕の位置情報の対象の元となるビデオ100%の対象領域を最初に宣言するもので、“Fullvideo”は、4Kビデオが対象である場合は3840(H)×2160(V)の解像度のビデオ全体を示し、2K(フルHD)ビデオが対象である場合は1920(H)×1080(V)の解像度のビデオ全体を示す。
 「xmlns=http://www.w3.org/ns/ttml」、「xmlns:ttp=http://www.w3.org/ns/ttml#parameter」、「xmlns:tts=http://www.w3.org/ns/ttml#styling」のネームスペースは、詳細説明は省略するが、予めW3CでTTMLの属性分類として確保されているパラメータ、スタイリングなどのネームスペースである。
 「xmlns:dto=http://www.example.org/ns/displaytextoverlay」は、新規に定義するネームスペースである。このネームスペースは、字幕表示範囲の情報を挿入するためのものである。そして、「dto:dispasp=“16:9”」および「dto:RPoffset=“Ax%, By%”」が、字幕表示範囲の情報を示す。
 「dto:dispasp=“16:9”」は、字幕表示範囲のアスペクト比情報を示し、字幕表示範囲は16:9のアスペクト比の領域であることを示している。図示の例では、字幕表示範囲のアスペクト比が16:9であることを示しているが、字幕表示範囲のアスペクト比としては、図4に示すように、4:3、21:9などを指定することも可能である。「dto:RPoffset=“Ax%, By%”」は字幕表示範囲の基準点情報を示し、図4に示すように、表示ビデオ領域の水平垂直のそれぞれを100%としたときの字幕表示範囲の基準点(RP:Reference Point)の位置を、表示ビデオ領域のトップ-レフト(top-left)からのオフセットの比率で示している。
 ヘッド(head)には、レイアウト(layout)の要素が存在している。リージョンIDが“r1”で示され、字幕表示位置情報として字幕表示位置の起点(origin)と、その領域(extent)が相対位置で示されている。すなわち、「origin=“OH%OV%”」は字幕表示位置の基点を示し、起点が左(left)からOHで、上(top)からOV%であることが示されている。また、「extent=“EH%EV%”」は字幕表示位置の領域を示し、横幅がEH%で、縦幅がEV%であることが示されている。
 また、ヘッド(head)には、スタイル(style)の要素が存在している。「fontFamily=" proportionalSansSerif"」は、フォント指定情報である。ここで、「proportionalSansSerif」は、フォントのジェネリックファミリー(総称名)を示している。
 ボディ(body)には、XML IDが“p1”で示され、リージョンIDが“r1”で示され、フォント指定がされると共に、字幕(サブタイトル)のテキストデータが記載されている。ここでは、テキストデータが「ABCDE」とされている。「font-family:’Arial’, ‘Tahoma’, sans-serif」は、p要素のフォントを指定しているフォント指定情報である。ここで、「Arial」、「Tahoma」は個別フォント名を示し、「sans-serif」はフォントのジェネリックファミリー(総称名)を示している。
 「dto:scalingjustify=top」は、リサイズ処理に関する情報を構成しており、字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示している。図示の例では、固定位置とすべきライン位置がトップライン(上のライン)であることを示しているが、図4に示すように、ボトムライン(下のライン)、ミドルライン(中間のライン)などを指定することも可能である。
 図5も、TTML構造の一例を示している。この例は、字幕表示位置(リージョン)が2個の場合の例である。ttルートコンテナは、図3と同様であるので、その説明は省略する。
 ヘッド(head)には、レイアウト(layout)の要素が存在している。第1の字幕表示位置のリージョンIDが“r1”で示され、字幕表示位置情報として字幕表示位置の起点(origin)と、その領域(extent)が相対位置で示されている。すなわち、「origin=“OH1%OV1%”」により、起点が左(left)からOH1%で、上(top)からOV1%であることが示されている。また、「extent=“EH1%EV1%”」により、領域の横幅がEH1%で、その縦幅がEV1%であることが示されている。
 また、第2の字幕表示位置のリージョンIDが“r2”で示され、字幕表示位置情報として字幕表示位置の起点(origin)と、その領域(extent)が相対位置で示されている。すなわち、「origin=“OH2%OV2%”」により、起点が左(left)からOH2%で、上(top)からOV2%であることが示されている。また、「extent=“EH2%EV2%”」により、領域の横幅がEH2%で、その縦幅がEV2%であることが示されている。
 また、ヘッド(head)には、スタイル(style)の要素が存在している。「fontFamily=" proportionalSansSerif"」は、フォント指定情報である。ここで、「proportionalSansSerif」は、フォントのジェネリックファミリー(総称名)を示している。
 ボディ(body)には、第1の字幕位置に関連して、XML IDが“p1”で示され、リージョンIDが“r1”で示され、フォント指定がされると共に、字幕(サブタイトル)のテキストデータが記載されている。ここでは、テキストデータが「ABCDE」とされている。「font-family:’Arial’, ‘Tahoma’, sans-serif」は、p要素のフォントを指定しているフォント指定情報である。ここで、「Arial」、「Tahoma」は個別フォント名を示し、「sans-serif」はフォントのジェネリックファミリー(総称名)を示している。
 「dto:scalingjustify=bottom」は、リサイズ処理に関する情報を構成しており、字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示している。図示の例では、固定位置とすべきライン位置がボトムライン(下のライン)であることを示している。
 また、ボディ(body)には、第2の字幕位置に関連して、XML IDが“p2”で示され、リージョンIDが“r2”で示されると共に、字幕(サブタイトル)のテキストデータが記載されている。ここでは、テキストデータが「FGH」とされている。「font-family=“monospaceSerif“」は、p要素のフォントを指定しているフォント指定情報である。ここで、「monospaceSerif」はフォントのジェネリックファミリー(総称名)を示している。
 (0055)
 「dto:scalingjustify=top」は、リサイズ処理に関する情報を構成しており、字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示している。図示の例では、固定位置とすべきライン位置がトップライン(上のライン)であることを示している。
 図6は、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が同じである場合における字幕(サブタイトル)の表示例を示している。図示の例は、ビデオ領域のアスペクト比が16:9で、モニタのアスペクト比も16:9である場合であって、図3に示すようなTTML構造(字幕表示位置が1個)を持つ場合の例である。
 図示の例では、ビデオ領域を破線枠で示し、モニタ領域を実線枠で示している。この場合、一点鎖線枠で示すように、表示ビデオ領域が字幕表示範囲とされ、それに対する相対位置で指定される字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)に基づき字幕表示位置(リージョン)が決定されている。“RP”は、字幕表示範囲のトップ―レフト(top-left)である基準点(Reference Pont)を示している。
 このように決定された字幕表示位置に、テキストデータによる字幕「ABCDE」が表示されている。なお、図示の例では、ビデオ領域、モニタ領域および字幕表示範囲を示す各枠がずれて表示されているが、各枠を明確に表示するための処置であり、実際には、各枠は重なっている。説明は省略するが、以下の各図においても、同様の表示がなされている。
 図7も、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が同じである場合における字幕(サブタイトル)の表示例を示している。図示の例は、ビデオ領域のアスペクト比が16:9で、モニタのアスペクト比も16:9である場合であって、図5に示すようなTTML構造(字幕表示位置が2個)を持つ場合の例である。
 図示の例では、ビデオ領域を破線枠で示し、モニタ領域を実線枠で示している。この場合、一点鎖線枠で示すように、表示ビデオ領域が字幕表示範囲とされ、それに対する相対位置で指定される字幕表示位置情報(「origin=“OH1%OV1%”」、「extent=“EH1%EV1%”」、「origin=“OH2%OV2%”」、「extent=“EH2%EV2%”」)に基づき、第1、第2の字幕表示位置(リージョン)が決定されている。
 そして、第1の字幕表示位置(第1のリージョン)にテキストデータによる字幕「ABCDE」が表示され、第2の字幕表示位置(第2のリージョン)にテキストデータによる字幕「FGH」が表示されている。この場合、2つの字幕表示位置(リージョン)の間隔は、例えば10ラインとされている。
 図8は、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が異なる場合であって、表示ビデオ領域が字幕表示範囲とされ、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第1の方法)における字幕(サブタイトル)の表示例を示している。図示の例は、ビデオ領域のアスペクト比が16:9で、モニタのアスペクト比は4:3である場合であって、図3に示すようなTTML構造(字幕表示位置が1個)を持つ場合の例である。
 図示の例では、ビデオ領域を破線枠で示し、モニタ領域を実線枠で示している。この場合、一点鎖線枠で示すように、表示ビデオ領域が字幕表示範囲とされ、それに対する相対位置で指定される字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)に基づき字幕表示位置(リージョン)が決定されている。そして、字幕表示位置に、テキストデータによる字幕「ABCDE」が表示されている。
 この場合、字幕表示位置は、図6の場合と比較して、垂直方向には同じ幅となるが、水平方向にはその幅が圧縮されたものとなる。この場合、字幕表示位置の幅が圧縮されることに伴って字幕のフォントサイズも小さいサイズに調整される。このように字幕のフォントサイズが調整されることで、図示のように、水平方向に関しては字幕表示位置とそれに表示される字幕との関係は整合した状態となるが、字幕表示位置の幅が圧縮されていない垂直方向に関しては字幕表示位置とそれに表示される字幕との関係は不整合な状態となる。この場合、視聴者は、字幕表示位置の黒領域が浮いたような感じを受けるようになる。
 そこで、上述したように第1の方法においては、決定された字幕表示位置にリサイズ処理が施され、字幕表示位置とそれに表示される字幕との関係が水平方向だけでなく垂直方向にも整合した状態とされる。図9は、リサイズ処理が施された場合の表示例を示している。この場合、リサイズ処理により、字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)に基づいて決定されることで水平方向にだけ圧縮された字幕表示位置が、垂直方向にも同じ割合で圧縮されたものとされる。この場合、結果的に、字幕表示位置は、字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EVu%”」)で決定されたものとなる。この場合、EVu=3/4*EVの関係となる。
 このようにリサイズ処理が行われる場合、所定のライン位置が固定された状態で垂直方向の幅の圧縮が行われる。図示の例は、TTMLに含まれる「dto:scalingjustify=top」の情報に基づいて、所定のライン位置がトップライン(上のライン)とされた例である。なお、図示の例において、破線枠は、垂直方向の幅の圧縮が行われる前における字幕表示位置を示している。
 図10も、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が異なる場合であって、表示ビデオ領域が字幕表示範囲とされ、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第1の方法)における字幕(サブタイトル)の表示例を示している。図示の例は、ビデオ領域のアスペクト比が16:9で、モニタのアスペクト比は4:3である場合であって、図5に示すようなTTML構造(字幕表示位置が2個)を持つ場合の例であり、リサイズ処理が施された場合の表示例を示している。
 図示の例では、ビデオ領域を破線枠で示し、モニタ領域を実線枠で示している。この場合、一点鎖線枠で示すように、表示ビデオ領域が字幕表示範囲とされ、それに対する相対位置で指定される字幕表示位置情報(「origin=“OH1%OV1%”」、「extent=“EH1%EV1%”」、「origin=“OH2%OV2%”」、「extent=“EH2%EV2%”」)に基づき、第1、第2の字幕表示位置(リージョン)が決定され、その後にさらにリサイズ処理が施されている。
 この場合、第1の字幕表示位置(第1のリージョン)は、結果的に、字幕表示位置情報(「origin=“OH1%OV1%”」、「extent=“EH1%EV1u%”」)で決定されたものとなる。この場合、EV1u=3/4*EV1の関係となる。同様に、この場合、第2の字幕表示位置(第2のリージョン)は、結果的に、字幕表示位置情報(「origin=“OH2%OV2%”」、「extent=“EH2%EV2u%”」)で決定されたものとなる。この場合、EV2u=3/4*EV2の関係となる。
 そして、第1の字幕表示位置(第1のリージョン)にテキストデータによる字幕「ABCDE」が表示され、第2の字幕表示位置(第2のリージョン)にテキストデータによる字幕「FGH」が表示されている。この場合、字幕表示位置(リージョン)の圧縮に応じて、それに整合するように字幕のフォントサイズが調整される。
 リサイズ処理が行われる場合、所定のライン位置が固定された状態で垂直方向の幅の圧縮が行われる。図示の例は、TTMLに含まれる「dto:scalingjustify=bottom」の情報に基づいて、第1の字幕表示位置(第1のリージョン)に関しては、所定のライン位置がボトムライン(下のライン)とされた例である。また、TTMLに含まれる「dto:scalingjustify=top」の情報に基づいて、第2の字幕表示位置(第2のリージョン)に関しては、所定のライン位置がトップライン(上のライン)とされた例である。
 このように第1、第2の字幕表示位置における所定のライン位置が選択されることで、第1、第2の字幕表示位置の間隔として、図7の表示例における場合と同様に例えば10ラインが維持される。そのため、視聴者における、表示画像上における字幕(サブタイトル)の知覚性をほぼ維持することが可能となる
 図11は、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が異なる場合であって、表示ビデオ領域に字幕表示範囲が設定され、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第2の方法)における字幕(サブタイトル)の表示例を示している。図示の例は、ビデオ領域のアスペクト比が16:9で、モニタのアスペクト比は4:3である場合であって、図3に示すようなTTML構造(字幕表示位置が1個)を持つ場合の表示例を示している。
 図示の例では、ビデオ領域を破線枠で示し、モニタ領域を実線枠で示している。この場合、一点鎖線枠で示すように、表示ビデオ領域に字幕表示範囲が設定され、それに対する相対位置で指定される字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)に基づき字幕表示位置(リージョン)が決定されている。そして、字幕表示位置に、テキストデータによる字幕「ABCDE」が表示されている。この場合、字幕表示位置(リージョン)の圧縮に応じて、それに整合するように字幕のフォントサイズが調整される。
 この場合、例えば、表示ビデオ領域に、ビデオ領域のアスペクト比と同じアスペクト比の字幕表示範囲が設定される。図示の例は、TTMLに含まれる字幕表示範囲の情報、すなわち字幕表示範囲の基準点情報(「dto:RPoffset=“Ax%, By%”」)と、字幕表示範囲のアスペクト比情報(「dto:dispasp=“16:9”」)に基づいて、表示ビデオ領域にアスペクト比が16:9である字幕表示範囲が設定された例である。
 この場合、字幕表示位置は、垂直方向および水平方向の双方にその幅が圧縮されたものとなり、字幕表示位置の形状は図6の場合と同じくなり、字幕のフォントサイズの調整に伴う字幕表示位置の調整(リサイズ処理)は不要となる。
 図12も、ビデオ領域のアスペクト比と表示ビデオ領域(モニタに表示されるビデオ領域)のアスペクト比が異なる場合であって、表示ビデオ領域に字幕表示範囲が設定され、字幕表示位置情報に基づいて字幕表示位置が決定される場合(第2の方法)における字幕(サブタイトル)の表示例を示している。図示の例は、ビデオ領域のアスペクト比が16:9で、モニタのアスペクト比は4:3である場合であって、図5に示すようなTTML構造(字幕表示位置が2個)を持つ場合の表示例を示している。
 図示の例では、ビデオ領域を破線枠で示し、モニタ領域を実線枠で示している。この場合、一点鎖線枠で示すように、表示ビデオ領域が字幕表示範囲とされ、それに対する相対位置で指定される字幕表示位置情報(「origin=“OH1%OV1%”」、「extent=“EH1%EV1%”」、「origin=“OH2%OV2%”」、「extent=“EH2%EV2%”」)に基づき、第1、第2の字幕表示位置(リージョン)が決定されている。そして、第1の字幕表示位置(第1のリージョン)にテキストデータによる字幕「ABCDE」が表示され、第2の字幕表示位置(第2のリージョン)にテキストデータによる字幕「FGH」が表示されている。
 [放送送出システムのストリーム生成部の構成例]
 図13は、放送送出システム100のストリーム生成部110の構成例を示している。このストリーム生成部110は、制御部111と、ビデオエンコーダ112と、オーディオエンコーダ113と、テキストフォーマット変換部114と、サブタイトルエンコーダ115と、TSフォーマッタ(マルチプレクサ)116を有している。
 制御部111は、例えば、CPU(Central Processing Unit)を備えた構成とされており、ストリーム生成部110の各部の動作を制御する。ビデオエンコーダ112は、ビデオデータDVを入力し、このビデオデータDVに対して符号化を施し、ペイロードに符号化ビデオデータを持つビデオPESパケットにより構成されるビデオストリーム(PESストリーム)を生成する。オーディオエンコーダ113は、オーディオデータDAを入力し、このオーディオデータDAに対して符号化を施し、符号化オーディオデータを持つオーディオPESパケットにより構成されるオーディオストリーム(PESストリーム)を生成する。
 テキストフォーマット変換部114は、テキストデータ(文字コード)DTを入力し、字幕情報としてのTTML(Timed Text Markup Language)を得る(図3、図5参照)。このTTMLに、字幕表示位置情報が含まれる。この字幕表示位置情報では、字幕表示位置(リージョン)が字幕表示範囲に対する相対位置(プロポーショナルな値)で指定される。また、このTTMLに、フォント指定情報が含まれる。
 また、このTTMLに、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる字幕表示位置のリサイズ処理に関する情報、例えば、字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示す情報が含まれる。また、このTTMLに、字幕表示範囲を決定するための情報(字幕表示範囲の基準点情報およびアスペクト比情報)が含まれる。
 サブタイトルエンコーダ115は、テキストフォーマット変換部114で得られるTTMLを種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したサブタイトルPESパケットにより構成されるサブタイトルストリーム(PESストリーム)を生成する。
 この場合、サブタイトルエンコーダ115は、PESパケットに、TTMLに含まれていると同様のリサイズ処理に関する情報、字幕表示範囲を決定するための情報を挿入する。具体的には、それらの情報を持つ新規定義するTTML・ディスプレイ・セグメント(TTML_display_segment)を生成し、このセグメントをPESパケットに挿入する。
 また、サブタイトルエンコーダ115は、PESパケットに、少なくともTTMLのフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する。具体的には、放送信号(トランスポートストリームTS)からダウンロードするための情報を持つ新規定義するフォント・ダウンロード・セグメント(Font_download_segment)と、ネットワーク上のサーバからダウンロードするための情報を持つ新規定義するURL・シグナリング・セグメント(URL_signaling_segment)を生成し、それらのセグメントをPESパケットに挿入する。
 図14(a)は、サブタイトルPESパケット(PES_packet)の構造例(Syntax)を示している。「PES_startcode_prefix」の24ビットフィールドには、“0x000001”の固定パターンが配置される。「stream_id」の8ビットフィールドは、ストリーム識別子を示す。サブタイトルPESパケットの場合、「private stream1を示す値である“10111101”とされる。「PES_packet_length」の16ビットフィールドは、PESパケットの長さ(サイズ)として以降のバイト数を示す。
 「PES_packet_length」の後に、「Optional_PES_header()」のフィールドが存在する。このフィールドには、PTS,DTSのタイムスタンプなどが配置される。このフィールドの後に、「PES_packet_data_byte」のフィールドが存在する。このフィールドが、PESペイロードに相当する。このフィールドに、データをコンテナするための「PES_data_byte_field()」が配置される。
 図14(b)は、「PES_data_byte_field()」の構造例(Syntax)を示している。「data_identifier」の8ビットフィールドは、コンテナ部分でデータの種類を識別する識別子を示す。従来のサブタイトル(ビットマップの場合)は、“0x20”で示すこととされているので、テキストの場合は新たな値、例えば“0x21”で識別することも可能である。
 「subtitle_stream_id」の8ビットフィールドは、サブタイトルストリームの種類を識別する識別子を示す。テキスト情報を伝送するサブタイトルストリームの場合は新たな値、例えば“0x01”とし、従来のビットマップを伝送するサブタイトルストリーム“0x00”と区別することが可能である。
 この「subtitle_stream_id」のフィールドの後に、“00001111”のパターンに続いて、「TimedTextSubtitling_segments()」のフィールドが存在する。このフィールドに、セグメントパケットが配置される。このフィールドの後に、「end_of_PES_data_field_marker」の8ビットフィールドが存在する。このフィールドは、PESパケットの最後を示すマーカである。
 図15は、セグメントタイプ(segment_type)の定義の一例を示している。“0xA0”は、TTMLのドキュメントの全体を伝送するセグメントであることを示す。“0xA1”は、<tt>の部分を伝送するセグメントであることを示す。“0xA2”は、<head>の部分を伝送するセグメントであることを示す。“0xA3”は、<body>の部分を伝送するセグメントパケットであることを示す。“0xA4”は、TTML・ディスプレイ・セグメントであることを示す。“0xA5”は、フォント・ダウンロード・セグメントであることを示す。“0xA6”は、URL・シグナリング・セグメントであることを示す。
 図16は、TTML・ディスプレイ・セグメント(TTML_display_segment)の構造例(Syntax)を示している。図17は、その構造例における主要な情報の内容(Semantics)を示している。「sync_byte」の8ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の8ビットフィールドは、セグメントの種類を示す。このTTML・ディスプレイ・セグメントの場合、「segment_type」は“0xA4”とされ(図15参照)、TTML・ディスプレイ・セグメントであることを示す。「segment_length」の16ビットフィールドは、TTML・ディスプレイ・セグメントの長さ(サイズ)として以降のバイト数を示す。
 「tds_version_number」の4ビットフィールドは、TTML・ディスプレイ・セグメントの更新を示す。要素に変化がある場合、値を一つ増加する。「display_aspect_type」の8ビットフィールドは、字幕表示範囲のアスペクト比を示す。例えば、“0x01”は16:9を示し、“0x02”は4:3を示し、“0x03”は21:9を示す。このフィールドの情報は、TTMLにおける「dto:dispasp」の情報に対応する(図3、図5参照)。
 「reference_point_offset_v」の8ビットフィールドは、表示ビデオ領域の垂直水平を100%としたときの字幕表示範囲の基準点の垂直位置を、表示ビデオ領域の左上(top-left)からのオフセットの比率で示す。「reference_point_offset_h」の8ビットフィールドは、表示ビデオ領域の垂直水平を100%としたときの字幕表示範囲の基準点の水平位置を、表示ビデオ領域の左上(top-left)からのオフセットの比率で示す。これらのフィールドの情報は、TTMLにおける「dto:RPoffset」の情報に対応する(図3、図5参照)。
 「scaling_justify_flag」の1ビットフィールドは、リージョン(region)のスケーリングを行う場合に、スケーリングの基準点を指定するか否かを示す。“1”は基準点を指定することを示し、“0”は基準点を指定しないことを示す。基準点を指定する場合、リージョンが複数ある際には、最上位置のリージョンはリージョンの下部を基準(bottom_line_justified)とし、最下位置のリージョンはリージョンの上部を基準(top_line_justified)とする。このフィールドの情報は、TTMLにおける「dto:scalingjustify」の情報に対応する(図3、図5参照)。
 図18は、フォント・ダウンロード・セグメント(Font_download_segment)の構造例(Syntax)を示している。図19は、その構造例における主要な情報の内容(Semantics)を示している。「sync_byte」の8ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の8ビットフィールドは、セグメントの種類を示す。このフォント・ダウンロード・セグメントの場合、「segment_type」は“0xA5”とされ(図15参照)、フォント・ダウンロード・セグメントであることを示す。「segment_length」の16ビットフィールドは、フォント・ダウンロード・セグメントの長さ(サイズ)として以降のバイト数を示す。「fds_version_number」の4ビットフィールドは、フォント・ダウンロード・セグメントの更新を示す。要素に変化がある場合、値を一つ増加する。
 「original_network_id」の16ビットフィールドは、ダウンロードデータが伝送されるネットワークの識別情報を示す。「transport_stream_id」の16ビットフィールドは、個別のトランスポートストリームの識別情報を示す。「service_id」の16ビットフィールドは、ダウンロードが行われるサービスの識別情報を示す。配信メディア間共通のダウンロード対象の場合、自身のトランスポートストリームではなく、他のトランスポートストリームでフォントファイルが送られていることもあり、その場合の参照先のプライベートセクションを特定する情報として、これらの「original_network_id」、「transport_stream_id」、「service_id」の情報が指定できるようになっている。
 「font_file_id」の8ビットフィールドは、フォントファイルに割り当てられた識別番号を示す。「ISO_639_language_code」の24ビットフィールドは、言語を識別させる3文字からなるコードを示す。例えば、“jpn”は日本語を示し、“eng”は英語を示す。「font_group_id」の8ビットフィールドは、フォントグループの識別情報を示し、TTMLのジェネリックファミリーに相当する。「font_name_id」の8ビットフィールドは、個別フォント名を示す。
 「text_length」の8ビットフィールドは、以降の文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。例えば、文字コードとして、個別フォント名などを示す文字コードを配置することが可能である。
 なお、図18の例では、一つのフォントファイルのダウンロード情報を含むものであるが、複数のフォントファイルのダウンロード情報を含めることも可能である。その場合には、forループにより、「original_network_id」からのフィールドが繰り返される構造となる。あるいは、フォント・ダウンロード・セグメント(Font_download_segment)を複数伝送することで複数のフォントファイルのダウンロード情報供給とすることも可能である。
 図20は、URL・シグナリング・セグメント(URL_signaling_segment)の構造例(Syntax)を示している。図21は、その構造例における主要な情報の内容(Semantics)を示している。「sync_byte」の8ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の8ビットフィールドは、セグメントの種類を示す。このURL・シグナリング・セグメントの場合、「segment_type」は“0xA6”とされ(図15参照)、URL・シグナリング・セグメントであることを示す。「segment_length」の16ビットフィールドは、フォント・ダウンロード・セグメントの長さ(サイズ)として以降のバイト数を示す。「uss_version_number」の4ビットフィールドは、URL・シグナリング・セグメントの更新を示す。要素に変化がある場合、値を一つ増加する。
 「ISO_639_language_code」の24ビットフィールドは、言語を識別させる3文字からなるコードを示す。例えば、“jpn”は日本語を示し、“eng”は英語を示す。「font_group_id」の8ビットフィールドは、フォントグループの識別情報を示し、TTMLのジェネリックファミリーに相当する。「font_name_id」の8ビットフィールドは、個別フォント名を示す。
 「url_type」の8ビットフィールドは、サーバのタイプを示す。例えば、“0x01”はフォントサーバ(非圧縮URL)を示し、“0x02”は一般のサーバ(非圧縮URL)を示し、“0x11”はフォントサーバ(圧縮URL)を示し、“0x12”は一般のサーバ(圧縮URL)を示す。「url_string_length」の8ビットフィールドは、以降のURLの文字列を示す文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。
 なお、図20の例では、一つのフォントファイルのダウンロード情報を含むものであるが、複数のフォントファイルのダウンロード情報を含めることも可能である。その場合には、forループにより、「ISO_639_language_code」からのフィールドが繰り返される構造となる。あるいは、URL・シグナリング・セグメント(URL_signaling_segment)を複数伝送することで複数のフォントファイルのダウンロード情報供給とすることも可能である。
 図13に戻って、TSフォーマッタ116は、ビデオエンコーダ112で生成されたビデオストリーム、オーディオエンコーダ113で生成されたオーディオストリームおよびサブタイトルエンコーダ115で生成されたサブタイトルストリームを、トランスポートパケット化して多重し、コンテナ(多重化ストリーム)としてのトランスポートストリームTSを得る。
 この場合、TSフォーマッタ116は、PMT(Program Map Table)に、TTMLに含まれていると同様のリサイズ処理に関する情報、字幕表示範囲を決定するための情報を挿入する。具体的には、それらの情報を持つ新規定義するTTML・ディスプレイ・デスクリプタ(TTML_display_descriptor)を生成し、このデスクリプタをPMTに挿入する。
 また、TSフォーマッタ116は、PMTに、少なくともTTMLのフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する。具体的には、放送信号(トランスポートストリームTS)からダウンロードするための情報を持つ新規定義するフォント・ダウンロード・デスクリプタ(Font_download_descriptor)と、ネットワーク上のサーバからダウンロードするための情報を持つ新規定義するURL・シグナリング・デスクリプタ(URL_signaling_descriptor)を生成し、それらのデスクリプタをPMTに挿入する。
 図22は、TTML・ディスプレイ・デスクリプタ(TTML_display_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、TTML・ディスプレイ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 「display_aspect_type」の8ビットフィールドは、字幕表示範囲のアスペクト比を示す。このフィールドの情報は、TTMLにおける「dto:dispasp」の情報に対応する(図3、図5参照)。
 「reference_point_offset_v」の8ビットフィールドは、表示ビデオ領域の垂直水平を100%としたときの字幕表示範囲の基準点の垂直位置を、表示ビデオ領域の左上(top-left)からのオフセットの比率で示す。「reference_point_offset_h」の8ビットフィールドは、表示ビデオ領域の垂直水平を100%としたときの字幕表示範囲の基準点の水平位置を、表示ビデオ領域の左上(top-left)からのオフセットの比率で示す。これらのフィールドの情報は、TTMLにおける「dto:RPoffset」の情報に対応する(図3、図5参照)。
 「scaling_justify_flag」の1ビットフィールドは、リージョン(region)のスケーリングを行う場合に、スケーリングの基準点を指定するか否かを示す。“1”は基準点を指定することを示し、“0”は基準点を指定しないことを示す。このフィールドの情報は、TTMLにおける「dto:scalingjustify」の情報に対応する(図3、図5参照)。
 「text_length」の8ビットフィールドは、以降の文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。例えば、文字コードとして、アスペクト比など示す文字コードを配置することが可能である。
 図23は、フォント・ダウンロード・デスクリプタ(Font_download_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、フォント・ダウンロード・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 「original_network_id」の16ビットフィールドは、ダウンロードデータが伝送されるネットワークの識別情報を示す。「transport_stream_id」の16ビットフィールドは、個別のトランスポートストリームの識別情報を示す。「service_id」の16ビットフィールドは、ダウンロードが行われるサービスの識別情報を示す。配信メディア間共通のダウンロード対象の場合、自身のトランスポートストリームではなく、他のトランスポートストリームでフォントファイルが送られていることもあり、その場合の参照先のプライベートセクションを特定する情報として、これらの「original_network_id」、「transport_stream_id」、「service_id」の情報が指定できるようになっている。
 「font_file_id」の8ビットフィールドは、フォントファイルに割り当てられた識別番号を示す。「ISO_639_language_code」の24ビットフィールドは、言語を識別させる3文字からなるコードを示す。「font_group_id」の8ビットフィールドは、フォントグループの識別情報を示し、TTMLのジェネリックファミリーに相当する。「font_name_id」の8ビットフィールドは、個別フォント名を示す。
 「text_length」の8ビットフィールドは、以降の文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。例えば、文字コードとして、個別フォント名などを示す文字コードを配置することが可能である。
 なお、図23の例では、一つのフォントファイルのダウンロード情報を含むものであるが、複数のフォントファイルのダウンロード情報を含めることも可能である。その場合には、forループにより、「original_network_id」からのフィールドが繰り返される構造となる。
 図24は、フォント・ダウンロード・デスクリプタ(Font_download_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、フォント・ダウンロード・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 「ISO_639_language_code」の24ビットフィールドは、言語を識別させる3文字からなるコードを示す。「font_group_id」の8ビットフィールドは、フォントグループの識別情報を示し、TTMLのジェネリックファミリーに相当する。「font_name_id」の8ビットフィールドは、個別フォント名を示す。「url_type」の8ビットフィールドは、サーバのタイプを示す。「url_string_length」の8ビットフィールドは、以降のURLの文字列を示す文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。
 なお、図24の例では、一つのフォントファイルのダウンロード情報を含むものであるが、複数のフォントファイルのダウンロード情報を含めることも可能である。その場合には、forループにより、「ISO_639_language_code」からのフィールドが繰り返される構造となる。
 上述したように、PESパケットに挿入されるフォント・ダウンロード・セグメント(図18参照)、あるいはPMTに挿入されるフォント・ダウンロード・デスクリプタ(図23参照)に含まれる情報に基づいて、テレビ受信機200は、図25(a)に「Font download case(Case1)」として示すように、トランスポートストリームTS(放送信号)から、TTMLのフォント指定情報で指定されているフォントのファイルを取得できる。
 また、上述したように、PESパケットに挿入されるURL・シグナリング・セグメント(図20参照)、あるいはPMTに挿入されるフォント・ダウンロード・デスクリプタ(図24参照)に含まれる情報に基づいて、テレビ受信機200は、図25(b)に「Font download case(Case2)」として示すように、ネットワーク上のサーバから、TTMLのフォント指定情報で指定されているフォントのファイルを取得できる。
 図13に戻って、TSフォーマッタ116は、トランスポートストリームTSに、それぞれ異なるフォントファイル(Font file)を持つ所定数のセクションテーブルを順次繰り返し挿入する。つまり、放送送出システム100は、この所定数のセクションテーブルをデータカルーセルで繰り返し送信する。
 図26は、フォントファイル(Font file)を持つN個のセクションテーブルの他に、フォントテーブル(Font table)を持つ1個のセクションテーブルがデータカルーセルで繰り返し送信され、受信機200はそれらのセクションテーブルをそのタイミングが限定されることなく受信可能であることを模式的に示している。
 ここで、フォントファイルやフォントテーブルを持つセクションテーブルとして、プライベートセクションテーブルとしてのフォント・ダウンローディング・セクションテーブル(FDT:Font_downloading_section table)を新規定義する。フォント・ダウンローディング・セクションテーブルには、テーブル構造は後述するが、「data_downloading_id」、「section_number」、「last_section_number」などのフィールドが存在する。
 図26に示すように、巡回するフォント・ダウンローディング・セクションテーブルの「data_downloading_id」のフィールドには例えば0からNまでの値が挿入されてそれぞれのセクションテーブルの識別が可能とされる。巡回するフォント・ダウンローディング・セクションテーブルの「section_number」のフィールドにも「data_downloading_id」のフィールドと同様の値が挿入され、各セクションテーブルの「last_section_number」のフィールドにはNの値が挿入される。
 受信機200は、巡回供給中の位置関係を、受信したフォント・ダウンローディング・セクションテーブルの「section_number」、「last_section_number」のフィールドの値で認識できる。つまり、受信機200は、「section_number」のフィールドの値で現在のセクションテーブルの位置を認識し、「section_number」のフィールドの値が「last_section_number」のフィールドの値と一致するとき巡回する最後のセクションテーブルであることを認識し、一巡で全てのセクションテーブルを取得することに利用できる。
 図27は、フォント・ダウンローディング・セクションテーブル(Font_downloading_section table)の構造例(Syntax)を示している。図28は、その構造例における主要な情報の内容(Semantics)を示している。
 「table_id」の8ビットフィールドは、テーブル識別情報を示す。このテーブル識別情報としてフォント・ダウンローディング・セクションテーブルを示す値が指定される。「data_downloading_id」の16ビットフィールドは、ダウンロードデータの識別情報で「original_network_id」ごとに定義されるユニーク値を示す。例えば、“0x00”でフォントテーブル情報であることを示し、“0x00”以外でフォントファイル情報であることを示す。「version_number」の5ビットフィールドは、フォント・ダウンローディング・セクションテーブルの更新を示す。要素に変化がある場合、値を一つ増加する。
 「original_network_id」の16ビットフィールドは、ダウンロードデータが伝送されるネットワークの識別情報を示す。「transport_stream_id」の16ビットフィールドは、個別のトランスポートストリームの識別情報を示す。「service_id」の16ビットフィールドは、ダウンロードが行われるサービスの識別情報を示す。これら3つの識別情報を共に用いることで、配信メディア間共通のダウンロード対象とすることが可能になる。
 「descriptor()」のフィールドには、「data_downloading_id」が“0x00”であるときはフォント・テーブル・デスクリプタ(Font_table_descriptor)が配置され、「data_downloading_id」が“0x00”以外であるときはフォント・ファイル・デスクリプタ(Font_file_descriptor)が配置される。また、「data_downloading_id」が“0x00”以外であるとき、「data_byte」のフィールドにフォントファイル(Font file)が配置される。
 図29は、「data_downloading_id」が“0x00”であるときにフォント・ダウンローディング・セクションテーブルに記述されるフォントテーブル情報を概略的に示している。この場合、上述したように、フォント・ダウンローディング・セクションテーブルには、「descriptor()」のフィールドにフォント・テーブル・デスクリプタ(Font_table_descriptor)が配置される。
 フォント・テーブル・デスクリプタには、巡回送信される所定数のフォントファイルの情報が記述される。フォントファイルの情報として、「Font_file_id」、「ISO_639_language_code」、「font_group_id」、「font_name_id」などの情報が含まれる。「font_file_id」は、フォントファイルに割り当てられた識別番号を示す。「ISO_639_language_code」は、言語の識別コードを示す。「font_group_id」は、フォントグループの識別情報を示す。「font_name_id」は、個別フォント名を示す。図30は、「font_group_id」の値とフォントグループとの対応関係を示している。
 図31は、フォント・テーブル・デスクリプタ(Font_table_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、フォント・テーブル・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 「number_of_font_files」の8ビットフィールドは、フォントファイルの数を示す。このフォントファイルの数だけ、「Font_file_id」の8ビットフィールド、「ISO_639_language_code」の24ビットフィールド、「font_group_id」の8ビットフィールド、「font_name_id」の8ビットフィールドが存在する。
 「text_length」の8ビットフィールドは、以降の文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。例えば、文字コードとして、個別フォント名などを示す文字コードを配置することが可能である。
 図32は、「data_downloading_id」が“0x00”以外であるときにフォント・ダウンローディング・セクションテーブルに記述されるフォントテーブル情報を概略的に示している。この場合、上述したように、フォント・ダウンローディング・セクションテーブルには、「descriptor()」のフィールドにフォント・ファイル・デスクリプタ(Font_file_ descriptor)が配置され、さらに「data_byte」のフィールドにフォントファイル(Font file)が配置される。
 フォント・ファイル・デスクリプタには、送信されるフォントファイルの情報が記述される。フォントファイルの情報として、「Font_file_id」、「ISO_639_language_code」、「font_group_id」、「font_name_id」などの情報が含まれる。「font_file_id」は、フォントファイルに割り当てられた識別番号を示す。「ISO_639_language_code」は、言語の識別コードを示す。「font_group_id」は、フォントグループの識別情報を示す。「font_name_id」は、個別フォント名を示す。
 図33は、フォント・ファイル・デスクリプタ(Font_file_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、フォント・ファイル・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 送信するフォントファイルの情報を示す、「Font_file_id」の8ビットフィールド、「ISO_639_language_code」の24ビットフィールド、「font_group_id」の8ビットフィールド、「font_name_id」の8ビットフィールドが存在する。「text_length」の8ビットフィールドは、以降の文字コード部分の長さ(サイズ)をバイト数で示す。文字コードは、「char」のフィールドに配置される。例えば、文字コードとして、個別フォント名などを示す文字コードを配置することが可能である。
 図13に示すストリーム生成部110の動作を簡単に説明する。ビデオデータDVは、ビデオエンコーダ112に供給される。ビデオエンコーダ112では、このビデオデータDVに対して符号化が施され、ペイロードに符号化画像データを持つビデオPESパケットからなるビデオストリーム(PESストリーム)が生成される。このビデオストリームは、TSフォーマッタ116に供給される。
 また、オーディオデータDAは、オーディオエンコーダ113に供給される。オーディオエンコーダ113では、オーディオデータDAに対して符号化が施され、符号化音声データを持つオーディオPESパケットからなるオーディオストリーム(PESストリーム)が生成される。このオーディオストリームは、TSフォーマッタ116に供給される。
 また、テキストデータ(文字コード)DTは、テキストフォーマット変換部114に供給される。このキストフォーマット変換部114では、字幕情報としてのTTMLが得られる(図3、図5参照)。このTTMLには、字幕表示位置(リージョン)を字幕表示範囲に対する相対位置(プロポーショナルな値)で指定する字幕表示位置情報が含まれている。また、TTMLには、フォント指定情報が含まれている。また、TTMLには、字幕表示位置情報を用いて字幕を表示するときに使用される補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)が含まれている。
 このTTMLは、サブタイトルエンコーダ115に供給される。このサブタイトルエンコーダ115では、TTMLが種々のセグメントに変換され、ペイロードにそれらのセグメントを配置したサブタイトルPESパケットからなるサブタイトルストリームが生成される。このサブタイトルストリームは、TSフォーマッタ116に供給される。
 この場合、サブタイトルエンコーダ115では、PESパケットに、TTMLに含まれていると同様の、字幕表示位置情報を用いて字幕を表示するときに使用される補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)が挿入される。具体的には、それらの情報を持つTTML・ディスプレイ・セグメント(図16参照))が生成され、このセグメントがPESパケットに挿入される。
 また、サブタイトルエンコーダ115では、PESパケットに、少なくともTTMLのフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入される。具体的には、放送信号(トランスポートストリームTS)からダウンロードするための情報を持つフォント・ダウンロード・セグメント(図18参照))と、ネットワーク上のサーバからダウンロードするための情報を持つURL・シグナリング・セグメント(図20参照)が生成され、それらのセグメントがPESパケットに挿入される。
 TSフォーマッタ116では、ビデオエンコーダ112で生成されたビデオストリーム、オーディオエンコーダ113で生成されたオーディオストリームおよびサブタイトルエンコーダ115で生成されたサブタイトルストリームが、トランスポートパケット化されて多重化され、コンテナ(多重化ストリーム)としてのトランスポートストリームTSが生成される。
 この場合、TSフォーマッタ116では、PMTに、TTMLに含まれていると同様の、字幕表示位置情報を用いて字幕を表示するときに使用される補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)が挿入される。具体的には、それらの情報を持つTTML・ディスプレイ・デスクリプタ(図22参照)が生成され、このデスクリプタがPMTに挿入される。
 また、TSフォーマッタ116では、PMTに、少なくともTTMLのフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入される。具体的には、放送信号(トランスポートストリームTS)からダウンロードするための情報を持つフォント・ダウンロード・デスクリプタ(図23参照)と、ネットワーク上のサーバからダウンロードするための情報を持つ新規定義するURL・シグナリング・デスクリプタ(図24参照)が生成され、それらのデスクリプタがPMTに挿入される。
 「トランスポートストリームTSの構成例」
 図34は、トランスポートストリームTSの構成例を示している。この構成例では、ビデオ、オーディオの部分についての構成は省略されている。この構成例では、サブタイトルストリームのPESパケットであるサブタイトルPESパケット「Subtitle PES」が存在する。
 サブタイトルPESパケットにおいて、PESヘッダにはPTSのタイムスタンプが挿入されており、PESペイロードには、TTMLのドキュメントの全体、あるいはTTMLのドキュメントの分割部分を持つセグメント(タイムド・テキスト・サブタイトリング・セグメント:TimedText subtitle segments)が挿入されている。このセグメントには、リサイズ処理に関する情報(「dto:scalingjustify」)、字幕表示範囲を決定するための情報(「dto:dispasp」、「dto:RPoffset」)が含まれている。
 また、このセグメントには、フォント指定情報(「fontFamily」)が含まれている。なお、このセグメントに、後述するように、ダウンロード情報(「fontdlurl=http://www.w3.org/ns/fontdlservice」、「fontdlurl:iso639languagecode="value"」、「fontdlurl:fontgroupid="value"」、「fontdlurl:fontnameid="value"、「fontdlurl:fontname="value“」を含めることも考えられる。
 また、サブタイトルPESパケットのPESペイロードには、TTML・ディスプレイ・セグメント(TTML_display_segment)(図16参照)が挿入されている。このセグメントには、上述のタイムド・テキスト・サブタイトリング・セグメント(TimedText subtitle segments)に含まれているリサイズ処理に関する情報(「dto:scalingjustify」)、字幕表示範囲を決定するための情報(「dto:dispasp」、「dto:RPoffset」)にそれぞれ対応した、リサイズ処理に関する情報(「scaling_justify_flag」)、字幕表示範囲を決定するための情報(「display_aspect_type」、「reference_point_offset_v, reference_point_offset_h」)が挿入されている。
 また、サブタイトルPESパケットのPESペイロードには、フォント・ダウンロード・セグメント(Font_download_segment) (図18参照)が挿入されている。このセグメントには、上述のタイムド・テキスト・サブタイトリング・セグメント(TimedText subtitle segments)に含まれているフォント指定情報(「fontFamily」)で指定されているフォントのファイルを放送信号(トランスポートストリームTS)からダウンロードするための情報(「font_file_id」、「ISO_639_language_code」、「font_group_id」、「font_name_id」など)が挿入されている。
 また、サブタイトルPESパケットのPESペイロードには、URL・シグナリング・セグメント(URL_signalin_segment)(図20参照)が挿入されている。このセグメントには、上述のタイムド・テキスト・サブタイトリング・セグメント(TimedText subtitle segments)に含まれているフォント指定情報(「fontFamily」)で指定されているフォントのファイルをネットワーク上のサーバからダウンロードするための情報(「ISO_639_language_code」、「font_group_id」、「font_name_id」、「url_type」、「URL」など)が挿入されている。
 また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームTSに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、サブタイトルストリームに関連した情報を持つサブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)が存在する。
 このサブタイトルエレメンタリストリーム・ループには、サブタイトルストリームに対応して、PID(パケット識別子)等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。デスクリプタとして、TTML・ディスプレイ・デスクリプタ(TTML_display_descriptor)(図22参照)、フォント・ダウンロード・デスクリプタ(Font_download_descriptor)(図23参照)、URL・シグナリング・デスクリプタ(URL_signaling_descriptor)(図24参照)が配置される。
 TTML・ディスプレイ・デスクリプタには、リサイズ処理に関する情報(「scaling_justify_flag」)、字幕表示範囲を決定するための情報(「display_aspect_type」、「reference_point_offset_v, reference_point_offset_h」)が挿入されている。フォント・ダウンロード・デスクリプタには、フォント・ダウンロード・セグメントと同様のダウンロード情報(「font_file_id」、「ISO_639_language_code」、「font_group_id」、「font_name_id」など)が挿入されている。URL・シグナリング・デスクリプタには、URL・シグナリング・セグメントと同様のダウンロード情報(「ISO_639_language_code」、「font_group_id」、「font_name_id」、「url_type」、「URL」など)が挿入されている。
 なお、トランスポートストリームTSのEIT(Event Information Table)の配下に、フォント・ダウンロード・デスクリプタおよびURL・シグナリング・デスクリプタが配置されてもよい。これにより、番組毎に、ダウンロード情報を記述することが可能となる。
 また、トランスポートストリームTSには、FDT(Font_downloading_section table)(図27参照))が含まれている。これにより、データカルーセルでフォントテーブル・ファイルを巡回供給する。このFDTには、フォント・テーブル・デスクリプタ(Font_table_descriptor)(図31参照)、あるいはフォント・ファイル・デスクリプタ(Font_file_ descriptor)(図33参照)とフォントファイル(Font_file)が挿入されている。なお、このFDTは、当該トランスポートストリームTSに存在しない場合もある。その場合、受信機200は、PESパケットのフォント・ダウンロード・セグメントあるいはPMTのフォント・ダウンロード・デスクリプタに含まれるダウンロード情報に基づいてフォントファイルをダウンロードする場合には、他のトランスポートストリームTSからフォントファイルをダウンロードすることとなる。
 [テレビ受信機の構成例]
 図35は、テレビ受信機200の構成例を示している。このテレビ受信機200は、受信部201と、TS解析部(デマルチプレクサ)202と、ビデオデコーダ203と、ビデオ重畳部204と、パネル駆動回路205と、モニタ(ディスプレイ)としての表示パネル206を有している。また、このテレビ受信機200は、オーディオデコーダ207と、オーディオ出力回路208と、スピーカ209と、サブタイトルデコーダ210を有している。また、このテレビ受信機200は、CPU221と、フラッシュROM222と、DRAM223と、内部バス224と、リモコン受信部225と、リモコン送信機226と、通信インタフェース227を有している。
 CPU221は、テレビ受信機200の各部の動作を制御する。フラッシュROM222は、制御ソフトウェアの格納およびデータの保管を行う。DRAM223は、CPU221のワークエリアを構成する。CPU221は、フラッシュROM222から読み出したソフトウェアやデータをDRAM223上に展開してソフトウェアを起動させ、テレビ受信機200の各部を制御する。
 リモコン受信部225は、リモコン送信機226から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU221に供給する。CPU221は、このリモコンコードに基づいて、テレビ受信機200の各部を制御する。CPU221、フラッシュROM222およびDRAM223は、内部バス224に接続されている。
 通信インタフェース227は、CPU221の制御のもと、インターネット等のネットワーク上に存在するサーバとの間で通信を行う。この通信インタフェース227は、内部バス224に接続されている。
 受信部201は、放送送出システム100から放送波に載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したように、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。TS解析部202は、トランスポートストリームTSからビデオ、オーディオ、サブタイトルの各ストリームのPESパケットを抽出する。この場合、TS解析部202は、各TSパケットのヘッダに挿入されている種々の情報を解析し、“PID”に基づいてビデオ、オーディオ、サブタイトルの各PESパケットのデータを含むTSパケットを選択的に抽出して、ビデオ、オーディオ、サブタイトルの各PESパケットを得る。
 また、TS解析部202は、各TSパケットのヘッダに挿入されている種々の情報を解析し、“PID”に基づいてトランスポートストリームTSに挿入されている種々の情報を抽出し、CPU221に送る。この情報には、TTML・ディスプレイ・デスクリプタ(TTML_display_descriptor)(図22参照)、フォント・ダウンロード・デスクリプタ(Font_download_descriptor)(図23参照)およびURL・シグナリング・デスクリプタ(URL_signaling_descriptor)(図24参照)も含まれる。
 CPU221は、TTML・ディスプレイ・デスクリプタから、サブタイトルストリームが持つTTMLの字幕表示位置情報を用いて字幕を表示するときに使用される補助情報としてのリサイズ処理に関する情報(「scaling_justify_flag」)、字幕表示範囲を決定するための情報(「display_aspect_type」、「reference_point_offset_v, reference_point_offset_h」)を取得する。
 また、CPU221は、フォント・ダウンロード・デスクリプタから、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを放送信号(トランスポートストリームTS)からダウンロードするための情報(「font_file_id」、「ISO_639_language_code」、「font_group_id」、「font_name_id」など)を取得する。
 また、CPU221は、URL・シグナリング・デスクリプタから、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルをネットワーク上のサーバからダウンロードするための情報(「ISO_639_language_code」、「font_group_id」、「font_name_id」、「url_type」、「URL」など)を取得する。
 また、TS解析部202で抽出される情報には、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを放送信号(トランスポートストリームTS)からダウンロードする場合におけるFDT(Font_downloading_section table)(図27参照))も含まれる。CPU221は、このFDTからサブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを取得する。
 オーディオデコーダ207は、TS解析部202で得られたオーディオPESパケットにデコード処理を施し、オーディオデータを得る。オーディオ出力回路208は、オーディオデータに対して、D/A変換や増幅等の必要な処理を施し、スピーカ209に供給する。ビデオデコーダ203は、TS解析部202で得られたビデオPESパケットにデコード処理を施し、ビデオデータを得る。なお、ビデオデコーダ203は、表示モードなどに応じて、適宜、ビデオデータの解像度変換も行う。例えば、ビデオ領域のアスペクト比が16:9でモニタ(ディスプレイ)のアスペクト比が4:3であって、表示モードがレターボックスである場合には、ビデオデータの解像度変換が行われる。
 サブタイトルデコーダ210は、TS解析部202で得られたサブタイトルPESパケットにデコード処理を施し、タイムド・テキスト・サブタイトリング・セグメント(TimedText subtitle segments)からTTMLを得て、CPU221に送る。CPU221は、このTTMLから、字幕表示位置(リージョン)を字幕表示範囲に対する相対位置(プロポーショナルな値)で指定する字幕表示位置情報、さらにはこの字幕表示位置情報を用いて字幕を表示するときに使用される補助情報としてのリサイズ処理に関する情報(「dto:scalingjustify」)、字幕表示範囲を決定するための情報(「dto:dispasp」、「dto:RPoffset」)などを取得する。
 また、サブタイトルデコーダ210は、TS解析部202で得られたサブタイトルPESパケットに含まれるTTML・ディスプレイ・セグメント(TTML_display_segment)(図16参照)、フォント・ダウンロード・セグメント(Font_download_segment) (図18参照)、URL・シグナリング・セグメント(URL_signalin_segment)(図20参照)を抽出し、CPU221に送る。
 CPU221は、TTML・ディスプレイ・セグメントから、サブタイトルストリームが持つTTMLの字幕表示位置情報を用いて字幕を表示するときに使用される補助情報としてのリサイズ処理に関する情報(「scaling_justify_flag」)、字幕表示範囲を決定するための情報(「display_aspect_type」、「reference_point_offset_v, reference_point_offset_h」)を取得する。
 また、CPU221は、フォント・ダウンロード・セグメントから、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを放送信号(トランスポートストリームTS)からダウンロードするための情報(「font_file_id」、「ISO_639_language_code」、「font_group_id」、「font_name_id」など)を取得する。
 また、CPU221は、URL・シグナリング・セグメントから、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルをネットワーク上のサーバからダウンロードするための情報(「ISO_639_language_code」、「font_group_id」、「font_name_id」、「url_type」、「URL」など)を取得する。
 また、サブタイトルデコーダ210は、CPU221の制御のもと、TTMLに含まれる各字幕表示位置(リージョン)の字幕(サブタイトル)のテキストデータ(フォントデータ)を、ビットマップデータ(バイナリイメージ情報)に変換する。この場合、字幕のフォントサイズは、CPU221の制御のもと、字幕表示位置情報により決定された、あるいはさらにリサイズ処理されて得られた字幕表示位置の大きさに応じて、TTMLで指定されたフォントサイズから適宜調整されたものとされる。
 CPU221は、字幕表示位置情報に基づいて字幕表示位置を決定し、さらに、必要に応じて、決定された字幕表示位置にリサイズ処理を施す。この際、CPU221は、適宜、上述したようにTTML、PESパケット、PMT等に挿入されている補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)を使用する。CPU221における字幕表示位置の決定およびリサイズ処理の手順の詳細については、さらに後述する。
 また、サブタイトルデコーダ210は、CPU221の制御のもと、字幕のビットマップデータを得る際、TTMLが有するフォント指定情報で指定されるフォントのファイルを用いる。テレビ受信機200がフォント指定情報で指定されるフォントのファイルを搭載していないとき、CPU221は、適宜、上述したようにPESパケット、PMT等に挿入されているダウンロード情報に基づいて当該フォントファイルを放送信号(トランスポートストリームTS)あるいはネットワーク上のサーバからダウンロードして使用する。なお、当該ファイルのダウンロードができなかったときは、代用のフォントファイル(例えば、デフォルトのフォントファイル)を使用する。CPU221における使用フォントファイルの決定処理の手順の詳細については、さらに後述する。
 ビデオ重畳部204は、CPU221の制御のもと、ビデオデコーダ203で得られたビデオデータに、サブタイトルデコーダ210で得られた各字幕表示位置の字幕のビットマップデータを重畳し、表示用ビデオデータを得る。この場合、CPU221は、上述したように字幕表示位置情報により決定された、あるいはさらにリサイズ処理されて得られた字幕表示位置に基づいて、字幕のビットマップデータの重畳位置が字幕表示位置となるように制御する。
 パネル駆動回路205は、ビデオ重畳部204で得られる表示用のビデオデータに基づいて、表示パネル206を駆動する。表示パネル206は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成されている。
 図35に示すテレビ受信機200の動作を簡単に説明する。受信部201では、放送送出システム100から放送波に載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSには、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。このトランスポートストリームTSは、TS解析部202に供給される。TS解析部202では、トランスポートストリームTSからビデオ、オーディオ、サブタイトルの各ストリームのPESパケットが抽出される。
 また、TS解析部202では、トランスポートストリームTSに挿入されている種々の情報が抽出され、CPU221に送られる。この情報には、TTML・ディスプレイ・デスクリプタ)、フォント・ダウンロード・デスクリプタおよびURL・シグナリング・デスクリプタも含まれる。
 これにより、CPU221では、サブタイトルストリームが持つTTMLの字幕表示位置情報を用いて字幕を表示するときに使用される補助情報(サイズ処理に関する情報、字幕表示範囲を決定するための情報が取得される。また、CPU221では、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを放送信号(トランスポートストリームTS)やネットワーク上のサーバからダウンロードするためのダウンロード情報が取得される。
 また、TS解析部202では、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを放送信号(トランスポートストリームTS)からダウンロードする際には、トランスポートストリームTSからFDTが抽出され、CPU221に送られる。これにより、CPU221では、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルが取得される。
 TS解析部202で抽出されたビデオPESパケットは、ビデオデコーダ203に供給される。ビデオデコーダ203では、このビデオPESパケットにデコード処理が施されて、ビデオデータが得られる。この場合、ビデオデコーダ203では、表示モードなどに応じて、適宜、ビデオデータの解像度変換も行われる。
 また、TS解析部202で抽出されるサブタイトルPESパケットは、サブタイトルデコーダ210に供給される。このサブタイトルデコーダ210では、TS解析部202で得られたサブタイトルPESパケットにデコード処理が施され、TTMLが得られる。このTTMLはCPU221に送られる。CPU221では、このTTMLから、字幕表示位置(リージョン)を字幕表示範囲に対する相対位置(プロポーショナルな値)で指定する字幕表示位置情報、さらにはこの字幕表示位置情報を用いて字幕を表示するときに使用される補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)などが取得される。
 また、サブタイトルデコーダ210では、TS解析部202で得られたサブタイトルPESパケットからTTML・ディスプレイ・セグメント、フォント・ダウンロード・セグメントおよびURL・シグナリング・セグメントが抽出され、CPU221に送られる。
 これにより、CPU221では、サブタイトルストリームが持つTTMLの字幕表示位置情報を用いて字幕を表示するときに使用される補助情報(サイズ処理に関する情報、字幕表示範囲を決定するための情報が取得される。また、CPU221では、サブタイトルストリームが持つTTMLに含まれているフォント指定情報で指定されているフォントのファイルを放送信号(トランスポートストリームTS)やネットワーク上のサーバからダウンロードするためのダウンロード情報が取得される。
 サブタイトルデコーダ210では、CPU221の制御のもと、TTMLに含まれる各字幕表示位置(リージョン)の字幕(サブタイトル)のテキストデータ(フォントデータ)が、ビットマップデータ(バイナリイメージ情報)に変換される。この場合、字幕のフォントサイズは、CPU221の制御のもと、字幕表示位置情報により決定された、あるいはさらにリサイズ処理されて得られた字幕表示位置の大きさに応じて、TTMLで指定されたフォントサイズから適宜調整されたものとされる。
 また、この場合、字幕のビットマップデータを得る際、基本的には、TTMLが有するフォント指定情報で指定されるフォントのファイルが用いられる。テレビ受信機200がフォント指定情報で指定されるフォントのファイルを搭載していないとき、PESパケット、PMT等に挿入されているダウンロード情報に基づいて、当該フォントファイルが放送信号(トランスポートストリームTS)あるいはネットワーク上のサーバからダウンロードされて使用される。このとき、当該フォントファイルのダウンロードができないときは、代用のフォントファイルが使用される。
 CPU221では、字幕表示位置情報に基づいて字幕表示位置が決定され、さらに、必要に応じて、決定された字幕表示位置にリサイズ処理が施される。この際、CPU221では、適宜、上述したようにTTML、PESパケット、PMT等に挿入されている補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)が使用される。
 サブタイトルデコーダ210から出力される各字幕表示位置の字幕のビットマップデータは、ビデオ重畳部204に供給される。ビデオ重畳部204では、ビデオデコーダ203で得られたビデオデータに、サブタイトルデコーダ210で得られた各字幕表示位置の字幕のビットマップデータが重畳され、表示用のビデオデータが得られる。この場合、CPU221により、字幕表示位置情報により決定された、あるいはさらにリサイズ処理されて得られた字幕表示位置に基づいて、字幕のビットマップデータの重畳位置が字幕表示位置となるように制御される。
 ビデオ重畳部204で得られた表示用のビデオデータは、パネル駆動回路205に供給される。パネル駆動回路205では、表示用のビデオデータに基づいて、表示パネル206を駆動することが行われる。これにより、表示パネル206には、各字幕表示位置(リージョン)に字幕(サブタイトル)が重畳された画像が表示される。
 また、TS解析部202で抽出されたオーディオPESパケットは、オーディオデコーダ207に供給される。オーディオデコーダ207では、このオーディオPESパケットにデコード処理が施され、オーディオデータが得られる。このオーディオデータは、オーディオ出力回路208に供給される。オーディオ出力回路208では、オーディオデータに対して、D/A変換や増幅等の必要な処理が行われる。そして、処理後のオーディオデータはスピーカ209に供給される。これにより、スピーカ209からは表示パネル206の表示画像に対応した音声出力が得られる。
 「字幕表示位置の決定およびリサイズ処理の手順」
 CPU221における字幕表示位置の決定およびリサイズ処理の手順の詳細について説明する。図36のフローチャートは、CPU221における字幕表示位置の決定およびリサイズ処理の手順の一例を示している。
 この例では、ビデオ領域のアスペクト比が16:9であることを想定している。そして、図37(a)に示すようにTTMLで字幕表示範囲の指定がない場合と、図37(b),(c)に示すようにTTMLで字幕表示範囲の指定がある場合の双方があることを想定している。なお、ここでは、指定される字幕表示範囲のアスペクト比が16:9と4:3である例を示しているが、指定される字幕表示範囲のアスペクト比がこれに限定されるものではない。また、ここでは、モニタ(ディスプレイ)のアスペクト比が16:9の場合と4:3の場合の双方があることを想定している。
 CPU221は、ステップST1で処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、CPU221は、受信機表示はビデオ全領域を表示するモードか否かを判断する。例えば、モニタのアスペクト比が16:9である場合(図37(f)参照)、あるいはモニタのアスペクト比が4:3であってレターボックス(Letter box)の表示方法を採る場合(図37(g)参照)には、ビデオ全領域を表示するモードであると判断する。また、例えば、モニタのアスペクト比が4:3であってセンターカット(Center-cut)の表示方法を採る場合(図37(h)参照)には、ビデオ全領域を表示しないモードであると判断する。
 CPU221は、ビデオ全領域を表示するモードであると判断するとき、ステップST3の処理に移る。このステップST3において、CPU221は、字幕表示範囲の指定があるか否かを判断する。例えば、TTMLのttルートコンテナに字幕表示範囲の基準点情報(RPoffset)およびアスペクト比情報(dispasp)が存在する場合には、字幕表示範囲の指定があると判断する。
 字幕表示範囲の指定がないとき、CPU221は、ステップST4の処理に移る。このステップST4において、CPU221は、表示ビデオ領域を字幕表示範囲として、字幕表示位置(リージョン)を決定する。このとき、CPU221は、表示ビデオ領域のトップ―レフト(top-left)を基準点RPとし、字幕表示範囲に対する相対位置で指定されている字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)の指示通りに字幕表示位置(リージョン)を決定する。
 図38(a)は、モニタのアスペクト比が16:9である場合の例を示している。図38(b)は、モニタのアスペクト比が4:3であってレターボックス(Letter box)の表示方法を採る場合の例を示している。なお、“RP”は、字幕表示範囲のトップ―レフト(top-left)である基準点(Reference Pont)を示している。
 このステップST4の処理の後、CPU221は、ステップST5において、処理を終了する。
 上述のステップST3で字幕表示範囲の指定があるとき、CPU221は、ステップST6の処理に移る。このステップST6において、CPU221は、指定された字幕表示範囲において、字幕表示位置(リージョン)を決定する。このとき、CPU221は、字幕表示範囲の情報としてアスペクト比情報(dispasp)のみを用い、表示ビデオ領域上に字幕表示範囲を設定する。そして、CPU221は、字幕表示範囲のトップ―レフト(top-left)を基準点RPとし、字幕表示範囲に対する相対位置で指定されている字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)の指示通りに字幕表示位置(リージョン)を決定する。
 図39(a)は、モニタのアスペクト比が16:9であり、かつアスペクト比情報(dispasp)が示すアスペクト比が16:9である場合の例を示している。図39(b)は、モニタのアスペクト比が16:9であり、かつアスペクト比情報(dispasp)が示すアスペクト比が4:3である場合の例を示している。
 なお、このようにアスペクト比情報(dispasp)が示すアスペクト比がモニタのアスペクト比と異なる場合、CPU221は、表示ビデオ領域の中央に、垂直方向幅あるいは水平方向幅が一致し、かつアスペクト比情報(dispasp)が示すアスペクト比の字幕表示範囲を設定する。図示の例においては、モニタのアスペクト比が16:9であり、かつアスペクト比情報(dispasp)が4:3であるので、垂直方向幅が一致している。
 図39(c)は、モニタのアスペクト比が4:3であってレターボックスの表示方法を採り、かつアスペクト比情報(dispasp)が示すアスペクト比が16:9である場合の例を示している。図39(d)は、モニタのアスペクト比が4:3であってレターボックスの表示方法を採り、かつアスペクト比情報(dispasp)が示すアスペクト比が4;3である場合の例を示している。
 このステップST6の処理の後、CPU221は、ステップST5において、処理を終了する。
 上述のステップST2でビデオ全領域を表示しないモードであると判断するとき、ステップST7の処理に移る。このステップST7において、CPU221は、字幕表示範囲の指定があるか否かを判断する。例えば、TTMLのttルートコンテナに字幕表示範囲の基準点情報(RPoffset)およびアスペクト比情報(dispasp)が存在する場合には、字幕表示範囲の指定があると判断する。
 字幕表示範囲の指定がないとき、CPU221は、ステップST8の処理に移る。このステップST8において、CPU221は、表示ビデオ領域を字幕表示範囲として、字幕表示位置(リージョン)を決定する。このとき、CPU221は、表示ビデオ領域のトップ―レフト(top-left)を基準点RPとし、字幕表示範囲に対する相対位置で指定されている字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)の指示通りに字幕表示位置(リージョン)を決定する。
 このように決定された字幕表示位置は、水平方向のみその幅が圧縮されたものとなる。そのため、CPU221は、さらに、決定された字幕表示位置にリサイズ処理を施し、垂直方向の幅も圧縮し、最終的な字幕表示位置を得る。この場合、CPU221は、例えば、TTMLに含まれる「dto:scalingjustify=top」の情報に基づいて、所定のライン位置を固定した状態で垂直方向の幅の圧縮をする。
 図40(a)は、モニタのアスペクト比が4:3であってセンターカット(Center-cut)の表示方法を採る場合の例を示している。字幕表示位置の垂直方向の幅は、リサイズ処理によって、EV%からEVu%に圧縮されている。
 このステップST8の処理の後、CPU221は、ステップST5において、処理を終了する。
 上述のステップST7で字幕表示範囲の指定があるとき、CPU221は、ステップST9の処理に移る。このステップST9において、CPU221は、指定された字幕表示範囲において、字幕表示位置(リージョン)を決定する。このとき、CPU221は、字幕表示範囲の情報(基準点情報(RPoffset)、アスペクト比情報(dispasp))を用い、表示ビデオ領域上に字幕表示範囲を設定する。
 この場合、CPU221は、表示ビデオ領域のトップ―レフト(top-left)から基準点情報(RPoffset)だけずらした位置を字幕表示範囲のトップ―レフト(top-left)とし、アスペクト比情報(dispasp)が示すアスペクト比に対応した範囲を字幕表示範囲に設定する。この場合、字幕表示範囲の水平方向幅は、表示ビデオ領域の水平方向幅と一致したものとされる。
 そして、CPU221は、上述したように設定された字幕表示範囲のトップ―レフト(top-left)を基準点RPとし、字幕表示範囲に対する相対位置で指定されている字幕表示位置情報(「origin=“OH%OV%”」、「extent=“EH%EV%”」)の指示通りに字幕表示位置(リージョン)を決定する。
 図40(b)は、モニタのアスペクト比が4:3であってセンターカットの表示方法を採り、かつアスペクト比情報(dispasp)が示すアスペクト比が16:9である場合の例を示している。図40(c)は、モニタのアスペクト比が4:3であってセンターカットの表示方法を採り、かつアスペクト比情報(dispasp)が示すアスペクト比が4:3である場合の例を示している。
 このステップST9の処理の後、CPU221は、ステップST5において、処理を終了する。
 「使用フォントファイルの決定処理の手順」
 CPU221における使用フォントファイルの決定処理の手順の詳細について説明する。図41のフローチャートは、CPU221における使用フォントファイルの決定処理の手順の一例を示している。
 CPU221は、ステップST11で処理を開始し、その後に、ステップST12の処理に移る。このステップST12において、CPU221は、TTMLでフォント指定を受信する。つまり、CPU221は、フォント指定情報を含むTTMLを、サブタイトルデコーダ210から受け取る。
 次に、CPU221は、ステップST13において、テレビ受信機200がTTMLのフォント指定情報で指定されたフォントファイル、指定フォントファイルを搭載しているか否かを判断する。指定フォントファイルを搭載していると判断するとき、CPU221は、ステップST14において、搭載している指定フォントファイルを使用することに決定し、その後にステップST15において、処理を終了する。
 ステップST13で指定フォントファイルを搭載していないと判断するとき、CPU221は、ステップST16において、プライベートセクションテーブル、つまりFDT(Font_downloading_section table)で指定フォントフィルが供給されるか否かを判断する。この場合、CPU221は、フォント・ダウンロード・セグメント(Font_download_segment) (図18参照)、あるいはフォント・ダウンロード・デスクリプタ(Font_download_descriptor)(図23参照)が、指定フォントファイルのダウンロード情報を含んでいる場合には、FDTで指定フォントファイルが供給されると判断する。
 FDTで指定フォントファイルが供給されると判断するとき、CPU221は、ステップST17において、カルーセル伝送から指定フォントファイルをダウンロードできたか否かを判断する。指定フォントファイルをダウンロードできたとき、CPU221は、ステップST14において、ダウンロードされた指定フォントファイルを使用することに決定し、その後にステップST15において、処理を終了する。
 ステップST17で指定フォントファイルのダウンロードができなかったとき、CPU221は、ステップST18の処理に移る。ステップST16においてFDTで指定フォントファイルが供給されないと判断するときも、CPU221は、このステップST18の処理に移る。
 このステップST18において、CPU221は、指定フォントファイルのダウンロード用のURL情報があるか否かを判断する。この場合、CPU221は、URL・シグナリング・セグメント(URL_signalin_segment)(図20参照)、あるいはURL・シグナリング・デスクリプタ(URL_signaling_descriptor)(図24参照)が、指定フォントファイルのダウンロード用のURL情報を含んでいる場合には、指定フォントファイルのダウンロード用のURL情報があると判断する。
 指定フォントファイルのダウンロード用のURL情報があると判断するとき、CPU221は、ステップST19において、ネットワーク上のサーバから指定フォントファイルをダウンロードできたか否かを判断する。指定フォントファイルをダウンロードできたとき、CPU221は、ステップST14において、ダウンロードされた指定フォントファイルを使用することに決定し、その後にステップST15において、処理を終了する。
 ステップST19で指定フォントファイルのダウンロードができなかったとき、CPU221は、ステップST20の処理に移る。ステップST18において指定フォントファイルのダウンロード用のURL情報がないと判断するときも、CPU221は、このステップST20の処理に移る。
 このステップST20において、CPU221は、指定フォントファイルではなく、代用のフォントファイル、例えばデフォルトとされるフォントのファイルを使用することを決定し、その後にステップST15において、処理を終了する。
 以上説明したように、図1に示す送受信システム10において、放送送出システム100は、サブタイトルストリームのコンテナ(例えば、PESパケット、PMT)に、字幕位置情報を用いて字幕を表示するときに使用される補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)を挿入する。そのため、受信側では、字幕位置情報と共にこの補助情報を用いることで字幕表示位置を適切に取得して字幕表示を良好に行うことが可能となる。
 また、図1に示す送受信システム10において、テレビ受信機200は、字幕表示位置情報および補助情報を用いて取得される字幕表示位置に基づいて字幕のビットマップデータに対して表示位置制御をする。そのため、字幕表示を良好に行うことが可能となる。
 また、図1に示す送受信システム10において、放送送出システム100は、サブタイトルストリームのコンテナ(例えば、PESパケット、PMT)に、少なくともTTMLのフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する。そのため、受信側では、フォント指定情報で指定されているフォントのファイルを持っていない場合に、当該ダウンロード情報に基づいてフォント指定情報で指定されているフォントのファイルを取得することができ、字幕表示を良好に行うことが可能となる。
 また、図1に示す送受信システム10において、テレビ受信機200は、ダウンロード情報に基づいてフォント指定情報で指定されたフォントのフォントファイルを取得して、字幕のビットマップデータを得る際に用いる。そのため、フォント指定情報で指定されているフォントのファイルを持っていない場合にあっても、字幕表示を良好に行うことが可能となる。
 <2.変形例>
 なお、上述実施の形態においては、TTMLにフォントダウンロード情報が挿入されていない例を示した(図3、図5参照)。しかし、このTTMLに、フォントダウンロード情報を挿入することも考えられる。図42は、その場合におけるTTML構造の一例を示している。この例は、図5と同様に、字幕表示位置(リージョン)が2個の場合の例である。
 「fontdlurl=http://www.w3.org/ns/fontdlservice」、「fontdlurl:iso639languagecode="value"」、「fontdlurl:fontgroupid="value"」、「fontdlurl:fontnameid="value"」、「fontdlurl:fontname="value“」の各情報はダウンロード情報を構成している。なお、「fontdlurl:fontname」の"value“には、 ‘Arial’, ‘Tahoma’の指定がそのまま反映される。
 また、上述実施の形態においては、所定フォーマットの字幕のテキスト情報としてTTMLを用いる例を示した。しかし、本技術は、これに限定されず、TTMLと同等の情報を持つその他のテキスト情報を用いることも考えらえる。例えば、TTMLの派生フォーマットを用いてもよい。
 また、上述実施の形態においては、放送送出システム100とテレビ受信機200とからなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、テレビ受信機200の部分が、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は登録商標である。
 また、上述実施の形態においては、コンテナがMPEG-2 TSのトランスポートストリームである例を示した。本技術は、コンテナがMMTのトランスポートストリームあるいはDASH/ISOBMFFストリームなどである場合にも、同様に適用できることは勿論である。
 また、本技術は、以下のような構成を取ることもできる。
 (1)ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信部と、
 上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を挿入する情報挿入部を備える
 送信装置。
 (2)上記補助情報は、
 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、上記字幕表示位置情報に基づいて決定される字幕表示位置のリサイズ処理に関する情報を含む
 前記(1)に記載の送信装置。
 (3)上記リサイズ処理に関する情報は、上記字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示す情報である
 前記(2)に記載の送信装置。
 (4)上記補助情報は、
 上記字幕表示範囲を決定するための情報を含む
 前記(1)から(3)のいずれかに記載の送信装置。
 (5)上記字幕表示範囲を決定するための情報は、上記字幕表示範囲の基準点情報およびアスペクト比情報である
 前記(4)に記載の送信装置。
 (6)上記情報挿入部は、
 上記補助情報を、PESパケットおよび/またはプログラムマップテーブルに挿入する
 前記(1)から(5)のいずれかに記載の送信装置。
 (7)送信部により、ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信ステップと、
 上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を挿入する情報挿入ステップを有する
 送信方法。
 (8)ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
 上記サブタイトルストリームにデコード処理を施して字幕のビットマップデータを得るサブタイトルデコード部を備え、
 上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入されており、
 上記字幕表示位置情報および上記補助情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う表示制御部と、
 上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳するビデオ重畳部をさらに備える
 受信装置。
 (9)上記補助情報は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、上記字幕表示位置情報に基づいて決定される字幕表示位置のリサイズ処理に関する情報を含み、
 上記表示制御部は、
 ビデオ領域のアスペクト比と上記表示ビデオ領域のアスペクト比が異なる場合、表示ビデオ領域を字幕表示範囲として上記字幕表示位置情報に基づいて字幕表示位置を決定し、該決定された字幕表示位置に上記リサイズ処理に関する情報を用いてリサイズ処理を施し、該リサイズ処理が施された字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御をする
 前記(8)に記載の受信装置。
 (10)上記補助情報は、上記字幕表示範囲を決定するための情報を含み、
 上記表示制御部は、
 ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合、上記字幕表示範囲を決定するための情報に基づいて表示ビデオ領域に字幕表示範囲を設定し、上記字幕表示位置情報に基づいて字幕表示位置を決定し、該決定された字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御をする
 前記(8)に記載の受信装置。
 (11)受信部により、ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
 上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
 上記サブタイトルストリームにデコード処理を施して字幕のビットマップデータを得るサブタイトルデコードステップを有し、
 上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入されており、
 上記字幕表示位置情報および上記補助情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う表示制御ステップと、
 上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップをさらに有する
 受信方法。
 (12)ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信部と、
 上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する情報挿入部を備える
 送信装置。
 (13)上記ダウンロード情報は、上記フォントファイルを放送信号から取得するための情報である
 前記(12)に記載の送信装置。
 (14)上記ダウンロード情報は、上記フォントファイルをネットワーク上のサーバから取得するための情報である
 前記(12)または(13)に記載の送信装置。
 (15)上記情報挿入部は、
 上記ダウンロード情報を、PESパケットおよび/またはプログラムマップテーブルに挿入する
 前記(12)から(14)のいずれかに記載の送信装置。
 (16)送信部により、ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信ステップと、
 上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する情報挿入ステップを有する
 送信方法。
 (17)ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部を備え、
 上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入されており、
 上記ダウンロード情報に基づいて上記フォント指定情報で指定されたフォントのフォントファイルを取得するフォントファイルダウンロード部と、
 上記サブタイトルストリームにデコード処理を施して上記取得されたフォントファイルに基づいて字幕のビットマップデータを得るサブタイトルデコード部と、
 上記字幕表示位置情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う表示制御部と、
 上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳するビデオ重畳部をさらに備える
 受信装置。
 (18)受信部により、ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
 上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップを有し、
 上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入されており、
 上記ダウンロード情報に基づいて上記フォント指定情報で指定されたフォントのフォントファイルを取得するフォントファイルダウンロードステップと、
 上記サブタイトルストリームにデコード処理を施して上記取得されたフォントファイルに基づいて字幕のビットマップデータを得るサブタイトルデコードステップと、
 上記字幕表示位置情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う表示制御ステップと、
 上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップをさらに有する
 受信方法。
 (19)トランスポートストリームにそれぞれ異なるフォントファイルを持つ所定数のセクションテーブルを順次繰り返し挿入するセクションテーブル挿入部と、
 上記セクションテーブルが挿入されたトランスポートストリームを送信する送信部を備える
 送信装置。
 (20)トランスポートストリームにそれぞれ異なるフォントファイルを持つ所定数のセクションテーブルを順次繰り返し挿入するセクションテーブル挿入ステップと、
 送信部により、上記セクションテーブルが挿入されたトランスポートストリームを送信する送信ステップを有する
 送信方法。
 本技術の主な特徴は、サブタイトルストリームのコンテナ(例えば、PESパケット、PMT)に、字幕位置情報を用いて字幕を表示するときに使用される補助情報(リサイズ処理に関する情報、字幕表示範囲を決定するための情報)を挿入することで、受信側では、字幕位置情報と共にこの補助情報を用いて字幕表示位置を適切に取得して字幕表示を良好に行うことを可能としたことである(図34参照)。
 また、本技術の主な特徴は、サブタイトルストリームのコンテナ(例えば、PESパケット、PMT)に、少なくともTTMLのフォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入することで、フォント指定情報で指定されているフォントのファイルを持っていない場合に、当該ダウンロード情報に基づいてフォント指定情報で指定されているフォントのファイルを取得し、字幕表示を良好に行うことを可能としたことである(図34参照)。
 10・・・送受信システム
 100・・・放送送出システム
 110・・・ストリーム生成部
 111・・・制御部
 112・・・ビデオエンコーダ
 113・・・オーディオエンコーダ
 114・・・テキストフォーマット変換部
 115・・・サブタイトルエンコーダ
 116・・・TSフォーマッタ
 200・・・テレビ受信機
 201・・・受信部
 202・・・TS解析部
 203・・・ビデオデコーダ
 204・・・ビデオ重畳部
 205・・・パネル駆動回路
 206・・・表示パネル
 207・・・オーディオデコーダ
 208・・・オーディオ出力回路
 209・・・スピーカ
 210・・・サブタイトルデコーダ
 221・・・CPU
 227・・・通信インタフェース

Claims (20)

  1.  ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信部と、
     上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を挿入する情報挿入部を備える
     送信装置。
  2.  上記補助情報は、
     ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、上記字幕表示位置情報に基づいて決定される字幕表示位置のリサイズ処理に関する情報を含む
     請求項1に記載の送信装置。
  3.  上記リサイズ処理に関する情報は、上記字幕表示位置のリサイズ処理で垂直方向のサイズを圧縮する場合に固定位置とすべきライン位置を示す情報である
     請求項2に記載の送信装置。
  4.  上記補助情報は、
     上記字幕表示範囲を決定するための情報を含む
     請求項1に記載の送信装置。
  5.  上記字幕表示範囲を決定するための情報は、上記字幕表示範囲の基準点情報およびアスペクト比情報である
     請求項4に記載の送信装置。
  6.  上記情報挿入部は、
     上記補助情報を、PESパケットおよび/またはプログラムマップテーブルに挿入する
     請求項1に記載の送信装置。
  7.  送信部により、ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信ステップと、
     上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を挿入する情報挿入ステップを有する
     送信方法。
  8.  ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
     上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコードして字幕のビットマップデータを得る処理と、上記字幕表示位置情報および上記サブタイトルストリームのコンテナに挿入されている上記字幕位置情報を用いて字幕を表示するときに使用される補助情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う処理と、上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳する処理を制御する制御部を備える
     受信装置。
  9.  上記補助情報は、ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合に受信側で行われる、上記字幕表示位置情報に基づいて決定される字幕表示位置のリサイズ処理に関する情報を含み、
     上記表示位置制御を行う処理では、
     ビデオ領域のアスペクト比と上記表示ビデオ領域のアスペクト比が異なる場合、表示ビデオ領域を字幕表示範囲として上記字幕表示位置情報に基づいて字幕表示位置を決定し、該決定された字幕表示位置に上記リサイズ処理に関する情報を用いてリサイズ処理を施し、該リサイズ処理が施された字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御をする
     請求項8に記載の受信装置。
  10.  上記補助情報は、上記字幕表示範囲を決定するための情報を含み、
     上記表示位置制御を行う処理では、
     ビデオ領域のアスペクト比と表示ビデオ領域のアスペクト比が異なる場合、上記字幕表示範囲を決定するための情報に基づいて表示ビデオ領域に字幕表示範囲を設定し、上記字幕表示位置情報に基づいて字幕表示位置を決定し、該決定された字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御をする
     請求項8に記載の受信装置。
  11.  受信部により、ビデオデータを持つビデオストリームと字幕表示位置を字幕表示範囲に対する相対位置で指定する字幕表示位置情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
     上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
     上記サブタイトルストリームにデコード処理を施して字幕のビットマップデータを得るサブタイトルデコードステップを有し、
     上記サブタイトルストリームのコンテナに上記字幕位置情報を用いて字幕を表示するときに使用される補助情報が挿入されており、
     上記字幕表示位置情報および上記補助情報を用いて取得される字幕表示位置に基づいて上記字幕のビットマップデータに対して表示位置制御を行う表示制御ステップと、
     上記表示位置制御が行われた字幕のビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップをさらに有する
     受信方法。
  12.  ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信部と、
     上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する情報挿入部を備える
     送信装置。
  13.  上記ダウンロード情報は、上記フォントファイルを放送信号から取得するための情報である
     請求項12に記載の送信装置。
  14.  上記ダウンロード情報は、上記フォントファイルをネットワーク上のサーバから取得するための情報である
     請求項12に記載の送信装置。
  15.  上記情報挿入部は、
     上記ダウンロード情報を、PESパケットおよび/またはプログラムマップテーブルに挿入する
     請求項12に記載の送信装置。
  16.  送信部により、ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを送信する送信ステップと、
     上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報を挿入する情報挿入ステップを有する
     送信方法。
  17.  ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
     上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームのコンテナに挿入されている少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報に基づいて上記フォント指定情報で指定されたフォントのフォントファイルを取得する処理と、上記サブタイトルストリームをデコードし上記取得されたフォントファイルに基づいて字幕のビットマップデータを得る処理と、上記字幕のビットマップデータを上記ビデオデータに重畳する処理を制御する制御部を備える
     受信装置。
  18.  受信部により、ビデオデータを持つビデオストリームとフォント指定情報を有する字幕のテキスト情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
     上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップを有し、
     上記サブタイトルストリームのコンテナに少なくとも上記フォント指定情報で指定されているフォントのファイルをダウンロードするためのダウンロード情報が挿入されており、
     上記ダウンロード情報に基づいて上記フォント指定情報で指定されたフォントのフォントファイルを取得するフォントファイルダウンロードステップと、
     上記サブタイトルストリームにデコード処理を施して上記取得されたフォントファイルに基づいて字幕のビットマップデータを得るサブタイトルデコードステップと、
     上記字幕のビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップをさらに有する
     受信方法。
  19.  トランスポートストリームにそれぞれ異なるフォントファイルを持つ所定数のセクションテーブルを順次繰り返し挿入するセクションテーブル挿入部と、
     上記セクションテーブルが挿入されたトランスポートストリームを送信する送信部を備える
     送信装置。
  20.  トランスポートストリームにそれぞれ異なるフォントファイルを持つ所定数のセクションテーブルを順次繰り返し挿入するセクションテーブル挿入ステップと、
     送信部により、上記セクションテーブルが挿入されたトランスポートストリームを送信する送信ステップを有する
     送信方法。
PCT/JP2017/009182 2016-03-15 2017-03-08 送信装置、送信方法、受信装置および受信方法 WO2017159482A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US16/077,616 US10979664B2 (en) 2016-03-15 2017-03-08 Transmission device, transmission method, reception device and reception method
EP17766483.6A EP3432585B1 (en) 2016-03-15 2017-03-08 Transmission device, transmission method, reception device and reception method
ES17766483T ES2859660T3 (es) 2016-03-15 2017-03-08 Dispositivo de transmisión, procedimiento de transmisión, dispositivo de recepción y procedimiento de recepción
CN201780015897.7A CN108886627B (zh) 2016-03-15 2017-03-08 发送装置、发送方法、接收装置、以及接收方法
EP20175539.4A EP3734978A1 (en) 2016-03-15 2017-03-08 Transmission device, transmission method, reception device and reception method
JP2018505848A JP7063261B2 (ja) 2016-03-15 2017-03-08 送信装置、送信方法、受信装置および受信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-051657 2016-03-15
JP2016051657 2016-03-15

Publications (1)

Publication Number Publication Date
WO2017159482A1 true WO2017159482A1 (ja) 2017-09-21

Family

ID=59852292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009182 WO2017159482A1 (ja) 2016-03-15 2017-03-08 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (1) US10979664B2 (ja)
EP (2) EP3432585B1 (ja)
JP (1) JP7063261B2 (ja)
CN (1) CN108886627B (ja)
ES (1) ES2859660T3 (ja)
TW (1) TWI728061B (ja)
WO (1) WO2017159482A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329687B1 (ja) * 2017-12-08 2018-05-23 株式会社フォトロン テロップ編集装置及びテロップ編集プログラム
JP2019213198A (ja) * 2018-06-04 2019-12-12 エヌシーソフト・コーポレイションNcsoft Corporation 字幕生成方法および字幕生成装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873651B1 (ko) * 2008-08-21 2008-12-11 김광한 잔디 식재기
US11070891B1 (en) * 2019-12-10 2021-07-20 Amazon Technologies, Inc. Optimization of subtitles for video content
CN112738629B (zh) * 2020-12-29 2023-03-10 北京达佳互联信息技术有限公司 视频展示方法、装置、电子设备和存储介质
CN113438514B (zh) * 2021-04-26 2022-07-08 深圳Tcl新技术有限公司 字幕处理方法、装置、设备及存储介质
CN113452935B (zh) * 2021-08-31 2021-11-09 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成系统及方法
CN114222193B (zh) * 2021-12-03 2024-01-05 北京影谱科技股份有限公司 一种视频字幕时间对齐模型训练方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052736A1 (ja) * 2005-11-02 2007-05-10 Matsushita Electric Industrial Co., Ltd. デジタル放送システム、受信装置、及び送出装置
JP2012169885A (ja) 2011-02-15 2012-09-06 Sony Corp 表示制御方法、記録媒体、表示制御装置
JP2014064308A (ja) * 2011-05-19 2014-04-10 Nippon Hoso Kyokai <Nhk> 受信機
JP2016028472A (ja) * 2014-07-10 2016-02-25 日本放送協会 テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3670934B2 (ja) * 2000-06-01 2005-07-13 三洋電機株式会社 デジタルテレビ放送受信機における文字データの表示方法
JP3090704U (ja) 2002-06-13 2002-12-26 船井電機株式会社 画像復調装置
US6741323B2 (en) * 2002-08-12 2004-05-25 Digital Theater Systems, Inc. Motion picture subtitle system and method
US20050117813A1 (en) * 2002-11-29 2005-06-02 Matsushita Electric Industrial Co., Ltd. Image reproducing apparatus and image reproducing method
AU2003278462A1 (en) * 2002-12-09 2004-06-30 Koninklijke Philips Electronics N.V. Interactive television system with partial character set generator
WO2004056115A1 (en) * 2002-12-16 2004-07-01 Koninklijke Philips Electronics N.V. Font library for interactive television recording and playback on a storage medium
KR20040099058A (ko) * 2003-05-17 2004-11-26 삼성전자주식회사 서브타이틀 처리 방법, 그 재생 장치 및 그 정보저장매체
KR20050018314A (ko) * 2003-08-05 2005-02-23 삼성전자주식회사 자막 데이터와 비디오 맵핑 데이터 정보를 저장하는정보저장매체, 그 재생 장치 및 방법
KR100828354B1 (ko) * 2003-08-20 2008-05-08 삼성전자주식회사 자막 위치 제어 장치 및 방법
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
JP4871635B2 (ja) * 2006-04-28 2012-02-08 キヤノン株式会社 デジタル放送受信装置及びその制御方法
JP2008104038A (ja) * 2006-10-20 2008-05-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8817188B2 (en) * 2007-07-24 2014-08-26 Cyberlink Corp Systems and methods for automatic adjustment of text
CN101360193A (zh) * 2008-09-04 2009-02-04 北京中星微电子有限公司 一种视频字幕处理装置及方法
EP2356818B1 (en) * 2008-12-01 2016-04-13 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
WO2010096030A1 (en) * 2009-02-18 2010-08-26 Thomson Licensing Method and apparatus for preparing subtitles for display
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
US9319444B2 (en) 2009-06-22 2016-04-19 Monotype Imaging Inc. Font data streaming
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
CN101902582B (zh) * 2010-07-09 2012-12-19 清华大学 一种立体视频字幕添加方法及装置
US9247312B2 (en) * 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
EP2672713A4 (en) * 2012-01-13 2014-12-31 Sony Corp TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
US20140063187A1 (en) * 2012-01-19 2014-03-06 Sony Corporation Reception device, reception method, and electronic device
CA2877454C (en) 2012-11-07 2017-10-03 Lg Electronics Inc. Apparatus for transceiving signals and method for transceiving signals
EP2925001B1 (en) * 2012-11-26 2020-11-04 Saturn Licensing LLC Transmission device, transmission method, reception device, reception method, and reception display method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052736A1 (ja) * 2005-11-02 2007-05-10 Matsushita Electric Industrial Co., Ltd. デジタル放送システム、受信装置、及び送出装置
JP2012169885A (ja) 2011-02-15 2012-09-06 Sony Corp 表示制御方法、記録媒体、表示制御装置
JP2014064308A (ja) * 2011-05-19 2014-04-10 Nippon Hoso Kyokai <Nhk> 受信機
JP2016028472A (ja) * 2014-07-10 2016-02-25 日本放送協会 テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329687B1 (ja) * 2017-12-08 2018-05-23 株式会社フォトロン テロップ編集装置及びテロップ編集プログラム
JP2019105867A (ja) * 2017-12-08 2019-06-27 株式会社フォトロン テロップ編集装置及びテロップ編集プログラム
JP2019213198A (ja) * 2018-06-04 2019-12-12 エヌシーソフト・コーポレイションNcsoft Corporation 字幕生成方法および字幕生成装置
US11330342B2 (en) 2018-06-04 2022-05-10 Ncsoft Corporation Method and apparatus for generating caption

Also Published As

Publication number Publication date
JPWO2017159482A1 (ja) 2019-01-24
EP3432585A1 (en) 2019-01-23
TW201739241A (zh) 2017-11-01
ES2859660T3 (es) 2021-10-04
EP3734978A1 (en) 2020-11-04
JP7063261B2 (ja) 2022-05-09
CN108886627A (zh) 2018-11-23
US10979664B2 (en) 2021-04-13
TWI728061B (zh) 2021-05-21
CN108886627B (zh) 2022-06-03
EP3432585A4 (en) 2019-07-17
EP3432585B1 (en) 2021-02-17
US20190037168A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7063261B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7020406B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6891492B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6724791B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7176598B2 (ja) 送信方法
EP3324637B1 (en) Transmission device, transmission method, receiving device and receiving method
US20200068247A1 (en) Reception apparatus, reception method, and transmission apparatus
JP6519329B2 (ja) 受信装置、受信方法、送信装置および送信方法
US20180255270A1 (en) Transmission device, transmission method, reproducing device and reproducing method
US11470296B2 (en) Transmitter, transmission method, receiver, and reception method
JP2023052611A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
EP3435679A1 (en) Broadcast signal transmission and reception method and device
EP3407614A1 (en) Method and apparatus for transmitting and receiving broadcast signal
JP6868776B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2018021107A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018505848

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017766483

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017766483

Country of ref document: EP

Effective date: 20181015

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17766483

Country of ref document: EP

Kind code of ref document: A1