WO2017002602A1 - 受信装置、受信方法、送信装置および送信方法 - Google Patents

受信装置、受信方法、送信装置および送信方法 Download PDF

Info

Publication number
WO2017002602A1
WO2017002602A1 PCT/JP2016/067598 JP2016067598W WO2017002602A1 WO 2017002602 A1 WO2017002602 A1 WO 2017002602A1 JP 2016067598 W JP2016067598 W JP 2016067598W WO 2017002602 A1 WO2017002602 A1 WO 2017002602A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
size
video
stream
data
Prior art date
Application number
PCT/JP2016/067598
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680036572.2A priority Critical patent/CN107736032A/zh
Priority to JP2017526269A priority patent/JP6881303B2/ja
Priority to US15/738,856 priority patent/US10375448B2/en
Priority to RU2017145266A priority patent/RU2718121C2/ru
Priority to EP16817711.1A priority patent/EP3319325B1/en
Publication of WO2017002602A1 publication Critical patent/WO2017002602A1/ja
Priority to US16/457,591 priority patent/US10917698B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Definitions

  • the present technology relates to a receiving device, a receiving method, a transmitting device, and a transmitting method, and more particularly, to a receiving device that superimposes and displays a subtitle and graphics on a video.
  • subtitle data is transmitted as bitmap data.
  • text character code that is, on a text basis
  • the purpose of this technology is to enable the subtitle (graphics) to be superimposed on the video.
  • a receiving unit for receiving a container of a predetermined format including a video stream having video data and a subtitle stream having subtitle data; A video decoding process for decoding the video stream to obtain video data; a subtitle decoding process for decoding the subtitle stream to obtain subtitle bitmap data; and a subtitle size and / or for the subtitle bitmap data
  • a receiving apparatus comprising: a control unit that controls subtitle processing for performing processing for correcting a display position of a subtitle, and video superimposition processing for superimposing the bitmap data of the processed subtitle on the video data.
  • a container having a predetermined format including a video stream having video data and a subtitle stream having subtitle data is received by the receiving unit.
  • the control unit controls video decoding processing, subtitle decoding processing, subtitle processing, and video superimposition processing.
  • video decoding process video data is obtained by decoding a video stream.
  • subtitle decoding process the subtitle stream is decoded to obtain subtitle bitmap data.
  • the subtitle process a process for correcting the subtitle size and / or the display position of the subtitle is performed on the subtitle bitmap data.
  • the processed subtitle bitmap data is superimposed on the video data.
  • the subtitle size and / or the display position of the subtitle may be automatically corrected based on the viewing position information and the monitor size information.
  • the subtitle size and display position of the subtitle may be automatically corrected based on the viewing position information and the monitor size information.
  • an information acquisition unit that acquires viewing position information may be further provided.
  • R D / (M_h * f) is obtained by setting D as the viewing distance, M_h as the monitor height, and f as the value depending on the video resolution.
  • the size of the subtitle may be reduced and corrected when it is smaller than the threshold, and the size of the subtitle may be enlarged and corrected when R is larger than the second threshold larger than the first threshold.
  • the display position of the subtitle may be automatically corrected by moving the position in the horizontal direction toward the viewing horizontal position.
  • the display position of the subtitle may be automatically corrected by moving the position in the vertical direction toward the viewing vertical position.
  • the size of the subtitle and / or the display position of the subtitle may be corrected based on a user operation.
  • a user such as a viewer can set the size and display position of the subtitle to a desired state.
  • the modification of the size and / or display position of the subtitle may be limited within an allowable range. In this way, the correction is limited within the allowable range, so that the transient correction is avoided.
  • the correction allowable range information is inserted in the subtitle stream layer, and further includes an information extraction unit that extracts the correction allowable range information from the subtitle stream layer. Based on the range information, the correction may be limited to an allowable range.
  • the allowable range information inserted in the layer of the subtitle stream is used, and the subtitle size correction and the display position correction can be appropriately limited.
  • the transmission apparatus includes an information insertion unit that inserts information indicating an allowable range of subtitle size correction and / or information indicating an allowable range of subtitle display position correction into the subtitle stream layer.
  • a container having a predetermined format including a video stream having video data and a subtitle stream having subtitle data is transmitted by the transmission unit.
  • the information insertion unit inserts information indicating the allowable range of subtitle size correction and / or information indicating the allowable range of subtitle display position correction into the layer of the subtitle stream.
  • the subtitle size and the display position correction allowable range information are inserted into the layer of the subtitle stream. Therefore, on the receiving side, it is possible to appropriately limit the subtitle size correction and the display position correction by using the correction allowable range information.
  • a receiving unit for receiving a container of a predetermined format including a video stream having video data and a graphics stream having graphics data;
  • a video decoding process for decoding the video stream to obtain video data
  • a graphics decoding process for decoding the graphics stream to obtain graphics bitmap data, a graphics size and / or for the graphics bitmap data
  • the reception apparatus includes a control unit that controls graphics processing for performing processing for correcting the display position of graphics and video superimposition processing for superimposing the bitmap data of the processed graphics on the video data.
  • the transmission apparatus includes an information insertion unit that inserts information indicating an allowable range of graphics size correction and / or information indicating an allowable range of correction of the display position of graphics into the graphics stream layer.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a transmission device 100 and a reception device 200.
  • the transmission apparatus 100 generates an MPEG2 transport stream TS as a container, and transmits the transport stream TS on a broadcast wave or a net packet.
  • the transport stream TS includes a video stream having video data (image data).
  • the transport stream TS includes a subtitle stream having subtitle data (caption data).
  • the subtitle data is subtitle text information in a predetermined format or subtitle bitmap data.
  • Information indicating the allowable range of subtitle size correction and display position correction is inserted in the subtitle stream layer.
  • the receiving apparatus 200 receives the transport stream TS sent from the transmitting apparatus 100.
  • the receiving apparatus 200 performs decoding processing on the video stream to obtain video data, and performs decoding processing on the subtitle stream to obtain subtitle bitmap data.
  • the receiving apparatus 200 performs processing for correcting the subtitle size and display position on the subtitle bitmap data. Then, receiving apparatus 200 obtains video data for display by superimposing the subtitle bitmap data subjected to the size correction and display position correction processing on the video data.
  • the receiving device 200 automatically performs the correction process based on the viewing position information and the monitor size information.
  • the receiving apparatus 200 performs the correction process based on a user operation such as a viewer. In this correction process, the receiving apparatus 200 limits the correction of the subtitle size and the display position within an allowable range.
  • the receiving apparatus 200 extracts and uses information indicating the allowable range of subtitle size correction and display position correction from the subtitle stream layer.
  • the receiving apparatus 200 uses information set as default when the correction allowable range information cannot be extracted from the layer of the subtitle stream.
  • FIG. 2 shows a configuration example of the transmission device 100.
  • the transmission apparatus 100 includes a control unit 101, a camera 102, a video photoelectric conversion unit 103, an RGB / YCbCr conversion unit 104, a video encoder 105, a subtitle generation unit 106, a text format conversion unit 107, and a subtitle encoder. 108, a system encoder 109, and a transmission unit 110.
  • transmitting apparatus 100 When transmitting subtitle bitmap data as subtitle data instead of transmitting subtitle text information as subtitle data, transmitting apparatus 100 generates bitmap data instead of text format conversion unit 107 and subtitle encoder 108. A section 111 and a subtitle encoder 113.
  • the control unit 101 includes a CPU (Central Processing Unit) and controls the operation of each unit of the transmission device 100 based on a control program.
  • the camera 102 images a subject and outputs video data (image data).
  • the video photoelectric conversion unit 103 performs photoelectric conversion on the video data obtained by the camera 102 to obtain transmission video data V1.
  • the RGB / YCbCr conversion unit 104 converts the transmission video data from the RGB domain to the YCbCr (luminance / color difference) domain.
  • the video encoder 105 performs encoding such as MPEG4-AVC or HEVC on the transmission video data V1 converted into the YCbCr domain, and generates a video stream (PES stream) VS including the encoded video data.
  • the subtitle generation unit 106 generates text data (character code) DT as subtitle information.
  • the text format conversion unit 107 inputs the text data DT, and obtains text information of a subtitle in a predetermined format, in this embodiment, TTML (Timed Text Markup Language).
  • TTML Timed Text Markup Language
  • FIG. 3 shows an example of a TTML (Timed Text Markup Language) structure.
  • TTML is described on an XML basis.
  • a subtitle display target area is designated by “tts: extent” at the position of a root container (root container).
  • Each element such as metadata, styling, and layout exists in the header (head).
  • FIG. 4A shows an example of the structure of metadata (TTM: TTML Metadata). This metadata includes metadata title information and copyright information.
  • FIG. 4B shows a structural example of styling (TTS: TTML Styling).
  • this styling includes information such as region position, size, color (color), font (fontFamily), font size (fontSize), and text alignment (textAlign). Yes.
  • Tts: origin specifies the start position of the region that is the display area of the subtitle by the number of pixels.
  • tts: origin“ 480px 600px ” which indicates that the start position is (480, 600) as shown in FIG.
  • Tts: extent specifies the end position of the region by the number of offset pixels in the horizontal and vertical directions from the start position.
  • tts: extent“ 560 px ⁇ 350 px ” is shown, and the end position is (480 + 560, 600 + 350).
  • the number of offset pixels corresponds to the horizontal and vertical sizes of the region.
  • “Tts: opacity “ 1.0 ”” indicates the mixing ratio between the subtitle (caption) and the background video. For example, “1.0” indicates that the subtitle is 100% and the background video is 0%, and “0.1” indicates that the subtitle (caption) is 0% and the background video is 100%. In the illustrated example, it is “1.0”.
  • FIG. 4C shows a structural example of a layout (TTML layout).
  • This layout includes information such as an offset (padding), a background color (backgroundColor), an alignment (displayAlign), etc., in addition to the identifier (id) of the region in which the subtitle is arranged. Note that the location and size information of the region can also be included in this layout.
  • FIG. 6 shows an example of the structure of the body.
  • information of three subtitles subtitle 1 (subtitle 1), subtitle 2 (subtitle 2), and subtitle 3 (subtitle 3) is included.
  • a display start timing and a display end timing are described, and text data is described.
  • the display start timing is “0.76 s”
  • the display end timing is “3.45 s”
  • the text data is “It seems a paradox, dose it not,”. ing.
  • the subtitle encoder 108 converts the TTML obtained by the text format conversion unit 107 into various segments, and generates a subtitle stream SS composed of PES packets in which those segments are arranged in the payload.
  • the bitmap data generation unit 111 receives the text data DT generated by the subtitle generation unit 106 and generates subtitle bitmap data.
  • the subtitle encoder 113 converts the subtitle bitmap data and display control information into various segments, and generates a subtitle stream SS composed of PES packets in which those segments are arranged in the payload.
  • FIG. 7 shows a structural example (Syntax) of a conventionally known page composition segment.
  • the “region_horizontal_address” field and the “region_vertical_address” field indicate the start position of the region.
  • region_composition_segment information indicating the horizontal and vertical sizes of the region is included in the region composition segment (region_composition_segment).
  • FIG. 8 shows a structural example (Syntax) of a conventionally known region composition segment.
  • the “region_width” field and the “resion_height” field indicate the horizontal and vertical sizes of the region.
  • FIG. 9 shows a structural example (Syntax) of a well-known CLUT, definition segment.
  • the “T-value” field indicates the mixing ratio between the subtitle and the background video.
  • the system encoder 109 generates a transport stream TS including the video stream VS generated by the video encoder 105 and the subtitle stream SS generated by the subtitle encoder 108 or the subtitle encoder 113.
  • the transmission unit 110 transmits the transport stream TS on a broadcast wave or a net packet and transmits it to the reception device 200.
  • the transmission device 100 inserts information indicating the allowable range of subtitle size correction and display position correction into the layer of the subtitle stream SS.
  • subtitle bitmap data is transmitted as subtitle data, that is, when the subtitle stream SS generated by the subtitle encoder 113 is included in the transport stream TS, for example, subtitle size correction and display position are included in the subtitle stream SS. Insert a segment containing information indicating the acceptable range of correction.
  • FIG. 10A shows a structure example (syntax) of a newly defined region scaling segment (Region_scaling_Segment), and FIG. 10B shows contents (Semantics) of main information in the structure example.
  • information on “sync_byte”, “segment_type”, “page_id”, “segment_length”, “region_id”, “scale_up_factor”, “scale_down_factpor”, “positioning_horizontal_factor”, and “positioning_vertical_factor” exists.
  • the 8-bit field of“ segment_type ” indicates a segment type, and here indicates a region scaling segment.
  • An 8-bit field of “segment_length” indicates the length (size) of the segment.
  • An 8-bit field of “region_id” indicates an identifier for identifying a region.
  • the 8-bit field of “scale_up_factor” indicates the maximum allowable region enlargement ratio.
  • An 8-bit field of “scale_down_factpor” indicates an allowable minimum value of the region reduction ratio.
  • the information of “scale_up_factor” and “scale_down_factpor” constitutes information indicating an allowable range for subtitle size correction.
  • the 8-bit field of“ positioning_horizontal_factor ” indicates the allowable maximum value of the region horizontal movement ratio.
  • An 8-bit field of “positioning_vertical_factor” indicates an allowable maximum value of the region vertical movement ratio.
  • the information of “positioning_horizontal_factor” and “positioning_vertical_factor” constitutes information indicating an allowable range for subtitle display position correction.
  • subtitle text information is transmitted as subtitle data, that is, when the subtitle stream SS generated by the subtitle encoder 108 is included in the transport stream TS, for example, a subtitle is used using a styling (TTS) element.
  • TTS styling
  • FIG. 11 shows a structural example of styling (TTS) in that case.
  • TTS styling
  • Tts: positioning_horizontal_factor indicates the maximum allowable value of the region horizontal movement ratio. In the illustrated example, the allowable maximum value is “cc%”. “Tts: positioning_vertical_factor” indicates an allowable maximum value of the region vertical movement ratio. In the illustrated example, the allowable maximum value is “dd%”.
  • subtitle text information is transmitted as subtitle data
  • subtitle size correction and display is performed using layout elements instead of using styling (TTS) elements as described above. It is also conceivable to insert information indicating the allowable range of position correction.
  • FIG. 12 shows an example in which the viewing angle E (viewing horizontal position) at the viewing position A is equal to or smaller than the monitor size M_w.
  • the monitor size M_w represents the width from the origin position O to the horizontal center of the original display position of the region, and the width from the origin position O to the left horizontal end of the monitor.
  • FIG. 12 shows a case where the horizontal position of the viewing position A is on the left side of the origin position O. Although detailed description is omitted, the region position is automatically corrected in the same manner when the horizontal position of the viewing position A is on the right side of the origin position O.
  • FIG. 14 shows an example in which the viewing angle E (viewing horizontal position) at the viewing position B is larger than the monitor size M_w.
  • the monitor size M_w indicates the width from the origin position O to the horizontal center of the original display position of the region, and the width from the origin position O to the horizontal end on the right side of the monitor.
  • FIG. 14 shows a case where the horizontal position of the viewing position B is on the right side of the origin position O. Although detailed description is omitted, the region position is automatically corrected in the same manner when the horizontal position of the viewing position B is on the left side of the origin position O.
  • the horizontal movement rate indicating the reference point P is 0%
  • the horizontal movement ratio indicating the Q position is 50%
  • the E position is The horizontal movement ratio shown is 100%.
  • the horizontal movement rate indicating the reference point P is 0%
  • the horizontal movement rate indicating the position of Q is 50%
  • M_w The horizontal movement ratio indicating the position is 100%.
  • the allowable maximum value of the region horizontal movement ratio is, for example, the maximum value permitted by the horizontal movement ratio defined as described above. In this case, the allowable maximum value of the region horizontal movement ratio is 0% for the minimum and 100% for the maximum.
  • the allowable maximum value of the region vertical movement ratio also indicates the maximum value allowed for the vertical movement ratio defined in the same manner as the horizontal movement ratio described above.
  • the region horizontal movement ratio may be defined as the amount of movement of the region relative to the horizontal size of the monitor.
  • the allowable maximum value of the region horizontal movement ratio indicates the maximum value allowed by the horizontal movement ratio defined as described above.
  • the region vertical movement ratio may be defined as the amount of movement of the region with respect to the vertical size of the monitor.
  • the allowable maximum value of the region vertical movement ratio indicates the maximum value allowed by the water vertical movement ratio defined as described above.
  • the allowable maximum value of the region horizontal movement ratio and the allowable maximum value of the region vertical movement ratio are not limited by the viewing position.
  • FIG. 15 illustrates a configuration example of the transport stream TS.
  • the PES packet “Video PES1” of the video stream identified by PID1 exists.
  • the PES packet “Subtitle PES2” of the subtitle stream identified by PID2 exists.
  • the PES packet is composed of a PES header (PES header) and a PES payload (PES payload).
  • PES header PES header
  • PES payload PES payload
  • a video encoded stream is inserted into the PES payload.
  • information indicating the allowable range of subtitle size correction and display position correction is inserted into a styling (TTS) element or region scaling segment existing in the header of the TTML structure. .
  • TTS styling
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the PMT has a program loop (Program ⁇ ⁇ ⁇ loop) that describes information related to the entire program.
  • an elementary stream loop having information related to each elementary stream.
  • video ES loop video elementary stream loop
  • subtitle elementary stream loop subtitle elementary stream loop
  • video elementary stream loop information such as a stream type and PID (packet identifier) is arranged corresponding to the video stream, and a descriptor describing information related to the video stream is also provided. Be placed.
  • the value of “Stream_type” of this video stream is set to a value indicating, for example, the HEVC video stream, and the PID information indicates PID1 given to the PES packet “video PES1” of the video stream.
  • subtitle elementary stream loop In the subtitle elementary stream loop (Subtitle ES loop), information such as a stream type and a PID (packet identifier) is arranged corresponding to the subtitle stream, and a descriptor describing information related to the subtitle stream is also provided. Be placed.
  • the value of “Stream_type” of this subtitle stream is set to, for example, a value indicating a private stream, and the PID information indicates PID2 assigned to the PES packet “Subtitle PES2” of the subtitle stream.
  • Video data (image data) obtained by imaging with the camera 102 is supplied to the video photoelectric conversion unit 103.
  • the video data obtained by the camera 102 is subjected to photoelectric conversion to obtain transmission video data V1.
  • the transmission video data V1 obtained by the video photoelectric conversion unit 103 is supplied from the RGB domain to the YCbCr (luminance / color difference) domain by the RGB / YCbCr conversion unit 104 and then supplied to the video encoder 105.
  • the transmission video data V1 is encoded, for example, MPEG4-AVC or HEVC, and a video stream (PES stream) VS including the encoded video data is generated.
  • the subtitle generation unit 106 generates text data (character code) DT as subtitle information.
  • the text data DT is supplied to the text format conversion unit 107.
  • the text format conversion unit 107 converts the subtitle text information having display timing information, that is, TTML, based on the text data DT (see FIG. 3). This TTML is supplied to the subtitle encoder 108.
  • the subtitle encoder 108 converts the TTML obtained by the text format conversion unit 107 into various segments, and generates a subtitle stream SS composed of PES packets in which those segments are arranged in the payload.
  • subtitle bitmap data is transmitted as subtitle data
  • the text data DT generated by the subtitle generator 106 is supplied to the bitmap data generator 111.
  • the bitmap data generator 111 generates bitmap data of the subtitle based on the text data DT.
  • the subtitle bitmap data is supplied to the subtitle encoder 113.
  • the transmission bitmap data M1 and display control information are converted into various segments, and a subtitle stream SS composed of PES packets in which these segments are arranged in the payload is generated.
  • the video stream VS generated by the video encoder 105 is supplied to the system encoder 109.
  • the subtitle stream SS generated by the subtitle encoder 108 or the subtitle encoder 113 is supplied to the system encoder 109.
  • a transport stream TS including the video stream VS and the subtitle stream SS is generated.
  • the transport stream TS is transmitted to the receiving device 200 by the transmitting unit 110 on a broadcast wave or a net packet.
  • information indicating the allowable range of subtitle size correction and display position correction is inserted into the layer of the subtitle stream SS.
  • subtitle bitmap data is transmitted as subtitle data
  • a newly-defined region scaling segment including information indicating the allowable range of subtitle size correction and display position correction is inserted into the subtitle stream SS (see FIG. 10).
  • subtitle text information is transmitted as subtitle data, for example, information indicating the allowable range of subtitle size correction and display position correction is inserted using a styling (TTS) element (see FIG. 11). ).
  • FIG. 16 illustrates a configuration example of the receiving device 200.
  • the receiving apparatus 200 includes a control unit 201, a receiving unit 202, a system decoder 203, a video decoder 204, a subtitle decoder 206, a font development unit 207, an RGB / YCbCr conversion unit 208, and a subtitle decoder 209. is doing.
  • the receiving device 200 includes a size / position conversion unit 210, a size / position conversion unit 211, a video superimposition unit 212, a YCbCr / RGB conversion unit 213, an electro-optic conversion unit 214, a display mapping unit 215, and a CE.
  • a monitor 216, a user operation unit 231, and an image sensor 232 are included.
  • the control unit 201 includes a CPU (Central Processing Unit) and controls the operation of each unit of the receiving device 200 based on a control program.
  • the user operation unit 231 is a switch, a touch panel, a remote control transmission unit, or the like for a user such as a viewer to perform various operations.
  • the image sensor 232 is disposed on the front side of the receiving device 200, acquires an image including a viewer in front of the monitor, and sends the image to the control unit 201.
  • the image sensor 232 constitutes an information acquisition unit that acquires viewing position information together with the control unit 201.
  • the control unit 201 analyzes the image acquired by the image sensor 232, detects a viewer, and obtains viewing position information (viewing distance D, viewing angle E).
  • viewing position information viewing distance D, viewing angle E.
  • the configuration for obtaining viewing position information is not limited to the configuration using the image sensor 232 as described above.
  • FIG. 17B when a smartphone having a GPS position acquisition function is used as a remote controller, a configuration using position information obtained by the smartphone position acquisition function is also conceivable.
  • the receiving unit 202 receives the transport stream TS transmitted from the transmitting device 100 on broadcast waves or net packets.
  • the system decoder 203 extracts the video stream VS and the subtitle stream SS from the transport stream TS.
  • the video decoder 204 performs a decoding process on the video stream VS extracted by the system decoder 203 and outputs transmission video data V1. In addition, the video decoder 204 extracts a parameter set or SEI message inserted in each access unit constituting the video stream VS and sends it to the control unit 201.
  • the subtitle decoder 206 operates when subtitle text information is transmitted as subtitle data.
  • the subtitle decoder 206 performs a decoding process on the segment data of each region included in the subtitle stream SS to obtain text data and control codes of each region.
  • This control code also includes mixing ratio information (Mixing data) between the subtitle and the background video.
  • the subtitle decoder 206 extracts information indicating the allowable range of the subtitle size correction and display position correction inserted in the subtitle stream SS, and sends the information to the control unit 201.
  • this information is inserted using a styling (TTS) element.
  • TTS styling
  • the control unit 201 recognizes the allowable maximum value of the region enlargement ratio, the allowable minimum value of the region reduction ratio, the allowable maximum value of the region horizontal movement ratio, and the allowable maximum value of the region vertical movement ratio.
  • the font expansion unit 207 expands the font based on the text data and control code of each region obtained by the subtitle decoder 206 to obtain bitmap data of each region.
  • the bitmap data of this subtitle is obtained in the RGB domain.
  • the RGB / YCbCr conversion unit 208 converts the subtitle bitmap data obtained by the font development unit 207 from the RGB domain to the YCbCr (luminance / color difference) domain.
  • the subtitle decoder 209 operates when subtitle bitmap data is transmitted as subtitle data. In this case, data included in the subtitle stream SS is transmitted to the CLUT. The subtitle decoder 209 performs a decoding process on the subtitle stream SS to obtain subtitle bitmap data and mixing ratio information (Mixing data) between the subtitle and the background video.
  • the subtitle decoder 209 extracts information indicating the allowable range of size correction and display position correction of the subtitle inserted in the subtitle stream SS, and sends the information to the control unit 201. In this case, this information has been inserted into the region scaling segment.
  • the control unit 201 recognizes the allowable maximum value of the region enlargement ratio, the allowable minimum value of the region reduction ratio, the allowable maximum value of the region horizontal movement ratio, and the allowable maximum value of the region vertical movement ratio.
  • the size / position conversion unit 210 performs processing for correcting the subtitle size and display position on the subtitle bitmap data output from the RGB / YCbCr conversion unit 208 or the subtitle decoder 209.
  • the size / position conversion unit 210 automatically performs correction processing based on viewing position information and monitor size information under the control of the control unit 201. In addition, the size / position conversion unit 210 performs the correction process based on a user operation such as a viewer. In this case, the size / position conversion unit 210 receives a correction by a user operation after performing the automatic correction.
  • the size / position conversion unit 210 can be placed in a state where automatic correction is stopped by a user operation, and in that case, only the correction by the user operation is accepted.
  • the size / position conversion unit 210 can be placed in a state in which correction by a user operation is not accepted, and in that case, only automatic correction is performed.
  • the size / position conversion unit 210 limits the correction of the subtitle size and display position within an allowable range.
  • information indicating the allowable range extracted from the subtitle stream SS is used.
  • information indicating an allowable range is not extracted from the subtitle stream SS default information is used.
  • FIG. 18A shows an example of the display state of the subtitle (caption) on the screen when the monitor size is small.
  • FIG. 18B shows an example of the display state of the subtitle on the screen when the monitor size is large.
  • the subtitle size is not corrected.
  • the size of the subtitle increases in proportion to the monitor size. Therefore, when the distance from the viewer to the monitor, that is, the viewing distance is short, the size of the subtitle is too large, which is troublesome for the viewer. In this case, if the viewer's front position is too far from the subtitle display position, it is difficult for the viewer to see the subtitle naturally.
  • FIG. 18C also shows a display state example of the subtitle on the screen when the monitor size is large.
  • the size of the subtitle is reduced and corrected, and even if the viewing distance is short, the viewer is not inconvenienced.
  • the subtitle display position is moved and corrected so as to be close to the viewer's front position, so that the viewer can easily see the subtitle naturally.
  • the subtitle size correction processing in the size / position conversion unit 210 will be described. First, the automatic correction process will be described.
  • the resolution of the video displayed on the monitor is HD
  • the appropriate viewing distance is represented by the ratio of the distance to the monitor with respect to the monitor height, and the value “3” is appropriate.
  • the value is said to change when the video resolution is UHD. That is, the value is small, that is, viewing at a closer distance becomes possible.
  • the size / position conversion unit 210 performs automatic correction processing of the subtitle size when the automatic correction is permitted.
  • the size / position conversion unit 210 performs subtitle size correction (enlargement or reduction) in accordance with the size of the R threshold.
  • This subtitle size correction corresponds to a region range size correction.
  • the size / position conversion unit 210 corrects the size of the subtitle by performing interpolation processing on the bitmap data of the subtitle.
  • the size / position conversion unit 210 reduces and corrects the subtitle size when R is smaller than the threshold TH1, and enlarges and corrects the subtitle size when R is larger than the threshold TH2 larger than the threshold TH1. In this case, the size / position conversion unit 210 limits the subtitle size correction within an allowable range.
  • the flowchart of FIG. 19 shows an example of a subtitle size automatic correction process in the size / position conversion unit 210.
  • related processing in the control unit 201 is also described as processing of the size / position conversion unit 210.
  • the size / position converter 210 first starts processing in step ST1. Next, in step ST2, the size / position conversion unit 210 acquires information about the viewing distance D, the monitor height M_h, and the video resolution. Then, in step ST3, the size / position conversion unit 210 obtains R using the above mathematical formula (1).
  • step ST4 the size / position conversion unit 210 determines whether or not R ⁇ TH1.
  • the size / position conversion unit 210 determines whether R> TH2 is satisfied in step ST5.
  • the size / position conversion unit 210 ends the process in step ST6. In other words, at this time, the size / position conversion unit 210 does not correct the size of the subtitle and keeps it as it is.
  • step ST5 When it is determined in step ST5 that R> TH2, the size / position conversion unit 210 proceeds to the process of step ST7.
  • step ST7 the size / position converter 210 enlarges the subtitle size at a preset ratio. Of course, this enlargement ratio is limited within an allowable range.
  • the size / position conversion unit 210 ends the process in step ST6 after the process of step ST7.
  • step ST8 the size / position conversion unit 210 proceeds to the process of step ST8.
  • step ST8 the size / position conversion unit 210 reduces the subtitle size at a preset ratio. Of course, this reduction ratio is limited within an allowable range.
  • the size / position conversion unit 210 ends the process in step ST6 after the process of step ST8.
  • a subtitle size correction process based on a user operation in the size / position conversion unit 210 will be described.
  • operation information for expanding or reducing the size of the subtitle is supplied from the user operation unit 231 to the control unit 201.
  • the size / position conversion unit 210 corrects the size of the subtitle according to the user operation based on the command from the control unit 201.
  • the flowchart of FIG. 20 shows an example of a subtitle size correction process based on a user operation in the size / position conversion unit 210. This flowchart corresponds to the unit operation of the user. When the operation is continuously performed, the process of this flowchart is repeated.
  • the size / position conversion unit 210 starts processing in step ST11.
  • step ST12 the size / position conversion unit 210 determines whether the command from the control unit 201 is a subtitle size enlargement command or a reduction command.
  • the size / position conversion unit 210 enlarges the size of the subtitle by a predetermined ratio when the size is not within the upper limit ratio in step ST13.
  • the size / position conversion unit 210 performs this step ST13.
  • the enlargement process is not performed in.
  • a notification display to the user that the enlargement process is impossible may be performed on the CE monitor 216.
  • the size / position conversion unit 210 ends the process in step ST14 after the process of step ST13.
  • the size / position conversion unit 210 determines that the command is a reduction command in step ST12, the size of the subtitle is reduced by a predetermined ratio in step ST15 when the subtitle size is not within the lower limit ratio.
  • the size / position conversion unit 210 performs this step ST15. No reduction processing is performed in. In this case, based on the control of the control unit 201, a notification display to the user that the reduction process is impossible may be performed on the CE monitor 216.
  • the size / position conversion unit 210 ends the process in step ST14 after the process of step ST15.
  • the subtitle display position correction process in the size / position conversion unit 210 will be described. First, the automatic correction process will be described. In this case, as described with reference to FIGS. 12 and 14, the size / position conversion unit 210 automatically corrects the display position of the subtitle when the automatic correction is permitted.
  • FIG. 21 shows an example of the automatic correction processing of the subtitle display position in the size / position conversion unit 210.
  • related processing in the control unit 201 is also described as processing of the size / position conversion unit 210.
  • the size / position converter 210 first starts processing in step ST21.
  • step ST22 the size / position conversion unit 210 acquires information about the viewing distance D, viewing angle E, monitor height M_h, monitor width M_w, and video resolution.
  • step ST23 the size / position conversion unit 210 obtains the horizontal end portion on the viewing position side of the original display position of the region as the reference point P.
  • the original display position of the region is the display position after the size correction process when the subtitle size correction process is performed.
  • step ST24 the size / position conversion unit 210 determines whether the viewing angle E is equal to or smaller than the monitor size M_w.
  • the size / position conversion unit 210 calculates Q in the following equation (2) in step ST25.
  • Q (E ⁇ P) / 2 ( 2)
  • step ST26 when it is determined in step ST26 that the viewing distance D is less than the appropriate viewing distance, the size / position conversion unit 210 proceeds to the process of step ST29.
  • step ST29 the size / position converter 210 moves the region according to the viewing distance D so that the display position is between the reference points P, Q, and E. In this case, the smaller the viewing distance D, the closer to E.
  • the size / position converting unit 210 ends the process in step ST28 after the process in step ST29.
  • step ST31 when it is determined that the viewing distance D is less than the appropriate viewing distance, the size / position conversion unit 210 proceeds to the process of step ST33.
  • step ST33 the size / position conversion unit 210 moves the region according to the viewing distance D so that the display position is between the reference points P, Q, and M_w according to the viewing distance D. In this case, the smaller the viewing distance D, the closer to M_w.
  • the size / position conversion unit 210 ends the process in step ST28 after the process in step ST33.
  • the size / position conversion unit 210 corrects the display position of the subtitle according to the user operation based on the command from the control unit 201.
  • the flowchart in FIG. 22 illustrates an example of a subtitle display position correction process based on a user operation in the size / position conversion unit 210. This flowchart corresponds to the unit operation of the user. When the operation is continuously performed, the process of this flowchart is repeated.
  • the size / position conversion unit 210 starts processing in step ST41.
  • step ST42 the size / position conversion unit 210 determines that the command from the control unit 201 is a horizontal direction (H direction) movement command or a vertical direction (V direction) movement command of the display position of the subtitle. Judge if there is.
  • the size / position conversion unit 210 moves the region in the designated direction (right or left) within a range where the movement ratio does not exceed the allowable maximum value.
  • the size / position conversion unit 210 may not perform the movement process in step ST13. In this case, based on the control of the control unit 201, a notification display to the user that the movement process is impossible may be performed on the CE monitor 216.
  • the size / position conversion unit 210 ends the process in step ST44 after the process of step ST43.
  • the size / position conversion unit 210 determines that the movement command is in the V direction in step ST42, the size / position conversion unit 210 determines that the region in step ST45 has a movement ratio that does not exceed the allowable maximum value. To move in the specified direction (up or down). The size / position conversion unit 210 may not perform the movement process in step ST45. In this case, based on the control of the control unit 201, a notification display to the user that the movement process is impossible may be performed on the CE monitor 216.
  • the size / position conversion unit 210 ends the process in step ST44 after the process of step ST45.
  • the size / position conversion unit 211 performs the same processing as the subtitle size and display position correction processing in the size / position conversion unit 211 on the mixing ratio information (Mixing data) output from the subtitle decoder 209. Correct the process.
  • the video superimposing unit 212 superimposes the transmission video data V1 obtained by the video decoder 204 with the subtitle bitmap data that has been subjected to the size and display position correction processing by the size / position converting unit 210. In this case, the video superimposing unit 212 mixes the subtitle bitmap data at the mixing ratio indicated by the mixing ratio information (Mixing data).
  • the mixing ratio information (Mixing data) obtained by the subtitle decoder 206 is used.
  • the mixture ratio information (Mixing data) that has been subjected to size and display position correction processing by the size / position conversion unit 211 is used.
  • the YCbCr / RGB conversion unit 213 converts the transmission video data V1 ′ on which the subtitle bitmap data is superimposed from the YCbCr (luminance / color difference) domain to the RGB domain.
  • the electro-optic conversion unit 214 performs electro-optic conversion by applying electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics applied to the transmission video data V1 ′ converted into the RGB domain, and displays the image. Get video data for.
  • the display mapping unit 215 performs display brightness adjustment on the display video data according to the maximum brightness display capability of the CE monitor 216.
  • the CE monitor 216 displays an image based on the display video data.
  • the CE monitor 216 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), and the like.
  • the reception unit 202 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets.
  • This transport stream TS is supplied to the system decoder 203.
  • the system decoder 203 extracts the video stream VS and the subtitle stream SS from the transport stream TS.
  • the video stream VS extracted by the system decoder 203 is supplied to the video decoder 204.
  • the video decoder 204 performs a decoding process on the video stream VS to obtain transmission video data V1. Further, the video decoder 204 extracts a parameter set and SEI message inserted in each access unit constituting the video stream VS and sends the extracted parameter set and SEI message to the control unit 201.
  • the subtitle stream SS extracted by the system decoder 203 is supplied to the subtitle decoder 206 when subtitle text information is transmitted as subtitle data.
  • the segment data of each region included in the subtitle stream SS is subjected to decoding processing to obtain text data and control codes of each region.
  • This control code also includes mixing ratio information (Mixing data) between the subtitle and the background video.
  • the subtitle decoder 206 extracts information indicating the allowable range of size correction and display position correction of the subtitle inserted in the subtitle stream SS and sends the information to the control unit 201.
  • this information is inserted using a styling (TTS) element.
  • TTS styling
  • the control unit 201 recognizes the allowable maximum value of the region enlargement ratio, the allowable minimum value of the region reduction ratio, the allowable maximum value of the region horizontal movement ratio, and the allowable maximum value of the region vertical movement ratio.
  • the text data and control code of each region obtained by the subtitle decoder 206 are supplied to the font development unit 207.
  • the font expansion unit 207 performs font expansion based on the text data and control code of each region, and obtains bitmap data of each region.
  • the bitmap data of each region obtained by the font development unit 207 is converted from the RGB domain to the YCbCr (luminance / color difference) domain by the RGB / YCbCr conversion unit 208.
  • the subtitle stream SS extracted by the system decoder 203 is supplied to the subtitle decoder 209 when the subtitle bitmap data is transmitted as the subtitle data.
  • the subtitle decoder 209 performs decoding processing on the subtitle stream SS, and obtains subtitle bitmap data and mixing ratio information (Mixing data) between the subtitle and the background video.
  • the subtitle bitmap data output from the RGB / YCbCr converter 208 or the subtitle decoder 209 is supplied to the size / position converter 210.
  • the size / position converter 210 performs processing for correcting the subtitle size and display position on the subtitle bitmap data. In this case, correction processing is performed automatically or in accordance with a user operation under the control of the control unit 201 (see FIGS. 19 to 22). This correction is performed within an allowable range.
  • the transmission video data V1 obtained by the video decoder 204 is supplied to the video superimposing unit 211.
  • the subtitle bitmap data subjected to the size and display position correction processing by the size / position conversion unit 210 is supplied to the video superimposing unit 211.
  • the video superimposing unit 211 has the mixing ratio information (Mixing data) obtained by the subtitle decoder 206 or the mixing ratio information (Mixing data) subjected to the size and display position correction processing by the size / position converting unit 211. Is supplied.
  • the video superimposing unit 212 superimposes the transmission video data V1 on the subtitle bitmap data whose size and display position are corrected automatically based on information such as a monitor size and a viewing position or according to a user operation. Is done.
  • the transmission video data V1 ′ on which the bitmap data is superimposed is supplied to the YCbCr / RGB conversion unit 213.
  • the transmission video data V1 ′ is converted from the YCbCr (luminance / color difference) domain to the RGB domain and supplied to the electro-optic conversion unit 214.
  • electro-optic conversion unit 214 electro-optic conversion characteristics corresponding to the photoelectric conversion characteristics applied to the transmission video data V1 ′ are applied to perform electro-optic conversion, and display video data for displaying an image is obtained. .
  • the display video data is supplied to the display mapping unit 215.
  • display luminance adjustment is performed on the display video data in accordance with the maximum luminance display capability of the CE monitor 216 and the like.
  • the display video data whose display brightness is adjusted in this way is supplied to the CE monitor 216.
  • An image is displayed on the CE monitor 216 based on the video data for display.
  • the receiving apparatus 200 performs processing for correcting the subtitle size and the display position on the subtitle bitmap data. Therefore, for example, even when the viewing distance is short and displayed on a large screen monitor, the subtitle can be displayed in a superimposed manner on the video.
  • the receiving apparatus 200 automatically corrects the subtitle size and the subtitle display position based on the viewing position information and the monitor size information. Therefore, it is possible to set the subtitle size and the display position in an appropriate state without requiring a user such as a viewer to operate.
  • the receiving apparatus 200 corrects the subtitle size and the subtitle display position based on the user operation. Therefore, a user such as a viewer can set the subtitle size and display position in a desired state.
  • the receiving apparatus 200 limits the correction of the subtitle size and the display position within an allowable range. Therefore, it is possible to avoid the correction of transients.
  • the receiving apparatus 200 extracts the correction allowable range information from the subtitle stream layer, and corrects the subtitle size and display position correction within the allowable range based on the allowable range information. Restrict. Therefore, the subtitle size correction and display position correction can be appropriately limited.
  • the transmission apparatus 100 inserts the subtitle size and display position correction allowable range information into the layer of the subtitle stream and transmits it. Therefore, on the receiving side, it is possible to appropriately limit the subtitle size correction and the display position correction by using the correction allowable range information.
  • the container is MPEG-2 TS.
  • the present technology is not limited to the MPEG-2 TS, and can be similarly applied to other packets such as ISOBMFF and MMT.
  • this technique can also take the following structures.
  • a receiving unit that receives a container of a predetermined format including a video stream having video data and a subtitle stream having subtitle data;
  • a video decoding unit that obtains video data by performing a decoding process on the video stream;
  • a subtitle decoding unit that performs decoding processing on the subtitle stream to obtain bitmap data of the subtitle;
  • a subtitle processing unit that performs processing for correcting the subtitle size and / or the display position of the subtitle for the subtitle bitmap data;
  • a receiving apparatus comprising: a video superimposing unit that superimposes the processed subtitle bitmap data on the video data.
  • the subtitle processing unit When the viewing horizontal position is outside the horizontal end point of the region that is the subtitle display area, the region position is directed to the viewing vertical position according to the distance from the end point to the viewing horizontal position.
  • the receiving apparatus according to any one of (2) to (4), wherein the display position of the subtitle is automatically corrected by moving in a horizontal direction.
  • the subtitle processing unit When the viewing vertical position is outside the vertical end point of the region that is the area where the subtitle is displayed, the region position is directed toward the viewing vertical position according to the distance from the end point to the viewing vertical position.
  • the receiving device according to any one of (2) to (4), wherein the display position of the subtitle is automatically corrected by moving in the vertical direction.
  • the subtitle processing unit The receiving device according to any one of (1) to (6), wherein the size of the subtitle and / or the display position of the subtitle is corrected based on a user operation.
  • the subtitle processing unit The receiving device according to any one of (1) to (7), wherein size correction of the subtitle and / or display position correction of the subtitle is limited within an allowable range.
  • Correction permissible range information is inserted in the layer of the subtitle stream, An information extracting unit that extracts the correction allowable range information from the layer of the subtitle stream;
  • the subtitle processing unit The receiving device according to (8), wherein the correction is limited to an allowable range based on the extracted correction allowable range information.
  • a transmission unit that transmits a container in a predetermined format including a video stream having video data and a subtitle stream having subtitle data;
  • a transmission apparatus comprising: an information insertion unit that inserts information indicating an allowable range of subtitle size correction and / or information indicating an allowable range of subtitle display position correction into a layer of the subtitle stream.
  • a transmission method comprising: an information insertion step of inserting information indicating an allowable range for correcting the size of the subtitle and / or information indicating an allowable range for correcting the display position of the subtitle into the layer of the subtitle stream.
  • a receiving unit that receives a container in a predetermined format including a video stream having video data and a graphics stream having graphics data;
  • a video decoding unit that obtains video data by performing a decoding process on the video stream;
  • a graphics decoding unit that performs decoding processing on the graphics stream to obtain graphics bitmap data;
  • a graphics processing unit that performs processing for correcting the graphics size and / or graphics display position on the graphics bitmap data;
  • a receiving apparatus comprising: a video superimposing unit that superimposes the processed graphics bitmap data on the video data.
  • a transmission apparatus comprising: an information insertion unit that inserts information indicating an allowable range for correcting a size of graphics and / or information indicating an allowable range for correcting a display position of graphics into the layer of the graphics stream.
  • a subtitle (graphics) bitmap data is provided with a processing unit that modifies the size and display position of the subtitle (graphics), so that the subtitle (graphics) can be superimposed on the video. It was to be able to perform well (see FIG. 18).
  • Subtitle decoder 209 ... YCbCr / R B conversion unit 210, 211 ... size / position conversion unit 212 ... video superimposition unit 213 ... YCbCr / RGB conversion unit 214 ... electro-optic conversion unit 215 ... display mapping unit 216 ... CE monitor 231:
  • User operation unit 232 Image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

サブタイトル（グラフィクス）のビデオへの重畳表示を良好に行い得るようにする。　ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する。ビデオストリームをデコードしてビデオデータを得る。サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得る。サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行う。処理されたサブタイトルのビットマップデータをビデオデータに重畳して表示用ビデオデータを得る。

Description

受信装置、受信方法、送信装置および送信方法
　本技術は、受信装置、受信方法、送信装置および送信方法に関し、詳しくは、サブタイトルやグラフィクスをビデオに重畳表示する受信装置等に関する。
　従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、サブタイトルデータをビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている（特許文献１参照）。
特開２０１２－１６９８８５号公報
　従来のサブタイトル（字幕）の伝送方法においては、背景となるビデオの解像度に依存した精度のデータを送ることを前提とし、表示はそれに則って行われていた。受信側では、モニタ画面のサイズ、または、視聴者の視聴位置によって、ビデオに重畳表示されるサブタイトルの位置やサイズを修正できることが望まれる。
　本技術の目的は、サブタイトル（グラフィクス）のビデオへの重畳表示を良好に行い得るようにすることにある。
　本技術の概念は、
　ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
　上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得るサブタイトルデコード処理と、上記サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行うサブタイトル処理と、上記処理されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
　受信装置。
　本技術において、受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。制御部により、ビデオデコード処理、サブタイトルデコード処理、サブタイトル処理およびビデオ重畳処理が制御される。ビデオデコード処理では、ビデオストリームがデコードされてビデオデータが得られる。サブタイトルデコード処理では、サブタイトルストリームがデコードされてサブタイトルのビットマップデータが得られる。
　サブタイトル処理では、サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理が行われる。そして、ビデオ重畳処理では、処理されたサブタイトルのビットマップデータがビデオデータに重畳される。
　このように本技術においては、サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行うことが可能であり、サブタイトルのビデオへの重畳表示を良好に行い得る。
　なお、本技術において、例えば、サブタイトル処理では、視聴位置情報およびモニタサイズ情報に基づいて、サブタイトルのサイズおよび/またはサブタイトルの表示位置を自動的に修正する、ようにされてもよい。このように自動的に修正されることで、視聴者などのユーザに操作手間を取らせることなく、サブタイトルのサイズや表示位置を適切な状態とすることが可能となる。
　この場合、例えば、視聴位置情報を取得する情報取得部をさらに備える、ようにされてもよい。また、この場合、例えば、サブタイトル処理では、視聴距離をＤ、モニタ高さをＭ＿ｈ、ビデオ解像度に依存する値をｆとして、Ｒ＝Ｄ/（Ｍ＿ｈ＊ｆ）を求め、このＲが第１の閾値より小さいときサブタイトルのサイズを縮小修正し、このＲが第１の閾値より大きな第２の閾値より大きいときサブタイトルのサイズを拡大修正する、ようにされてもよい。
　また、この場合、例えば、サブタイトル処理では、サブタイトルが表示される領域であるリージョンの水平方向の端点より外側に視聴水平位置があるとき、その端点から視聴水平位置までの距離に応じて、リージョンの位置を視聴水平位置に向けて水平方向に移動することでサブタイトルの表示位置を自動的に修正する、ようにされてもよい。また、この場合、例えば、サブタイトル処理では、サブタイトルが表示される領域であるリージョンの垂直方向の端点より外側に視聴垂直位置があるとき、その端点から視聴垂直位置までの距離に応じて、リージョンの位置を視聴垂直位置に向けて垂直方向に移動することでサブタイトルの表示位置を自動的に修正する、ようにされてもよい。
　また、本技術において、例えば、サブタイトル処理では、ユーザ操作に基づいて、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正する、ようにされてもよい。この場合、視聴者などのユーザは、サブタイトルのサイズや表示位置を所望の状態とすることが可能となる。
　また、本技術において、例えば、サブタイトル処理では、サブタイトルのサイズおよび/または表示位置の修正を許容範囲内に制限する、ようにされてもよい。このように修正が許容範囲内に制限されることで、過渡の修正が行われることが回避される。
　この場合、例えば、サブタイトルストリームのレイヤに、修正の許容範囲情報が挿入されており、サブタイトルストリームのレイヤから修正の許容範囲情報を抽出する情報抽出部をさらに備え、サブタイトル処理では、抽出された許容範囲情報に基づいて、修正を許容範囲内に制限する、ようにされてもよい。この場合、サブタイトルストリームのレイヤに挿入されている許容範囲情報が使用されるものであり、サブタイトルのサイズ修正や表示位置修正の制限を適切に行い得る。
　また、本技術の他の概念は、
　ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記サブタイトルストリームのレイヤに、サブタイトルのサイズ修正の許容範囲を示す情報および/またはサブタイトルの表示位置修正の許容範囲を示す情報を挿入する情報挿入部を備える
　送信装置にある。
　本技術において、送信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが送信される。情報挿入部により、サブタイトルストリームのレイヤに、サブタイトルのサイズ修正の許容範囲を示す情報および/またはサブタイトルの表示位置修正の許容範囲を示す情報が挿入される。
　このように本技術においては、サブタイトルのサイズや表示位置の修正許容範囲情報がサブタイトルストリームのレイヤに挿入される。そのため、受信側では、この修正許容範囲情報を用いることで、サブタイトルのサイズ修正や表示位置修正を適切に制限することが可能となる。
　また、本技術の他の概念は、
　ビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
　上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームをデコードしてグラフィクスのビットマップデータを得るグラフィクスデコード処理と、上記グラフィクスのビットマップデータに対して、グラフィクスのサイズおよび/またはグラフィクスの表示位置を修正するための処理を行うグラフィクス処理と、上記処理されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
　受信装置にある。
　また、本技術の他の概念は、
　ビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記グラフィクスストリームのレイヤに、グラフィクスのサイズ修正の許容範囲を示す情報および/またはグラフィクスの表示位置修正の許容範囲を示す情報を挿入する情報挿入部を備える
　送信装置にある。
　本技術によれば、サブタイトルのビデオへの重畳表示を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 ＴＴＭＬ構造を示す図である。 ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素の構造例を示す図である。 リージョンの開始位置、終了位置を説明するための図である。 ＴＴＭＬ構造のボディ（body）の構造例を示す図である。 ページ・コンポジション・セグメントの構造例を示す図である。 リージョン・コンポジション・セグメントの構造例を示す図である。 ＣＬＵＴ・デフィニション・セグメントの構造例を示す図である。 サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が挿入されたリージョン・スケーリング・セグメントの構造例と、その構造例における主要な情報の内容を示す図である。 サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が挿入されたスタイリング（ＴＴＳ）の構造例を示す図である。 受信側におけるリージョン位置（サブタイトルの表示位置）の自動修正について説明するための図である。 視聴距離Ｄとモニタ高さＭ＿ｈを示す図である。 受信側におけるリージョン位置（サブタイトルの表示位置）の自動修正について説明するための図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 視聴位置情報を得るための構成を説明するための図である。 サブタイトルのサイズおよび表示位置の修正を説明するための図である。 サイズ/位置変換部におけるサブタイトルのサイズの自動修正処理の一例を示すフローチャートである。 サイズ/位置変換部におけるユーザ操作に基づくサブタイトルのサイズの修正処理の一例を示すフローチャートである。 サイズ/位置変換部におけるサブタイトルの表示位置の自動修正処理の一例を示すフローチャートである。 サイズ/位置変換部におけるユーザ操作に基づくサブタイトルの表示位置の修正処理の一例を示すフローチャートである。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００および受信装置２００により構成されている。
　送信装置１００は、コンテナとしてのＭＰＥＧ２のトランスポートストリームＴＳを生成し、このトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、ビデオデータ（画像データ）を持つビデオストリームが含まれる。
　また、このトランスポートストリームＴＳには、サブタイトルデータ（字幕データ）を持つサブタイトルストリームが含まれる。ここで、サブタイトルデータは、所定フォーマットのサブタイトルのテキスト情報、あるいはサブタイトルのビットマップデータである。サブタイトルストリームのレイヤに、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が挿入されている。
　受信装置２００は、送信装置１００から送られてくるトランスポートストリームＴＳを受信する。受信装置２００は、ビデオストリームにデコード処理を施してビデオデータを得ると共に、サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得る。
　受信装置２００は、サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび表示位置を修正するための処理をする。そして、受信装置２００は、サイズ修正および表示位置修正の処理がされたサブタイトルのビットマップデータをビデオデータに重畳して、表示用のビデオデータを得る。
　受信装置２００は、修正処理を、視聴位置情報およびモニタサイズ情報に基づいて自動的に行う。また、受信装置２００は、修正処理を、視聴者などのユーザ操作に基づいて行う。受信装置２００は、この修正処理において、サブタイトルのサイズおよび表示位置の修正を許容範囲内に制限する。
　受信装置２００は、この制限を行うに当たって、サブタイトルストリームのレイヤからサブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を抽出して用いる。受信装置２００は、サブタイトルストリームのレイヤから修正許容範囲情報を抽出できなかったとき、デフォルト設定されている情報を用いる。
　「送信装置の構成例」
　図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、カメラ１０２と、ビデオ光電変換部１０３と、ＲＧＢ/ＹＣｂＣｒ変換部１０４と、ビデオエンコーダ１０５と、サブタイトル発生部１０６と、テキストフォーマット変換部１０７と、サブタイトルエンコーダ１０８と、システムエンコーダ１０９と、送信部１１０を有している。
　なお、サブタイトルデータとしてサブタイトルのテキスト情報を送信する代わりに、サブタイトルデータとしてサブタイトルのビットマップデータを送信する場合、送信装置１００は、テキストフォーマット変換部１０７およびサブタイトルエンコーダ１０８の代わりに、ビットマップデータ発生部１１１およびサブタイトルエンコーダ１１３を有する。
　制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。カメラ１０２は、被写体を撮像してビデオデータ（画像データ）を出力する。ビデオ光電変換部１０３は、カメラ１０２で得られたビデオデータに対して、光電変換を施して、伝送ビデオデータＶ１を得る。
　ＲＧＢ/ＹＣｂＣｒ変換部１０４は、伝送ビデオデータをＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。ビデオエンコーダ１０５は、ＹＣｂＣｒドメインに変換された伝送ビデオデータＶ１に対して、例えば、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化を施し、符号化ビデオデータを含むビデオストリーム（ＰＥＳストリーム）ＶＳを生成する。
　サブタイトル発生部１０６は、サブタイトル情報としてのテキストデータ（文字コード）ＤＴを発生する。テキストフォーマット変換部１０７は、テキストデータＤＴを入力し、所定フォーマットのサブタイトルのテキスト情報、この実施の形態においてはＴＴＭＬ（Timed Text Markup Language）を得る。
　図３は、ＴＴＭＬ（Timed Text Markup Language）構造例を示している。ＴＴＭＬは、ＸＭＬベースで記載される。図示の例では、ルート・コンテナ（root container）の位置に、「tts:extent」で字幕表示対象エリアが指定されている。ヘッダ（head）には、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）などの各要素が存在する。図４（ａ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
　図４（ｂ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、リージョン（Region）の位置、サイズ、カラー（color）、フォント（fontFamily）、フォントサイズ（fontSize）、テキストアラインメント（textAlign）などの情報が含まれている。
　「tts:origin」は、サブタイトルの表示領域であるリージョン（Region）の開始位置を画素数で指定する。この例では、「tts:origin“480px 600px”」であり、図５に示すように、開始位置は（４８０，６００）であることを示している。また、「tts:extent」は、リージョンの終了位置を開始位置からの水平方向、垂直方向のオフセット画素数で指定する。この例では、「tts:extent“560px 350px”」であり、終了位置は（４８０＋５６０，６００＋３５０）であることを示している。ここで、このオフセット画素数は、リージョンの水平、垂直のサイズに対応している。
　「tts:opacity=“1.0”」は、サブタイトル（字幕）と背景ビデオとの混合比を示す。例えば、“１．０”はサブタイトルを１００％、背景ビデオを０％とすることを示し、“０．１”はサブタイトル（字幕）を０％、背景ビデオを１００％とすることを示す。図示の例では、“１．０”とされている。
　図４（ｃ）は、レイアウト（TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。なお、リージョン（Region）の位置、サイズの情報を、このレイアウトに含めることも可能である。
　図６は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）、サブタイトル２（subtitle 2）、サブタイトル３（subtitle 3）の３つのサブタイトルの情報が含まれている。サブタイトル毎に、表示開始タイミングと表示終了タイミングが記載されると共に、テキストデータが記載されている。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“０．７６ｓ”で、表示終了タイミングが“３．４５ｓ”であり、テキストデータが「It seems a paradox, dose it not,」とされている。
　図２に戻って、サブタイトルエンコーダ１０８は、テキストフォーマット変換部１０７で得られたＴＴＭＬを種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したＰＥＳパケットで構成されるサブタイトルストリームＳＳを生成する。
　また、ビットマップデータ発生部１１１は、サブタイトル発生部１０６で発生されるテキストデータＤＴを入力し、サブタイトルのビットマップデータを発生する。サブタイトルエンコーダ１１３は、サブタイトルのビットマップデータと表示制御情報を種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したＰＥＳパケットで構成されるサブタイトルストリームＳＳを生成する。
　この場合、サブタイトルの表示領域であるリージョン（Region）の開始位置の情報は、ページ・コンポジション・セグメント（page_composition_segment）に含まれる。図７は、従来周知のページ・コンポジション・セグメントの構造例（Syntax）を示している。「region_horizontal_address」のフィールドおよび「region_vertical_address」のフィールドは、リージョン（Region）の開始位置を示す。
　また、この場合、リージョンの水平、垂直のサイズを示す情報は、リージョン・コンポジション・セグメント（region_composition_segment）に含まれる。図８は、従来周知のリージョン・コンポジション・セグメントの構造例（Syntax）を示している。「region_width」のフィールドおよび「resion_height」のフィールドは、リージョンの水平、垂直のサイズを示している。
　また、この場合、サブタイトル（字幕）と背景ビデオとの混合比を示す情報は、ＣＬＵＴ・デフィニション・セグメント（CLUT_definition_segment）に含まれる。図９は、従来周知のＣＬＵＴ・デフィニション・セグメントの構造例（Syntax）を示している。「T-value」のフィールドは、サブタイトルと背景ビデオとの混合比を示している。
　図２に戻って、システムエンコーダ１０９は、ビデオエンコーダ１０５で生成されたビデオストリームＶＳと、サブタイトルエンコーダ１０８あるいはサブタイトルエンコーダ１１３で生成されたサブタイトルストリームＳＳを含むトランスポートストリームＴＳを生成する。送信部１１０は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
　ここで、送信装置１００は、上述したように、サブタイトルストリームＳＳのレイヤに、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を挿入する。サブタイトルデータとしてサブタイトルのビットマップデータを送信する場合、つまりトランスポートストリームＴＳにサブタイトルエンコーダ１１３で生成されたサブタイトルストリームＳＳを含める場合には、例えば、このサブタイトルストリームＳＳに、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を含むセグメントを挿入する。
　図１０（ａ）は、新規定義するリージョン・スケーリング・セグメント（Region_scaling_Segment）の構造例（syntax）を示し、図１０（ｂ）はその構造例における主要な情報の内容（Semantics）を示している。このセグメントには、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「region_id」、「scale_up_factor」、「scale_down_factpor」、「positioning_horizontal_factor」、「positioning_vertical_factor」の情報が存在する。
　「segment_type」の８ビットフィールドはセグメントタイプを示し、ここでは、リージョン・スケーリング・セグメントであることを示す。「segment_length」の８ビットフィールドは、セグメントの長さ（サイズ）を示す。「region_id」の８ビットフィールドは、リージョンを識別する識別子を示す。
　「scale_up_factor」の８ビットフィールドは、リージョン拡大比率の許容最大値を示す。「scale_down_factpor」の８ビットフィールドは、リージョン縮小比率の許容最小値を示す。「scale_up_factor」、「scale_down_factpor」の情報は、サブタイトルのサイズ修正の許容範囲を示す情報を構成している。
　「positioning_horizontal_factor」の８ビットフィールドは、リージョン水平移動比率の許容最大値を示す。「positioning_vertical_factor」の８ビットフィールドは、リージョン垂直移動比率の許容最大値を示す。「positioning_horizontal_factor」、「positioning_vertical_factor」の情報は、サブタイトルの表示位置修正の許容範囲を示す情報を構成している。
　また、サブタイトルデータとしてサブタイトルのテキスト情報を送信する場合、つまりトランスポートストリームＴＳにサブタイトルエンコーダ１０８で生成されたサブタイトルストリームＳＳを含める場合には、例えば、スタイリング（ＴＴＳ）の要素を利用して、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を挿入する。
　図１１は、その場合におけるスタイリング（ＴＴＳ）の構造例を示している。「tts:scale_up_factor」は、リージョン拡大比率の許容最大値を示す。図示の例では、許容最大値が“ａａ％”であることを示している。「tts:scale_down_factor」は、リージョンs縮小比率の許容最小値を示す。図示の例では、許容最大値が“ｂｂ％”であることを示している。
　「tts:positioning_horizontal_factor」は、リージョン水平移動比率の許容最大値を示す。図示の例では、許容最大値が“ｃｃ％”であることを示している。「tts:positioning_vertical_factor」は、リージョン垂直移動比率の許容最大値を示す。図示の例では、許容最大値が“ｄｄ％”であることを示している。
　なお、詳細説明は省略するが、サブタイトルデータとしてサブタイトルのテキスト情報を送信する場合、上述したようにスタイリング（ＴＴＳ）の要素を利用する代わりに、レイアウトの要素を利用してサブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を挿入することも考えられる。
　ここで、受信側におけるリージョン位置、従ってサブタイトルの表示位置の自動修正について説明する。ここでは、水平方向の自動修正について説明する。図１２は、視聴位置Ａの視聴アングルＥ（視聴水平位置）が、モニタサイズＭ＿ｗ以下の場合の例を示している。ここで、モニタサイズＭ＿ｗは、リージョンのオリジナルな表示位置の水平方向中心を原点位置Ｏとし、この原点位置Ｏからモニタの左側の水平方向端部までの幅を示している。
　リージョンのオリジナルな表示位置の視聴位置側の水平方向端部を基準点Ｐとして、Ｑ＝（Ｅ－Ｐ）/２が求められる。視聴距離Ｄが適正視聴距離（＝３＊Ｍ＿ｈ）以上であるときは、リージョンの移動はせず、表示位置は基準点Ｐのままとされる。一方、視聴距離Ｄが適正視聴距離未満であるときは、表示位置が基準点ＰからＱ、そしてＥまでの間となるように、視聴距離Ｄに応じて、リージョンが移動される。この場合、視聴距離Ｄが小さいほどＥに近づけられる。なお、Ｍ＿ｈは、図１３に示すように、モニタの高さである。
　図１２に示す例は、視聴位置Ａの水平方向位置が原点位置Ｏの左側にある場合を示している。詳細説明は省略するが、視聴位置Ａの水平方向位置が原点位置Ｏの右側にある場合も、同様にして、リージョン位置が自動修正される。
　また、図１４は、視聴位置Ｂの視聴アングルＥ（視聴水平位置）が、モニタサイズＭ＿ｗより大きい場合の例を示している。ここで、モニタサイズＭ＿ｗは、リージョンのオリジナルな表示位置の水平方向中心を原点位置Ｏとし、この原点位置Ｏからモニタの右側の水平方向端部までの幅を示している。
　リージョンのオリジナルな表示位置の視聴位置側の水平方向端部を基準点Ｐとして、Ｑ＝（Ｍ＿ｗ－Ｐ）/２が求められる。視聴距離Ｄが適正視聴距離（＝３＊Ｍ＿ｈ）以上であるときは、リージョンの移動はせず、表示位置は基準点Ｐのままとされる。一方、視聴距離Ｄが適正視聴距離未満であるときは、表示位置が基準点ＰからＱ、そしてＭ＿ｗまでの間となるように、視聴距離Ｄに応じて、リージョンが移動される。この場合、視聴距離Ｄが小さいほどＭ＿ｗに近づけられる。
　図１４に示す例は、視聴位置Ｂの水平方向位置が原点位置Ｏの右側にある場合を示している。詳細説明は省略するが、視聴位置Ｂの水平方向位置が原点位置Ｏの左側にある場合も、同様にして、リージョン位置が自動修正される。
　図１２に示すように、視聴位置Ａの視聴アングルＥがモニタサイズＭ＿ｗより小さい場合、基準点Ｐを示す水平移動率は０％、Ｑの位置を示す水平移動比率は５０％、Ｅの位置を示す水平移動比率は１００％である。また、図１４に示すように、視聴位置Ｂの視聴アングルＥがモニタサイズＭ＿ｗより大きい場合、基準点Ｐを示す水平移動率は０％、Ｑの位置を示す水平移動比率は５０％、Ｍ＿ｗの位置を示す水平移動比率は１００％である。
　リージョン水平移動比率の許容最大値は、例えば、このように定義される水平移動比率で許容される最大値を示すものとされる。この場合、リージョン水平移動比率の許容最大値の取り得る値は、最小は０％で最大は１００％となる。
　なお、詳細説明は省略するが、垂直方向のリージョン位置、従ってサブタイトルの表示位置の自動修正については、上述した水平方向の場合と同様に行われる。また、リージョン垂直移動比率の許容最大値についても、上述した水平移動比率と同様に定義される垂直移動比率で許容される最大値を示すものとされる。
　なお、リージョン水平移動比率は、モニタの水平サイズに対するリージョンの移動量と定義することも考えられる。この場合、リージョン水平移動比率の許容最大値は、このように定義される水平移動比率で許容される最大値を示すものとされる。同様に、リージョン垂直移動比率は、モニタの垂直サイズに対するリージョンの移動量と定義することも考えられる。この場合、リージョン垂直移動比率の許容最大値は、このように定義される水垂直移動比率で許容される最大値を示すものとされる。これらのリージョン水平移動比率の許容最大値およびリージョン垂直移動比率の許容最大値は、視聴位置による制限がないものとなる。
　「トランスポートストリームＴＳの構成例」
　図１５は、トランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「Video PES1」が存在する。また、この構成例では、ＰＩＤ２で識別されるサブタイトルストリームのＰＥＳパケット「Subtitle PES2」が存在する。
　ＰＥＳパケットは、ＰＥＳヘッダ（PES header）とＰＥＳペイロード（PES payload）からなっている。ビデオストリームのＰＥＳパケットにおいて、ＰＥＳペイロードにはビデオ符号化ストリームが挿入されている。また、サブタイトルストリームのＰＥＳパケットにおいて、ＴＴＭＬ構造のヘッダに存在するスタイリング（ＴＴＳ）の要素、あるいはリージョン・スケーリング・セグメントに、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が挿入されている。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。
　また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ（video ES loop）と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ（Subtitle ES loop）が存在する。
　ビデオエレメンタリストリーム・ループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばＨＥＶＣビデオストリームを示す値に設定され、ＰＩＤ情報はビデオストリームのＰＥＳパケット「video PES1」に付与されるＰＩＤ１を示すものとされる。
　サブタイトルエレメンタリストリーム・ループ（Subtitle ES loop）には、サブタイトルストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、ＰＩＤ情報はサブタイトルストリームのＰＥＳパケット「Subtitle PES2」に付与されるＰＩＤ２を示すものとされる。
　図２に示す送信装置１００の動作を簡単に説明する。カメラ１０２で撮像されて得られたビデオデータ（画像データ）は、ビデオ光電変換部１０３に供給される。ビデオ光電変換部１０３では、カメラ１０２で得られたビデオデータに対して、光電変換が施されて、伝送ビデオデータＶ１が得られる。
　ビデオ光電変換部１０３で得られた伝送ビデオデータＶ１は、ＲＧＢ/ＹＣｂＣｒ変換部１０４でＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換された後に、ビデオエンコーダ１０５に供給される。ビデオエンコーダ１０５では、この伝送ビデオデータＶ１に対して、例えば、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化が施されて、符号化ビデオデータを含むビデオストリーム（ＰＥＳストリーム）ＶＳが生成される。
　サブタイトル発生部１０６では、サブタイトル情報としてのテキストデータ（文字コード）ＤＴが発生される。サブタイトルデータとしてサブタイトルのテキスト情報を送信する場合、このテキストデータＤＴはテキストフォーマット変換部１０７に供給される。
　テキストフォーマット変換部１０７では、テキストデータＤＴに基づいて、表示タイミング情報を持つサブタイトルのテキスト情報、つまりＴＴＭＬに変換される（図３参照）。このＴＴＭＬは、サブタイトルエンコーダ１０８に供給される。
　サブタイトルエンコーダ１０８では、テキストフォーマット変換部１０７で得られたＴＴＭＬが種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたＰＥＳパケットで構成されるサブタイトルストリームＳＳが生成される。
　また、サブタイトルデータとしてサブタイトルのビットマップデータを送信する場合、サブタイトル発生部１０６で発生されたテキストデータＤＴはビットマップデータ発生部１１１に供給される。
　ビットマップデータ発生部１１１では、テキストデータＤＴに基づいて、サブタイトルのビットマップデータが発生される。このサブタイトルのビットマップデータは、サブタイトルエンコーダ１１３に供給される。このサブタイトルエンコーダ１１３では、伝送ビットマップデータＭ１と表示制御情報が種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたＰＥＳパケットで構成されるサブタイトルストリームＳＳが生成される。
　ビデオエンコーダ１０５で生成されるビデオストリームＶＳは、システムエンコーダ１０９に供給される。サブタイトルエンコーダ１０８あるいはサブタイトルエンコーダ１１３で生成されたサブタイトルストリームＳＳは、システムエンコーダ１０９に供給される。システムエンコーダ１０９では、ビデオストリームＶＳとサブタイトルストリームＳＳを含むトランスポートストリームＴＳが生成される。このトランスポートストリームＴＳは、送信部１１０により、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
　また、送信装置１００では、サブタイトルストリームＳＳのレイヤに、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が挿入される。サブタイトルデータとしてサブタイトルのビットマップデータが送信される場合、サブタイトルストリームＳＳに、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を含む、新規定義するリージョン・スケーリング・セグメントが挿入される（図１０参照）。また、サブタイトルデータとしてサブタイトルのテキスト情報が送信される場合、例えば、スタイリング（ＴＴＳ）の要素が利用されて、サブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が挿入される（図１１参照）。
　「受信装置の構成例」
　図１６は、受信装置２００の構成例を示している。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、サブタイトルデコーダ２０６と、フォント展開部２０７と、ＲＧＢ/ＹＣｂＣｒ変換部２０８と、サブタイトルデコーダ２０９を有している。
　また、受信装置２００は、サイズ/位置変換部２１０と、サイズ/位置変換部２１１と、ビデオ重畳部２１２と、ＹＣｂＣｒ/ＲＧＢ変換部２１３と、電光変換部２１４と、表示マッピング部２１５と、ＣＥモニタ２１６と、ユーザ操作部２３１と、画像センサ２３２を有している。
　制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。ユーザ操作部２３１は、視聴者などのユーザが種々の操作を行うためのスイッチ、タッチパネル、リモコン送信部などである。画像センサ２３２は、図１７（ａ）に示すように、受信装置２００の前側に配置され、モニタの前方の視聴者を含む画像を取得し、制御部２０１に送る。
　画像センサ２３２は、制御部２０１と共に、視聴位置情報を取得する情報取得部を構成している。制御部２０１は、画像センサ２３２で取得された画像を解析して、視聴者を検出し、視聴位置情報（視聴距離Ｄ、視聴アングルＥ）を得る。なお、視聴位置情報を得るための構成は、このように画像センサ２３２を用いる構成に限定されない。例えば、図１７（ｂ）に示すように、ＧＰＳの位置取得機能を持つスマートフォンをリモコンとして使用する場合、このスマートフォンの位置取得機能で得られる位置情報を利用する構成も考えられる。
　受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから、ビデオストリームＶＳとサブタイトルストリームＳＳを抽出する。
　ビデオデコーダ２０４は、システムデコーダ２０３で抽出されるビデオストリームＶＳに対して復号化処理を行って、伝送ビデオデータＶ１を出力する。また、ビデオデコーダ２０４は、ビデオストリームＶＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。
　サブタイトルデコーダ２０６は、サブタイトルデータとしてサブタイトルのテキスト情報が送信されてくる場合に動作する。サブタイトルデコーダ２０６は、サブタイトルストリームＳＳに含まれている各リージョンのセグメントデータに対してデコード処理を施して、各リージョンのテキストデータや制御コードを得る。この制御コードには、サブタイトルと背景ビデオとの混合比情報（Mixing data）も存在する。
　また、サブタイトルデコーダ２０６は、サブタイトルストリームＳＳに挿入されているサブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を抽出し、制御部２０１に送る。この場合、この情報は、スタイリング（ＴＴＳ）の要素を利用して挿入されている。これにより、制御部２０１は、リージョン拡大比率の許容最大値、リージョン縮小比率の許容最小値、リージョン水平移動比率の許容最大値、リージョン垂直移動比率の許容最大値を認識する。
　フォント展開部２０７は、サブタイトルデコーダ２０６で得られた各リージョンのテキストデータや制御コードに基づいてフォント展開して、各リージョンのビットマップデータを得る。このサブタイトルのビットマップデータはＲＧＢのドメインで得られる。ＲＧＢ/ＹＣｂＣｒ変換部２０８は、フォント展開部２０７で得られたサブタイトルのビットマップデータをＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
　サブタイトルデコーダ２０９は、サブタイトルデータとしてサブタイトルのビットマップデータが送信されてくる場合に動作する。この場合、サブタイトルストリームＳＳに含まれるデータはＣＬＵＴに対しての伝送になる。サブタイトルデコーダ２０９は、サブタイトルストリームＳＳにデコード処理を施して、サブタイトルのビットマップデータと、サブタイトルと背景ビデオとの混合比情報（Mixing data）を得る。
　また、サブタイトルデコーダ２０９は、サブタイトルストリームＳＳに挿入されているサブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報を抽出し、制御部２０１に送る。この場合、この情報は、リージョン・スケーリング・セグメントに挿入されている。これにより、制御部２０１は、リージョン拡大比率の許容最大値、リージョン縮小比率の許容最小値、リージョン水平移動比率の許容最大値、リージョン垂直移動比率の許容最大値を認識する。
　サイズ/位置変換部２１０は、ＲＧＢ/ＹＣｂＣｒ変換部２０８あるいはサブタイトルデコーダ２０９から出力されたサブタイトルのビットマップデータに対して、サブタイトルのサイズおよび表示位置を修正するための処理をする。
　サイズ/位置変換部２１０は、制御部２０１の制御のもと、修正処理を、視聴位置情報およびモニタサイズ情報に基づいて自動的に行う。また、サイズ/位置変換部２１０は、修正処理を、視聴者などのユーザ操作に基づいて行う。この場合、サイズ/位置変換部２１０は、自動的な修正を行った後にさらにユーザ操作による修正を受け付ける。
　あるいは、サイズ/位置変換部２１０は、ユーザ操作により自動的な修正の停止状態に置かれることも可能であり、その場合、ユーザ操作による修正のみを受け付ける。また、あるいは、サイズ/位置変換部２１０は、ユーザ操作による修正を受け付けない状態に置かれることも可能であり、その場合、自動的な修正のみを行う。
　サイズ/位置変換部２１０は、サブタイトルのサイズおよび表示位置の修正を、許容範囲内に制限する。ここで、基本的には、サブタイトルストリームＳＳから抽出された許容範囲を示す情報が用いられる。しかし、サブタイトルストリームＳＳから許容範囲を示す情報が抽出されないとき、デフォルト設定されている情報が用いられる。
　図１８（ａ）は、モニタサイズが小さい場合における画面上のサブタイトル（字幕）の表示状態例を示している。図１８（ｂ）は、モニタサイズが大きい場合における画面上のサブタイトルの表示状態例を示している。この例は、サブタイトルのサイズ修正を行っていない場合である。この場合、サブタイトルのサイズはモニタサイズに比例して大きくなる。そのため、視聴者からモニタまでの距離、つまり視聴距離が短いときには、サブタイトルのサイズが大き過ぎ、視聴者にとって煩わしいものとなる。また、この場合、視聴者の正面位置がサブタイトルの表示位置から離れすぎると、視聴者にとってサブタイトルを自然に見ることが困難となる。
　図１８（ｃ）も、モニタサイズが大きい場合における画面上のサブタイトルの表示状態例を示している。この例は、サブタイトルのサイズを縮小修正したものであり、視聴距離が短くても視聴者に煩わしさを与えない状態となる。また、この例は、サブタイトルの表示位置を視聴者の正面位置に近づけるように移動修正したものであり、視聴者にとってサブタイトルを自然に見ることが容易となる。
　「サブタイトルのサイズ修正処理の説明」
　サイズ/位置変換部２１０におけるサブタイトルのサイズ修正処理について説明する。最初に自動修正処理について説明する。モニタに映るビデオの解像度がＨＤの場合、視聴適正距離はモニタ高さに対するモニタまでの距離の比率で表され、その値は“３”が適当とされる。しかし、その値は、ビデオの解像度がＵＨＤの場合は変わるといわれている。すなわち、その値は小さく、つまりより近い距離での視聴が可能となる。
　サイズ/位置変換部２１０は、このことを考慮して、自動修正を許可するモードになっている場合、サブタイトルのサイズの自動修正処理を行う。サイズ/位置変換部２１０は、最初に、視聴距離をＤ、モニタ高さをＭ＿ｈ、ビデオ解像度に依存する値をｆとして、以下の数式（１）でＲを求める。なお、ｆは、ビデオの解像度が高いほど大きい値を取る。
　　　Ｒ＝Ｄ/（Ｍ＿ｈ＊ｆ）　　　・・・（１）
　次に、サイズ/位置変換部２１０は、Ｒの閾値に対する大小に応じて、サブタイトルのサイズ修正（拡大あるいは縮小）を行う。このサブタイトルのサイズ修正は、リージョンの範囲のサイズ修正に相当する。サイズ/位置変換部２１０は、サブタイトルのビットマップデータに対して補間処理を行うことで、サブタイトルのサイズ修正を行う。
　サイズ/位置変換部２１０は、Ｒが閾値ＴＨ１より小さいときサブタイトルのサイズを縮小修正し、このＲが閾値ＴＨ１より大きな閾値ＴＨ２より大きいときサブタイトルのサイズを拡大修正する。この場合、サイズ/位置変換部２１０は、サブタイトルのサイズ修正を、許容範囲内に制限する。
　図１９のフローチャートは、サイズ/位置変換部２１０におけるサブタイトルのサイズの自動修正処理の一例を示している。なお、ここでは、制御部２０１における関連する処理も、サイズ/位置変換部２１０の処理として説明する。
　サイズ/位置変換部２１０は、まず、ステップＳＴ１において、処理を開始する。次に、サイズ/位置変換部２１０は、ステップＳＴ２において、視聴距離Ｄ，モニタ高さＭ＿ｈ、ビデオ解像度の情報を取得する。そして、サイズ/位置変換部２１０は、ステップＳＴ３において、上述の数式（１）で、Ｒを求める。
　次に、サイズ/位置変換部２１０は、ステップＳＴ４において、Ｒ＜ＴＨ１であるか否かを判断する。Ｒ＜ＴＨ１でないと判断するとき、サイズ/位置変換部２１０は、ステップＳＴ５において、Ｒ＞ＴＨ２であるか否かを判断する。Ｒ＞ＴＨ２でないと判断するとき、サイズ/位置変換部２１０は、ステップＳＴ６において、処理を終了する。つまり、このとき、サイズ/位置変換部２１０は、サブタイトルのサイズの修正せずに、そのままとする。
　ステップＳＴ５でＲ＞ＴＨ２であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ７の処理に移る。このステップＳＴ７において、サイズ/位置変換部２１０は、サブタイトルサイズを予め設定された比率で拡大する。勿論、この拡大比率は、許容範囲内に制限される。サイズ/位置変換部２１０は、ステップＳＴ７の処理の後、ステップＳＴ６において、処理を終了する。
　また、ステップＳＴ４でＲ＜ＴＨ１であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ８の処理に移る。このステップＳＴ８において、サイズ/位置変換部２１０は、サブタイトルサイズを予め設定された比率で縮小する。勿論、この縮小比率は、許容範囲内に制限される。サイズ/位置変換部２１０は、ステップＳＴ８の処理の後、ステップＳＴ６において、処理を終了する。
　次に、サイズ/位置変換部２１０におけるユーザ操作に基づくサブタイトルのサイズ修正処理について説明する。この場合、ユーザ操作部２３１から、サブタイトルのサイズの拡大あるいは縮小の操作情報が制御部２０１に供給される。サイズ/位置変換部２１０は、制御部２０１からのコマンドに基づいて、ユーザ操作に応じたサブタイトルのサイズ修正を行う。
　図２０のフローチャートは、サイズ/位置変換部２１０におけるユーザ操作に基づくサブタイトルのサイズの修正処理の一例を示している。このフローチャートはユーザの単位操作に対応したものであり、連続して操作される場合には、このフローチャートの処理が繰り返される。
　サイズ/位置変換部２１０は、ステップＳＴ１１において、処理を開始する。次に、サイズ/位置変換部２１０は、ステップＳＴ１２において、制御部２０１からのコマンドがサブタイトルのサイズの拡大命令であるか縮小命令であるかを判断する。拡大命令であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ１３において、サブタイトルのサイズを、上限比率にないときには、所定の比率だけ拡大する。
　つまり、この場合、サブタイトルのサイズの拡大比率が、自動修正処理によって、あるいは前回のユーザ操作による修正処理によって既に許容最大値に達している場合には、サイズ/位置変換部２１０は、このステップＳＴ１３において拡大処理を行わない。なお、この場合、制御部２０１の制御に基づいて、ＣＥモニタ２１６に、拡大処理が不可能である旨のユーザへの通知表示を行うようにされてもよい。
　サイズ/位置変換部２１０は、ステップＳＴ１３の処理の後、ステップＳＴ１４において、処理を終了する。
　また、サイズ/位置変換部２１０は、ステップＳＴ１２で縮小命令であると判断するとき、ステップＳＴ１５において、サブタイトルのサイズを、下限比率にないときには、所定の比率だけ縮小する。
　つまり、この場合、サブタイトルのサイズの縮小比率が、自動修正処理によって、あるいは前回のユーザ操作による修正処理によって既に許容最小値に達している場合には、サイズ/位置変換部２１０は、このステップＳＴ１５において縮小処理を行わない。なお、この場合、制御部２０１の制御に基づいて、ＣＥモニタ２１６に、縮小処理が不可能である旨のユーザへの通知表示を行うようにされてもよい。
　サイズ/位置変換部２１０は、ステップＳＴ１５の処理の後、ステップＳＴ１４において、処理を終了する。
　「サブタイトルの表示位置修正処理の説明」
　サイズ/位置変換部２１０におけるサブタイトルの表示位置修正処理について説明する。最初に自動修正処理について説明する。この場合、サイズ/位置変換部２１０は、図１２、図１４を用いて説明したようにして、自動修正を許可するモードになっている場合、サブタイトルの表示位置の修正を自動的に行う。
　図２１のフローチャートは、サイズ/位置変換部２１０におけるサブタイトルの表示位置の自動修正処理の一例を示している。なお、ここでは、制御部２０１における関連する処理も、サイズ/位置変換部２１０の処理として説明する。
　サイズ/位置変換部２１０は、まず、ステップＳＴ２１において、処理を開始する。次に、サイズ/位置変換部２１０は、ステップＳＴ２２において、視聴距離Ｄ、視聴アングルＥ、モニタ高さＭ＿ｈ、モニタ幅はＭ＿ｗ、ビデオ解像度の情報を取得する。そして、サイズ/位置変換部２１０は、ステップＳＴ２３において、リージョンのオリジナルな表示位置の視聴位置側の水平方向端部を基準点Ｐとして求める。この場合、リージョンのオリジナルな表示位置は、サブタイトルのサイズ修正処理が行われるときには、サイズ修正処理後の表示位置である。
　次に、サイズ/位置変換部２１０は、ステップＳＴ２４において、視聴アングルＥがモニタサイズＭ＿ｗ以下であるか否かを判断する。視聴アングルＥがモニタサイズＭ＿ｗ以下であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ２５において、以下の数式（２）でＱを求める
　　　Ｑ＝（Ｅ－Ｐ）/２　　　・・・（２）
　次に、サイズ/位置変換部２１０は、ステップＳＴ２６において、視聴距離Ｄが適正視聴距離（＝３＊Ｍ＿ｈ）以上であるか否かを判断する。視聴距離Ｄが適正視聴距離以上であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ２７において、リージョンの移動はせず、表示位置は基準点Ｐのままとする。サイズ/位置変換部２１０は、ステップＳＴ２７の処理の後、ステップＳＴ２８において、処理を終了する。
　また、ステップＳＴ２６において、視聴距離Ｄが適正視聴距離未満であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ２９の処理に移る。このステップＳＴ２９において、サイズ/位置変換部２１０は、表示位置が基準点ＰからＱ、そしてＥまでの間となるように、視聴距離Ｄに応じて、リージョンを移動する。この場合、視聴距離Ｄが小さいほどＥに近づける。サイズ/位置変換部２１０は、ステップＳＴ２９の処理の後、ステップＳＴ２８において、処理を終了する。
　また、ステップＳＴ２４で視聴アングルＥがモニタサイズＭ＿ｗより大きいと判断するとき、サイズ/位置変換部２１０は、ステップＳＴ３０の処理に移る。このステップＳＴ３０において、サイズ/位置変換部２１０は、以下の数式（３）でＱを求める
　　　Ｑ＝（Ｍ＿ｗ－Ｐ）/２　　　・・・（３）
　次に、サイズ/位置変換部２１０は、ステップＳＴ３１において、視聴距離Ｄが適正視聴距離（＝３＊Ｍ＿ｈ）以上であるか否かを判断する。視聴距離Ｄが適正視聴距離以上であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ３２において、リージョンの移動はせず、表示位置は基準点Ｐのままとする。サイズ/位置変換部２１０は、ステップＳＴ３２の処理の後、ステップＳＴ２８において、処理を終了する。
　また、ステップＳＴ３１において、視聴距離Ｄが適正視聴距離未満であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ３３の処理に移る。このステップＳＴ３３において、サイズ/位置変換部２１０は、視聴距離Ｄに応じて表示位置が基準点ＰからＱ、そしてＭ＿ｗまでの間となるように、視聴距離Ｄに応じて、リージョンを移動する。この場合、視聴距離Ｄが小さいほどＭ＿ｗに近づける。サイズ/位置変換部２１０は、ステップＳＴ３３の処理の後、ステップＳＴ２８において、処理を終了する。
　次に、サイズ/位置変換部２１０におけるユーザ操作に基づくサブタイトルの表示位置修正処理について説明する。この場合、ユーザ操作部２３１から、サブタイトルの表示位置の水平あるいは垂直の移動操作情報が制御部２０１に供給される。なお、移動操作情報には、移動方向の情報、つまり水平の場合には右であるか左であるかを示す情報、垂直の場合には上であるか下であるかを示す情報も含まれる。サイズ/位置変換部２１０は、制御部２０１からのコマンドに基づいて、ユーザ操作に応じたサブタイトルの表示位置修正を行う。
　図２２のフローチャートは、サイズ/位置変換部２１０におけるユーザ操作に基づくサブタイトルの表示位置の修正処理の一例を示している。このフローチャートはユーザの単位操作に対応したものであり、連続して操作される場合には、このフローチャートの処理が繰り返される。
　サイズ/位置変換部２１０は、ステップＳＴ４１において、処理を開始する。次に、サイズ/位置変換部２１０は、ステップＳＴ４２において、制御部２０１からのコマンドが、サブタイトルの表示位置の水平方向（Ｈ方向）の移動命令であるか垂直方向（Ｖ方向）の移動命令であるか判断する。
　Ｈ方向の移動命令であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ４３において、リージョンを、移動比率が許容最大値を超えない範囲で、指定方向（右または左）に移動する。サイズ/位置変換部２１０は、このステップＳＴ１３において移動処理を行わない場合もある。なお、この場合、制御部２０１の制御に基づいて、ＣＥモニタ２１６に、移動処理が不可能である旨のユーザへの通知表示を行うようにされてもよい。
　サイズ/位置変換部２１０は、ステップＳＴ４３の処理の後、ステップＳＴ４４において、処理を終了する。
　また、サイズ/位置変換部２１０は、ステップＳＴ４２でＶ方向の移動命令であると判断するとき、サイズ/位置変換部２１０は、ステップＳＴ４５において、リージョンを、移動比率が許容最大値を超えない範囲で、指定方向（上または下）に移動する。サイズ/位置変換部２１０は、このステップＳＴ４５において移動処理を行わない場合もある。なお、この場合、制御部２０１の制御に基づいて、ＣＥモニタ２１６に、移動処理が不可能である旨のユーザへの通知表示を行うようにされてもよい。
　サイズ/位置変換部２１０は、ステップＳＴ４５の処理の後、ステップＳＴ４４において、処理を終了する。
　図１６に戻って、サイズ/位置変換部２１１は、サブタイトルデコーダ２０９から出力された混合比情報（Mixing data）に対して、サイズ/位置変換部２１１におけるサブタイトルのサイズおよび表示位置の修正処理と同様の修正処理をする。
　ビデオ重畳部２１２は、ビデオデコーダ２０４で得られた伝送ビデオデータＶ１に、サイズ/位置変換部２１０でサイズおよび表示位置の修正処理が施されたサブタイトルのビットマップデータを重畳する。この場合、ビデオ重畳部２１２は、サブタイトルのビットマップデータを、混合比情報（Mixing data）で示される混合比で混合する。
　この場合、送信側からサブタイトルデータとしてサブタイトルのテキスト情報が送られてくるときは、サブタイトルデコーダ２０６で得られた混合比情報（Mixing data）が用いられる。一方、送信側からサブタイトルデータとしてサブタイトルのビットマップデータが送られてくるときは、サイズ/位置変換部２１１でサイズおよび表示位置の修正処理が施された混合比情報（Mixing data）が用いられる。
　ＹＣｂＣｒ/ＲＧＢ変換部２１３は、サブタイトルのビットマップデータが重畳された伝送ビデオデータＶ１´をＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。電光変換部２１４は、ＲＧＢドメインに変換された伝送ビデオデータＶ１´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。
　表示マッピング部２１５は、表示用ビデオデータに対して、ＣＥモニタ２１６の最大輝度表示能力などに応じた表示輝度調整を行う。ＣＥモニタ２１６は、表示用ビデオデータに基づいて画像を表示する。このＣＥモニタ２１６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成される。
　図１６に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳから、ビデオストリームＶＳおよびサブタイトルストリームＳＳが抽出される。
　システムデコーダ２０３で抽出されたビデオストリームＶＳは、ビデオデコーダ２０４に供給される。ビデオデコーダ２０４では、ビデオストリームＶＳに対して復号化処理が施されて、伝送ビデオデータＶ１が得られる。また、ビデオデコーダ２０４では、ビデオストリームＶＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。
　システムデコーダ２０３で抽出されたサブタイトルストリームＳＳは、サブタイトルデータとしてサブタイトルのテキスト情報が送信されてくる場合には、サブタイトルデコーダ２０６に供給される。サブタイトルデコーダ２０６では、サブタイトルストリームＳＳに含まれている各リージョンのセグメントデータに対してデコード処理が施されて、各リージョンのテキストデータや制御コードが得られる。この制御コードには、サブタイトルと背景ビデオとの混合比情報（Mixing data）も含まれる。
　また、サブタイトルデコーダ２０６では、サブタイトルストリームＳＳに挿入されているサブタイトルのサイズ修正および表示位置修正の許容範囲を示す情報が抽出され、制御部２０１に送られる。この場合、この情報は、スタイリング（ＴＴＳ）の要素を利用して挿入されている。これにより、制御部２０１では、リージョン拡大比率の許容最大値、リージョン縮小比率の許容最小値、リージョン水平移動比率の許容最大値、リージョン垂直移動比率の許容最大値が認識される。
　サブタイトルデコーダ２０６で得られた各リージョンのテキストデータや制御コードは、フォント展開部２０７に供給される。フォント展開部２０７では、各リージョンのテキストデータや制御コードに基づいてフォント展開が行われて、各リージョンのビットマップデータが得られる。フォント展開部２０７で得られた各リージョンのビットマップデータは、ＲＧＢ/ＹＣｂＣｒ変換部２０８でＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換される。
　また、システムデコーダ２０３で抽出されたサブタイトルストリームＳＳは、サブタイトルデータとしてサブタイトルのビットマップデータが送信されてくる場合には、サブタイトルデコーダ２０９に供給される。サブタイトルデコーダ２０９では、サブタイトルストリームＳＳにデコード処理が施されて、サブタイトルのビットマップデータと、サブタイトルと背景ビデオとの混合比情報（Mixing data）が得られる。
　ＲＧＢ/ＹＣｂＣｒ変換部２０８あるいはサブタイトルデコーダ２０９から出力されたサブタイトルのビットマップデータは、サイズ/位置変換部２１０に供給される。このサイズ/位置変換部２１０では、サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび表示位置を修正するための処理が行われる。この場合、制御部２０１の制御のもと、自動的に、あるいはユーザ操作に従って修正処理が行われる（図１９－図２２参照）。この修正は、許容範囲内で行われる。
　ビデオデコーダ２０４で得られた伝送ビデオデータＶ１は、ビデオ重畳部２１１に供給される。また、サイズ/位置変換部２１０でサイズおよび表示位置の修正処理が施されたサブタイトルのビットマップデータは、ビデオ重畳部２１１に供給される。さらに、ビデオ重畳部２１１には、サブタイトルデコーダ２０６で得られた混合比情報（Mixing data）、あるいはサイズ/位置変換部２１１でサイズおよび表示位置の修正処理が施された混合比情報（Mixing data）が供給される。
　ビデオ重畳部２１２では、伝送ビデオデータＶ１に、モニタサイズ、視聴位置などの情報に基づいて自動的にあるいはユーザ操作に応じて、サイズおよび表示位置の修正が施されたサブタイトルのビットマップデータが重畳される。ビットマップデータが重畳された伝送ビデオデータＶ１´は、ＹＣｂＣｒ/ＲＧＢ変換部２１３に供給される。
　ＹＣｂＣｒ/ＲＧＢ変換部２１３では、伝送ビデオデータＶ１´がＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、電光変換部２１４に供給される。電光変換部２１４では、伝送ビデオデータＶ１´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。
　表示用ビデオデータは、表示マッピング部２１５に供給される。この表示マッピング部２１５では、表示用ビデオデータに対して、ＣＥモニタ２１６の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはＣＥモニタ２１６に供給される。ＣＥモニタ２１６には、この表示用ビデオデータに基づいて画像が表示される。
　上述したように、図１に示す送受信システム１０において、受信装置２００は、サブタイトルのビットマップデータに対して、サブタイトルのサイズや表示位置を修正するための処理を行う。そのため、例えば、大画面モニタで表示され、視聴距離が短い場合であっても、サブタイトルのビデオへの重畳表示を良好に行うことができる。
　また、図１に示す送受信システム１０において、受信装置２００は、視聴位置情報およびモニタサイズ情報に基づいて、サブタイトルのサイズやサブタイトルの表示位置を自動的に修正する。そのため、視聴者などのユーザに操作手間を取らせることなく、サブタイトルのサイズや表示位置を適切な状態とすることが可能となる。
　また、図１に示す送受信システム１０において、受信装置２００は、ユーザ操作に基づいて、サブタイトルのサイズやサブタイトルの表示位置を修正する。そのため、視聴者などのユーザは、サブタイトルのサイズや表示位置を所望の状態とすることが可能となる。
　また、図１に示す送受信システム１０において、受信装置２００は、サブタイトルのサイズや表示位置の修正を許容範囲内に制限する。そのため、過渡の修正を回避可能となる。
　また、図１に示す送受信システム１０において、受信装置２００は、サブタイトルストリームのレイヤから修正の許容範囲情報を抽出し、この許容範囲情報に基づいてサブタイトルのサイズや表示位置の修正を許容範囲内に制限する。そのため、サブタイトルのサイズ修正や表示位置修正の制限を適切に行い得る。
　また、図１に示す送受信システム１０において、送信装置１００は、サブタイトルのサイズや表示位置の修正許容範囲情報をサブタイトルストリームのレイヤに挿入して送信する。そのため、受信側では、この修正許容範囲情報を用いることで、サブタイトルのサイズ修正や表示位置修正を適切に制限することが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、サブタイトルのサイズや表示位置の修正を可能とする例を示した。本技術は、グラフィクスやその他の同様の情報をビデオに重畳表示する場合にも同様に適用でき、グラフィクスやその他の同様の情報のサイズや表示位置の修正を良好に可能とする。
　また、上述実施の形態においては、コンテナがＭＰＥＧ－２　ＴＳである例を示した。しかし、本技術は、コンテナがＭＰＥＧ－２　ＴＳと限定されるものではなく、他のパケット、例えばＩＳＯＢＭＦＦやＭＭＴなどの場合でも、同様に適用できる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
　上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
　上記サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行うサブタイトル処理部と、
　上記処理されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
　受信装置。
　（２）上記サブタイトル処理部は、
　視聴位置情報およびモニタサイズ情報に基づいて、上記サブタイトルのサイズおよび/または上記サブタイトルの表示位置を自動的に修正する
　前記（１）に記載の受信装置。
　（３）上記視聴位置情報を取得する情報取得部をさらに備える
　前記（２）に記載の受信装置。
　（４）上記サブタイトル処理部は、
　視聴距離をＤ、モニタ高さをＭ＿ｈ、ビデオ解像度に依存する値をｆとして、Ｒ＝Ｄ/（Ｍ＿ｈ＊ｆ）を求め、
　該Ｒが第１の閾値より小さいときサブタイトルのサイズを縮小修正し、該Ｒが上記第１の閾値より大きな第２の閾値より大きいときサブタイトルのサイズを拡大修正する
　前記（２）または（３）に記載の受信装置。
　（５）上記サブタイトル処理部は、
　サブタイトルが表示される領域であるリージョンの水平方向の端点より外側に視聴水平位置があるとき、上記端点から上記視聴水平位置までの距離に応じて、上記リージョンの位置を上記視聴垂直位置に向けて水平方向に移動することで上記サブタイトルの表示位置を自動的に修正する
　前記（２）から（４）のいずれかに記載の受信装置。
　（６）上記サブタイトル処理部は、
　サブタイトルが表示される領域であるリージョンの垂直方向の端点より外側に視聴垂直位置があるとき、上記端点から上記視聴垂直位置までの距離に応じて、上記リージョンの位置を上記視聴垂直位置に向けて垂直方向に移動することで上記サブタイトルの表示位置を自動的に修正する
　前記（２）から（４）に記載の受信装置。
　（７）上記サブタイトル処理部は、
　ユーザ操作に基づいて、上記サブタイトルのサイズおよび/または上記サブタイトルの表示位置を修正する
　前記（１）から（６）のいずれかに記載の受信装置。
　（８）上記サブタイトル処理部は、
　上記サブタイトルのサイズ修正および/または上記サブタイトルの表示位置修正を許容範囲内に制限する
　前記（１）から（７）のいずれかに記載の受信装置。
　（９）上記サブタイトルストリームのレイヤに、修正の許容範囲情報が挿入されており、
　上記サブタイトルストリームのレイヤから上記修正の許容範囲情報を抽出する情報抽出部をさらに備え、
　上記サブタイトル処理部は、
　上記抽出された修正の許容範囲情報に基づいて、上記修正を許容範囲内に制限する
　前記（８）に記載の受信装置。
　（１０）受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
　上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
　上記サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行うサブタイトル処理ステップと、
　上記処理されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
　受信方法。
　（１１）ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記サブタイトルストリームのレイヤに、サブタイトルのサイズ修正の許容範囲を示す情報および/またはサブタイトルの表示位置修正の許容範囲を示す情報を挿入する情報挿入部を備える
　送信装置。
　（１２）送信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
　上記サブタイトルストリームのレイヤに、上記サブタイトルのサイズ修正の許容範囲を示す情報および/または上記サブタイトルの表示位置修正の許容範囲を示す情報を挿入する情報挿入ステップを有する
　送信方法。
　（１２）ビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
　上記グラフィクスストリームにデコード処理を施してグラフィクスのビットマップデータを得るグラフィクスデコード部と、
　上記グラフィクスのビットマップデータに対して、グラフィクスのサイズおよび/またはグラフィクスの表示位置を修正するための処理を行うグラフィクス処理部と、
　上記処理されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
　受信装置。
　（１３）ビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記グラフィクスストリームのレイヤに、グラフィクスのサイズ修正の許容範囲を示す情報および/またはグラフィクスの表示位置修正の許容範囲を示す情報を挿入する情報挿入部を備える
　送信装置。
　本技術の主な特徴は、サブタイトル（グラフィクス）のビットマップデータに対してサブタイトル（グラフィクス）のサイズや表示位置を修正する処理部を設けたことで、サブタイトル（グラフィクス）のビデオへの重畳表示を良好に行い得るようにしたことである（図１８参照）
　１０・・・送受信システム
　１００・・・送信装置
　１０１・・・制御部
　１０２・・・カメラ
　１０３・・・ビデオ光電変換部
　１０４・・・ＲＧＢ/ＹＣｂＣｒ変換部
　１０５・・・ビデオエンコーダ
　１０６・・・サブタイトル発生部
　１０７・・・テキストフォーマット変換部
　１０８・・・サブタイトルエンコーダ
　１０９・・・システムエンコーダ
　１１０・・・送信部
　１１１・・・ビットマップデータ発生部
　１１３・・・サブタイトルエンコーダ
　２００・・・受信装置
　２０１・・・制御部
　２０２・・・受信部
　２０３・・・システムデコーダ
　２０４・・・ビデオデコーダ
　２０６・・・サブタイトルデコーダ
　２０７・・・フォント展開部
　２０８・・・ＲＧＢ/ＹＣｂＣｒ変換部
　２０９・・・サブタイトルデコーダ
　２０９・・・ＹＣｂＣｒ/ＲＧＢ変換部
　２１０，２１１・・・サイズ/位置変換部
　２１２・・・ビデオ重畳部
　２１３・・・ＹＣｂＣｒ/ＲＧＢ変換部
　２１４・・・電光変換部
　２１５・・・表示マッピング部
　２１６・・・ＣＥモニタ
　２３１・・・ユーザ操作部
　２３２・・・画像センサ

Claims (14)

  1. 　ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
    　上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得るサブタイトルデコード処理と、上記サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行うサブタイトル処理と、上記処理されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
    　受信装置。
  2. 　上記サブタイトル処理では、
    　視聴位置情報およびモニタサイズ情報に基づいて、上記サブタイトルのサイズおよび/または上記サブタイトルの表示位置を自動的に修正する
    　請求項１に記載の受信装置。
  3. 　上記視聴位置情報を取得する情報取得部をさらに備える
    　請求項２に記載の受信装置。
  4. 　上記サブタイトル処理では、
    　視聴距離をＤ、モニタ高さをＭ＿ｈ、ビデオ解像度に依存する値をｆとして、Ｒ＝Ｄ/（Ｍ＿ｈ＊ｆ）を求め、
    　該Ｒが第１の閾値より小さいときサブタイトルのサイズを縮小修正し、該Ｒが上記第１の閾値より大きな第２の閾値より大きいときサブタイトルのサイズを拡大修正する
    　請求項２に記載の受信装置。
  5. 　上記サブタイトル処理では、
    　サブタイトルが表示される領域であるリージョンの水平方向の端点より外側に視聴水平位置があるとき、上記端点から上記視聴水平位置までの距離に応じて、上記リージョンの位置を上記視聴水平位置に向けて水平方向に移動することで上記サブタイトルの表示位置を自動的に修正する
    　請求項２に記載の受信装置。
  6. 　上記サブタイトル処理では、
    　サブタイトルが表示される領域であるリージョンの垂直方向の端点より外側に視聴垂直位置があるとき、上記端点から上記視聴垂直位置までの距離に応じて、上記リージョンの位置を上記視聴垂直位置に向けて垂直方向に移動することで上記サブタイトルの表示位置を自動的に修正する
    　請求項２に記載の受信装置。
  7. 　上記サブタイトル処理では、
    　ユーザ操作に基づいて、上記サブタイトルのサイズおよび/または上記サブタイトルの表示位置を修正する
    　請求項１に記載の受信装置。
  8. 　上記サブタイトル処理では、
    　上記サブタイトルのサイズ修正および/または上記サブタイトルの表示位置修正を許容範囲内に制限する
    　請求項１に記載の受信装置。
  9. 　上記サブタイトルストリームのレイヤに、修正の許容範囲情報が挿入されており、
    　上記サブタイトルストリームのレイヤから上記修正の許容範囲情報を抽出する情報抽出部をさらに備え、
    　上記サブタイトル処理では、
    　上記抽出された修正の許容範囲情報に基づいて、上記修正を許容範囲内に制限する
    　請求項８に記載の受信装置。
  10. 　受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    　上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
    　上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
    　上記サブタイトルのビットマップデータに対して、サブタイトルのサイズおよび/またはサブタイトルの表示位置を修正するための処理を行うサブタイトル処理ステップと、
    　上記処理されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
    　受信方法。
  11. 　ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
    　上記サブタイトルストリームのレイヤに、サブタイトルのサイズ修正の許容範囲を示す情報および/またはサブタイトルの表示位置修正の許容範囲を示す情報を挿入する情報挿入部を備える
    　送信装置。
  12. 　送信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
    　上記サブタイトルストリームのレイヤに、上記サブタイトルのサイズ修正の許容範囲を示す情報および/または上記サブタイトルの表示位置修正の許容範囲を示す情報を挿入する情報挿入ステップを有する
    　送信方法。
  13. 　ビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
    　上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームをデコードしてグラフィクスのビットマップデータを得るグラフィクスデコード処理と、上記グラフィクスのビットマップデータに対して、グラフィクスのサイズおよび/またはグラフィクスの表示位置を修正するための処理を行うグラフィクス処理と、上記処理されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
    　受信装置。
  14. 　ビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
    　上記グラフィクスストリームのレイヤに、グラフィクスのサイズ修正の許容範囲を示す情報および/またはグラフィクスの表示位置修正の許容範囲を示す情報を挿入する情報挿入部を備える
    　送信装置。
PCT/JP2016/067598 2015-06-30 2016-06-13 受信装置、受信方法、送信装置および送信方法 WO2017002602A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201680036572.2A CN107736032A (zh) 2015-06-30 2016-06-13 接收装置、接收方法、传输装置和传输方法
JP2017526269A JP6881303B2 (ja) 2015-06-30 2016-06-13 受信装置、受信方法、送信装置および送信方法
US15/738,856 US10375448B2 (en) 2015-06-30 2016-06-13 Reception device, reception method, transmission device, and transmission method
RU2017145266A RU2718121C2 (ru) 2015-06-30 2016-06-13 Приемное устройство, способ приема, передающее устройство и способ передачи
EP16817711.1A EP3319325B1 (en) 2015-06-30 2016-06-13 Reception device, reception method, transmission device, and transmission method
US16/457,591 US10917698B2 (en) 2015-06-30 2019-06-28 Reception device, reception method, transmission device, and transmission method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-132139 2015-06-30
JP2015132139 2015-06-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/738,856 A-371-Of-International US10375448B2 (en) 2015-06-30 2016-06-13 Reception device, reception method, transmission device, and transmission method
US16/457,591 Continuation US10917698B2 (en) 2015-06-30 2019-06-28 Reception device, reception method, transmission device, and transmission method

Publications (1)

Publication Number Publication Date
WO2017002602A1 true WO2017002602A1 (ja) 2017-01-05

Family

ID=57608698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/067598 WO2017002602A1 (ja) 2015-06-30 2016-06-13 受信装置、受信方法、送信装置および送信方法

Country Status (6)

Country Link
US (2) US10375448B2 (ja)
EP (1) EP3319325B1 (ja)
JP (1) JP6881303B2 (ja)
CN (1) CN107736032A (ja)
RU (1) RU2718121C2 (ja)
WO (1) WO2017002602A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995440A (zh) * 2017-12-13 2018-05-04 北京奇虎科技有限公司 一种视频字幕贴图生成方法及装置
WO2019188091A1 (ja) * 2018-03-30 2019-10-03 シャープ株式会社 映像挿入装置、映像表示端末装置
CN110881145A (zh) * 2018-09-05 2020-03-13 武汉斗鱼网络科技有限公司 一种弹幕显示方法、装置及电子设备
JP2023510942A (ja) * 2020-01-21 2023-03-15 北京字節跳動網絡技術有限公司 字幕情報の表示方法、装置、電子デバイス、及びコンピュータ可読媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819343A (zh) * 2019-01-08 2019-05-28 深圳市华曦达科技股份有限公司 一种字幕处理方法、装置及电子设备
US20220159346A1 (en) * 2019-03-25 2022-05-19 Sony Group Corporation Image processing device, image processing method, and display device
CN110351605B (zh) * 2019-08-15 2021-05-25 海信电子科技（深圳）有限公司 字幕处理方法及装置
CN112235521B (zh) * 2020-09-29 2023-03-10 东软集团股份有限公司 一种实现字幕转换的方法、装置及设备
CN113438514B (zh) * 2021-04-26 2022-07-08 深圳Tcl新技术有限公司 字幕处理方法、装置、设备及存储介质
FR3143928A1 (fr) * 2022-12-19 2024-06-21 Orange Procédé d’obtention d’au moins une image destinée à être restituée sur un écran d’un terminal électronique.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295338A (ja) * 2004-04-01 2005-10-20 Sharp Corp 映像表示装置及び文字画面表示方法
JP2006005418A (ja) * 2004-06-15 2006-01-05 Sharp Corp 情報受信・再生装置、情報受信・再生方法、情報受信・再生プログラム及びプログラム記録媒体
JP2012114630A (ja) * 2010-11-24 2012-06-14 Funai Electric Co Ltd 表示装置およびテレビジョン

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
KR100619053B1 (ko) * 2003-11-10 2006-08-31 삼성전자주식회사 서브 타이틀을 기록한 정보저장매체 및 그 처리장치
US20060024259A1 (en) * 2004-07-29 2006-02-02 Sabine Vrignaud Cosmetic composition comprising, in a non-fatty medium, at least one linear sulfonic polyester and at least one nonionic thickening polymer, processes using this composition and uses thereof
CN100527797C (zh) * 2004-10-22 2009-08-12 威盛电子股份有限公司 字幕显示位置自动侦测与调整装置及其方法
US20060092291A1 (en) * 2004-10-28 2006-05-04 Bodie Jeffrey C Digital imaging system
US20060242590A1 (en) * 2005-04-21 2006-10-26 Microsoft Corporation Simple content format for auxiliary display devices
GB2467898A (en) * 2008-12-04 2010-08-18 Sharp Kk Display with automatic screen parameter adjustment based on the position of a detected viewer
CN101630525A (zh) * 2009-07-07 2010-01-20 广州番禺巨大汽车音响设备有限公司 一种可动态调整字幕大小的便携式dvd系统及方法
US9215444B2 (en) * 2010-01-11 2015-12-15 Lg Electronics Inc. Broadcasting receiver and method for displaying 3D images
JP5423425B2 (ja) * 2010-01-25 2014-02-19 富士通モバイルコミュニケーションズ株式会社 画像処理装置
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
KR20130050369A (ko) * 2010-08-27 2013-05-15 인텔 코포레이션 터치 감지 장치 및 방법
JP2012119738A (ja) * 2010-11-29 2012-06-21 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
US20140240472A1 (en) * 2011-10-11 2014-08-28 Panasonic Corporation 3d subtitle process device and 3d subtitle process method
US20140063187A1 (en) * 2012-01-19 2014-03-06 Sony Corporation Reception device, reception method, and electronic device
CN103312863A (zh) * 2012-03-08 2013-09-18 中兴通讯股份有限公司 移动终端视频的呈现方法及装置
TWI493432B (zh) * 2012-11-22 2015-07-21 Mstar Semiconductor Inc 使用者介面產生裝置與相關方法
KR20150083718A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 전자 장치의 텍스트 표시 방법 및 장치
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295338A (ja) * 2004-04-01 2005-10-20 Sharp Corp 映像表示装置及び文字画面表示方法
JP2006005418A (ja) * 2004-06-15 2006-01-05 Sharp Corp 情報受信・再生装置、情報受信・再生方法、情報受信・再生プログラム及びプログラム記録媒体
JP2012114630A (ja) * 2010-11-24 2012-06-14 Funai Electric Co Ltd 表示装置およびテレビジョン

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Digital Video Broadcasting (DVB", SUBTITLING SYSTEMS DVB DOCUMENT A009, July 2013 (2013-07-01), pages 21 - 23, XP055341121, Retrieved from the Internet <URL:http://www.dvb.org/ resources/public/standards/A009_DVB-Subtitling. pdf> *
See also references of EP3319325A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995440A (zh) * 2017-12-13 2018-05-04 北京奇虎科技有限公司 一种视频字幕贴图生成方法及装置
WO2019188091A1 (ja) * 2018-03-30 2019-10-03 シャープ株式会社 映像挿入装置、映像表示端末装置
CN110881145A (zh) * 2018-09-05 2020-03-13 武汉斗鱼网络科技有限公司 一种弹幕显示方法、装置及电子设备
CN110881145B (zh) * 2018-09-05 2021-11-09 武汉斗鱼网络科技有限公司 一种弹幕显示方法、装置及电子设备
JP2023510942A (ja) * 2020-01-21 2023-03-15 北京字節跳動網絡技術有限公司 字幕情報の表示方法、装置、電子デバイス、及びコンピュータ可読媒体
JP7334355B2 (ja) 2020-01-21 2023-08-28 北京字節跳動網絡技術有限公司 字幕情報の表示方法、装置、電子デバイス、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
US20190327536A1 (en) 2019-10-24
JPWO2017002602A1 (ja) 2018-04-12
US10375448B2 (en) 2019-08-06
EP3319325A4 (en) 2018-11-07
EP3319325A1 (en) 2018-05-09
RU2017145266A (ru) 2019-06-24
CN107736032A (zh) 2018-02-23
US20180192153A1 (en) 2018-07-05
JP6881303B2 (ja) 2021-06-02
EP3319325B1 (en) 2022-04-06
RU2017145266A3 (ja) 2019-09-27
RU2718121C2 (ru) 2020-03-30
US10917698B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
WO2017002602A1 (ja) 受信装置、受信方法、送信装置および送信方法
JP6891492B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7259901B2 (ja) 送信方法および送信装置
US8279938B2 (en) Encoding device and method, decoding device and method, program, recording medium, and data structure
US20200068247A1 (en) Reception apparatus, reception method, and transmission apparatus
JP6519329B2 (ja) 受信装置、受信方法、送信装置および送信方法
JPWO2017006948A1 (ja) 受信装置、受信方法、送信装置および送信方法
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
JPWO2018096925A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP2015173442A (ja) 受信機

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817711

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017526269

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017145266

Country of ref document: RU

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016817711

Country of ref document: EP