WO2016036012A1 - Method and device for transmitting/receiving broadcast signal - Google Patents

Method and device for transmitting/receiving broadcast signal Download PDF

Info

Publication number
WO2016036012A1
WO2016036012A1 PCT/KR2015/008093 KR2015008093W WO2016036012A1 WO 2016036012 A1 WO2016036012 A1 WO 2016036012A1 KR 2015008093 W KR2015008093 W KR 2015008093W WO 2016036012 A1 WO2016036012 A1 WO 2016036012A1
Authority
WO
WIPO (PCT)
Prior art keywords
caption
subtitle
scroll
xml
information
Prior art date
Application number
PCT/KR2015/008093
Other languages
French (fr)
Korean (ko)
Inventor
오현묵
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2016036012A1 publication Critical patent/WO2016036012A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Definitions

  • the present invention relates to an apparatus and method for transmitting and receiving broadcast signals.
  • broadcasting subtitle service is provided in the form of closed caption or DVB (Digital Video Broadcasting) subtitle.
  • DVB subtitles are provided in the form of a bitmap image. Therefore, subtitles of different sizes should be provided for images of various sizes, or services should be provided by scaling subtitles of a single standard. In this case, in the former case, the efficiency decreases in terms of bandwidth, and in the latter case, a sharpness due to scaling occurs.
  • the discussion of high-definition broadcasting service through UHDTV is being actively conducted, and a need for a new broadcasting subtitle service is emerging to solve this problem.
  • An object of the present invention is to improve transmission efficiency in a method and apparatus for transmitting a broadcast signal.
  • Another object of the present invention is to provide a transmission apparatus and method for providing a caption service in a broadcasting network.
  • Another object of the present invention is to provide a broadcast apparatus and method for improving the quality of a subtitle service.
  • the broadcast signal transmission method may include generating a broadcast signal including video data and subtitle data and transmitting the generated broadcast signal.
  • the caption data may include XML caption data.
  • the XML caption data may include caption text and caption metadata.
  • the caption metadata may include information on caption scrolling.
  • the caption metadata may include at least one of a scroll direction, a scroll speed, a scroll type, or a scroll information identifier of the caption.
  • the broadcast signal receiving method may include receiving a broadcast signal including video data and caption data, and processing and outputting the video data and caption data.
  • the caption data may include XML caption data.
  • the XML caption data may include caption text and caption metadata.
  • the caption metadata may include information on caption scrolling.
  • the caption metadata may include at least one of a scroll direction, a scroll speed, a scroll type, or a scroll information identifier of the caption.
  • a high quality subtitle service can be provided in a broadcasting network.
  • a subtitle service having backward compatibility may be provided in a broadcasting network.
  • the broadcast reception device may extract and display a subtitle included in a broadcast signal.
  • FIG. 1 is a diagram illustrating an XML-based broadcast subtitle service according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an operation of a receiver for XML-based subtitles according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an XML subtitle decoder including a scroll function according to an embodiment of the present invention.
  • FIG. 4 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to an embodiment of the present invention.
  • FIG 5 shows information about subtitle scrolling according to an embodiment of the present invention.
  • FIG 6 illustrates subtitle scroll information according to an embodiment of the present invention.
  • FIG. 7 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
  • FIG. 8 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
  • FIG 9 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
  • FIG. 10 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
  • FIG. 11 shows a definition for a caption scroll element according to another embodiment of the present invention.
  • FIG. 12 illustrates XML captions for calling a scroll function by using an identifier according to an embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a broadcast transmitter according to an embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating a broadcast receiver according to an embodiment of the present invention.
  • 15 is a diagram illustrating a detailed configuration of a broadcast receiver according to an embodiment of the present invention.
  • FIG. 16 illustrates a method of transmitting a broadcast signal including XML subtitles according to an embodiment of the present invention.
  • FIG. 17 illustrates a method of receiving a broadcast signal including XML subtitles according to an embodiment of the present invention.
  • TTML time text markup language
  • EBU-TT EBU time text
  • XML-based subtitle can support various sizes of video and is considered as one of UHD-based next-generation subtitle service method because it is suitable for IP streaming-based service.
  • a method for providing a scroll function in providing an XML-based broadcast media subtitle service can be described.
  • the present invention may describe a style (or metadata) and a scroll direction, a scroll unit, a scroll speed, and a scroll application method related to a scroll function for a subtitle.
  • a unit in which subtitles are displayed on the screen can be described.
  • High Efficiency Video Coding is a high-efficiency video coding standard that offers the same video quality with approximately twice the compression rate compared to traditional H.265 / AVC technology.
  • Extensible Markup Language is a language that is an improvement of HTML. It has improved the homepage building function and search function, and can easily handle the complex data of the client system.
  • the caption data is used as a language, and the XML caption may be composed of a head and a body.
  • PTS Presentation Time Stamp
  • the PTS can be used to synchronize the video ES and the subtitle ES.
  • ES Electronic Stream
  • outputs of the video encoder and the audio encoder may be defined as a video ES and an audio ES, respectively.
  • the XML subtitle ES can be defined and used.
  • TS Transport Stream
  • TS is a transport stream including one or several programs in an MPEG-2 system and can be used for a transmission medium in which a transport error exists.
  • TS may mean a transport stream in which at least two of a video ES, an audio ES, and a subtitle ES are multiplexed and transmitted.
  • FIG. 1 is a diagram illustrating an XML-based broadcast subtitle service according to an embodiment of the present invention. 1 illustrates a diagram of a transmitter, a receiver, and an end-to-end system for a digital broadcast service.
  • the XML-based subtitles used in the present invention can be applied to both UHD / HD / SD since they are not affected by the size of the image.
  • the transmitting end may transmit the compressed image and the modified XML subtitle for transmission through a multiplexer.
  • the receiver demultiplexes the received signal and provides subtitles through image decoding and XML parser, and the graphic engine may modify the subtitle expression method according to the receiver's environment and output it to the display processor.
  • the display processor may output the decoded image and the subtitle.
  • the transmitting end may receive video data and subtitle information.
  • the resolution of the video data input to the transmitter may be UHD, HD or SD.
  • the caption information input to the transmitting end may be written in XML.
  • Video data input to the transmitting end may be encoded by an encoder at the transmitting end (101).
  • the transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data.
  • the transmitting end may synchronize the encoded video data with XML subtitles and multiplex using a multiplexer (102).
  • the XML subtitle can be modified for transmission.
  • the transformation method for the XML subtitle and the metadata generation method for the XML subtitle will be described in detail below.
  • the transmitter may perform channel coding and modulation of the synchronized and multiplexed data and then transmit the broadcast signal as a broadcast signal.
  • the receiving end may receive a broadcast signal and perform demodulation and transport packet decoding.
  • the receiving end may perform video decoding and XML parsing after demultiplexing the decoded transport packet.
  • XML parsing can be performed through an XML parser.
  • the receiving end may acquire metadata, and the metadata may be used as additional information in displaying the video and the subtitle together.
  • the receiver may demodulate the received broadcast signal and perform transport packet decoding (104).
  • the decoded transport packet is input to the video decoder 106 and the XML parser 107 after demultiplexing 105.
  • the video decoder 106 may decode the UHD, HD or SD video data according to the resolution of the received video data.
  • the XML parser 107 may extract XML captions and metadata.
  • the receiving end may implement a scrolling function that displays a large amount of subtitles on a constant screen in displaying video data and XML subtitles using meta data.
  • the receiver can implement a scroll function even in XML-based subtitles.
  • the present invention can be implemented for a subtitle service provided by all types of services such as IP streaming service, storage media, as well as a broadcast service. It can be modified.
  • the decoded video data and the XML subtitle in which the presentation method is modified may be processed and displayed by the display processor 109.
  • the receiver may include an XML subtitle decoder with a scroll function.
  • the XML subtitle decoder may be used in the same sense as the XML parser or in a meaning including the XML parser.
  • the XML caption decoder may receive and decode XML-based captions to output caption text data.
  • the XML subtitle decoder may extract metadata about the subtitles together in decoding the XML-based subtitles.
  • the metadata about the subtitle may include information about the subtitle scrolling.
  • the information about the subtitle scrolling may include information about a scroll direction, a scroll type, a scroll speed, and a writing direction.
  • the caption text data output from the XML caption decoder and the caption scroll information may be input to the graphic engine together with the media time information.
  • the graphics engine may generate caption text data as captions and output the caption text data to the display processor using information on caption scrolling and media time information.
  • the display processor may display the subtitles and provide them to the user.
  • FIG. 3 is a diagram illustrating an XML subtitle decoder including a scroll function according to an embodiment of the present invention. This embodiment may be similarly applied in that the head and the body of the XML subtitle are separately transmitted or represent elements to be newly processed in the head and the body even when the head and the body are simultaneously transmitted.
  • the XML subtitle decoder may include a head / body demultiplexer, an XML head buffer, an XML body buffer, a PTS / media time synchronizer, and an XML parser.
  • the XML subtitle decoder can receive XML subtitle elements.
  • the XML subtitle decoder can separate head and body elements using a head / body demultiplexer.
  • the receiver may store the separated head elements in an XML head buffer and store the separated body elements in an XML body buffer.
  • the elements related to scrolling for subtitles, ebutts: ScrollDirection, ebutts: ScrollType, ebutts: ScrollSpeed are passed through the head's ⁇ tt: ayout> or ⁇ tt: style> or ⁇ tt: metadata>, or ⁇ ebutts: Can be delivered via Scroll>.
  • the case of defining the EBU-TT-D has been described.
  • TTML metadata ttm
  • parameter ttp
  • style tts
  • the elements newly defined in the present invention can be extended to an XML-based subtitle standard such as TTML, EBU-TT, SMPTE-TT, CFF-TT, Youview, and EBU-TT.
  • the receiver may store them in the XML head buffer and refer to them according to the call of the body until new head information is stored.
  • the body to be transmitted in the future may mean a body to be transmitted until the next random access point (RAP).
  • RAP random access point
  • storing the new head information may mean an operation occurring in the next RAP.
  • Information about the subtitle scrolling stored in the buffer can be delivered to the XML parser when the PTS / Media Time Synchronizer reaches the specified time.
  • the XML parser can parse XML subtitles with scrolling.
  • the ⁇ tt: body> included in the XML subtitle can directly specify subtitle scrolling information.
  • ⁇ Tt: body> may also include subtitle scrolling related information in a region or style feature. You can also call the scroll feature from ⁇ tt: body>, ⁇ tt: div> or ⁇ tt: p>. Through this, information about the direction, type, and speed of the caption assigned to the head or body can be used.
  • the graphic engine described above may execute a scrolling function by configuring a subtitle to be displayed on the screen in each frame. For example, in the case of upward line scrolling, if the contents of the first line are filled in a predetermined region, a caption image is generated by deleting the line after the predetermined speed and shifting the contents of the next line upward. Can be shown in the next frame.
  • the broadcast transmission device may define scroll characteristics in the entire region by defining information on subtitle scrolling in ⁇ tt: layout> of ⁇ tt: head> included in the XML subtitle.
  • the XML caption can define scrolling characteristics in ⁇ tt: region> for each region, and the region is set to region 1 in the drawing. This way, if you have multiple regions, you can define different scroll characteristics for each region.
  • XML subtitles can be defined only for a specific style of scrolling properties, for the head / body as a whole, or only for certain divs (division) and p (paragraph). Detailed embodiments thereof will be described later.
  • XML subtitles can consist of a head and a body, where the head can define styling.
  • the styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which the subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
  • the layout may define a region and may include information about the region identifier, subtitle writing mode, scroll direction, scroll type, and scroll speed. That is, as shown, the region identifier may be defined as region1, the subtitle writing mode may be defined as left to right, top to bottom (lrtb), and the scroll direction may be defined as Bottom2Top.
  • the scroll type may be defined as line 1, and the scroll speed may be defined as 3.
  • the body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown.
  • the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
  • FIG. 5 shows information about subtitle scrolling according to an embodiment of the present invention.
  • various scroll directions are defined, and the scroll directions may be used in other standards.
  • a scrolling direction may be used in the CEA 708 standard.
  • information on scrolling of the subtitle may define an alignment criterion, a print direction, and a scroll direction.
  • the subtitle scrolling information may be set to the left, right, or center of the alignment criteria.
  • the subtitle scrolling information may set a direction from top to bottom or top to bottom or top to bottom with respect to the print direction.
  • the subtitle scrolling information may set a direction from bottom to top, top to bottom, right to left, or left to right with respect to the scroll direction.
  • the specific criteria and directions included in the above-described alignment criteria, print directions, and scroll directions may be combined with each other to configure information about the subtitle scrolling.
  • the XML caption information according to the present invention may support the above-described alignment criteria, print direction, and scroll direction in various ways.
  • XML subtitles can specify the scroll direction, scroll type, and scroll speed as attributes of the layout ⁇ tt: layout>.
  • the scroll direction of the XML subtitle may be defined by ⁇ ebutts: ScrollDirection>, the scroll type by ⁇ ebutts: ScrollType>, and the scroll speed by ⁇ ebutts: ScrollSpeed>. See below for a detailed description of each attribute.
  • (a) is an embodiment of scroll direction information.
  • the information on the scroll direction may be expressed by ScrollDirection and may indicate a direction in which scrolling is progressed.
  • ScrollDirection scrolls from bottom to top (Top2 Bottom), scrolls from top to bottom (Bottom2Top), scrolls from left to right (Left2Right), scrolls from right to left (Right2Left) In the case of specifying.
  • (b) is one embodiment for the scroll type.
  • Information about the scroll type can be expressed as a ScrollType and can specify how to scroll.
  • the case of scrolling in units of lines that can be used for vertical scrolling (Line) and the case of scrolling in units of pixels that can be used in both horizontal or vertical directions (Pixel) are considered.
  • the receiver scrolls the caption line by line, it can also convey information (LineNumber) about how many lines are processed when scrolling.
  • the receiver may scroll the subtitle pixel by pixel in order to create a pushing effect, and may transmit information about the number of pixels (PixelNumber) associated with the natural scrolling effect.
  • the number of pixels associated with the natural scrolling effect may mean the number of horizontal lines in the case of vertical scrolling.
  • LineNumber or PixelNumber is not present or 0, the default value can be used by specifying that scrolling is performed after the region is full of characters.
  • the scroll type information may specify a LineType to specify a type in which the line disappears when scrolling is performed line by line.
  • LineType is selected by selecting an animation effect in which the line disappears normally (Normal), left (Left) or right (Right), or disappears after a certain time flickering (Flicker). Can be specified.
  • ScrollSpeed is one embodiment for scrolling speed.
  • Information about the scroll speed may be expressed as ScrollSpeed, and may be used to indicate the scroll speed when the scroll function is used.
  • ScrollSpeed can be used to express the scrolling speed in lines when the subtitle scrolls vertically. In other words, if ScrollSpeed is set to 3 seconds, the current line disappears and is replaced by one line after 3 seconds after all the top lines are filled. As another embodiment, when the ScrollSpeed is set to 3 seconds, the current line disappears and is replaced by a line above one line after 3 seconds after all the lowest lines are filled.
  • the definition of speed is not limited to the above example, and may be used according to the definition of scroll speed. Units can be based on seconds, or even to the nearest decimal point for more detail.
  • the broadcast transmission device may define information on subtitle scrolling in ⁇ tt: metadata> of ⁇ tt: layout> of ⁇ tt: head> included in an XML subtitle. That is, subtitle scrolling information that is equally applied to the entire layout instead of a specific region may be defined. In other words, the same elements can be applied to the whole area by defining scroll-related properties in the layout.
  • XML subtitles can consist of a head and a body, where the head can define styling.
  • the styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which the subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
  • the layout may include metadata about caption scrolling and may include information about scroll direction, scroll type, and scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
  • the layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
  • the body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown.
  • the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
  • the subtitle text may be scrolled according to the subtitle scrolling information defined in ⁇ tt: metadata> of ⁇ tt: layout>.
  • both the start time and the end time of the subtitle are displayed.
  • the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time.
  • the scroll speed may be defined so that the subtitle disappears after a certain time.
  • the broadcast transmission device may define information on subtitle scrolling in ⁇ tt: metadata> of ⁇ tt: head> included in an XML subtitle. That is, subtitle scrolling information that is equally applied to all regions and all styles may be defined while a head other than a specific layout is defined. In other words, by defining scroll-related attributes in the head, the same element can be applied to all regions and all styles.
  • Such an embodiment may be used to deliver scroll information corresponding to the entire subtitle when all the information for the XML subtitle is transmitted in the RAP.
  • XML subtitles can consist of a head and a body, where the head can define styling.
  • the styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
  • the layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
  • the head may define metadata.
  • the head may directly include metadata about the subtitle scrolling and may include information about the scroll direction, the scroll type, and the scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
  • the body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown.
  • the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
  • the subtitle text may be scrolled according to the subtitle scrolling information defined in ⁇ tt: metadata> of ⁇ tt: head>.
  • both the start time and the end time of the subtitle are displayed.
  • the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time.
  • the scroll speed may be defined so that the subtitle disappears after a certain time.
  • the broadcast transmission device may define information on subtitle scrolling in ⁇ tt: metadata> of ⁇ tt: body> included in an XML subtitle. That is, as shown, the subtitle scroll information may be defined in the body itself.
  • the subtitle scroll information may be defined in the body itself.
  • metadata in ⁇ tt: div> scrolling characteristics by subtitle scrolling information can be applied only to the corresponding division. If defined as metadata in ⁇ tt: body>, all paragraphs in the body ( division).
  • XML subtitles can consist of a head and a body, where the head can define styling.
  • the styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
  • the layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
  • the body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown.
  • the body can also define subtitle scrolling characteristics for use in the division.
  • Bodies can define metadata in ⁇ tt: div>.
  • the body may directly include metadata about the caption scrolling and may include information about the scroll direction, the scroll type, and the scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
  • the body may include subtitle text information and may define a display start time and an end time of each subtitle text.
  • each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
  • the subtitle text may be scrolled according to the information on the subtitle scroll defined in ⁇ tt: metadata> in ⁇ tt: body>.
  • both the start time and the end time of the subtitle are displayed.
  • the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time.
  • the scroll speed may be defined so that the subtitle disappears after a certain time.
  • FIG. 10 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
  • the broadcast transmission device may define information on subtitle scrolling using ⁇ tt: metadata> in ⁇ tt: styling> of ⁇ tt: head> included in an XML subtitle.
  • the same elements can be applied to the whole area by defining scroll-related properties in styling.
  • XML subtitles can consist of a head and a body, where the head can define styling.
  • the styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
  • the styling may include metadata about subtitle scrolling characteristics and may include information about scroll direction, scroll type, and scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
  • the layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
  • the body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown.
  • the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
  • the subtitle text may be scrolled according to the information on the subtitle scroll defined in ⁇ tt: metadata> in ⁇ tt: styling>.
  • both the start time and the end time of the subtitle are displayed.
  • the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time.
  • the scroll speed may be defined so that the subtitle disappears after a certain time.
  • FIG. 11 shows a definition for a caption scroll element according to another embodiment of the present invention.
  • the present embodiment does not define an attribute for subtitle scrolling, but includes information on scroll characteristics by defining an element called ⁇ ebutts: Scroll>, as shown in (a). It can be done. That is, after defining the element, as shown in (b), it is possible to simultaneously define the direction, speed, and type attributes for defining scroll characteristics in the element. In other words, the functions associated with scrolling can be defined simultaneously within ⁇ ebutts: Scroll>.
  • the ⁇ ebutts: Scroll> element may be defined as a container of scroll attributes. That is, the identifier ID may be defined as shown, as well as the direction, speed, and type defining the scroll characteristics. With this defined identifier, the caption scrolling function defined in the head can be called from the body to the ID. You can also apply scrolling to a specific time or sentence using an ID call.
  • the broadcast transmission device may define an ⁇ ebutts: Scroll> element including a scroll feature and an identifier in ⁇ tt: head> included in an XML caption.
  • the body can use the identifier to invoke the scrolling function and apply that scrolling characteristic to each subtitle text or division.
  • XML subtitles can consist of a head and a body, where the head can define styling.
  • the styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
  • the layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
  • ⁇ ebutts: Scroll> may include an identifier and subtitle scrolling attributes, and may include information about a scroll direction, a scroll type, and a scroll speed. That is, as shown, the scroll direction for the identifier scroll1 may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed may be defined as 3. In addition, as shown, the scroll direction for the identifier scroll2 may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed may be defined as 6.
  • the body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown.
  • the body may define a scroll identifier within division, and a scroll characteristic defined together with the scroll identifier may be commonly applied to subtitle text included in division. That is, when scroll1 is selected in division as shown in the drawing, the subtitle texts included in the division are scrolled by applying bottom 2Top, scroll type line 1, and scroll speed 3, which are the scroll directions identified by scroll1. Can be.
  • the body may include subtitle text information and may define a display start time and an end time of each subtitle text.
  • each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
  • the subtitle text may be scrolled according to the information on the subtitle scrolling called by ⁇ tt: div>.
  • the text included in the paragraph may have a scroll characteristic identified by the separate scroll identifier.
  • the text “Be the good girl you always have to be” can be scrolled by the scrolling property identified by scroll2, that is, the text is below the scroll direction identified by scroll2.
  • Scroll type line 1 and scroll speed 6 are applied to scroll.
  • both the start time and the end time of the subtitle are displayed.
  • the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time.
  • the scroll speed may be defined so that the subtitle disappears after a certain time.
  • the broadcast transmitter 1701 may include an encoder 1702, a multiplexer 1703, and / or a transmitter 1704.
  • the resolution of video data input to the broadcast transmitter 1701 may be UHD, HD, or SD.
  • the caption information input to the broadcast transmitter 1701 may be written in XML.
  • Video data input to the broadcast transmitter 1701 may be encoded by the encoder 1702.
  • the transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data.
  • the transmitting end may synchronize the encoded video data and the XML subtitle and multiplex using the multiplexer 1703.
  • the XML caption may include scroll characteristic information on the caption, and may include at least one of a direction, a speed, a type, or an identifier of the caption scroll.
  • the transmitter 1704 may transmit the transport stream output from the multiplexer 1703 as a broadcast signal.
  • the transport stream may be transmitted as a broadcast signal after being channel coded and modulated before transmission.
  • the broadcast receiver 1801 may include a receiver 1802, a demultiplexer 1803, and / or a decoder 1804.
  • the broadcast signal received by the receiver 1802 may be demodulated and then channel decoded.
  • the channel decoded broadcast signal may be input to the demultiplexer 103 and demultiplexed into a video stream and a subtitle stream.
  • the output of the demultiplexer may be input to the decoder 1804.
  • the decoder may include a video decoder and an XML parser. That is, the video stream may be decoded by the video decoder, the subtitle stream by the subtitle decoder, or parsed by an XML parser and output as video data and subtitle data, respectively.
  • Subtitle data can be scrolled using information about subtitle scrolling.
  • the caption scroll information included in the XML-based caption data may include at least one of scroll direction, speed, type, or identifier.
  • the decoder may generate and scroll subtitles based on such subtitle scrolling information. Video and subtitles can be synchronized and displayed by the receiver.
  • the broadcast receiver includes a receiver 1901, a demodulator 1902, a demultiplexer 1803, a video decoder 1904, an XML subtitle decoder 1905, an audio / video subtitle synchronizer (A / V / S sync, 1906), It may include a system information processor (SI processor) 1907, a graphics engine 1908, and / or a display processor 1909.
  • SI processor system information processor
  • the receiver 1901 may receive a broadcast signal transmitted by a transmitter.
  • the received broadcast signal may be input to the demodulator 1902.
  • the demodulator 1902 can demodulate a broadcast signal and output a transport stream (TS).
  • the TS may be input to the demultiplexing unit 1903 and demultiplexed.
  • the demultiplexed TS may include a HEVC bitstream, an XML subtitle, and system information (SI).
  • SI system information
  • the XML subtitle may include metadata.
  • the video decoder 1904 may receive an HEVC bitstream, decode it, and output a video frame.
  • the XML subtitle decoder 1905 may receive an XML subtitle and extract a subtitle.
  • the XML subtitle decoder 1905 may perform a scroll function for parsing metadata about the subtitle scroll included in the XML subtitle.
  • the metadata about the subtitle scroll may include at least one of a scroll direction, a speed, a type, or an identifier of the subtitle scroll.
  • Metadata for subtitle scrolling can apply subtitle scrolling characteristics to specific regions, divisions, or paragraphs, depending on their position within the XML subtitle.
  • the metadata for subtitle scrolling may be defined in a header to apply a subtitle scrolling characteristic to the entire subtitle.
  • the XML subtitle decoder can pass this metadata along with the subtitles to the graphics engine.
  • the system information processor 1907 may extract the OSD information by receiving the system information (SI) information output from the demultiplexer.
  • SI system information
  • the graphics engine 1908 may receive captions and caption metadata from the XML caption decoder 1905 and output caption images.
  • the caption image is generated based on the caption and the metadata of the caption, and at least one of a scroll direction, a speed, or a type of the displayed caption may vary according to scroll characteristics included in the caption metadata.
  • the display processor 1909 may receive the video frame and the subtitle and output the display frame.
  • the display processor 1909 may receive OSD (On Screen Display) information in addition to the video frame and the subtitle to output the display frame.
  • the output display frame may be displayed by the image output device, and the XML caption and video frame described in the present invention may be displayed together.
  • the method for transmitting a broadcast signal including the XML caption includes generating a video data by encoding a video stream (S2210), generating a broadcast signal including the generated video data and the caption information (S2220), and generating the broadcast. It may include the step of transmitting a signal (S2230).
  • Generating video data by encoding the video stream may receive a video stream having a resolution of UHD, HD, or SD, and encode the video stream to generate video data.
  • the video stream may be encoded by High Efficiency Video Coding (HEVC).
  • HEVC High Efficiency Video Coding
  • XML caption data can be generated.
  • the XML caption data may include metadata and the metadata may include data about scrolling characteristics of the caption. That is, the metadata may include at least one of a scroll direction, a scroll speed, a scroll type, or a scroll information identifier.
  • Generating a broadcast signal including the generated video data and subtitle data may build a broadcast signal frame and generate a broadcast signal using a modulation process.
  • the generated broadcast signal may be transmitted as a broadcast signal.
  • a method for receiving a broadcast signal including XML captions includes receiving a broadcast signal (S2310), demultiplexing the received broadcast signal into video data and caption data (S2320), and decoding the video data and caption data. Step S2330 may be included.
  • the broadcast signal received using the receiver may be demodulated and then channel decoded.
  • Demultiplexing the received broadcast signal into video data and caption data may demultiplex the channel decoded broadcast signal into video data and caption data using a demultiplexer.
  • Decoding the video data and the caption data, respectively may decode the video data and obtain the video data using the video decoder.
  • the caption data may be acquired using a caption decoder or an XML parser.
  • the receiver may extract the caption by receiving the XML subtitle.
  • the receiver may acquire information about scroll characteristics to parse metadata included in the XML subtitle.
  • the receiver may perform a scroll function for the caption using a scroll direction, scroll speed, scroll type, or scroll information identifier for the caption.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention has industrial applicability that is usable and repeatable in the field of broadcast and video signal processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to a device and method for transmitting/receiving a broadcast signal including a subtitle service. An embodiment of the present invention provides a method for transmitting a broadcast signal, comprising the steps of: generating a broadcast signal including video data and subtitle data; and transmitting the generated broadcast signal. The embodiment of the present invention can transmit a transmission stream which provides a digital broadcasting subtitle service using XML subtitles.

Description

방송 신호 송수신 방법 및 장치 Broadcast signal transmission and reception method and apparatus
본 발명은 방송 신호를 송수신하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for transmitting and receiving broadcast signals.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오/비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 실감미디어에 대한 소비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD (High Definition)급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.With the development of digital technology and communication technology, the distribution and demand of audio / video-oriented multimedia contents are rapidly expanding in various areas such as broadcasting, movies, internet and personal media. Furthermore, consumer demand for realistic media that provides three-dimensional effects through broadcasting and movies is increasing. In addition, with the development of display technology, as TV screens in the home are enlarged, consumption for enjoying content that is realistic in high definition (HD) or higher is increasing. In addition to 3DTV, realistic broadcasting such as Ultra High Definition TV (UHDTV) is receiving attention as a next-generation broadcasting service, and in particular, the discussion about the Ultra High Definition (UHD) broadcasting service is increasing.
현재 방송 자막 서비스는 closed caption 혹은 DVB (Digital Video Broadcasting) subtitle의 형태로 제공되고 있다. 이 중 DVB subtitle의 경우 자막을 bitmap image 형태로 제공하기 때문에 다양한 크기의 영상에 대해 서로 다른 크기의 자막을 제공하거나, 단일 규격의 subtitle을 스케일링하는 식으로 서비스를 제공해야 한다. 이 때, 전자의 경우 대역폭 측면에서 효율성이 떨어지며 후자의 경우 스케일링에 의한 선예도가 떨어지는 문제가 발생한다. 특히 UHDTV를 통한 고해상도의 방송 서비스에 대한 논의가 활발한 요즈음, 이러한 문제를 해결하기 위한 새로운 방송 자막 서비스의 필요성이 대두되고 있다. Currently, broadcasting subtitle service is provided in the form of closed caption or DVB (Digital Video Broadcasting) subtitle. Among the DVB subtitles, subtitles are provided in the form of a bitmap image. Therefore, subtitles of different sizes should be provided for images of various sizes, or services should be provided by scaling subtitles of a single standard. In this case, in the former case, the efficiency decreases in terms of bandwidth, and in the latter case, a sharpness due to scaling occurs. In particular, the discussion of high-definition broadcasting service through UHDTV is being actively conducted, and a need for a new broadcasting subtitle service is emerging to solve this problem.
본 발명의 목적은, 방송 신호를 전송하는 방법 및 장치에 있어서 전송 효율을 높이는 것이다. An object of the present invention is to improve transmission efficiency in a method and apparatus for transmitting a broadcast signal.
본 발명의 다른 목적은, 자막 서비스를 방송망에서 제공하기 위한 전송 장치 및 방법을 제공하는 것이다. Another object of the present invention is to provide a transmission apparatus and method for providing a caption service in a broadcasting network.
본 발명의 다른 목적은, 자막 서비스의 품질을 향상시키는 방송 장치 및 방법을 제공하는 것이다. Another object of the present invention is to provide a broadcast apparatus and method for improving the quality of a subtitle service.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다. The broadcast signal transmission method according to an embodiment of the present invention may include generating a broadcast signal including video data and subtitle data and transmitting the generated broadcast signal.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 자막 데이터는 XML 자막 데이터를 포함할 수 있다. In the broadcast signal transmission method according to an embodiment of the present invention, the caption data may include XML caption data.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함할 수 있다.In addition, in the broadcast signal transmission method according to an embodiment of the present invention, the XML caption data may include caption text and caption metadata.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 자막 메타 데이터는 자막 스크롤에 대한 정보를 포함할 수 있다.Further, in the broadcast signal transmission method according to an embodiment of the present invention, the caption metadata may include information on caption scrolling.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 자막 메타 데이터는 자막의 스크롤 방향, 스크롤 속도, 스크롤 타입 또는 스크롤 정보 식별자 중 적어도 하나를 포함할 수 있다. Further, in the broadcast signal transmission method according to an embodiment of the present invention, the caption metadata may include at least one of a scroll direction, a scroll speed, a scroll type, or a scroll information identifier of the caption.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 수신하는 단계 및 상기 비디오 데이터 및 자막 데이터를 처리하여 출력하는 단계를 포함할 수 있다. The broadcast signal receiving method according to an embodiment of the present invention may include receiving a broadcast signal including video data and caption data, and processing and outputting the video data and caption data.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 데이터는 XML 자막 데이터를 포함할 수 있다. In addition, in the broadcast signal receiving method according to an embodiment of the present invention, the caption data may include XML caption data.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함할 수 있다. In addition, in the broadcast signal receiving method according to an embodiment of the present invention, the XML caption data may include caption text and caption metadata.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 자막 스크롤에 대한 정보를 포함할 수 있다.Further, in the broadcast signal receiving method according to an embodiment of the present invention, the caption metadata may include information on caption scrolling.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 자막의 스크롤 방향, 스크롤 속도, 스크롤 타입 또는 스크롤 정보 식별자 중 적어도 하나를 포함할 수 있다. Also, in the broadcast signal receiving method according to an embodiment of the present invention, the caption metadata may include at least one of a scroll direction, a scroll speed, a scroll type, or a scroll information identifier of the caption.
본 발명의 실시예에 따르면, 방송 시스템의 전송 효율을 높일 수 있다. According to an embodiment of the present invention, it is possible to increase transmission efficiency of a broadcast system.
본 발명의 실시예에 따르면, 높은 품질의 자막 서비스를 방송망에서 제공할 수 있다. According to an embodiment of the present invention, a high quality subtitle service can be provided in a broadcasting network.
본 발명의 실시예에 따르면, 하위 호환성을 갖는 자막 서비스를 방송망에서 제공할 수 있다. According to an embodiment of the present invention, a subtitle service having backward compatibility may be provided in a broadcasting network.
본 발명의 실시예에 따르면, 방송 수신 장치는 방송 신호에 포함된 자막을 추출하여 디스플레이할 수 있다. According to an embodiment of the present invention, the broadcast reception device may extract and display a subtitle included in a broadcast signal.
도 1은 본 발명의 일 실시예에 따른 XML 기반 방송 자막 서비스를 나타낸 도면이다. 1 is a diagram illustrating an XML-based broadcast subtitle service according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 XML 기반 자막에 대한 수신기의 동작 실시예를 나타낸 도면이다. 2 is a diagram illustrating an operation of a receiver for XML-based subtitles according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 스크롤 기능을 포함한 XML 자막 디코더를 나타낸 도면이다. 3 is a diagram illustrating an XML subtitle decoder including a scroll function according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다.4 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 자막 스크롤에 대한 정보를 나타낸다. 5 shows information about subtitle scrolling according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 자막 스크롤 정보를 나타낸다.6 illustrates subtitle scroll information according to an embodiment of the present invention.
도 7은 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다.7 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
도 8은 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 8 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
도 9는 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 9 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
도 10은 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. FIG. 10 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention.
도 11은 본 발명의 다른 실시예에 따른 자막 스크롤 엘리먼트에 대한 정의를 나타낸다.11 shows a definition for a caption scroll element according to another embodiment of the present invention.
도 12는 본 발명의 일 실시예에 따른 식별자를 이용하여 스크롤 기능을 호출하는 XML 자막을 나타낸다. 12 illustrates XML captions for calling a scroll function by using an identifier according to an embodiment of the present invention.
도 13은 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다.13 is a block diagram illustrating a broadcast transmitter according to an embodiment of the present invention.
도 14는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다. 14 is a block diagram illustrating a broadcast receiver according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따른 방송 수신기의 상세 구성을 나타낸 도면이다. 15 is a diagram illustrating a detailed configuration of a broadcast receiver according to an embodiment of the present invention.
도 16은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다. 16 illustrates a method of transmitting a broadcast signal including XML subtitles according to an embodiment of the present invention.
도 17은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다.17 illustrates a method of receiving a broadcast signal including XML subtitles according to an embodiment of the present invention.
차세대 방송 서비스로써 IP를 통해 방송 서비스를 제공하기 시작하면서, 기존 방송 자막을 대신할 새로운 자막 서비스 표준이 제정되었다. 향후 방송 서비스는 기존 방송과 IP의 융합의 형태로 제공될 것으로 보이는데, 이 때 서로 다른 표준으로 만들어진 자막을 각각 서비스 하는 것은 비효율 적이다. As the next generation broadcasting service began to provide broadcasting service through IP, a new subtitle service standard was established to replace the existing broadcasting subtitle. In the future, broadcasting service will be provided in the form of convergence of existing broadcasting and IP. At this time, it is inefficient to provide subtitles made of different standards.
최근 TTML (time text markup language), EBU-TT (EBU time text) 등 XML 언어 기반의 자막에 대한 표준이 제정되었다. 이들의 목적은 media 및 IP streaming 환경에서의 자막 서비스를 목표로 하지만, 이를 방송 서비스에서도 이용하고자 하는 요구가 DVB 및 ATSC 등의 표준 단체에서 나타나고 있다. 이는 다양한 방송 환경에대해 통합된 자막 source를 이용할 수 있다는 장점 뿐 아니라, 동일 자막 소스를 기반으로 다양한 서비스 환경(예를 들어 HD, UHD 등)에 적응적으로 사용 가능하다는 장점을 이용하기 위한 것이다.Recently, standards for XML language-based subtitles have been established, such as TTML (time text markup language) and EBU-TT (EBU time text). Their purpose is to provide subtitle services in media and IP streaming environments, but the demand for using them in broadcast services is emerging from standards organizations such as DVB and ATSC. This is not only to use the integrated subtitle source for various broadcasting environments, but also to take advantage of the advantage of being adaptive to various service environments (for example, HD and UHD) based on the same subtitle source.
XML 기반 subtitle은 다양한 크기의 영상을 지원할 수 있으며, IP streaming 기반 서비스에 적합하다는 점에서 UHD 기반 차세대 subtitle 서비스 방법 중 하나로 고려되고 있다. 아래에서는 XML 기반 방송 미디어 자막 서비스를 제공함에 있어서 스크롤 기능을 제공하기 위한 방법을 설명할 수 있다. 본 발명에서는 XML 자막을 이용함에 있어서 스크롤 기능이 포함된 자막 서비스를 제공하기 위한 방법 및 수신기를 설명할 수 있다. 또한 본 발명에서는 자막에 대한 스크롤 기능과 관련된 style (혹은 metadata) 및 스크롤 방향, 스크롤 단위, 스크롤 속도 및 스크롤 적용 방법에 대해 설명할 수 있다. 또한 본 발명에서는 자막이 화면에 표시되는 단위에 대해서도 설명할 수 있다. XML-based subtitle can support various sizes of video and is considered as one of UHD-based next-generation subtitle service method because it is suitable for IP streaming-based service. Hereinafter, a method for providing a scroll function in providing an XML-based broadcast media subtitle service can be described. In the present invention, a method and a receiver for providing a caption service including a scroll function in using XML captions can be described. In addition, the present invention may describe a style (or metadata) and a scroll direction, a scroll unit, a scroll speed, and a scroll application method related to a scroll function for a subtitle. In addition, in the present invention, a unit in which subtitles are displayed on the screen can be described.
본 발명의 이해와 설명의 편의를 위하여, 용어 및 약어에 대하여 아래와 같이 정의한다.For the convenience of understanding and explanation of the present invention, terms and abbreviations are defined as follows.
HEVC (High Efficiency Video Coding)은 기존 H.265/AVC 기술과 비교하여 약 2배 높은 압축률을 가지면서 동일한 비디오 품질을 제공하는 고효율 비디오 코딩 표준이다.High Efficiency Video Coding (HEVC) is a high-efficiency video coding standard that offers the same video quality with approximately twice the compression rate compared to traditional H.265 / AVC technology.
XML (Extensible Markup Language)은 HTML을 개선하여 만든 언어로써 보다 홈페이지 구축 기능, 검색 기능 등이 향상되었고 클라이언트 시스템의 복잡한 데이터 처리를 쉽게 할 수 있다. 본 발명에서는 자막 데이터를 구성하는 언어로써 사용되며 XML 자막은 헤드와 바디로 구성될 수 있다. Extensible Markup Language (XML) is a language that is an improvement of HTML. It has improved the homepage building function and search function, and can easily handle the complex data of the client system. In the present invention, the caption data is used as a language, and the XML caption may be composed of a head and a body.
PTS (Presentation Time Stamp)는 디코딩 된 access unit 이 재생되는 시점을 나타내는 값을 의미할 수 있다. 본 발명에서 PTS는 비디오 ES와 자막 ES를 동기화하는데 사용될 수 있다. PTS (Presentation Time Stamp) may mean a value indicating a time point when the decoded access unit is played. In the present invention, the PTS can be used to synchronize the video ES and the subtitle ES.
ES(Elementary Stream)는 데이터 인코더의 출력을 의미할 수 있다. 즉, 비디오 인코더 및 오디오 인코더의 출력을 각각 비디오 ES 및 오디오 ES로 정의할 수 있다. 본 발명에서는 XML 자막 ES를 정의하고 사용할 수 있다. ES (Elementary Stream) may mean the output of the data encoder. That is, outputs of the video encoder and the audio encoder may be defined as a video ES and an audio ES, respectively. In the present invention, the XML subtitle ES can be defined and used.
TS (Transport Stream)는 MPEG-2 시스템에서 하나 또는 여러 개의 프로그램을 포함한 전송용 스트림으로써 전송에러가 존재하는 전송 매체에 이용할 수 있다. 본 발명에서 TS는 비디오 ES, 오디오 ES 및 자막 ES 중 적어도 두 개가 다중화되어 전송되는 전송 스트림을 의미할 수 있다. TS (Transport Stream) is a transport stream including one or several programs in an MPEG-2 system and can be used for a transmission medium in which a transport error exists. In the present invention, TS may mean a transport stream in which at least two of a video ES, an audio ES, and a subtitle ES are multiplexed and transmitted.
도 1은 본 발명의 일 실시예에 따른 XML 기반 방송 자막 서비스를 나타낸 도면이다. 도 1은 디지털 방송 서비스를 위한 송신단 및 수신단, 단대단 (end-to-end) 시스템에 대한 다이어그램을 나타낸다. 본 발명에서 사용하는 XML 기반 자막은 영상의 크기에 영향을 받지 않기 때문에 UHD/HD/SD 모두에 적용 가능하다. 1 is a diagram illustrating an XML-based broadcast subtitle service according to an embodiment of the present invention. 1 illustrates a diagram of a transmitter, a receiver, and an end-to-end system for a digital broadcast service. The XML-based subtitles used in the present invention can be applied to both UHD / HD / SD since they are not affected by the size of the image.
전송단에서는 압축된 영상 및 전송을 위해 변형된(modified) XML 자막을 다중화기를 통해 전송할 수 있다. 또한 수신기에서는 수신된 신호를 역다중화한 후 영상 디코딩 및 XML parser를 통해 자막을 제공하며, graphic engine 에서는 수신기의 환경에 따라 자막 표현 방법을 변형한(modify) 후 디스플레이 프로세서로 출력할 수 있다. 디스플레이 프로세서는 디코딩된 영상 및 자막을 출력할 수 있다. The transmitting end may transmit the compressed image and the modified XML subtitle for transmission through a multiplexer. In addition, the receiver demultiplexes the received signal and provides subtitles through image decoding and XML parser, and the graphic engine may modify the subtitle expression method according to the receiver's environment and output it to the display processor. The display processor may output the decoded image and the subtitle.
도 1에서 전송단은 비디오 데이터 및 자막 정보를 입력 받을 수 있다. 전송단에 입력되는 비디오 데이터의 해상도는 UHD, HD 또는 SD가 될 수 있다. 또한 전송단에 입력되는 자막 정보는 XML로 작성될 수 있다. 전송단에 입력된 비디오 데이터는 전송단에서 인코더에 의해 인코딩될 수 있다(101). 전송단은 비디오 데이터에 대한 인코딩 방식으로써 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 전송단은 인코딩된 비디오 데이터와 XML 자막을 동기화하고 다중화부를 이용하여 다중화할 수 있다 (102). 여기서 XML 자막은 전송을 위해 변형될 수 있다. XML 자막에 대한 변형 방법 및 XML 자막에 대한 메타 데이터 생성 방법은 아래에서 자세히 설명하기로 한다. 전송단은 동기화되고 다중화된 데이터를 채널 코딩 및 변조한 후 방송 신호로써 전송할 수 있다.In FIG. 1, the transmitting end may receive video data and subtitle information. The resolution of the video data input to the transmitter may be UHD, HD or SD. In addition, the caption information input to the transmitting end may be written in XML. Video data input to the transmitting end may be encoded by an encoder at the transmitting end (101). The transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data. The transmitting end may synchronize the encoded video data with XML subtitles and multiplex using a multiplexer (102). Here the XML subtitle can be modified for transmission. The transformation method for the XML subtitle and the metadata generation method for the XML subtitle will be described in detail below. The transmitter may perform channel coding and modulation of the synchronized and multiplexed data and then transmit the broadcast signal as a broadcast signal.
수신단은 방송 신호를 수신하고 복조 및 전송 패킷디코딩을 수행할 수 있다. 또한 수신단은 디코딩된 전송 패킷을 역다중화 후 비디오 디코딩 및 XML 파싱을 수행할 수 있다. XML 파싱은 XML parser를 통해 수행될 수 있다. XML 파싱을 통해 수신단은 메타 데이터를 획득할 수 있으며, 메타 데이터는 영상과 자막을 함께 디스플레이함에 있어서 부가 정보로 사용될 수 있다. 수신단에서는 수신된 방송 신호를 복조하고 트랜스포트 패킷디코딩을 수행할 수 있다(104). 디코딩된 트랜스포트 패킷은 역다중화(105) 과정을 거친 후 비디오 디코더(106) 및 XML 파서(parser, 107)에 입력된다. 여기서 비디오 디코더(106)는 수신된 비디오 데이터의 해상도에 따라 UHD, HD 또는 SD 비디오 데이터를 디코딩할 수 있다. 또한 XML 파서(107)는 XML 자막 및 메타 데이터를 추출할 수 있다. 이 과정에서 수신단은 메타 데이터를 이용하여 비디오 데이터와 XML 자막을 디스플레이함에 있어서 다량의 자막을 일정한 화면에서 보여주는 스크롤 기능을 구현할 수 있다. 본 발명을 통해 수신기는 XML 기반 자막에서도 스크롤 기능을 구현할 수 있다. 본 발명은 방송 서비스뿐만 아니라 IP streaming 서비스, storage media 등 모든 다양한 형태의 서비스에서 제공되는 자막 서비스에 대해서 구현될 수 있다.그래픽 엔진(108)은 상술한 영상 요소에 대응하여 XML 자막의 표현 방법을 변형할 수 있다. 디코딩된 비디오 데이터 및 표현 방법이 변형된 XML 자막은 디스플레이 프로세서(109)에 의해 처리되고 디스플레이될 수 있다. The receiving end may receive a broadcast signal and perform demodulation and transport packet decoding. In addition, the receiving end may perform video decoding and XML parsing after demultiplexing the decoded transport packet. XML parsing can be performed through an XML parser. Through XML parsing, the receiving end may acquire metadata, and the metadata may be used as additional information in displaying the video and the subtitle together. The receiver may demodulate the received broadcast signal and perform transport packet decoding (104). The decoded transport packet is input to the video decoder 106 and the XML parser 107 after demultiplexing 105. The video decoder 106 may decode the UHD, HD or SD video data according to the resolution of the received video data. In addition, the XML parser 107 may extract XML captions and metadata. In this process, the receiving end may implement a scrolling function that displays a large amount of subtitles on a constant screen in displaying video data and XML subtitles using meta data. According to the present invention, the receiver can implement a scroll function even in XML-based subtitles. The present invention can be implemented for a subtitle service provided by all types of services such as IP streaming service, storage media, as well as a broadcast service. It can be modified. The decoded video data and the XML subtitle in which the presentation method is modified may be processed and displayed by the display processor 109.
도 2는 본 발명의 일 실시예에 따른 XML 기반 자막에 대한 수신기의 동작 실시예를 나타낸 도면이다. 수신기는 스크롤 기능이 있는 XML 자막 디코더를 포함할 수 있다. 본 발명에서 XML 자막 디코더는 XML 파서와 동일한 의미로 사용되거나 XML 파서를 포함하는 의미로 사용될 수 있다. XML 자막 디코더는 XML 기반 자막을 수신하고 디코딩하여 자막 텍스트 데이터를 출력할 수 있다. 또한 XML 자막 디코더는 XML 기반 자막을 디코딩함에 있어서, 자막에 대한 메타 데이터를 함께 추출할 수 있다. 여기서 자막에 대한 메타 데이터는 자막 스크롤에 대한 정보를 포함할 수 있다. 예를 들어, 자막 스크롤에 대한 정보는 스크롤 방향, 스크롤 타입, 스크롤 속력 및 쓰기 방향에 대한 정보를 포함할 수 있다. 2 is a diagram illustrating an operation of a receiver for XML-based subtitles according to an embodiment of the present invention. The receiver may include an XML subtitle decoder with a scroll function. In the present invention, the XML subtitle decoder may be used in the same sense as the XML parser or in a meaning including the XML parser. The XML caption decoder may receive and decode XML-based captions to output caption text data. In addition, the XML subtitle decoder may extract metadata about the subtitles together in decoding the XML-based subtitles. In this case, the metadata about the subtitle may include information about the subtitle scrolling. For example, the information about the subtitle scrolling may include information about a scroll direction, a scroll type, a scroll speed, and a writing direction.
XML 자막 디코더에서 출력된 자막 텍스트 데이터 및 자막 스크롤에 대한 정보는 미디어 타임 정보와 함께 그래픽 엔진에 입력될 수 있다. 그래픽 엔진은 자막 스크롤에 대한 정보 및 미디어 타임 정보를 이용하여 자막 텍스트 데이터를 자막으로 생성하여 디스플레이 프로세서로 출력할 수 있다. 디스플레이 프로세서는 자막을 디스플레이하여 사용자에게 제공할 수 있다. The caption text data output from the XML caption decoder and the caption scroll information may be input to the graphic engine together with the media time information. The graphics engine may generate caption text data as captions and output the caption text data to the display processor using information on caption scrolling and media time information. The display processor may display the subtitles and provide them to the user.
도 3은 본 발명의 일 실시예에 따른 스크롤 기능을 포함한 XML 자막 디코더를 나타낸 도면이다. 본 실시예는 XML 자막의 헤드와 바디가 별도로 전송되는 경우에 대해 작성된 것이나, 헤드 및 바디가 동시에 전송되는 경우에도 헤드 및 바디에서 새롭게 처리해야하는 엘리먼트를 표현한다는 점에서 유사하게 적용될 수 있다. 3 is a diagram illustrating an XML subtitle decoder including a scroll function according to an embodiment of the present invention. This embodiment may be similarly applied in that the head and the body of the XML subtitle are separately transmitted or represent elements to be newly processed in the head and the body even when the head and the body are simultaneously transmitted.
XML 자막 디코더는 헤드/바디 디멀티플렉서, XML 헤드 버퍼, XML 바디 버퍼, PTS/미디어 타임 싱크로나이저 및 XML 파서를 포함할 수 있다. The XML subtitle decoder may include a head / body demultiplexer, an XML head buffer, an XML body buffer, a PTS / media time synchronizer, and an XML parser.
XML 자막 디코더는 XML 자막 엘리먼트들을 수신할 수 있다. XML 자막 디코더는 헤드/바디 디멀티플렉서를 이용하여 헤드 및 바디 엘리먼트들을 분리할 수 있다. 수신기는 분리된 헤드 엘리먼트들을 XML 헤드 버퍼에 저장하고, 분리된 바디 엘리먼트들을 XML 바디 버퍼에 저장할 수 있다. 여기서, 자막에 대한 스크롤 기능과 관련된 엘리먼트들인 ebutts:ScrollDirection , ebutts:ScrollType , ebutts:ScrollSpeed가 헤드의<tt:ayout> 또는 <tt:style> 또는 <tt:metadata>를 통해 전달되거나, <ebutts:Scroll>를 통해 전달될 수 있다. EBU-TT-D 에 정의하는 경우에 대해 예를 들어 설명하였으나, 동일한 정보가 TTML metadata (ttm), parameter (ttp), style (tts)에 정의될 수 있다. 즉, 본 발명에서 새로 정의한 요소들은 TTML, EBU-TT, SMPTE-TT, CFF-TT, Youview, EBU-TT 등 XML 기반 자막 표준에 확장하여 적용할 수 있다. 이렇게 전달된 자막 스크롤 기능과 관련된 엘리먼트들은 향후 전달되는 바디에 적용되는 정보이므로, 수신기는 새로운 헤드 정보를 저장하기 전까지 이들을 XML 헤드 버퍼에 저장하고 바디의 호출에 따라 참조할 수 있다. 여기서 향후 전달되는 바디란 다음 랜덤 억세스 포인트 (Random Access Point, RAP) 이전까지 전달되는 바디를 의미할 수 있다. 또한 새로운 헤드 정보를 저장하는 것은 다음 RAP에서 일어나는 동작을 의미할 수 있다. The XML subtitle decoder can receive XML subtitle elements. The XML subtitle decoder can separate head and body elements using a head / body demultiplexer. The receiver may store the separated head elements in an XML head buffer and store the separated body elements in an XML body buffer. Here, the elements related to scrolling for subtitles, ebutts: ScrollDirection, ebutts: ScrollType, ebutts: ScrollSpeed, are passed through the head's <tt: ayout> or <tt: style> or <tt: metadata>, or <ebutts: Can be delivered via Scroll>. For example, the case of defining the EBU-TT-D has been described. However, the same information may be defined in TTML metadata (ttm), parameter (ttp), and style (tts). That is, the elements newly defined in the present invention can be extended to an XML-based subtitle standard such as TTML, EBU-TT, SMPTE-TT, CFF-TT, Youview, and EBU-TT. Since the elements related to the caption scrolling function thus transferred are information applied to the body to be delivered in the future, the receiver may store them in the XML head buffer and refer to them according to the call of the body until new head information is stored. Here, the body to be transmitted in the future may mean a body to be transmitted until the next random access point (RAP). In addition, storing the new head information may mean an operation occurring in the next RAP.
이렇게 버퍼에 저장된 자막 스크롤에 대한 정보들은 PTS/미디어 타임 싱크로나이저가 지정한 시간이 되면 XML 파서로 전달될 수 있다. Information about the subtitle scrolling stored in the buffer can be delivered to the XML parser when the PTS / Media Time Synchronizer reaches the specified time.
XML 파서는 스크롤 기능이 포함된 XML 자막을 파싱할 수 있다. XML 자막에 포함된 <tt:body>는 직접 자막 스크롤 관련 정보를 지정할 수 있다. 또한 <tt:body>는 region 또는 style 특징에 자막 스크롤 관련 정보를 포함할 수 있다. 또한 <tt:body> ,<tt:div> 혹은 <tt:p> 에서 스크롤에 대한 특징을 호출할 수 있다. 이를 통해 헤드 또는 바디에 지정된 자막에 대한 방향, 타입, 속력 관련 정보를 사용할 수 있다. The XML parser can parse XML subtitles with scrolling. The <tt: body> included in the XML subtitle can directly specify subtitle scrolling information. <Tt: body> may also include subtitle scrolling related information in a region or style feature. You can also call the scroll feature from <tt: body>, <tt: div> or <tt: p>. Through this, information about the direction, type, and speed of the caption assigned to the head or body can be used.
이렇게 획득한 자막에 대한 방향, 타입, 속력 관련 정보에 기초하여 전술한 그래픽 엔진은 각 프레임에서 화면에 표시할 자막을 구성하는 과정을 통해 스크롤 기능을 실행할 수 있다. 예를 들어 상향 라인 단위 스크롤의 경우 정해진 region 내에서 첫 번째 라인의 내용이 가득 차면, 기설정된 시간 (speed) 후에 해당 라인을 삭제하고 다음 라인의 내용을 상위로 시프트(shift) 한 자막 영상을 생성하여 다음 프레임에서 보여줄 수 있다. Based on the direction, type, and speed related information on the obtained subtitles, the graphic engine described above may execute a scrolling function by configuring a subtitle to be displayed on the screen in each frame. For example, in the case of upward line scrolling, if the contents of the first line are filled in a predetermined region, a caption image is generated by deleting the line after the predetermined speed and shifting the contents of the next line upward. Can be shown in the next frame.
도 4는 본 발명의 일 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 방송 송신 장치는 XML 자막에 포함된 <tt:head>의 <tt:layout>에 자막 스크롤에 대한 정보를 정의함으로써 해당 영역(region) 전체에서 스크롤 특성을 규정할 수 있다. 본 실시 예에서 XML 자막은 영역 별로 <tt:region>에 스크롤 특성을 규정할 수 있으며 도면에서 해당 영역은 region 1로 설정되었다. 이와 같은 방법을 사용하면 여러 개의 region이 있는 경우 각 region에 대해 서로 다른 스크롤특성을 정의할 수 있다. 이와 달리 XML 자막은 스크롤 특성에 대해 특정 style 에 대해서만 정의하거나, head/body 전체에 대해 정의하거나, 일정 div (division), p (paragraph)에만 적용할 수도 있다. 이에 대한 자세한 실시예는 후술하기로 한다.4 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to an embodiment of the present invention. The broadcast transmission device may define scroll characteristics in the entire region by defining information on subtitle scrolling in <tt: layout> of <tt: head> included in the XML subtitle. In the present embodiment, the XML caption can define scrolling characteristics in <tt: region> for each region, and the region is set to region 1 in the drawing. This way, if you have multiple regions, you can define different scroll characteristics for each region. In contrast, XML subtitles can be defined only for a specific style of scrolling properties, for the head / body as a whole, or only for certain divs (division) and p (paragraph). Detailed embodiments thereof will be described later.
XML 자막은 헤드와 바디로 구성될 수 있으며 헤드에서는 스타일링을 정의할 수 있다. 스타일링은 해당 스타일의 식별자, 자막 색상 및 배경 색상을 정의할 수 있으며 자막이 디스플레이 되는 방향이나 정렬 기준 방향에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 XML 자막 정보에서 스타일의 식별자는 BaseStyle이고, 자막 색상은 red, 배경 색상은 yellow로 설정될 수 있다. 또한 XML 자막 정보에서 자막이 디스플레이 되는 방향은 ltr(left to right)로 설정될 수 있으며, 텍스트 정렬은 left를 기준으로 정렬될 수 있다. XML subtitles can consist of a head and a body, where the head can define styling. The styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which the subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
또한 헤드에서는 레이아웃을 정의할 수 있다. 레이아웃은 region을 정의할 수 있으며 region 식별자, 자막 쓰기 모드, 스크롤 방향, 스크롤 타입 및 스크롤 스피드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 region 식별자는 region1으로 정의되고, 자막 쓰기 모드는 left to right, top to bottom (lrtb)로 정의되고, 스크롤 방향은 아래에서 위로(Bottom2Top) 정의될 수 있다. 또한 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 3으로 정의될 수 있다. You can also define the layout at the head. The layout may define a region and may include information about the region identifier, subtitle writing mode, scroll direction, scroll type, and scroll speed. That is, as shown, the region identifier may be defined as region1, the subtitle writing mode may be defined as left to right, top to bottom (lrtb), and the scroll direction may be defined as Bottom2Top. In addition, the scroll type may be defined as line 1, and the scroll speed may be defined as 3.
바디는 해당 division에서 사용할 스타일 및 region을 선택할 수 있으며, 도시된 바와 같이 헤드에서 정의한 BaseStyle을 선택하고, region1을 선택할 수 있다. 또한 바디는 자막 텍스트 정보를 포함할 수 있으며, 각 자막 텍스트의 디스플레이 시작 시간 및 종료 시간을 정의할 수 있다. 이를 통해 각 자막 텍스트는 정의된 시작 시간부터 종료 시간까지 지정된 영역인 region1에 BaseStyle을 이용하여 디스플레이될 수 있다. The body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown. In addition, the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time.
도 5는 본 발명의 일 실시예에 따른 자막 스크롤에 대한 정보를 나타낸다. 도면에서는 다양한 스크롤 방향을 정의하고 있으며 이러한 스크롤 방향은 타 표준에서도 사용될 수 있다. 예를 들어, CEA 708 표준에서도 이와 같은 스크롤 방향이 사용될 수 있다. 도시된 바와 같이 자막의 스크롤에 대한 정보는 정렬 기준, 쓰기(print) 방향 및 스크롤 방향을 정의할 수 있다. 예를 들어 좌측 상단과 같이 좌측을 기준으로 텍스트를 정렬하고, 좌에서 우로 텍스트를 프린트할 수 있으며 스크롤은 아래에서 위의 방향으로 실행될 수 있다. 자막 스크롤 정보는 정렬 기준에 대해 좌, 우 또는 중앙을 설정할 수 있다. 또한 자막 스크롤 정보는 프린트 방향에 대해 좌에서 우, 우에서 좌, 위에서 아래 또는 아래에서 위의 방향을 설정할 수 있다. 또한 자막 스크롤 정보는 스크롤 방향에 대해 아래에서 위, 위에서 아래, 우에서 좌, 또는 좌에서 우의 방향을 설정할 수 있다. 상술한 정렬 기준, 프린트 방향 및 스크롤 방향에 포함된 구체적인 기준 및 방향들은 서로 조합되어 자막 스크롤에 대한 정보를 구성할 수 있다. 본 발명에 따른 XML 자막 정보는 상술한 정렬 기준, 프린트 방향 및 스크롤 방향을 다양하게 지원할 수 있다. 5 shows information about subtitle scrolling according to an embodiment of the present invention. In the drawings, various scroll directions are defined, and the scroll directions may be used in other standards. For example, such a scrolling direction may be used in the CEA 708 standard. As shown, information on scrolling of the subtitle may define an alignment criterion, a print direction, and a scroll direction. For example, you can align text based on the left side as shown in the upper left, print the text from left to right, and scrolling can be performed from bottom to top. The subtitle scrolling information may be set to the left, right, or center of the alignment criteria. In addition, the subtitle scrolling information may set a direction from top to bottom or top to bottom or top to bottom with respect to the print direction. In addition, the subtitle scrolling information may set a direction from bottom to top, top to bottom, right to left, or left to right with respect to the scroll direction. The specific criteria and directions included in the above-described alignment criteria, print directions, and scroll directions may be combined with each other to configure information about the subtitle scrolling. The XML caption information according to the present invention may support the above-described alignment criteria, print direction, and scroll direction in various ways.
도 6은 본 발명의 일 실시예에 따른 자막 스크롤 정보를 나타낸다. XML 자막은 레이아웃 <tt:layout>의 속성으로써 스크롤 방향, 스크롤 타입, 스크롤 속도를 지정할 수 있다. XML 자막의 스크롤 방향은<ebutts:ScrollDirection>, 스크롤 타입은 <ebutts:ScrollType>, 스크롤 속도는 <ebutts:ScrollSpeed>에 의해 정의될 수 있다. 각 속성 (attribute) 에 대한 자세한 설명은 아래를 참고한다. 6 illustrates subtitle scroll information according to an embodiment of the present invention. XML subtitles can specify the scroll direction, scroll type, and scroll speed as attributes of the layout <tt: layout>. The scroll direction of the XML subtitle may be defined by <ebutts: ScrollDirection>, the scroll type by <ebutts: ScrollType>, and the scroll speed by <ebutts: ScrollSpeed>. See below for a detailed description of each attribute.
(a)는 스크롤 방향 정보에 대한 일 실시예이다. 스크롤 방향에 대한 정보는 ScrollDirection로 표현될 수 있으며, 스크롤이 진행되는 방향을 나타낼 수 있다. 본 실시예에서는 ScrollDirection이 아래에서 위로 스크롤 되는 경우(Top2 Bottom), 위에서 아래로 스크롤 되는 경우 (Bottom2Top), 좌에서 우로 스크롤 되는 경우 (Left2Right), 우에서 좌로 스크롤 되는 경우 (Right2Left) 중 하나의 경우를 지정하는 경우를 나타내었다. (a) is an embodiment of scroll direction information. The information on the scroll direction may be expressed by ScrollDirection and may indicate a direction in which scrolling is progressed. In this embodiment, if ScrollDirection scrolls from bottom to top (Top2 Bottom), scrolls from top to bottom (Bottom2Top), scrolls from left to right (Left2Right), scrolls from right to left (Right2Left) In the case of specifying.
(b)는 스크롤 타입에 대한 일 실시예이다. 스크롤 타입에 대한 정보는 ScrollType으로 표현될 수 있으며, 스크롤 되는 방법을 지정할 수 있다. 본 실시 예에서는 수직방향 스크롤에 대해서 사용할 수 있는 줄 단위로 스크롤 되는 경우 (Line)와 수평 또는 수직 방향 모두에 사용할 수 있는 픽셀 단위로 스크롤 되는 경우 (Pixel)를 고려하였다. 수신기가 자막을 라인 단위로 스크롤 하는 경우, 스크롤 될 때 몇 개의 라인을 처리하는지에 대한 정보(LineNumber)를 함께 전달할 수 있다. 또한 수신기는 밀려가는 듯한 효과를 내기 위해 자막을 픽셀 단위로 스크롤할 수 있으며, 이 때 자연스러운 스크롤 효과와 연관된 픽셀 수에 대한 정보(PixelNumber)를 전달할 수 있다. 여기서, 자연스러운 스크롤 효과와 연관된 픽셀 수는 수직방향 스크롤의 경우 수평방향 라인수를 의미할 수 있다. (b) is one embodiment for the scroll type. Information about the scroll type can be expressed as a ScrollType and can specify how to scroll. In this embodiment, the case of scrolling in units of lines that can be used for vertical scrolling (Line) and the case of scrolling in units of pixels that can be used in both horizontal or vertical directions (Pixel) are considered. When the receiver scrolls the caption line by line, it can also convey information (LineNumber) about how many lines are processed when scrolling. In addition, the receiver may scroll the subtitle pixel by pixel in order to create a pushing effect, and may transmit information about the number of pixels (PixelNumber) associated with the natural scrolling effect. Here, the number of pixels associated with the natural scrolling effect may mean the number of horizontal lines in the case of vertical scrolling.
LineNumber 혹은 PixelNumber 가 없거나 0인 경우 해당 region에 글자가 가득 찬 후 스크롤 기능을 수행하는 것을 지정하는 식으로 default 값을 사용하도록 할 수도 있다. If LineNumber or PixelNumber is not present or 0, the default value can be used by specifying that scrolling is performed after the region is full of characters.
또한 스크롤 타입에 대한 정보는 LineType을 지정하여 라인 단위로 스크롤이 수행될 때, 라인이 사라지는 타입을 지정할 수도 있다. 실시 예에서는 일반적으로 소멸되는 경우(Normal), 좌측(Left) 혹은 우측(Right)으로 라인이 사라지는 애니매이션 효과를 사용하는 경우, 또는 일정시간 점멸 후 사라지는 경우(Flicker)중 어느 하나를 선택하여 LineType을 지정할 수 있다. In addition, the scroll type information may specify a LineType to specify a type in which the line disappears when scrolling is performed line by line. In the exemplary embodiment, LineType is selected by selecting an animation effect in which the line disappears normally (Normal), left (Left) or right (Right), or disappears after a certain time flickering (Flicker). Can be specified.
(c)는 스크롤 속도에 대한 일 실시예이다. 스크롤 속도에 대한 정보는 ScrollSpeed로 표현될 수 있으며, 스크롤 기능이 사용될 때 스크롤 속도를 나타내기 위해 사용될 수 있다. 예를 들어 ScrollSpeed는 자막이 수직방향으로 스크롤 되는 경우 줄 단위로 스크롤 되는 속도를 표현하는데 사용될 수 있다. 즉, ScrollSpeed를 3초로 설정하는 경우 최상위 줄이 모두 채워진 후 3초의 시간 후에 현재 줄이 사라지고 한 줄 아래의 줄로 대체되는 식으로 규정하여 사용할 수 있다. 다른 실시예로써, ScrollSpeed를 3초로 설정하는 경우 최하위 줄이 모두 채워진 후 3초의 시간 후에 현재 줄이 사라지고 한 줄 위의 줄로 대체되는 식으로 규정하여 사용할 수 있다. 단, 속도에 대한 정의는 위의 예에만 국한되지 않으며, 스크롤 속도에 대한 정의에 따라 사용될 수 있다. 단위는 초단위를 기본으로 할 수 있으며, 보다 세부적으로 나타내기 위해 소수점 이하 단위까지도 나타낼 수 있다. (c) is one embodiment for scrolling speed. Information about the scroll speed may be expressed as ScrollSpeed, and may be used to indicate the scroll speed when the scroll function is used. For example, ScrollSpeed can be used to express the scrolling speed in lines when the subtitle scrolls vertically. In other words, if ScrollSpeed is set to 3 seconds, the current line disappears and is replaced by one line after 3 seconds after all the top lines are filled. As another embodiment, when the ScrollSpeed is set to 3 seconds, the current line disappears and is replaced by a line above one line after 3 seconds after all the lowest lines are filled. However, the definition of speed is not limited to the above example, and may be used according to the definition of scroll speed. Units can be based on seconds, or even to the nearest decimal point for more detail.
도 7은 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 방송 송신 장치는 XML 자막에 포함된 <tt:head>의 <tt:layout>의<tt:metadata>에 자막 스크롤에 대한 정보를 정의할 수 있다. 즉, 특정 region이 아닌 전체 layout에 동일하게 적용되는 자막 스크롤 정보를 정의할 수 있다. 즉 스크롤관련 속성들을 layout에 정의함으로써 영역전체에 동일한 요소가 적용될 수 있다. 7 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention. The broadcast transmission device may define information on subtitle scrolling in <tt: metadata> of <tt: layout> of <tt: head> included in an XML subtitle. That is, subtitle scrolling information that is equally applied to the entire layout instead of a specific region may be defined. In other words, the same elements can be applied to the whole area by defining scroll-related properties in the layout.
XML 자막은 헤드와 바디로 구성될 수 있으며 헤드에서는 스타일링을 정의할 수 있다. 스타일링은 해당 스타일의 식별자, 자막 색상 및 배경 색상을 정의할 수 있으며 자막이 디스플레이 되는 방향이나 정렬 기준 방향에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 XML 자막 정보에서 스타일의 식별자는 BaseStyle이고, 자막 색상은 red, 배경 색상은 yellow로 설정될 수 있다. 또한 XML 자막 정보에서 자막이 디스플레이 되는 방향은 ltr(left to right)로 설정될 수 있으며, 텍스트 정렬은 left를 기준으로 정렬될 수 있다. XML subtitles can consist of a head and a body, where the head can define styling. The styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which the subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
또한 헤드에서는 레이아웃을 정의할 수 있다. 레이아웃은 자막 스크롤에 대한 메타 데이터를 포함할 수 있으며, 스크롤 방향, 스크롤 타입 및 스크롤 스피드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 스크롤 방향은 아래에서 위로(Bottom2Top), 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 3으로 정의될 수 있다.You can also define the layout at the head. The layout may include metadata about caption scrolling and may include information about scroll direction, scroll type, and scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
또한 레이아웃은 region을 포함할 수 있으며 region 식별자, 자막 쓰기 모드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 region 식별자는 region1으로 정의되고, 자막 쓰기 모드는 left to right, top to bottom (lrtb)로 정의될 수 있다.In addition, the layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
바디는 해당 division에서 사용할 스타일 및 region을 선택할 수 있으며, 도시된 바와 같이 헤드에서 정의한 BaseStyle을 선택하고, region1을 선택할 수 있다. 또한 바디는 자막 텍스트 정보를 포함할 수 있으며, 각 자막 텍스트의 디스플레이 시작 시간 및 종료 시간을 정의할 수 있다. 이를 통해 각 자막 텍스트는 정의된 시작 시간부터 종료 시간까지 지정된 영역인 region1에 BaseStyle을 이용하여 디스플레이될 수 있다. 여기서, 자막 텍스트는 <tt:layout>의<tt:metadata>에서 정의된 자막 스크롤에 대한 정보에 따라 스크롤 될 수 있다.The body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown. In addition, the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time. Here, the subtitle text may be scrolled according to the subtitle scrolling information defined in <tt: metadata> of <tt: layout>.
도시된 실시예에서는 자막에 대해 시작 시간 및 종료 시간을 모두 표시하였는데, 스크롤 스피드가 정의되는 경우 종료 시간 없이 자막을 정의할 수도 있다. 종료 시간이 없는 경우, 해당 region이 정의되어 있고 시간의 흐름에 대해 동일 위치에 다른 자막이 정의되지 않으면 현재 시점 이전의 마지막 자막이 화면에 계속 남아있을 수 있다. 하지만, 본 발명의 일 실시예에 따른 스크롤 속도를 정의 하는 경우 일정 시간 이후 해당 자막이 사라지도록 정의할 수도 있다. In the illustrated embodiment, both the start time and the end time of the subtitle are displayed. However, when the scroll speed is defined, the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time. However, when defining the scroll speed according to an embodiment of the present invention may be defined so that the subtitle disappears after a certain time.
도 8은 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 방송 송신 장치는 XML 자막에 포함된 <tt:head>의 <tt:metadata>에 자막 스크롤에 대한 정보를 정의할 수 있다. 즉, 특정 layout이 아닌 헤드가 정의되는 동안 모든 영역 및 모든 스타일에 동일하게 적용되는 자막 스크롤 정보를 정의할 수 있다. 즉 스크롤관련 속성들을 헤드에 정의함으로써 모든 영역 및 모든 스타일에 대해 동일한 요소가 적용될 수 있다. 이러한 실시예는 RAP 등에서 XML 자막을 위한 정보가 모두 전달될 때 자막 전체에 해당하는 스크롤 정보를 전달하는데 사용될 수 있다.8 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention. The broadcast transmission device may define information on subtitle scrolling in <tt: metadata> of <tt: head> included in an XML subtitle. That is, subtitle scrolling information that is equally applied to all regions and all styles may be defined while a head other than a specific layout is defined. In other words, by defining scroll-related attributes in the head, the same element can be applied to all regions and all styles. Such an embodiment may be used to deliver scroll information corresponding to the entire subtitle when all the information for the XML subtitle is transmitted in the RAP.
XML 자막은 헤드와 바디로 구성될 수 있으며 헤드에서는 스타일링을 정의할 수 있다. 스타일링은 해당 스타일의 식별자, 자막 색상 및 배경 색상을 정의할 수 있으며 자막이 디스플레이되는 방향이나 정렬 기준 방향에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 XML 자막 정보에서 스타일의 식별자는 BaseStyle이고, 자막 색상은 red, 배경 색상은 yellow로 설정될 수 있다. 또한 XML 자막 정보에서 자막이 디스플레이되는 방향은 ltr(left to right)로 설정될 수 있으며, 텍스트 정렬은 left를 기준으로 정렬될 수 있다. XML subtitles can consist of a head and a body, where the head can define styling. The styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
또한 헤드에서는 레이아웃을 정의할 수 있다. 레이아웃은 region을 포함할 수 있으며 region 식별자, 자막 쓰기 모드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 region 식별자는 region1으로 정의되고, 자막 쓰기 모드는 left to right, top to bottom (lrtb)로 정의될 수 있다.You can also define the layout at the head. The layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
헤드는 메타데이터를 정의할 수 있다. 헤드는 자막 스크롤에 대한 메타 데이터를 직접 포함할 수 있으며, 스크롤 방향, 스크롤 타입 및 스크롤 스피드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 스크롤 방향은 아래에서 위로(Bottom2Top), 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 3으로 정의될 수 있다.The head may define metadata. The head may directly include metadata about the subtitle scrolling and may include information about the scroll direction, the scroll type, and the scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
바디는 해당 division에서 사용할 스타일 및 region을 선택할 수 있으며, 도시된 바와 같이 헤드에서 정의한 BaseStyle을 선택하고, region1을 선택할 수 있다. 또한 바디는 자막 텍스트 정보를 포함할 수 있으며, 각 자막 텍스트의 디스플레이 시작 시간 및 종료 시간을 정의할 수 있다. 이를 통해 각 자막 텍스트는 정의된 시작 시간부터 종료 시간까지 지정된 영역인 region1에 BaseStyle을 이용하여 디스플레이될 수 있다. 여기서, 자막 텍스트는 <tt:head>의<tt:metadata>에서 정의된 자막 스크롤에 대한 정보에 따라 스크롤 될 수 있다.The body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown. In addition, the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time. Here, the subtitle text may be scrolled according to the subtitle scrolling information defined in <tt: metadata> of <tt: head>.
도시된 실시예에서는 자막에 대해 시작 시간 및 종료 시간을 모두 표시하였는데, 스크롤 스피드가 정의되는 경우 종료 시간 없이 자막을 정의할 수도 있다. 종료 시간이 없는 경우, 해당 region이 정의되어 있고 시간의 흐름에 대해 동일 위치에 다른 자막이 정의되지 않으면 현재 시점 이전의 마지막 자막이 화면에 계속 남아있을 수 있다. 하지만, 본 발명의 일 실시예에 따른 스크롤 속도를 정의 하는 경우 일정 시간 이후 해당 자막이 사라지도록 정의할 수도 있다. In the illustrated embodiment, both the start time and the end time of the subtitle are displayed. However, when the scroll speed is defined, the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time. However, when defining the scroll speed according to an embodiment of the present invention may be defined so that the subtitle disappears after a certain time.
도 9는 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 방송 송신 장치는 XML 자막에 포함된 <tt:body>의 <tt:metadata>에 자막 스크롤에 대한 정보를 정의할 수 있다. 즉, 도시된 바와 같이자막 스크롤 정보를 body 자체에서 정의할 수도 있다. <tt:div> 내에 metadata의 형태로 정의하는 경우, 자막 스크롤 정보에 의한 스크롤 특성은 해당 단락(division)에만 적용할 수 있으며, 만약 <tt:body>내에 metadata로 정의 하는 경우 바디 내 모든 단락(division)에서 적용되도록 할 수 있다.9 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention. The broadcast transmission device may define information on subtitle scrolling in <tt: metadata> of <tt: body> included in an XML subtitle. That is, as shown, the subtitle scroll information may be defined in the body itself. When defined in the form of metadata in <tt: div>, scrolling characteristics by subtitle scrolling information can be applied only to the corresponding division. If defined as metadata in <tt: body>, all paragraphs in the body ( division).
XML 자막은 헤드와 바디로 구성될 수 있으며 헤드에서는 스타일링을 정의할 수 있다. 스타일링은 해당 스타일의 식별자, 자막 색상 및 배경 색상을 정의할 수 있으며 자막이 디스플레이되는 방향이나 정렬 기준 방향에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 XML 자막 정보에서 스타일의 식별자는 BaseStyle이고, 자막 색상은 red, 배경 색상은 yellow로 설정될 수 있다. 또한 XML 자막 정보에서 자막이 디스플레이되는 방향은 ltr(left to right)로 설정될 수 있으며, 텍스트 정렬은 left를 기준으로 정렬될 수 있다. XML subtitles can consist of a head and a body, where the head can define styling. The styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
또한 헤드에서는 레이아웃을 정의할 수 있다. 레이아웃은 region을 포함할 수 있으며 region 식별자, 자막 쓰기 모드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 region 식별자는 region1으로 정의되고, 자막 쓰기 모드는 left to right, top to bottom (lrtb)로 정의될 수 있다.You can also define the layout at the head. The layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
바디는 해당 division에서 사용할 스타일 및 region을 선택할 수 있으며, 도시된 바와 같이 헤드에서 정의한 BaseStyle을 선택하고, region1을 선택할 수 있다. 또한 바디는 해당 division에서 사용할 자막 스크롤 특성을 정의할 수 있다. 바디는 <tt:div> 내에 메타데이터를 정의할 수 있다. 바디는 자막 스크롤에 대한 메타 데이터를 직접 포함할 수도 있으며, 스크롤 방향, 스크롤 타입 및 스크롤 스피드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 스크롤 방향은 아래에서 위로(Bottom2Top), 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 3으로 정의될 수 있다.The body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown. The body can also define subtitle scrolling characteristics for use in the division. Bodies can define metadata in <tt: div>. The body may directly include metadata about the caption scrolling and may include information about the scroll direction, the scroll type, and the scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
또한 바디는 자막 텍스트 정보를 포함할 수 있으며, 각 자막 텍스트의 디스플레이 시작 시간 및 종료 시간을 정의할 수 있다. 이를 통해 각 자막 텍스트는 정의된 시작 시간부터 종료 시간까지 지정된 영역인 region1에 BaseStyle을 이용하여 디스플레이될 수 있다. 여기서, 자막 텍스트는 <tt:body> 내의<tt: metadata>에서 정의된 자막 스크롤에 대한 정보에 따라 스크롤 될 수 있다.In addition, the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time. Here, the subtitle text may be scrolled according to the information on the subtitle scroll defined in <tt: metadata> in <tt: body>.
도시된 실시예에서는 자막에 대해 시작 시간 및 종료 시간을 모두 표시하였는데, 스크롤 스피드가 정의되는 경우 종료 시간 없이 자막을 정의할 수도 있다. 종료 시간이 없는 경우, 해당 region이 정의되어 있고 시간의 흐름에 대해 동일 위치에 다른 자막이 정의되지 않으면 현재 시점 이전의 마지막 자막이 화면에 계속 남아있을 수 있다. 하지만, 본 발명의 일 실시예에 따른 스크롤 속도를 정의 하는 경우 일정 시간 이후 해당 자막이 사라지도록 정의할 수도 있다. In the illustrated embodiment, both the start time and the end time of the subtitle are displayed. However, when the scroll speed is defined, the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time. However, when defining the scroll speed according to an embodiment of the present invention may be defined so that the subtitle disappears after a certain time.
도 10은 본 발명의 다른 실시예에 따른 EBU-TT-D에서 smooth 스크롤을 구현하는 경우의 XML 자막을 나타낸다. 방송 송신 장치는 XML 자막에 포함된 <tt:head>의 <tt:styling> 내에<tt:metadata>를 이용하여 자막 스크롤에 대한 정보를 정의할 수 있다. 즉 스크롤관련 속성들을 styling에 정의함으로써 영역전체에 동일한 요소가 적용될 수 있다. FIG. 10 illustrates XML captions when smooth scrolling is implemented in an EBU-TT-D according to another embodiment of the present invention. The broadcast transmission device may define information on subtitle scrolling using <tt: metadata> in <tt: styling> of <tt: head> included in an XML subtitle. In other words, the same elements can be applied to the whole area by defining scroll-related properties in styling.
XML 자막은 헤드와 바디로 구성될 수 있으며 헤드에서는 스타일링을 정의할 수 있다. 스타일링은 해당 스타일의 식별자, 자막 색상 및 배경 색상을 정의할 수 있으며 자막이 디스플레이되는 방향이나 정렬 기준 방향에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 XML 자막 정보에서 스타일의 식별자는 BaseStyle이고, 자막 색상은 red, 배경 색상은 yellow로 설정될 수 있다. 또한 XML 자막 정보에서 자막이 디스플레이되는 방향은 ltr(left to right)로 설정될 수 있으며, 텍스트 정렬은 left를 기준으로 정렬될 수 있다. 또한 스타일링은 자막 스크롤 특성에 대한 메타 데이터를 포함할 수 있으며, 스크롤 방향, 스크롤 타입 및 스크롤 스피드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 스크롤 방향은 아래에서 위로(Bottom2Top), 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 3으로 정의될 수 있다.XML subtitles can consist of a head and a body, where the head can define styling. The styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left. In addition, the styling may include metadata about subtitle scrolling characteristics and may include information about scroll direction, scroll type, and scroll speed. That is, as shown, the scroll direction may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed is defined as 3.
또한 헤드에서는 레이아웃을 정의할 수 있다. 레이아웃은 region을 포함할 수 있으며 region 식별자, 자막 쓰기 모드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 region 식별자는 region1으로 정의되고, 자막 쓰기 모드는 left to right, top to bottom (lrtb)로 정의될 수 있다.You can also define the layout at the head. The layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
바디는 해당 division에서 사용할 스타일 및 region을 선택할 수 있으며, 도시된 바와 같이 헤드에서 정의한 BaseStyle을 선택하고, region1을 선택할 수 있다. 또한 바디는 자막 텍스트 정보를 포함할 수 있으며, 각 자막 텍스트의 디스플레이 시작 시간 및 종료 시간을 정의할 수 있다. 이를 통해 각 자막 텍스트는 정의된 시작 시간부터 종료 시간까지 지정된 영역인 region1에 BaseStyle을 이용하여 디스플레이될 수 있다. 여기서, 자막 텍스트는 <tt:styling> 내의<tt: metadata>에서 정의된 자막 스크롤에 대한 정보에 따라 스크롤 될 수 있다.The body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown. In addition, the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time. Here, the subtitle text may be scrolled according to the information on the subtitle scroll defined in <tt: metadata> in <tt: styling>.
도시된 실시예에서는 자막에 대해 시작 시간 및 종료 시간을 모두 표시하였는데, 스크롤 스피드가 정의되는 경우 종료 시간 없이 자막을 정의할 수도 있다. 종료 시간이 없는 경우, 해당 region이 정의되어 있고 시간의 흐름에 대해 동일 위치에 다른 자막이 정의되지 않으면 현재 시점 이전의 마지막 자막이 화면에 계속 남아있을 수 있다. 하지만, 본 발명의 일 실시예에 따른 스크롤 속도를 정의 하는 경우 일정 시간 이후 해당 자막이 사라지도록 정의할 수도 있다. In the illustrated embodiment, both the start time and the end time of the subtitle are displayed. However, when the scroll speed is defined, the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time. However, when defining the scroll speed according to an embodiment of the present invention may be defined so that the subtitle disappears after a certain time.
도 11은 본 발명의 다른 실시예에 따른 자막 스크롤 엘리먼트에 대한 정의를 나타낸다. 전술한 실시예와 달리 본 실시예에서는 자막 스크롤에 대한 속성(attribute)을 각각 정의하는 것이 아니라 (a)에 도시된 바와 같이, <ebutts:Scroll>이라는 엘리먼트를 정의하여 스크롤 특성에 대한 정보를 포함하게 할 수 있다. 즉, 해당 엘리먼트를 정의한 후, (b)에 도시된 바와 같이 해당 엘리먼트 내에 스크롤 특성을 정의하는 방향, 속도, 타입 속성을 동시에 정의할 수 있다. 즉, 스크롤과 연관된 기능을 <ebutts:Scroll> 내에서 동시에 정의할 수 있다. 11 shows a definition for a caption scroll element according to another embodiment of the present invention. Unlike the above-described embodiment, the present embodiment does not define an attribute for subtitle scrolling, but includes information on scroll characteristics by defining an element called <ebutts: Scroll>, as shown in (a). It can be done. That is, after defining the element, as shown in (b), it is possible to simultaneously define the direction, speed, and type attributes for defining scroll characteristics in the element. In other words, the functions associated with scrolling can be defined simultaneously within <ebutts: Scroll>.
또는 (c)에 도시된 바와 같이 <ebutts:Scroll> 엘리먼트를 스크롤 속성(scroll attribute) 의 컨테이너(container)로써 정의할 수도 있다. 즉, 스크롤 특성을 정의하는 방향, 속도 및 타입뿐만 아니라 도시된 바와 같이 식별자(ID)를 정의할 수 있다. 이렇게 정의된 식별자를 통해, 헤드에 정의된 자막 스크롤 기능을 바디에서 ID로 호출할 수 있다. 또한 ID 호출을 이용하여 특정 시간 혹은 문장에만 스크롤 기능을 적용할 수 있다. Alternatively, as shown in (c), the <ebutts: Scroll> element may be defined as a container of scroll attributes. That is, the identifier ID may be defined as shown, as well as the direction, speed, and type defining the scroll characteristics. With this defined identifier, the caption scrolling function defined in the head can be called from the body to the ID. You can also apply scrolling to a specific time or sentence using an ID call.
도 12는 본 발명의 일 실시예에 따른 식별자를 이용하여 스크롤 기능을 호출하는 XML 자막을 나타낸다. 방송 송신 장치는 XML 자막에 포함된 <tt:head>내에 스크롤 특성 및 식별자를 포함하는 <ebutts:Scroll> 엘리먼트를 정의할 수 있다. 바디는 식별자를 이용하여 스크롤 기능을 호출하고 해당 스크롤 특성을 각 자막 텍스트 또는 division에 적용할 수 있다. 12 illustrates XML captions for calling a scroll function by using an identifier according to an embodiment of the present invention. The broadcast transmission device may define an <ebutts: Scroll> element including a scroll feature and an identifier in <tt: head> included in an XML caption. The body can use the identifier to invoke the scrolling function and apply that scrolling characteristic to each subtitle text or division.
XML 자막은 헤드와 바디로 구성될 수 있으며 헤드에서는 스타일링을 정의할 수 있다. 스타일링은 해당 스타일의 식별자, 자막 색상 및 배경 색상을 정의할 수 있으며 자막이 디스플레이되는 방향이나 정렬 기준 방향에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 XML 자막 정보에서 스타일의 식별자는 BaseStyle이고, 자막 색상은 red, 배경 색상은 yellow로 설정될 수 있다. 또한 XML 자막 정보에서 자막이 디스플레이되는 방향은 ltr(left to right)로 설정될 수 있으며, 텍스트 정렬은 left를 기준으로 정렬될 수 있다. XML subtitles can consist of a head and a body, where the head can define styling. The styling may define an identifier, a caption color, and a background color of the corresponding style, and may include information about the direction in which the caption is displayed or the alignment reference direction. That is, as shown, the identifier of the style in the XML caption information may be set to BaseStyle, the caption color is red, and the background color is yellow. Also, the direction in which subtitles are displayed in the XML subtitle information may be set to left to right (ltr), and the text alignment may be aligned based on left.
또한 헤드에서는 레이아웃을 정의할 수 있다. 레이아웃은 region을 포함할 수 있으며 region 식별자, 자막 쓰기 모드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 region 식별자는 region1으로 정의되고, 자막 쓰기 모드는 left to right, top to bottom (lrtb)로 정의될 수 있다.You can also define the layout at the head. The layout may include a region and may include information about a region identifier and a subtitle writing mode. That is, as shown, the region identifier may be defined as region1, and the subtitle writing mode may be defined as left to right and top to bottom (lrtb).
또한 헤드에서는 <ebutts:Scroll> 엘리먼트를 정의할 수 있다. <ebutts:Scroll>는 식별자 및 자막 스크롤 속성을 포함할 수 있으며, 스크롤 방향, 스크롤 타입 및 스크롤 스피드에 대한 정보를 포함할 수 있다. 즉, 도시된 바와 같이 식별자 scroll1에 대해 스크롤 방향은 아래에서 위로(Bottom2Top), 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 3으로 정의될 수 있다. 또한 도시된 바와 같이 식별자 scroll2에 대해 스크롤 방향은 아래에서 위로(Bottom2Top), 스크롤 타입은 line 1으로 정의되고, 스크롤 스피드는 6으로 정의될 수 있다.You can also define the <ebutts: Scroll> element in the head. <ebutts: Scroll> may include an identifier and subtitle scrolling attributes, and may include information about a scroll direction, a scroll type, and a scroll speed. That is, as shown, the scroll direction for the identifier scroll1 may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed may be defined as 3. In addition, as shown, the scroll direction for the identifier scroll2 may be defined as Bottom2Top, the scroll type is defined as line 1, and the scroll speed may be defined as 6.
바디는 해당 division에서 사용할 스타일 및 region을 선택할 수 있으며, 도시된 바와 같이 헤드에서 정의한 BaseStyle을 선택하고, region1을 선택할 수 있다. 또한 바디는 division 내에서 스크롤 식별자를 정의할 수 있으며, 해당 스크롤 식별자와 함께 정의된 스크롤 특성이 division 내에 포함된 자막 텍스트에 공통적으로 적용될 수 있다. 즉, 도시된 바와 같이 division에서 scroll1을 선택한 경우, 해당 division에 포함된 자막 텍스트들은 scroll1에 의해 식별되는 스크롤 방향인 아래에서 위로(Bottom2Top), 스크롤 타입인 line 1, 스크롤 스피드인 3이 적용되어 스크롤 될 수 있다. The body can select the style and region to use in the division, select the BaseStyle defined by the head, and select region1 as shown. In addition, the body may define a scroll identifier within division, and a scroll characteristic defined together with the scroll identifier may be commonly applied to subtitle text included in division. That is, when scroll1 is selected in division as shown in the drawing, the subtitle texts included in the division are scrolled by applying bottom 2Top, scroll type line 1, and scroll speed 3, which are the scroll directions identified by scroll1. Can be.
또한 바디는 자막 텍스트 정보를 포함할 수 있으며, 각 자막 텍스트의 디스플레이 시작 시간 및 종료 시간을 정의할 수 있다. 이를 통해 각 자막 텍스트는 정의된 시작 시간부터 종료 시간까지 지정된 영역인 region1에 BaseStyle을 이용하여 디스플레이될 수 있다. 여기서, 자막 텍스트는 <tt:div>에서 호출한 자막 스크롤에 대한 정보에 따라 스크롤 될 수 있다.In addition, the body may include subtitle text information and may define a display start time and an end time of each subtitle text. Through this, each subtitle text can be displayed using BaseStyle in region1, which is a designated region from a defined start time to an end time. Here, the subtitle text may be scrolled according to the information on the subtitle scrolling called by <tt: div>.
이와 달리, <tt:div> 내의 <tt:p> 내부에서 별도의 스크롤 식별자를 선택하는 경우 해당 paragraph에 포함된 텍스트는 별도의 스크롤 식별자에 의해 식별되는 스크롤 특성이 적용될 수 있다. 도시된 바와 같이 <tt:p begin= "00:00:24" end="00:00:32“ scroll = “scroll2” > Be the good girl you always have to be </tt:p>에 의해 scroll2가 호출될 수 있다. 이 경우, 텍스트 “Be the good girl you always have to be”는 scroll2에 의해 식별되는 스크롤 특성에 의해 스크롤 될 수 있다. 즉, 해당 텍스트는 scroll2에 의해 식별되는 스크롤 방향인 아래에서 위로(Bottom2Top), 스크롤 타입인 line 1, 스크롤 스피드인 6이 적용되어 스크롤 될 수 있다. On the contrary, when a separate scroll identifier is selected in the <tt: p> in the <tt: div>, the text included in the paragraph may have a scroll characteristic identified by the separate scroll identifier. As shown, <tt: p begin = "00:00:24" end = "00:00:32“ scroll = “scroll2”> Be the good girl you always have to be </ tt: p> In this case, the text “Be the good girl you always have to be” can be scrolled by the scrolling property identified by scroll2, that is, the text is below the scroll direction identified by scroll2. At bottom (Bottom2Top), scroll type line 1 and scroll speed 6 are applied to scroll.
도시된 실시예에서는 자막에 대해 시작 시간 및 종료 시간을 모두 표시하였는데, 스크롤 스피드가 정의되는 경우 종료 시간 없이 자막을 정의할 수도 있다. 종료 시간이 없는 경우, 해당 region이 정의되어 있고 시간의 흐름에 대해 동일 위치에 다른 자막이 정의되지 않으면 현재 시점 이전의 마지막 자막이 화면에 계속 남아있을 수 있다. 하지만, 본 발명의 일 실시예에 따른 스크롤 속도를 정의 하는 경우 일정 시간 이후 해당 자막이 사라지도록 정의할 수도 있다. In the illustrated embodiment, both the start time and the end time of the subtitle are displayed. However, when the scroll speed is defined, the subtitle may be defined without the end time. If there is no end time, the last subtitle before the current point in time may remain on the screen if the region is defined and no other subtitles are defined at the same location over time. However, when defining the scroll speed according to an embodiment of the present invention may be defined so that the subtitle disappears after a certain time.
도 13은 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다. 본 발명에 따른 방송 송신기(1701)은 인코더(1702), 다중화부(1703) 및/또는 송신부(1704)를 포함할 수 있다. 13 is a block diagram illustrating a broadcast transmitter according to an embodiment of the present invention. The broadcast transmitter 1701 according to the present invention may include an encoder 1702, a multiplexer 1703, and / or a transmitter 1704.
방송 송신기(1701)에 입력되는 비디오 데이터의 해상도는 UHD, HD 또는 SD가 될 수 있다. 또한 방송 송신기(1701)에 입력되는 자막 정보는 XML로 작성될 수 있다. 방송 송신기(1701)에 입력된 비디오 데이터는 인코더(1702)에 의해 인코딩될 수 있다. 전송단은 비디오 데이터에 대한 인코딩 방식으로써 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 전송단은 인코딩된 비디오 데이터와 XML 자막을 동기화하고 다중화부(1703)를 이용하여 다중화할 수 있다. 여기서 XML 자막은 전술한 바와 같이 자막에 대한 스크롤 특성 정보를 포함할 수 있으며, 자막 스크롤의 방향, 속도, 타입 또는 식별자 중 적어도 하나를 포함할 수 있다.The resolution of video data input to the broadcast transmitter 1701 may be UHD, HD, or SD. In addition, the caption information input to the broadcast transmitter 1701 may be written in XML. Video data input to the broadcast transmitter 1701 may be encoded by the encoder 1702. The transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data. The transmitting end may synchronize the encoded video data and the XML subtitle and multiplex using the multiplexer 1703. As described above, the XML caption may include scroll characteristic information on the caption, and may include at least one of a direction, a speed, a type, or an identifier of the caption scroll.
송신부(1704)는 다중화부(1703)로부터 출력된 트랜스포트 스트림을 방송 신호로써 전송할 수 있다. 여기서, 트랜스포트 스트림은 전송 전에 채널 코딩 및 변조된 후 방송 신호로써 전송될 수 있다. The transmitter 1704 may transmit the transport stream output from the multiplexer 1703 as a broadcast signal. Here, the transport stream may be transmitted as a broadcast signal after being channel coded and modulated before transmission.
도 14는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다. 본 발명에 따른 방송 수신기(1801)은 수신부(1802), 역다중화부(1803) 및/또는 디코더(1804)를 포함할 수 있다. 14 is a block diagram illustrating a broadcast receiver according to an embodiment of the present invention. The broadcast receiver 1801 according to the present invention may include a receiver 1802, a demultiplexer 1803, and / or a decoder 1804.
수신부(1802)에 의해 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. 채널 디코딩된 방송 신호는 역다중화부(103)에 입력되어 비디오 스트림 및 자막 스트림으로역다중화될 수 있다. 역다중화부의 출력은 디코더(1804)에 입력될 수 있다. 디코더는 비디오 디코더 및 XML 파서를 포함할 수 있다. 즉 비디오 스트림은 비디오 디코더에 의해, 자막 스트림은 자막 디코더에 의해 디코딩되거나 또는 XML 파서에 의해 파싱되어 각각 비디오 데이터 및 자막 데이터로 출력될 수 있다. The broadcast signal received by the receiver 1802 may be demodulated and then channel decoded. The channel decoded broadcast signal may be input to the demultiplexer 103 and demultiplexed into a video stream and a subtitle stream. The output of the demultiplexer may be input to the decoder 1804. The decoder may include a video decoder and an XML parser. That is, the video stream may be decoded by the video decoder, the subtitle stream by the subtitle decoder, or parsed by an XML parser and output as video data and subtitle data, respectively.
자막 데이터는 자막 스크롤에 대한 정보를 이용하여 스크롤될 수 있다. 전술한 바와 같이 XML 기반 자막 데이터에 포함된 자막 스크롤 정보는 스크롤 방향, 속도, 타입 또는 식별자 중 적어도 하나의 정보를 포함할 수 있다. 디코더는 이러한 자막 스크롤 정보에 기초하여 자막을 생성하고 스크롤할 수 있다. 비디오 및 자막은 동기화되어 수신기에 의해 디스플레이될 수 있다. Subtitle data can be scrolled using information about subtitle scrolling. As described above, the caption scroll information included in the XML-based caption data may include at least one of scroll direction, speed, type, or identifier. The decoder may generate and scroll subtitles based on such subtitle scrolling information. Video and subtitles can be synchronized and displayed by the receiver.
도 15는 본 발명의 일 실시예에 따른 방송 수신기의 상세 구성을 나타낸 도면이다. 방송 수신기는 수신부(1901), 복조부(1902), 역다중화부(1903), 비디오 디코더(1904), XML 자막 디코더(1905), 오디오 비디오 자막 동기화부(A/V/S sync, 1906), 시스템 정보 처리부(SI processor, 1907), 그래픽 엔진(1908) 및/또는 디스플레이 처리부(1909)를 포함할 수 있다. 15 is a diagram illustrating a detailed configuration of a broadcast receiver according to an embodiment of the present invention. The broadcast receiver includes a receiver 1901, a demodulator 1902, a demultiplexer 1803, a video decoder 1904, an XML subtitle decoder 1905, an audio / video subtitle synchronizer (A / V / S sync, 1906), It may include a system information processor (SI processor) 1907, a graphics engine 1908, and / or a display processor 1909.
수신부(1901)는 송신기에 의해 송신된 방송 신호를 수신할 수 있다. 수신된 방송 신호는 복조부(1902)에 입력될 수 있다. The receiver 1901 may receive a broadcast signal transmitted by a transmitter. The received broadcast signal may be input to the demodulator 1902.
복조부(1902)는 방송 신호를 복조하여 TS (transport stream)를 출력할 수 있다. TS는 역다중화부(1903)에 입력되어 역다중화될 수 있다. 역다중화된 TS는 HEVC bitstream, XML subtitle, SI(system information)을 포함할 수 있다. 여기서 XML subtitle은 메타 데이터를 포함할 수 있다. The demodulator 1902 can demodulate a broadcast signal and output a transport stream (TS). The TS may be input to the demultiplexing unit 1903 and demultiplexed. The demultiplexed TS may include a HEVC bitstream, an XML subtitle, and system information (SI). In this case, the XML subtitle may include metadata.
비디오 디코더(1904)는 HEVC bitstream을 입력받아디코딩하고 video frame을 출력할 수 있다. The video decoder 1904 may receive an HEVC bitstream, decode it, and output a video frame.
XML 자막 디코더(1905)는 XML subtitle을 입력 받아 자막을 추출할 수 있다. XML 자막 디코더(1905)는 XML subtitle에 포함된 자막 스크롤에 대한 메타 데이터를 파싱하고자막 스크롤 기능을 수행할 수 있다. 여기서 자막 스크롤에 대한 메타 데이터는 자막의 스크롤 방향, 속도, 타입 또는 식별자 중 적어도 하나를 포함할 수 있다. 자막 스크롤에 대한 메타 데이터는 XML 자막 내에서의 위치에 따라 특정 region, division 또는 paragraph에 대해 자막 스크롤 특성을 적용할 수 있다. 또한 자막 스크롤에 대한 메타 데이터는 헤더에서 정의되어 자막 전체에 자막 스크롤 특성을 적용할 수도 있다. XML 자막 디코더는 이러한 메타 데이터를 그래픽 엔진으로 자막과 함께 전달할 수 있다. The XML subtitle decoder 1905 may receive an XML subtitle and extract a subtitle. The XML subtitle decoder 1905 may perform a scroll function for parsing metadata about the subtitle scroll included in the XML subtitle. Here, the metadata about the subtitle scroll may include at least one of a scroll direction, a speed, a type, or an identifier of the subtitle scroll. Metadata for subtitle scrolling can apply subtitle scrolling characteristics to specific regions, divisions, or paragraphs, depending on their position within the XML subtitle. In addition, the metadata for subtitle scrolling may be defined in a header to apply a subtitle scrolling characteristic to the entire subtitle. The XML subtitle decoder can pass this metadata along with the subtitles to the graphics engine.
시스템 정보 처리부(1907)는 역다중화부로부터 출력된 SI(system information) 정보를 수신하여 OSD 정보를 추출할 수 있다.The system information processor 1907 may extract the OSD information by receiving the system information (SI) information output from the demultiplexer.
그래픽 엔진(1908)은 XML 자막 디코더(1905)로부터 자막 및 자막의 메타 데이터를 수신하여 자막 영상을 출력할 수 있다. 자막 영상은 자막 및 자막의 메타 데이터에 기초하여 생성되며, 자막의 메타 데이터에 포함된 스크롤 특성에 따라 디스플레이된 자막에 대한 스크롤 방향, 속도 또는 타입 중 적어도 하나가 달라질 수 있다.The graphics engine 1908 may receive captions and caption metadata from the XML caption decoder 1905 and output caption images. The caption image is generated based on the caption and the metadata of the caption, and at least one of a scroll direction, a speed, or a type of the displayed caption may vary according to scroll characteristics included in the caption metadata.
디스플레이 처리부(1909)은 비디오 프레임 및 자막을 수신하여 디스플레이 프레임을 출력할 수 있다. 디스플레이 처리부(1909)은 비디오 프레임 및 자막에 추가적으로 OSD(On Screen Display)정보를 수신하여 디스플레이 프레임을 출력할 수도 있다. 출력된 디스플레이 프레임은 영상 출력 장치에 의해 디스플레이될 수 있으며, 본 발명에서 설명한 XML 자막과 비디오 프레임이 함께 디스플레이될 수 있다. The display processor 1909 may receive the video frame and the subtitle and output the display frame. The display processor 1909 may receive OSD (On Screen Display) information in addition to the video frame and the subtitle to output the display frame. The output display frame may be displayed by the image output device, and the XML caption and video frame described in the present invention may be displayed together.
도 16은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다. XML 자막을 포함하는 방송 신호를 전송하는 방법은 비디오 스트림을인코딩하여 비디오 데이터를 생성하는 단계(S2210), 생성된 비디오 데이터 및 자막 정보를 포함하는 방송신호를 생성하는 단계(S2220) 및 생성된 방송신호를 전송하는 단계(S2230)를 포함할 수 있다. 16 illustrates a method of transmitting a broadcast signal including XML subtitles according to an embodiment of the present invention. The method for transmitting a broadcast signal including the XML caption includes generating a video data by encoding a video stream (S2210), generating a broadcast signal including the generated video data and the caption information (S2220), and generating the broadcast. It may include the step of transmitting a signal (S2230).
비디오 스트림을인코딩하여 비디오 데이터를 생성하는 단계(S2210)는 UHD, HD 또는 SD의 해상도를 갖는 비디오 스트림을 입력 받고, 비디오 스트림을인코딩하여 비디오 데이터를 생성할 수 있다. 여기서, 비디오 스트림은 HEVC(High Efficiency Video Coding)에 의해 인코딩될 수 있다. 이와 함께 XML 자막 데이터를 생성할 수 있다. 전술한 바와 같이, XML 자막 데이터는 메타 데이터를 포함할 수 있으며 메타 데이터는 자막의 스크롤 특성에 대한 데이터를 포함할 수 있다. 즉, 메타 데이터는 스크롤 방향, 스크롤 속도, 스크롤 타입 또는 스크롤 정보 식별자 중 적어도 하나를 포함할 수 있다. Generating video data by encoding the video stream (S2210) may receive a video stream having a resolution of UHD, HD, or SD, and encode the video stream to generate video data. Here, the video stream may be encoded by High Efficiency Video Coding (HEVC). In addition, XML caption data can be generated. As described above, the XML caption data may include metadata and the metadata may include data about scrolling characteristics of the caption. That is, the metadata may include at least one of a scroll direction, a scroll speed, a scroll type, or a scroll information identifier.
생성된 비디오 데이터 및 자막 데이터를 포함하는 방송신호를 생성하는 단계(S2220)는 방송 신호 프레임을 빌드하고 변조 과정을 이용하여 방송 신호를 생성할 수 있다. Generating a broadcast signal including the generated video data and subtitle data (S2220) may build a broadcast signal frame and generate a broadcast signal using a modulation process.
생성된 방송신호를 전송하는 단계(S2230)는 트랜스포트 스트림을 방송 신호로써 전송할 수 있다. In operation S2230, the generated broadcast signal may be transmitted as a broadcast signal.
도 17은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다. XML 자막을 포함하는 방송 신호를 수신하는 방법은 방송 신호를 수신하는 단계(S2310), 수신된 방송 신호를부터 비디오 데이터 및 자막 데이터로 역다중화하는 단계(S2320) 및 비디오 데이터 및 자막 데이터를 디코딩하는 단계(S2330)를 포함할 수 있다. 17 illustrates a method of receiving a broadcast signal including XML subtitles according to an embodiment of the present invention. A method for receiving a broadcast signal including XML captions includes receiving a broadcast signal (S2310), demultiplexing the received broadcast signal into video data and caption data (S2320), and decoding the video data and caption data. Step S2330 may be included.
방송 신호를 수신하는 단계(S2310)는 수신부를 이용하여 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. In operation S2310, the broadcast signal received using the receiver may be demodulated and then channel decoded.
수신된 방송 신호를 비디오 데이터 및 자막 데이터로 역다중화하는 단계(S2320)는 채널 디코딩된 방송 신호를 역다중화부를 이용하여 비디오 데이터 및 자막 데이터로 역다중화할 수 있다. Demultiplexing the received broadcast signal into video data and caption data (S2320) may demultiplex the channel decoded broadcast signal into video data and caption data using a demultiplexer.
비디오 데이터 및 자막 데이터를 각각 디코딩하는 단계(S2330)는 비디오 디코더를 이용하여 비디오 데이터를 디코딩하고 비디오 데이터를 획득할 수 있다. 이 단계에서 자막 데이터에 대해서는 자막 디코더 또는 XML 파서를 이용하여 자막 데이터를 획득할 수 있다. 수신기는 XML subtitle을 입력 받아 자막을 추출할 수 있다. 수신기는 XML subtitle에 포함된 메타 데이터를 파싱하고자막 스크롤 특성에 대한 정보를 획득할 수 있다. 수신기는 자막에 대한 스크롤 방향, 스크롤 속도, 스크롤 타입 또는 스크롤 정보 식별자를 이용하여 자막에 대한 스크롤 기능을 수행할 수 있다. Decoding the video data and the caption data, respectively (S2330) may decode the video data and obtain the video data using the video decoder. In this step, the caption data may be acquired using a caption decoder or an XML parser. The receiver may extract the caption by receiving the XML subtitle. The receiver may acquire information about scroll characteristics to parse metadata included in the XML subtitle. The receiver may perform a scroll function for the caption using a scroll direction, scroll speed, scroll type, or scroll information identifier for the caption.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.For convenience of description, each drawing is divided and described, but it is also possible to design a new embodiment by merging the embodiments described in each drawing. And, according to the needs of those skilled in the art, it is also within the scope of the present invention to design a computer-readable recording medium having a program recorded thereon for executing the embodiments described above.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. . The processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the above-described specific embodiment, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.In addition, in this specification, both the object invention and the method invention are described, and description of both invention can be supplementally applied as needed.
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.Embodiments for carrying out the invention have been described together in the best mode for carrying out the above invention.
본원 발명은 방송 및 비디오 신호 처리 분야에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다.The present invention has industrial applicability that is usable and repeatable in the field of broadcast and video signal processing.

Claims (15)

  1. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 단계; 및Generating a broadcast signal comprising video data and subtitle data; And
    상기 생성된 방송 신호를 전송하는 단계;를 포함하는 방송 신호 송신 방법. And transmitting the generated broadcast signal.
  2. 제 1 항에 있어서, The method of claim 1,
    상기 자막 데이터는 XML 자막 데이터를 포함하는 방송 신호 송신 방법.And the caption data comprises XML caption data.
  3. 제 2 항에 있어서, The method of claim 2,
    상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함하는 방송 신호 송신 방법.The XML caption data includes a caption text and caption metadata.
  4. 제 3 항에 있어서, The method of claim 3, wherein
    상기 자막 메타 데이터는 자막에 대한 스크롤 특성 정보를 포함하는 방송 신호 송신 방법.And the caption metadata includes scroll characteristic information about the caption.
  5. 제 3 항에 있어서, The method of claim 3, wherein
    상기 자막 메타 데이터는 자막 스크롤 방향, 자막 스크롤 속도, 자막 스크롤 타입 또는 자막 스크롤 정보 식별자 중 적어도 하나를 포함하는 방송 신호 송신 방법. The caption metadata includes at least one of a caption scroll direction, a caption scroll speed, a caption scroll type, and a caption scroll information identifier.
  6. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 수신하는 단계; 및Receiving a broadcast signal including video data and subtitle data; And
    상기 비디오 데이터 및 자막 데이터를 처리하여 출력하는 단계;를 포함하는 방송 신호 수신 방법. And processing and outputting the video data and the caption data.
  7. 제 6 항에 있어서, The method of claim 6,
    상기 자막 데이터는 XML 자막 데이터를 포함하는 방송 신호 수신 방법.And the caption data comprises XML caption data.
  8. 제 7 항에 있어서, The method of claim 7, wherein
    상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함하는 방송 신호 수신 방법.The XML caption data includes a caption text and caption metadata.
  9. 제 8 항에 있어서, The method of claim 8,
    상기 자막 메타 데이터는 자막에 대한 스크롤 특성 정보를 포함하는 방송 신호 수신 방법.And the caption metadata includes scroll characteristic information on the caption.
  10. 제 8 항에 있어서, The method of claim 8,
    상기 자막 메타 데이터는 자막 스크롤 방향, 자막 스크롤 속도, 자막 스크롤 타입 또는 자막 스크롤 정보 식별자 중 적어도 하나를 포함하는 방송 신호 수신 방법. The caption metadata includes at least one of a caption scroll direction, a caption scroll speed, a caption scroll type, and a caption scroll information identifier.
  11. 제 8 항에 있어서, The method of claim 8,
    수신기 디스플레이 속성 및 상기 자막 메타 데이터 사이의 매칭 여부를 디텍트하는 단계를 더 포함하는 방송 신호 수신 방법. And detecting whether there is a match between a receiver display attribute and the caption metadata.
  12. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 인코더; 및An encoder for generating a broadcast signal comprising video data and subtitle data; And
    상기 생성된 방송 신호를 전송하는 송신부;를 포함하는 방송 신호 송신 장치. And a transmitter for transmitting the generated broadcast signal.
  13. 제 12 항에 있어서, The method of claim 12,
    상기 자막 데이터는 자막에 대한 스크롤 특성 정보를 포함하는 방송 신호 송신 장치.And the caption data includes scroll characteristic information on the caption.
  14. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 수신하는 수신부; 및A receiver configured to receive a broadcast signal including video data and subtitle data; And
    상기 비디오 데이터 및 상기 자막 데이터를 디코딩하는디코더;를 포함하는 방송 신호 수신 장치. And a decoder which decodes the video data and the subtitle data.
  15. 제 14 항에 있어서, The method of claim 14,
    상기 자막 데이터는 자막에 대한 스크롤 특성 정보를 포함하는 방송 신호 수신 장치.And the caption data includes scroll characteristic information on the caption.
PCT/KR2015/008093 2014-09-04 2015-08-03 Method and device for transmitting/receiving broadcast signal WO2016036012A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462045566P 2014-09-04 2014-09-04
US62/045,566 2014-09-04

Publications (1)

Publication Number Publication Date
WO2016036012A1 true WO2016036012A1 (en) 2016-03-10

Family

ID=55440029

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008093 WO2016036012A1 (en) 2014-09-04 2015-08-03 Method and device for transmitting/receiving broadcast signal

Country Status (1)

Country Link
WO (1) WO2016036012A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095838A2 (en) * 2009-02-17 2010-08-26 삼성전자 주식회사 Graphic image processing method and apparatus
US20100220175A1 (en) * 2009-02-27 2010-09-02 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
US20110019088A1 (en) * 2008-04-17 2011-01-27 Daisuke Kase Digital television signal processor and method of displaying subtitle
US20110242104A1 (en) * 2008-12-01 2011-10-06 Imax Corporation Methods and Systems for Presenting Three-Dimensional Motion Pictures with Content Adaptive Information
WO2011129631A2 (en) * 2010-04-14 2011-10-20 삼성전자 주식회사 Method and apparatus for generating a broadcast bit stream for digital broadcasting with captions, and method and apparatus for receiving a broadcast bit stream for digital broadcasting with captions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110019088A1 (en) * 2008-04-17 2011-01-27 Daisuke Kase Digital television signal processor and method of displaying subtitle
US20110242104A1 (en) * 2008-12-01 2011-10-06 Imax Corporation Methods and Systems for Presenting Three-Dimensional Motion Pictures with Content Adaptive Information
WO2010095838A2 (en) * 2009-02-17 2010-08-26 삼성전자 주식회사 Graphic image processing method and apparatus
US20100220175A1 (en) * 2009-02-27 2010-09-02 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
WO2011129631A2 (en) * 2010-04-14 2011-10-20 삼성전자 주식회사 Method and apparatus for generating a broadcast bit stream for digital broadcasting with captions, and method and apparatus for receiving a broadcast bit stream for digital broadcasting with captions

Similar Documents

Publication Publication Date Title
WO2016006970A1 (en) Method and device for transmitting and receiving broadcast signal
WO2013019042A1 (en) Transmitting apparatus and method and receiving apparatus and method for providing a 3d service through a connection with a reference image transmitted in real time and additional image and content transmitted separately
KR101500440B1 (en) Image processing apparatus and image processing method
TWI568239B (en) Auxiliary data in 3d video broadcast
KR101781887B1 (en) Method and apparatus for transceiving broadcast signal
WO2016017961A1 (en) Method and device for transmitting and receiving broadcast signal
WO2010143820A2 (en) Device and method for providing a three-dimensional pip image
JP6479473B2 (en) Transmission device, transmission method, reception device, reception method, and reception display method
WO2016006971A1 (en) Method and device for transmitting and receiving broadcast signal
JP2008079325A (en) Subtitle transmission system
WO2016129981A1 (en) Method and device for transmitting/receiving media data
US10595099B2 (en) Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
CN108353196B (en) Transmission device, transmission method, reception device, and reception method
JP2017204695A (en) Caption data generation device, content display device and program
WO2017171391A1 (en) Method and apparatus for transmitting and receiving broadcast signals
WO2012070716A1 (en) Method for service compatibility-type transmitting in digital broadcast
US20140327740A1 (en) Transmission apparatus, transmisson method, receiver and receiving method
JP6809450B2 (en) Transmitter, transmitter, receiver and receiver
JP6715910B2 (en) Subtitle data processing system, processing method, and program for television programs simultaneously distributed via the Internet
EP2579604A1 (en) Receiving device and output method
WO2016036012A1 (en) Method and device for transmitting/receiving broadcast signal
WO2017164551A1 (en) Broadcast signal transmission and reception method and device
EP3280147A1 (en) Method and apparatus for transmitting and receiving broadcast signal
WO2017126937A1 (en) Method and apparatus for transmitting and receiving broadcast signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838941

Country of ref document: EP

Kind code of ref document: A1