WO2016076655A1 - 트릭 플레이 서비스에서 비디오와 서브타이틀의 동기화를 위한 방송 신호를 송수신하는 방법 및 장치 - Google Patents

트릭 플레이 서비스에서 비디오와 서브타이틀의 동기화를 위한 방송 신호를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
WO2016076655A1
WO2016076655A1 PCT/KR2015/012202 KR2015012202W WO2016076655A1 WO 2016076655 A1 WO2016076655 A1 WO 2016076655A1 KR 2015012202 W KR2015012202 W KR 2015012202W WO 2016076655 A1 WO2016076655 A1 WO 2016076655A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
packet
video
time information
display time
Prior art date
Application number
PCT/KR2015/012202
Other languages
English (en)
French (fr)
Inventor
황수진
서종열
오세진
오현묵
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2016076655A1 publication Critical patent/WO2016076655A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Definitions

  • the present invention relates to a method and apparatus for transmitting and receiving broadcast signals.
  • Trick play refers to a service that provides random access and double speed functions such as 2x and 4x speeds, which are capable of playing an image at any time.
  • the existing AVC / H.264-based pictures are divided into pictures using the concept of tier according to dependency between pictures.
  • the receiver decodes and displays only pictures having a specific tier value to provide a trick play service.
  • An object of the present invention is to provide a method for displaying XML subtitles in a trick play service.
  • An object of the present invention is to provide a method for synchronizing video and XML subtitles in a trick play service.
  • receiving at least one video packet including video data and at least one subtitle packet including subtitle data wherein the video packet and the subtitle
  • the packet includes display time information indicating a display time of the data included in each packet, and decoding the received video packet and the subtitle packet, the decoded video packet and the subtitle packet using the display time information. Synchronizing the display time of the and displaying the video data included in the synchronized video packet and the subtitle data included in the subtitle packet.
  • the video packet includes hierarchical information of the video packet for a trick play service of the video data, and the decoding of the received video packet using the hierarchical information according to a double speed of a trick play service. Only the corresponding video packet can be decoded.
  • said subtitle packet comprises at least one subtitle section, said subtitle packet indicating a tier number indicating a priority of said subtitle packet for a trick play service and a priority of said subtitle section.
  • At least one of priority information and the decoding comprises: a corresponding subtitle packet among the received subtitle packets or at least one of the tier number and priority information according to the speed of the trick play service; Only subtitle sections to be decoded can be decoded.
  • the synchronizing may include: when the decoded video packet has a video packet having the same display time information as the display time information of the subtitle packet, the subtitle packet is the display time information of the subtitle packet. Synchronizing to be displayed at the same time as a video packet having display time information equal to and if the video packet having display time information identical to the display time information of the subtitle packet is not present in the decoded video packet, the subtitle packet And synchronizing so that the video packet having the display time information closest to the display time information of the subtitle packet is displayed at the same time.
  • the subtitle data included in the subtitle section includes internal time information indicating a display time of the subtitle data included in the subtitle section, and the synchronizing is included in the subtitle section.
  • synchronizing the subtitle section to be displayed at the same time as the video packet having display time information closest to the converted internal time information of the subtitle section. .
  • the subtitle data included in the subtitle packet may include information indicating the display time of the subtitle data for the trick play service according to the speed of the trick play service.
  • An apparatus for receiving broadcast signals includes a receiver for receiving at least one video packet including video data and at least one subtitle packet including subtitle data, wherein the video packet and the sub
  • the title packet includes display time information indicating a display time of data included in each packet, a decoder for decoding the received video packet and subtitle packet, and the decoded video packet and subtitle using the display time information.
  • a display unit for displaying the video data included in the synchronized video packet and the subtitle data included in the subtitle packet.
  • the video packet includes hierarchical information of the video packet for a trick play service of the video data, and the decoder uses the hierarchical information according to a double speed of the trick play service. Only corresponding video packets can be decoded.
  • said subtitle packet comprises at least one subtitle section, said subtitle packet indicating a tier number indicating a priority of said subtitle packet for a trick play service and a priority of said subtitle section. At least one of priority information, and the decoder uses at least one of the tier number and priority information according to the speed of the trick play service, and the corresponding subtitle packet or corresponding subtitle among the received subtitle packets. Only the title section can be decoded.
  • the subtitle packet when there is a video packet having the same display time information as the display time information of the subtitle packet among the decoded video packets, the subtitle packet has the same display time information as the display time information of the subtitle packet.
  • the subtitle packet is displayed in the subtitle packet when there is no video packet having the same display time information as the display time information of the subtitle packet among the decoded video packets.
  • the video packet having the display time information closest to the time information can be synchronized to be displayed at the same time.
  • the subtitle data included in the subtitle section includes internal time information indicating a display time of the subtitle data included in the subtitle section
  • the synchronizer includes an internal time included in the subtitle section. Converts the information into the same format as the display time information, and if there is a video packet in the decoded video packet having the same display time information as the converted internal time information of the subtitle section, the subtitle section becomes the subtitle.
  • the subtitle section may be synchronized to be displayed at the same time as the video packet having the display time information closest to the converted internal time information of the subtitle section.
  • the subtitle data included in the subtitle packet may include information indicating the display time of the subtitle data for the trick play service according to the speed of the trick play service.
  • a method for transmitting broadcast signals including generating at least one video packet including video data and at least one subtitle packet including subtitle data, wherein the video packet and the subtitle are generated.
  • the title packet includes display time information indicating a display time of data included in each packet, and generating a broadcast signal including the generated video packet and the subtitle packet, and transmitting the generated broadcast signal. It may include.
  • An apparatus for transmitting broadcast signals includes a packet generator for generating at least one video packet including video data and at least one subtitle packet including subtitle data, wherein the video packet and The subtitle packet includes a display time information indicating a display time of data included in each packet, and includes a broadcast signal generator for generating a broadcast signal including the generated video packet and the subtitle packet and the generated broadcast signal. It may include a transmission unit for transmitting.
  • FIG. 1 is a view showing a broadcast signal receiving method according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a process of playing an XML-based subtitle during trick play according to an embodiment of the present invention (scenario 1).
  • FIG. 3 is a diagram illustrating a reproduction process of an XML-based subtitle during trick play according to another embodiment of the present invention (scenario 2).
  • FIG. 4 is a diagram illustrating a configuration of an XML-based subtitle packet according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a method of playing a subtitle based on XML during trick play according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a method of signaling a tier number when transmitting an XML-based subtitle without TS muxing according to an embodiment of the present invention (in scenario 1).
  • FIG. 7 is a diagram illustrating a method of signaling a tier number when transmitting an XML-based subtitle without TS muxing according to another embodiment of the present invention (in scenario 2).
  • FIG. 8 is a diagram illustrating a method for signaling a tier number when transmitting and transmitting a subtitle TS based on XML according to an embodiment of the present invention (in case of scenarios 1 and 2).
  • FIG. 9 is a diagram illustrating a method for signaling priority when transmitting and transmitting an XML-based subtitle by TS muxing according to an embodiment of the present invention (in scenario 2).
  • FIG. 10 is a diagram illustrating a configuration of a PVR_assist_information_for_subtitle data field and a configuration of a data_field_tag field according to an embodiment of the present invention (scenario 1).
  • FIG. 11 is a diagram illustrating the configuration of the PVR_assist_information_for_subtitle data field and the configuration of the data_field_tag field according to another embodiment of the present invention (scenario 2).
  • FIG. 12 is a diagram illustrating a configuration of a PVR_assist_information data field according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a configuration of a program map table (PMT), adapatation_field_data_descriptor, and adaptation_field_data_identifier fields according to an embodiment of the present invention.
  • PMT program map table
  • adapatation_field_data_descriptor adapatation_field_data_descriptor
  • adaptation_field_data_identifier fields according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a configuration of a reception device for a trick play service of an XML subtitle according to an embodiment of the present invention.
  • 15 is a diagram illustrating a process of playing a video and an XML-based subtitle according to an embodiment of the present invention.
  • 16 is a diagram illustrating a configuration of an XML-based subtitle packet according to an embodiment of the present invention.
  • FIG. 17 is a diagram illustrating a process of playing a video and XML-based subtitle according to an embodiment of the present invention when a double play trick play service is provided. (Scenario 1)
  • FIG. 18 is a diagram illustrating a process of playing a video and an XML-based subtitle according to another embodiment of the present invention when a trick play service of 2x speed is provided. (Scenario 2)
  • FIG. 19 is a diagram illustrating a process of playing a video and an XML-based subtitle according to another embodiment of the present invention when a double play trick play service is provided. (Scenario 3)
  • 20 is a diagram illustrating internal time information inside a subtitle signaled in the case of scenario 3 according to an embodiment of the present invention.
  • 21 is a diagram illustrating a configuration of a receiver for trick play service of an XML subtitle according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 23 is a view showing a broadcast signal transmission method according to an embodiment of the present invention.
  • 24 is a diagram illustrating a configuration of a broadcast signal transmission apparatus according to an embodiment of the present invention.
  • FIG. 1 is a view showing a broadcast signal receiving method according to an embodiment of the present invention.
  • At least one video packet including video data and at least one subtitle packet including subtitle data are received (SL2210), and the decoding of the received video packet and subtitle packet is performed.
  • Step SL2220 synchronizing the display time of the decoded video packet and the subtitle packet using the display time information (SL2230) and / or included in the video data and the subtitle packet included in the synchronized video packet And displaying the processed subtitle data (SL2240).
  • the video packet and the subtitle packet may include display time information indicating a display time of data included in each packet. Details thereof will be described later with reference to FIGS. 15 and 21.
  • the video packet includes hierarchical information of the video packet for the trick play service of the video data, and the decoding step uses the hierarchical information according to the speed of the trick play service. Therefore, only the corresponding video packet among the received video packets can be decoded. A detailed description thereof will be described later with reference to FIG. 15.
  • the subtitle packet includes at least one subtitle section, wherein the subtitle packet is a tier number indicating the priority of the subtitle packet for a trick play service and the subtitle. And at least one of priority information indicating a priority of a section, wherein the decoding comprises a corresponding one of the received subtitle packets using at least one of the tier number and priority information according to the speed of the trick play service. Only a subtitle packet or a corresponding subtitle section may be decoded. A detailed description thereof will be described later with reference to FIG. 15.
  • the subtitle packet in the synchronizing, if there is a video packet having the same display time information as the display time information of the subtitle packet among the decoded video packets, the subtitle packet is the subtitle. Synchronizing to be displayed at the same time as the video packet having display time information identical to the display time information of the packet and / or during the decoded video packet, a video packet having display time information identical to the display time information of the subtitle packet is If not, the subtitle packet may be synchronized so that the subtitle packet is displayed at the same time as the video packet having the display time information closest to the display time information of the subtitle packet. Detailed description thereof will be described later with reference to FIG. 17.
  • the subtitle data included in the subtitle section includes internal time information indicating a display time of the subtitle data included in the subtitle section
  • the synchronizing includes: Converting the internal time information included in the title section into the same format as the display time information, and if there is a video packet in the decoded video packet having the same display time information as the converted internal time information of the subtitle section, Synchronizing the subtitle section to be displayed at the same time as a video packet having display time information equal to the converted internal time information of the subtitle section and / or during the decoded video packet.
  • synchronizing the subtitle section to be displayed at the same time as the video packet having the display time information closest to the converted internal time information of the subtitle section may include. A detailed description thereof will be described later with reference to FIG. 18.
  • the subtitle data included in the subtitle packet may include information indicating the display time of the subtitle data for the trick play service according to the speed of the trick play service. Detailed description thereof will be described later with reference to FIGS. 19 and 20.
  • FIG. 2 is a diagram illustrating a process of playing an XML-based subtitle during trick play according to an embodiment of the present invention (scenario 1).
  • This figure illustrates a method of playing a subtitle when a video frame is skipped at a trick play speed using a temporal ID of HEVC according to an embodiment of the present invention.
  • the synchronization of the video and the subtitle is performed using a frame number that is decoded or skipped by trick play. It may not be possible to match, and even if it is possible, in trick mode the subtitles are displayed for a short time, and therefore the meanings indicated by the subtitles cannot be conveyed properly.
  • the embodiment of the present invention may synchronize the caption with the video using the PTS.
  • An embodiment of the present invention may signal the priority of the subtitle packet and / or the priority of the section in the subtitle packet in order to properly display the subtitle when providing the Trick play service. Thus, only some packets and / or some sections of a subtitle can be played.
  • the video stream is an HEVC stream, it is illustrated and / or described as an example. However, even when the video stream is a stream encoded with another codec, if it is a service that provides xml subtitles, one of the present invention herein The embodiment can be equally applied.
  • each subtitle packet may include importance information (tier number).
  • tier number the start time and / or end time information for each subtitle packet may be included as xml data, where the start time and / or end time may be maintained as it is.
  • subtitle packets of low importance may be discarded without being decoded and / or displayed.
  • L2010 indicates the type of coded picture and the presentation order in the HEVC video stream.
  • L2020 represents a temporal ID for each picture of the HEVC video steam.
  • a trick play service may be provided using a tier number and / or a temporal ID
  • a trick play service may be provided using a trick play through a tier number.
  • L2020 shows how the XML subtitle packet is displayed aligned with the video stream during normal play.
  • a video stream and a PES packet including a video data and a PES packet including an XML subtitle are transmitted using a PTS.
  • XML subtitles can be synchronized.
  • a method of synchronizing the internal time of an XML-based subtitle and the PTS of a PES packet including video data may be used.
  • the caption packet and the video stream can be synchronized using the TSAP, MPEG TEMI, etc., and the captions in ISOBMFF form.
  • L2030 represents an XML subtitle packet that can be displayed in alignment with a picture decoded during a double speed trick play, a picture skipped, and a video stream.
  • a picture having the highest temporal ID may be skipped and pictures having the remaining temporal ID may be decoded and displayed.
  • the subtitle packet in order to deliver meaningful information to the user, even if the XML subtitle packet is not aligned correctly to all video frames, the subtitle packet (subtitle packet having a low tier number) contains important contents. ) Can only be displayed.
  • a subtitle packet having a high tier number may be discarded without being decoded in a buffer of the receiver according to the speed of Trick Play.
  • the same method as the case where a video frame is discarded without decoding according to the tier number may be used in a specific process of discarding the subtitle packet without decoding according to the tier number.
  • in this figure L2030 during double speed trick play, only the picture having 0 as temporal ID, the picture having 1 as temporal ID and the picture having 2 as temporal ID are decoded and Can be displayed. At this time, according to an embodiment of the present invention, only an XML subtitle having 0 as the tier number and an XML subtitle packet having 1 as the tier number may be displayed.
  • L2040 represents an XML subtitle packet that can be displayed in alignment with a picture to be decoded, a picture to be skipped, and a video stream during 4x Trick play.
  • L2040 only a picture having 0 as the temporal ID and a picture having 1 as the temporal ID can be decoded and displayed during 4x trick play.
  • only the XML subtitle having 0 as the tier number may be displayed.
  • FIG. 3 is a diagram illustrating a reproduction process of an XML-based subtitle during trick play according to another embodiment of the present invention (scenario 2).
  • a subtitle packet composed of several sentences may be included in one subtitle packet.
  • one subtitle sentence may correspond to one section. That is, one embodiment of the present invention may display the non-critical section of the entire subtitles by signaling the priority of several sections in one subtitle packet during trick play (scenario 2).
  • Scenario 2 according to an embodiment of the present invention may be the same as scenario 1 according to the above-described embodiment in that the tier number is used to classify the importance of the subtitle packet. Furthermore, in scenario 2 according to an embodiment of the present invention, when one subtitle packet includes one or more sections, a section in a subtitle packet to be displayed may be selected during a trick play according to the priority of each section. have. That is, scenario 2 according to an embodiment of the present invention may select a subtitle packet and a section in the subtitle packet to be displayed during a trick play using the tier number of the subtitle packet and the priority of the section in the subtitle packet.
  • L3010 indicates the type of coded picture and the presentation order of the HEVC video stream.
  • L3020 represents a temporal ID for each picture of the HEVC video steam.
  • L3020 represents XML subtitle packets displayed aligned with the video stream during normal play.
  • the XML subtitle packet may include one or more sections.
  • the section L3050 indicated in the first XML subtitle packet (XML Sub. 1 outputted at normal play) has priority over other sections in the first XML subtitle packet. Indicates high sections.
  • the section L3060 indicated in the second XML subtitle packet indicates sections having a higher priority than other sections in the second XML subtitle packet.
  • L3030 represents a picture decoded at double speed trick play, a picture skipped, sections in an XML subtitle packet that can be displayed, and sections in an XML subtitle packet that are skipped.
  • a picture having the highest temporal ID may be skipped and pictures having the remaining temporal ID may be decoded and displayed.
  • a section in a subtitle packet having a low priority according to the speed of Trick Play may be discarded without being decoded in the buffer of the receiver.
  • L3030 during double speed trick play, only the picture having 0 as temporal ID, the picture having 1 as temporal ID and the picture having 2 as temporal ID are decoded and Can be displayed.
  • a section L3080 having a higher priority may be decoded and displayed, and sections L3070 and L3090 having a relatively lower priority.
  • a section L3100 having a higher priority among the sections in the second XML subtitle packet may be decoded and displayed, and sections L3110 having a relatively lower priority may be discarded without being decoded.
  • L3040 represents a picture to be decoded at 4x Trick play, a picture to be skipped, sections in an XML subtitle packet that can be displayed, and sections in an XML subtitle packet that are skipped.
  • L3040 only pictures having 0 as the temporal ID and pictures having 1 as the temporal ID can be decoded and displayed during 4x trick play.
  • a section L3130 having a higher priority among the sections in the first XML subtitle packet may be decoded and displayed, and sections L3120 and L3140 having relatively lower priority.
  • L3150 may be discarded without being decoded.
  • a section L3160 having a higher priority may be decoded and displayed, and sections L3170 and L3180 having a relatively lower priority may be discarded without being decoded. have.
  • a subtitle service may be provided in a trick play service by using start time information and end time information, which is a time for displaying a subtitle in xml format regardless of the tier number of the subtitle packet.
  • start time information and end time information which is a time for displaying a subtitle in xml format regardless of the tier number of the subtitle packet.
  • scenarios 1, 2 and / or 3 may be provided independently, but at low speeds such as double speed trick play, they may be serviced as in the scenario 3 method. At high speeds, such as 8x or 16x, service can be performed in the same manner as in scenario 1 and / or 2.
  • FIG. 4 is a diagram illustrating a configuration of an XML-based subtitle packet according to an embodiment of the present invention.
  • one subtitle packet may include one subtitle sentence (L4010, scenario 1).
  • the first subtitle packet includes the subtitle sentence 1
  • the second subtitle packet includes the subtitle sentence 2
  • the third subtitle packet includes the subtitle sentence 3.
  • the fourth subtitle packet may include a caption sentence 4.
  • one subtitle packet may include one or more subtitle sentences. (L4020, Scenario 2) And, one of the sections present in the subtitle packet may include one subtitle sentence.
  • the first section included in the first subtitle packet includes the subtitle sentence 1
  • the second section includes the subtitle sentence 2
  • the third section includes the subtitle sentence 3.
  • the fourth section may include the caption sentence 4.
  • each of the subtitle sentences included in the subtitle packet shown in L4010 may be the same subtitle sentence as the subtitle sentences included in each of the sections in the first subtitle packet shown in L4020.
  • L4010 indicates a configuration form of a subtitle packet corresponding to scenario 1 according to the above embodiment, wherein one subtitle packet may include a subtitle that can be displayed at a time.
  • Scenario 1 according to an embodiment of the present invention may display a caption while skipping by trick-placing, subtitle packet.
  • L4020 indicates a configuration form of a subtitle packet corresponding to scenario 2 according to the above-described embodiment, wherein one subtitle packet may include several sentences (that is, several sections).
  • Scenario 2 according to an embodiment of the present invention may display a subtitle while skipping by a section unit in a subtitle packet. According to the present invention, it is possible to output XML-based subtitles in a way that it is possible to convey the meaning of subtitles during trick play.
  • FIG. 5 is a diagram illustrating a method of playing a subtitle based on XML during trick play according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an exemplary embodiment in which only subtitle packets having 0 as a tier number are displayed (subtitle packets having 1 as a tier number and subtitle packets having 2 are skipped).
  • the tier number of the subtitle packet may match the tier number or temporal ID of the video. That is, in the case of double speed trick play, only the frame having the tier number (or temporal ID) of 0 and the frame having 1 is displayed in the video stream, and the subtitle packet having the tier number of the subtitle of 0 and the subtitle packet having 1 are displayed. You can encode so that the and subtitles sync.
  • L5010 illustrates a method of playing a subtitle corresponding to a video stream during normal play according to an embodiment of the present invention.
  • the 1st subtitle packet has a 0 as the tier number
  • the 2nd subtitle packet has a 2 as the tier number
  • the 3rd subtitle packet has a tier number.
  • Can have 1 as the number.
  • L5020 is a diagram showing a set of frames that can be played when a video frame is skipped one by one and a subtitle packet displayed at this time during a double speed trick play according to an embodiment of the present invention.
  • the receiver checks the tier number of the subtitle packet and discards the subtitle packet (tier number 2) that cannot be displayed in the double speed trick play, and displays only the subtitle packet having the tier numbers 0 and 1. can do.
  • the receiver includes a field indicating whether information such as a scene change and an end of stream is included in a video stream aligned with a corresponding subtitle packet in a video frame related descriptor. You can check and control the displayed time of the subtitle packet.
  • the receiver may select a corresponding subtitle packet (1st subtitle packet) for a section including no scene change according to the original start time and end time information (begin / end time) of the corresponding subtitle packet. All can be displayed.
  • the original start time and end time may indicate a start time and an end time for displaying a subtitle during normal play.
  • the receiver may discard the second subtitle packet having the tier number 2 without displaying the second subtitle packet.
  • the receiver displays the 3rd subtitle packet having the tier number 1, if there is an end of stream event, the receiver will display the 3rd subtitle packet only until the end of the video. Can be.
  • L5030 and L5040 illustrate a method of displaying a subtitle packet when there is a scene change and / or an end of stream event during a 4x trick play according to an embodiment of the present invention.
  • the receiver when there is a scene change and / or an end of stream (marked as a scene change O or an end of stream) when playing a 4x trick trick, the receiver transmits the corresponding subtitle packet only up to the part where the event occurs. Can be displayed.
  • this figure is a diagram depicting scenario 1, which is an embodiment described above, as a target, but the nth subtitle packet shown in this figure may be replaced by an nth section within the subtitle packet.
  • scenario 1 which is an embodiment described above, as a target, but the nth subtitle packet shown in this figure may be replaced by an nth section within the subtitle packet.
  • scenario 2 which is the above-described embodiment.
  • FIG. 6 is a diagram illustrating a method of signaling a tier number when transmitting an XML-based subtitle without TS muxing according to an embodiment of the present invention (in scenario 1).
  • the tier number and the maximum tier number may be included in the head of the XML subtitle as in L6010, and the tier number and the maximum tier number are as in L6020. Can be included in the body of an XML subtitle.
  • the head of the XML subtitle packet may include information indicating that the subtitle packet has zero as the tier number and the maximum tier number is three.
  • the body of the XML subtitle packet may include information indicating that the subtitle packet has a tier number of 0 and a maximum tier number of 3.
  • FIG. 7 is a diagram illustrating a method of signaling a tier number when transmitting an XML-based subtitle without TS muxing according to another embodiment of the present invention (in scenario 2).
  • the tier number and the maximum tier number of the corresponding subtitle packet are included in the head, as in L7010, and each of the sections in the corresponding subtitle packet.
  • the section number and priority of the can be included in the body.
  • the tier number, maximum tier number, section number and priority may be included in the body as in L7020.
  • the tier number and the maximum tier number of the corresponding subtitle packet may be signaled in a separated form.
  • An embodiment of the present invention may define a tt: trickPlay element as a lower element of tt: metadata for a trick play service.
  • the tt: trickPlay element according to an embodiment of the present invention may include an attribute indicating a tier number of a current subtitle packet and / or an attribute indicating a maximum tier number.
  • the head of the XML subtitle packet may include information indicating that the subtitle packet has zero as the tier number and the maximum tier number is three. Furthermore, the body of the XML subtitle packet may signal the section number and priority for four sections present in the subtitle packet. In this figure, we see that the section number 1 has priority 0, the section number 2 has priority 2, the section number 3 has priority 1, and the section number 4 has priority 3 Can be. In this case, one section may represent one sentence subtitle.
  • the body of the XML subtitle packet may signal a tier number, a maximum tier number, a section number, and a priority for four sections existing in the corresponding subtitle packet.
  • the tier number and the maximum tier number may be the same.
  • the section number 1 has priority 0
  • the section number 2 has priority 2
  • the section number 3 has priority 1
  • the section number 4 has priority 3 Can be.
  • one subtitle packet includes a subtitle composed of one or more sentences.
  • one subtitle packet may include one or more sections.
  • One section may represent one sentence of the entire subtitle.
  • FIG. 8 is a diagram illustrating a method for signaling a tier number when transmitting and transmitting a subtitle TS based on XML according to an embodiment of the present invention (in case of scenarios 1 and 2).
  • an XML subtitle packet (XML Sub. ES) is included in a payload of a PES packet, and the PES packet is included in a payload of a TS packet.
  • the tier number and / or the maximum tier number information of the XML subtitle packet may be included in the header of the TS packet.
  • the PES packet may include a payload including an XML subtitle packet and a PES header
  • the TS packet may include a payload including a PES packet and a TS header.
  • the XML subtitle packet may be divided into one or more sections and included in the PES payload.
  • the first subtitle packet XML Sub. ES 1, L8010 may include four sections
  • the second subtitle packet XML Sub. ES 2, L8020 may include six sections. have.
  • FIG. 9 is a diagram illustrating a method for signaling priority when transmitting and transmitting an XML-based subtitle by TS muxing according to an embodiment of the present invention (in scenario 2).
  • the priority of a section in the XML subtitle may be signaled in the XML subtitle.
  • the body of the first XML subtitle packet may signal the section number and priority for four sections present in the corresponding subtitle packet.
  • the section number 1 has priority 0
  • the section number 2 has priority 2
  • the section number 3 has priority 1
  • the section number 4 has priority 3 Can be.
  • one section may represent one sentence subtitle.
  • the body of the second XML subtitle packet may signal the section number and priority for the six sections present in the subtitle packet.
  • a section number 1 has a priority 1
  • a section number 2 has a priority 3
  • a section number 3 has a priority 2
  • a section number 4 has a priority 1
  • a section number 5 It can be seen that the in section has priority 4 and the section number 6 has priority 5.
  • one section may represent one sentence subtitle.
  • the body of the XML subtitle packet may include not only the section number and priority of the corresponding section, but also the total number of sections included in the corresponding XML subtitle packet, the tier number of the corresponding XML subtitle packet, and / Or a maximum tier number.
  • the tier number and / or the maximum tier number information of the XML subtitle packets may be determined by the TS packets.
  • the priority information of each of the sections included in the header and included in the XML subtitle packet may be included in a body part inside the XML subtitle packet.
  • FIG. 10 is a diagram illustrating a configuration of a PVR_assist_information_for_subtitle data field and a configuration of a data_field_tag field according to an embodiment of the present invention (scenario 1).
  • One embodiment of the present invention can provide a signaling method for which section of subtitles are to be displayed for trick play at all speeds.
  • a trick play service may be provided for subtitles using the same method as the tier framework provided for trick play of a video stream in all existing supported speeds.
  • the tier framework refers to a framework that supports trick play at all speeds by including information such as decoding / display / discardable frames in all video frames.
  • An embodiment of the present invention may signal tier_num_of_subtitle information indicating the importance of each subtitle packet with respect to all subtitle packets.
  • a transmitter according to an embodiment of the present invention may assign a tier number to a subtitle packet in order to control the speed of the trick play service and / or to effectively convey the subtitles.
  • the PVR_assist_information_for_subtitle data field may include a data_field_tag field, a data_field_length field, a support_trick_play_flag field, a max_tier_num_of_subtitle field, and / or a tier_num_of_subtitle field.
  • the TS packet may include an adaptation field
  • the adaptation field may include a private_data_bytes field
  • the private_data_bytes field may include one or more data fields. have.
  • the adaptation field may be included in the header of the TS packet.
  • the PVR_assist_information_for_subtitle data field may correspond to one of the above-described types of data fields.
  • the data_field_tag field may identify whether this data field is a PVR_assist_information_for_subtitle data field.
  • data_field_tag of the PVR_assist_information data field for trick play of a video stream may be 0x03
  • data_field_tag of the AU_information data field may be 0x02.
  • the data_field_tag value of the PVR_assist_information_for_subtitle data field may be allocated to 0x05 (L10020).
  • the value of the data_field_tag may reflect the value of the adaptation_field_data_identifier of the adaptation field data descriptor ().
  • the data_field_tag values 0x01, 0x02, and 0x03 may have the same values as b0, b1, and b2 of the adaptation field data identifier of the adaptation field data descriptor included in the ES level descriptor loop of the PMT. Therefore, if the data_field_tag value of the PVR_assist_information_for_subtitle data field according to an embodiment of the present invention is assigned to 0x05, it may be the same as b4 of the adaptation field data identifier.
  • the data_field_length field represents the length of the corresponding data field.
  • the support_trick_play_flag field represents whether a corresponding subtitle packet can be displayed during a trick play. According to an embodiment of the present invention, when this field value is 0, the subtitle packet including subtitles may be discarded during trick play without decoding.
  • the max_tier_num_of_subtitle field represents the tier number of the subtitle packet having the lowest importance. According to an embodiment of the present invention, since this field is additional information that does not need to be signaled for every subtitle packet, it may be signaled for every random access. According to an embodiment of the present invention, the PVR_assist_info_for_subtitle_present_flag field may be newly defined, and the information of the max_tier_num_of_subtitle field may be signaled only when the value of the PVR_assist_info_for_subtitle_present_flag field is 1.
  • the tier_num_of_subtitle field represents a tier number indicating the importance of a corresponding subtitle packet.
  • the tier indicated by this field may be the same as the tier for trick play of the video stream.
  • the tier number when going from the high importance level to the low level, the tier number may be allocated in a form increasing from zero. For example, when requesting a double speed trick play, the receiver discards the subtitle packet having the value indicated by the max_tier_num_of_subtitle field as the tier number, and starts / ends the subtitle packet having the remaining tier number in the subtitle packet in advance. end) can be displayed in time.
  • FIG. 11 is a diagram illustrating the configuration of the PVR_assist_information_for_subtitle data field and the configuration of the data_field_tag field according to another embodiment of the present invention (scenario 2).
  • one tier number is assigned to one subtitle packet, and the subtitle packet is not decoded or decoded using the tier number according to the speed of the trick play. By discarding the subtitle, the subtitle can be provided by the trick play service.
  • scenario 2 when a subtitle of several sentences is displayed over multiple timings in one subtitle packet, subtitles divided into several sections in one subtitle packet are displayed on each timing. You can do that.
  • the PVR_assist_information_for_subtitle data field may include a data_field_tag field, a data_field_length field, a tier_num_of_packet field, a max_tier_num_of_subtitle field, a num_of_sections field, a section_number field, a priority_of_section field, and / or a max_speed_of_section field.
  • the data_field_tag field may be the same as the data_field_tag field of scenario 1 according to the above-described embodiment. Furthermore, according to an embodiment of the present invention, the data_field_tag field value of the PVR_assist_information_for_subtitle data field may be assigned a new value such as 0x06. Details of this field have been described above in the previous figures.
  • the data_field_length field represents the length of the corresponding data field.
  • the tier_num_of_packet field represents a tier number indicating the importance of a corresponding subtitle packet.
  • the tier indicated by this field may be the same as the tier for trick play of the video stream.
  • the tier number when going from the high importance level to the low level, the tier number may be allocated in a form increasing from zero.
  • the max_tier_num_of_subtitle field represents the tier number of the subtitle packet having the lowest importance. That is, this indicates the maximum tier number of the corresponding subtitle packet. According to an embodiment of the present invention, by signaling the maximum tier number, the receiver and / or the user can know the maximum speed of the trick play that can be provided using the tier. According to an embodiment of the present invention, since this field is additional information that does not need to be signaled for every subtitle packet, it may be signaled for every random access.
  • the PVR_assist_info_for_subtitle_present_flag field may be newly defined, and the information of the max_tier_num_of_subtitle field may be signaled only when the value of the PVR_assist_info_for_subtitle_present_flag field is 1.
  • the num_of_sections field represents the number of sections included in the subtitle packet. According to an embodiment of the present invention, one subtitle packet may be divided into several sections, and such sections may be named section.
  • the section_number field represents the number of the corresponding section in the corresponding subtitle packet.
  • one subtitle packet may include one or more sections, and a section_number field value indicating a number of each section may be numbered from 1 to ascending order.
  • the value of this field may have the same value as the section number value signaled in the XML subtitle.
  • the section_number field may be omitted from this data field.
  • the priority_of_section field represents the priority of this section.
  • a subtitle section to be decoded and / or displayed during trick play may be selected using a priority value for each section indicated by this field.
  • the max_speed_of_section field represents the maximum speed of the trick play service that can be provided to the corresponding section in the corresponding subtitle packet. For example, if 2, 4, and 8x speeds are supported for the section, the max_speed_of_section field value is 8x speed.
  • FIG. 12 is a diagram illustrating a configuration of a PVR_assist_information data field according to an embodiment of the present invention.
  • PVR_assist_information data field (L12010) is data_field_tag field, data_field_length field, PVR_assist_tier_pic_num field, PVR_assist_block_trick_mode_present_flag field, PVR_assist_pic_struct_present_flag field, PVR_assist_tier_next_pic_in_tier_present_flag field, PVR_assist_substream_info_present_flag field, PVR_assist_extension_present_flag field, PVR_assist_segmentation_info_present_flag field, PVR_assist_tier_m_cumulative_frames_present_flag field, PVR_assist_tier_n_mmco_present_flag field, PVR_assist_reserved_0 field according to an embodiment of the present invention It may include a PVR_assist_seg_id field, a PVR_assist_
  • the data_field_tag field may represent that the corresponding data field is PVR_assist_information.
  • the data_field_tag field may have 0x03.
  • the data_field_length field may indicate the length of the PVR_assist_information excluding the data_field_tag field and the data_field_length field.
  • the PVR_assist_tier_pic_num field may indicate a tier number of a picture related to PVR_assist_information.
  • the minimum tier number may be zero and the maximum tier number may be seven. Tier number 0 can be reserved for future use.
  • the tier number of the HEVC RAP picture may be 0, and the tier number of all pictures other than the HEVC RAP picture may be a value obtained by adding 1 to the temporal id.
  • this field may indicate the tier number of pictures included in the video stream, and may be called tier number information.
  • the tier number may be used for signaling the temporal sublayer.
  • PVR_assist_tier_pic_num may be named tier number information.
  • the PVR_assist_block_trick_mode_present_flag field may have a value of 1 in a non-RAP picture when the value of this field is 1 in a previous RAP picture.
  • the PVR_assist_pic_struct_present_flag field may have a value of 1 when the video stream is an AVC or HEVC stream and the PVR_assist_pict_struct field is present.
  • the PVR_assist_tier_next_pic_in_tier_present_flag field may have a value of 1 when the PVR_assist_tier_next_pic_in_tier field exists.
  • the PVR_assist_substream_info_present_flag field may have a value of 1 when the PVR_assist_substream_info field exists.
  • the PVR_assist_extension_present_flag field may have a value of 1 in any one of a PVR_assist_segmentation_info_present_flag field, PVR_assist_tier_m_cumulative_frames_present_flag field, PVR_assist_tier_n_mmco_present_flag field, and PVR_assist_temporal_id_info_present_present_flag field.
  • the PVR_assist_segmentation_info_present_flag field may have a value of 1 when the PVR_assist_segmentation_info field exists.
  • This field may be named segmentation info flag information and may indicate whether information on a segment to which a picture belongs is present.
  • the PVR_assist_tier_m_cumulative_frames_present_flag field may have a value of 1 when the PVR_assist_tier_m field and the PVR_assist_tier_m_cumulative_frames field exist. In the case of HEVC, this field may be recommended to have a value of zero.
  • the PVR_assist_tier_n_mmco_present_flag field may have a value of 1 when the PVR_assist_tier_n_mmco field exists. In the case of HEVC, this field may have a value of zero.
  • the PVR_assist_seg_id field may transmit an id of a segment to which a picture belongs. This field may be named segment identifier information and may indicate an id of a segment to which a picture belongs.
  • the PVR_assist_prg_id field may transmit the ID of a program to which a picture belongs. This field may be named program identifier information and may indicate an ID of a program to which a picture belongs.
  • the PVR_assist_seg_start_flag field may have a value of 1 when the picture has a first reproduction order in one segment.
  • This field may be named segment start flag information, and may identify a picture in which a play time order is first in each segment.
  • the PVR_assist_seg_end_flag field may have a value of 1 when the picture has the last reproduction order in one segment. This field may be named segment and flag information, and may identify the picture in which the playback time order is last in each segment.
  • the PVR_assist_prg_start_flag field may have a value of 1 when the picture has the first playback order in one program.
  • This field may be named program start flag information, and may identify a picture in which a playback time order is first in each program.
  • the PVR_assist_prg_stop_flag field may have a value of 1 when the picture has the last playback order in one program. This field may be named program end flag information, and may identify a picture in which each play time sequence is last in each program.
  • the PVR_assist_scene_change_flag field may have a value of 1 when the first picture is in the playback order of a new scene.
  • the meaning of the existing field existing in the above-described PVR_assist_information data field may be corrected for efficient subtitle reproduction, and a new field may be added (L12020).
  • the PVR_assist_segmentation_info_present_flag field value is 1
  • information such as whether a scene change is included in a segment representing a part of a video stream or whether the corresponding segment is the end of a video sequence may be signaled.
  • the display of the subtitles can be stopped to prevent the subtitles not being related to the screen from being played.
  • the PVR_assist_scene_change_flag field may indicate whether a scene change is included in a video corresponding to a current subtitle packet.
  • the PVR_assist_information data field may include a PVR_assist_end_of_sequence_flag field.
  • the PVR_assist_end_of_sequence_flag field represents whether information indicating the end of a video sequence is included in a current subtitle packet. Alternatively, this field may indicate whether a scene change is included in the video stream corresponding to the current subtitle packet.
  • FIG. 13 is a diagram illustrating a configuration of a program map table (PMT), adapatation_field_data_descriptor, and adaptation_field_data_identifier fields according to an embodiment of the present invention.
  • PMT program map table
  • adapatation_field_data_descriptor adapatation_field_data_descriptor
  • adaptation_field_data_identifier fields according to an embodiment of the present invention.
  • the adaptation_field_data_descriptor L13020 may provide a method for indicating the type of data fields located in the private data field in the adaptation field. This descriptor can be included in the stream loop of the PMT.
  • the adaptation_field_data_descriptor L13020 may include a descriptor tag, a descriptor length, and / or an adaptation field data identifier.
  • the descriptor tag may identify this descriptor and may have a value of 0x70 as an identification of adaptation_field_data_descriptor.
  • descriptor length indicates the length of this descriptor.
  • the adaptation_field_data_identifier may identify data fields transmitted by being included in private data bytes of the adaptation field.
  • the adaptation_field_data_identifier can be expressed in 8 bits, and if each bit value is 1, this indicates that the corresponding data field is supported.
  • Adaptation_field_data_identifier (L13030) may be represented by 8 bits, b0 (first bit) may indicate whether the announcement switching data field (TS 101 154 [9]) is present in the adaptation field b1 is the presence of the AU_information data field (TS 101 154 [9]), b2 is the presence of the PVR_assist_information_data_field (TS 101 154 [9]), and b3 is the presence of the tsap_timeline (DVB BlueBook A167-2 [i.10]) Whether or not, b4 indicates whether the PVR_assist_information_for_subtitle data field is present, b5, 6, and 7 may indicate reserved_0 for future use according to an embodiment of the present invention. Detailed description of the PVR_assist_information_for_subtitle data field has been described above.
  • Program map table (L13010) is a table_id field, section_syntax_indicator field, section_length field, program_number field, version_number field, current_next_indicator field, section_number field, last_section_number field, PCR_PID field, program_info_length field, descriptor () , stream_type field, elementary_PID field, ES_info_length field, descriptor () and / or CRC_32 field.
  • the table_id field identifies the type of table.
  • the table_id field may serve to indicate that this table section is a section constituting the PMT.
  • the section_syntax_indicator field represents the format of a table section following this field. If the value of this field is 0, this table section is in short format. If the value of this field is 1, the table section follows the general long format.
  • the section_length field represents the length of this table section. Since the section_length field represents the length from the field to the end of the table section, the actual length of the table section may be 3 bytes plus the value indicated by the sercion_length field.
  • the program_number field identifies each program service or virtual channel existing in the transport stream.
  • the version_number field represents a version number of a private table section. The receiver may find the most recent table section stored in the memory using this field and the current_next_indicator field to be described later.
  • the section_number field indicates which section of the table this section is.
  • the last_section_number field indicates the sequence number of the last section among the sections configuring the table.
  • the PCR_PID field represents a packet ID in which a program clock reference (PCR) for a program service exists.
  • the program_info_length field represents the length of a descriptor indicating a program information (program_info) that follows. descriptor () means a descriptor indicating information on a program corresponding to the corresponding table section.
  • the stream_type field represents the type of each unit stream constituting the program described in this table.
  • the elementary_PID field indicates a packet ID of each unit stream constituting the program described in this table.
  • the ES_info_length field indicates the length of a descriptor indicating information (ES_info) for each unit stream that follows.
  • the descriptor () means a descriptor indicating information about one unit stream among the unit streams constituting the program described in this table.
  • An adaptation field data descriptor according to an embodiment of the present invention may correspond to this descriptor.
  • the CRC_32 field represents a CRC value used to check whether there is an error in data included in the table section.
  • An embodiment of the present invention may signal whether information for efficient subtitle reproduction is included in the adaptation field during trick play by including the adaptation field data descriptor in the ES_info loop of the PMT.
  • FIG. 14 is a diagram illustrating a configuration of a reception device for a trick play service of an XML subtitle according to an embodiment of the present invention.
  • a receiving device is MPEG-2 TS DEMUX (L14010), PSI / SI or PSIP Decoder (L14020), Buffer (L14030), Video decoder (L14040), IP or TS DEMUX (L14050), Buffer (L14060), XML parser (L14070), System Clock (L14080), A / V / Sub. Synchronizer (L14090) and / or display processing unit (L14100).
  • the MPEG-2 TS DEMUX L14010 may receive and demultiplex TS packets including a video stream.
  • the PSI / SI or PSIP Decoder L14020 may receive and decode PSI / SI or PSIP information from the MPEG-2 TS DEMUX L14010.
  • the PSI / SI or PSIP Decoder L14020 may decode the PMT and / or the adaptation_filed_data_descriptor according to an embodiment of the present invention.
  • the buffer L14030 may receive a video stream from the MPEG-2 TS DEMUX L14010. According to an embodiment of the present invention, in trick play, video frames that are not decoded and / or played may be discarded in the buffer L14030 without being delivered to the video decoder.
  • the video decoder L14040 may decode the video frame received from the buffer L14030. According to an embodiment of the present invention, during trick play, only video frames to be decoded and / or played may be selected and decoded by the video decoder L14040.
  • the IP or TS DEMUX L14050 may receive and demultiplex IP and / or TS packets including subtitles.
  • the buffer L14060 may receive a subtitle from IP or TS DEMUX L14050. According to an embodiment of the present invention, during trick play, subtitles that are not decoded and / or played may be discarded in the buffer L14060 without being transferred to the XML parser L14070.
  • the XML parser L14070 may parse the subtitle received from the buffer L14060. According to an embodiment of the present invention, the buffer L14060 and the XML parser L14070 may be operated in one module.
  • the system clock L14080 may receive time information of an IP packet and / or a TS packet.
  • Synchronizer L14090 receives time information such as PTS from Buffer L14030 and / or Buffer L14060, and receives time information from System Clock L14080 to perform audio, video and / or subtitle synchronization. Can be.
  • the synchronization of audio, video, and / or subtitles may use a presentation time extension (EXT_ROUTE_PRESENTATION_TIME) that plays a role similar to the PTS included in the route header extension instead of the PTS.
  • EXT_ROUTE_PRESENTATION_TIME presentation time extension that plays a role similar to the PTS included in the route header extension instead of the PTS.
  • the synchronization of audio, video, and / or subtitles may use a presentation time extension (EXT_ROUTE_PRESENTATION_TIME) that plays a role similar to the PTS included in the route header extension instead of the PTS.
  • EXT_ROUTE_PRESENTATION_TIME presentation time extension
  • the display processing unit L14100 may receive the decoded video data from the video decoder L14040, and receive and display the subtitle from the XML parser L14070.
  • 15 is a diagram illustrating a process of playing a video and an XML-based subtitle according to an embodiment of the present invention.
  • One embodiment of the present invention may provide a method for efficiently synchronizing a video and an XML-based subtitle when trick playing a video.
  • a trick play when providing a trick play service, in the case of video, a trick play may be provided using a temporal ID or a tier number or a sub-stream method.
  • information related to trick play may be included in a PVR_assist_information descriptor in an adaptation field of a TS packet.
  • the receiver can determine whether or not the corresponding video frame is a frame required to provide a trick play service by checking only the TS header of the TS packet. The packet can be discarded without passing it from the buffer to the decoder.
  • a PTS included in a PES packet header is required.
  • the presentation time stamp (PTS) of a discarded frame is unknown.
  • PTS presentation time stamp
  • an embodiment of the present invention uses a PTS of a decoded video frame to decode and / or display a corresponding subtitle when the PTS of the video frame is close to the PTS of a subtitle packet. Synchronization of titles can be performed.
  • the subtitle connected to the video frame when muxing an XML-based subtitle into an MPEG-2 Transport Stream (TS), when a user requests a trick play, the subtitle connected to the video frame is efficiently In order to output the data, the subtitle connected to the video frame can be provided.
  • the XML-based subtitle may be transmitted through a transport packet such as a route.
  • the video may be synchronized with the subtitle using a presentation time extension (EXT_ROUTE_PRESENTATION_TIME) that plays a role similar to the PTS included in the route header extension.
  • EXT_ROUTE_PRESENTATION_TIME presentation time extension
  • An embodiment of the present invention may determine the priority of a subtitle packet by assigning a tier number to each subtitle packet.
  • scenario 1 when a tier number of subtitle packets is signaled, that is, one or two sentences of subtitles to be displayed at a time in one PES packet are displayed. It may be assumed that it is included.
  • a PTS value included in a header of a PES packet including video and a PTS value included in a header of a multiplexed PES packet of an XML-based subtitle are multiplexed. By comparison, video and subtitles can be synchronized.
  • Scenario 2 may assume the case where the priority of each section in the subtitle packet (the priority of the section existing in the subtitle packet) is signaled.
  • a PTS included in a header of a PES packet including a video when providing a trick play service, a PTS included in a header of a PES packet including a video, a PTS included in a header of a multiplexed PES packet and a subtitle XML Internal time information can be used to synchronize video with subtitles.
  • the time information in the XML of the subtitle may represent time information of one or more sections existing in the PES packet in which the subtitle is multiplexed.
  • a subtitle is used regardless of a tier number indicating importance of each subtitle packet and / or priority information indicating priority of each section in the subtitle packet.
  • scenario 3 may ignore tier number and / or priority information.
  • tier number and / or priority information may not exist.
  • the receiver according to an embodiment of the present invention may display an XML-based subtitle having the same PTS value as the PTS of an undecoded and discarded video frame in synchronization with another adjacent video frame during trick play. That is, according to an embodiment of the present invention, when a receiver provides a trick play service, the receiver searches for a video frame suitable for an XML-based subtitle multiplexed into MPEG-2 TS packets and displays the video frame in synchronization with the subtitle. can do.
  • This figure is a diagram for explaining a method of synchronizing a video and a subtitle when a video stream and an XML-based subtitle are configured in the form of a PES packet.
  • This figure is for explaining an embodiment of the present invention may be different from the configuration of the actual video and subtitle.
  • L15010 of this figure shows a structure in which the PTS is included in the header of each PES packet when each frame constituting the video is composed of one PES packet. That is, the PTS may be delivered for each frame.
  • the frame may mean a video frame.
  • the PTS used for trick play may be used for similar purposes as metadata for synchronizing video and subtitle packets. That is, one embodiment of the present invention may be used to synchronize only two streams (eg, a video stream and a subtitle stream), rather than playing the video and / or subtitle using the PTS.
  • the L15020 of this figure shows a structure in which the subtitle is composed of one PES packet, and the PTS is included in the header of each subtitle PES packet (the PES packet including the subtitle).
  • the first subtitle packet (PES packet including XML Sub. ES 1) has a value of 0 as a tier number
  • the second subtitle packet (PES packet including XML Sub. ES 2) is set as a tier number 1.
  • the third subtitle packet (PES packet including XML Sub. ES 3) has a value of 2 as the tier number.
  • the tier number included in the subtitle PES packet may be used for trick play of the subtitle.
  • the subtitle PES packet may have the same meaning as the subtitle packet.
  • the L15030 in this figure shows an elementary stream from which a PES header is removed from a PES packet.
  • the elementary stream may represent a pure XML based subtitle itself.
  • an XML subtitle divided into several sections may be included in an elementary stream (ES) of the subtitle.
  • an internal time for controlling a display time of a subtitle corresponding to each section may exist within each section.
  • the subtitle ES included in the second subtitle packet includes a total of four sections (XML Sub. ES 2 section # 1, XML Sub. ES 2 section # 2, XML Sub. ES 2). section # 3, XML Sub.ES 2 section # 4).
  • the first subtitle section (XML Sub. ES 2 section # 1) has a value of 0 as priority information
  • the second subtitle section (XML Sub. ES 2 section # 2) is a priority information ( has a value of 2 as a priority)
  • a third subtitle section (XML Sub. ES 2 section # 3) has a value of 1 as priority information
  • a fourth subtitle section (XML Sub. ES 2 section # 4).
  • the priority information included in each subtitle section may be used for trick play of the subtitle.
  • 16 is a diagram illustrating a configuration of an XML-based subtitle packet according to an embodiment of the present invention.
  • one subtitle packet may include one subtitle sentence (L16010, scenario 1).
  • the first subtitle packet includes the subtitle sentence 1
  • the second subtitle packet includes the subtitle sentence 2
  • the third subtitle packet includes the subtitle sentence 3.
  • the fourth subtitle packet may include a caption sentence 4.
  • one subtitle packet may include one or more subtitle sentences. (L16020, scenario 2) And, one of the sections present in the subtitle packet may include one subtitle sentence.
  • the first section included in the first subtitle packet includes the subtitle sentence 1
  • the second section includes the subtitle sentence 2
  • the third section includes the subtitle sentence 3.
  • the fourth section may include the caption sentence 4.
  • each of the subtitle sentences included in the subtitle packet shown in L16010 may be the same subtitle sentence as the subtitle sentences included in each of the sections in the first subtitle packet shown in L16020.
  • L16010 indicates a configuration form of a subtitle packet corresponding to scenario 1 according to the above-described embodiment, in which one subtitle packet may include a subtitle that can be displayed at a time.
  • Scenario 1 according to an embodiment of the present invention may display subtitles while skipping in subtitle packet units during trick play.
  • L16020 represents a configuration form of a subtitle packet corresponding to scenario 2 according to the above-described embodiment, wherein one subtitle packet may include several sentences (that is, several sections).
  • Scenario 2 according to an embodiment of the present invention may display a subtitle while skipping by a section unit in a subtitle packet. According to the present invention, it is possible to output XML-based subtitles in a way that it is possible to convey the meaning of subtitles during trick play.
  • FIG. 17 is a diagram illustrating a process of playing a video and an XML-based subtitle according to an embodiment of the present invention when a double play trick play service is provided. (Scenario 1)
  • Scenario 1 may provide a method for synchronizing video with a subtitle when one subtitle packet includes one subtitle sentence and each subtitle packet has a tier number.
  • the first subtitle packet (PES packet including XML Sub. ES 1) has a value of 0 as the tier number
  • the second subtitle packet (XML Sub. ES 2).
  • the PES packet including) has a value of 1 as a tier number
  • the third subtitle packet (PES packet including XML Sub. ES 3) has a value of 2 as a tier number.
  • the subtitle PES packet may have the same meaning as the subtitle packet.
  • only subtitle packets having 0 and 1 as tier numbers may be decoded and reproduced for a double speed trick play service.
  • An embodiment of the present invention may synchronize video and subtitle using a PTS of a PES packet including a video frame to be decoded and a PTS of a PES packet including a subtitle to be decoded.
  • L17010 of this figure shows a structure in which the PTS is included in the header of each PES packet when each frame constituting the video is composed of one PES packet.
  • one box with a frame number corresponds to one PES packet.
  • L17020 of this figure shows a structure in which the subtitle is composed of one PES packet, and the PTS is included in the header of each subtitle PES packet (the PES packet including the subtitle).
  • the PTS of a PES packet including a video frame having a frame number of 1 is PTS1, and its value is 360.
  • XML Sub The PTS of the PES packet including ES 1 is PTS1 and its value is 360. Therefore, since the PTSs of the two PES packets are the same as PTS1, an embodiment of the present invention provides an XML sub. By decoding and displaying ES1, video and subtitles can be synchronized.
  • the method for displaying a subtitle may have several methods to be described below.
  • the first and second methods below are for adjusting the display time of the subtitle packet during trick play at the receiver, and the third method is for signaling the time at which the subtitle is displayed in the encoding stage of the transmitter.
  • an embodiment of the present invention provides XML sub. ES1 to XML sub.
  • the XML sub. ES1 can be displayed.
  • XML sub. XML Sub that must be displayed after the end time of ES 1.
  • the start time of ES 2 is fast (that is, when the display time overlaps with the internal time of XML Sub. ES 1 and XML Sub. ES 2)
  • an embodiment of the present invention provides an XML Sub. Only ES 2 can be displayed.
  • an embodiment of the present invention may display a subtitle packet having a lower tier number.
  • XML Sub when playing a double speed trick as shown in this figure, XML Sub. Internal time contained within ES 1 can be ignored.
  • the subtitle included in the subtitle packet currently being decoded and displayed is XML Sub. ES N, XML Sub. XML Sub, which means the subtitle to be decoded after ES N. Only until immediately before the PTS of the subtitle packet including ES N + 1.
  • the internal time inside the ES N can be ignored. That is, an embodiment of the present invention may display the corresponding subtitle depending only on the PTS value of the PES packet including the subtitle.
  • another embodiment of the present invention may define and signal time information such as begin, end, duration, etc. displayed in a trick play service in a subtitle packet during an encoding step.
  • the subtitle may be displayed using internal time information existing in the signaled subtitle. That is, an embodiment of the present invention may modify the signaling inside the subtitle to include all the internal time related to the display of the subtitle for 2 times, 4 times, 8 times, or more.
  • only video frames marked with X may be decoded and / or displayed. That is, only video frames with frame numbers 1, 3, 5, 7 and 9 can be decoded and / or displayed. At this time, the remaining video frames may be discarded without being decoded.
  • the video frame with the frame number of 4 is discarded without being decoded.
  • the video frame with the same PTS as the PTS (PTS4) of the PES packet including ES 2 cannot be found.
  • the embodiment of the present invention not only finds a video frame having the same PTS as the PTS of the subtitle, but also finds adjacent video frames of the video frame having the same PTS as the PTS of the subtitle,
  • the PTS may be compared with the PTS of the subtitle to synchronize the subtitle with a video frame having a PTS value closer to that of the subtitle.
  • PTS video frame no. 3
  • XML sub. ES 2 ⁇ PTS (video frame no. 5)
  • the XML sub. ES 2 is the XML sub. It may be decoded and / or displayed in synchronization with a video frame having a PTS value that is closer to the PTS of ES 2.
  • the video frame having the same PTS as the PTS of the corresponding subtitle cannot be found, and the PTS value of the adjacent video frames of the video frame having the same PTS as the PTS of the corresponding subtitle and the corresponding subtitle
  • the subtitle may be displayed in synchronization with each other when a video frame having a value larger than the PTS of the subtitle is displayed. Therefore, according to an embodiment of the present invention, the subtitle may be displayed at a different time than the PTS of the PES packet including the subtitle.
  • , the XML sub. ES 2 may be displayed.
  • the XML sub. ES 2 can be displayed.
  • one embodiment of the present invention determines the magnitude relationship between the PTS of the subtitle and the PTS of the video frame as shown in the following equation to synchronize the video frame having a PTS value closer to that of the PTS of the subtitle. Can be displayed.
  • (>, Or ⁇ )
  • L represents the number of the decoded video frame
  • M represents the number of the subtitle elementary stream to be decoded (same as the number of the subtitle packet)
  • N represents the double speed information of the trick play service. That is, during N times trick play, the L + N video frame may be decoded and / or displayed immediately after the L video frame is decoded and / or displayed.
  • the PTS of the video frame with frame number 7 is PTS7 420, and XML sub. Since PTS of ES 3 is PTS7 (420), the video frame with frame number 7 and XML sub. The PTS value of ES 3 is the same. However, according to an embodiment of the present invention, since only the subtitle included in the subtitle packet having 0 and 1 as the tier number is decoded and / or displayed during the double speed trick play, the XML Sub. ES 3 is discarded without being decoded. In this case, one embodiment of the present invention, the time (PTS7) is displayed in the XML Sub. Prior to the end time of ES 2, the XML Sub. ES 2 can be displayed.
  • FIG. 18 is a diagram illustrating a process of playing a video and an XML-based subtitle according to another embodiment of the present invention when a trick play service of 2x speed is provided. (Scenario 2)
  • L18010 of this figure shows a structure in which the PTS is included in the header of each PES packet when each frame constituting the video is composed of one PES packet.
  • only video frames marked with X can be decoded and / or displayed during double speed trick play.
  • L18020 of this figure shows a structure in which the subtitle is composed of one PES packet, and the PTS is included in the header of each subtitle PES packet (the PES packet including the subtitle).
  • the subtitle PES packet may be referred to as a subtitle packet, and when playing a double speed trick, the subtitle packet marked with X may not be decoded and / or displayed.
  • L18030 of this figure shows an elementary stream from which a PES header is removed from a PES packet.
  • the elementary stream may represent a pure XML based subtitle itself.
  • the X-marked subtitle ES may not be decoded and / or displayed.
  • one subtitle packet includes one or more subtitle sentences, each subtitle packet has a tier number, and one section of one or more sections existing in the subtitle packet is included.
  • One section may include a subtitle sentence and each section may provide a method of synchronizing a video and a subtitle when each section has priority information.
  • ES 2 is divided into a total of four sections, each of which has priority levels 0 through 3.
  • One embodiment of the present invention provides a subtitle packet having a zero as a tier number (in the figure, a PES packet including XML Sub.
  • Packets (PES packets comprising XML Sub. ES 2 in the figure) can be decoded and / or displayed, priority section 0 (in the figure, XML Sub. ES 2 section # 1) and priority information Decode and / or display a section with 1 (in the figure, XML Sub. ES 2 section # 3).
  • the remaining subtitle packets and the remaining sections may be discarded without being decoded.
  • the ES N may be divided into several sections, and in trick play, sections having low priority information may be preferentially decoded and / or displayed. At this time, since the sections do not include the PTS, they may be displayed using internal time information existing in the subtitle.
  • the internal time information may be displayed in clock-time format and / or offset-time format.
  • Clock-time according to an embodiment of the present invention is hours: minutes: seconds: frames. It can be displayed in sub-frame form. Here, frame and sub-frame may be optionally included.
  • effectiveFrameRate (in frames per second) frameRate * frameRateMultipler.
  • the time-count may be displayed in a fraction form or a metric form.
  • Offset-time according to an embodiment of the present invention may be displayed in the form of hours, minutes, milliseconds, frames, ticks.
  • the conversion to media time according to an embodiment of the present invention may follow the following equation.
  • referenceBegin referred to in clock-time and offset-time may be determined by a time parallel or sequential to the nearest upper container time. For example, if the closest upper container time has been started or is a root temporal extent, referenceBeginn will be zero, and if there is an earlier time, referenceBegin can follow the earlier time. According to an embodiment of the present invention, the terms described above with respect to clock-time and offset-time may be signaled.
  • the internal time information included in the XML-based subtitle may be different time information from the PTS included in the header of the PES packet.
  • the begin time of the first section of ES 2 is set to XML Sub. It can match PTS of PES packet including ES2.
  • An embodiment of the present invention may convert media time to PTS using the following equation.
  • XML sub. XML Sub. ES 2 converts begin of section # 1 to PTS (XML sub. ES 2), and converts XML sub.
  • PTS (system_clock_frequency * media time / 300)% 2 ⁇ 33
  • One embodiment of the present invention may decode and / or display a section of a new subtitle packet that follows instead of a previously displayed subtitle section when the display time of the subtitle sections overlaps.
  • an embodiment of the present invention may decode and / or display a subtitle section having a high priority by comparing priorities of two subtitle sections.
  • Another embodiment of the present invention may provide a trick play service by signaling only priority information of a subtitle section without signaling a tier number of the subtitle packet.
  • FIG. 19 is a diagram illustrating a process of playing a video and an XML-based subtitle according to another embodiment of the present invention when a double play trick play service is provided. (Scenario 3)
  • L19010 of this figure shows a structure in which the PTS is included in the header of each PES packet when each frame constituting the video is composed of one PES packet.
  • only video frames marked with X can be decoded and / or displayed during double speed trick play.
  • L19020 of this figure shows a structure in which the subtitle is composed of one PES packet, and the PTS is included in the header of each subtitle PES packet (the PES packet including the subtitle).
  • Scenario 3 may provide a trick play service by simply reducing the time that the subtitle is displayed without using the tier number of the subtitle packet or the priority information of the subtitle section.
  • the displayed time of the subtitle may be signaled according to the speed of the trick play service. At this time, the displayed time may be signaled inside the XML subtitle.
  • the subtitle when providing a double speed trick play service, may be displayed for half of the display time by reducing the display time of the subtitle in half.
  • the PTS and XML sub Since the PTS of ES 1 is the same, when providing the trick play service of double speed, XML sub. ES 1 may be displayed at the same time as the first video frame. According to an embodiment of the present invention, XML Sub. The time at which ES 1 is displayed may change depending on the speed of the trick play. Detailed description thereof will be described later in the drawings. According to an embodiment of the present invention, internal time information included in an XML subtitle is converted into a PTS form using a PTS of a subtitle PES packet, and a time for displaying a corresponding subtitle is determined using the converted PTS value.
  • a video frame having a frame number of 2 is discarded without being decoded for the trick play service, thereby indicating the PTS of the second video frame. PTS2 cannot be identified. Then, the video frame having the frame number 3 can be decoded for the trick play service. At this time, an embodiment of the present invention ignores PTS3 of video frame 3, and displays XML sub. ES 1 can be displayed continuously.
  • the PTS4 of the video frame with the frame number 4 is not decoded when the double speed trick play service is provided, so the PTS4 cannot be identified.
  • the PTS4 and XML sub. PTS4 of ES 2 is the same, but when the double speed trick play service is provided, PTS4 of video frame 4 is not known. Therefore, PTS3 of video frame 3 and PTS5 of video frame 5 use XML sub. You can see which video frame the ES 2 is synchronized to. At this time, XML sub. PTS of ES 2 can be expressed as the following equation.
  • 20 is a diagram illustrating internal time information inside a subtitle signaled in the case of scenario 3 according to an embodiment of the present invention.
  • XML Sub The time at which ES 1 is displayed may be signaled differently according to the speed of the trick play.
  • information on the displayed time of the subtitle may be defined in the XML of the subtitle.
  • 21 is a diagram illustrating a configuration of a receiver for trick play service of an XML subtitle according to an embodiment of the present invention.
  • Receiver is a hard disk drive (HDD, L21010), upload buffer (Upload buffer, L21020), TS buffer (TS buffer, L21030), demultiplexer (MPEG-2 TS DEMUX, L21040), Video decoder (L21050), video output buffer (L21060), system clock (L21070), synchronizer (A / V / Sub Synchronizer, L21080), display (Display processing, L21090) ), A subtitle parser L21100, and / or a subtitle output buffer L21110.
  • HDD hard disk drive
  • HDD hard disk drive
  • L2101010 upload buffer
  • TS buffer TS buffer
  • L21030 demultiplexer
  • MPEG-2 TS DEMUX MPEG-2 TS DEMUX
  • Video decoder L21050
  • video output buffer L21060
  • system clock L21070
  • synchronizer A / V / Sub Synchronizer, L21080
  • display Display processing, L21090
  • a subtitle parser L21100 and
  • the hard disk drive (HDD) L21010 may store received video data, subtitle data, and / or signaling information. According to an embodiment of the present invention, a hard disk drive may select a TS packet including a video and / or a subtitle to be decoded and / or displayed during a trick play using a tier number and transfer the TS packet to an upload buffer.
  • the upload buffer L21020 may store a TS packet including a video and / or subtitle transferred from the hard disk drive and transmit the TS packet to the TS buffer.
  • the TS buffer L21030 may store a TS packet including a video and / or subtitle transferred from the upload buffer and transmit the TS packet to the demultiplexer.
  • the demultiplexer may extract a video stream, a subtitle stream, and / or a PCR from the TS packet stream delivered from the TS buffer.
  • the video decoder L21050 may decode the encoded video stream.
  • the video output buffer L21060 may store the decoded video data and transmit the decoded video data to the display unit.
  • the system clock processor (System Clock L21070) may process the system clock using PCR.
  • the synchronizer A2 / V / Sub Synchronizer L21080 may synchronize video, audio, and / or subtitles using PTS of video, PTS of audio, and / or PTS of subtitles. Detailed operations performed by the synchronization unit according to an embodiment of the present invention have been described above.
  • the display unit L21090 may display synchronized video, audio, and / or subtitles.
  • the subtitle parser L21100 may parse the subtitle in the TS packet.
  • the subtitle output buffer L21110 may store the parsed subtitle and transmit the stored subtitle to the display unit.
  • FIG. 22 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • the broadcast signal receiving apparatus L22010 includes a receiver L22020 for receiving at least one video packet including video data and at least one subtitle packet including subtitle data, and receiving the received signal.
  • the display unit L22050 may display the included video data and the subtitle data included in the subtitle packet.
  • the video packet and the subtitle packet may include display time information indicating a display time of data included in each packet.
  • the receiver L22020 may correspond to the above-described hard disk drive
  • the decoder L22030 may correspond to the above-described video decoder and / or subtitle parser
  • the synchronization unit L22040 may include the synchronization unit described above.
  • the display unit L22050 may correspond to the display unit described above. Detailed description thereof has been given above with reference to FIGS. 15 and 21.
  • the video packet includes hierarchical information of the video packet for the trick play service of the video data, and the decoder uses the hierarchical information according to the speed of the trick play service. Only a corresponding video packet among the received video packets can be decoded. Detailed description thereof has been given above with reference to FIG. 15.
  • the subtitle packet includes at least one subtitle section, wherein the subtitle packet is a tier number indicating the priority of the subtitle packet for a trick play service and the subtitle. And at least one of priority information indicating priority of a section, wherein the decoder uses at least one of the tier number and priority information according to the speed of the trick play service to apply a corresponding sub among the received subtitle packets. Only a title packet or a corresponding subtitle section can be decoded. Detailed description thereof has been given above with reference to FIG. 15.
  • the subtitle packet is determined by the subtitle packet. If the video packet having the same display time information as the display time information of the subtitle packet is not found in the decoded video packet, the video packet having the same display time information as the display time information is synchronized.
  • the title packet may be synchronized to be displayed at the same time as the video packet having the display time information closest to the display time information of the subtitle packet. Detailed description thereof has been given above with reference to FIG. 17.
  • the subtitle data included in the subtitle section includes internal time information indicating a display time of the subtitle data included in the subtitle section
  • the synchronization unit includes the subtitle section. Converting the internal time information included in the same format as the display time information, and if there is a video packet among the decoded video packets having the same display time information as the converted internal time information of the subtitle section, the subtitle Synchronize the sections to be displayed at the same time as the video packet having the same display time information as the converted internal time information of the subtitle section, and decode the same as the converted internal time information of the subtitle section during the decoded video packet.
  • the subtitle data included in the subtitle packet may include information indicating the display time of the subtitle data for the trick play service according to the speed of the trick play service. Detailed description thereof has been given above with reference to FIGS. 19 and 20.
  • FIG. 23 is a view showing a broadcast signal transmission method according to an embodiment of the present invention.
  • the broadcast signal transmission method includes the steps of generating at least one video packet including video data and at least one subtitle packet including subtitle data (SL23010), the generated video packet and Generating a broadcast signal including the subtitle packet (SL23020) and / or transmitting the generated broadcast signal (SL23030).
  • the video packet and the subtitle packet may include display time information indicating a display time of data included in each packet.
  • 24 is a diagram illustrating a configuration of a broadcast signal transmission apparatus according to an embodiment of the present invention.
  • the broadcast signal transmission apparatus L24010 may include a packet generator L24020 for generating at least one video packet including video data and at least one subtitle packet including subtitle data. And a broadcast signal generator L24030 for generating a broadcast signal including the generated video packet and a subtitle packet, and / or a transmitter L24040 for transmitting the generated broadcast signal.
  • the video packet and the subtitle packet may include display time information indicating a display time of data included in each packet.
  • a module, unit, or block according to embodiments of the present invention may be a processor / hardware that executes successive procedures stored in a memory (or storage unit). Each step or method described in the above embodiments may be performed by hardware / processors.
  • the methods proposed by the present invention can be executed as code. This code can be written to a processor readable storage medium and thus read by a processor provided by an apparatus according to embodiments of the present invention.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is used in the field of providing a series of broadcast signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 트릭 플레이 서비스에서 비디오와 서브타이틀의 동기화를 위한 방송 신호를 송수신하는 방법 및 장치를 제공한다. 본 발명의 일 실시예에 따른 방송 신호 수신 방법은 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 단계, 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고, 상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 단계, 상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 단계 및 상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 단계를 포함한다.

Description

트릭 플레이 서비스에서 비디오와 서브타이틀의 동기화를 위한 방송 신호를 송수신하는 방법 및 장치
본 발명은 방송 신호를 송수신하는 방법 및 장치에 관한 것이다.
트릭 플레이란 임의의 시간의 영상을 재생할 수 있는 기능인 random access 및 2 배속, 4 배속 등과 같은 배속 기능을 제공하는 서비스를 의미한다. 트릭 플레이의 수행을 위해 기존 AVC/H.264 기반에서는 비디오 스트림을 구성하는 픽처들을 각 픽처 사이의 dependency에 따라 tier라는 개념을 사용하여 구분하였다. 그리고, 수신측은 특정 tier 값을 갖는 픽처들만을 디코딩 및 디스플레이하여 트릭 플레이 서비스를 제공하였다.
최근 TTML, EBU-TT 등 XML 언어 기반의 자막에 대한 표준이 제정되었다. 이들의 목적은 media 및 IP streaming 환경에서의 자막 서비스를 목표로 하지만, 이를 방송 서비스에서도 이용하고자 하는 요구가 DVB 및 ATSC 등의 표준 단체에서 나타나고 있다.
트릭 플레이 서비스 (Trick play service)를 제공하는 경우에 video 뿐만 아니라 subtitle도 함께 display하기 위해서는 Subtitle과 Video의 동기화를 위한 방법에 대한 연구가 필요하다.
본 발명이 이루고자 하는 과제는, 트릭 플레이 서비스에서 XML 서브타이틀을 디스플레이하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 과제는, 트릭 플레이 서비스에서 비디오와 XML 서브타이틀의 동기화 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 단계, 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고, 상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 단계, 상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 단계 및 상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 단계를 포함할 수 있다.
바람직하게는, 상기 비디오 패킷은 상기 비디오 데이터의 트릭 플레이 서비스를 위한 상기 비디오 패킷의 계층 정보를 포함하고, 상기 디코딩하는 단계는 트릭 플레이 서비스의 배속에 따라 상기 계층 정보를 이용하여 상기 수신한 비디오 패킷들 중 해당되는 비디오 패킷만을 디코딩할 수 있다.
바람직하게는, 상기 서브타이틀 패킷은 적어도 하나 이상의 서브타이틀 섹션을 포함하고, 상기 서브타이틀 패킷은 트릭 플레이 서비스를 위한 상기 서브타이틀 패킷의 우선순위를 나타내는 티어 넘버 및 상기 서브타이틀 섹션의 우선순위를 나타내는 우선순위 정보 중 적어도 하나를 포함하고, 상기 디코딩하는 단계는 트릭 플레이 서비스의 배속에 따라 상기 티어 넘버 및 우선순위 정보 중 적어도 하나를 이용하여 상기 수신한 서브타이틀 패킷들 중 해당되는 서브타이틀 패킷 또는 해당되는 서브타이틀 섹션만을 디코딩할 수 있다.
바람직하게는, 상기 동기화하는 단계는, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계 및 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계를 포함할 수 있다.
바람직하게는, 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터는 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터의 디스플레이 시간을 나타내는 내부 시간 정보를 포함하고, 상기 동기화하는 단계는, 상기 서브타이틀 섹션에 포함되는 내부 시간 정보를 상기 디스플레이 시간 정보와 동일한 포맷으로 변환하는 단계, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계 및 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계를 포함할 수 있다.
바람직하게는, 상기 서브타이틀 패킷에 포함되는 서브타이틀 데이터는 트릭 플레이 서비스의 배속에 따라 트릭 플레이 서비스를 위한 상기 서브타이틀 데이터의 디스플레이 시간을 나타내는 정보를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 장치는 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 수신부, 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고, 상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 디코더, 상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 동기화부 및 상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 디스플레이부를 포함할 수 있다.
바람직하게는, 상기 비디오 패킷은 상기 비디오 데이터의 트릭 플레이 서비스를 위한 상기 비디오 패킷의 계층 정보를 포함하고, 상기 디코더는 트릭 플레이 서비스의 배속에 따라 상기 계층 정보를 이용하여 상기 수신한 비디오 패킷들 중 해당되는 비디오 패킷만을 디코딩할 수 있다.
바람직하게는, 상기 서브타이틀 패킷은 적어도 하나 이상의 서브타이틀 섹션을 포함하고, 상기 서브타이틀 패킷은 트릭 플레이 서비스를 위한 상기 서브타이틀 패킷의 우선순위를 나타내는 티어 넘버 및 상기 서브타이틀 섹션의 우선순위를 나타내는 우선순위 정보 중 적어도 하나를 포함하고, 상기 디코더는 트릭 플레이 서비스의 배속에 따라 상기 티어 넘버 및 우선순위 정보 중 적어도 하나를 이용하여 상기 수신한 서브타이틀 패킷들 중 해당되는 서브타이틀 패킷 또는 해당되는 서브타이틀 섹션만을 디코딩할 수 있다.
바람직하게는, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하고, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화할 수 있다.
바람직하게는, 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터는 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터의 디스플레이 시간을 나타내는 내부 시간 정보를 포함하고, 상기 동기화부는, 상기 서브타이틀 섹션에 포함되는 내부 시간 정보를 상기 디스플레이 시간 정보와 동일한 포맷으로 변환하고, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하고, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화할 수 있다.
바람직하게는, 상기 서브타이틀 패킷에 포함되는 서브타이틀 데이터는 트릭 플레이 서비스의 배속에 따라 트릭 플레이 서비스를 위한 상기 서브타이틀 데이터의 디스플레이 시간을 나타내는 정보를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 생성하는 단계, 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고, 상기 생성된 비디오 패킷 및 서브타이틀 패킷을 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 송신 장치는 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 생성하는 패킷 생성부, 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고, 상기 생성된 비디오 패킷 및 서브타이틀 패킷을 포함하는 방송 신호를 생성하는 방송 신호 생성부 및 상기 생성된 방송 신호를 전송하는 전송부를 포함할 수 있다.
본 발명에 따르면, 트릭 플레이 서비스에서 XML 서브타이틀을 디스플레이하는 방법을 제공할 수 있는 효과가 있다.
본 발명에 따르면, 트릭 플레이 서비스에서 비디오와 XML 서브타이틀의 동기화 방법을 제공할 수 있는 효과가 있다.
본 발명에 대해 더욱 이해하기 위해 포함되며 본 출원에 포함되고 그 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 트릭 플레이 시에 XML 기반의 서브타이틀의 재생 과정을 나타낸 도면이다 (시나리오 1).
도 3은 본 발명의 다른 일 실시예에 따른 트릭 플레이 시에 XML 기반의 서브타이틀의 재생 과정을 나타낸 도면이다 (시나리오 2).
도 4는 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀 패킷의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 트릭 플레이 시, XML 기반의 서브타이틀 재생 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀을 TS muxing하지 않고, 그대로 전송하는 경우 티어 넘버를 시그널링하는 방법을 나타낸 도면이다 (시나리오 1의 경우).
도 7은 본 발명의 다른 일 실시예에 따른 XML 기반의 서브타이틀을 TS muxing하지 않고, 그대로 전송하는 경우 티어 넘버를 시그널링하는 방법을 나타낸 도면이다 (시나리오 2의 경우).
도 8은 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀 TS muxing하여 전송하는 경우, 티어 넘버를 시그널링하는 방법을 나타낸 도면이다 (시나리오 1, 2의 경우).
도 9는 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀을 TS muxing하여 전송하는 경우, priority를 시그널링하는 방법을 나타낸 도면이다 (시나리오 2의 경우).
도 10은 본 발명의 일 실시예에 따른 PVR_assist_information_for_subtitle data field의 구성 및 data_field_tag 필드의 구성을 나타낸 도면이다 (시나리오 1).
도 11은 본 발명의 다른 일 실시예에 따른 PVR_assist_information_for_subtitle data field의 구성 및 data_field_tag 필드의 구성을 나타낸 도면이다 (시나리오 2).
도 12는 본 발명의 일 실시예에 따른 PVR_assist_information 데이터 필드의 구성을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 PMT (program map table), adapatation_field_data_descriptor 및 adaptation_field_data_identifier 필드의 구성을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 XML 서브타이틀의 트릭 플레이 서비스를 위한 수신 장치의 구성을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀 패킷의 구성을 나타낸 도면이다.
도 17은 2배속의 트릭 플레이 서비스가 제공될 때 본 발명의 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다. (시나리오 1)
도 18은 2배속의 트릭 플레이 서비스가 제공될 때 본 발명의 다른 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다. (시나리오 2)
도 19는 2배속의 트릭 플레이 서비스가 제공될 때 본 발명의 다른 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다. (시나리오 3)
도 20은 본 발명의 일 실시예에 따른 시나리오 3의 경우에 시그널링되는 서브타이틀 내부의 내부 시간 정보를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 XML 서브타이틀의 트릭 플레이 서비스를 위한 수신기의 구성을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
본 발명의 일 실시예는 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 단계 (SL2210), 상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 단계 (SL2220), 상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 단계 (SL2230) 및/또는 상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 단계 (SL2240)를 포함할 수 있다. 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 15, 21에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 비디오 패킷은 상기 비디오 데이터의 트릭 플레이 서비스를 위한 상기 비디오 패킷의 계층 정보를 포함하고, 상기 디코딩하는 단계는 트릭 플레이 서비스의 배속에 따라 상기 계층 정보를 이용하여 상기 수신한 비디오 패킷들 중 해당되는 비디오 패킷만을 디코딩할 수 있다. 이에 대한 상세한 설명은 도 15에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 서브타이틀 패킷은 적어도 하나 이상의 서브타이틀 섹션을 포함하고, 상기 서브타이틀 패킷은 트릭 플레이 서비스를 위한 상기 서브타이틀 패킷의 우선순위를 나타내는 티어 넘버 및 상기 서브타이틀 섹션의 우선순위를 나타내는 우선순위 정보 중 적어도 하나를 포함하고, 상기 디코딩하는 단계는 트릭 플레이 서비스의 배속에 따라 상기 티어 넘버 및 우선순위 정보 중 적어도 하나를 이용하여 상기 수신한 서브타이틀 패킷들 중 해당되는 서브타이틀 패킷 또는 해당되는 서브타이틀 섹션만을 디코딩할 수 있다. 이에 대한 상세한 설명은 도 15에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 동기화하는 단계는 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계 및/또는 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계를 포함할 수 있다. 이에 대한 상세한 설명은 도 17에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터는 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터의 디스플레이 시간을 나타내는 내부 시간 정보를 포함하고, 상기 동기화하는 단계는 상기 서브타이틀 섹션에 포함되는 내부 시간 정보를 상기 디스플레이 시간 정보와 동일한 포맷으로 변환하는 단계, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계 및/또는 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계를 포함할 수 있다. 이에 대한 상세한 설명은 도 18에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 서브타이틀 패킷에 포함되는 서브타이틀 데이터는 트릭 플레이 서비스의 배속에 따라 트릭 플레이 서비스를 위한 상기 서브타이틀 데이터의 디스플레이 시간을 나타내는 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 19, 20에서 후술한다.
도 2는 본 발명의 일 실시예에 따른 트릭 플레이 시에 XML 기반의 서브타이틀의 재생 과정을 나타낸 도면이다 (시나리오 1).
이 도면은, 본 발명의 일 실시예에 따라 HEVC의 temporal ID를 이용해 trick play 배속에 따라 비디오의 frame을 skip하는 경우, subtitle을 재생하는 방법을 나타낸 도면이다. 본 발명의 일 실시예에 따르면, XML 기반의 subtitle packet은 video의 frame에 sync를 맞추기 위한 frame 별 timing 정보를 갖고 있지 않게 때문에, trick play에 의해 decoding되거나 skip되는 frame number로 비디오와 자막의 Sync를 맞추는 것은 불가능할 수 있고, 만약 가능하다 하더라도, trick mode에서는 자막이 display되는 시간이 짧아지므로, 자막이 나타내는 의미를 제대로 전달할 수 없다. 참고로, 본 발명의 일 실시예는, 자막을 TS 패킷으로 전송하는 경우, PTS를 이용하여 자막과 비디오의 sync를 맞출 수 있다. 본 발명의 일 실시예는 Trick play service 제공 시에 subtitle을 적절하게 display하기 위해서 subtitle packet의 중요도 (tier number) 및/또는 subtitle packet 내 section의 우선순위 (priority)를 signaling할 수 있고, 배속 정보에 따라 subtitle의 일부 packet 및/또는 일부 section만을 재생하도록 할 수 있다.
본 명세서에서 Video stream이 HEVC stream인 경우를 일 예로 도식화 및/또는 설명하였으나, video stream이 다른 codec으로 encoding된 stream인 경우에도, xml 자막을 제공하는 service인 경우이면, 본 명세서의 본 발명의 일 실시예가 동일하게 적용될 수 있다.
이 도면은 본 발명의 일 실시예에 따라 하나의 subtitle packet에 짧은 단위의 자막이 포함되는 경우, trick play service를 제공하는 방법을 나타낸 도면이다. 이 경우, 본 발명의 일 실시예는 Trick play 시에 일정 개수만큼의 subtitle packet을 건너 뛰면서 특정 서브타이틀 패킷만을 display할 수 있다. 본 발명의 일 실시예에 따르면, 각각의 subtitle packet 들은 중요도 정보 (tier number)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 각각의 서브타이틀 패킷들에 대한 시작 시간 및/또는 종료 시간 정보는 xml data로 포함될 수 있는데, 이 때 시작 시간 및/또는 종료 시간은 그대로 유지될 수 있다. 본 발명의 일 실시예에 따르면, 중요도가 낮은 (티어 넘버가 높은) subtitle packet은 디코딩 (decoding) 및/또는 디스플레이 (display)되지 않고 버려질 수 있다.
이 도면에서 L2010은 HEVC video stream 중, coding된 picture의 종류와 presentation order를 나타낸다.
이 도면에서 L2020은 HEVC video steam의 각각의 픽처 (picture)들에 대한 temporal ID를 나타낸다. 본 발명의 일 실시예는 HEVC stream의 경우, tier number 및/또는 temporal ID를 이용해 trick play 서비스를 제공할 수 있고, AVC stream의 경우, tier number를 통해 trick play를 이용해 trick play 서비스를 제공할 수 있다. 이 도면에서 L2020은 Normal play시에 XML subtitle packet이 video stream과 어떻게 얼라인 (align)되어 display되는 지를 나타낸다. 본 발명의 일 실시예에 따르면, 비디오 데이터 및 XML 서브타이틀이 TS 패킷에 다중화되어 전송되는 경우, 비디오 데이터가 포함된 PES 패킷 PTS 및 XML 서브타이틀이 포함된 PES 패킷의 PTS를 이용하여 비디오 스트림과 XML 서브타이틀을 동기화할 수 있다. 본 발명의 다른 일 실시예에 따르면, XML 기반의 subtitle의 내부 시간과 비디오 데이터가 포함된 PES packet의 PTS를 동기화하는 방법이 사용될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 전송 system의 clock frequency를 기반으로 "PTS = (system_clock_frequency * media time / 300) % 2^33" 과 같은 식이 이용될 수 있다. 본 발명의 다른 일 실시예에 따르면, TS adaptation 형태로 자막 (XML 서브타이틀)을 전송하는 경우에는 TSAP, MPEG의 TEMI 등을 이용하여 자막 패킷과 비디오 스트림의 동기화를 맞출 수 있고, ISOBMFF 형태로 자막 (XML 서브타이틀)을 전송하는 경우에는 composition time 등을 이용하여 자막 패킷과 비디오 스트림의 동기화를 맞출 수 있다.
이 도면에서 L2030은 2배속 Trick play 시에 decoding되는 picture, skip되는 picture 및 비디오 스트림과 얼라인 (align)되어 display될 수 있는 XML subtitle packet을 나타낸다. 본 발명의 일 실시예에 따르면, 2배속 트릭 플레이의 경우, temporal ID가 가장 높은 picture는 skip되고 나머지 temporal ID를 갖는 picture들이 decoding 및 display될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 사용자에게 의미있는 정보를 전달하기 위해서, XML subtitle packet이 모든 video frame 에 정확하게 align되지 않을지라도 중요한 내용을 포함하고 있는 subtitle packet (tier number가 낮은 subtitle packet)만이 display될 수 있다. 본 발명의 일 실시예에 따르면, Trick Play의 배속에 따라 tier number가 높은 subtitle packet은 수신기의 buffer 내에서 decoding되지 않고 버려질 수 있다. 본 발명의 일 실시예에 따르면, tier number에 따라 subtitle packet이 디코딩되지 않고 버려지는 구체적인 과정에는, tier number에 따라 video frame이 디코딩되지 않고 버려지는 경우와 동일한 방법이 이용될 수 있다. 본 발명의 일 실시예에 따르면, 이 도면 (L2030)에서, 2배속 트릭 플레이 시에, temporal ID로 0을 갖는 픽처, temporal ID로 1을 갖는 픽처 및 temporal ID로 2를 갖는 픽처만이 디코딩 및 디스플레이될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 티어 넘버로 0을 갖는 XML 서브타이틀 및 티어 넘버로 1을 갖는 XML 서브타이틀 패킷만이 디스플레이될 수 있다.
이 도면에서 L2040은 4배속 Trick play 시에 디코딩되는 픽처, 스킵되는 픽처 및 비디오 스트림과 얼라인되어 디스플레이될 수 있는 XML subtitle packet을 나타낸다. 본 발명의 일 실시예에 따르면, 이 도면 (L2040)에서, 4배속 트릭 플레이 시에, temporal ID로 0을 갖는 픽처 및 temporal ID로 1을 갖는 픽처만이 디코딩 및 디스플레이될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 티어 넘버로 0을 갖는 XML 서브타이틀만이 디스플레이될 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 트릭 플레이 시에 XML 기반의 서브타이틀의 재생 과정을 나타낸 도면이다 (시나리오 2).
본 발명의 일 실시예에 따르면, 하나의 서브타이틀 패킷 내에 여러 개의 문장으로 구성된 자막이 포함될 수 있다. 이 때, 하나의 자막 문장은 하나의 섹션에 해당할 수 있다. 즉, 본 발명의 일 실시예는 트릭 플레이 시, 하나의 서브타이틀 패킷 내 여러 개의 섹션에 대한 priority를 시그널링함으로써 전체 자막 중 중요하지 않은 섹션을 건너 뛰면서 디스플레이할 수 있다 (시나리오 2).
본 발명의 일 실시예에 따른 시나리오 2는 티어 넘버를 이용하여 서브타이틀 패킷의 중요도를 구분한다는 점에서 전술한 일 실시예에 따른 시나리오 1과 동일할 수 있다. 나아가, 본 발명의 일 실시예에 따른 시나리오 2는 하나의 서브타이틀 패킷이 하나 이상의 섹션을 포함하는 경우, 각각의 섹션들이 갖는 priority에 따라 트릭 플레이 시, 디스플레이할 서브타이틀 패킷 내의 섹션을 석택할 수 있다. 즉, 본 발명의 일 실시예에 따른 시나리오 2는 서브타이틀 패킷의 티어 넘버 및 서브타이틀 패킷 내 섹션의 priority를 이용하여 트릭 플레이 시, 디스플레이할 서브타이틀 패킷 및 서브타이틀 패킷 내의 섹션을 선택할 수 있다.
이 도면에서 L3010은 HEVC video stream 중, coding된 picture의 종류와 presentation order를 나타낸다.
이 도면에서 L3020은 HEVC video steam의 각각의 픽처 (picture)들에 대한 temporal ID를 나타낸다. 이 도면에서 L3020은 Normal play시에 video stream과 얼라인 (align)되어 디스플레이되는 XML 서브타이틀 패킷들을 나타낸다. 이 때, 본 발명의 일 실시예에 따르면, XML 서브타이틀 패킷은 하나 이상의 섹션을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 이 도면에서, 제 1 XML 서브타이틀 패킷 (Normal play 시, 출력되는 XML Sub. 1)에서 표시된 섹션 (L3050)은 제 1 XML 서브타이틀 패킷 내의 다른 섹션들보다 priority가 높은 섹션들을 나타낸다. 이와 동일하게, 제 2 XML 서브타이틀 패킷 (Normal play 시, 출력되는 XML Sub. 2)에서 표시된 섹션 (L3060)은 제 2 XML 서브타이틀 패킷 내의 다른 섹션들보다 Priority가 높은 섹션들을 나타낸다.
이 도면에서 L3030은 2배속 Trick play 시에 decoding되는 picture, skip되는 picture, 디스플레이될 수 있는 XML 서브타이틀 패킷 내 섹션들 및 skip되는 XML 서브타이틀 패킷 내 섹션들을 나타낸다. 본 발명의 일 실시예에 따르면, 2배속 트릭 플레이의 경우, temporal ID가 가장 높은 picture는 skip되고 나머지 temporal ID를 갖는 picture들이 decoding 및 display될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, Trick Play의 배속에 따라 priority가 낮은 subtitle packet 내의 섹션은 수신기의 buffer 내에서 decoding되지 않고 버려질 수 있다. 본 발명의 일 실시예에 따르면, 이 도면 (L3030)에서, 2배속 트릭 플레이 시에, temporal ID로 0을 갖는 픽처, temporal ID로 1을 갖는 픽처 및 temporal ID로 2를 갖는 픽처만이 디코딩 및 디스플레이될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 제 1 XML 서브타이틀 패킷 내의 섹션들 중 priority가 상대적으로 높은 섹션 (L3080)이 디코딩 및 디스플레이될 수 있고, priority가 상대적으로 낮은 섹션들 (L3070, L3090)은 디코딩되지않고 버려질 수 있다. 이와 동일하게, 제 2 XML 서브타이틀 패킷 내의 섹션들 중 priority가 상대적으로 높은 섹션 (L3100)이 디코딩 및 디스플레이될 수 있고, priority가 상대적으로 낮은 섹션들 (L3110)은 디코딩되지않고 버려질 수 있다.
이 도면에서 L3040은 4배속 Trick play 시에 디코딩되는 픽처, 스킵되는 픽처, 디스플레이될 수 있는 XML 서브타이틀 패킷 내 섹션들 및 skip되는 XML 서브타이틀 패킷 내 섹션들을 나타낸다. 본 발명의 일 실시예에 따르면, 이 도면 (L3040)에서, 4배속 트릭 플레이 시에, temporal ID로 0을 갖는 픽처 및 temporal ID로 1을 갖는 픽처만이 디코딩 및 디스플레이될 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 제 1 XML 서브타이틀 패킷 내의 섹션들 중 priority가 상대적으로 높은 섹션 (L3130)이 디코딩 및 디스플레이될 수 있고, priority가 상대적으로 낮은 섹션들 (L3120, L3140, L3150)은 디코딩되지않고 버려질 수 있다. 이와 동일하게, 제 2 XML 서브타이틀 패킷 내의 섹션들 중 priority가 상대적으로 높은 섹션 (L3160)이 디코딩 및 디스플레이될 수 있고, priority가 상대적으로 낮은 섹션들 (L3170, L3180)은 디코딩되지않고 버려질 수 있다.
본 발명의 다른 일 실시예에 따르면, subtitle packet의 tier number에 상관없이 xml 형태의 subtitle을 display할 수 있는 시간인 시작 시간 정보 및 종료 시간 정보를 이용하여 트릭 플레이 서비스에서 자막 서비스를 제공할 수 있다 (시나리오 3). 예를 들어, 본 발명의 일 실시예에 따르면, 송신단에서 normal play 시, 자막을 디스플레이하기 위한 시작 시간 정보 및 종료 시간 정보를 전송한다면, 2배속 트릭 플레이 시에는 normal play 시와 동일한 시작 시간 정보와 절반으로 줄어든 종료 시간 정보를 수신단으로 전송할 수 있다. 즉, 수신단에서 xml subtitle packet이 포함하는 내용은 모두 출력하지만, display되는 시간이 줄어들 수 있다. 본 발명의 일 실시예에 따르면, 이 때, 송신단에서 별도의 signaling을 해줄 필요는 없고, 수신기에서 signaling된 종료 시간 정보가 나타내는 종료 시간을 trick play에서 사용되는 종료 시간으로 변환하여 이를 사용할 수 있다.
본 발명의 일 실시예에 따르면, 전술한 일 실시예에 따른 시나리오 1, 2 및/또는 3이 각각 독립적으로 제공될 수도 있지만, 2배속 트릭 플레이와 같은 낮은 배속에서는 시나리오 3의 방법과 같이 서비스되고, 8배속 또는 16 배속과 같이 높은 배속에서는 시나리오 1 및/또는 2의 방법과 같이 서비스 될 수 있다.
도 4는 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀 패킷의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 하나의 서브타이틀 패킷은 하나의 자막 문장을 포함할 수 있다 (L4010, 시나리오 1). 예를 들어, 도면에 도시된 바와 같이 (L4010), 제 1 서브타이틀 패킷은 자막 문장 1을 포함하고, 제 2 서브타이틀 패킷은 자막 문장 2를 포함하고, 제 3 서브타이틀 패킷은 자막문장 3을 포함하고, 제 4 서브타이틀 패킷은 자막 문장 4를 포함할 수 있다.
본 발명의 다른 일 실시예에 따르면, 하나의 서브타이틀 패킷은 하나 이상의 자막 문장을 포함할 수 있다. (L4020, 시나리오 2) 그리고, 서브타이틀 패킷 내에 존재하는 여러 개의 섹션들 중 하나의 섹션은 하나의 자막 문장을 포함할 수 있다. 예를 들어, 도면에 도시된 바와 같이 (L4020), 제 1 서브타이틀 패킷에 포함된 제 1 섹션은 자막 문장 1을 포함하고, 제 2 섹션은 자막 문장 2를 포함하고, 제 3 섹션은 자막 문장 3을 포함하고, 제 4 섹션은 자막 문장 4를 포함할 수 있다.
이 도면에서, L4010에 도시된, 서브타이틀 패킷에 포함된 자막 문장들 각각은 L4020에 도시된, 제 1 서브타이트 패킷 내의 섹션들 각각에 포함된 자막 문장들과 동일한 자막 문장일 수 있다.
이 도면은 전술한 실시예에 따른 시나리오 1과 시나리오 2에서 언급한 subtitle packet의 차이를 나타낸다. L4010은 전술한 일 실시예에 따른 시나리오 1에 해당하는 subtitle packet 구성 형태를 나타내고, 이 때, 하나의 subtitle packet은 한 번에 display할 수 있는 자막을 포함할 수 있다. 본 발명의 일 실시예에 따른 시나리오 1은 트릭 플레이 싱, subtitle packet 단위로 건너 뛰면서 자막을 display할 수 있다. L4020은 전술한 일 실시예에 따른 시나리오 2에 해당하는 subtitle packet 구성 형태를 나타내고, 이 때, 하나의 subtitle packet은 여러 문장(즉, 여러 개의 section)들을 포함할 수 있다. 본 발명의 일 실시에에 따른 시나리오 2는 subtitle packet 내의 section 단위로 건너 뛰면서 자막을 display할 수 있다. 본 발명을 통해, 트릭 플레이 시, 자막이 가진 의미를 전달하는 것이 가능한 방법으로 XML 기반의 서브타이틀을 출력할 수 있다.
도 5는 본 발명의 일 실시예에 따른 트릭 플레이 시, XML 기반의 서브타이틀 재생 방법을 나타낸 도면이다.
이 도면은 최대 티어 넘버 (max tier number)가 2인 경우, normal play 시, 티어 넘버로 0을 갖는 서브타이틀 패킷, 티어 넘버로 1을 갖는 서브타이틀 패킷 및 티어 넘버로 2를 갖는 서브타이틀 패킷을 모두 디스플레이하고, 2배속 트릭플레이 시, 티어 넘버로 0을 갖는 서브타이틀 패킷 및 티어 넘버로 1을 갖는 서브타이틀 패킷만을 디스플레이하고 (티어 넘버로 2를 갖는 서브타이틀 패킷은 스킵), 4배속 트릭플레이 시, 티어 넘버로 0을 갖는 서브타이틀 패킷만 디스플레이하는 (티어 넘버로 1을 갖는 서브타이틀 패킷 및 2를 갖는 서브타이틀 패킷은 스킵) 실시예를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, subtitle packet의 tier number는 video의 tier number 혹은 temporal ID와 일치시킬 수 있다. 즉, 2배속 트릭 플레이의 경우, video stream 중 tier number (or temporal ID)가 0인 frame 및 1인 frame만을 display하고, 자막의 tier number가 0인 subtitle packet 및 1인 subtitle packet만을 display하여, video와 subtitle의 sync가 맞을 수 있도록 인코딩할 수 있다.
L5010은 본 발명의 일 실시예에 따른 normal play 시, 비디오 스트림에 대응되는 서브타이틀을 재생하는 방법을 나타낸 그림이다. 여기서, 제 1 서브타이틀 패킷 (1st subtitle packet)은 티어 넘버로 0을 갖고, 제 2 서브타이틀 패킷 (2nd subtitle packet)은 티어 넘버로 2를 갖고, 제 3 서브타이틀 패킷 (3rd subtitle packet)은 티어 넘버로 1을 가질 수 있다.
L5020은 본 발명의 일 실시예에 따른 2배속 트릭 플레이 시, video frame을 1장 건너 1장씩 skip했을 경우에 play될 수 있는 frame의 집합 및 이 때 디스플레이되는 서브타이틀 패킷을 나타낸 그림이다. 본 발명의 일 실시예에 따르면, 수신기는 서브타이틀 패킷의 tier number를 확인하고 2배속 트릭 플레이에서 display될 수 없는 subtitle packet (티어 넘버 2)은 버리고, 티어 넘버가 0과 1인 subtitle packet만을 display할 수 있다. 이 때, 본 발명의 일 실시예에 따르면, 수신기는 해당 subtitle packet과 얼라인 (align)되는 비디오 stream 내에 scene change와 end of stream 등의 정보가 포함되어 있는지 여부를 나타내는 field를 video frame 관련 descriptor 에서 확인하고, 해당 subtitle packet의 display되는 시간을 제어할 수 있다. 보다 구체적으로, 수신기는 scene change가 포함되지 않은 구간 (scene change x로 표시)에 대해서는 해당 subtitle packet (1st subtitle packet)을 해당 subtitle packet의 원래 시작 시간 및 종료 시간 정보 (begin/end time)에 따라 모두 디스플레이할 수 있다. 여기서, 원래 시작 시간 및 종료 시간은 normal play 시, 서브타이틀의 디스플레이를 위한 시작 시간 및 종료 시간을 나타낼 수 있다. 이 후, 수신기는 제 1 서브타이틀 패킷 (1st subtitle packet)의 display가 끝나면 tier number가 2인 제 2 서브타이틀 패킷 (2nd subtitle packet)은 디스플레이하지않고 버릴 수 있다. 이후, 수신기는 Tier number가 1인 제 3 서브타이틀 패킷 (3rd subtitle packet)을 display할 때, end of stream 이벤트가 있는 경우, 제 3 서브타이틀 패킷 (3rd subtitle packet)을 video가 끝나는 시간까지만 디스플레이할 수 있다.
L5030, L5040은 본 발명의 일 실시예에 따른 4배속 트릭 플레이 시, scene change 및/또는 end of stream 이벤트가 있는 경우, 서브타이틀 패킷의 디스플레이 방법을 나타낸 그림이다. 본 발명의 일 실시예에 따르면, 수신기는 4배속 트릭 플레이 시, scene change 및/또는 end of stream이 있는 경우 (scene change O, end of stream으로 표시), 해당 이벤트가 발생한 부분까지만 해당 subtitle packet을 디스플레이할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면은 전술한 일 실시예인 시나리오 1을 타겟으로 도식화한 그림이지만, 이 도면에 도시된 nth subtitle packet은 subtitle packet 내의 nth section으로 대체될 수 있고, 이 경우, 전술한 일 실시예인 시나리오 2에도 이 도면에서 상술한 동일한 내용이 적용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀을 TS muxing하지 않고, 그대로 전송하는 경우 티어 넘버를 시그널링하는 방법을 나타낸 도면이다 (시나리오 1의 경우).
본 발명의 일 실시예에 따르면, XML subtitle 내부에서 tier number가 signaling되어야 하므로, L6010와 같이 tier number 및 maximum tier number가 XML 서브타이틀의 head에 포함될 수 있고, L6020과 같이 tier number 및 maximum tier number가 XML 서브타이틀의 body에 포함될 수 있다.
L6010을 보면, XML 서브타이틀 패킷의 헤드는 해당 서브타이틀 패킷이 티어 넘버로 0을 갖고 최대 티어 넘버는 3임을 나타내는 정보를 포함할 수 있다.
L6020을 보면, XML 서브타이틀 패킷의 바디는 해당 서브타이틀 패킷이 티어 넘버로 0을 갖고 최대 티어 넘버는 3임을 나타내는 정보를 포함할 수 있다.
도 7은 본 발명의 다른 일 실시예에 따른 XML 기반의 서브타이틀을 TS muxing하지 않고, 그대로 전송하는 경우 티어 넘버를 시그널링하는 방법을 나타낸 도면이다 (시나리오 2의 경우).
본 발명의 일 실시예에 따르면, XML subtitle 내부에서 tier number 및/또는 priority가 signaling되어야 하므로, L7010과 같이 해당 subtitle packet의 tier number와 maximum tier number가 head에 포함되고, 해당 subtitle packet 내의 섹션들 각각의 section number 및 priority가 body에 포함될 수 있다. 본 발명의 다른 일 실시예에 따르면, L7020와 같이 tier number, maximum tier number, section number 및 priority가 모두 body에 포함될 수 있다. 본 발명의 다른 일 실시예에 따르면, 해당 subtitle packet의 tier number와 maximum tier number가 분리된 형태로 signaling될 수도 있다.
본 발명의 일 실시예는 트릭 플레이 서비스를 위해, tt:metadata의 하위 엘레먼트로 tt:trickPlay 엘레먼트를 정의할 수 있다. 본 발명의 일 실시예에 따른 tt:trickPlay 엘레먼트는 현재 서브타이틀 패킷의 티어 넘버를 나타내는 어트리뷰트 및/또는 최대 티어 넘버를 나타내는 어트리뷰트를 포함할 수 있다.
L7010을 보면, XML 서브타이틀 패킷의 헤드는 해당 서브타이틀 패킷이 티어 넘버로 0을 갖고 최대 티어 넘버는 3임을 나타내는 정보를 포함할 수 있다. 나아가, XML 서브타이틀 패킷의 바디는 해당 서프타이틀 패킷 내에 존재하는 4개의 섹션들에 대한 섹션 넘버 및 priority를 시그널링할 수 있다. 이 도면을 보면, 섹션 넘버 1인 섹션은 priority 0을 갖고, 섹션 넘버 2인 섹션은 priority 2를 갖고, 섹션 넘버 3인 섹션은 priority 1을 갖고, 섹션 넘버 4인 섹션은 priority 3을 가짐을 알 수 있다. 이 때, 하나의 섹션은 하나의 문장 자막을 나타낼 수 있다.
L7020을 보면, XML 서브타이틀 패킷의 바디는 해당 서프타이틀 패킷 내에 존재하는 4개의 섹션들에 대한 티어 넘버, 최대 티어 넘버, 섹션 넘버 및 priority를 시그널링할 수 있다. 이 때, 이 도면에서 4개의 섹션들은 모두 하나의 서브타이틀 패킷에 포함된 경우이므로 티어 넘버 및 최대 티어 넘버는 모두 같을 수 있다. 이 도면을 보면, 섹션 넘버 1인 섹션은 priority 0을 갖고, 섹션 넘버 2인 섹션은 priority 2를 갖고, 섹션 넘버 3인 섹션은 priority 1을 갖고, 섹션 넘버 4인 섹션은 priority 3을 가짐을 알 수 있다. 본 발명의 일 실시예에 따르면, 하나의 서브타이틀 패킷은 하나 이상의 문장들로 구성된 자막을 포함하고 있다. 동시에, 하나의 서브타이틀 패킷은 하나 이상의 섹션들을 포함할 수 있다. 그리고, 하나의 섹션은 전체 자막의 한 문장을 나타낼 수 있다.
도 8은 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀 TS muxing하여 전송하는 경우, 티어 넘버를 시그널링하는 방법을 나타낸 도면이다 (시나리오 1, 2의 경우).
본 발명의 일 실시예에 따르면, XML 서브타이틀을 TS 패킷으로 muxing하는 경우, XML 서브타이틀 패킷 (XML Sub. ES)은 PES 패킷의 페이로드에 포함되고, PES 패킷은 TS 패킷의 페이로드에 포함되어 전송될 수 있다. 이 때, XML 서브타이틀 패킷의 티어 넘버 및/또는 최대 티어 넘버 정보는 TS 패킷의 헤더에 포함될 수 있다. 본 발명의 일 실시예에 따르면, PES 패킷은 XML 서브타이틀 패킷을 포함한 페이로드와 PES 헤더를 포함하고, TS 패킷은 PES 패킷을 포함한 페이로드와 TS 헤더를 포함할 수 있다.
본 발명의 일 실시에에 따르면, XML 서브타이틀 패킷은 하나 이상의 섹션으로 나눠져 PES 페이로드에 포함될 수 있다. 예를 들어, 제 1 서브타이틀 패킷 (XML Sub. ES 1, L8010)은 4개의 섹션을 포함할 수 있고, 제 2 서브타이틀 패킷 (XML Sub. ES 2, L8020)은 6개의 섹션을 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀을 TS muxing하여 전송하는 경우, priority를 시그널링하는 방법을 나타낸 도면이다 (시나리오 2의 경우).
본 발명의 일 실시예는 XML 기반의 서브타이틀이 TS 패킷으로 muxing되어 전송되는 경우, XML 서브타이틀 내 섹션의 priority는 XML 서브타이틀 내부에서 시그널링할 수 있다.
L9010을 보면, 제 1 XML 서브타이틀 패킷 (XML Sub. ES 1, L9010)의 바디는 해당 서프타이틀 패킷 내에 존재하는 4개의 섹션들에 대한 섹션 넘버 및 priority를 시그널링할 수 있다. 이 도면을 보면, 섹션 넘버 1인 섹션은 priority 0을 갖고, 섹션 넘버 2인 섹션은 priority 2를 갖고, 섹션 넘버 3인 섹션은 priority 1을 갖고, 섹션 넘버 4인 섹션은 priority 3을 가짐을 알 수 있다. 이 때, 하나의 섹션은 하나의 문장 자막을 나타낼 수 있다.
L9020을 보면, 제 2 XML 서브타이틀 패킷 (XML Sub. ES 2, L9020)의 바디는 해당 서프타이틀 패킷 내에 존재하는 6개의 섹션들에 대한 섹션 넘버 및 priority를 시그널링할 수 있다. 이 도면을 보면, 섹션 넘버 1인 섹션은 priority 0을 갖고, 섹션 넘버 2인 섹션은 priority 3를 갖고, 섹션 넘버 3인 섹션은 priority 2을 갖고, 섹션 넘버 4인 섹션은 priority 1, 섹션 넘버 5인 섹션은 priority 4, 섹션 넘버 6인 섹션은 priority 5를 가짐을 알 수 있다. 이 때, 하나의 섹션은 하나의 문장 자막을 나타낼 수 있다.
본 발명의 다른 일 실시예에 따르면, XML 서브타이틀 패킷의 바디는 해당 섹션의 섹션 넘버 및 priority뿐만 아니라, 해당 XML 서브타이틀 패킷에 포함된 총 섹션의 개수, 해당 XML 서브타이틀 패킷의 티어 넘버 및/또는 최대 티어 넘버를 포함할 수 있다.
본 발명의 일 실시예에 따라, 이전 도면과 본 도면을 조합해 보면, XML 서브타이틀이 TS 패킷으로 먹싱되어 전송되는 경우, XML 서브타이틀 패킷의 티어 넘버 및/또는 최대 티어 넘버 정보는 TS 패킷의 헤더에 포함될 수 있고, XML 서브타이틀 패킷에 포함되는 섹션들 각각의 priority 정보는 XML 서브타이틀 패킷 내부의 바디 부분에 포함될 수 있다.
도 10은 본 발명의 일 실시예에 따른 PVR_assist_information_for_subtitle data field의 구성 및 data_field_tag 필드의 구성을 나타낸 도면이다 (시나리오 1).
본 발명의 일 실시예는 모든 배속의 트릭 플레이에 대해 어떤 구간의 자막을 디스플레이할 지에 대한 시그널링 방법을 제공할 수 있다. 본 발명의 일 실시예는 기존 표준에서, 지원 가능한 모든 배속에 대해 video stream의 trick play를 위해 제공하던 tier framework와 동일한 방법을 사용하여 자막에 대해서도 트릭 플레이 서비스를 제공할 수 있다. 여기서, tier framework란 모든 video frame 내에 decoding/display/discardable frame 등의 정보를 포함하도록 하여 모든 배속의 트릭 플레이를 지원하도록 한 framework를 나타낸다. 본 발명의 일 실시예는 모든 서브타이틀 패킷에 대하여 각각의 서브타이틀 패킷의 중요도를 나타내는 tier_num_of_subtitle 정보를 시그널링할 수 있다. 본 발명의 일 실시예에 따른 송신단은 트릭 플레이 서비스의 배속 조절 및/또는 자막의 효과적인 의미 전달을 위하여 서브타이틀 패킷에 티어 넘버를 할당할 수 있다.
본 발명의 일 실시예에 따른 PVR_assist_information_for_subtitle 데이터 필드는 data_field_tag 필드, data_field_length 필드, support_trick_play_flag 필드, max_tier_num_of_subtitle 필드 및/또는 tier_num_of_subtitle 필드를 포함할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, TS 패킷은 어뎁테이션 필드 (adaptation field)를 포함하고, 어뎁테이션 필드는 private_data_bytes 필드를 포함하고, private_data_bytes 필드는 하나 이상의 데이터 필드 (data field)를 포함할 수 있다. 그리고, 어뎁테이션 필드는 TS 패킷의 헤더에 포함될 수 있다. 본 발명의 일 실시예에 따르면, PVR_assist_information_for_subtitle data field는 상술한 데이터 필드의 종류 중 하나에 해당할 수 있다.
data_field_tag 필드는 이 데이터 필드가 PVR_assist_information_for_subtitle 데이터 필드 인지를 식별할 수 있다. 본 발명의 일 실시예에 따르면, video stream의 trick play를 위한 PVR_assist_information 데이터 필드의 data_field_tag는 0x03이고, AU_information 데이터 필드의 data_field_tag는 0x02일 수 있다. 본 발명의 일 실시에에 따르면, PVR_assist_information_for_subtitle 데이터 필드의 data_field_tag 값은 0x05로 할당될 수 있다 (L10020). 본 발명의 일 실시예에 따른 data_field_tag의 값은 adaptation field data descriptor()의 adaptation_field_data_identifier의 값을 반영할 수 있다. 본 발명의 일 실시예에 따른 data_field_tag 값 0x01, 0x02, 0x03은 PMT의 ES level descriptor loop에 포함되는 Adaptation field data descriptor의 adaptation field data identifier의 b0, b1, b2과 동일한 값을 가질 수 있다. 따라서, 본 발명의 일 실시예에 따른 PVR_assist_information_for_subtitle 데이터 필드의 data_field_tag 값이 0x05로 할당된다면 adaptation field data identifier의 b4와 동일할 수 있다.
data_field_length 필드는 해당 데이터 필드의 길이를 나타낸다.
support_trick_play_flag 필드는 trick play시 해당 subtitle packet을 display 할 수 있는지의 여부를 나타낸다. 본 발명의 일 실시예는 이 필드 값이 0인 경우, trick play 시 자막을 포함하고 있는 subtitle packet을 디코딩하지 않고 버릴 수 있다.
max_tier_num_of_subtitle 필드는 중요도가 가장 낮은 subtitle packet의 티어 넘버를 나타낸다. 본 발명의 일 실시예에 따르면, 이 필드는 매 subtitle packet 마다 시그널링될 필요가 없는 추가 정보이므로, random access 마다 시그널링될 수 있다. 본 발명의 일 실시예는 PVR_assist_info_for_subtitle_present_flag 필드를 새롭게 정의하고, PVR_assist_info_for_subtitle_present_flag 필드의 값이 1인 경우에만 max_tier_num_of_subtitle 필드의 정보를 시그널링하도록 할 수 있다.
tier_num_of_subtitle 필드는 해당 subtitle packet의 중요도를 나타내는 티어 넘버를 나타낸다. 이 필드가 나타내는 tier는 video stream의 trick play를 위한 tier와 동일할 수 있다. 본 발명의 일 실시예에 따르면, 중요도가 높은 단계에서 낮은 단계로 갈 때, 티어 넘버는 0에서부터 증가하는 형태로 할당될 수 있다. 예를 들어, 2배속 트릭 플레이를 요청하는 경우, 수신기는 max_tier_num_of_subtitle 필드가 나타내는 값을 티어 넘버로 갖는 subtitle packet을 버리고, 나머지 tier number를 갖는 subtitle packet을 subtitle packet 내부에 미리 지정된 시작/종료 (begin/end) 시간에 맞춰 디스플레이할 수 있다.
도 11은 본 발명의 다른 일 실시예에 따른 PVR_assist_information_for_subtitle data field의 구성 및 data_field_tag 필드의 구성을 나타낸 도면이다 (시나리오 2).
본 발명의 일 실시예에 따르면, 전술한 일 실시예에 따른 시나리오 1은 하나의 subtitle packet 당 하나의 tier number가 할당되고, 트릭 플레이의 배속에 따른 tier number를 이용하여 subtitle packet을 decoding 하거나 decoding 하지 않고 버림으로써 서브타이틀을 트릭 플레이 서비스에서 제공할 수 있다. 본 발명의 일 실시예에 따른 시나리오 2는 하나의 subtitle packet 안에 여러 문장의 서브타이틀이 여러 timing에 걸쳐 display되는 형태인 경우, 하나의 subtitle packet 내 여러 개의 section으로 구분되는 subtitle이 각각의 timing에 디스플레이되도록 할 수 있다.
본 발명의 일 실시예에 따른 PVR_assist_information_for_subtitle 데이터 필드는 data_field_tag 필드, data_field_length 필드, tier_num_of_packet 필드, max_tier_num_of_subtitle 필드, num_of_sections 필드, section_number 필드, priority_of_section 필드 및/또는 max_speed_of_section 필드를 포함할 수 있다.
data_field_tag 필드는 전술한 일 실시예에 따른 시나리오 1의 data_field_tag 필드와 동일할 수 있다. 나아가, 본 발명의 일 실시예에 따르면, PVR_assist_information_for_subtitle data field의 data_field_tag 필드 값은 0x06과 같은 새로운 값으로 할당 될 수 있다. 이 필드에 대한 상세한 설명은 이전 도면에서 전술하였다.
data_field_length 필드는 해당 데이터 필드의 길이를 나타낸다.
tier_num_of_packet 필드는 해당 subtitle packet의 중요도를 나타내는 티어 넘버를 나타낸다. 이 필드가 나타내는 tier는 video stream의 trick play를 위한 tier와 동일할 수 있다. 본 발명의 일 실시예에 따르면, 중요도가 높은 단계에서 낮은 단계로 갈 때, 티어 넘버는 0에서부터 증가하는 형태로 할당될 수 있다.
max_tier_num_of_subtitle 필드는 중요도가 가장 낮은 subtitle packet의 티어 넘버를 나타낸다. 즉, 해당 subtitle packet의 최대 tier number를 나타낸다. 본 발명의 일 실시예에 따르면, 최대 티어 넘버를 시그널링함으로써 수신기 및/또는 사용자는 tier를 이용해 제공할 수 있는 트릭 플레이의 최대 배속을 알 수 있다. 본 발명의 일 실시예에 따르면, 이 필드는 매 subtitle packet 마다 시그널링될 필요가 없는 추가 정보이므로, random access 마다 시그널링될 수 있다. 본 발명의 일 실시예는 PVR_assist_info_for_subtitle_present_flag 필드를 새롭게 정의하고, PVR_assist_info_for_subtitle_present_flag 필드의 값이 1인 경우에만 max_tier_num_of_subtitle 필드의 정보를 시그널링하도록 할 수 있다.
num_of_sections 필드는 서브타이틀 패킷 내에 포함된 섹션의 개수를 나타낸다. 본 발명의 일 실시예에 따르면, 하나의 subtitle packet은 여러 개의 구간으로 나눠질 수 있고, 이러한 구간은 section이라고 명명될 수 있다.
section_number 필드는 해당 subtitle packet 내 해당 섹션의 넘버를 나타낸다. 본 발명의 일 실시예에 따르면, 하나의 서브타이틀 패킷은 하나 이상의 섹션을 포함할 수 있고, 각 section의 number를 나타내는 section_number 필드 값은 1부터 오름차순으로 넘버링될 수 있다. 본 발명의 일 실시예에 따르면, 이 필드의 값은 XML 서브타이틀 내부에서 시그널링 되는 섹션 넘버 값과 동일한 값을 가질 수 있다. 본 발명의 일 실시예에 따르면, XML 서브타이틀 내부에서 섹션 넘버를 시그널링하지 않고 섹션의 priority만을 signaling한다면, 이 데이터 필드에서 section_number 필드는 생략될 수 있다.
priority_of_section 필드는 해당 섹션의 priority를 나타낸다. 본 발명의 일 실시예는 이 필드가 나타내는 섹션 별 priority 값을 이용하여, 트릭 플레이 시, 디코딩 및/또는 디스플레이되어야 할 자막 섹션을 선택할 수 있다.
max_speed_of_section 필드는 해당 subtitle packet 내 해당 section으로 제공할 수 있는 트릭 플레이 서비스의 최대 배속을 나타낸다. 예를 들어, 해당 section으로 2, 4, 8 배속이 지원 가능 하다면, max_speed_of_section 필드 값은 8 배속임을 나타낸다.
도 12는 본 발명의 일 실시예에 따른 PVR_assist_information 데이터 필드의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 PVR_assist_information 데이터 필드 (L12010)는 data_field_tag 필드, data_field_length 필드, PVR_assist_tier_pic_num 필드, PVR_assist_block_trick_mode_present_flag 필드, PVR_assist_pic_struct_present_flag 필드, PVR_assist_tier_next_pic_in_tier_present_flag 필드, PVR_assist_substream_info_present_flag 필드, PVR_assist_extension_present_flag 필드, PVR_assist_segmentation_info_present_flag 필드, PVR_assist_tier_m_cumulative_frames_present_flag 필드, PVR_assist_tier_n_mmco_present_flag 필드, PVR_assist_reserved_0 필드, PVR_assist_seg_id 필드, PVR_assist_prg_id 필드, PVR_assist_seg_start_flag 필드, PVR_assist_seg_end_flag 필드, PVR_assist_prg_start_flag 필드, PVR_assist_prg_stop_flag 필드 및/또는 PVR_assist_scene_change_flag 필드를 포함할 수 있다.
data_field_tag 필드는 해당 데이터 필드가 PVR_assist_information임을 나타낼 수 있다. data_field_tag 필드는 0x03을 가질 수 있다.
data_field_length 필드는 data_field_tag 필드 및 data_field_length 필드를 제외한 PVR_assist_information의 길이를 나타낼 수 있다.
PVR_assist_tier_pic_num 필드는 PVR_assist_information와 관련된 픽처의 티어 넘버를 나타낼 수 있다. 최소 티어 넘버는 0일 수 있고, 최대 티어 넘버는 7일 수 있다. 티어 넘버 0은 앞으로 사용을 위해 남겨둘 수 있다. 본 발명의 일 실시예에 따르면 HEVC인 경우, HEVC RAP 픽처의 티어 넘버는 0일 수 있고 HEVC RAP 픽처가 아닌 다른 모든 픽처의 티어 넘버는 temporal id에 1을 더한 값일 수 있다. 본 발명의 일 실시예에 따르면, 이 필드는 비디오 스트림에 포함되는 픽처의 티어 넘버를 나타낼 수 있고, 티어 넘버 정보라고 명명될 수 있다. 여기서, 티어 넘버는 템포럴 서브 레이어를 시그널링하기 위해 사용될 수 있다. PVR_assist_tier_pic_num는 티어 넘버 정보로 명명될 수 있다.
PVR_assist_block_trick_mode_present_flag 필드는 이전의 RAP 픽처에서 이 필드의 값이 1인 경우에 RAP가 아닌 픽처에서 1 값을 가질 수 있다.
PVR_assist_pic_struct_present_flag 필드는 비디오 스트림이 AVC 또는 HEVC 스트림이고 PVR_assist_pict_struct 필드가 존재하는 경우에 1 값을 가질 수 있다.
PVR_assist_tier_next_pic_in_tier_present_flag 필드는 PVR_assist_tier_next_pic_in_tier 필드가 존재하는 경우에 1 값을 가질 수 있다.
PVR_assist_substream_info_present_flag 필드는 PVR_assist_substream_info 필드가 존재하는 경우에 1 값을 가질 수 있다.
PVR_assist_extension_present_flag 필드는 PVR_assist_segmentation_info_present_flag 필드, PVR_assist_tier_m_cumulative_frames_present_flag 필드, PVR_assist_tier_n_mmco_present_flag 필드 및 PVR_assist_temporal_id_info_present_flag 필드 중 어느 하나의 값이 1인 경우에 1 값을 가질 수 있다.
PVR_assist_segmentation_info_present_flag 필드는 PVR_assist_segmentation_info 필드가 존재하는 경우에 1 값을 가질 수 있다. 이 필드는 세그먼테이션 인포 플래그 정보로 명명될 수 있고, 픽처가 속한 세그먼트에 대한 정보의 존재 여부를 나타낼 수 있다.
PVR_assist_tier_m_cumulative_frames_present_flag 필드는 PVR_assist_tier_m 필드 및 PVR_assist_tier_m_cumulative_frames 필드가 존재하는 경우에 1 값을 가질 수 있다. HEVC인 경우, 이 필드는 0 값을 갖는 것이 권장될 수 있다.
PVR_assist_tier_n_mmco_present_flag 필드는 PVR_assist_tier_n_mmco 필드가 존재하는 경우에 1 값을 가질 수 있다. HEVC인 경우, 이 필드는 0 값을 가질 수 있다.
PVR_assist_seg_id 필드는 픽처가 속해있는 세그먼트의 id를 전달할 수 있다. 이 필드는 세그먼트 식별자 정보로 명명될 수 있고, 픽처가 속한 세그먼트의 id를 나타낼 수 있다.
PVR_assist_prg_id 필드는 픽처가 속해있는 프로그램의 id를 전달할 수 있다. 이 필드는 프로그램 식별자 정보로 명명될 수 있고, 픽처가 속한 프로그램의 id를 나타낼 수 있다.
PVR_assist_seg_start_flag 필드는 하나의 세그먼트 안에서 첫 번째 재생 순서를 갖는 픽처인 경우 1 값을 가질 수 있다. 이 필드는 세그먼트 스타트 플래그 정보로 명명될 수 있고, 각 세그먼트에서 재생 시간 순서가 첫 번째인 픽처를 식별할 수 있다.
PVR_assist_seg_end_flag 필드는 하나의 세그먼트 안에서 마지막 재생 순서를 갖는 픽처인 경우 1 값을 가질 수 있다. 이 필드는 세그먼트 앤드 플래그 정보로 명명될 수 있고, 각 세그먼트에서 재생 시간 순서가 마지막인 픽처를 식별할 수 있다.
PVR_assist_prg_start_flag 필드는 하나의 프로그램 안에서 첫 번째 재생 순서를 갖는 픽처인 경우 1 값을 가질 수 있다. 이 필드는 프로그램 스타트 플래그 정보로 명명될 수 있고, 각 프로그램에서 재생 시간 순서가 첫 번째인 픽처를 식별할 수 있다.
PVR_assist_prg_stop_flag 필드는 하나의 프로그램 안에서 마지막 재생 순서를 갖는 픽처인 경우 1 값을 가질 수 있다. 이 필드는 프로그램 엔드 플래그 정보로 명명될 수 있고, 각 프로그램에서 재생 시간 순서가 마지막인 픽처를 식별할 수 있다.
PVR_assist_scene_change_flag 필드는 새로운 장면의 재생 순서상 첫 번째 픽처인 경우 1 값을 가질 수 있다.
본 발명의 일 실시예에 따르면, 트릭 플레이 시, 효율적인 자막 재생을 위해 상술한 PVR_assist_information 데이터 필드 내에 존재하는 기존 필드의 의미를 수정하고, 새로운 필드를 추가할 수 있다 (L12020).
본 발명의 일 실시예에 따르면, PVR_assist_segmentation_info_present_flag 필드 값이 1인 경우, Video stream 중 일부를 나타내는 segment에 scene change가 포함되어 있는지, 해당 segment가 video sequence의 마지막인지 등의 정보를 시그널링할 수 있다. 본 발명의 일 실시예에 따르면, scene change가 있는 경우 및/또는 video sequence가 끝나는 경우, 화면과 전혀 연관되지 않은 자막이 재생되는 것을 막기 위해, 자막의 display를 중지할 수 있다.
본 발명의 일 실시예에 따르면, PVR_assist_scene_change_flag 필드는 현재 subtitle packet에 대응되는 video에 scene change가 포함되어 있는지 여부를 나타낼 수 있다.
본 발명의 일 실시예에 따른 PVR_assist_information 데이터 필드는 PVR_assist_end_of_sequence_flag 필드를 포함할 수 있다. PVR_assist_end_of_sequence_flag 필드는 현재 subtitle packet에 video sequence의 마지막이라는 정보가 포함되어 있는지의 여부를 나타낸다. 또는, 이 필드는 현재 서브타이틀 패킷에 대응되는 비디오 스트림에 scene change가 포함되어 있는지 여부를 나타낼 수 있다.
도 13은 본 발명의 일 실시예에 따른 PMT (program map table), adapatation_field_data_descriptor 및 adaptation_field_data_identifier 필드의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 adaptation_field_data_descriptor (L13020)는 adaptation field 내에 private data field 내에 위치하는 data field들의 종류를 나타내는 방법을 제공할 수 있다. 이 디스크립터는 PMT의 stream 루프 안에 포함될 수 있다. adaptation_field_data_descriptor (L13020)는 descriptor tag, descriptor length 및/또는 adaptation field data identifier를 포함할 수 있다. descriptor tag는 이 디스크립터를 식별할 수 있고, adaptation_field_data_descriptor임을 식별하는 값으로 0x70 값을 가질 수 있다. descriptor length는 이 디스크립터의 길이를 나타낸다. adaptation_field_data_identifier는 adaptation field의 private data bytes에 포함되어 전송되는 data field들을 식별할 수 있다. adaptation_field_data_identifier는 8bit로 표현될 수 있고 각 bit 값이 1이면 해당 data field가 지원됨을 나타낸다.
본 발명의 일 실시예에 따른 adaptation_field_data_identifier (L13030)는 8비트로 표현될 수 있고, b0 (첫 번째 비트)는 announcement switching data field (TS 101 154 [9])가 adaptation field 내에 존재하는지 여부를 나타낼 수 있고, b1은 AU_information data field (TS 101 154 [9])의 존재여부, b2는 PVR_assist_information_data_field (TS 101 154 [9])의 존재여부, b3는 tsap_timeline (DVB BlueBook A167-2 [i.10])의 존재여부, b4는 본 발명의 일 실시예에 따른 PVR_assist_information_for_subtitle 데이터 필드의 존재여부, b5, 6 및 7은 reserved_0 for future use를 나타낼 수 있다. PVR_assist_information_for_subtitle 데이터 필드에 대한 상세한 설명은 전술하였다.
본 발명의 일 실시예에 따른 PMT (program map table, L13010)는 table_id 필드, section_syntax_indicator 필드, section_length 필드, program_number 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, PCR_PID 필드, program_info_length 필드, descriptor(), stream_type 필드, elementary_PID 필드, ES_info_length 필드, descriptor() 및/또는 CRC_32 필드를 포함한다. table_id 필드는 테이블의 타입을 식별한다. table_id 필드는 당해 테이블 섹션이 PMT를 구성하는 섹션임을 나타내는 역할을 할 수 있다. section_syntax_indicator 필드는 당해 필드 이후에 따라오는 테이블 섹션의 포맷을 나타낸다. 당해 필드의 값이 0이면 당해 테이블 섹션은 short 포맷임을 나타낸다. 당해 필드의 값이 1이면 당해 테이블 섹션은 일반적인 long 포맷을 따른다. section_length 필드는 당해 테이블 섹션의 길이를 나타낸다. section_length 필드는 당해 필드 이후부터 당해 테이블 섹션의 끝까지의 길이를 나타내므로 당해 테이블 섹션의 실제 길이는 sercion_length 필드가 나타내는 값에 3 바이트를 더한 값이 될 수 있다. program_number 필드는 트랜스 포트 스트림 안에 존재하는 각 프로그램 서비스 또는 가상 채널 (virtual channel)을 식별한다. version_number 필드는 프라이빗 테이블 섹션 (private table section)의 버전 넘버를 나타낸다. 수신기는 당해 필드와 후술할 current_next_indicator 필드를 이용해서 메모리에 저장되어 있는 테이블 섹션 중 가장 최근의 것을 찾아 낼 수 있다. current_next_indicator 필드가 나타내는 값이 1이면 현재 전송되는 테이블이 유효하다는 것을 나타내고 0이면 현재 전송되는 테이블이 현재는 유효하지 않지만 이후에 유효할 것이라는 것을 나타낸다. section_number 필드는 당해 섹션이 당해 테이블의 몇 번째 섹션인지를 나타낸다. last_section_number 필드는 당해 테이블을 구성하고 있는 섹션 중에 마지막 섹션의 순번을 나타낸다. PCR_PID 필드는 프로그램 서비스를 위한 PCR (Program Clock Reference)이 존재하는 패킷 ID (packet ID)를 나타낸다. program_info_length 필드는 이후에 따라오는 프로그램 정보 (program_info)를 나타내는 디스크립터의 길이를 나타낸다. descriptor()는 당해 테이블 섹션에 해당하는 프로그램에 대한 정보를 나타내는 디스크립터를 의미한다. stream_type 필드는 당해 테이블이 설명하고 있는 프로그램을 구성하는 각 단위 스트림의 종류를 나타낸다. elementary_PID 필드는 당해 테이블이 설명하고 있는 프로그램을 구성하는 각 단위 스트림의 패킷 ID (packet ID)를 나타낸다. ES_info_length 필드는 이후에 따라오는 각 단위 스트림에 대한 정보 (ES_info)를 나타내는 디스크립터의 길이를 나타낸다. descriptor()는 당해 테이블이 설명하고 있는 프로그램을 구성하는 단위 스트림들 중에 하나의 단위 스트림에 대한 정보를 나타내는 디스크립터를 의미한다. 본 발명의 일 실시예에 따른 adaptation field data descriptor가 이 디스크립터에 해당할 수 있다. CRC_32 필드는 당해 테이블 섹션에 포함된 데이터에 오류가 있는지 확인하기 위하여 사용되는 CRC 값을 나타낸다.
본 발명의 일 실시예는 adaptation field data descriptor를 PMT의 ES_info 루프에 포함함으로써 트릭 플레이시, 효율적인 자막 재생을 위한 정보가 adaptation field에 포함되어 있는지 여부를 시그널링할 수 있다.
도 14는 본 발명의 일 실시예에 따른 XML 서브타이틀의 트릭 플레이 서비스를 위한 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 수신 장치는 MPEG-2 TS DEMUX (L14010), PSI/SI or PSIP Decoder (L14020), Buffer (L14030), Video decoder (L14040), IP or TS DEMUX (L14050), Buffer (L14060), XML parser (L14070), System Clock (L14080), A/V/Sub. Synchronizer (L14090) 및/또는 Display processing unit (L14100)를 포함할 수 있다.
MPEG-2 TS DEMUX (L14010)는 비디오 스트림을 포함하는 TS 패킷을 수신하여 역다중화할 수 있다.
PSI/SI or PSIP Decoder (L14020)는 MPEG-2 TS DEMUX (L14010)로부터 PSI/SI 또는 PSIP 정보를 수신하여 디코딩할 수 있다. PSI/SI or PSIP Decoder (L14020)는 본 발명의 일 실시예에 따른 PMT 및/또는 adaptation_filed_data_descriptor를 디코딩할 수 있다.
Buffer (L14030)는 MPEG-2 TS DEMUX (L14010)로부터 비디오 스트림을 수신할 수 있다. 본 발명의 일 실시예에 따르면, 트릭 플레이 시, 디코딩 및/또는 재생되지 않는 비디오 프레임은 비디오 디코더로 전달되지 않고 Buffer (L14030)에서 버려질 수 있다.
Video decoder (L14040)는 Buffer (L14030)로부터 수신한 비디오 프레임을 디코딩할 수 있다. 본 발명의 일 실시예에 따르면, 트릭 플레이 시, 디코딩 및/또는 재생될 비디오 프레임만이 선택되어 Video decoder (L14040)에서 디코딩될 수 있다.
IP or TS DEMUX (L14050)는 서브타이틀을 포함한 IP 및/또는 TS 패킷을 수신하여 역다중화할 수 있다.
Buffer (L14060)는 IP or TS DEMUX (L14050)로부터 서브타이틀을 수신할 수 있다. 본 발명의 일 실시예에 따르면, 트릭 플레이 시, 디코딩 및/또는 재생되지 않는 서브타이틀은 XML parser (L14070)로 전달되지 않고 Buffer (L14060)에서 버려질 수 있다.
XML parser (L14070)는 Buffer (L14060)로부터 수신한 서브타이틀을 파싱할 수 있다. 본 발명의 일 실시예에 따르면, Buffer (L14060) 및 XML parser (L14070)는 하나의 모듈에서 작동될 수 있다.
System Clock (L14080)은 IP 패킷 및/또는 TS 패킷의 시간 정보를 수신할 수 있다.
A/V/Sub. Synchronizer (L14090)는 Buffer (L14030) 및/또는 Buffer (L14060)으로부터 PTS 등의 시간 정보를 수신하고, System Clock (L14080)로부터 시간 정보를 수신하여 오디오, 비디오 및/또는 서브타이틀의 동기화를 수행할 수 있다. 본 발명의 일 실시예에 따르면, 오디오, 비디오 및/또는 서브타이틀의 동기화는 PTS 대신에 Route header extension에 포함되는 PTS와 비슷한 역할을 하는 presentation time extension (EXT_ROUTE_PRESENTATION_TIME) 등이 사용될 수 있다. 본 발명의 일 실시예에 따르면, 오디오, 비디오 및/또는 서브타이틀의 동기화는 PTS 대신에 Route header extension에 포함되는 PTS와 비슷한 역할을 하는 presentation time extension (EXT_ROUTE_PRESENTATION_TIME) 등이 사용될 수 있다.
Display processing unit (L14100)은 Video decoder (L14040)로부터 디코딩된 비디오 데이터를 수신하고, XML parser (L14070)로부터 서브타이틀을 수신하여 디스플레이할 수 있다.
도 15는 본 발명의 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다.
본 발명의 일 실시예는 비디오를 트릭 플레이 (trick play)할 때, 비디오와 XML 기반의 서브타이틀 (subtitle)을 효율적으로 동기화 (synchronization)하기 위한 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면, 트릭 플레이 서비스 (Trick play service)를 제공할 때, 비디오 (Video)의 경우에는 temporal ID이나 tier number를 이용하거나 sub-stream방식으로 trick play를 제공할 수 있다. 본 발명의 일 실시예에 따르면, 트릭 플레이 (trick play)와 관련된 정보는 TS packet의 adaptation field 내에 PVR_assist_information descriptor에 포함될 수 있다. 따라서, 본 발명의 일 실시예에 따른 수신기는 TS packet의 TS header만을 확인함으로써 해당 video frame이 트릭 플레이 서비스를 제공하기 위해 필요한 frame인지 아닌지를 판단할 수 있고 판단 결과, 필요하지 않은 packet인 경우에는 해다 패킷을 buffer에서 decoder로 전달하지 않고 버릴 수 있다.
본 발명의 일 실시예에 따르면, 오디오와 서브타이틀의 동기화를 위해서, PES packet header에 포함되어 있는 PTS가 필요한데, trick play를 하게 되면 버려지는 frame의 PTS (presentation time stamp)는 알 수 없게 되므로 video/audio/subtitle의 동기화를 위해서는 추가적으로 PTS를 확인할 필요가 있다. 본 발명의 일 실시예에 따르면, 만약 오디오 또는 서브타이틀의 PTS가 버려진 비디오 프레임 (frame)의 PTS와 일치하는 경우에는 기존의 trick play 방법에 의해서는 비디오/오디오/서브타이틀의 동기를 맞추기 어려울 수 있다. 따라서, 본 발명의 일 실시예는 디코딩된 비디오 프레임의 PTS를 이용하여 상기 비디오 프레임의 PTS가 서브타이틀 패킷의 PTS와 근접하면 해당 서브타이틀을 디코딩 및/또는 디스플레이하는 방법을 통하여 비디오/오디오/서브타이틀의 동기화를 수행할 수 있다.
본 발명의 일 실시예는 XML 기반의 서브타이틀 (subtitle)을 MPEG-2 Transport Stream (TS)로 다중화 (muxing)한 경우, 사용자의 트릭 플레이의 요구가 있을 때, 비디오 프레임과 연결된 서브타이틀을 효율적으로 출력하기 위해서는 비디오 프레임과 연결된 서브타이틀의 동기를 맞출 수 있는 방법을 제공할 수 있다. 본 발명의 다른 일 실시예에 따르면, XML 기반의 서브타이틀은 Route와 같은 Transport packet을 통해 전송될 수 있다. 이 경우, Route header extension에 포함되는 PTS와 비슷한 역할을 하는 presentation time extension (EXT_ROUTE_PRESENTATION_TIME) 등을 이용하여 서브타이틀과 비디오를 동기화할 수 있다.
본 발명의 일 실시예는 서브타이틀 패킷마다 티어 넘버 (tier number)를 할당하여 서브타이틀 패킷의 우선순위를 정할 수 있다.
본 발명의 일 실시예에 따른 시나리오 1은 서브타이틀 패킷 (Subtitle packet) 별 중요도 (subtitle packet의 tier number)가 시그널링되는 경우 즉, 하나의 PES 패킷에 한번에 디스플레이될 하나 또는 두 문장 정도의 서브타이틀이 포함되어 있는 경우를 전제로 할 수 있다. 본 발명의 일 실시예에 따른 시나리오 1은 트릭 플레이 서비스를 제공할 때, 비디오를 포함하는 PES 패킷의 헤더에 포함된 PTS와 XML 기반의 서브타이틀이 다중화된 PES 패킷의 헤더에 포함된 PTS 값을 비교하여 비디오와 서브타이틀의 동기를 맞출 수 있다.
본 발명의 일 실시예에 따른 시나리오 2는 서브타이틀 패킷 (subtitle packet) 내의 일부 구간 (section) 별 우선순위 (subtitle packet 내부에 존재하는 section의 priority)가 시그널링되는 경우를 전제로 할 수 있다. 본 발명의 일 실시예에 따른 시나리오 2는 트릭 플레이 서비스를 제공할 때, 비디오를 포함하는 PES 패킷의 헤더에 포함된 PTS, 서브타이틀이 다중화된 PES 패킷의 헤더에 포함된 PTS 및 서브타이틀의 XML 내부의 시간 정보를 이용하여 비디오와 서브타이틀의 동기를 맞출 수 있다. 여기서, 상기 서브타이틀의 XML 내부의 시간 정보는 서브타이틀이 다중화된 PES 패킷 내에 존재하는 하나 이상의 섹션 (section)에 대한 시간 정보를 나타낼 수 있다.
본 발명의 일 실시예에 따른 시나리오 3은 서브타이틀 패킷 별 중요도를 나타내는 티어 넘버 (tier number) 및/또는 서브타이틀 패킷 내의 섹션 별 우선순위를 나타내는 우선순위 정보 (priority)와는 관계 없이, 서브타이틀이 디스플레이되는 시간을 줄임으로써 트릭 플레이 서비스를 제공할 때, 비디오와 서브타이틀의 동기를 맞출 수 있다. 여기서, 본 발명의 일 실시예에 따른 시나리오 3은 티어 넘버 및/또는 우선순위 정보를 무시할 수 있다. 또는, 시나리오 3에 따른 방송 시스템에서는 티어 넘버 및/또는 우선순위 정보가 존재하지 않을 수 있다.
본 발명의 일 실시예에 따른 수신기는 트릭 플레이 시, 디코딩되지 않고 버려진 비디오 프레임의 PTS와 동일한 PTS 값을 갖는 XML 기반의 서브타이틀을 인접한 다른 비디오 프레임과 동기화하여 디스플레이할 수 있다. 즉, 본 발명의 일 실시예는 수신기가 트릭 플레이 서비스를 제공할 때, MPEG-2 TS 패킷으로 다중화된 XML 기반의 서브타이틀에 적합한 비디오 프레임을 찾고, 찾은 비디오 프레임과 서브타이틀의 동기를 맞춰 디스플레이할 수 있다.
이 도면은 비디오 스트림 및 XML 기반의 서브타이틀을 PES 패킷 형태로 구성했을 때, 비디오와 서브타이틀의 동기를 맞추는 방법을 설명하기 위한 도면이다. 이 도면은 본 발명의 일 실시예를 설명하기 위한 것으로 실제 비디오와 서브타이틀의 구성과는 다를 수 있다.
이 도면의 L15010은 비디오를 구성하는 각 프레임을 하나의 PES 패킷으로 구성한 경우, 각 PES 패킷의 헤더에 PTS가 포함되는 구조를 나타낸다. 즉, 각 프레임 마다 PTS가 전달될 수 있다. 여기서, 프레임은 비디오 프레임을 의미할 수 있다. 본 발명의 일 실시예에 따르면, 트릭 플레이 시에 사용되는 PTS는 기존의 PTS가 사용되는 방법과 달리, 비디오와 서브타이틀 패킷의 동기를 맞추기 위한 메타데이터와 유사한 용도로 사용될 수 있다. 즉, 본 발명의 일 실시예는 PTS를 이용하여 비디오 및/또는 서브타이틀을 재생하는 것이 아니라, 단지 두 스트림 (예를 들어, 비디오 스트림 및 서브타이틀 스트림)의 동기를 맞추기 위해 사용할 수 있다.
이 도면의 L15020은 서브타이틀이 하나의 PES 패킷으로 구성되고, 각 서브타이틀 PES 패킷 (서브타이틀이 포함된 PES 패킷)의 헤더에 PTS가 포함되는 구조를 나타낸다. 여기서, 제 1 서브타이틀 패킷 (XML Sub. ES 1를 포함하는 PES 패킷)은 티어 넘버로 0 값을 갖고, 제 2 서브타이틀 패킷 (XML Sub. ES 2를 포함하는 PES 패킷)은 티어 넘버로 1 값을 갖고, 제 3 서브타이틀 패킷 (XML Sub. ES 3을 포함하는 PES 패킷)은 티어 넘버로 2 값을 갖는다. 여기서, 서브타이틀 PES 패킷에 포함된 티어 넘버는 서브타이틀의 트릭 플레이에 사용될 수 있다. 여기서, 서브타이틀 PES 패킷은 서브타이틀 패킷과 동일한 의미를 가질 수 있다.
이 도면의 L15030은 PES 패킷에서 PES 헤더를 제거한 엘레멘터리 스트림 (Elementary stream)을 나타낸다. 여기서, 엘레멘터리 스트림은 순수한 XML 기반의 서브타이틀 자체를 나타낼 수 있다. 본 발명의 일 실시예에 따르면, 서브타이틀의 엘레멘터리 스트림 (ES) 내부에는 여러 개의 섹션 (section)으로 분리된 XML 서브타이틀이 포함될 수 있다. 그리고, 본 발명의 일 실시예에 따르면, 각 섹션 내부에는 각 섹션에 해당하는 서브타이틀의 디스플레이 시간을 제어하는 내부 시간이 존재할 수 있다. 본 발명의 일 실시예에 따르면, 제 2 서브타이틀 패킷에 포함된 서브타이틀 ES는 총 4개의 섹션들 (XML Sub. ES 2 section #1, XML Sub. ES 2 section #2, XML Sub. ES 2 section #3, XML Sub. ES 2 section #4)로 분리될 수 있다. 여기서, 제 1 서브타이틀 섹션 (XML Sub. ES 2 section #1)은 우선순위 정보 (priority)로 0 값을 갖고, 제 2 서브타이틀 섹션 (XML Sub. ES 2 section #2)은 우선순위 정보 (priority)로 2 값을 갖고, 제 3 서브타이틀 섹션 (XML Sub. ES 2 section #3)은 우선순위 정보 (priority)로 1 값을 갖고, 제 4 서브타이틀 섹션 (XML Sub. ES 2 section #4)은 우선순위 정보 (priority)로 3 값을 갖는다. 여기서, 각 서브타이틀 섹션에 포함된 우선순위 정보는 서브타이틀의 트릭 플레이에 사용될 수 있다.
도 16은 본 발명의 일 실시예에 따른 XML 기반의 서브타이틀 패킷의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 하나의 서브타이틀 패킷은 하나의 자막 문장을 포함할 수 있다 (L16010, 시나리오 1). 예를 들어, 도면에 도시된 바와 같이 (L16010), 제 1 서브타이틀 패킷은 자막 문장 1을 포함하고, 제 2 서브타이틀 패킷은 자막 문장 2를 포함하고, 제 3 서브타이틀 패킷은 자막문장 3을 포함하고, 제 4 서브타이틀 패킷은 자막 문장 4를 포함할 수 있다.
본 발명의 다른 일 실시예에 따르면, 하나의 서브타이틀 패킷은 하나 이상의 자막 문장을 포함할 수 있다. (L16020, 시나리오 2) 그리고, 서브타이틀 패킷 내에 존재하는 여러 개의 섹션들 중 하나의 섹션은 하나의 자막 문장을 포함할 수 있다. 예를 들어, 도면에 도시된 바와 같이 (L16020), 제 1 서브타이틀 패킷에 포함된 제 1 섹션은 자막 문장 1을 포함하고, 제 2 섹션은 자막 문장 2를 포함하고, 제 3 섹션은 자막 문장 3을 포함하고, 제 4 섹션은 자막 문장 4를 포함할 수 있다.
이 도면에서, L16010에 도시된, 서브타이틀 패킷에 포함된 자막 문장들 각각은 L16020에 도시된, 제 1 서브타이트 패킷 내의 섹션들 각각에 포함된 자막 문장들과 동일한 자막 문장일 수 있다.
이 도면은 전술한 실시예에 따른 시나리오 1과 시나리오 2에서 언급한 subtitle packet의 차이를 나타낸다. L16010은 전술한 일 실시예에 따른 시나리오 1에 해당하는 subtitle packet 구성 형태를 나타내고, 이 때, 하나의 subtitle packet은 한 번에 display할 수 있는 자막을 포함할 수 있다. 본 발명의 일 실시예에 따른 시나리오 1은 트릭 플레이 시, subtitle packet 단위로 건너 뛰면서 자막을 display할 수 있다. L16020은 전술한 일 실시예에 따른 시나리오 2에 해당하는 subtitle packet 구성 형태를 나타내고, 이 때, 하나의 subtitle packet은 여러 문장(즉, 여러 개의 section)들을 포함할 수 있다. 본 발명의 일 실시에에 따른 시나리오 2는 subtitle packet 내의 section 단위로 건너 뛰면서 자막을 display할 수 있다. 본 발명을 통해, 트릭 플레이 시, 자막이 가진 의미를 전달하는 것이 가능한 방법으로 XML 기반의 서브타이틀을 출력할 수 있다.
도 17는 2배속의 트릭 플레이 서비스가 제공될 때 본 발명의 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다. (시나리오 1)
본 발명의 일 실시예에 따른 시나리오 1은 하나의 서브타이틀 패킷이 하나의 자막 문장을 포함하고 각 서브타이틀 패킷이 티어 넘버를 갖고 있을 때, 비디오와 서브타이틀의 동기를 맞추는 방법을 제공할 수 있다. 본 발명의 일 실시예에 따르면, 이 도면에서, 제 1 서브타이틀 패킷 (XML Sub. ES 1를 포함하는 PES 패킷)은 티어 넘버로 0 값을 갖고, 제 2 서브타이틀 패킷 (XML Sub. ES 2를 포함하는 PES 패킷)은 티어 넘버로 1 값을 갖고, 제 3 서브타이틀 패킷 (XML Sub. ES 3을 포함하는 PES 패킷)은 티어 넘버로 2 값을 갖는다. 여기서, 서브타이틀 PES 패킷은 서브타이틀 패킷과 동일한 의미를 가질 수 있다. 본 발명의 일 실시예에 따르면, 2배속 트릭 플레이 서비스를 위해서 티어 넘버로 0 및 1을 갖는 서브타이틀 패킷만이 디코딩 및 재생될 수 있다.
본 발명의 일 실시예는 디코딩될 비디오 프레임을 포함하는 PES 패킷의 PTS와 디코딩될 서브타이틀을 포함하는 PES 패킷의 PTS를 이용하여 비디오와 서브타이틀 간의 동기를 맞출 수 있다.
이 도면의 L17010은 비디오를 구성하는 각 프레임을 하나의 PES 패킷으로 구성한 경우, 각 PES 패킷의 헤더에 PTS가 포함되는 구조를 나타낸다. 이 도면에서 프레임 번호 (frame number)가 붙은 네모 상자 하나가 PES 패킷 하나에 해당된다. 이 도면의 L17020은 서브타이틀이 하나의 PES 패킷으로 구성되고, 각 서브타이틀 PES 패킷 (서브타이틀이 포함된 PES 패킷)의 헤더에 PTS가 포함되는 구조를 나타낸다.
본 발명의 일 실시예에 따르면, 이 도면에서, 프레임 번호 (frame number)가 1인 비디오 프레임을 포함하는 PES 패킷의 PTS는 PTS1이고, 그 값은 360이다. 그리고, XML Sub. ES 1을 포함하는 PES 패킷의 PTS는 PTS1이고, 그 값은 360이다. 따라서, 상기 두 PES 패킷의 PTS가 PTS1으로 동일하므로, 본 발명의 일 실시예는 프레임 번호가 1인 비디오 프레임을 디코딩하고 디스플레이할 때, XML sub. ES1을 디코딩하고 디스플레이함으로써 비디오와 서브타이틀의 동기를 맞출 수 있다.
이 때, 본 발명의 일 실시예에 따르 서브타이틀을 디스플레이하는 방법은 아래 기술할 몇 가지 방법이 있을 수 있다. 아래의 첫 번째 및 두 번째 방법은 수신기에서 트릭 플레이 시, 서브타이틀 패킷의 디스플레이 시간을 조절하는 방법이고, 세 번째 방법은 송신측의 인코딩 단계에서 서브타이틀이 디스플레이 될 시간을 시그널링해주는 방법이다.
첫 번째 방법으로, 본 발명의 일 실시예는 이 도면에서와 같이 2배속 트릭 플레이 시, XML sub. ES1을 XML sub. ES1의 내부에 포함된 내부 시간 (begin 및/또는 end)을 이용하여 상기 내부 시간이 표시한 시간 동안 XML sub. ES1을 디스플레이할 수 있다. 단, XML sub. ES 1의 end 시간보다 그 다음에 디스플레이되어야 하는 XML Sub. ES 2의 start 시간이 빠른 경우 (즉, XML Sub. ES 1과 XML Sub. ES 2의 내부 시간 상 디스플레이 시간이 겹치는 경우), 본 발명의 일 실시예는 XML Sub. ES 2만을 디스플레이 할 수 있다. 혹은, 이 경우, 본 발명의 일 실시예는 티어 넘버가 낮은 서브타이틀 패킷을 디스플레이할 수 있다.
두 번째 방법으로, 본 발명의 다른 일 실시예에 따르면, 이 도면에서와 같이 2배속 트릭 플레이 시, XML Sub. ES 1의 내부에 포함된 내부 시간은 무시될 수 있다. 예를 들어, 현재 디코딩 및 디스플레이되고 있는 서브타이틀 패킷에 포함된 서브타이틀이 XML Sub. ES N이라면, XML Sub. ES N 다음에 디코딩될 서브타이틀을 의미하는 XML Sub. ES N+1을 포함하는 서브타이틀 패킷의 PTS 직전까지만 XML Sub. ES N을 디코딩하고 XML Sub. ES N 내부의 내부시간은 무시할 수도 있다. 즉, 본 발명의 일 실시예는 서브타이틀이 포함되어 있는 PES 패킷의 PTS 값에만 의존하여 해당 서브타이틀을 디스플레이할 수 있다.
세 번째 방법으로, 본 발명의 다른 일 실시예는 인코딩 단계에서 서브타이틀 패킷 내부에 해당 서브타이틀이 트릭 플레이 서비스 시에 디스플레이되는 begin, end, duration 등의 시간 정보를 정의하여 이를 시그널링할 수 있다. 그리고, 시그널링된 서브타이틀 내부에 존재하는 내부 시간 정보를 이용하여 해당 서브타이틀을 디스플레이할 수 있다. 즉, 본 발명의 일 실시예는 2배속, 4배속, 8배속 또는 그 이상의 배속에 대한 서브타이틀의 디스플레이 관련 내부 시간을 모두 포함하도록 서브타이틀 내부의 시그널링을 수정할 수 있다.
본 발명의 일 실시예에 따르면, 2배속 트릭 플레이 시, 이 도면에서, X표시가 되어 있는 비디오 프레임만이 디코딩 및/또는 디스플레이될 수 있다. 즉, 프레임 번호가 1, 3, 5, 7 및 9인 비디오 프레임만이 디코딩 및/또는 디스플레이될 수 있다. 이 때, 나머지 비디오 프레임은 디코딩되지 않고 버려질 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서, 프레임 번호가 4인 비디오 프레임은 디코딩되지 않고 버려지므로, XML Sub. ES 2를 포함하는 PES 패킷의 PTS (PTS4)와 동일한 PTS를 갖는 비디오 프레임을 찾을 수 없다. 이 경우, 본 발명의 일 실시예는 해당 서브타이틀의 PTS와 동일한 PTS를 갖는 비디오 프레임만을 찾는 것이 아니라, 해당 서브타이틀의 PTS와 동일한 PTS를 갖는 비디오 프레임의 인접한 비디오 프레임들을 찾고, 찾은 비디오 프레임들의 PTS를 해당 서브타이틀의 PTS와 비교하여 해당 서브타이틀의 PTS와 더 가까운 PTS 값을 갖는 비디오 프레임에 해당 서브타이틀의 동기를 맞출 수 있다. 예를 들어, 이 도면에서, PTS (3번 비디오 프레임) < PTS (XML sub. ES 2) < PTS (5번 비디오 프레임)이므로, XML sub. ES 2는 3번 비디오 프레임과 5번 비디오 프레임 중, XML sub. ES 2의 PTS와 더 가까운 PTS 값을 갖는 비디오 프레임에 동기를 맞춰서 디코딩 및/또는 디스플레이될 수 있다.
본 발명의 다른 일 실시예에 따르면, 해당 서브타이틀의 PTS와 동일한 PTS를 갖는 비디오 프레임을 찾을 수 없고, 해당 서브타이틀의 PTS와 동일한 PTS를 갖는 비디오 프레임의 인접한 비디오 프레임들의 PTS 값과 해당 서브타이틀의 PTS 간격이 양쪽으로 동일한 경우, 해당 서브타이틀의 PTS보다 큰 값을 갖는 비디오 프레임이 디스플레이될 때에 동기를 맞춰 해당 서브타이틀이 디스플레이될 수 있다. 따라서, 본 발명의 일 실시예에 따르면 서브타이틀을 포함하는 PES 패킷의 PTS와는 다른 시간에 해당 서브타이틀이 디스플레이될 수 있다. 예를 들어, 이 도면에서, |PTS (XML sub. ES 2) - PTS (3번 비디오 프레임)| = |PTS (XML sub. ES 2) - PTS (5번 비디오 프레임)|인 경우, 디스플레이 순서가 뒤인 5번 비디오 프레임에 동기를 맞춰 XML sub. ES 2가 디스플레이될 수 있다. 본 발명의 다른 일 실시예는, 초기 설정에 따라서, 상기의 경우에서 디스플레이 순서가 앞인 3번 비디오 프렘임에 동기를 맞춰 XML sub. ES 2가 디스플레이되도록 할 수 있다.
이 도면에서는 2배속 트릭 플레이 서비스인 경우를 일 실시예로 설명했지만, N배속 트릭 플레이 서비스인 경우에도 상술한 방법과 동일한 방법으로 비디오와 서브타이틀의 동기를 맞출 수 있다. 예를 들어, 본 발명의 일 실시예는 아래 수식과 같이 서브타이틀의 PTS와 비디오 프레임의 PTS의 대소관계를 판별하여 서브타이틀의 PTS와 더 가까운 PTS 값을 갖는 비디오 프레임에 동기를 맞춰 해당 서브타이틀을 디스플레이할 수 있다. 예를 들어, |PTS (XML sub. ES #M) - PTS (#L번 비디오 프레임)| (>, = 또는 <) |PTS (XML sub. ES #M) - PTS (#L+N번 비디오 프레임)|와 같은 수식이 사용될 수 있다. 이 때, L은 디코딩된 비디오 프레임의 번호를 나타내고, M은 디코딩해야 할 서브타이틀 엘레멘터리 스트림의 번호 (서브타이틀 패킷의 번호와 동일)를 나타내고, N은 트릭 플레이 서비스의 배속 정보를 나타낸다. 즉, N배속 트릭 플레이 시, L번 비디오 프레임이 디코딩 및/또는 디스플레이된 후 바로 L+N번 비디오 프레임이 디코딩 및/또는 디스플레이될 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서, 프레임 번호가 7인 비디오 프레임의 PTS는 PTS7 (420)이고, XML sub. ES 3의 PTS는 PTS7 (420)이므로 프레임 번호가 7인 비디오 프레임과 XML sub. ES 3의 PTS 값이 동일하다. 하지만, 본 발명의 일 실시예에 따르면 2배속 트릭 플레이 시, 티어 넘버로 0 및 1을 갖는 서브타이틀 패킷에 포함된 서브타이틀만이 디코딩 및/또는 디스플레이되므로 XML Sub. ES 3은 디코딩되지 않고 버려진다. 이 경우, 본 발명의 일 실시예는, 프레임 번호 7인 비디오 프레임이 디스플레이되는 시간 (PTS7)이 XML Sub. ES 2의 end 시간 전이라면, 프레임 번호가 7인 비디오 프레임이 디스플레이되는 동안에도 계속적으로 XML Sub. ES 2가 디스플레이되도록 할 수 있다. 다만, 본 발명의 일 실시예는, 각 비디오 프레임을 포함하는 TS 패킷의 어댑테이션 필드 (adaptation field)에 해당 비디오 프레임이 장면 전환 (scene change)되는 프레임 및/또는 비디오 스트림의 끝 (end of stream) 프레임임을 알리는 시그널링 정보가 포함되어 있으면, 기존에 디스플레이 하던 서브타이틀을 더 이상 디스플레이하지 않을 수 있다.
도 18은 2배속의 트릭 플레이 서비스가 제공될 때 본 발명의 다른 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다. (시나리오 2)
이 도면의 L18010은 비디오를 구성하는 각 프레임을 하나의 PES 패킷으로 구성한 경우, 각 PES 패킷의 헤더에 PTS가 포함되는 구조를 나타낸다. 이 도면에서, X표시가 된 비디오 프레임만이 2배속 트릭 플레이 시, 디코딩 및/또는 디스플레이될 수 있다.
이 도면의 L18020은 서브타이틀이 하나의 PES 패킷으로 구성되고, 각 서브타이틀 PES 패킷 (서브타이틀이 포함된 PES 패킷)의 헤더에 PTS가 포함되는 구조를 나타낸다. 여기서, 서브타이틀 PES 패킷은 서브타이틀 패킷으로 명명될 수 있고, 2배속 트릭 플레이 시, X표시가 된 서브타이틀 패킷은 디코딩 및/또는 디스플레이되지 않을 수 있다.
이 도면의 L18030은 PES 패킷에서 PES 헤더를 제거한 엘레멘터리 스트림 (Elementary stream)을 나타낸다. 여기서, 엘레멘터리 스트림은 순수한 XML 기반의 서브타이틀 자체를 나타낼 수 있다. 이 도면에서, 2배속 트릭 플레이 시, X표시된 서브타이틀 ES는 디코딩 및/또는 디스플레이되지 않을 수 있다.
본 발명의 일 실시예에 따른 시나리오 2는 하나의 서브타이틀 패킷이 하나 이상의 자막 문장을 포함하고 각 서브타이틀 패킷은 각 티어 넘버를 갖고, 서브타이틀 패킷 내에 존재하는 하나 이상의 섹션들 중 하나의 섹션이 하나의 자막 문장을 포함하고 각 섹션은 각 우선순위 정보 (priority)를 갖고 있을 때, 비디오와 서브타이틀의 동기를 맞추는 방법을 제공할 수 있다. 본 발명의 일 실시예에 따르면, 이 도면에는, 티어 넘버로 0, 1 및 2를 갖는 서브타이틀 패킷이 있고, 티어 넘버로 2를 갖는 서브타이틀 패킷 내의 XML Sub. ES 2는 총 4개의 섹션으로 나눠져 있고, 나눠진 각 section은 우선순위 정보 (priority)를 0부터 3까지 가지고 있다. 본 발명의 일 실시예는 2배속 트릭 플레이 스비스를 제공하기 위해 티어 넘버로 0을 갖는 서브타이틀 패킷 (도면에서, XML Sub. ES 1을 포함하는 PES 패킷) 및 티어 넘버로 1을 갖는 서브타이틀 패킷 (도면에서, XML Sub. ES 2를 포함하는 PES 패킷)을 디코딩 및/또는 디스플레이할 수 있고, 우선순위 정보가 0인 섹션 (도면에서, XML Sub. ES 2 section #1) 및 우선순위 정보가 1인 섹션 (도면에서, XML Sub. ES 2 section #3)을 디코딩 및/또는 디스플레이할 수 있다. 본 발명의 일 실시예에 따르면, 나머지 서브타이틀 패킷 및 나머지 섹션들은 디코딩되지 않고 버려질 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서, 하나의 XML Sub. ES N은 여러 개의 섹션으로 나눠질 수 있고, 트릭 플레이 시, 우선순위 정보 (priority)가 낮은 섹션이 우선적으로 디코딩 및/또는 디스플레이될 수 있다. 이 때, 각 섹션들은 PTS를 포함하고 있지 않으므로 서브타이틀 내부에 존재하는 내부 시간 정보를 이용하여 디스플레이될 수 있다.
본 발명의 일 실시예에 따르면, 서브타이틀이 TTML1 (timed text markup language 1)의 미디어 타임 (media time) 기반인 경우, 내부 시간 정보는 clock-time 형식 및/또는 offset-time 형식으로 표시될 수 있다.
본 발명의 일 실시예에 따른 Clock-time은 hours: minutes: seconds: frames. sub-frame 형태로 표시될 수 있다. 여기서, frame과 sub-frame은 선택적으로 포함될 수 있다. 본 발명의 일 실시예에 따른 미디어 타임 (media time)으로의 변환은 아래 수식을 따를 수 있다. 아래 수식에서, effectiveFrameRate (in frames per second) = frameRate * frameRateMultipler 이다.
Media time = referenceBegin + 3600 * hours + 60 * minutes + seconds + ((frames + (subFrames / subFrameRate)) / effectiveFrameRate)
본 발명의 일 실시예에 따른 Offset-time은 time-count가 fraction 형태나 metric 형태로 표시될 수 있다. Metric 으로 표시되는 경우, 본 발명의 일 실시예에 따른 Offset-time은 hours, minutes, milliseconds, frames, ticks 형태로 표시될 수 있다. 본 발명의 일 실시예에 따른 미디어 타임 (media time)으로의 변환은 아래 수식을 따를 수 있다.
Media time = referenceBegin + ticks / tickRate
본 발명의 일 실시예에 따르면, Clock-time과 Offset-time에서 언급하는 referenceBegin은 가장 가까운 상위 container 시간에 평행하거나 혹은 순차적인 시간에 의해서 결정될 수 있다. 예를 들어, 가장 가까운 상위 container 시간이 시작된 상태이거나 혹은 Root temporal extent 인 경우, referenceBeginn은 0이 되고, 앞선 시간이 존재하는 경우에는 referenceBegin은 앞선 시간을 따를 수 있다. 본 발명의 일 실시예에 따르면, Clock-time과 Offset-time 관련하여 상술한 용어들은 시그널링될 수 있다.
본 발명의 일 실시예에 따르면, XML 기반의 서브타이틀 내부에 포함된 내부 시간 정보는 PES 패킷의 헤더에 포함되는 PTS와 다른 시간 정보일 수 있다. 따라서, 본 발명의 일 실시예는, 이 도면에서, XML Sub. ES 2의 첫 번째 섹션의 내부 시간 중 begin을 XML Sub. ES 2을 포함하는 PES 패킷의 PTS에 일치 시킬 수 있다. 본 발명의 일 실시예는 아래 식을 이용하여 미디어 타임 (media time)을 PTS로 변환할 수 있다. 본 발명의 일 실시예는, 이 도면에서, XML sub. ES 2의 XML Sub. ES 2 section #1의 begin을 PTS (XML sub. ES 2)로 변환하고, XML sub. ES 2에 포함된 나머지 섹션의 내부 시간인 begin과 end를 새로운 PTS로 변환하여, 해당 서브타이틀 섹션이 어떤 비디오 프레임을 포함하는 PES 패킷과 동기화되어 디스플레이되어야 하는지를 판단하고, 각 서브타이틀 섹션과 비디오 프레임의 동기를 맞춰 각 서브타이틀 섹션을 디코딩 및/또는 디스플레이할 수 있다. 이 경우에도 전술한 시나리오 1의 실시예와 마찬가지로, 본 발명의 일 실시예는 서브타이틀 섹션의 PTS 값과 동일한 PTS 값을 갖는 비디오 프레임이 없는 경우 인접한 비디오 프레임과 동기를 맞춰 해당 서브타이틀 섹션을 디스플레이할 수 있다.
PTS = (system_clock_frequency * media time / 300) % 2^33
본 발명의 일 실시예는 서브타이틀 섹션들의 디스플레이 시간이 겹쳐지는 경우, 기존에 디스플레이되던 서브타이틀 섹션 대신에 뒤따르는 새로운 서브타이틀 패킷의 섹션을 디코딩 및/또는 디스플레이할 수 있다. 또는, 본 발명의 일 실시예는 두 서브타이틀 섹션의 우선순위 (priority)를 비교해서 우선순위가 높은 서브타이틀 섹션을 디코딩 및/또는 디스플레이할 수 있다.
본 발명의 다른 일 실시예는 서브타이틀 패킷의 티어 넘버를 시그널링하지 않고, 서브타이틀 섹션의 우선순위 정보 (priority)만을 시그널링함으로써 트릭 플레이 서비스를 제공할 수 있다.
도 19는 2배속의 트릭 플레이 서비스가 제공될 때 본 발명의 다른 일 실시예에 따른 비디오와 XML 기반의 서브타이틀을 재생하는 과정을 나타낸 도면이다. (시나리오 3)
이 도면의 L19010은 비디오를 구성하는 각 프레임을 하나의 PES 패킷으로 구성한 경우, 각 PES 패킷의 헤더에 PTS가 포함되는 구조를 나타낸다. 이 도면에서, X표시가 된 비디오 프레임만이 2배속 트릭 플레이 시, 디코딩 및/또는 디스플레이될 수 있다.
이 도면의 L19020은 서브타이틀이 하나의 PES 패킷으로 구성되고, 각 서브타이틀 PES 패킷 (서브타이틀이 포함된 PES 패킷)의 헤더에 PTS가 포함되는 구조를 나타낸다.
본 발명의 일 실시예에 따른 시나리오 3은 서브타이틀 패킷의 티어 넘버 또는 서브타이틀 섹션의 우선순위 정보를 이용하지 않고, 단순히 서브타이틀이 디스플레이되는 시간을 줄임으로써 트릭 플레이 서비스를 제공할 수 있다. 본 발명의 일 실시예에 따르면 트릭 플레이 서비스의 배속에 따라 서브타이틀의 디스플레이되는 시간을 시그널링할 수 있다. 이 때, 디스플레이되는 시간은 XML 서브타이틀 내부에 시그널링될 수 있다.
본 발명의 일 실시예는 2배속 트릭 플레이 서비스를 제공할 때, 서브타이틀의 디스플레이 시간을 절반으로 줄여서 절반의 디스플레이 시간 동안 서브타이틀을 디스플레이할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서, 프레임 번호가 1인 비디오 프레임의 PTS와 XML sub. ES 1의 PTS가 동일하므로 2배속의 트릭 플레이 서비스를 제공할 때, XML sub. ES 1는 1번 비디오 프레임과 동시에 디스플레이될 수 있다. 본 발명의 일 실시예에 따르면, XML Sub. ES 1이 디스플레이되는 시간은 트릭 플레이의 배속에 따라 변경될 수도 있다. 이에 대한 상세한 설명은 다음 도면에서 후술한다. 본 발명의 일 실시예는 서브타이틀 PES 패킷의 PTS를 이용해 XML 서브타이틀 내부에 포함되는 내부 시간 정보를 PTS 형태로 변환하고 변환된 PTS 값을 이용하여 해당 서브타이틀을 디스플레이할 시간을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서, 2배속 트릭 플레이 서비스가 제공될 때, 프레임 번호가 2인 비디오 프레임은 트릭 플레이 서비스를 위해 디코딩되지 않고 버려지므로, 2번 비디오 프레임의 PTS를 나타내는 PTS2는 확인될 수 없다. 그리고, 프레임 번호가 3인 비디오 프레임은 트릭 플레이 서비스를 위해 디코딩될 수 있다. 이 때, 본 발명의 일 실시예는 3번 비디오 프레임의 PTS3을 무시하고, 1번 비디오 프레임과 함께 디스플레이되던 XML sub. ES 1을 계속적으로 디스플레이할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서, 프레임 번호가 4인 비디오 프레임 (4번 비디오 프레임)의 PTS4는 2배속 트릭 플레이 서비스가 제공될 때, 디코딩되지 않으므로 PTS4는 확인될 수 없다. 본 발명의 일 실시예에 따르면, 4번 비디오 프레임의 PTS4와 XML sub. ES 2의 PTS4가 동일하지만, 2배속 트릭 플레이 서비스가 제공될 때, 4번 비디오 프레임의 PTS4는 알 수 없으므로, 3번 비디오 프레임의 PTS3와 5번 비디오 프레임의 PTS5를 이용하여 XML sub. ES 2를 어느 비디오 프레임에 동기를 맞춰 디스플레이를 할 지 알 수 있다. 이 때, XML sub. ES 2의 PTS는 아래 식과 같이 표현될 수 있다.
PTS(3번 frame) < PTS(XML sub. ES 2) < PTS(5번 frame)
본 발명의 일 실시예에 따르면, |PTS (XML sub. ES 2) - PTS (3번 비디오 프레임)| = |PTS (XML sub. ES 2) - PTS (5번 비디오 프레임)|의 식을 만족하는 경우 즉, XML sub. ES 2의 PTS와 동일한 PTS를 갖는 비디오 프레임의 인접한 비디오 프레임들의 PTS 값과 XML sub. ES 2의 PTS 간격이 양쪽으로 동일한 경우, XML sub. ES 2의 PTS보다 큰 값을 갖는 비디오 프레임 (5번 비디오 프레임)이 디스플레이될 때에 동기를 맞춰 XML sub. ES 2이 디스플레이될 수 있다. 따라서, 본 발명의 일 실시예에 따르면 서브타이틀을 포함하는 PES 패킷의 PTS와는 다른 시간에 해당 서브타이틀이 디스플레이될 수 있다. 본 발명의 다른 일 실시예는, 초기 설정에 따라서, 상기의 경우에서 디스플레이 순서가 앞인 3번 비디오 프렘임에 동기를 맞춰 XML sub. ES 2가 디스플레이되도록 할 수 있다.
도 20은 본 발명의 일 실시예에 따른 시나리오 3의 경우에 시그널링되는 서브타이틀 내부의 내부 시간 정보를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, XML Sub. ES 1이 디스플레이되는 시간은 트릭 플레이의 배속에 따라 다르게 시그널링될 수 있다. 본 발명의 일 실시예에 따르면, 서브타이틀의 디스플레이되는 시간에 대한 정보는 서브타이틀의 XML 내부에 정의될 수 있다.
이 도면에서, 노멀 플레이 (normal play) 서비스의 경우, XML Sub. ES 1가 00:00:00:00 (begin) 부터 00:00:01:00 (end) 까지 디스플레이되도록 시그널링될 수 있고, 2배속 트릭 플레이 서비스의 경우, 00:00:00:00 (begin) 부터 00:00:01:00/2=00:00:00:30 (end) 까지 디스플레이되도록 시그널링될 수 있고, 4배속 트릭 플레이 서비스의 경우, 00:00:00:00 (begin) 부터 00:00:01:00/4=00:00:00:15 (end) 까지 디스플레이되도록 시그널링될 수 있다. 나아가, 이 도면에서는 4배속 트릭 플레이 서비스의 경우까지 나타냈지만 본 발명의 일 실시예는 더 높은 배속의 트릭 플레이 서비스의 경우에 서브타이틀의 디스플레이되는 시간을 시그널링할 수도 있다.
도 21은 본 발명의 일 실시예에 따른 XML 서브타이틀의 트릭 플레이 서비스를 위한 수신기의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 수신기는 하드디스크드라이브 (HDD, L21010), 업로드 버퍼 (Upload buffer, L21020), TS 버퍼 (TS buffer, L21030), 역다중화부 (MPEG-2 TS DEMUX, L21040), 비디오 디코더 (Video decoder, L21050), 비디오 출력 버퍼 (Video ouput buffer, L21060), 시스템 클락 처리부 (System Clock, L21070), 동기화부 (A/V/Sub Synchronizer, L21080), 디스플레이부 (Display processing, L21090), 서브타이틀 파서 (Subtitle parser, L21100) 및/또는 서브타이틀 출력 버퍼 (Subtitle output buffer, L21110)를 포함할 수 있다.
하드디스크드라이브 (HDD, L21010)는 수신된 비디오 데이터, 서브타이틀 데이터 및/또는 시그널링 정보를 저장할 수 있다. 본 발명의 일 실시예에 따른 하드디스크드라이브는 티어 넘버를 이용하여 트릭 플레이 시, 디코딩 및/또는 디스플레이될 비디오 및/또는 서브타이틀을 포함하는 TS 패킷을 선택하여 업로드 버퍼로 전달할 수 있다.
업로드 버퍼 (Upload buffer, L21020)는 하드디스크드라이브로부터 전달된 비디오 및/또는 서브타이틀을 포함하는 TS 패킷을 저장하였다가 TS 버퍼로 전달할 수 있다.
TS 버퍼 (TS buffer, L21030)는 업로드 버퍼로부터 전달된 비디오 및/또는 서브타이틀을 포함하는 TS 패킷을 저장하였다가 역다중화부로 전달할 수 있다.
역다중화부 (MPEG-2 TS DEMUX, L21040)는 TS 버퍼로부터 전달된 TS 패킷 스트림에서 비디오 스트림, 서브타이틀 스트림 및/또는 PCR을 추출할 수 있다.
비디오 디코더 (Video decoder, L21050)는 인코딩된 비디오 스트림을 디코딩할 수 있다.
비디오 출력 버퍼 (Video ouput buffer, L21060)는 디코딩된 비디오 데이터를 저장하였다가 디스플레이부로 전달할 수 있다.
시스템 클락 처리부 (System Clock, L21070)는 PCR을 이용하여 시스템 클락을 처리할 수 있다.
동기화부 (A/V/Sub Synchronizer, L21080)는 비디오의 PTS, 오디오의 PTS 및/또는 서브타이틀의 PTS를 이용하여 비디오, 오디오 및/또는 서브타이틀의 동기를 맞출 수 있다. 본 발명의 일 실시예에 따른 동기화부가 수행하는 상세한 동작은 전술하였다.
디스플레이부 (Display processing, L21090)는 동기가 맞춰진 비디오, 오디오 및/또는 서브타이틀을 디스플레이할 수 있다.
서브타이틀 파서 (Subtitle parser, L21100)는 TS 패킷에서 서브타이틀을 파싱할 수 있다.
서브타이틀 출력 버퍼 (Subtitle output buffer, L21110)는 파싱된 서브타이틀을 저장하였다가 디스플레이부로 전달할 수 있다.
도 22는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (L22010)는 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 수신부 (L22020), 상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 디코더 (L22030), 상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 동기화부 (L22040) 및/또는 상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 디스플레이부 (L22050)를 포함할 수 있다. 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함할 수 있다. 여기서, 수신부 (L22020)는 전술한 하드디스크드라이브에 대응될 수 있고, 디코더 (L22030)는 전술한 비디오 디코더 및/또는 서브타이틀 파서에 대응될 수 있고, 동기화부 (L22040)는 전술한 동기화부에 대응될 수 있고, 디스플레이부 (L22050)는 전술한 디스플레이부에 대응될 수 있다. 이에 대한 상세한 설명은 도 15, 21에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 비디오 패킷은 상기 비디오 데이터의 트릭 플레이 서비스를 위한 상기 비디오 패킷의 계층 정보를 포함하고, 상기 디코더는 트릭 플레이 서비스의 배속에 따라 상기 계층 정보를 이용하여 상기 수신한 비디오 패킷들 중 해당되는 비디오 패킷만을 디코딩할 수 있다. 이에 대한 상세한 설명은 도 15에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 서브타이틀 패킷은 적어도 하나 이상의 서브타이틀 섹션을 포함하고, 상기 서브타이틀 패킷은 트릭 플레이 서비스를 위한 상기 서브타이틀 패킷의 우선순위를 나타내는 티어 넘버 및 상기 서브타이틀 섹션의 우선순위를 나타내는 우선순위 정보 중 적어도 하나를 포함하고, 상기 디코더는 트릭 플레이 서비스의 배속에 따라 상기 티어 넘버 및 우선순위 정보 중 적어도 하나를 이용하여 상기 수신한 서브타이틀 패킷들 중 해당되는 서브타이틀 패킷 또는 해당되는 서브타이틀 섹션만을 디코딩할 수 있다. 이에 대한 상세한 설명은 도 15에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 동기화부는 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하고, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화할 수 있다. 이에 대한 상세한 설명은 도 17에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터는 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터의 디스플레이 시간을 나타내는 내부 시간 정보를 포함하고, 상기 동기화부는 상기 서브타이틀 섹션에 포함되는 내부 시간 정보를 상기 디스플레이 시간 정보와 동일한 포맷으로 변환하고, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하고, 상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화할 수 있다. 이에 대한 상세한 설명은 도 18에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 서브타이틀 패킷에 포함되는 서브타이틀 데이터는 트릭 플레이 서비스의 배속에 따라 트릭 플레이 서비스를 위한 상기 서브타이틀 데이터의 디스플레이 시간을 나타내는 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 19, 20에서 전술하였다.
도 23은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 생성하는 단계 (SL23010), 상기 생성된 비디오 패킷 및 서브타이틀 패킷을 포함하는 방송 신호를 생성하는 단계 (SL23020) 및/또는 상기 생성된 방송 신호를 전송하는 단계 (SL23030)를 포함할 수 있다. 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함할 수 있다.
도 24는 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (L24010)는 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 생성하는 패킷 생성부 (L24020), 상기 생성된 비디오 패킷 및 서브타이틀 패킷을 포함하는 방송 신호를 생성하는 방송 신호 생성부 (L24030) 및/또는 상기 생성된 방송 신호를 전송하는 전송부 (L24040)를 포함할 수 있다. 여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함할 수 있다.
본 발명의 실시예들에 따른 모듈, 유닛 또는 블락은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서/하드웨어일 수 있다. 전술한 실시예에 기술된 각 단계 또는 방법들은 하드웨어/프로세서들에 의해 수행될 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 본 발명의 실시예들에 따른 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 일련의 방송 신호 제공 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (14)

  1. 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 단계,
    여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고;
    상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 단계;
    상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 단계; 및
    상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 단계;
    를 포함하는 방송 신호 수신 방법.
  2. 제 1 항에 있어서,
    상기 비디오 패킷은 상기 비디오 데이터의 트릭 플레이 서비스를 위한 상기 비디오 패킷의 계층 정보를 포함하고,
    상기 디코딩하는 단계는 트릭 플레이 서비스의 배속에 따라 상기 계층 정보를 이용하여 상기 수신한 비디오 패킷들 중 해당되는 비디오 패킷만을 디코딩하는 방송 신호 수신 방법.
  3. 제 2 항에 있어서,
    상기 서브타이틀 패킷은 적어도 하나 이상의 서브타이틀 섹션을 포함하고,
    상기 서브타이틀 패킷은 트릭 플레이 서비스를 위한 상기 서브타이틀 패킷의 우선순위를 나타내는 티어 넘버 및 상기 서브타이틀 섹션의 우선순위를 나타내는 우선순위 정보 중 적어도 하나를 포함하고,
    상기 디코딩하는 단계는 트릭 플레이 서비스의 배속에 따라 상기 티어 넘버 및 우선순위 정보 중 적어도 하나를 이용하여 상기 수신한 서브타이틀 패킷들 중 해당되는 서브타이틀 패킷 또는 해당되는 서브타이틀 섹션만을 디코딩하는 방송 신호 수신 방법.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 동기화하는 단계는,
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계; 및
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계;
    를 포함하는 방송 신호 수신 방법.
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터는 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터의 디스플레이 시간을 나타내는 내부 시간 정보를 포함하고,
    상기 동기화하는 단계는,
    상기 서브타이틀 섹션에 포함되는 내부 시간 정보를 상기 디스플레이 시간 정보와 동일한 포맷으로 변환하는 단계;
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계; 및
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 단계;
    를 포함하는 방송 신호 수신 방법.
  6. 제 2 항에 있어서,
    상기 서브타이틀 패킷에 포함되는 서브타이틀 데이터는 트릭 플레이 서비스의 배속에 따라 트릭 플레이 서비스를 위한 상기 서브타이틀 데이터의 디스플레이 시간을 나타내는 정보를 포함하는 방송 신호 수신 방법.
  7. 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 수신하는 수신부,
    여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고;
    상기 수신한 비디오 패킷 및 서브타이틀 패킷을 디코딩하는 디코더;
    상기 디스플레이 시간 정보를 이용하여 상기 디코딩된 비디오 패킷과 서브타이틀 패킷의 디스플레이 시간을 동기화하는 동기화부; 및
    상기 동기화된 비디오 패킷에 포함된 비디오 데이터와 서브타이틀 패킷에 포함된 서브타이틀 데이터를 디스플레이하는 디스플레이부;
    를 포함하는 방송 신호 수신 장치.
  8. 제 7 항에 있어서,
    상기 비디오 패킷은 상기 비디오 데이터의 트릭 플레이 서비스를 위한 상기 비디오 패킷의 계층 정보를 포함하고,
    상기 디코더는 트릭 플레이 서비스의 배속에 따라 상기 계층 정보를 이용하여 상기 수신한 비디오 패킷들 중 해당되는 비디오 패킷만을 디코딩하는 방송 신호 수신 장치.
  9. 제 8 항에 있어서,
    상기 서브타이틀 패킷은 적어도 하나 이상의 서브타이틀 섹션을 포함하고,
    상기 서브타이틀 패킷은 트릭 플레이 서비스를 위한 상기 서브타이틀 패킷의 우선순위를 나타내는 티어 넘버 및 상기 서브타이틀 섹션의 우선순위를 나타내는 우선순위 정보 중 적어도 하나를 포함하고,
    상기 디코더는 트릭 플레이 서비스의 배속에 따라 상기 티어 넘버 및 우선순위 정보 중 적어도 하나를 이용하여 상기 수신한 서브타이틀 패킷들 중 해당되는 서브타이틀 패킷 또는 해당되는 서브타이틀 섹션만을 디코딩하는 방송 신호 수신 장치.
  10. 제 7 항 또는 제 9 항에 있어서,
    상기 동기화부는,
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하고,
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 패킷의 디스플레이 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 패킷이 상기 서브타이틀 패킷의 디스플레이 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 방송 신호 수신 장치.
  11. 제 7 항 또는 제 9 항에 있어서,
    상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터는 상기 서브타이틀 섹션에 포함되는 서브타이틀 데이터의 디스플레이 시간을 나타내는 내부 시간 정보를 포함하고,
    상기 동기화부는,
    상기 서브타이틀 섹션에 포함되는 내부 시간 정보를 상기 디스플레이 시간 정보와 동일한 포맷으로 변환하고,
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 있는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하고,
    상기 디코딩된 비디오 패킷 중에 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 동일한 디스플레이 시간 정보를 갖는 비디오 패킷이 없는 경우, 상기 서브타이틀 섹션이 상기 서브타이틀 섹션의 변환된 내부 시간 정보와 가장 가까운 디스플레이 시간 정보를 갖는 비디오 패킷과 동일한 시간에 디스플레이 되도록 동기화하는 방송 신호 수신 장치.
  12. 제 8 항에 있어서,
    상기 서브타이틀 패킷에 포함되는 서브타이틀 데이터는 트릭 플레이 서비스의 배속에 따라 트릭 플레이 서비스를 위한 상기 서브타이틀 데이터의 디스플레이 시간을 나타내는 정보를 포함하는 방송 신호 수신 장치.
  13. 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 생성하는 단계,
    여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고;
    상기 생성된 비디오 패킷 및 서브타이틀 패킷을 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;
    를 포함하는 방송 신호 송신 방법.
  14. 비디오 데이터를 포함하는 적어도 하나의 비디오 패킷 및 서브타이틀 데이터를 포함하는 적어도 하나의 서브타이틀 패킷을 생성하는 패킷 생성부,
    여기서, 상기 비디오 패킷 및 상기 서브타이틀 패킷은 각 패킷에 포함된 데이터의 디스플레이 시간을 나타내는 디스플레이 시간 정보를 포함하고;
    상기 생성된 비디오 패킷 및 서브타이틀 패킷을 포함하는 방송 신호를 생성하는 방송 신호 생성부; 및
    상기 생성된 방송 신호를 전송하는 전송부;
    를 포함하는 방송 신호 송신 장치.
PCT/KR2015/012202 2014-11-13 2015-11-13 트릭 플레이 서비스에서 비디오와 서브타이틀의 동기화를 위한 방송 신호를 송수신하는 방법 및 장치 WO2016076655A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462079547P 2014-11-13 2014-11-13
US62/079,547 2014-11-13

Publications (1)

Publication Number Publication Date
WO2016076655A1 true WO2016076655A1 (ko) 2016-05-19

Family

ID=55954658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012202 WO2016076655A1 (ko) 2014-11-13 2015-11-13 트릭 플레이 서비스에서 비디오와 서브타이틀의 동기화를 위한 방송 신호를 송수신하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2016076655A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281456A (ja) * 2001-03-22 2002-09-27 Hitachi Ltd デジタル放送用ストリームの蓄積方法
KR20050010548A (ko) * 2003-07-21 2005-01-28 엘지전자 주식회사 트릭 플레이시 서브픽쳐 표시 방법
KR20070096406A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 디지털 멀티미디어 파일의 변속 재생 제어방법
JP2008514141A (ja) * 2004-09-23 2008-05-01 トムソン ライセンシング トリック・プレイ用メタデータのビデオ伝送ストリームへの挿入
KR20100104892A (ko) * 2009-03-19 2010-09-29 (주)씨엠씨하이테크 상용 디브이디 콘텐츠를 이용한 자막제공 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281456A (ja) * 2001-03-22 2002-09-27 Hitachi Ltd デジタル放送用ストリームの蓄積方法
KR20050010548A (ko) * 2003-07-21 2005-01-28 엘지전자 주식회사 트릭 플레이시 서브픽쳐 표시 방법
JP2008514141A (ja) * 2004-09-23 2008-05-01 トムソン ライセンシング トリック・プレイ用メタデータのビデオ伝送ストリームへの挿入
KR20070096406A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 디지털 멀티미디어 파일의 변속 재생 제어방법
KR20100104892A (ko) * 2009-03-19 2010-09-29 (주)씨엠씨하이테크 상용 디브이디 콘텐츠를 이용한 자막제공 시스템

Similar Documents

Publication Publication Date Title
WO2013025035A2 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2011071290A2 (en) Streaming method and apparatus operating by inserting other content into main content
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011059291A2 (en) Method and apparatus for transmitting and receiving data
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2011105811A2 (en) Method and apparatus for transmitting and receiving data
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2012077982A2 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2015002500A1 (ko) 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 방송 신호의 송수신 방법 및 장치
WO2015034188A1 (ko) 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
WO2012047028A2 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
WO2011059273A2 (en) Method and apparatus for adaptive streaming using segmentation
WO2014171718A1 (ko) 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
WO2012033319A2 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
WO2009134105A2 (en) Method of receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2012050405A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
WO2012177041A2 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2011115454A2 (en) Method and apparatus for adaptively streaming content including plurality of chapters
WO2011132883A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011159128A2 (en) Method and apparatus for providing digital broadcasting service with 3-dimensional subtitle
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2016163603A1 (ko) Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2011132879A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15858927

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15858927

Country of ref document: EP

Kind code of ref document: A1