WO2012177041A2 - 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치 - Google Patents

미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치 Download PDF

Info

Publication number
WO2012177041A2
WO2012177041A2 PCT/KR2012/004867 KR2012004867W WO2012177041A2 WO 2012177041 A2 WO2012177041 A2 WO 2012177041A2 KR 2012004867 W KR2012004867 W KR 2012004867W WO 2012177041 A2 WO2012177041 A2 WO 2012177041A2
Authority
WO
WIPO (PCT)
Prior art keywords
representation
media content
time reference
segment
segments
Prior art date
Application number
PCT/KR2012/004867
Other languages
English (en)
French (fr)
Other versions
WO2012177041A3 (ko
Inventor
김경호
김진필
이현재
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to GB1322295.5A priority Critical patent/GB2506055B/en
Priority to KR1020177006212A priority patent/KR101797507B1/ko
Priority to KR1020137032157A priority patent/KR101717555B1/ko
Priority to US14/125,212 priority patent/US9571893B2/en
Priority to EP12803457.6A priority patent/EP2723086B1/en
Priority to CA2839553A priority patent/CA2839553C/en
Priority to CN201280040278.0A priority patent/CN103733631B/zh
Priority to DE112012002526.1T priority patent/DE112012002526B4/de
Publication of WO2012177041A2 publication Critical patent/WO2012177041A2/ko
Publication of WO2012177041A3 publication Critical patent/WO2012177041A3/ko
Priority to US15/391,284 priority patent/US10009660B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440209—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for formatting on an optical medium, e.g. DVD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • the present invention relates to a method and apparatus for transmitting and receiving media content through the Internet.
  • DMB digital multimedia broadcasting
  • TS MPEG-2 Transport Stream
  • IP Internet Protocol
  • UHD ultra high definition
  • MPEG-2 TS having a fixed length packet of 188 bytes may be inefficient to transmit content having a higher resolution than conventional HDTV using an IP network.
  • One embodiment of the present invention is to provide a method and apparatus for transmitting and receiving that can efficiently stream media content according to network conditions.
  • a method of transmitting media content comprising: constructing a plurality of representations of the media content; Dividing the representation into a plurality of segments; Generating time reference values corresponding to each of the subsegments included in the segment; And transmitting any one of the representations.
  • An apparatus for transmitting media content comprising: a media encoder for configuring the media content into a plurality of representations; A segmenter dividing the representation into a plurality of segments; A time reference value generator configured to generate time reference values corresponding to each of the subsegments included in the segment; And a transmitter for transmitting any one of the representations.
  • a method of receiving media content comprising: receiving a first representation of a plurality of representations including the media content; Stopping reception of the first representation and receiving a second representation; And reproducing the received representation, wherein the received representation is divided into a plurality of segments and received, and the subsegments included in the segments respectively correspond to time reference values.
  • An apparatus for receiving media content in the apparatus for receiving media content via the Internet, receives one of a first representation and a second representation including the media content, and A receiving unit which stops receiving the first representation when receiving a second representation; And a controller configured to reproduce any one of the first representation and the second representation, wherein the received representation is divided into a plurality of segments and received, and the subsegments included in the segment Each corresponds to time reference values.
  • media content in switching the bitstream due to a change in network state, media content can be played back seamlessly.
  • FIG. 1 is a block diagram showing the configuration of a media content transmission and reception system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a structure of an MPEG2 TS.
  • FIG. 3 is a flowchart illustrating a method of transmitting media content according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an embodiment of a configuration of representations including media content.
  • FIG. 5 is a diagram illustrating an embodiment of a configuration of a subsegment.
  • FIG. 6 is a diagram for describing a reproduction time of a subsegment.
  • FIG. 7 is a view for explaining the reproduction time of sub-segments using PCR.
  • FIGS. 8 and 9 are diagrams for describing an embodiment of a configuration of an MPEG-2 TS PCR information box that provides metadata about media content.
  • FIGS. 10 and 11 are diagrams for describing an embodiment of a configuration of a media auxiliary information box that provides metadata about media content.
  • FIG. 12 is a block diagram of an apparatus for receiving media content according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method of receiving media content according to an embodiment of the present invention.
  • FIG. 14 is a block diagram showing the configuration of an IPTV receiver according to an embodiment of the present invention.
  • 15 is a block diagram showing the configuration of an IPTV receiver according to another embodiment of the present invention.
  • the transmitting device and the receiving device transmit and receive media content using an IP-based transmission system.
  • the media content uses a Transmission Control Protocol (TCP) and a Hypertext Transfer Protocol (HTTP) protocol.
  • TCP Transmission Control Protocol
  • HTTP Hypertext Transfer Protocol
  • the transmitting device may receive the content from the content provider, convert the content, transmit the content, or store the content in a media DB (media DataBase).
  • a media DB media DataBase
  • the media content provided from the content provider may be in the MPEG-2 TS format or the ISO Base Media file format, and the transmitting device converts the media content into a format that is easy for IP-based delivery. Then, it can be transmitted through a network such as an internet network or stored in a media DB.
  • the receiving device may receive media content from the transmitting device, convert and play the received media content, or store it in a local storage using an IP-based transmission system.
  • the receiving apparatus may convert the media content received from the transmitting apparatus into the MPEG-2 TS format or the ISO Base Media file format, process it, play it, or store it in a local storage medium.
  • the Internet server which is a transmitting device operating in an open Internet environment, may still have difficulty in guaranteeing QoS because services are transmitted through different networks.
  • services such as YouTube may be provided through other networks operated by specific service providers, such that content may be delayed, dropped, or retransmitted as network settings or traffic volume increase during the transmission process.
  • content may be delayed, dropped, or retransmitted as network settings or traffic volume increase during the transmission process.
  • the QoS guarantee problem as described above may be a major cause of difficulty for content providers who provide content services in an open Internet environment.
  • an adaptive streaming (adaptive streaming) method that can properly transmit and receive the content according to the network bandwidth using the playlist file of the M3U type may be used.
  • the adaptive streaming method creates content files with different bitrates for a single content and selects the bitrate according to the bandwidth of the receiving device so that the transmission request can be made. Because it is delivering content, it is called HTTP Adaptive Streaming.
  • FIG. 1 is a block diagram showing the configuration of a media content transmission and reception system according to an embodiment of the present invention.
  • a system for adaptive streaming may include a server 10, a distribution server 20, and a client 30.
  • the media encoder 11 When the server 10 delivers AV (Audio / Video) to the media encoder 11 as raw data, the media encoder 11 transmits the AV data to a streaming file format in the form of MPEG-2 TS. (streaming File Format).
  • AV Audio / Video
  • MPEG-2 TS streaming File Format
  • the streaming segmenter 12 may divide the MPEG-2 TS file output from the media encoder 11 into a plurality of segments.
  • the streaming segmenter 12 may divide one file or a real-time MPEG-2 TS file into segments of a size that can be played for about 10 seconds and then store the same in the distribution server 20.
  • the client 30 may request and receive the divided files stored in the distribution server 20 using the HTTP protocol.
  • MPEG-2 TS file segments having different bit rates may be stored in the distribution server 20, for which the web server 21 stores MPEG-2 TS file segments encoded at a specific bit rate. There may be more than one in the distribution server 20.
  • MPEG-2 TS file segments encoded at a bit rate of 20 kbps and MPEG-2 TS file segments encoded at a bit rate of 500 kbps may be stored in the distribution server 20 under different file names.
  • the client 30 may request a file encoded at a bit rate of 20 kbps and play the file for 10 seconds, and periodically check the bandwidth before the 10 second, which is the reproduction time, elapses.
  • the client 30 may request the transmission of the file encoded at a bit rate of 500kbps.
  • the client 30 can alternately receive and reproduce contents encoded at bit rates of 20 kbps and 500 kbps according to the network bandwidth. Breaking can be minimized.
  • the media content may be composed of a plurality of representations, and the media content included in each of the representations may include a bit rate, a resolution,
  • the language or codec may be different.
  • Media content includes media components such as audio, video or timed text, and the representation is a structured collection of one or more media components. Can be.
  • the client 30 may request and receive any one of a plurality of representations configured to have different bit rates as described above.
  • the server 10 provides a media presentation description (MPD) including the metadata required by the client 30 together with the segment data. Can provide.
  • MPD media presentation description
  • the client 30 may select and transmit any one of a plurality of representations by using an element included in the MPD.
  • the representation is divided into a plurality of segments as described above, and may be transmitted as a segment or part of a segment at the request of the client 30 using the HTTP GET or HTTP partial GET method defined in HTTP 1.1 (RFC 2616). Can be.
  • the client 30 may switch the received representation to another representation based on the updated information during media playback.
  • the client 30 may receive and play a new representation from the time when the previous representation was played.
  • a segment may include a plurality of sub-segments, and the sub-segments may mean the smallest unit that can be indexed at the segment level.
  • the segment may include an Initialization Segment, a Media Segment, an Index Segment, a Bitstream Switching Segment, or the like.
  • FIG. 2 is a diagram illustrating a structure of an MPEG-2 TS.
  • the MPEG-2 TS may include a plurality of MPEG-2 TS packets each having a fixed bit rate of 188 bytes, and the subsegment may consist of a set of consecutive MPEG-2 TS packets.
  • one sample is an access unit composed of one or more MPEG-2 TS packets having the same PID value, and the subsegment may be defined as one indexed set of access units that are contiguous in decoding order.
  • a fragmented file structure may be used to stream the ISO Base Media file format.
  • a fragmented file physically divides media tracks into a plurality of fragments, and each fragment may be composed of a moof (Movie Fragment) box and a mdat (media data) box.
  • moof Menovie Fragment
  • mdat media data
  • the mdat box after the moof box contains fragment media data, and thus the combined moof-mdat pairs may constitute one fragment.
  • the subsegment may be defined as a self-contained set of one or more movie fragments in series, thus including one or more moof (Movie Fragment) boxes and corresponding mdat (media data) boxes. Can be.
  • the server 10 may include the client 30.
  • PCR may be used to efficiently perform bitstream switching.
  • PCR is information about the system clock in the MPEG-2 TS and may represent a time reference value for the program.
  • the media content of the MPEG-2 TS or ISO base media file format is transmitted to the Internet through HTTP.
  • the present invention is not limited thereto, and media content transmission and reception according to an embodiment of the present invention is performed.
  • the method and apparatus are applicable to media content in various formats.
  • FIG. 3 is a flowchart illustrating a method of transmitting media content according to an embodiment of the present invention.
  • description of the same as those described with reference to FIGS. 1 and 2 will be omitted.
  • the transmitting apparatus configures the media content into a plurality of representations (S101).
  • the plurality of representations may be configured differently according to at least one of a bit rate, a resolution, a language, and a codec of the media content.
  • the transmitting device divides each of the configured representations into a plurality of segments (S103). For example, each of the representations may be divided into a plurality of segments for transmission using the HTTP protocol.
  • the transmitting device divides each of the configured plurality of segments into a plurality of subsegments (S105). For example, each of the media segments may be indexed in subsegment units by the segment index.
  • FIG. 4 is a diagram illustrating an embodiment of a configuration of representations including media content.
  • the transmitting apparatus may make the media content into Representation A and Representation B having different bit rates, and Representation A and B are one group. Can be formed. The group may further include other representations in addition to representations A and B.
  • index information exists for all subsegments included in Representations A and B, and the index information is used by the client 30 to randomly access subsegments of a segment using the partial HTTP GET method. It may be for.
  • subsegments may each include a segment index, or there may be an index segment that provides an index for the subsegment.
  • the earliest presentation time (T E ) and the latest reproduction time (T L ) of the sub segment 200 may be defined.
  • T E earliest presentation time
  • T L latest reproduction time
  • FIG. 5 is a diagram illustrating an embodiment of a configuration of a subsegment.
  • the subsegment 200 may include two media components, video and audio, and any one of the media components, for example, video is designated as a reference stream. Can be.
  • the reference stream may mean a group of consecutive samples of the primary media component among the media components.
  • the fastest playback time T E of the subsegment 200 may be defined as the fastest playback time of any sample present in the reference stream, and thus the fastest sample 201 of the video samples. It can be play time.
  • the latest playback time T L of the subsegment 200 may be the playback time of the latest sample 204 present in the reference stream.
  • sample 204 may mean an access unit present in the stream of the subsegment 200 (or segment).
  • subsegments as shown in FIG. 4 may differ in size or duration of media content.
  • the latest reproduction time T L of the subsegments is shown as being located at the boundary between successive sub-segments, while the latest reproduction time T L of the sub-segment is the boundary between the sub-segments. May be slightly ahead.
  • the latest reproduction time T L of the Kth subsegment may be slightly ahead of the time corresponding to the boundary between the Kth subsegment and the K + 1th subsegment.
  • FIG. 6 is a diagram for describing a reproduction time of a subsegment.
  • the client 30 may reproduce representation A and then reproduce representation B after switching.
  • the client 30 receives the K-th subsegment (K A ) of the representation A and receives the K-th sub-segment ((K-1) B ) of the representation B after playback is completed. Playback is performed, the earliest playback time T E of the K-1th subsegment ((K-1) B ) of representation B and the latest playback time of the Kth subsegment K A of representation A By the difference of (T L ), a time when the sub segment is not reproduced based on the presentation timeline may occur.
  • the earliest playback time T E of the K + 1th subsegment ((K + 1) A ) of the representation A is the latest playback time (K B ) of the Kth subsegment K B of the representation B T L )
  • the client 30 plays the representation B, and then plays the representation A after switching.
  • the client 30 receives the K-th subsegment (K B ) of the representation B , and before the reproduction is completed, the client 30 selects the K + 1th sub-segment ((K + 1) A ) of the presentation A. Since the playback was received and reproduced, the reproduction time of the subsegments may overlap with respect to the presentation timeline.
  • the K-th subsegment included in either Representation A or Representation B is used.
  • T E quick play time
  • the transmission apparatus generates a plurality of PCRs corresponding to the plurality of subsegments (S107).
  • the transmitting device may include a plurality of PCRs corresponding to the plurality of subsegments in the index segment.
  • the transmitting device can enable smoother bitstream switching by transmitting the PCR.
  • FIG. 7 is a view for explaining the reproduction time of sub-segments using PCR.
  • the client 30 may convert the received representation into another representation based on updated information during media playback. For example, the client 30 may alternately receive a representation A that includes media content encoded at 500 kbps and a representation B that includes media content encoded at 20 kbps.
  • the client 30 receives the K-th subsegment (K A ) of the representation A and performs bitstream switching to receive the K-th subsegment ((K-1) B ) of the representation B during reproduction. can do.
  • Client 30 has the representations of K A second sub-segment (K A), while maintaining the reproduction of representations of K A second sub-segment (K A) of claim 1 PCR values and representations of B K-
  • the second PCR value of the first subsegment (K-1) B may be extracted. Subsequently, the client 30 may calculate a PCR difference value between the first PCR value and the second PCR value.
  • the client 30 may reflect the second PCR value and the PCR difference value in the first system clock S1 for reproducing the K-1 th subsegment ((K-1) B ) of the representation B.
  • FIG. By reflecting the PCR difference value between the subsegment being reproduced and the subsegment to be reproduced in the system clock of the client 30, the reproduction time of the subsegments can be matched based on the reproduction timeline.
  • the client 30 when the reproduction times of two subsegments having different indices included in different representations are matched using PCR of the subsegments, the client 30 generates a representation having a different bit rate. Even with bitstream switching, redundant data may not be provided or data may be lost.
  • the transmitting device transmits any one of the representations including the PCR corresponding to each of the plurality of subsegments (S109).
  • the client 30 selects one of a plurality of representations having different bit rates, resolutions, languages, or codecs, etc. of the media content by using the MPD provided from the server 10, and uses HTTP 1.1 (RFC).
  • the segment or part of the segment corresponding to the selected representation may be requested using the HTTP GET or HTTP partial GET method defined in 2616).
  • the MPD may include a bitstream switching flag indicating whether to bitstream the representations and a subsegment alignment flag indicating whether the subsegments are aligned.
  • the client 30 may perform the bitstream switching operation as described above.
  • the subsegment alignment flag included in the MPD is 'true'
  • the subsegments are aligned as shown in FIGS. 9 to 11, so that the client 30 may be continuously connected without duplicate or lost data. Representation can be switched at any boundary by subsegments.
  • index information for all subsegments, and the fastest playing time T E of the k-th subsegment included in any first representation of the plurality of representations is present.
  • the media is roughly dependent on the duration of the reference program element (which may mean the same as the reference stream) as required by the transmission protocol. It can be divided into The boundary between the segments can be aligned with the MPEG-2 TS packets.
  • any program element belonging to a program is selected as a reference, and the fastest playback time for the play unit (PU) for the reference program element in the segment is to be delivered. Can be.
  • a data offset and a stamp (PTS) for the earliest playback time of that subsegment are delivered, optionally the playback time of the random access point and the PTS discontinuity. Whether or not (PTS discontinuity) occurs may be transmitted.
  • the play time of the random access point and whether PTS discontinuity occurs may be used to allow the client 30 to fit the PTS-PCR based timeline to the media play timeline.
  • Meta data may be represented in a binary format based on general ISO Base Media file format data types, which may have a structure similar to a 'sidx' box used in Dynamic adaptive streaming over HTTP (DASH).
  • DASH Dynamic adaptive streaming over HTTP
  • the format of the metadata may allow the client 30 to fit the MPEG-2 PTS-PCR based timeline to the media playback timeline.
  • This may be done by delivering the earliest PTS of the playback unit (PU) in the subsegment, and information about discontinuities present in the MPEG-2 PTS timeline may be conveyed.
  • PU playback unit
  • FIGS. 8 and 9 are diagrams for describing an embodiment of a configuration of an MPEG-2 TS PCR information box that provides metadata about media content.
  • the metadata about the media content may be composed of an MPEG-2 TS PCR information box ('pcrb') and an MPEG-2 TS PCR information box ('pcrb'). ) May provide PCR information for MPEG-2 TS.
  • the index segment may include indexing information of the media segment.
  • the index segment may be an index segment for a single media segment or an index segment for multiple media segments.
  • Index segments for a single media segment can accurately index one media segment.
  • Each index segment that indexes one media segment may start from a segment type box ('styp', Segment Type box).
  • segment type box 'styp' a brand defined in the ISO-based media file format 'isss (index segment subsegment)' may appear.
  • 'isss' brand a single index segment can index MPEG-2 TS based media segments.
  • Each of the index segments indexing one media segment may include one or more segment index boxes and an MPEG-2 TS PCR information box ('pcrb') to accurately index one media segment.
  • the MPEG-2 TS PCR information box 'pcrb' may follow immediately after a segment index box ('sidx') that records the same subsegment.
  • Index segments for multiple media segments may index multiple media segments.
  • Each index segment indexing multiple media segments may start with a segment type box 'styp'.
  • 'isms (index segment media segment)' a brand defined in the ISO-based media file format, may appear.
  • a reproduction index segment may index an MPEG-2 TS based media segment.
  • Each media segment may be indexed by one or more segment index boxes. Multiple segment index boxes for one particular media segment may be contiguous.
  • Indexing information for a plurality of media segments may be concatenated in the order predicted by a single overall segment index box.
  • the overall segment index box may include one entry in the loop for each media segment. Each entry may represent segment index information for a single media segment.
  • the index segment having a subsegment index is a compatible brand and may include the brand 'ssss' in the segment type box 'styp'. In the 'ssss' brand, the subsegment index segment may index media segments based on MPEG-2 TS.
  • An index segment having a subsegment index may follow an index segment for a single media segment, which may be defined as '0', or may follow an index segment for multiple media segments, but is not limited thereto.
  • the subsegment index box ('ssix') may follow immediately after the segment index box ('sidx') and may follow the MPEG-2 TS PCR information box ('pcrb'). have.
  • the segment index box 'sidx' and the MPEG-2 TS PCR information box 'pcrb' may record the same subsegment. As such, the immediately preceding segment index box 'sidx' may index only a plurality of sub-segments.
  • subsegment_count is the number of subsegments in which a part of the subsegment information is specified in the MPEG-2 TS PCR information box ('pcrb'). The number may be specified and may be a positive integer. subsegment_count may be equal to reference_count of the last segment index box. subsegment_count can be indexed in a loop and can be specified as 1 or greater.
  • pcr may indicate MPEG-2 TS PCR corresponding to the first sync byte of the first MPEG-2 TS packet included in the media subsegment.
  • FIGS. 10 and 11 are diagrams for describing an embodiment of a configuration of a media auxiliary information box that provides metadata about media content.
  • Metadata about media content may be configured as a media preliminary information box ('masi', Media Auxiliary Information Box).
  • Media preliminary information box 'masi' may include preliminary media information.
  • the media preliminary information box 'masi' may include information indicating that the segment or subsegments constituting the segment are a media type of MPEG-2 TS ('m2ts').
  • the index segment may be an index segment for a single media segment or an index segment for multiple media segments, but is not limited thereto.
  • Index segments for dense media segments can accurately index one media segment.
  • Each index segment indexing one media segment may start from a segment type box 'styp'. In the segment type box 'styp', the brand 'isss' may appear.
  • Each of the index segments for indexing one media segment may include one or more segment index boxes and a media spare information box 'masi' to accurately index one media segment.
  • FormatID may be a unique identifier for data. FormatID may consist of four characters. Data may mean media data, but is not limited thereto.
  • the media preliminary information box 'masi' may follow immediately after a segment index box 'sidx' that records the same subsegment.
  • the FormatID of the media preliminary information box 'masi' may be set to 'm2ts'.
  • the preceding 42 bits of the data field of the media preliminary information box 'masi' may include MPEG-2 TS PCR.
  • the MPEG-2 TS PCR may correspond to the first MPEG-2 TS packet at an offset indicated by the first offset (first_offset) at a frequency of 27 MHz.
  • the next six bits of the data field of the media preliminary information box 'masi' may be left at zero.
  • Index segments for multiple media segments may index multiple media segments.
  • Each index segment indexing multiple media segments may start with a segment type box 'styp'.
  • the brand 'isms' defined in the ISO-based media file format may appear.
  • Each media segment may be indexed by one or more segment index boxes. Multiple segment index boxes for one particular media segment may be contiguous.
  • Indexing information for a plurality of media segments may be concatenated in the order predicted by a single overall segment index box.
  • the overall segment index box may include one entry in the loop for each media segment. Each entry may represent segment index information for a single media segment.
  • the index segment having a subsegment index is a compatible brand and may include the brand 'ssss' in the segment type box 'styp'.
  • An index segment having a subsegment index may follow an index segment for a single media segment, which may be defined as '0', or may follow an index segment for multiple media segments, but is not limited thereto.
  • the subsegment index box 'ssix' may follow immediately after the segment index box 'sidx' and may follow the media preliminary information box 'masi'.
  • the segment index box 'sidx' and the media spare information box 'masi' may record the same subsegment. As such, the immediately preceding segment index box 'sidx' may index only a plurality of sub-segments.
  • the receiving device 300 may perform an operation of the client 30 as described with reference to FIGS. 1 to 11.
  • the configuration of the media content received by the reception device 300 for example, the configuration of the representation, the segment, and the subsegment, may be the same as described with reference to FIGS. 3 to 7, a detailed description thereof will be omitted below. Let's do it.
  • FIG. 12 is a block diagram of an apparatus for receiving media content according to an embodiment of the present invention.
  • the receiver 300 includes a receiver and a controller.
  • the receiver may include a network interface 310, and the controller may include a decoder 320 and a synchronizer 330.
  • the network interface 310 may receive the media file along with the synchronization information.
  • the network interface unit 310 may receive, from the transmitting apparatus, synchronization information (Sync Info.) Having the configuration described with reference to FIGS. 6 to 11 together with the MPEG-2 TS, and the 3GPP file format.
  • Other media such as other media, may be received.
  • the decoder 320 may decode and output the media file received by the network interface 310.
  • the decoding unit 320 includes a first decoder 321 for decoding another media received through the network interface unit 310 and a second decoder 322 for decoding the MPEG-2 TS. It is possible, but need not be limited to this.
  • the first decoder 321 may be a decoder for decoding media of another format, such as a 3GPP file format, or may be the same MPEG-2 TS decoder as the second decoder 322.
  • the second decoder 322 may be a general MPEG-2 TS decoder. The second decoder 322 may receive and decode the MPEG-2 TS from the network interface 310, and then output the decoded playback units and their PTSs.
  • the synchronizer 330 may synchronize the media file decoded by the decoder 320 to the media play timeline using the media play time included in the synchronization information received by the network interface 310.
  • the synchronizer 330 may identify a play unit provided with a media play time through the received sync information. For that purpose, the network interface 310 restores the PTS of the reproduction units provided with the reproduction time and transfers it to the synchronization unit 330, or together with the reproduction time, the PTS of the reproduction unit must also be provided from the transmitting apparatus. For PTS recovery, elementary stream time recovery may be used.
  • the synchronizer 330 may first output the MPEG-2 TS-based media output from the second decoder 322 by using encoding information (for example, media playback times for the playback units) transmitted from the transmitting apparatus. It may be synchronized with other media output from the decoder 321.
  • the reception device 300 may play MPEG-2 TS based media and other media synchronized by the synchronization unit 330 together.
  • FIG. 13 is a flowchart illustrating a method of receiving media content according to an embodiment of the present invention. Hereinafter, description of the same as those described with reference to FIGS. 1 to 12 of the reception method illustrated in FIG. 13 will be omitted.
  • the reception apparatus 300 receives a first representation (S301) and reproduces the received first representation (S303).
  • a receiving unit (not shown) provided in the network interface unit 310 of the transmitting device 300 may use the HTTP GET or HTTP partial GET method defined in HTTP 1.1 (RFC 2616) for the segment or part of the segment.
  • the transmission can be requested to the transmitting device.
  • the network interface 310 may select one of a plurality of representations having different bit rates, resolutions, languages, or codecs of media content from each other using the MPD received from the transmitting apparatus.
  • the network interface 310 determines whether bitstream switching is required while the first representation is being reproduced (S305).
  • the network interface 310 receives the second representation (S307).
  • the receiving device determines whether the bitstream switching flag bitstream is 'True' from the MPD provided from the server 10 (S309).
  • bitstream switching flag (bitstreamSwitchingFlag) is 'True'
  • the receiving device may omit steps described below. This is because, when the bitstream switching flag is 'true', two segments having different bit rates may be consecutive in valid TS.
  • the receiving device extracts the first PCR value from the index segment of the first representation being played, and the index segment of the second representation received after the bitstream switching.
  • the second PCR value is extracted from the step (S311).
  • the index segment may include PCR as described in FIGS. 8 to 11.
  • the receiving device may extract PCR of each of the plurality of subsegments included in the representation from the index segment.
  • the receiving device calculates a PCR difference value between the extracted first PCR value and the second PCR value (S313).
  • the PCR difference value is a value 'jumped' a PCR between a plurality of segments and a plurality of sub-segments of two representations having different bit rates.
  • the first PCR value may be a PCR value corresponding to the last MPEG-2 TS packet of the segment included in the first representation.
  • the second PCR value may be a PCR value corresponding to the first MPEG-2 TS packet of the segment included in the second representation.
  • the receiving device may perform a partial additional MPEG-2 TS decoding step to recover the first and second PCR values from the media segment without the support of another device.
  • the decoding unit 320 determines whether to decode the second representation received in operation S307 (S315).
  • the decoding unit 320 executes a free-run mode (S317).
  • the receiving device can prevent the flushing of buffers unnecessarily.
  • the receiving device determines whether reproduction of the first representation is completed (S319).
  • the receiving apparatus sets the system clock by using the PCR difference value calculated in step S313 and the second PCR value of the second representation (S321).
  • the receiving apparatus sets the system clock of the receiving apparatus to a value obtained by adding a PCR difference value and a second PCR value, so that the first representation and the second representation can be reproduced without interruption even when bitstream switching occurs. .
  • the decoding unit 320 releases the pprren mode (S323).
  • the method of receiving and processing media content as described with reference to FIGS. 1 to 13 may be performed by an IPTV receiver according to an embodiment of the present invention.
  • FIG. 14 is a block diagram showing the configuration of an IPTV receiver according to an embodiment of the present invention.
  • the IPTV receiver according to an embodiment of the present invention may include a separate tuner or the like for receiving terrestrial broadcasting, cable broadcasting, satellite broadcasting, or the like.
  • a separate tuner or the like for receiving terrestrial broadcasting, cable broadcasting, satellite broadcasting, or the like.
  • a description will be given of the configuration of receiving an IPTV service provided using an IP network.
  • ITF represents an Open IPTV Terminal Function, which may mean a receiver composed of a function module required to support the IPTV service.
  • the IPTV receiver includes a network interface unit 501, a TCP / IP manager 502, a service delivery manager 504, and a PVR manager (PVR).
  • Manager (505), Demultiplexer (Demux) (508), Data Decoder (507), Audio / Video Decoder (512), A / V Display & OSD Module ( 515, application managers 513 and 514, service information database unit (SI & Metadata DB) 511, service discovery manager 509, service control manager ( 503, a metadata manager 510, and a content database unit 506.
  • SI & Metadata DB service information database unit
  • service discovery manager 503
  • service control manager 503, a metadata manager 510
  • the network interface unit 501 receives the packets received from the network and transmits the packets to the network. That is, the network interface unit 501 may receive a service, media content, etc. from a service provider through a network.
  • the TCP / IP manager 502 is involved in packet forwarding from the source to the destination for packets received by the IPTV receiver and packets transmitted by the IPTV receiver.
  • the TCP / IP manager 502 classifies the received packet to correspond to an appropriate protocol, and sends it to the service delivery manager 504, the service discovery manager 509, the service control manager 503, and the metadata manager 510.
  • the sorted packet can be output.
  • the service delivery manager 504 is responsible for controlling the received service data.
  • RTP / RTCP can be used to control real-time streaming data.
  • the service delivery manager 504 When transmitting the real time streaming data using the RTP, the service delivery manager 504 parses the received data packet according to the RTP and transmits it to the demultiplexer 508 or the content database under the control of the service manager 514. Stored in the section 506. In addition, the service delivery manager 504 may feed back network reception information to a server side providing a service using RTCP.
  • the demultiplexer 508 demultiplexes the received packet into audio, video, PSI (Program Specific Information) data, and the like, and transmits the demultiplexer 508 to the audio / video decoder 512 and the data decoder 507, respectively.
  • PSI Program Specific Information
  • the data decoder 507 decodes service information such as, for example, program specific information (PSI). That is, the data decoder 507 may receive and decode the demultiplexed PSI section, the program and service information protocol (PSIP) section, or the service information (DVB-SI) section from the demultiplexer 508.
  • PSI program specific information
  • PSIP program and service information protocol
  • DVB-SI service information
  • the data decoder 507 decodes the received sections to create a database of service information, and stores the database of service information in the service information database unit 511.
  • the audio / video decoder 512 decodes the video data and the audio data received at the demultiplexer 508.
  • the audio data and the video data decoded by the audio / video decoder 512 may be provided to the user through the display unit 515.
  • the application manager manages the overall state of the IPTV receiver, provides a user interface, and manages other managers. To this end, the application manager may include a user interface manager 513 and a service manager 514.
  • the user interface manager 513 provides a graphical user interface (GUI) for a user using an OSD (On Screen Display), etc., and receives a key input from a user to perform a receiver operation according to the input. For example, upon receiving a key input related to channel selection from a user, the key input signal may be transmitted to the service manager 514.
  • GUI graphical user interface
  • the service manager 514 controls a manager associated with a service, such as a service delivery manager 504, a service discovery manager 509, a service control manager 503, and a metadata manager 510.
  • the service manager 514 creates a channel map and selects a channel using the channel map according to a key input received from the user interface manager 513.
  • the service manager 514 receives the service information of the channel from the data decoder 507 and sets the audio / video packet identifier (PID) of the selected channel to the demultiplexer 508.
  • PID audio / video packet identifier
  • the service discovery manager 509 provides information necessary to select a service provider that provides a service. Upon receiving a signal regarding channel selection from the service manager 514, the service discovery manager 509 may find a service using information required to select a service provider.
  • the service control manager 503 is responsible for selecting and controlling a service.
  • the service control manager 503 uses IGMP or RTSP when the user selects a Live Broadcasting service such as a conventional broadcasting method, and uses RTSP when selecting a service such as Video On Demand (VOD). Can be used to select and control services.
  • IGMP Live Broadcasting service
  • RTSP Video On Demand
  • the RTSP protocol can provide a trick mode for real time streaming.
  • the service control manager 503 may initiate and manage a session through the IMC gateway using an IP multimedia subsystem (IMS) or a session initiation protocol (SIP).
  • IMS IP multimedia subsystem
  • SIP session initiation protocol
  • the protocols are one embodiment, and other protocols may be used depending on the implementation.
  • the metadata manager 510 manages metadata associated with a service and stores the metadata in the service information database unit 511.
  • the service information database unit 511 stores service information decoded by the data decoder 507, metadata managed by the metadata manager 510, and information necessary to select a service provider provided by the service discovery manager 509. do. In addition, the service information database unit 511 may store setup data for the system.
  • the service information database unit 511 and the content database unit 506 may be implemented using nonvolatile memory (NVRAM) or flash memory, respectively, and are divided into two logically separated areas on the same storage area. Can be implemented.
  • NVRAM nonvolatile memory
  • flash memory flash memory
  • the PVR manager 505 is a module for recording and playing back live streaming content.
  • the PVR manager 505 may collect metadata about the recorded content and generate additional information provided to the user such as a thumbnail image or an index.
  • Functions of the control unit of the IPTV receiver are the TCP / IP manager 502, service delivery manager 504, PVR manager 505, application managers 513 and 514, service discovery shown in FIG.
  • the manager 509, the service control manager 503, and the metadata manager 510 may be divided into a plurality of modules and implemented.
  • the TCP / IP manager 502 filters the SD & S information by using the target package information as described above, so that the network interface unit 501 corresponds to a specific package (for example, a package to which an IPTV receiver is subscribed). Only the payload or segment may be requested to the server and received.
  • the TCP / IP manager 502 filters the SD & S information received by the multicast method using the target package information so that only payloads or segments corresponding to a specific package are parsed and processed by the data decoder 507. Can be.
  • FIG. 15 is a block diagram showing the configuration of an IPTV receiver according to another embodiment of the present invention.
  • the solid line arrow shown in FIG. 15 corresponds to the data path, and the dotted line arrow corresponds to the control signal path.
  • Cable modem, DSL modem, etc (601) is an interface that allows ITF to be connected to IP network at the physical level, and demodulates the signal transmitted through the physical medium to restore the digital signal.
  • the Ethernet NIC 602 restores the signal received through the physical interface to IP data, and the IP Network Stack 607 processes each layer according to the IP Protocol stack.
  • the XML Parser 609 parses an XML Document among received IP data
  • the File Handler 608 processes data transmitted in the form of File through FLUTE among the received IP data.
  • the SI Handler 611 processes the part corresponding to the IPTV service information among the received File type data and stores it in the storage 612, and the EPG Handler 610 corresponds to the IPTV EPG information among the received File type data.
  • the portion can be processed and stored in Storage 612.
  • Storage 612 stores various data such as SI and EPG.
  • the SI Decoder 613 receives the SI data from the storage 612 and analyzes it to obtain channel map information.
  • the EPG Decoder 614 analyzes the EPG data stored in the storage 612 to restore necessary information for the EPG configuration. do.
  • the ITF Operation Controller 615 is a main controller that controls the operation of an ITF such as a channel change or an EPG display.
  • the channel service manager 616 performs an operation such as changing a channel according to a user input
  • the application manager 617 may perform an application service such as an EPG display according to the user input.
  • the MPEG-2 Demultiplexer 603 may extract MPEG-2 TS data from the received IP datagram and transmit the MPEG-2 TS data to the corresponding module according to the packet identification information (PID).
  • PID packet identification information
  • the MPEG-2 PSI / PSIP Parser 604 may extract and parse PSI / PSIP data including packet identification information (PID) of A / V data or access information about a program element from the MPEG-2 TS. .
  • PID packet identification information
  • the A / V Decoder 605 decodes the input audio and video data and transmits the decoded audio and video data to the display module 606.
  • the display module 606 may output decoded A / V data or an application.
  • the above-described method for transmitting and receiving media content according to the present invention can be stored in a computer-readable recording medium that is produced as a program for execution on a computer.
  • Examples of the computer-readable recording medium include ROM, RAM, CD-ROM. Magnetic tapes, floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 미디어 컨텐트를 인터넷을 통해 송수신하는 방법 및 장치에 관한 것이다. 본 발명의 실시예에 따른 미디어 컨텐트 전송 방법은, 인터넷을 통해 미디어 컨텐트를 전송하는 방법에 있어서, 상기 미디어 컨텐트를 복수의 레프리젠테이션으로 구성하는 단계; 상기 복수의 레프리젠테이션 각각을 복수의 세그먼트로 분할하는 단계; 상기 복수의 세그먼트 각각을 복수의 서브세그먼트로 분할하는 단계; 상기 복수의 서브세그먼트 각각에 대응하는 복수의 시간 기준 값을 생성하는 단계; 및 상기 레프리젠테이션 중 어느 하나를 전송하는 단계를 포함하고, 상기 전송되는 레프리젠테이션은 상기 복수의 시간 기준 값을 포함한다. 본 발명의 일 실시예에 따르면, 네트워크 상태의 변화에 의해 비트스트림을 스위칭함에 있어서, 미디어 컨텐트가 끊김없이 재생될 수 있다.

Description

미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
본 발명은 미디어 컨텐트를 인터넷을 통해 송수신하는 방법 및 장치에 관한 것이다.
현재 지상파, 케이블, 위성 또는 DMB(Digital Multimedia Broadcasting) 등과 같은 디지털 방송들은 대부분 MPEG-2 TS(Transport Stream)를 이용하여 AV 컨텐트를 스트리밍하고 있다.
또한, 최근 인터넷의 빠른 성장에 따라 IP(Internet Protocol) 네트워크를 주 전송망으로 하여 컨텐트를 제공하는 멀티미디어 서비스가 활성화되고 있으며, 디지털 방송은 스테레오 3D 비디오 방송, UHD(Ultra High Definition) 방송, 다시점 3D 비디오 방송, 홀로그램 방송 등과 같이 보다 많은 전송량이 요구되는 방향으로 발전해 나가고 있다.
그러나, 188 바이트의 고정 길이 패킷을 가지는 MPEG-2 TS는 IP 네트워크를 이용하여 기존 HDTV보다 높은 해상도를 가지는 컨텐트를 전송하기에는 비효율적일 수 있다.
본 발명의 일실시예는 미디어 컨텐트를 네트워크 상태에 따라 효율적으로 스트리밍할 수 있도록 하는 송수신 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 미디어 컨텐트 전송 방법은, 인터넷을 통해 미디어 컨텐트를 전송하는 방법에 있어서, 상기 미디어 컨텐트를 복수의 레프리젠테이션들로 구성하는 단계; 상기 레프리젠테이션을 복수의 세그먼트들로 분할하는 단계; 상기 세그먼트에 포함된 서브세그먼트들 각각에 대응하는 시간 기준 값들을 생성하는 단계; 및 상기 레프리젠테이션들 중 어느 하나를 전송하는 단계를 포함한다.
본 발명의 실시예에 따른 미디어 컨텐트 전송 장치는, 인터넷을 통해 미디어 컨텐트를 전송하는 장치에 있어서, 상기 미디어 컨텐트를 복수의 레프리젠테이션들로 구성하는 미디어 인코더; 상기 레프리젠테이션을 복수의 세그먼트들로 분할하는 세그먼터; 상기 세그먼트에 포함된 서브세그먼트들 각각에 대응하는 시간 기준 값들을 생성하는 시간 기준 값 생성부; 및 상기 레프리젠테이션들 중 어느 하나를 송신하는 송신부를 포함한다.
본 발명의 실시예에 따른 미디어 컨텐트 수신 방법은, 인터넷을 통해 미디어 컨텐트를 수신하는 방법에 있어서, 상기 미디어 컨텐트를 포함하는 복수의 레프리젠테이션들 중 제1 레프리젠테이션을 수신하는 단계; 상기 제1 레프리젠테이션의 수신을 중단하고, 제2 레프리젠테이션을 수신하는 단계; 및 상기 수신되는 레프리젠테이션을 재생하는 단계를 포함하고, 상기 수신되는 레프리젠테이션은 복수의 세그먼트들로 분할되어 수신되며, 상기 세그먼트에 포함된 서브세그먼트들은 각각 시간 기준 값들과 대응된다.
본 발명의 실시예에 따른 미디어 컨텐트 수신 장치는, 인터넷을 통해 미디어 컨텐트를 수신하는 장치에 있어서, 상기 미디어 컨텐트를 포함하는 제1 레프리젠테이션, 제2 레프리젠테이션 중 어느 하나를 수신하고, 상기 제2 레프리젠테이션을 수신하는 경우, 상기 제1 레프리젠테이션의 수신을 중단하는 수신부; 및 상기 제1 레프리젠테이션, 상기 제2 레프리젠테이션 중 어느 하나를 재생하는 제어부를 포함하고, 상기 수신되는 레프리젠테이션은 복수의 세그먼트들로 분할되어 수신되며, 상기 세그먼트에 포함된 서브세그먼트들은 각각 시간 기준 값들과 대응된다.
본 발명의 일 실시예에 따르면, 네트워크 상태의 변화에 의해 비트스트림을 스위칭함에 있어서, 미디어 컨텐트가 끊김없이 재생될 수 있다.
도 1은 본 발명의 일실시예에 따른 미디어 컨텐트 송수신 시스템의 구성을 나타내는 블록도이다.
도 2는 MPEG2 TS의 구조를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 미디어 컨텐트 전송 방법을 설명하기 위한 흐름도이다.
도 4는 미디어 컨텐트를 포함하는 레프리젠테이션들의 구성에 대한 일실시예를 나타내는 도면이다.
도 5는 서브세그먼트의 구성에 대한 일실시예를 나타내는 도면이다.
도 6은 서브세그먼트의 재생 시간을 설명하기 위한 도면이다.
도 7은 PCR을 이용한 서브세그먼트들의 재생 시간을 설명하기 위한 도면이다.
도 8 및 도 9는 미디어 컨텐트에 대한 메타 데이터를 제공하는 MPEG-2 TS PCR 정보 박스(MPEG-2 TS PCR Information Box)의 구성에 대한 일실시예를 설명하기 위한 도면이다.
도 10 및 도 11은 미디어 컨텐트에 대한 메타 데이터를 제공하는 미디어 예비 정보 박스(Media Auxiliary Information Box)의 구성에 대한 일실시예를 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 미디어 컨텐트 수신 장치의 블록도이다.
도 13은 본 발명의 일실시예에 따른 미디어 컨텐트 수신 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일실시예에 의한 IPTV 수신기의 구성을 나타내는 블록도이다.
도 15는 본 발명의 다른 실시예에 의한 IPTV 수신기의 구성을 나타내는 블록도이다.
이하, 첨부된 도 1 내지 도 15를 참조하여 본 발명의 실시예에 따른 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치에 대하여 상세히 설명하기로 한다.
이하에서 본 발명의 실시예를 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예에 따른 송신 장치와 수신 장치는 IP 기반의 전송 시스템을 이용하여 미디어 컨텐트를 송수신하며, 예를 들어 미디어 컨텐트는 TCP(Transmission Control Protocol) 및 HTTP(Hypertext Transfer Protocol) 프로토콜을 이용하여 웹서버를 통해 스트리밍될 수 있다.
송신 장치는 컨텐트 제공자로부터 컨텐트를 제공받아 이를 변환하여 전송하거나, 또는 미디어 DB(media DataBase)에 저장하여 보관할 수 있다.
예를 들어, 컨텐트 제공자로부터 제공되는 미디어 컨텐트는 MPEG-2 TS 포맷 또는 ISO Base Media 파일 포맷에 따른 것일 수 있으며, 송신 장치는 미디어 컨텐트를 IP 기반 전송(IP-based delivery)에 용이한 포맷으로 변환한 후, 인터넷 망 등의 네트워크를 통해 전송하거나 또는 미디어 DB에 저장할 수 있다.
한편, 수신 장치는 IP 기반의 전송 시스템을 이용하여 송신 장치로부터 미디어 컨텐트를 수신하고, 수신된 미디어 컨텐트를 변환한 후 재생하거나, 로컬 저장매체(local storage)에 저장할 수 있다.
예를 들어, 수신 장치는 송신 장치로부터 수신되는 미디어 컨텐트를 MPEG-2 TS 포맷 또는 ISO Base Media 파일 포맷으로 변환한 후 처리하여 재생하거나 또는 로컬 저장 매체에 저장할 수 있다.
한편, HTTP를 이용한 IP 기반의 오픈 인터넷 환경은 QoS를 보장하지 않으므로, 네트워크 트래픽에 따라 수신 장치로 전송할 수 있는 대역폭이 동적으로 변화하여 컨텐트 파일의 전송을 위해 필요한 안정적이고 고정적인 대역폭을 확보하기 어려울 수 있다.
예를 들어, 사용자가 집에서 사용하는 PC 시스템에서 네트워크 전송이 빈번한 소프트웨어를 설치 또는 사용하는 경우, 네트워크 트래픽의 증가로 인해 안정적이고 고정적인 대역폭을 확보할 수 없으며, 이러한 문제의 해결을 위해 인터넷 게이트웨이가 특정 소프트웨어에 대역폭을 할당하는 방법도 고안되어 있지만 현재까지는 널리 사용되지 못하고 있다.
또한, 수신 장치에 고정적인 대역폭이 보장되는 경우에도, 오픈 인터넷 환경에서 운영되는 송신 장치인 인터넷 서버는 여러 다른 네트워크들을 거쳐 서비스가 전송되므로, 여전히 QoS 보장에 어려움이 있을 수 있다.
예를 들어, 유튜브(Youtube) 등과 같은 서비스들은 특정 서비스 사업자가 운영하는 다른 네트워크를 통하여 제공되어, 전송 과정에서 네트워크 설정이나 트래픽의 양이 증가함에 따라 컨텐트가 지연 전송되거나 전송 포기(drop) 또는 재전송될 가능성이 있다.
상기한 바와 같은 QoS 보장의 문제는 오픈 인터넷 환경에서 컨텐트 서비스를 제공하는 컨텐트 제공자들에게 어려움을 느끼게 하는 주요한 원인이 될 수 있다.
한편, 상기한 바와 같은 컨텐트 전송의 어려움을 해결하기 위하여, M3U 형태의 플레이 리스트 파일을 이용하여 네트워크 대역폭에 따라 컨텐트를 적절하게 송수신할 수 있도록 하는 적응적 스트리밍(adaptive streaming) 방식이 이용될 수 있다.
적응적 스트리밍 방식은 하나의 컨텐트에 대하여 서로 다른 비트율(bitrate) 등을 가진 컨텐트 파일들을 만들어 두고 수신 장치의 대역폭에 따라 비트율을 선택하여 전송 요청할 수 있도록 하는 것으로, 오픈 인터넷 환경에서는 대부분 HTTP 프로토콜을 이용해 컨텐트를 전송하고 있기 때문에, HTTP Adaptive Streaming이라고 지칭된다.
이하에서는, 도 1을 참조하여 적응적 스트리밍을 위한 시스템의 구조에 대한 실시예를 설명한다.
도 1은 본 발명의 일실시예에 따른 미디어 컨텐트 송수신 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 적응적 스트리밍을 위한 시스템은 서버(server, 10), 분배 서버(distribution, 20) 및 클라이언트(client, 30)를 포함하여 구성될 수 있다.
서버(10)가 AV(Audio/Video)를 미가공된 데이터(raw data)로 미디어 인코더(media encoder, 11)에 전달하면, 미디어 인코더(11)는 AV 데이터를 MPEG-2 TS 형태의 스트리밍 파일 포맷(streaming File Format)으로 변환할 수 있다.
한편, 스트리밍 세그멘터(stream segmenter, 12)는 미디어 인코더(11)로부터 출력되는 MPEG-2 TS 파일을 복수의 세그먼트들로 분할할 수 있다.
예를 들어, 스트리밍 세그멘터(12)는 하나의 파일 또는 실시간 MPEG-2 TS 파일을 약 10초간 재생할 수 있는 크기의 세그멘트들로 분할한 후 분배 서버(20)에 저장할 수 있다.
클라이언트(30)는 HTTP 프로토콜을 이용해 분배 서버(20)에 저장되어 있는 분할된 파일들을 요청하여 전송받아 재생할 수 있다.
또한, 서로 다른 비트율을 가지는 MPEG-2 TS 파일 세그먼트들이 분배 서버(20)에 저장될 수 있으며, 그를 위해 각각 특정 비트율로 인코딩된 MPEG-2 TS 파일 세그먼트들이 저장된 웹 서버(origin web server, 21)가 분배 서버(20)에 여러 개 존재할 수 있다.
예를 들어, 20kbps의 비트율로 인코딩된 MPEG-2 TS 파일 세그먼트들과 500kbps의 비트율로 인코딩된 MPEG-2 TS 파일 세그먼트들이 서로 다른 파일명으로 분배 서버(20)에 저장될 수 있다.
그에 따라, 클라이언트(30)는 수신 지역의 대역폭이 감소하는 경우, 20kbps의 비트율로 인코딩된 파일을 요청하여 10초간 재생하고, 재생 시간인 10초가 경과하기 전에 다시 주기적으로 대역폭을 검사할 수 있다.
이 때, 대역폭이 고용량, 고품질의 파일을 전송할 수 있을 정도로 증가하는 경우, 클라이언트(30)는 500kbps의 비트율로 인코딩된 파일의 전송을 요청할 수 있다.
그로 인해, 클라이언트(30)는 네트워크 대역폭에 따라 적응적으로 20kbps와 500kbps의 비트율들로 인코딩된 컨텐트들을 번갈아 수신하여 재생할 수 있으며, 대역폭이 좋지 않은 경우 재생하는 영상의 질이 저하될 수 있으나 영상이 끊어지는 현상이 최소화될 수 있다.
상기한 바와 같은 HTTP 프로토콜을 이용한 적응적 스트리밍을 위해, 미디어 컨텐트는 복수의 레프리젠테이션들(representations)로 구성될 수 있으며, 레프리젠테이션들에 각각 포함된 미디어 컨텐트는 비트율, 해상도(resolution), 언어(language) 또는 코덱(codec)이 서로 다를 수 있다.
미디어 컨텐트는 오디오(audio), 비디오(video) 또는 텍스트(timed text) 등과 같은 미디어 컴포넌트들(media components)을 포함하며, 레프리젠테이션은 하나 또는 그 이상의 미디어 컴포넌트들의 구조화된 모음(structured collection)일 수 있다.
이 경우, 클라이언트(30)는 상기한 바와 같이 서로 다른 비트율 등을 가지도록 구성된 복수의 레프리젠테이션들 중 어느 하나를 서버(20)에 요청하여 수신할 수 있다.
한편, 클라이언트(30)가 세그먼트들에 액세스하여 사용자에게 스트리밍 서비스를 제공하기 위해, 서버(10)는 세그먼트 데이터와 함께 클라이언트(30)에 의해 요구되는 메타 데이터를 포함하는 MPD(Media Presentation Description)를 제공할 수 있다.
클라이언트(30)는 MPD에 포함된 엘리먼트(element)를 이용해 복수의 레프리젠테이션들 중 어느 하나를 선택하여 전송 요청할 수 있다.
레프리젠테이션은 상기한 바와 같이 복수의 세그먼트들로 분할되며, HTTP 1.1(RFC 2616)에서 정의된 HTTP GET 또는 HTTP partial GET method를 이용한 클라이언트(30)의 요청에 따라 세그먼트 또는 세그먼트의 일부분으로 전송될 수 있다.
한편, 비트스트림 스위칭(bitstream switching)이 가능한 경우, 클라이언트(30)는 미디어 재생 도중 업데이트된 정보에 기초하여 수신되는 레프리젠테이션을 다른 레프리젠테이션으로 전환할 수 있다.
이 경우, 클라이언트(30)는 이전 레프리젠테이션이 재생되던 시점부터 새로운 레프리젠테이션을 수신하여 재생할 수 있다.
또한, 세그먼트는 복수의 서브세그먼트들을 포함하여 구성될 수 있으며, 서브세그먼트는 세그먼트 레벨에서 인덱스될 수 있는 가장 작은 단위(unit)를 의미할 수 있다. 세그먼트는 초기화 세그먼트(Initialization Segment), 미디어 세그먼트(Media Segment), 인덱스 세그먼트(Index Segment), 비트스트림 스위칭 세그먼트(Bitstream Switching Segment) 등을 포함할 수 있다.
도 2는 MPEG-2 TS의 구조를 나타내는 도면이다.
도 2를 참조하면, MPEG-2 TS는 각각 188바이트의 고정 비트율을 가지는 복수의 MPEG-2 TS 패킷들을 포함할 수 있으며, 서브세그먼트는 연속하는 MPEG-2 TS 패킷들의 집합으로 구성될 수 있다.
예를 들어, 하나의 샘플은 동일한 PID 값을 가지는 하나 이상의 MPEG-2 TS 패킷들로 구성된 액세스 유닛이며, 서브세그먼트는 복호화 순서로 연속되는 액세스 유닛들의 하나의 인덱스된 집합으로 정의될 수 있다.
한편, ISO Base Media 파일 포맷을 스트리밍 하기 위하여 단편화된 파일(fragmented file) 구조가 이용될 수 있다.
예를 들어, 단편화된 파일은 미디어 트랙들을 물리적으로 복수의 프래그먼트들로 나누며, 각각의 프래그먼트는 moof(Movie Fragment) 박스와 mdat(media data) 박스로 구성될 수 있다.
moof 박스 이후의 mdat 박스는 프래그먼트 미디어 데이터를 포함하여, 이와 같이 조합된 moof-mdat 쌍은 하나의 프래그먼트를 구성할 수 있다.
이 경우, 서브세그먼트는 연속되는 하나 이상의 movie 프래그먼트들의 독립된(self-contained) 집합으로 정의될 수 있으며, 그에 따라 하나 이상의 moof(Movie Fragment) 박스들과 그에 대응되는 mdat(media data) 박스들을 포함할 수 있다.
본 발명의 실시예에 따르면, 상기한 바와 같이 MPEG-2 TS 또는 ISO base 미디어 파일 포맷의 미디어 컨텐트를 복수의 레프리젠테이션들로 구성하여 세그먼트 단위로 전송함에 있어, 서버(10)는 클라이언트(30)에서의 비트스트림 스위칭이 효율적으로 수행되도록 PCR(Program Clock Reference)을 이용할 수 있다. PCR은 MPEG-2 TS에 있는 시스템 클럭에 관한 정보이며, 프로그램에 대한 시간 기준 값을 나타낼 수 있다.
한편, 상기에서는 MPEG-2 TS 또는 ISO base 미디어 파일 포맷의 미디어 컨텐트가 HTTP를 통해 인터넷으로 전송되는 경우를 예로 들어 설명하였으나, 본 발명은 이에 한정되지 아니하며, 본 발명의 실시예에 따른 미디어 컨텐트 송수신 방법 및 장치는 다양한 포맷의 미디어 컨텐트들에 대해 적용 가능하다.
이하, 도 3 내지 도 7을 참조하여 서브세그먼트에 대응하는 PCR을 포함하는 미디어 컨텐트 전송 방법에 대한 실시예들에 대해 설명한다.
도 3은 본 발명의 일실시예에 따른 미디어 컨텐트 전송 방법을 설명하기 위한 흐름도이다. 이하에서는 도시된 전송 방법 중 도 1 및 도 2를 참조하여 설명한 것과 동일한 것에 대한 설명은 생략한다.
도 3을 참조하면, 송신 장치는 미디어 컨텐트를 복수의 레프리젠테이션들로 구성한다(S101). 예컨대, 복수의 레프리젠테이션들은 미디어 컨텐트의 비트율, 해상도, 언어, 코덱 중 적어도 하나에 따라 상이하게 구성될 수 있다.
송신 장치는 구성된 레프리젠테이션들 각각을 복수의 세그먼트들로 분할한다(S103). 예컨대, 레프리젠테이션들 각각은 HTTP 프로토콜을 이용한 전송을 위해 복수의 세그먼트들로 분할될 수 있다.
송신 장치는 구성된 복수의 세그먼트 각각을 복수의 서브세그먼트들로 분할한다(S105). 예컨대, 미디어 세그먼트들 각각은 세그먼트 인덱스에 의하여 서브세그먼트 단위로 인덱스될 수 있다.
도 4는 미디어 컨텐트를 포함하는 레프리젠테이션들의 구성에 대한 일실시예를 나타내는 도면이다.
도 4를 참조하면, 송신 장치는 미디어 컨텐트를 서로 다른 비트율을 가지는 레프리젠테이션 A(Representation A)와 레프리젠테이션 B(Representation B)로 만들어 놓을 수 있으며, 레프리젠테이션 A와 B는 하나의 그룹을 형성할 수 있다. 그룹은 레프리젠테이션 A와 B 이외에 다른 레프리젠테이션들을 더 포함할 수도 있다.
한편, 레프리젠테이션 A 및 B에 포함된 모든 서브세그먼트들에 대하여 인덱스(index) 정보가 존재하며, 인덱스 정보는 클라이언트(30)가 partial HTTP GET method를 이용하여 세그먼트의 서브세그먼트들을 랜덤하게 액세스하기 위한 것일 수 있다.
예를 들어, 서브세그먼트들이 각각 세그먼트 인덱스(segment index)를 포함하거나, 또는 서브세그먼트에 대한 인덱스를 제공하는 인덱스 세그먼트(index segment)가 존재할 수도 있다.
서브세그먼트들에 대한 인덱스 정보를 제공하는 방법에 대해서는, 도8 내지 도11 를 참조하여 뒤에서 상세히 설명하기로 한다.
또한, 서브세그먼트와 관련하여, 서브세그먼트(200)의 가장 빠른 재생 시간(TE, the earliest presentation time)과 가장 늦은 재생 시간(TL, the latest presentation time)이 정의될 수 있다. 이하, 도 5를 참조하여, 서브세그먼트의 구성에 대한 일실시예를 설명한다.
도 5는 서브세그먼트의 구성에 대한 일실시예를 나타내는 도면이다.
도 5를 참조하면, 서브세그먼트(200)는 비디오(Video)와 오디오(Audio), 2개의 미디어 컴포넌트들을 포함할 수 있으며, 미디어 컴포넌트들 중 어느 하나 예컨대, 비디오가 레퍼런스 스트림(reference stream)으로 지정될 수 있다.
즉, 레퍼런스 스트림은 미디어 컴포넌트들 중 주된 미디어 컴포넌트(primary media component)의 연속하는 샘플들의 그룹을 의미할 수 있다.
이 경우, 서브세그먼트(200)의 가장 빠른 재생 시간(TE)은 레퍼런스 스트림에 존재하는 임의의 샘플의 가장 빠른 재생 시간으로 정의될 수 있으며, 그에 따라 비디오 샘플들 중 가장 빠른 샘플(201)의 재생 시간이 될 수 있다.
그리고, 서브세그먼트(200)의 가장 늦은 재생 시간(TL)은 레퍼런스 스트림에 존재하는 가장 늦은 샘플(204)의 재생 시간이 될 수 있다.
한편, 샘플(204)은 서브세그먼트(200)(또는 세그먼트)의 스트림에 존재하는 액세스 유닛(access unit)을 의미할 수 있다.
다시 도 4를 참조하면, 도 4에 도시된 바와 같은 서브세그먼트들은 크기 또는 미디어 컨텐트의 지속 시간(duration)이 상이할 수 있다.
또한, 도 4에서는 서브세그먼트의 가장 늦은 재생 시간(TL)이 연속하는 서브세그먼트들 사이의 경계에 위치하는 것으로 도시되었으나, 서브세그먼트의 가장 늦은 재생 시간(TL)은 서브세그먼트들 사이의 경계보다 약간 앞설 수 있다.
즉, 레프리젠테이션 A에서, K 번째 서브세그먼트의 가장 늦은 재생 시간(TL)은 K 번째 서브세그먼트와 K+1 번째 서브세그먼트 사이의 경계에 해당하는 시간보다 약간 앞설 수 있다.
이하, 도 6을 참조하여 서브세그먼트들의 재생 시간을 설명한다.
도 6은 서브세그먼트의 재생 시간을 설명하기 위한 도면이다.
도 6을 참조하면, 레프리젠테이션 B의 K-1번째 서브세그먼트((K-1)B)의 가장 빠른 재생 시간(TE)이 레프리젠테이션 A의 K번째 서브세그먼트(KA)의 가장 늦은 재생 시간(TL)보다 늦을 수 있다.
레프리젠테이션 A에서 B로 비트스트림 스위칭이 되면, 클라이언트(30)는 레프리젠테이션 A를 재생하다가, 스위칭 이후 레프리젠테이션 B를 재생할 수 있다.
이때, 클라이언트(30)는 레프리젠테이션 A의 K번째 서브세그먼트(KA)를 수신하여 재생이 완료된 이후에 레프리젠테이션 B의 K-1번째 서브세그먼트((K-1)B)를 수신하여 재생하고, 레프리젠테이션 B의 K-1번째 서브세그먼트((K-1)B)의 가장 빠른 재생 시간(TE)과 레프리젠테이션 A의 K번째 서브세그먼트(KA)의 가장 늦은 재생 시간(TL)의 차이만큼, 재생 타임라인(Presentation Timeline)을 기준으로 서브세그먼트가 재생되지 않는 시간이 발생할 수 있다.
또한, 레프리젠테이션 A의 K+1번째 서브세그먼트((K+1)A)의 가장 빠른 재생 시간(TE)이 레프리젠테이션 B의 K번째 서브세그먼트(KB)의 가장 늦은 재생 시간(TL)보다 앞설 수 있다.
레프리젠테이션 B에서 A로 비트스트림 스위칭이 되면, 클라이언트(30)는 레프리젠테이션 B를 재생하다가, 스위칭 이후 레프리젠테이션 A를 재생할 수 있다.
이때, 클라이언트(30)는 레프리젠테이션 B의 K번째 서브세그먼트(KB)를 수신하여 재생이 완료되기 이전에, 레프리젠테이션 A의 K+1번째 서브세그먼트((K+1)A)를 수신하여 재생하였으므로, 재생 타임라인(Presentation Timeline)을 기준으로 서브세그먼트의 재생 시간이 중복될 수도 있다.
따라서 비트스트림 스위칭 과정에서 서브세그먼트가 재생되지 않거나 각기 다른 레프리젠테이션의 서브세그먼트들의 재생 시간이 중복되지 않도록 하기 위해서는 레프리젠테이션 A와 레프리젠테이션 B 중 어느 하나에 포함된 K번째 서브세그먼트의 가장 빠른 재생 시간(TE)이 또 다른 레프리젠테이션에 포함된 K-1번째 서브세그먼트의 가장 늦은 재생 시간(TL)과 일치되어야 한다.
다시 도 3을 참조하면, 송신 장치는 복수의 서브세그먼트에 대응하는 복수의 PCR을 생성한다(S107). 송신 장치는 복수의 서브세그먼트에 대응하는 복수의 PCR을 인덱스 세그먼트에 포함시킬 수 있다. 송신 장치는 PCR을 전송함으로써, 보다 스무스한 비트스트림 스위칭이 가능하게 할 수 있다.
이하, 도 7을 참조하여 각기 다른 레프리젠테이션들에 각각 포함된 서로 다른 인덱스를 가지는 두 서브세그먼트들의 재생 시간이 재생 타임라인을 기준으로 일치하도록 PCR을 이용하는 방법을 설명한다.
도 7은 PCR을 이용한 서브세그먼트들의 재생 시간을 설명하기 위한 도면이다.
도 7을 참조하면, 클라이언트(30)는 미디어 재생 도중 업데이트된 정보에 기초하여 수신되는 레프리젠테이션을 다른 레프리젠테이션으로 전환할 수 있다. 예컨대, 클라이언트(30)는 500kbps의 비트율로 인코딩된 미디어 컨텐트를 포함하는 레프리젠테이션 A와 20kbps의 비트율로 인코딩된 미디어 컨텐트를 포함하는 레프리젠테이션 B를 번갈아 수신할 수 있다.
클라이언트(30)는 레프리젠테이션 A의 K번째 서브세그먼트(KA)를 수신하여 재생하는 도중에 비트스트림 스위칭이 되어 레프리젠테이션 B의 K-1번째 서브세그먼트((K-1)B)를 수신할 수 있다.
클라이언트(30)는 레프리젠테이션 A의 K번째 서브세그먼트(KA)의 재생을 유지하면서, 레프리젠테이션 A의 K번째 서브세그먼트(KA)의 제1 PCR 값과 레프리젠테이션 B의 K-1번째 서브세그먼트((K-1)B)의 제2 PCR 값을 추출할 수 있다. 이어서, 클라이언트(30)는 제1 PCR 값과 제2 PCR 값의 PCR 차이 값을 계산할 수 있다.
클라이언트(30)는 레프리젠테이션 B의 K-1번째 서브세그먼트((K-1)B) 재생을 위한 제1 시스템 클럭(S1)에 제2 PCR 값과 PCR 차이 값을 반영할 수 있다. 클라이언트(30)의 시스템 클럭에 재생 중인 서브세그먼트와 재생될 예정인 서브세그먼트의 PCR 차이 값이 반영됨으로써, 재생 타임라인을 기준으로 서브세그먼트의 재생 시간이 일치될 수 있다.
상기한 바와 같이 서브세그먼트의 PCR을 이용하여, 각기 다른 레프리젠테이션들에 각각 포함된 서로 다른 인덱스를 가지는 두 서브세그먼트들의 재생 시간이 일치되면, 클라이언트(30)가 비트율이 서로 다른 레프리젠테이션을 비트스트림 스위칭하더라도 중복된 데이터가 제공되거나 데이터가 손실되지 않을 수 있다.
다시 도 3을 참조하면, 송신 장치는 복수의 서브세그먼트 각각에 대응하는 PCR을 포함하는 레프리젠테이션들 중 어느 하나를 전송한다(S109).
예를 들어, 클라이언트(30)는 서버(10)로부터 제공되는 MPD를 이용하여 미디어 컨텐트의 비트율, 해상도, 언어 또는 코덱 등이 서로 상이한 복수의 레프리젠테이션들 어느 하나를 선택하고, HTTP 1.1(RFC 2616)에서 정의된 HTTP GET 또는 HTTP partial GET method를 이용해 선택된 레프리젠테이션에 대응되는 세그먼트 또는 세그먼트의 일부를 요청할 수 있다.
한편, MPD는 레프리젠테이션들에 대한 비트스트림 스위칭 여부를 나타내는 비트스트림 스위칭 플래그(bitstream switching flag)와, 서브세그먼트들에 대한 정렬 여부를 나타내는 서브세그먼트 정렬 플래그(subsegment alignment flag)를 포함할 수 있다.
MPD에 포함된 비트스트림 스위칭 플래그가 'true'인 경우, 클라이언트(30)는 상기한 바와 같은 비트스트림 스위칭 동작을 수행할 수 있다.
또한, MPD에 포함된 서브세그먼트 정렬 플래그가 'true'인 경우, 서브세그먼트들이 도 9 내지 도 11에 도시된 바와 같이 정렬되며, 그에 따라 클라이언트(30)는, 중복 또는 손실된 데이터 없이, 연속하는 서브세그먼트들에 의한 임의의 경계에서 레프리젠테이션를 스위칭할 수 있다.
본 발명의 실시예에 따르면, 모든 서브세그먼트들에 대한 인덱스 정보가 존재하고, 복수의 레프리젠테이션들 중 임의의 제1 레프리젠테이션에 포함된 k 번째 서브세그먼트의 가장 빠른 재생 시간(TE)이 임의의 제2 레프리젠테이션에 포함된 k-1 번째 서브세그먼트의 가장 늦은 재생 시간(TL)과 일치함으로써, 비트스트림 스위칭시 발생할 수 있는 데이터의 손실 또는 중복 수신을 방지할 수 있다.
한편, MPEG-2 TS 미디어를 전송을 위한 세그먼트들로 분할하기 위해, 미디어는 전송 프로토콜에 의해 요구되는 대로 레퍼런스 프로그램 엘리먼트(이는 레퍼런스 스트림과 동일한 의미일 수 있다)의 지속 시간(duration)에 따라 대략적으로 분할될 수 있다. 세그먼트들 사이의 경계는 MPEG-2 TS 패킷들에 맞추어 정렬될 수 있다.
MPEG-2 TS 미디어를 위해 전달되는 메타 데이터에서는, 프로그램에 속하는 어느 한 프로그램 엘리먼트가 레퍼런스로 선택되고, 세그먼트에서 레퍼런스 프로그램 엘리먼트에 대한 재생 유닛(PU, Play Unit)을 위한 가장 빠른 재생 시간이 전달될 수 있다.
또한, 서브세그먼트들 각각에 대해, 데이터 오프셋(data offset)과 해당 서브세그먼트의 가장 빠른 재생 시간에 대한 스탬프(PTS)가 전달되며, 선택적으로 랜덤 액세스 포인트(random access point)의 재생 시간과 PTS 불연속(PTS discontinuity) 발생 여부가 전달될 수 있다.
한편, 랜덤 액세스 포인트의 재생 시간과 PTS 불연속의 발생 여부는 클라이언트(30)가 PTS-PCR 기반 타임라인을 미디어 재생 타임라인에 맞출 수 있도록 하기 위해 이용될 수 있다.
메타 데이터는 일반적인 ISO Base Media 파일 포맷 데이터 타입들에 기반한 바이너리 포맷으로 표현될 수 있으며, 이는 Dynamic adaptive streaming over HTTP(DASH)에서 이용되는 'sidx' 박스와 유사한 구조를 가질 수 있다.
'sidx' 박스의 기능에 추가하여, 본 발명의 일실시예에 따른 메타 데이터의 포맷은 클라이언트(30)가 MPEG-2 PTS-PCR 기반 타임라인을 미디어 재생 타임라인에 맞출 수 있도록 할 수 있다.
이는 서브세그먼트에 있는 재생 유닛(PU)의 가장 빠른 PTS를 전달함에 의해 이루어 질 수 있으며, 또한 MPEG-2 PTS 타임라인에 존재하는 불연속에 대한 정보가 전달될 수 있다.
이하에서는 도 8 및 도 9를 참조하여, 본 발명의 일실시예에 따라 인덱스 세그먼트에 포함된 PCR 정보를 설명한다.
도 8 및 도 9는 미디어 컨텐트에 대한 메타 데이터를 제공하는 MPEG-2 TS PCR 정보 박스(MPEG-2 TS PCR Information Box)의 구성에 대한 일실시예를 설명하기 위한 도면이다.
도 8을 참조하면, 미디어 컨텐트에 대한 메타 데이터는 MPEG-2 TS PCR 정보 박스('pcrb',MPEG-2 TS PCR Information Box)로 구성될 수 있으며, MPEG-2 TS PCR 정보 박스('pcrb')는 MPEG-2 TS를 위한 PCR 정보를 제공할 수 있다.
인덱스 세그먼트는 미디어 세그먼트의 인덱싱 정보를 포함할 수 있다. 인덱스 세그먼트는 단일(single) 미디어 세그먼트를 위한 인덱스 세그먼트 또는 다중(multiple) 미디어 세그먼트를 위한 인덱스 세그먼트일 수 있다.
단일 미디어 세그먼트를 위한 인덱스 세그먼트는 하나의 미디어 세그먼트를 정확하게 인덱스할 수 있다. 하나의 미디어 세그먼트를 인덱스하는 인덱스 세그먼트 각각은 세그먼트 타입 박스('styp', Segment Type box)부터 시작될 수 있다. 세그먼트 타입 박스('styp')에서는 ISO 기반 미디어 파일 포맷에서 정의된 브랜드(brand)인 'isss(index segment subsegment)'가 나타날 수 있다. 'isss'브랜드에서 단일 인덱스 세그먼트는 MPEG-2 TS 기반의 미디어 세그먼트를 인덱스할 수 있다.
하나의 미디어 세그먼트를 인덱스하는 인덱스 세그먼트 각각은 하나의 미디어 세그먼트를 정확하게 인덱스하기 위하여, 하나 또는 그 이상의 세그먼트 인덱스 박스와 MPEG-2 TS PCR 정보 박스('pcrb')를 포함할 수 있다. MPEG-2 TS PCR 정보 박스('pcrb')는 동일한 서브세그먼트를 기록하는 세그먼트 인덱스 박스('sidx', Segment Index box)의 바로 뒤에 따라올 수 있다.
다중(multiple) 미디어 세그먼트를 위한 인덱스 세그먼트는 다중 미디어 세그먼트를 인덱스할 수 있다. 다중 미디어 세그먼트를 인덱스하는 인덱스 세그먼트 각각은 세그먼트 타입 박스('styp')부터 시작될 수 있다. 세그먼트 타입 박스('styp')에서는 ISO 기반 미디어 파일 포맷에서 정의된 브랜드인 'isms(index segment media segment)'가 나타날 수 있다. 'isms'브랜드에서 재생 인덱스 세그먼트(Representation Index Segment)는 MPEG-2 TS 기반의 미디어 세그먼트를 인덱스할 수 있다.
미디어 세그먼트 각각은 하나 또는 그 이상의 세그먼트 인덱스 박스에 의해 인덱스될 수 있다. 하나의 특정한(given) 미디어 세그먼트를 위한 복수의 세그먼트 인덱스 박스들은 연속(contiguous)될 수 있다.
복수의 미디어 세그먼트들을 위한 인덱싱 정보는 단일 전체(overall) 세그먼트 인덱스 박스에 의해 예측되는 순서대로 연결될(concatenated) 수 있다.
전체(overall) 세그먼트 인덱스 박스는 미디어 세그먼트 각각을 위한 루프 내에 하나의 엔트리를 포함할 수 있다. 엔트리 각각은 단일 미디어 세그먼트를 위한 세그먼트 인덱스 정보를 나타낼 수 있다.
서브세그먼트 인덱스를 가지는 인덱스 세그먼트는 호환 가능한 브랜드로서, 세그먼트 타입 박스('styp')에 'ssss'브랜드를 포함할 수 있다. 'ssss'브랜드에서 서브세그먼트 인덱스 세그먼트는 MPEG-2 TS 기반의 미디어 세그먼트를 인덱스할 수 있다.
서브세그먼트 인덱스를 가지는 인덱스 세그먼트는 '0'으로 정의될 수 있는 단일 미디어 세그먼트를 위한 인덱스 세그먼트에 따를 수도 있고, 다중 미디어 세그먼트를 위한 인덱스 세그먼트를 따를 수도 있으며, 이에 한정될 필요는 없다. 서브세그먼트 인덱스 박스('ssix', Sub-segment Index box)는 세그먼트 인덱스 박스('sidx')의 바로 뒤에 따라올 수 있고, MPEG-2 TS PCR 정보 박스('pcrb')의 이전에 따라올 수 있다. 세그먼트 인덱스 박스('sidx')와 MPEG-2 TS PCR 정보 박스('pcrb')는 동일한 서브세그먼트를 기록할 수 있다. 이와 같이 바로 앞선 세그먼트 인덱스 박스('sidx')는 복수의 서브세그먼트들만을 인덱스할 수 있다.
도 9에 도시된 MPEG-2 TS PCR 정보 박스('pcrb')의 신텍스 구조를 참조하면, subsegment_count는 MPEG-2 TS PCR 정보 박스('pcrb')에 서브세그먼트 정보의 일부가 특정된 서브세그먼트들의 개수를 특정할 수 있으며, 양의 정수일 수 있다. subsegment_count는 최종 세그먼트 인덱스 박스의 reference_count와 동일할 수 있다. subsegment_count는 루프에서 인덱스될 수 있으며, 1 또는 그 보다 큰 값으로 지정될 수 있다.
pcr은 미디어 서브세그먼트에 포함된 첫 번째 MPEG-2 TS 패킷의 첫 번째 싱크(sync) 바이트에 대응하는 MPEG-2 TS PCR을 나타낼 수 있다.
이하에서는 도 10 및 도 11을 참조하여, 본 발명의 다른 실시예에 따라 인덱스 세그먼트에 포함된 PCR 정보를 설명한다.
도 10 및 도 11은 미디어 컨텐트에 대한 메타 데이터를 제공하는 미디어 예비 정보 박스(Media Auxiliary Information Box)의 구성에 대한 일실시예를 설명하기 위한 도면이다.
도 10을 참조하면, 미디어 컨텐트에 대한 메타 데이터는 미디어 예비 정보 박스('masi', Media Auxiliary Information Box)로 구성될 수 있다. 미디어 예비 정보 박스('masi') 예비 미디어 정보를 포함할 수 있다. 미디어 예비 정보 박스('masi')는 세그먼트 또는 세그먼트를 구성하는 서브세그먼트가 MPEG-2 TS('m2ts')라는 미디어 타입임을 의미하는 정보를 포함할 수 있다.
인덱스 세그먼트는 앞서 설명한 바와 같이, 단일 미디어 세그먼트를 위한 인덱스 세그먼트 또는 다중 미디어 세그먼트를 위한 인덱스 세그먼트일 수 있으며, 이에 한정될 필요는 없다.
단밀 미디어 세그먼트를 위한 인덱스 세그먼트는 하나의 미디어 세그먼트를 정확하게 인덱스할 수 있다. 하나의 미디어 세그먼트를 인덱스하는 인덱스 세그먼트 각각은 세그먼트 타입 박스('styp')부터 시작될 수 있다. 세그먼트 타입 박스('styp')에서는 브랜드 'isss'가 나타날 수 있다.
하나의 미디어 세그먼트를 인덱스하는 인덱스 세그먼트 각각은 하나의 미디어 세그먼트를 정확하게 인덱스하기 위하여, 하나 또는 그 이상의 세그먼트 인덱스 박스와 미디어 예비 정보 박스('masi')를 포함할 수 있다.
도 11에 도시된 미디어 예비 정보 박스('masi')의 신텍스 구조를 참조하면, FormatID는 데이터에 대한 유일한 식별자일 수 있다. FormatID는 4개의 문자로 이루어질 수 있다. Data는 미디어 데이터를 의미할 수 있으며, 이에 한정될 필요는 없다.
다시 도 10을 참조하면, 미디어 예비 정보 박스('masi')는 동일한 서브세그먼트를 기록하는 세그먼트 인덱스 박스('sidx', Segment Index box)의 바로 뒤에 따라올 수 있다. 미디어 예비 정보 박스('masi')의 FormatID는 'm2ts'로 세트될 수 있다. 미디어 예비 정보 박스('masi')의 데이터 필드의 선행하는 42비트는 MPEG-2 TS PCR을 포함할 수 있다. MPEG-2 TS PCR은 주파수가 27MHz인 순간에 첫 번째 오프셋(first_offset)이 가리키는 오프셋에서 첫 번째 MPEG-2 TS 패킷에 대응할 수 있다. 미디어 예비 정보 박스('masi')의 데이터 필드의 다음 6비트의 값은 0으로 남겨둘 수 있다.
다중(multiple) 미디어 세그먼트를 위한 인덱스 세그먼트는 다중 미디어 세그먼트를 인덱스할 수 있다. 다중 미디어 세그먼트를 인덱스하는 인덱스 세그먼트 각각은 세그먼트 타입 박스('styp')부터 시작될 수 있다. 세그먼트 타입 박스('styp')에서는 ISO 기반 미디어 파일 포맷에서 정의된 브랜드인 'isms'가 나타날 수 있다.
미디어 세그먼트 각각은 하나 또는 그 이상의 세그먼트 인덱스 박스에 의해 인덱스될 수있다. 하나의 특정한 미디어 세그먼트를 위한 복수의 세그먼트 인덱스 박스들은 연속될 수 있다.
복수의 미디어 세그먼트들을 위한 인덱싱 정보는 단일 전체(overall) 세그먼트 인덱스 박스에 의해 예측되는 순서대로 연결될(concatenated) 수 있다.
전체(overall) 세그먼트 인덱스 박스는 미디어 세그먼트 각각을 위한 루프 내에 하나의 엔트리를 포함할 수 있다. 엔트리 각각은 단일 미디어 세그먼트를 위한 세그먼트 인덱스 정보를 나타낼 수 있다.
서브세그먼트 인덱스를 가지는 인덱스 세그먼트는 호환 가능한 브랜드로서, 세그먼트 타입 박스('styp')에 'ssss'브랜드를 포함할 수 있다.
서브세그먼트 인덱스를 가지는 인덱스 세그먼트는 '0'으로 정의될 수 있는 단일 미디어 세그먼트를 위한 인덱스 세그먼트에 따를 수도 있고, 다중 미디어 세그먼트를 위한 인덱스 세그먼트를 따를 수도 있으며, 이에 한정될 필요는 없다. 서브세그먼트 인덱스 박스('ssix')는 세그먼트 인덱스 박스('sidx')의 바로 뒤에 따라올 수 있고, 미디어 예비 정보 박스('masi')의 이전에 따라올 수 있다. 세그먼트 인덱스 박스('sidx')와 미디어 예비 정보 박스('masi')는 동일한 서브세그먼트를 기록할 수 있다. 이와 같이 바로 앞선 세그먼트 인덱스 박스('sidx')는 복수의 서브세그먼트들만을 인덱스할 수 있다.
이하에서는 도 12 및 도 13을 참조하여 본 발명에 따른 미디어 컨텐트 수신 방법 및 장치에 대한 실시예들에 대해 설명하기로 한다.
본 발명의 일실시예에 따른 수신 장치(300)는 도 1 내지 도 11을 참조하여 설명한 바와 같은 클라이언트(30)의 동작을 수행할 수 있다.
또한, 수신 장치(300)가 수신하는 미디어 컨텐트의 구성, 예를 들어 레프리젠테이션, 세그먼트 및 서브세그먼트의 구성은 도 3 내지 도 7을 참조하여 설명한 바와 같을 수 있으므로, 그에 대한 구체적인 설명은 이하 생략하기로 한다.
도 12는 본 발명의 일실시예에 따른 미디어 컨텐트 수신 장치의 블록도이다.
도 12를 참조하면, 수신 장치(300)는 수신부 및 제어부를 포함한다. 수신부는 네트워크 인터페이스부(310)를 포함할 수 있고, 제어부는 디코딩부(320) 및 동기화부(330)를 포함할 수 있다.
네트워크 인터페이스부(310), 예를 들어 HTTP 인터페이스는 미디어 파일을 동기화 정보와 함께 수신할 수 있다. 예를 들면, 네트워크 인터페이스부(310)는 MPEG-2 TS와 함께 도 6 내지 도 11을 참조하여 설명한 바와 같은 구성을 가지는 동기화 정보(Sync Info.)를 송신 장치로부터 수신할 수 있고, 3GPP 파일 포맷 등과 같은 다른 포맷의 미디어(Other media)를 수신할 수도 있다.
디코딩부(320)는 네트워크 인터페이스부(310)가 수신한 미디어 파일을 복호화하여 출력할 수 있다. 디코딩부(320)는 네트워크 인터페이스부(310)를 통해 수신되는 또 다른 미디어(other media)를 복호화하기 위한 제1 디코더(321)와 MPEG-2 TS를 복호화하기 위한 제2 디코더(322)를 포함할 수 있으며, 이에 한정될 필요는 없다. 제1 디코더(321)는 3GPP 파일 포맷 등과 같은 다른 포맷의 미디어를 복호화하기 위한 디코더이거나 또는 제2 디코더(322)와 동일한 MPEG-2 TS 디코더일 수도 있다. 제2 디코더(322)는 일반적인 MPEG-2 TS 디코더일 수 있다. 제2 디코더(322)는 네트워크 인터페이스부(310)로부터 MPEG-2 TS를 입력받아 복호화한 후, 복호화된 재생 유닛들과 그들의 PTS들을 출력할 수 있다
동기화부(330)는 네트워크 인터페이스부(310)가 수신한 동기화 정보에 포함된 미디어 재생 시간을 이용해 디코딩부(320)가 복호화한 미디어 파일을 미디어 재생 타임라인에 동기화시킬 수 있다.
한편, 동기화부(330)는 수신되는 동기화 정보를 통해 미디어 재생 시간이 제공된 재생 유닛을 식별할 수 있다. 그를 위해, 네트워크 인터페이스부(310)가 재생 시간이 제공된 재생 유닛들의 PTS를 복구하여 동기화부(330)로 전달하거나, 또는 재생 시간과 함께 해당 재생 유닛의 PTS도 송신 장치로부터 제공되어야 한다. PTS 복구를 위해, 엘리먼터리 스트림 시간 복구(elementary stream time recovery)가 이용될 수도 있다.
동기화부(330)는 송신 장치로부터 전달되는 부호화 정보(예를 들어, 재생 유닛들에 대한 미디어 재생 시간들)를 이용하여 제2 디코더(322)로부터 출력되는 MPEG-2 TS 기반의 미디어를 제1 디코더(321)로부터 출력되는 다른 미디어와 동기화시킬 수 있다.
한편, 수신 장치(300)는 동기화부(330)에 의해 동기화된 MPEG-2 TS 기반 미디어와 다른 미디어를 함께 재생할 수 있다.
도 13은 본 발명의 일실시예에 따른 미디어 컨텐트 수신 방법을 설명하기 위한 흐름도이다. 이하, 도 13에서 도시된 수신 방법 중 도 1 내지 도 12를 참조하여 설명한 것과 동일한 것에 대한 설명은 생략한다.
도 13을 참조하면, 수신 장치(300)는 제1 레프리젠테이션을 수신하고(S301), 수신된 제1 레프리젠테이션을 재생한다(S303).
예를 들어, 송신 장치(300)의 네트워크 인터페이스부(310)에 구비된 수신부(미도시)는 HTTP 1.1(RFC 2616)에서 정의된 HTTP GET 또는 HTTP partial GET method를 이용해 세그먼트 또는 세그먼트의 일부에 대한 전송을 송신 장치에 요청할 수 있다.
네트워크 인터페이스부(310)는 송신 장치로부터 수신되는 MPD를 이용하여 미디어 컨텐트의 비트율, 해상도, 언어 또는 코덱 등이 서로 상이한 복수의 레프리젠테이션들 어느 하나를 수신할 레프리젠테이션으로 선택할 수 있다.
네트워크 인터페이스부(310)는 제1 레프리젠테이션이 재생되는 동안, 비트스트림 스위칭이 요구되는지 여부를 판단한다(S305).
제2 레프리젠테이션으로 비트스트림 스위칭이 요구되는 경우, 네트워크 인터페이스부(310)는 제2 레프리젠테이션을 수신한다(S307).
수신 장치는 서버(10)로부터 제공되는 MPD로부터 비트스트림 스위칭 플래그(bitstreamSwitchingFlag)가 'True'인지 여부를 판단한다(S309).
비트스트림 스위칭 플래그(bitstreamSwitchingFlag)가 'True'인 경우, 수신 장치는 이하 설명하는 단계를 생략할 수 있다. 왜냐하면, 비트스트림 스위칭 플래그(bitstream switching flag)가 'True'인 경우에는 유효한 TS에서 각각 다른 비트율을 가지는 두 개의 세그먼트가 연속될 수 있기 때문이다.
비트스트림 스위칭 플래그(bitstreamSwitchingFlag)가 'False'인 경우, 수신 장치는 재생 중인 제1 레프리젠테이션의 인덱스 세그먼트로부터 제1 PCR 값을 추출하고, 비트스트림 스위칭 후 수신한 제2 레프리젠테이션의 인덱스 세그먼트로부터 제2 PCR 값을 추출한다(S311). 인덱스 세그먼트는 도 8 내지 도 11에서 설명한 바와 같이 PCR을 포함할 수 있다. 수신 장치는 인덱스 세그먼트로부터 레프리젠테이션에 포함된 복수의 서브세그먼트 각각의 PCR을 추출할 수 있다.
수신 장치는 추출된 제1 PCR 값과 제2 PCR 값의 PCR 차이 값을 계산한다(S313). PCR 차이 값은 비트율이 다른 2 개의 레프리젠테이션의 복수의 세그먼트들과 복수의 서브세그먼트들 사이의 PCR을 '점프(jump)'한 값이다.
여기서 제1 PCR 값은 제1 레프리젠테이션에 포함된 세그먼트의 마지막 MPEG-2 TS 패킷에 대응하는 PCR 값일 수 있다. 그리고, 제2 PCR 값은 제2 레프리젠테이션에 포함된 세그먼트의 첫 번째 MPEG-2 TS 패킷에 대응하는 PCR 값일 수 있다.
이와 같이, 수신 장치는 다른 장치의 지원 없이도, 미디어 세그먼트로부터 제1 및 제2 PCR 값을 복원하기 위하여 부분적인 추가 MPEG-2 TS 디코딩 단계를 수행할 수 있다.
디코딩부(320)는 도면 부호 S307 단계에서 수신한 제2 레프리젠테이션의 디코딩 여부를 판단한다(S315).
디코딩부(320)에 제2 레프리젠테이션이 공급되는 경우, 디코딩부(320)는 프리런 모드(Free-run Mode)를 실행한다(S317). 프리런 모드가 실행되면, 수신 장치는 재생 중인 제1 레프리젠테이션의 버퍼들을 불필요하게 버리는 것(flushing of buffers)을 방지할 수 있다.
수신 장치는 제1 레프리젠테이션의 재생 완료 여부를 판단한다(S319).
제1 레프리젠테이션의 재생이 완료된 경우, 수신 장치는 도면 부호 S313 단계에서 계산한 PCR 차이 값과 제2 레프리젠테이션의 제2 PCR 값을 이용하여 시스템 클럭을 세트한다(S321). 수신 장치는 수신 장치의 시스템 클럭을 PCR 차이 값과 제2 PCR 값을 더한 값으로 설정함으로써, 비트스트림 스위칭이 발생할 경우에도 제1 레프리젠테이션과 제2 레프리젠테이션이 끊김없이 재생되도록 할 수 있다.
디코딩부(320)는 시스템 클럭이 새로운 값으로 설정되면 프피런 모드를 해제한다(S323).
도 1 내지 도 13을 참조하여 설명한 바와 같은 미디어 컨텐트의 수신 및 처리 방법은 본 발명의 실시예에 따른 IPTV 수신기에 의해 수행될 수 있다.
이하, 도 14 및 도 15를 참조하여, 본 발명의 실시예에 따른 IPTV 수신기의 구성에 대해 보다 상세히 설명하기로 한다.
도 14는 본 발명의 일실시예에 의한 IPTV 수신기의 구성을 나타내는 블록도이다.
본 발명의 일실시예에 따른 IPTV 수신기는, 지상파 방송, 케이블 방송, 위성 방송 등을 수신할 수 있도록 별도의 튜너 등을 구비할 수도 있다. 그러나, 본 발명에서는 설명의 편의를 위해 IP 네트워크를 이용하여 제공되는 IPTV 서비스를 수신하는 구성을 중심으로 설명하기로 한다.
한편, ITF는 Open IPTV Terminal Function을 나타내는 것으로, IPTV 서비스를 지원하는데 필요한 기능 모듈로 구성된 수신기를 의미할 수 있다.
도 14를 참조하면, IPTV 수신기는 네트워크 인터페이스부(Network Interface)(501), TCP/IP 매니저(TCP/IP Manager)(502), 서비스 전달 매니저(Service Delivery Manager)(504), PVR 매니저(PVR Manager)(505), 디멀티플렉서(Demux)(508), 데이터 디코더(Data Decoder)(507), 오디오/비디오 디코더(Audio/Video Decoder)(512), 디스플레이부(A/V Display & OSD Module)(515), 애플리케이션 매니저(Application Manager)(513, 514), 서비스 정보 데이터베이스부(SI & Metadata DB)(511), 서비스 디스커버리 매니저(Service Discovery Manager)(509), 서비스 제어 매니저(Service Control Manager)(503), 메타데이터 매니저(Metadata Manager)(510) 및 컨텐트 데이터베이스부(Content DB)(506)를 포함한다.
네트워크 인터페이스부(501)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(501)는 네트워크 망을 통해 서비스 프로바이더로부터 서비스, 미디어 컨텐트 등을 수신할 수 있다.
TCP/IP 매니저(502)는, IPTV 수신기로 수신되는 패킷과 IPTV 수신기에서 전송하는 패킷에 대하여, 소스로부터 목적지까지의 패킷 전달에 관여한다. 또한, TCP/IP 매니저(502)는 수신된 패킷을 적절한 프로토콜에 대응되도록 분류하고, 서비스 전달 매니저(504), 서비스 디스커버리 매니저(509), 서비스 제어 매니저(503) 및 메타데이터 매니저(510)로 분류된 패킷을 출력할 수 있다.
서비스 전달 매니저(504)는 수신되는 서비스 데이터의 제어를 담당한다. 예를 들어, 실시간 스트리밍(realtime streaming) 데이터를 제어하는 경우 RTP/RTCP를 사용할 수 있다.
실시간 스트리밍 데이터를 RTP를 사용하여 전송하는 경우, 서비스 전달 매니저(504)는 수신된 데이터 패킷을 RTP에 따라 파싱(parsing)하여 디멀티플렉서(508)에 전송하거나 서비스 매니저(514)의 제어에 따라 컨텐트 데이터베이스부(506)에 저장한다. 또한, 서비스 전달 매니저(504)는 RTCP를 이용하여 네트워크 수신 정보를 서비스를 제공하는 서버측에 피드백(feedback)할 수 있다.
디멀티플렉서(508)는 수신된 패킷을 오디오, 비디오, PSI(Program Specific Information) 데이터 등으로 역다중화하여 각각 오디오/비디오 디코더(512), 데이터 디코더(507)에 전송한다.
데이터 디코더(507)는 예를 들어, PSI(Program Specific Information) 등의 서비스 정보를 디코딩한다. 즉, 데이터 디코더(507)는 디멀티플렉서(508)에서 역다중화된 PSI 섹션, PSIP(Program and Service Information Protocol) 섹션 또는 DVB-SI(Service Information) 섹션 등을 수신하여 디코딩할 수 있다.
또한, 데이터 디코더(507)는 수신된 섹션들을 디코딩하여 서비스 정보에 관한 데이터베이스를 만들고, 서비스 정보에 관한 데이터베이스는 서비스 정보 데이터베이스부(511)에 저장한다.
오디오/비디오 디코더(512)는 디멀티플렉서(508)에서 수신된 비디오 데이터와 오디오 데이터를 디코딩한다. 오디오/비디오 디코더(512)에서 디코딩된 오디오 데이터 및 비디오 데이터는 디스플레이부(515)를 통하여 사용자에게 제공될 수 있다.
애플리케이션 매니저는 IPTV 수신기의 전반적인 상태를 관리하고 유저 인터페이스를 제공하며, 다른 매니저를 관리한다. 이를 위해 애플리케이션 매니저는 유저 인터페이스 매니저(User Interface Manager)(513) 및 서비스 매니저(514)를 포함할 수 있다.
유저 인터페이스 매니저(513)는 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공하며, 사용자로부터 키 입력을 받아 입력에 따른 수신기 동작을 수행한다. 예를 들어, 사용자로부터 채널선택에 관한 키 입력을 받으면 키 입력신호를 서비스 매니저(514)에 전송할 수 있다.
서비스 매니저(514)는 서비스 전달 매니저(504), 서비스 디스커버리 매니저(509), 서비스 제어 매니저(503) 및 메타데이터 매니저(510) 등 서비스와 연관된 매니저를 제어한다.
또한, 서비스 매니저(514)는 채널 맵(Channel Map)을 만들고 유저 인터페이스 매니저(513)로부터 수신한 키 입력에 따라 채널 맵을 이용하여 채널을 선택한다. 그리고 서비스 매니저(514)는 데이터 디코더(507)로부터 채널의 서비스 정보를 전송받아 선택된 채널의 오디오/비디오 PID(Packet Identifier)를 디멀티플렉서(508)에 설정한다.
서비스 디스커버리 매니저(509)는 서비스를 제공하는 서비스 프로바이더를 선택하는데 필요한 정보를 제공한다. 서비스 매니저(514)로부터 채널선택에 관한 신호를 수신하면, 서비스 디스커버리 매니저(509)는 서비스 프로바이더를 선택하는데 필요한 정보를 이용하여 서비스를 찾을 수 있다.
서비스 제어 매니저(503)는 서비스의 선택과 제어를 담당한다. 예를 들어, 서비스 제어 매니저(503)는 사용자가 기존의 방송방식과 같은 Live Broadcasting 서비스를 선택하는 경우 IGMP 또는 RTSP 등을 사용하고, VOD(Video On Demand)와 같은 서비스를 선택하는 경우에는 RTSP를 사용하여 서비스의 선택, 제어를 수행할 수 있다.
RTSP 프로토콜은 실시간 스트리밍에 대해 트릭 모드(trick mode)를 제공할 수 있다. 또한, 서비스 제어 매니저(503)는 IMS(IP Multimedia Subsystem), SIP(Session Initiation Protocol)를 이용하여 IMC 게이트웨이를 통하 세션을 초기화하고 관리할 수 있다. 프로토콜들은 일 실시예이며, 구현 예에 따라 다른 프로토콜을 사용할 수도 있다.
메타데이터 매니저(510)는 서비스와 연관된 메타데이터를 관리하고 메타데이터를 서비스 정보 데이터베이스부(511)에 저장한다.
서비스 정보 데이터베이스부(511)는 데이터 디코더(507)가 디코딩한 서비스 정보, 메타데이터 매니저(510)가 관리하는 메타데이터 및 서비스 디스커버리 매니저(509)가 제공하는 서비스 프로바이더를 선택하는데 필요한 정보를 저장한다. 또한, 서비스 정보 데이터베이스부(511)는 시스템에 대한 셋업 데이터 등을 저장할 수 있다.
서비스 정보 데이터베이스부(511) 및 컨텐트 데이터베이스부(506)는 각각 비휘발성 메모리(NonVolatile RAM : NVRAM) 또는 플래쉬 메모리 등을 사용하여 구현될 수 있으며, 동일한 저장영역 상에 논리적으로 분리된 두 개의 영역으로 구현될 수 있다.
PVR 매니저(505)는 라이브 스트리밍 컨텐트를 레코딩 하고 재생하기 위한 모듈로서, 녹화된 컨텐트에 관한 메타데이터를 수집하고, thumbnail image나 index와 같은 사용자에게 제공되는 부가 정보를 생성할 수 있다.
본 발명의 실시예에 따른 IPTV 수신기의 제어부의 기능은 도 14에 도시된 TCP/IP 매니저(502), 서비스 전달 매니저(504), PVR 매니저(505), 애플리케이션 매니저(513, 514), 서비스 디스커버리 매니저(509), 서비스 제어 매니저(503) 및 메타데이터 매니저(510)와 같이 복수의 모듈들로 분할되어 구현될 수 있다.
예를 들어, TCP/IP 매니저(502)는 상기한 바와 같은 타켓 패키지 정보를 이용해 SD&S 정보를 필터링하여, 네트워크 인터페이스부(501)가 특정 패키지(예를 들어, IPTV 수신기가 가입된 패키지)에 해당하는 페이로드 또는 세그먼트만을 서버로 요청하여 수신하도록 제어할 수 있다.
또는, TCP/IP 매니저(502)는 멀티캐스트 방식으로 수신되는 SD&S 정보를 타켓 패키지 정보를 이용해 필터링하여, 특정 패키지에 해당하는 페이로드 또는 세그먼트만이 데이터 디코더(507)에 의해 파싱되어 처리되도록 할 수 있다.
도 15는 본 발명의 다른 실시예에 의한 IPTV 수신기의 구성을 나타내는 블록도이다. 도 15에 도시된 실선 화살표는 data path에 대응하며, 점선 화살표는 control signal path에 대응한다.
Cable modem, DSL modem, etc(601)는 physical level에서 ITF가 IP Network와 연결될 수 있도록하는 Interface로서, physical medium을 통해 전송된 신호를 Demodulate하여 Digital 신호를 복원한다.
Ethernet NIC(602)는 physical interface를 통해 수신한 신호를 IP 데이터로 복원하며, IP Network Stack(607)은 IP Protocol stack에 따라 각 layer를 처리한다.
한편, XML Parser(609)는 수신되는 IP 데이터 중 XML Document를 파싱하며, File Handler(608)는 수신되는 IP 데이터 중 FLUTE 등을 통해 File 형태로 전송되는 데이터를 처리한다.
SI Handler(611)은 수신되는 File 형태의 데이터 중 IPTV 서비스 정보에 해당하는 부분을 처리하여 Storage(612)에 저장하며, EPG Handler(610)는 수신되는 File 형태의 데이터 중 IPTV EPG 정보에 해당하는 부분을 처리하여 Storage(612)에 저장할 수 있다.
Storage(612)는 SI 및 EPG 등의 다양한 데이터를 저장한다.
SI Decoder(613)는 Storage(612)로부터 SI 데이터를 입력받아 분석하여 채널 맵 정보를 획득하고, EPG Decoder(614)는 Storage(612)에 저장된 EPG 데이터를 분석하여 EPG 구성을 위한 필요한 정보를 복원한다.
ITF Operation Controller(615)는 Channel 변경 또는 EPG Display 등의 ITF의 동작을 제어하는 main controller이다.
Channel Service Manager(616)는 사용자 입력에 따라 Channel 변경 등의 동작을 수행하며, Application Manager(617)는 사용자 입력에 따라 EPG Display 등의 Application 서비스를 수행할 수 있다.
MPEG-2 Demultiplexer(603)는 수신되는 IP 데이터그램(Datagram)으로부터 MPEG-2 TS 데이터를 추출하여 패킷 식별 정보(PID)에 따라 해당 모듈로 전달할 수 있다.
또한, MPEG-2 PSI/PSIP Parser(604)는 MPEG-2 TS로부터 A/V 데이터의 패킷 식별 정보(PID) 또는 program element에 대한 접속 정보를 포함하는 PSI/PSIP 데이터를 추출하여 파싱할 수 있다.
한편, A/V Decoder(605)는 입력되는 Audio 및 Video 데이터를 디코딩하여 Display 모듈(606)로 전달하며, Display 모듈(606)은 디코딩된 A/V 데이터 또는 application을 출력할 수 있다.
상술한 본 발명에 따른 미디어 컨텐트 송수신 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 인터넷을 통해 미디어 컨텐트를 전송하는 방법에 있어서,
    상기 미디어 컨텐트를 복수의 레프리젠테이션들로 구성하는 단계;
    상기 레프리젠테이션을 복수의 세그먼트들로 분할하는 단계;
    상기 세그먼트에 포함된 서브세그먼트들 각각에 대응하는 시간 기준 값들을 생성하는 단계; 및
    상기 레프리젠테이션들 중 어느 하나를 전송하는 단계를 포함하는
    미디어 컨텐트 전송 방법.
  2. 제1 항에 있어서,
    상기 복수의 레프리젠테이션들은
    상기 미디어 컨텐트의 비트율에 따라 상이하게 구성되는
    미디어 컨텐트 전송 방법.
  3. 제1 항에 있어서,
    클라이언트 요청에 따라 상기 전송되는 레프리젠테이션을 스위칭하는 단계를 더 포함하는
    미디어 컨텐트 전송 방법.
  4. 제1 항에 있어서,
    상기 복수의 세그먼트들 중 적어도 하나의 세그먼트는
    나머지 세그먼트들의 인덱싱 정보, 상기 시간 기준 값들 중 적어도 하나를 포함하는
    미디어 컨텐트 전송 방법.
  5. 제1 항에 있어서,
    상기 시간 기준 값은
    프로그램에 대한 시간 기준 값(PCR, Program Clock Reference)을 포함하는
    미디어 컨텐트 전송 방법.
  6. 인터넷을 통해 미디어 컨텐트를 수신하는 방법에 있어서,
    상기 미디어 컨텐트를 포함하는 복수의 레프리젠테이션들 중 제1 레프리젠테이션을 수신하는 단계;
    상기 제1 레프리젠테이션의 수신을 중단하고, 제2 레프리젠테이션을 수신하는 단계; 및
    상기 수신되는 레프리젠테이션을 재생하는 단계를 포함하고,
    상기 수신되는 레프리젠테이션은 복수의 세그먼트들로 분할되어 수신되며,
    상기 세그먼트에 포함된 서브세그먼트들은 각각 시간 기준 값들과 대응되는
    미디어 컨텐트 수신 방법.
  7. 제6 항에 있어서,
    상기 제1 레프리젠테이션의 제1 시간 기준 값을 추출하는 단계;
    상기 제2 레프리젠테이션의 제2 시간 기준 값을 추출하는 단계;
    상기 제1 시간 기준 값과 상기 제2 시간 기준 값의 시간 기준 차이 값을 계산하는 단계를 더 포함하고,
    상기 수신되는 레프리젠테이션을 재생하는 단계는
    상기 제2 시간 기준 값과 상기 시간 기준 차이 값의 합을 이용하여 상기 제2 레프리젠테이션을 재생하는 단계인
    미디어 컨텐트 수신 방법.
  8. 제7 항에 있어서,
    상기 수신되는 레프리젠테이션을 재생하는 단계는
    상기 제2 시간 기준 값과 상기 시간 기준 차이 값의 합을 시스템 클럭으로 결정하여 상기 제2 레프리젠테이션을 재생하는 단계인
    미디어 컨텐트 수신 방법.
  9. 제6 항에 있어서,
    상기 수신되는 레프리젠테이션을 재생하는 단계는
    상기 제1 레프리젠테이션의 재생을 완료하는 단계; 및
    상기 제2 레프리젠테이션을 재생하는 단계를 포함하는
    미디어 컨텐트 수신 방법.
  10. 제6 항에 있어서,
    상기 복수의 세그먼트들 중 적어도 하나의 세그먼트는
    나머지 세그먼트들의 인덱싱 정보, 상기 시간 기준 값들 중 적어도 하나를 포함하는
    미디어 컨텐트 수신 방법.
  11. 제6 항에 있어서,
    상기 시간 기준 값은
    프로그램에 대한 시간 기준 값(PCR, Program Clock Reference)을 포함하는
    미디어 컨텐트 수신 방법.
  12. 인터넷을 통해 미디어 컨텐트를 전송하는 장치에 있어서,
    상기 미디어 컨텐트를 복수의 레프리젠테이션들로 구성하는 미디어 인코더;
    상기 레프리젠테이션을 복수의 세그먼트들로 분할하는 세그먼터;
    상기 세그먼트에 포함된 서브세그먼트들 각각에 대응하는 시간 기준 값들을 생성하는 시간 기준 값 생성부; 및
    상기 레프리젠테이션들 중 어느 하나를 송신하는 송신부를 포함하는
    미디어 컨텐트 전송 장치.
  13. 제12 항에 있어서,
    상기 미디어 인코더는
    상기 레프리젠테이션들을 상기 미디어 컨텐트의 비트율에 따라 상이하게 구성하는
    미디어 컨텐트 전송 장치.
  14. 제12 항에 있어서,
    상기 전송부는
    클라이언트 요청에 따라 상기 송신되는 레프리젠테이션을 스위칭하는
    미디어 컨텐트 전송 장치.
  15. 제12 항에 있어서,
    상기 복수의 세그먼트들 중 적어도 하나의 세그먼트는
    나머지 세그먼트들의 인덱싱 정보, 상기 시간 기준 값들 중 적어도 하나를 포함하는
    미디어 컨텐트 전송 장치.
  16. 인터넷을 통해 미디어 컨텐트를 수신하는 장치에 있어서,
    상기 미디어 컨텐트를 포함하는 제1 레프리젠테이션, 제2 레프리젠테이션 중 어느 하나를 수신하고, 상기 제2 레프리젠테이션을 수신하는 경우, 상기 제1 레프리젠테이션의 수신을 중단하는 수신부; 및
    상기 제1 레프리젠테이션, 상기 제2 레프리젠테이션 중 어느 하나를 재생하는 제어부를 포함하고,
    상기 수신되는 레프리젠테이션은 복수의 세그먼트들로 분할되어 수신되며, 상기 세그먼트에 포함된 서브세그먼트들은 각각 시간 기준 값들과 대응되는
    미디어 컨텐트 수신 장치.
  17. 제 16항에 있어서,
    상기 제어부는
    상기 제1 레프리젠테이션의 제1 시간 기준 값, 상기 제2 레프리젠테이션의 제2 시간 기준 값을 추출하고, 상기 제1 시간 기준 값과 상기 제2 시간 기준 값의 시간 기준 차이 값을 계산하며, 상기 제2 시간 기준 값과 상기 시간 기준 차이 값을 이용하여 상기 제2 레프리젠테이션을 재생하는
    미디어 컨텐트 수신 장치.
  18. 제17 항에 있어서,
    상기 제어부는
    상기 제2 시간 기준 값과 상기 시간 기준 차이 값을 시스템 클럭으로 결정하여 상기 제2 레프리젠테이션을 재생하는
    미디어 컨텐트 수신 장치.
  19. 제16 항에 있어서,
    상기 제어부는
    상기 제1 레프리젠테이션의 재생을 완료한 후, 상기 제2 레프리젠테이션을 재생하는
    미디어 컨텐트 수신 장치.
  20. 제16 항에 있어서,
    상기 복수의 세그먼트들 중 적어도 하나의 세그먼트는
    나머지 세그먼트들의 인덱싱 정보, 상기 시간 기준 값들 중 적어도 하나를 포함하는
    미디어 컨텐트 수신 장치.
PCT/KR2012/004867 2011-06-20 2012-06-20 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치 WO2012177041A2 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
GB1322295.5A GB2506055B (en) 2011-06-20 2012-06-20 Media content transceiving method and transceiving apparatus using same
KR1020177006212A KR101797507B1 (ko) 2011-06-20 2012-06-20 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
KR1020137032157A KR101717555B1 (ko) 2011-06-20 2012-06-20 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
US14/125,212 US9571893B2 (en) 2011-06-20 2012-06-20 Media content transceiving method and transceiving apparatus using same
EP12803457.6A EP2723086B1 (en) 2011-06-20 2012-06-20 Media content transceiving method and transceiving apparatus using same
CA2839553A CA2839553C (en) 2011-06-20 2012-06-20 Media content transceiving method and transceiving apparatus using same
CN201280040278.0A CN103733631B (zh) 2011-06-20 2012-06-20 媒体内容收发方法和使用该方法的收发设备
DE112012002526.1T DE112012002526B4 (de) 2011-06-20 2012-06-20 Medieninhalt-Übertragungsverfahren und Übertragungsvorrichtung unter Verwendung desselben
US15/391,284 US10009660B2 (en) 2011-06-20 2016-12-27 Media content transceiving method and transceiving apparatus using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161498627P 2011-06-20 2011-06-20
US61/498,627 2011-06-20
US201161499651P 2011-06-21 2011-06-21
US61/499,651 2011-06-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/125,212 A-371-Of-International US9571893B2 (en) 2011-06-20 2012-06-20 Media content transceiving method and transceiving apparatus using same
US15/391,284 Continuation US10009660B2 (en) 2011-06-20 2016-12-27 Media content transceiving method and transceiving apparatus using same

Publications (2)

Publication Number Publication Date
WO2012177041A2 true WO2012177041A2 (ko) 2012-12-27
WO2012177041A3 WO2012177041A3 (ko) 2013-04-04

Family

ID=47423075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004867 WO2012177041A2 (ko) 2011-06-20 2012-06-20 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치

Country Status (8)

Country Link
US (2) US9571893B2 (ko)
EP (1) EP2723086B1 (ko)
KR (2) KR101717555B1 (ko)
CN (1) CN103733631B (ko)
CA (1) CA2839553C (ko)
DE (1) DE112012002526B4 (ko)
GB (1) GB2506055B (ko)
WO (1) WO2012177041A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102394A1 (en) * 2014-01-02 2015-07-09 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
CN104853226A (zh) * 2014-02-17 2015-08-19 华为技术有限公司 多媒体数据的处理方法、装置、设备及系统
WO2016129973A1 (ko) * 2015-02-15 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012177041A2 (ko) 2011-06-20 2012-12-27 엘지전자 주식회사 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
US9590814B2 (en) * 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US9712874B2 (en) * 2011-12-12 2017-07-18 Lg Electronics Inc. Device and method for receiving media content
US8977704B2 (en) 2011-12-29 2015-03-10 Nokia Corporation Method and apparatus for flexible caching of delivered media
US9401968B2 (en) * 2012-01-20 2016-07-26 Nokia Techologies Oy Method and apparatus for enabling pre-fetching of media
WO2014074033A1 (en) * 2012-11-06 2014-05-15 Telefonaktiebolaget L M Ericsson (Publ) Controlling resource usage of adaptive streaming sessions for transmission via a radio access network
RU2655744C2 (ru) * 2013-07-17 2018-05-30 Сони Корпорейшн Устройство подачи содержания, способ подачи содержания, программа, оконечное устройство и система подачи содержания
KR101560727B1 (ko) 2014-04-07 2015-10-15 네이버 주식회사 멀티트랙 비디오 컨텐츠의 제공을 위한 멀티트랙 비디오 컨텐츠 서비스 방법 및 시스템
CN103986696B (zh) * 2014-04-24 2017-04-26 华为技术有限公司 多媒体文件传输装置及方法
KR102326282B1 (ko) * 2015-02-09 2021-11-15 한국전자통신연구원 대역폭에 적응적인 대쉬 기반 컨텐츠 제공 장치 및 방법
KR101601969B1 (ko) * 2015-05-11 2016-03-09 네이버 주식회사 멀티트랙 비디오 컨텐츠의 제공을 위한 멀티트랙 비디오 컨텐츠 서비스 방법 및 시스템
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
WO2017035802A1 (zh) * 2015-09-02 2017-03-09 深圳好视网络科技有限公司 一种传输流编码、播放的方法和装置
CN105357591B (zh) * 2015-11-16 2018-10-12 北京理工大学 一种自适应码率视频直播的QoE监控和优化方法
GB2586442B (en) * 2019-06-26 2024-03-27 Univ Dublin City A method and system for encoding and decoding to enable adaptive delivery of mulsemedia streams

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US20050238316A1 (en) * 2002-09-19 2005-10-27 Thomson Licensing S,A, Hybrid video on demand using mpeg2 transport
EP1643768B1 (en) 2003-06-30 2012-05-02 Panasonic Corporation Data processing device and data processing method
KR100798551B1 (ko) 2005-03-01 2008-01-28 비브콤 인코포레이티드 인포머셜 제공 방법
EP1901452A1 (fr) 2006-09-13 2008-03-19 Nagravision S.A. Méthode de transmission d'informations de services dans différents types de réseaux de diffusion
US8155151B2 (en) * 2008-01-02 2012-04-10 Cisco Technology, Inc. Secure combined interoperable multiplexing
IN2012DN01126A (ko) * 2009-08-07 2015-04-10 Ericsson Telefon Ab L M
KR101786050B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
WO2012177041A2 (ko) 2011-06-20 2012-12-27 엘지전자 주식회사 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102394A1 (en) * 2014-01-02 2015-07-09 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
KR101759854B1 (ko) 2014-01-02 2017-07-19 엘지전자 주식회사 방송 전송 장치, 방송 전송 장치의 동작 방법. 방송 수신 장치 및 방송 수신 장치의 동작 방법
US10694260B2 (en) 2014-01-02 2020-06-23 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
US11057684B2 (en) 2014-01-02 2021-07-06 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
CN104853226A (zh) * 2014-02-17 2015-08-19 华为技术有限公司 多媒体数据的处理方法、装置、设备及系统
WO2016129973A1 (ko) * 2015-02-15 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
KR20140031929A (ko) 2014-03-13
EP2723086A4 (en) 2015-01-07
GB2506055A (en) 2014-03-19
DE112012002526B4 (de) 2021-01-07
GB2506055B (en) 2018-04-04
CN103733631A (zh) 2014-04-16
WO2012177041A3 (ko) 2013-04-04
KR20170030651A (ko) 2017-03-17
US9571893B2 (en) 2017-02-14
GB201322295D0 (en) 2014-01-29
DE112012002526T5 (de) 2014-02-27
CA2839553C (en) 2017-09-19
EP2723086B1 (en) 2020-01-15
KR101797507B1 (ko) 2017-11-15
EP2723086A2 (en) 2014-04-23
US10009660B2 (en) 2018-06-26
CA2839553A1 (en) 2012-12-27
KR101717555B1 (ko) 2017-03-17
US20170111706A1 (en) 2017-04-20
CN103733631B (zh) 2017-02-15
US20140115647A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
WO2012177041A2 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2012060581A2 (ko) 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2013169084A1 (ko) Mmt 패킷 포맷 확장을 통한 하이브리드 전송 방법
WO2013141666A1 (ko) Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
WO2012099359A2 (ko) 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
WO2011059291A2 (en) Method and apparatus for transmitting and receiving data
WO2013089437A1 (ko) 미디어 컨텐트를 수신하는 장치 및 방법
WO2011152675A2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
WO2011059273A2 (en) Method and apparatus for adaptive streaming using segmentation
WO2013025035A2 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2013077698A1 (ko) Mmt 미디어와 dash 미디어와의 연동 방법
WO2012077982A2 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
WO2011059274A2 (en) Adaptive streaming method and apparatus
WO2012128563A2 (ko) 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
WO2011071290A2 (en) Streaming method and apparatus operating by inserting other content into main content
WO2012011722A2 (ko) 미디어 송수신 방법 및 그를 이용한 송수신 장치
WO2013055164A1 (ko) 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
WO2015012605A1 (ko) 3차원 콘텐츠의 부호화 방법 및 장치
WO2013154402A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2011132883A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011132879A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011132882A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2011132880A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
WO2013012287A2 (ko) 미디어 수신 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12803457

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 20137032157

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14125212

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2839553

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 1322295

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20120120

WWE Wipo information: entry into national phase

Ref document number: 1322295.5

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 112012002526

Country of ref document: DE

Ref document number: 1120120025261

Country of ref document: DE