WO2018182313A1 - 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법 - Google Patents

멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법 Download PDF

Info

Publication number
WO2018182313A1
WO2018182313A1 PCT/KR2018/003667 KR2018003667W WO2018182313A1 WO 2018182313 A1 WO2018182313 A1 WO 2018182313A1 KR 2018003667 W KR2018003667 W KR 2018003667W WO 2018182313 A1 WO2018182313 A1 WO 2018182313A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
type
data unit
time
unit
Prior art date
Application number
PCT/KR2018/003667
Other languages
English (en)
French (fr)
Inventor
김동연
박경모
배재현
소영완
양현구
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP18775519.4A priority Critical patent/EP3573341B1/en
Priority to CN201880021673.1A priority patent/CN110463209B/zh
Priority to US16/489,946 priority patent/US11805293B2/en
Priority to KR1020197017763A priority patent/KR102465142B1/ko
Publication of WO2018182313A1 publication Critical patent/WO2018182313A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • the present disclosure relates to an apparatus and method for transmitting and receiving signals in a multimedia system, and more particularly, to an apparatus and method for transmitting and receiving a composite multimedia signal in a multimedia system.
  • MPEG moving picture experts group
  • MMT moving picture experts group
  • the MMT scheme uses coded media data for multimedia services over a heterogeneous packet-switched network, including Internet protocol (IP) networks and digital broadcasting networks.
  • IP Internet protocol
  • the coded media data includes timed audiovisual media data and non-timed data.
  • the MMT scheme is a proposed technique for efficient and effective media data delivery.
  • various schemes for transmitting and receiving complex multimedia data including various types of multimedia data and multimedia services have been proposed.
  • An embodiment of the present disclosure proposes an apparatus and method for transmitting and receiving signals in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for transmitting and receiving a composite multimedia signal in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for supporting an operation when a type of data being played is changed when supporting different types of data for the same content in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for transmitting and receiving information according to a subtitle change in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for supporting subtitles based on a plurality of languages in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for supporting an operation according to a subtitle change in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for improving a user experience according to a subtitle change in a multimedia system.
  • a method of a transmitting device in a multimedia system comprising: detecting a request for a change to a second type-data while a first type-data is being reproduced at a given point in time, and before the second type-data is reproduced; Transmitting information necessary to replay at least one of data reproduced before the given time point of the first type-data and data reproduced before the given time point of the second type-data. It is characterized by.
  • a method of a receiving device in a multimedia system comprising: detecting a request for a change to a second type-data while a first type-data is being reproduced at a given point in time, and before the second type-data is reproduced; Receiving information needed to replay at least one of data reproduced before the given time point of the first type-data and data reproduced before the given time point of the second type-data. It is characterized by.
  • a transmitting apparatus in a multimedia system comprising: a control unit for detecting a request for a change to a second type-data while a first type-data is being reproduced at a given time point, and the first type-data before the second type-data is reproduced And a transmitting unit for transmitting information necessary to replay at least one of data reproduced before the given time point of the type-data and data given before the given time point of the second type-data.
  • a receiving apparatus in a multimedia system comprising: a control unit for detecting a request for changing to second type-data while a first type-data is being reproduced at a given time point, and the first type-data before the second type-data is reproduced; And a receiving unit for receiving information necessary to replay at least one of data reproduced before the given time point of the type-data and data given before the given time point of the second type-data.
  • One embodiment of the present disclosure has the effect of enabling the transmission and reception of signals in a multimedia system.
  • an embodiment of the present disclosure has the effect of enabling the transmission and reception of a composite multimedia signal in a multimedia system.
  • an embodiment of the present disclosure provides a multimedia streaming service including subtitle data produced in one or more languages in an MMT system, thereby reducing a user experience caused by a difference in subtitle length when a subtitle language is changed. There is an effect that can be improved.
  • an embodiment of the present disclosure has an effect that when a multimedia system supports different types of data for the same content, it is possible to support an operation when the type of data being played is changed.
  • one embodiment of the present disclosure has the effect that it is possible to transmit and receive information according to the subtitle change in the multimedia system.
  • an embodiment of the present disclosure has the effect of enabling the multimedia system to support subtitles based on multiple languages.
  • an embodiment of the present disclosure has an effect of enabling the multimedia system to support an operation according to a subtitle change.
  • an embodiment of the present disclosure has an effect of making it possible to improve a user experience according to a subtitle change in a multimedia system.
  • FIG. 1 is a diagram schematically illustrating an MMT data model of an MMT system according to an embodiment of the present disclosure
  • FIG. 2 is a diagram schematically illustrating an example of a mapping of a play timeline and MPUs in an MMT system according to an embodiment of the present disclosure
  • FIG. 3 is a diagram schematically illustrating an example of MMT encapsulation in an MMT system according to an embodiment of the present disclosure
  • FIG. 4 is a diagram schematically illustrating an example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure
  • FIG. 5 is a diagram schematically illustrating an example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure
  • FIG. 6 is a diagram schematically illustrating a process of changing caption data in an MMT system according to an embodiment of the present disclosure
  • FIG. 7 is a diagram schematically illustrating a subtitle change setting method in an MMT system according to an embodiment of the present disclosure
  • FIG. 8 is a diagram schematically showing another example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure
  • FIG. 9 is a diagram schematically showing another example of an internal structure of an MMT receiving apparatus in an MMT system according to an embodiment of the present disclosure.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • an electronic device may include a communication function.
  • the electronic device may include a smart phone, a tablet personal computer (PC), a mobile phone, a video phone, and an e-book reader (e).
  • -book reader desktop PC, laptop PC, netbook PC, personal digital assistant (PDA), portable Portable multimedia player (PMP, hereinafter referred to as 'PMP'), MP3 player, mobile medical device, camera, wearable device (e.g., head-mounted) Head-mounted device (HMD), for example referred to as 'HMD', electronic clothing, electronic bracelet, electronic necklace, electronic accessory, electronic tattoo, or smart watch ), Etc.
  • the electronic device may be a smart home appliance having a communication function.
  • the smart home appliance includes a television, a digital video disk (DVD) player, an audio, a refrigerator, an air conditioner, a vacuum cleaner, an oven, and micro-wave oven, a washer and dryer, and air purifier, set-top box (set-top box) and, TV box (For example, Samsung HomeSync TM, Apple TV TM , or Google TV TM) and game console (gaming console), electronic dictionary, camcorder, electronic photo frame, and so on.
  • DVD digital video disk
  • an electronic device may include a medical device (eg, magnetic resonance angiography (MRA) device) and magnetic resonance imaging.
  • MRI magnetic resonance angiography
  • CT computed tomography
  • EDR event data recorder
  • FDR flight data
  • 'FER' a motor vehicle infotainment device
  • a navigational electronic device e.g., a navigational navigation device, a gyroscope, Or a compass
  • avionics device security device, industrial or consumer robot.
  • an electronic device may include furniture, part of a building / structure, an electronic board, an electronic signature receiving device, a projector, and various measurement devices (eg, Water, electricity, gas or electromagnetic wave measuring devices) and the like.
  • various measurement devices eg, Water, electricity, gas or electromagnetic wave measuring devices
  • the electronic device may be a combination of devices as described above.
  • an electronic device according to embodiments of the present disclosure is not limited to the device as described above.
  • each of the transmitting device and the receiving device may be an electronic device.
  • the transmitting apparatus may be referred to as a transmitting entity
  • the receiving apparatus may be referred to as a receiving entity.
  • the transmitting device may be a service provider or a terminal.
  • the receiving device may be a terminal or a service provider.
  • a terminal may include a mobile station (MS, hereinafter referred to as "MS"), a wireless terminal, a mobile device, and a user terminal ( It should be noted that terms may be used interchangeably with terms such as user equipment: UE, hereinafter referred to as “UE”).
  • MS mobile station
  • UE user equipment
  • the service provider may be used interchangeably with terms such as broadcasting server.
  • An embodiment of the present disclosure proposes an apparatus and method for transmitting and receiving signals in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for transmitting and receiving a composite multimedia signal in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for supporting an operation when a type of data being played is changed when supporting different types of data for the same content in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for transmitting and receiving information according to a subtitle change in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for supporting subtitles based on a plurality of languages in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for supporting an operation according to a subtitle change in a multimedia system.
  • an embodiment of the present disclosure proposes an apparatus and method for improving a user experience according to a subtitle change in a multimedia system.
  • an apparatus and method proposed in an embodiment of the present disclosure include a digital multimedia broadcasting (DMB) service and a digital video broadcasting-handheld (DVB-) service.
  • DMB digital multimedia broadcasting
  • DVD-H digital video broadcasting-handheld
  • ATSC-M / H Advanced Television Systems Committee-mobile / handheld
  • ATSC-M / H Advanced Television Systems Committee-mobile / handheld
  • IPTV Internet protocol television
  • MPEG MPEG Media Transport
  • MMT mobile communication system
  • EPS evolved packet system
  • LTE long-term evolution
  • a mobile communication system a long-term evolution-advanced (LTE-A) mobile communication system
  • LTE-A long-term evolution-advanced
  • HSDPA high-speed downlink High speed downlink packet access
  • HSPAA high speed uplink packet access
  • HRPD high rate packet data
  • 3GPP2 3rd generation partnership project 2
  • 3GPP2 3GPP2 wideband code division multiple access (WCDMA) mobile communication system and 3GPP2 code division multiple access (CDMA, hereinafter “WCDMA”
  • WCDMA code division multiple access
  • CDMA A mobile communication system, a communication system such as an Institute of Electrical and Electronics Engineers (IEEE) hereinafter called an IEEE 802.16m communication system, and a mobile internet protocol. It can be applied to various communication systems such as Mobile IP, hereinafter referred to as "Mobile IP” system.
  • IEEE Institute of Electrical and Electronics Engineers
  • apparatus and method proposed in an embodiment of the present disclosure can be applied to an advanced television systems committee (ATSC) system based on the MMT scheme.
  • ATSC advanced television systems committee
  • the multimedia system is a multimedia system based on the MMT scheme.
  • the multimedia data may include one or more media components.
  • the media component may be, for example, video, audio, subtitle, and the like.
  • a caption is a caption that converts a content included in audio data into text data and a content represented by the content, for example, for a user having difficulty hearing.
  • Subtitles, etc. which are expressed in a text form of the same language or another language as the language represented by the corresponding content, may be included.
  • various types of subtitle data such as English subtitles, Korean subtitles, Japanese subtitles, English captions, etc., may be generated for an English movie.
  • the multimedia data may be transmitted from a transmitting device to a receiving device through a network such as a mobile communication network and reproduced through a series of processes at the receiving device, which corresponds to multimedia streaming.
  • the multimedia data is fragmented in a given unit defined in a transport protocol and a transport format used for transmission, and the fragmented units are transmitted.
  • metadata describing the media component and the relationship between the media components included in the multimedia data according to the contents of the transport protocol and the transport format is transmitted together. Can be. Therefore, the reception device can reproduce a part of the transmitted multimedia data even before receiving the entire multimedia data based on the metadata.
  • the length of the subtitle data may vary depending on the linguistic characteristics of the corresponding language even though the same content is expressed. .
  • the corresponding time that is, the time when the caption data is played may also vary.
  • the length may vary, and the start time, end time, and duration of the caption data may also vary.
  • the reproduction start time may be expressed as "presentation begin time” or "presentation start time”.
  • first subtitles first subtitles
  • second subtitles second subtitles
  • the user of the terminal may have to wait until the second subtitle for the second scene following the first scene is played without normally viewing the subtitles of either the first subtitle or the second subtitle with respect to the first scene. May occur.
  • a multimedia system provides a multimedia streaming service including subtitle data generated in one or more languages, for example, a plurality of languages, a language used to generate subtitle data, that is, subtitles
  • a language used to generate subtitle data that is, subtitles
  • FIG. 1 is a diagram schematically illustrating an MMT data model in an MMT system according to an embodiment of the present disclosure.
  • the MMT package includes one or more assets (hereinafter referred to as "asset”) corresponding to a set of media data, presentation information describing temporal and spatial relationships between assets, and necessary for transmitting assets.
  • Asset delivery characteristics including quality of service (QoS, hereinafter referred to as " QoS ") or delivery related information.
  • an asset is a set of media data included in one multimedia playback, and one asset has one or more media processing units having the same asset identifier (ID, hereinafter referred to as "ID").
  • ID asset identifier
  • unit: MPU hereinafter referred to as " MPU ").
  • MPU media processing units having the same asset identifier
  • Each of the MPUs included in one asset includes fragments of assets that do not overlap. In other words, two consecutive MPUs do not contain the same media sample.
  • the MPU may represent a unit of media data that can be consumed independently in a presentation engine of the MMT receiving apparatus.
  • the process of processing one MPU in one MMT device includes encapsulation and de-capsulation of media data in MPU units, and packetization (“packetization”).
  • packetization A process of de-packetization (hereinafter, referred to as "de-packetization").
  • one MPU may be fragmented in units of MPU fragments (hereinafter referred to as “fragment"), so that one MPU may be fragmented into one or more MPU fragments.
  • the MPU fragment may be, for example, a media fragment unit (MFU), hereinafter referred to as "MFU".
  • MFU media fragment unit
  • one MPU may be fragmented in units of data units for packetization.
  • the one MPU may be fragmented into one or more data units.
  • One MPU may be specified by one asset ID to which data included in the MPU belongs and one MPU sequence number (hereinafter, referred to as an MPU sequence number). For example, two different MPUs included in one asset have the same asset ID, and MPU sequence numbers of the two different MPUs are different from each other.
  • the media data included in the MPU includes timed media data related to time (hereinafter referred to as “timed media data”) and non-timed media data independent of time. Hereinafter referred to as “non timed media data”). If the media data includes timed media data, presentation information describing the relationship on the time axis between different assets in one package should be provided together. Presentation time information is provided as part of the reproduction information for all MPUs, which will be described with reference to FIG. 2 as follows.
  • FIG. 2 is a diagram schematically illustrating an example of mapping of a play timeline and MPUs in an MMT system according to an embodiment of the present disclosure.
  • MPU # 1, MPU # 2, and MPU # 3 are mapped to asset # 1
  • MPU # 1 MPU # 2
  • MPU # 3 are mapped to asset # 2
  • MPU is mapped to asset # 3.
  • ISO BMFF ISO Base Media File Format
  • ISO BMFF ISO / IEC 14496-12 standard.
  • MPU sequence number and asset ID of the MPU are provided in the 'mmpu' box, and the MPU sequence number and asset ID are elements that can specify the MPU as the only MPU among the MPUs encapsulated in the file. do.
  • 'sidx' box which is an index of movie fragments forming an MPU.
  • the 'moov' box should hold all codec configuration information for decoding and playing the media data.
  • timed media is stored as a track of ISOBMFF (hereinafter referred to as "track").
  • track one media track is allowed for the timed media data.
  • non-timed media is stored as part of the metadata of one ISOBMFF.
  • FIG 3 is a diagram schematically illustrating an example of MMT encapsulation in an MMT system according to an embodiment of the present disclosure.
  • one MMT hint track converts the encapsulated MPU into payload and MMTP packets (MMT Protocol: MMTP). Provide the necessary information.
  • the multimedia content may include video, audio, and caption data.
  • a subtitle it may be provided as a plurality of subtitle data based on various languages.
  • a media component included in one multimedia may include one video data, one audio data, and two subtitle data, and the two subtitle data may include English subtitle data and Korean subtitle data. have.
  • Each media element may be stored in a track form defined in ISO Base Media File Format (ISO / IEC 14496-12), and this track may be defined as an asset in the MMT system.
  • ISO / IEC 14496-12 ISO Base Media File Format
  • multimedia data including video data, audio data, English subtitle data, and Korean subtitle data as described above may be generated as a video asset, an audio asset, an English subtitle asset, and a Korean subtitle asset in the MMT system, respectively.
  • An asset of may be fragmented into one or more MPUs.
  • the MMT system may transmit and receive signaling information required for MMT package delivery and MMT package consumption between a transmitter and a receiver.
  • the MMT signaling information is transmitted in the form of an MMT signaling message, and a common format of MMT signaling messages may be represented as shown in Table 1 below.
  • Table 1 shows syntax of a general format of MMT signaling messages, and the semantics of parameters included in Table 1 can be expressed as shown in Table 2 below.
  • Table 61 in Table 2 shows Table 34 in ISO / IEC 23008-1: 2014 (E) 1 st Edition.
  • the message_id field represents an identifier of the signaling message.
  • Valid message identifier values are listed in Table 34 in ISO / IEC 23008-1: 2014 (E) 1 st Edition, and the field values of the message_id field have the following meanings.
  • the field value of the message_id field is 0x0000 as an example, this indicates a package access (PA) message.
  • the field value of the message_id field is one of 0x0001 to 0x000F as an example. In this case, it indicates a media presentation information (MPI) message, hereinafter, 16 adjacent values for a package are assigned to MPI messages, and the (field value of the message_id field)% 16 If this is equal to 15, the MPI message carries complete presentation information (PI, hereinafter referred to as " PI "), and% 16 (the field value of the message_id field) is equal to N. If so, the MPI message carries a subset-N MPI. Here, N represents the value of any one of 0-14.
  • an MMT Package Table (MPT) message is indicated.
  • MPT MMT Package Table
  • 16 adjacent values are allocated to the MPT messages.
  • the MPT message delivers a complete MPT
  • the (field value of the message_id field)% 16 is equal to N
  • the MPT message is a subset ( subset-N) Pass MPT.
  • N represents the value of any one of 0-14.
  • the field value of the message_id field is 0x0200 as an example, this indicates clock relation information (CRI) message.
  • the field value of the message_id field is 0x0201 as an example.
  • DCI Device capability information
  • AL-FEC application layer forward error correction
  • HRBM hypothetical receiver buffer model
  • the field value of the message_id field is any one of 0x0204 to 0x7FFF, for example, ISO (the International Organization for S) tandardization), and when the field value of the message_id field is any one of 0x8000 to 0xFFFF, for example, it is reserved for private use.
  • the version field indicates the version of the signaling message, and both the MMT transmitting entity and the MMT receiving entity can verify whether the received message has a new version.
  • the length field indicates the length of the signaling message, and the length of the remaining signaling messages except for the PA message and the MPI message may be, for example, two bytes in length.
  • the length of the PA message and the MPI message may be four bytes in length, since the MPI table sometimes occurs when the length cannot be represented by a length field of two bytes in length.
  • the PA message includes at least one MPI table.
  • the extension field includes extension information on signaling messages requiring extension.
  • the content and the length of the extension field may be specified for corresponding signaling messages.
  • the message_payload field includes a payload of the signaling message.
  • the format of the message_payload field may be identified by the value of the message_id field.
  • MP MMT package
  • Information required for transmitting and consuming the MMT package may be stored in a table form for each role, and necessary tables may be transmitted from the MMT transmitting apparatus to the receiving apparatus through an MMT signaling message.
  • a list of all assets included in one MMT package may be stored in an MP table and transmitted through a package access (PA) message.
  • the MP table includes time-related information of all assets included in the MMT package, a location of data, and related descriptors (hereinafter, referred to as "descriptors") required for consuming an asset.
  • the MP table may be represented as shown in Table 3 below.
  • the MP table may be implemented as a complete MP table (hereinafter referred to as a "complete MP table") or a subset MP table.
  • the complete MP table includes information related to a package including all assets of the list, and the subset MP table includes a part of information stored in the complete MP table.
  • MP table subset-0 contains the minimum information needed for package consumption.
  • Table 3 shows the syntax of the MP table, and the semantics of parameters included in Table 3 can be expressed as shown in Table 4 below.
  • the table_id field represents an identifier of the MP table.
  • the complete MP table and each subset MP tables will use different table identifiers.
  • the subset number of the MP table is implicitly represented by the table_id field. Since the table_id values are assigned sequentially, the MP table subset number can be inferred from the table_id field, i.e., the MP table subset number is obtained by subtracting the field value of the table_id field of the base MP table from the field value of the table_id field. It is synonymous with value.
  • the MP table subset number provides a subset number of the corresponding MP table, where number '0' represents a base MP table and numbers '1' to '14' represent a subset of the MP table. The number '15' has a special meaning indicating the complete MP table.
  • the version field includes a version of the MP table. As soon as the version field is received, a newer version overrides the previous version.
  • the table_id field indicates a complete MP table
  • the subset-0 MP table has the same version value as the version field (when the field value of the MP_table_mode field is '1'), or all having a lower-subset number.
  • the MP table subsets have the same version value as the version field (when the field value of the MP_table_mode field is '0'), or when the processing of the MP table subsets is independent (the field value of the MP_table_mode field is '2'). time).
  • the subset-0 MP table has a newer version, all MP table subsets with a higher subset number up to 14, previously stored in the MMT receiving entity, will be moved to the previous (unless MP_table_mode is in independent mode). treated as outdated).
  • MP_table_mode is '1'
  • the contents of the MP table subset having a different version from that of the subset-0 MP table stored in the MMT receiving entity will be ignored.
  • the MP table subset number is not zero and MP_table_mode is '0', the contents of the MP table subset having a different version than the versions of the lower-subset MP table subsets stored in the MMT receiving entity will be ignored.
  • the field value of the version field will be modulo-256 incremented with each version change.
  • the length field indicates the length in bytes of the MP table, and carts from the beginning of the next field to the last byte of the MP table.
  • the value '0' is not valid for the length field.
  • the MP_table_mode field indicates the mode of MP table subset processing when the MP table subset mechanism is used.
  • the MMT receiving entity is to use the same version as the corresponding MP table subset before the MMT receiving entity processes the corresponding MP table subset.
  • Branch will receive all MP table subsets with lower subset number. For example, the MMT receiving entity may not process the subset-3 MP table when the MMT receiving entity has not received the subset-2 MP table having the same version.
  • the MMT receiving entity In “ order_irrelevant_processing_mode " and using the subset number of the corresponding MP table subset set to non-zero, the MMT receiving entity has the same version of the subset-0 MP table stored in the MMT receiving entity as the corresponding MP table subset.
  • the MP table subset must be processed immediately after receiving the MP table subset as long as In "independent_processing_mode", the version of each MP table subset is managed separately.
  • a fragmented MP table is adopted in the " independent_processing_mode " in which each MP table subset is carried by one of a number of MMT transmitting entities.
  • independent modes of subsets of the MP table can be used for multi-channel instantiation, i.e., MP table subsets from subset-0 MP table to subset-N MP table are channel-0 (Ch- 0) to logical channels from channel-N (Ch-N).
  • MP table subsets from subset-0 MP table to subset-N MP table are channel-0 (Ch- 0) to logical channels from channel-N (Ch-N).
  • PI_mode in the MPI table and MP_table_mode in the MP table will have the same value.
  • MP_table_mode of Table 3 may represent the same meaning as Table 5 according to the value.
  • each parameter included in Table 3 may represent the same meaning as in Table 6 below.
  • sections in Table 6, examples 9.5.1, 9.6.1, and 9.6.2, refer to sections of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard.
  • the MMT_package_id field indicates a unique identifier of the corresponding package
  • the MMT_package_id_length field indicates the length in bytes of the MMT_package_id string excluding a terminating null character (hereinafter referred to as a “terminating null character”).
  • the MMT_package_id_byte field represents a byte in the MMT_package_id. When the MMT_package_id_byte field is a string, the terminating null character is not included in the string.
  • asset_id represents an asset identifier as defined in section 9.6.2 of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard, and a detailed description thereof will be omitted.
  • the asset_type field provides a type of the asset, and the asset_type field indicates a 4CC (four character code) type registered in MP4REG (http://www.mp4ra.org).
  • the MP_table_descriptors field provides descriptors for the MP table
  • the MP_table_descriptors_length field includes the length of the descriptor syntax loop. The length is counted from the next field to the end of the descriptor syntax loop.
  • Some descriptors can be inserted into the syntax loop. For example, an additional_package_information_URL descriptor may be included here, and provides a URL of a package information web page for a corresponding package.
  • the MP_table_descriptors_byte field represents a byte in the descriptors loop
  • the number_of_assets field provides the number of assets for which information is provided by the corresponding MP table
  • the packet_id field provides an identifier of an MMTP session in the MMTP packet header.
  • the asset_clock_relation_flag field indicates whether an asset uses a network time protocol (NTP) clock or another clock system as a clock reference
  • NTP network time protocol
  • the asset_clock_relation_id field is included. When the field value of the asset_clock_relation_flag field is '0', the NTP clock is used for the asset.
  • the asset_clock_relation_id field provides a clock relationship identifier of the asset
  • the asset_clock_relation_id field is used to refer to a clock relationship delivered by a CRI_descriptor () for the asset.
  • the field value of the asset_clock_relation_id field is one of clock_relation_id values provided by the CRI descriptors.
  • the CRI descriptor is described in section 9.5.1 of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard, and a detailed description thereof will be omitted.
  • the asset_timescale_flag field indicates whether "asset_timescale” information is provided.
  • asset_timescale_flag field When the field value of the asset_timescale_flag field is set to '1', asset_timescale information is included.
  • asset_timescale information is 90,000 (90 kHz).
  • the location_count field provides the number of location information about an asset.
  • the field value of the location_count field is set to '1'.
  • the field value of the location_count field is not set to '1'.
  • the asset_timescale field provides information of a time unit for all time stamps used for the asset expressed as the number of units in one second.
  • the MMT_general_location_info_for_asset_location field provides location information of an asset.
  • general location reference information for the asset as described in section 9.6.1 of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard, is used.
  • the value of the location_type field between '0x00' and '0x06' will be used for the asset location.
  • the asset_descriptors_length field indicates the number of bytes counted from the start of the next field to the end of the Asset descriptors syntax loop
  • the asset_descriptors_byte field indicates the bytes in the asset descriptors
  • the default_asset_flag field indicates that the asset is the default assset (default asset). If an asset is marked as a default asset, the MPU timestamp descriptor exists for the corresponding timed asset. When the field value of the default_asset_flag field is '0', the asset is marked as a default asset.
  • the asset_id syntax element group is used to provide an asset ID.
  • the values of the asset_id syntax element group may be the same as the asset ID of the 'mmpu' box. will be.
  • the description of the asset ID allocation when the 'mmpu' box does not exist will be omitted.
  • syntax of the asset_id may be represented as in Table 7 below.
  • section in Table 8 represents a section of the ISO / IEC 23008-1: 2014 1 st Edition standard.
  • the asset_id_scheme field provides an Asset ID scheme as defined in section 6.3.3 of the ISO / IEC 23008-1: 2014 1 st Edition standard, and the asset_id_length field indicates the length in bytes of the asset_id field.
  • the asset_id_byte field represents a byte in the asset_id.
  • the identifier mapping syntax group element provides a mapping of the content identifier and the MMTP packet sub-flow, wherein the MMTP packet sub-flow is a subset of the packets of the MMTP packet sharing the same packet identifier packet_id.
  • the content identifier may be provided in other forms, for example, other forms such as asset ID, URL, or pattern.
  • Table 6 in Table 10 indicates Table 11 below, and the identifier_type field provides a type of identifier used for mapping to the packet_id field.
  • a list of useful identifier types is provided in Table 11 below.
  • identifier types for identifier mapping may be represented as in Table 11 below.
  • Table 11 for example, 9.6.2 represents a section of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard, and thus a detailed description thereof will be omitted.
  • the meaning of each parameter included in Table 9 may be represented as shown in Table 12 below.
  • the URL is a list of URLs
  • the field value of the URL_count field indicates the number of URLs provided in the list of URLs.
  • the URL_length field indicates the length in bytes of the next URL
  • the URL_byte field indicates the byte of the URL formatted as a UTF-8 character string
  • the regex_length field is provided as a regular expression whose identifier matches a set of URLs.
  • the regex_length field indicates the length of the RegEx string.
  • the regex_byte field represents a byte of the RegEx string provided as a UTF-8 string
  • the representation_id_length field the identifier is provided as a DASH Representation @ id
  • the field value of the representation_id_length field is the length of the DASH Representation @ id string.
  • a representation_id_byte field represents a byte of the Representation @ id string
  • an identifier is provided as private data
  • the private_length field provides a byte length of the private identifier
  • a private_byte field is the private Represents a byte of identifier.
  • time stamp (hereinafter, referred to as a "timestamp") descriptor of an MMT system according to an embodiment of the present disclosure will be described.
  • Playback time information is transmitted for each MPU for each asset, which may be included in an MP table for describing characteristics of each asset.
  • the playback start time of each MPU is described in an MPU timestamp descriptor, and the MPU timestamp descriptor is included in the MP table to synchronize synchronization on the playback time axis between MPUs of each asset.
  • the descriptor provides presentation time of the first AU of MPU in presentation order after application of any offset such as the one provided by 'elst' box.When presentation information presents this descriptor shall be ignored.
  • the descriptor_tag field represents a tag value indicating a type of a descriptor
  • the descriptor_length field represents a length in bytes counted from the next byte of the descriptor_length field to the last byte of the descriptor.
  • the mpu_sequence_number field indicates the sequence number of the MPU to be played back at the time given in the next mpu_presentation_time
  • the mpu_presentation_time field indicates the first access unit (AU) in the designated MPU according to the 64-bit NTP type stamp format. A playback time of " AU "
  • FIG. 4 is a diagram schematically illustrating an example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure.
  • the MMT transmitting apparatus 100 includes a caption change indicating unit 101 and an MMT data transmitting unit 102.
  • the subtitle change indicating unit 101 When the subtitle change indicating unit 101 receives a request for changing the first subtitle transmitted to the second subtitle from the MMT receiving apparatus or another device communicating with the MMT transmitting apparatus 100, the MMT currently being transmitted.
  • the signaling information describing the package and the MMT data are modified, and information necessary for subtitle change configuration is transmitted to the MMT data transmitter 102.
  • the asset ID of the subtitle asset must be changed in the MP table, and the play time information of each MPU included in the asset including the second subtitle is included.
  • the MPU timestamp descriptor should be transmitted.
  • subtitle change descriptor information necessary for subtitle change is recorded in a subtitle change descriptor, and the subtitle change description parameter is transmitted through an MMT signaling message. Since a detailed description thereof will be omitted herein.
  • the MMT data transmitter 102 transmits the subtitle change description factor, the modified signaling information, and the MMT data in which information necessary for setting the subtitle change received from the subtitle change indicating unit 101 is recorded, to the MMT receiving apparatus.
  • FIG. 4 illustrates a case in which the MMT transmitting apparatus 100 is implemented in separate units such as the subtitle change indicating unit 101 and the MMT data transmitting unit 102.
  • the MMT data transmitter 102 may be integrated into one unit, and of course, the subtitle change instruction unit 101 and the MMT data transmitter 102 may be implemented in at least one process.
  • FIG. 4 illustrates an example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure.
  • an MMT receiving apparatus in an MMT system according to an embodiment of the present disclosure will be described with reference to FIG. 5.
  • An example of the internal structure will be described.
  • FIG. 5 is a diagram schematically illustrating an example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure.
  • the MMT receiving apparatus 200 includes an MMT data receiving unit 201, a caption change setting unit 202, and a media data output unit 203.
  • the media data output unit 203 may physically exist inside the MMT receiving apparatus 200 or may exist outside the MMT receiving apparatus 200.
  • the MMT data receiving unit 201 receives MMT data transmitted from the MMT transmitting apparatus.
  • the MMT data includes media data constituting the MMT package, a signaling message, related data, and the like.
  • the subtitle change setting unit 202 uses the subtitle change description parameter transmitted from the MMT transmission apparatus to play the first subtitle until the determined time, and to reproduce the second subtitle from the determined time, information necessary for reproducing the subtitle data. It generates and delivers to the media data output unit 203.
  • the method for generating the information necessary to reproduce the subtitle data will be described in detail in the subtitle change setting operation, a detailed description thereof will be omitted.
  • the media data output unit 203 outputs multimedia content by combining media data and information necessary for reproduction of the caption data received from the caption change setting unit 202.
  • FIG. 5 illustrates a case in which the MMT receiving apparatus 200 is implemented as separate units such as the MMT data receiving unit 201, the subtitle change setting unit 202, and the media data output unit 203. At least two of the MMT data receiving unit 201, the subtitle change setting unit 202, and the media data output unit 203 may be integrated into one unit. In addition, the MMT data receiving unit 201, the subtitle change setting unit 202, and the media data output unit 203 may be implemented in at least one process.
  • FIG. 5 illustrates an example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure.
  • subtitle data is changed in the MMT system according to an embodiment of the present disclosure with reference to FIG. 6. The process of doing this will be described.
  • FIG. 6 is a diagram schematically illustrating a process of changing caption data in an MMT system according to an embodiment of the present disclosure.
  • a process of changing from a first subtitle to a second subtitle based on a reproduction time of MMT media data is illustrated.
  • a first subtitle is an example of a Korean subtitle and a second subtitle is an English subtitle.
  • the Korean subtitle becomes an original subtitle and the English subtitle becomes a changed subtitle.
  • each paragraph may be included in an MPU, and thus, transmitted through the MPU, and data corresponding to one or more paragraphs may be stored in one MPU.
  • Paragraph 1 of the first subtitle is changed to a second subtitle at a subtitle changing time, for example, while Paragraph 1 of the second subtitle is changed at the subtitle changing time. If the playback has already been completed, the user of the terminal must wait until the next Paragraph of the second subtitle, that is, Paragraph2, is played, without being able to completely watch either of Paragraph1 and Paragraph2.
  • the user of the terminal sufficiently provides the context provided by the subtitle data by replaying Paragraph1 of the first subtitle and / or Paragraph1 of the second subtitle before the start time of Paragraph2 of the second subtitle. It can be experienced. That is, the user of the terminal may sufficiently experience the context provided by the subtitle data by replaying previous subtitle data that has already passed during the empty time between the last paragraph of the first subtitle and the first paragraph of the second subtitle. .
  • FIG. 6 illustrates a process of changing subtitle data in an MMT system according to an embodiment of the present disclosure.
  • a subtitle change descriptor is described in an MMT system according to an embodiment of the present disclosure. Let's do it.
  • the duration (Duration_rest) and (ii) the subtitle data to be replayed must be determined.
  • the MMT transmitting apparatus should transmit the caption change description factor so that the MMT receiving apparatus can determine the time when the caption data is to be replayed and the caption data to be replayed.
  • the subtitle change description parameter includes (1) a playback start time (MPUPT_new_passed) of Paragraph1 of the second subtitle, (2) a playback start time (MPUPT_new_next) of Paragraph2 of the second subtitle, and (3) a playback section of Paragraph1 of the first subtitle ( duration_original_passed), and (4) a playback section (duration_new_passed) of Paragraph 1 of the second subtitle.
  • the caption change description factor may be represented as Table 15 and Table 16 below. It should be noted that Table 15 and Table 16 are described below based on the case where one Paragraph is stored in one MPU. However, as described above, one MPU may include one paragraph, and alternatively, a plurality of paragraphs may be included.
  • one package may correspond to one program, for example, a program such as a news show, a soccer game, and the like, and the one package may also include a plurality of subtitles at the same time in addition to video / audio.
  • each subtitle may be mapped to one asset in the MMT standard.
  • Each subtitle has a play start time and a play end time attribute information. Even if the subtitles have the same content, the length of the subtitles may vary depending on the attribute of the corresponding language.
  • a particular subtitle can be changed to another subtitle during transmission or rendering, and the changed time does not reach the start time of playing the changed subtitle, so that no information is displayed on the screen for a certain period.
  • the user experience may be enhanced by displaying the subtitles before the change, that is, the original subtitles instead.
  • the subtitle change descriptor includes information on an MPU playing time and an interval of each subtitle MPU, and the terminal is based on information on an MPU playing time and an interval of MPUs for each subtitle before the next subtitle playing start time. It is determined for which amount of time the subtitle asset is to be displayed in a space period of.
  • Table 16 shows information that a server, that is, a subtitle server sends to the terminal, that is, a Subtitle Change Descriptor, so that the terminal determines which subtitle is displayed by the terminal according to an embodiment of the present disclosure.
  • a server that is, a subtitle server sends to the terminal, that is, a Subtitle Change Descriptor, so that the terminal determines which subtitle is displayed by the terminal according to an embodiment of the present disclosure.
  • the meaning of each parameter included in Table 16 may be expressed as shown in Table 17 below.
  • section in Table 17, for example 9.5.2 represents a section of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard.
  • the descriptor_tag field indicates a tag value indicating a type of a descriptor
  • the descriptor_length field indicates a length in bytes counting from the next byte after the descriptor_length field to the last byte of the descriptor
  • the MPUPT_new_passed field indicates a changed caption.
  • the MPUPT_new_next field indicates mpu_presentation_time of the next MPU in the changed caption asset.
  • mpu_presentation_time is as defined in section 9.5.2 of the ISO / IEC 23008-1: 2014 (E) 1 st Edition standard.
  • the duration_original_passed field represents the presentation time duration of the last MPU in the original subtitle asset, and the duration_original_passed field is expressed in milliseconds.
  • the duration_new_passed field represents the presentation time duration of the last MPU in the changed caption asset, and the duration_new_passed field is expressed in milliseconds.
  • the caption description factor may be written as a subtitle change descriptor and included as one of the asset descriptors of the caption asset in the MP table.
  • the MP table is included in the PA message and when information about assets included in the MMT package is changed. Every time, the MMT transmitting apparatus is transmitted from the MMT receiving apparatus.
  • the caption description factor may be independently transmitted from the MMT transmitting apparatus to the MMT receiving apparatus as a separate MMT signaling message instead of the PA message.
  • the signaling message including the caption description factor may be, for example, a caption change message (hereinafter, referred to as a "subtitle change" message), and the format of the subtitle change message is the MMT signaling information format as described above. You can follow
  • FIG. 7 is a diagram schematically illustrating a subtitle change setting method in an MMT system according to an embodiment of the present disclosure.
  • the MMT receiving apparatus may change metadata of the caption data and transmit appropriate caption data to the media data output unit using the caption change description factor transmitted from the MMT transmission apparatus.
  • the setting for changing the subtitle is performed in the following order.
  • the MMT receiver receives a Subtitle Change Descriptor sent by the server.
  • the MMT receiving apparatus calculates an empty time between Paragraph 1 of the second subtitle and Paragraph 2 of the second subtitle based on (1), (2), and (4).
  • the MMT receiving apparatus performs reproduction of Paragraph 2 of the second subtitle in consideration of the time calculated in 2 and the following contents (1), (2), (3), (4) and (5). Before starting, determine the target Paragraph to replay and the duration (Duration_rest) to replay.
  • the subtitle is not displayed on the screen in the Duration_rest.
  • the subtitle may be displayed to improve the user experience during the Duration_rest.
  • the target Paragraph to be replayed in Duration_rest may be Paragraph1 of the first subtitle, or Paragraph1 of the second subtitle, or both of Paragraph1 of the first subtitle and Paragraph1 of the second subtitle.
  • a section in which Paragraph1 of the first subtitle is replayed and a section in which Paragraph1 of the second subtitle is replayed may be determined identically or differently.
  • a duration obtained by adding a section where Paragraph1 of the first subtitle is replayed and a section where Paragraph1 of the second subtitle is replayed corresponds to the Duration_rest.
  • a decoder of an MMT receiving apparatus for example, a feature of a media data decoder, wherein the feature of the decoder may include a capability of the decoder.
  • Renderer of the MMT receiving apparatus, for example, the characteristics of the media renderer, wherein the characteristics of the renderer may include the capabilities of the renderer.
  • the MMT receiving apparatus determines a replay mode of the target Paragraph to be replayed for Duration_rest determined in 3.
  • Normal replay mode Replay by Duration_rest time from the end time of playback of the target Paragraph (corresponding to 1x speed)
  • Trick replay mode Replays the entire target Paragraph in accordance with Duration_rest (corresponding to the same speed as the playback section ⁇ Duration_rest (ie, replay section) of the target Paragraph)
  • Private mode Replay in accordance with the method determined by other MMT receiving apparatus
  • the MMT receiving apparatus adjusts the MPU playing time (MPU_presentation_time, hereinafter referred to as "MPU_presentation_time”) value of the target Paragraph to be replayed based on the replay mode determined in 4.
  • MPU_presentation_time MPU playing time
  • normal replay mode corresponds to the time inverted by the replay section of the target Paragraph from the time indicated by MPUPT_new_next.
  • the replay time of data included in the target Paragraph to be replayed is adjusted based on the replay mode determined in 4. For example, when the target Paragraph includes N media samples, the replay interval of each media sample may be adjusted to the replay interval ⁇ Duration_rest ⁇ N of the target Paragraph.
  • the replay section of the media sample is included in the MPU metadata.
  • two or more Paragraphs may be included in one subtitle MPU, and in this case, the reproduction start time of the first data unit of the data constituting the Paragraph may be used instead of the MPU reproduction time.
  • a predetermined space may be set before Paragraph2 of the second subtitle is started in consideration of a ratio between the space between Paragraph1 and Paragraph2 of the second subtitle and Duration_rest. In this case, you need to adjust Duration_rest and MPU_presentation_time of the replay target Paragraph.
  • the method proposed in an embodiment of the present disclosure may not be performed in some sections of the entire content. That is, the MMT receiving apparatus may optionally apply the method proposed in an embodiment of the present disclosure as needed.
  • the MMT receiving apparatus may determine the context recognition technology of the content or the user preference information, the age of the user, the speed of reading the user's text, the size of the display, the resolution of the display, The field of view of the display, the spatial information of the display, and the region of interest may be considered.
  • all operations for changing the subtitles described above may be performed in the MMT receiving apparatus or may be performed in the MMT transmitting apparatus.
  • the MMT receiving apparatus may perform operations for receiving and playing general MMT data.
  • FIG. 7 illustrates a method of setting a subtitle change in an MMT system according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram schematically illustrating another example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure.
  • the MMT transmitting apparatus 800 includes a transmitter 811, a controller 813, a receiver 815, and a storage 817.
  • the controller 813 controls the overall operation of the MMT transmitting apparatus 800.
  • the controller 813 controls the MMT transmitting apparatus 800 to perform an overall operation related to a subtitle change operation according to an embodiment of the present disclosure.
  • the overall operations related to the subtitle change operation are the same as those described with reference to FIGS. 1 to 7, the detailed description thereof will be omitted.
  • the transmitter 811 transmits various data, various signals, various messages, and the like to the MMT receiving apparatus under the control of the controller 813.
  • the various data, the various signals and the various messages transmitted by the transmitter 811 are the same as those described with reference to FIGS. 1 to 7, and thus detailed description thereof will be omitted.
  • the receiver 815 receives various data, various signals, various messages, and the like from the MMT receiving apparatus under the control of the controller 813.
  • the various data, the various signals, the various messages, etc. received by the receiving unit 815 are the same as those described with reference to FIGS. 1 to 7, and thus detailed description thereof will be omitted.
  • the storage unit 817 stores a program and various data required for the operation of the MMT transmitting apparatus 800, in particular information related to a subtitle change operation according to an embodiment of the present disclosure. In addition, the storage unit 817 stores various data, various signals, various messages, etc. received by the receiving unit 815 from the MMT receiving apparatus.
  • the MMT transmitter 800 illustrates a case in which the MMT transmitter 800 is implemented as separate units such as the transmitter 811, the controller 813, the receiver 815, and the storage 817. However, at least two of the transmitter 811, the controller 813, the receiver 815, and the storage 817 may be integrated into one unit. In addition, the transmitter 811, the controller 813, the receiver 815, and the storage 817 may be implemented by at least one processor.
  • FIG. 8 illustrates another example of an internal structure of an MMT transmitting apparatus in an MMT system according to an embodiment of the present disclosure.
  • an MMT receiving apparatus in an MMT system according to an embodiment of the present disclosure will be described with reference to FIG. 9. Another example of the internal structure will be described.
  • FIG. 9 is a diagram schematically showing another example of an internal structure of an MMT receiving apparatus in an MMT system according to an embodiment of the present disclosure.
  • the MMT receiver 900 includes a transmitter 911, a controller 913, a receiver 915, and a storage 917.
  • the controller 913 controls the overall operation of the MMT receiving apparatus 900.
  • the controller 913 controls the MMT receiving apparatus 900 to perform an overall operation related to a subtitle change operation according to an embodiment of the present disclosure.
  • the overall operations related to the subtitle change operation are the same as those described with reference to FIGS. 1 to 7, the detailed description thereof will be omitted.
  • the transmitter 911 transmits various data, various signals, various messages, and the like to the MMT transmitting apparatus under the control of the controller 913.
  • various data, various signals, various messages transmitted by the transmitter 911 are the same as those described with reference to FIGS. 1 to 7, and thus, detailed description thereof will be omitted.
  • the receiver 915 receives various data, various signals, various messages, and the like from the MMT transmitting apparatus under the control of the controller 913.
  • the various data, the various signals, the various messages, etc. received by the receiver 915 are the same as those described with reference to FIGS. 1 to 7, and thus, detailed description thereof will be omitted.
  • the storage unit 917 stores a program and various data necessary for the operation of the MMT receiving apparatus 900, in particular information related to a subtitle change operation according to an embodiment of the present disclosure. In addition, the storage unit 917 stores various data, various signals, various messages, etc. received by the receiving unit 915 from the MMT transmitting apparatus.
  • the MMT receiving apparatus 900 is implemented as separate units such as the transmitter 911, the controller 913, the receiver 915, and the storage 917. However, at least two of the transmitter 911, the controller 913, the receiver 915, and the storage 917 may be integrated into one unit. In addition, the transmitter 911, the controller 913, the receiver 915, and the storage 917 may be implemented by at least one processor.
  • an embodiment of the present disclosure provides a transmitting device in a multimedia system.
  • the transmitting device includes a control unit that detects a request for changing to second type-data while the first type-data is reproduced at a given time point, and among the first type-data before the second type-data is reproduced. And a transmitter for transmitting information necessary to replay at least one of the data reproduced before the given time point and the data reproduced before the given time point of the second type-data.
  • the information is the second type-first. At least one of the data reproduced before the given point in time of the first type-first data unit and the data reproduced before the point in time of the second type-first data unit is replayed before one data unit is reproduced. Contains the information needed to
  • the information is a reproduction time of a first third data unit included in the elapsed second data unit of the second type-first data unit, and a next second data unit of the second type-first data unit.
  • a reproduction time of the first third data unit included in the second data, a reproduction time interval of the elapsed second data unit of the first type-first data unit, and an elapsed second of the second type-first data unit At least one of the reproduction time interval of the data unit.
  • the first data unit includes an asset
  • the second data unit includes a media processing unit (MPU)
  • the third data unit includes an access unit.
  • MPU media processing unit
  • the first type-data and the second type-data are for the same content.
  • an embodiment of the present disclosure provides a reception device in a multimedia system.
  • the receiving device includes a control unit that detects a request for changing to second type-data while the first type-data is being reproduced at a given time point, and among the first type-data before the second type-data is reproduced. And a receiving unit for receiving information necessary to replay at least one of data reproduced before the given time point and data reproduced before the given time point of the second type-data.
  • the information is the second type-first. At least one of the data reproduced before the given point in time of the first type-first data unit and the data reproduced before the point in time of the second type-first data unit is replayed before one data unit is reproduced. Contains the information needed to
  • the information is: a reproduction time of a first third data unit included in the elapsed second data unit of the second type-first data unit, and next second data of the second type-first data unit
  • the reproduction time of the first third data unit included in the unit, the reproduction time interval of the elapsed second data unit of the first type-first data unit, and the elapsed second of the second type-first data unit At least one of the reproduction time interval of the two data unit.
  • the controller is configured to reproduce data reproduced before the given time point of the first type-first data unit before the next second data unit of the second-first data unit is reproduced, and the second type-first Replay at least one of the data reproduced before the given time point in the data unit.
  • control unit may include a reproduction time of the first third data unit included in the elapsed second data unit of the second type-first data unit, and a next second data unit of the second type-first data unit.
  • the elapsed time of the second type-first data unit based on the reproduction time of the first third data unit included in the second and the reproduction time interval of the elapsed second data unit of the second type-first data unit Identify an empty period between two data units and a second second data unit of the second type-first data unit, and identify the empty period and metadata of an elapsed second data unit of the first type-first data unit (metadata), metadata of the elapsed second data unit of the second type-first data unit, the capability of the decoder and the capability of the renderer, the one of the first type-first data units; Given time Determine at least one of previously reproduced data and data reproduced before the given point in time of the second type-first data unit as a target to be replayed, determine a time interval to replay the target to be replay
  • the controller replays the object to be replayed in the time interval to be replayed based on one mode determined among the first mode, the second mode, and the third mode, and the first mode is the replayed object.
  • a mode for replaying data corresponding to the time interval to be replayed from a reproduction end time wherein the second mode includes a mode for replaying the entire object to be replayed corresponding to the time interval to be replayed.
  • the mode includes a mode of replaying an object to be replayed in the time interval to be replayed based on a method determined by the receiving device.
  • the controller adjusts the reproduction time of the third data unit of the object to be replayed based on the determined mode.
  • the first data unit includes an asset
  • the second data unit includes a media processing unit (MPU)
  • the third data unit includes an access unit.
  • MPU media processing unit
  • the first type-data and the second type-data are for the same content.
  • Certain aspects of the present invention may also be embodied as computer readable code on a computer readable recording medium.
  • a computer readable recording medium is any data storage device capable of storing data that can be read by a computer system. Examples of the computer readable recording medium include read-only memory (ROM), random-access memory (RAM), CD-ROMs, magnetic tapes, Floppy disks, optical data storage devices, and carrier waves (such as data transmission over the Internet).
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, code, and code segments for achieving the present invention can be easily interpreted by those skilled in the art to which the present invention is applied.
  • any such software may be, for example, volatile or nonvolatile storage, such as a storage device such as a ROM, whether or not removable or rewritable, or a memory such as, for example, a RAM, a memory chip, a device or an integrated circuit. Or, for example, CD or DVD, magnetic disk or magnetic tape and the like can be stored in a storage medium that is optically or magnetically recordable and simultaneously readable by a machine (eg computer).
  • a machine eg computer
  • the method according to an embodiment of the present invention may be implemented by a computer or a portable terminal including a control unit and a memory, wherein the memory is suitable for storing a program or programs including instructions for implementing embodiments of the present invention. It will be appreciated that this is an example of a machine-readable storage medium.
  • the present invention includes a program comprising code for implementing the apparatus or method described in any claim herein and a storage medium readable by a machine (such as a computer) storing such a program.
  • a machine such as a computer
  • such a program can be transferred electronically through any medium, such as a communication signal transmitted over a wired or wireless connection, and the invention suitably includes equivalents thereof.
  • the apparatus may receive and store the program from a program providing apparatus connected by wire or wirelessly.
  • the program providing apparatus includes a memory for storing a program including instructions for causing the program processing apparatus to perform a preset content protection method, information necessary for the content protection method, and wired or wireless communication with the graphic processing apparatus.
  • a communication unit for performing and a control unit for automatically transmitting the program or the corresponding program to the request or the graphics processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

멀티미디어 시스템에서 송신 장치의 방법에 있어서, 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 과정과, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 송신하는 과정을 포함함을 특징으로 한다.

Description

멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법
본 개시는 멀티미디어(multimedia) 시스템에서 신호를 송신 및 수신하는 장치 및 방법에 관한 것으로서, 특히 멀티미디어 시스템에서 복합 멀티미디어 신호를 송신 및 수신하는 장치 및 방법에 관한 것이다.
멀티미디어에 대한 요구가 증가됨에 따라 다양한 멀티미디어 방식들이 제안된 바 있으며, 그 중 대표적인 멀티미디어 방식이 엠펙 미디어 트랜스포트(MPEG(moving picture experts group) media transport: MMT, 이하 'MMT'라 칭하기로 한다) 방식이다.
상기 MMT 방식은 인터넷 프로토콜(internet protocol: IP) 네트워크들과 디지털 브로드캐스팅(digital broadcasting) 네트워크들을 포함하는 이종 패킷-교환 네트워크(heterogeneous packet-switched network)를 통해 멀티미디어 서비스들에 대한 코딩된 미디어 데이터(media data)의 트랜스포트(transport) 및 전달을 위한 기술이다. 여기서, 상기 코딩된 미디어 데이터는 타임드 시청각 미디어 데이터(timed audiovisual media data) 및 논-타임드 데이터(non-timed data)를 포함한다.
또한, 상기 MMT 방식은 효율적이고 효과적인 미디어 데이터 전달을 위해 제안된 기술이다. 특히, 상기 MMT 방식에서는 다양한 타입들의 멀티미디어 데이터 및 멀티미디어 서비스를 포함하는 복합 멀티미디어 데이터를 송신 및 수신하기 위한 다양한 방식들이 제안되고 있다.
한편, 상기와 같은 정보는 본 개시의 이해를 돕기 위한 백그라운드(background) 정보로서만 제시될 뿐이다. 상기 내용 중 어느 것이라도 본 개시에 관한 종래 기술로서 적용 가능할지 여부에 관해, 어떤 결정도 이루어지지 않았고, 또한 어떤 주장도 이루어지지 않는다.
본 개시의 일 실시 예는 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 복합 멀티미디어 신호를 송신 및 수신하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 동일한 컨텐트에 대한 서로 다른 타입들의 데이터들을 지원할 경우, 재생중인 데이터의 타입이 변경될 경우의 동작을 지원하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 정보를 송신 및 수신하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 다수 개의 언어들을 기반으로 하는 자막들을 지원하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 동작을 지원하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 사용자 경험을 향상시키는 장치 및 방법을 제안한다.
본 개시의 일 실시 예에서 제안하는 방법은; 멀티미디어 시스템에서 송신 장치의 방법에 있어서, 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 과정과, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 송신하는 과정을 포함함을 특징으로 한다.
본 개시의 일 실시 예에서 제안하는 다른 방법은; 멀티미디어 시스템에서 수신 장치의 방법에 있어서, 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 과정과, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 수신하는 과정을 포함함을 특징으로 한다.
본 개시의 일 실시 예에서 제안하는 장치는; 멀티미디어 시스템에서 송신 장치에 있어서, 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 제어부와, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 송신하는 송신부를 포함함을 특징으로 한다.
본 개시의 일 실시 예에서 제안하는 다른 장치는; 멀티미디어 시스템에서 수신 장치에 있어서, 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 제어부와, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 수신하는 수신부를 포함한다.
본 개시의 일 실시 예는 멀티미디어 시스템에서 신호를 송신 및 수신하는 가능하게 한다는 효과가 있다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 복합 멀티미디어 신호를 송신 및 수신하는 것을 가능하게 한다는 효과가 있다.
또한, 본 개시의 일 실시 예는 MMT 시스템에서 한 개 이상의 언어로 제작된 자막 데이터를 포함한 멀티미디어 스트리밍 서비스를 제공함에 있어서, 자막 언어의 변경이 있을 때 자막 길이의 상이함으로 인해 발생하는 사용자 경험 저하를 개선할 수 있다는 효과가 있다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 동일한 컨텐트에 대한 서로 다른 타입들의 데이터들을 지원할 경우, 재생중인 데이터의 타입이 변경될 경우의 동작을 지원하는 것을 가능하게 한다는 효과가 있다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 정보를 송신 및 수신하는 것을 가능하게 한다는 효과가 있다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 다수 개의 언어들을 기반으로 하는 자막들을 지원하는 것을 가능하게 한다는 효과가 있다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 동작을 지원하는 것을 가능하게 한다는 효과가 있다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 사용자 경험을 향상시키는 것을 가능하게 한다는 효과가 있다.
본 개시의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다:
도 1은 본 개시의 일 실시 예에 따른 MMT 시스템의 MMT 데이터 모델을 개략적으로 도시한 도면이다;
도 2는 본 개시의 일 실시 예에 따른 MMT 시스템에서 재생 시간 라인(timeline)과 MPU들의 매핑의 일 예를 개략적으로 도시하고 있는 도면이다;
도 3은 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 인캡슐레이션의 일 예를 개략적으로 도시한 도면이다;
도 4는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예를 개략적으로 도시한 도면이다;
도 5는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예를 개략적으로 도시한 도면이다;
도 6은 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 데이터를 변경하는 과정을 개략적으로 도시한 도면이다;
도 7은 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 변경 설정 방법을 개략적으로 도시한 도면이다;
도 8은 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 다른 예를 개략적으로 도시한 도면이다;
도 9는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 수신 장치의 내부 구조의 다른 예를 개략적으로 도시한 도면이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
첨부되는 도면들을 참조하는 하기의 상세한 설명은 청구항들 및 청구항들의 균등들로 정의되는 본 개시의 다양한 실시예들을 포괄적으로 이해하는데 있어 도움을 줄 것이다. 하기의 상세한 설명은 그 이해를 위해 다양한 특정 구체 사항들을 포함하지만, 이는 단순히 예로서만 간주될 것이다. 따라서, 해당 기술 분야의 당업자는 여기에서 설명되는 다양한 실시예들의 다양한 변경들 및 수정들이 본 개시의 범위 및 사상으로부터 벗어남이 없이 이루어질 수 있다는 것을 인식할 것이다. 또한, 공지의 기능들 및 구성들에 대한 설명은 명료성 및 간결성을 위해 생략될 수 있다.
하기의 상세한 설명 및 청구항들에서 사용되는 용어들 및 단어들은 문헌적 의미로 한정되는 것이 아니라, 단순히 발명자에 의한 본 개시의 명료하고 일관적인 이해를 가능하게 하도록 하기 위해 사용될 뿐이다. 따라서, 해당 기술 분야의 당업자들에게는 본 개시의 다양한 실시예들에 대한 하기의 상세한 설명은 단지 예시 목적만을 위해 제공되는 것이며, 첨부되는 청구항들 및 상기 청구항들의 균등들에 의해 정의되는 본 개시를 한정하기 위해 제공되는 것은 아니라는 것이 명백해야만 할 것이다.
또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 "한"과, "상기"와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, "컴포넌트 표면(component surface)"은 하나 혹은 그 이상의 컴포넌트 표현들을 포함한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 이해되어야만 한다.
본 개시의 다양한 실시예들에 따르면, 전자 디바이스는 통신 기능을 포함할 수 있다. 일 예로, 전자 디바이스는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있다.
본 개시의 다양한 실시예들에 따르면, 전자 디바이스는 통신 기능을 가지는 스마트 가정용 기기(smart home appliance)가 될 수 있다. 일 예로, 상기 스마트 가정용 기기는 텔레비젼과, 디지털 비디오 디스크(digital video disk: DVD, 이하 'DVD'라 칭하기로 한다) 플레이어와, 오디오와, 냉장고와, 에어 컨디셔너와, 진공 청소기와, 오븐과, 마이크로웨이브 오븐과, 워셔와, 드라이어와, 공기 청정기와, 셋-탑 박스(set-top box)와, TV 박스(일 예로, Samsung HomeSyncTM, Apple TVTM, 혹은 Google TVTM)와, 게임 콘솔(gaming console)과, 전자 사전과, 캠코더와, 전자 사진 프레임 등이 될 수 있다.
본 개시의 다양한 실시예들에 따르면, 전자 디바이스는 의료 기기(일 예로, 자기 공명 혈관 조영술(magnetic resonance angiography: MRA, 이하 'MRA'라 칭하기로 한다) 디바이스와, 자기 공명 화상법(magnetic resonance imaging: MRI, 이하 "MRI"라 칭하기로 한다)과, 컴퓨터 단층 촬영(computed tomography: CT, 이하 'CT'라 칭하기로 한다) 디바이스와, 촬상 디바이스, 혹은 초음파 디바이스)와, 네비게이션(navigation) 디바이스와, 전세계 위치 시스템(global positioning system: GPS, 이하 'GPS'라 칭하기로 한다) 수신기와, 사고 기록 장치(event data recorder: EDR, 이하 'EDR'이라 칭하기로 한다)와, 비행 기록 장치(flight data recorder: FDR, 이하 'FER'이라 칭하기로 한다)와, 자동차 인포테인먼트 디바이스(automotive infotainment device)와, 항해 전자 디바이스(일 예로, 항해 네비게이션 디바이스, 자이로스코프(gyroscope), 혹은 나침반)와, 항공 전자 디바이스와, 보안 디바이스와, 산업용 혹은 소비자용 로봇(robot) 등이 될 수 있다.
본 개시의 다양한 실시예들에 따르면, 전자 디바이스는 통신 기능을 포함하는, 가구와, 빌딩/구조의 일부와, 전자 보드와, 전자 서명 수신 디바이스와, 프로젝터와, 다양한 측정 디바이스들(일 예로, 물과, 전기와, 가스 혹은 전자기 파 측정 디바이스들) 등이 될 수 있다.
본 개시의 다양한 실시예들에 따르면, 전자 디바이스는 상기에서 설명한 바와 같은 디바이스들의 조합이 될 수 있다. 또한, 본 개시의 실시예들에 따른 전자 디바이스는 상기에서 설명한 바와 같은 디바이스에 한정되는 것이 아니라는 것은 당업자에게 자명할 것이다.
본 개시의 다양한 실시 예들에 따르면, 송신 장치 및 수신 장치 각각은 일 예로 전자 디바이스가 될 수 있다. 본 개시의 다양한 실시예들에서, 상기 송신 장치는 송신 엔터티(entity)라고 칭해질 수 있으며, 상기 수신 장치는 수신 엔터티라고 칭해질 수 있다.
또한, 본 개시의 다양한 실시 예들에 따르면, 송신 장치는 서비스 공급자(service provider) 혹은 단말기가 될 수 있다.
또한, 본 개시의 다양한 실시 예들에 따르면, 수신 장치는 단말기 혹은 서비스 공급자가 될 수 있다.
또한, 본 개시의 다양한 실시 예들에서, 단말기는 이동 단말기(mobile station: MS, 이하 "MS"라 칭하기로 한다)와, 무선 단말기(wireless terminal)와, 이동 디바이스(mobile device)와, 사용자 단말기(user equipment: UE, 이하 "UE"라 칭하기로 한다) 등과 같은 용어들과 혼용될 수 있음에 유의하여야만 할 것이다. 또한, 본 개시의 다양한 실시 예들에서, 서비스 공급자는 브로드캐스팅 서버 등과 같은 용어들과 혼용될 수 있음에 유의하여야만 할 것이다.
본 개시의 일 실시 예는 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 복합 멀티미디어 신호를 송신 및 수신하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 동일한 컨텐트에 대한 서로 다른 타입들의 데이터들을 지원할 경우, 재생중인 데이터의 타입이 변경될 경우의 동작을 지원하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 정보를 송신 및 수신하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 다수 개의 언어들을 기반으로 하는 자막들을 지원하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 동작을 지원하는 장치 및 방법을 제안한다.
또한, 본 개시의 일 실시 예는 멀티미디어 시스템에서 자막 변경에 따른 사용자 경험을 향상시키는 장치 및 방법을 제안한다.
한편, 본 개시의 일 실시 예에서 제안하는 장치 및 방법은 디지털 멀티미디어 방송(digital multimedia broadcasting: DMB, 이하 "DMB"라 칭하기로 한다) 서비스와, 휴대용 디지털 비디오 방송(digital video broadcasting-handheld: DVB-H, 이하 "DVB-H"라 칭하기로 한다), 및 모바일/휴대용 진화된 텔레비젼 시스템 협회(advanced television systems committee-mobile/handheld: ATSC-M/H, 이하 "ATSC-M/H"라 칭하기로 한다) 서비스 등과 같은 모바일 방송 서비스와, 인터넷 프로토콜 텔레비젼(internet protocol television: IPTV, 이하 "IPTV"라 칭하기로 한다) 서비스와 같은 디지털 비디오 방송 시스템과, 엠펙 미디어 트랜스포트(MPEG(moving picture experts group) media transport: MMT, 이하 "MMT"라 칭하기로 한다) 시스템과, 진화된 패킷 시스템(evolved packet system: EPS, 이하 "EPS"라 칭하기로 한다)과, 롱-텀 에볼루션(long-term evolution: LTE, 이하 "LTE"라 칭하기로 한다) 이동 통신 시스템과, 롱-텀 에볼루션-어드밴스드(long-term evolution-advanced: LTE-A, 이하 "LTE-A"라 칭하기로 한다) 이동 통신 시스템과, 고속 하향 링크 패킷 접속(high speed downlink packet access: HSDPA, 이하 "HSDPA"라 칭하기로 한다) 이동 통신 시스템과, 고속 상향 링크 패킷 접속(high speed uplink packet access: HSUPA, 이하 "HSUPA"라 칭하기로 한다) 이동 통신 시스템과, 3세대 프로젝트 파트너쉽 2(3rd generation partnership project 2: 3GPP2, 이하 "3GPP2"라 칭하기로 한다)의 고속 레이트 패킷 데이터(high rate packet data: HRPD, 이하 "HRPD"라 칭하기로 한다) 이동 통신 시스템과, 3GPP2의 광대역 부호 분할 다중 접속(wideband code division multiple access: WCDMA, 이하 "WCDMA"라 칭하기로 한다) 이동 통신 시스템과, 3GPP2의 부호 분할 다중 접속(code division multiple access: CDMA, 이하 "CDMA"라 칭하기로 한다) 이동 통신 시스템과, 국제 전기 전자 기술자 협회(institute of electrical and electronics engineers: IEEE, 이하 "IEEE"라 칭하기로 한다) 802.16m 통신 시스템 등과 같은 통신 시스템과, 모바일 인터넷 프로토콜(mobile internet protocol: Mobile IP, 이하 "Mobile IP"라 칭하기로 한다) 시스템 등과 같은 다양한 통신 시스템들에 적용 가능함은 물론이다.
또한, 본 개시의 일 실시예에서 제안하는 장치 및 방법은 MMT 방식을 기반으로 하는 진화된 텔레비젼 시스템 협회(advanced television systems committee: ATSC, 이하 "ATSC"라 칭하기로 한다) 시스템에도 적용 가능하다.
이하, 설명의 편의상, 본 개시의 다양한 실시예들에서, 멀티미디어 시스템은 MMT 방식을 기반으로 하는 멀티미디어 시스템이라고 가정하기로 한다.
먼저, 본 개시의 다양한 실시예들에서 사용되는 용어들에 대해서 설명하면 다음과 같다.
첫 번째로, 멀티미디어 데이터에 대해서 설명하기로 한다.
상기 멀티미디어 데이터는 하나 이상의 미디어 구성 요소(media component)를 포함할 수 있다. 미디어 구성 요소는 일 예로 비디오(video), 오디오(audio), 자막(subtitle) 등이 될 수 있다. 여기서, 자막은 일 예로 듣는데 어려움이 있는 사용자를 위해 오디오 데이터가 포함하고 있는 내용을 문자(text) 데이터로 변환한 캡션(caption)과 해당 컨텐트가 표현하고 있는 내용, 일 예로 영화의 등장 인물들 간의 대화 등과 같은 내용을 상기 해당 컨텐트가 표현하는 언어(language)와 동일한 언어 또는 다른 언어의 텍스트 형태로 표현한 자막(subtitle) 등을 포함할 수 있다. 예를 들어, 영어로 제작된 영화에 대해서 영어 자막, 한글 자막, 일본어 자막, 영어 캡션 등과 같은 다양한 타입들의 자막 데이터가 생성될 수 있다.
두 번째로, 데이터 스트리밍(data streaming)에 대해서 설명하기로 한다.
멀티미디어 데이터는 일 예로 이동 통신 네트워크 등과 같은 네트워크를 통해 송신 장치에서 수신 장치로 전송됨과 동시에 수신 장치에서 일련의 처리 과정을 거쳐 재생될 수 있으며, 이는 멀티미디어 스트리밍에 해당한다. 상기 멀티미디어 데이터는 전송에 사용되는 트랜스포트 프로토콜(transport protocol)과 트랜스포트 포맷(transport format)에 규정된 주어진 단위(unit)로 프래그멘트(fragment)되고, 상기 프래그멘트된 단위들이 전송된다. 하나의 멀티미디어 데이터를 전송할 때, 트랜스포트 프로토콜과 트랜스포트 포맷에 규정된 내용에 따라 멀티미디어 데이터가 포함하는 미디어 구성 요소와 미디어 구성 요소들간의 관계 등을 설명하는 메타데이터(meta data)가 함께 전송될 수 있다. 따라서, 수신 장치에서는 메타데이터를 기반으로 멀티미디어 데이터 전체를 수신하기 전이라도, 전송 완료된 멀티미디어 데이터의 일부를 재생할 수 있다.
일 예로, 멀티미디어 데이터에 한 개 이상의 언어들, 일 예로 다수 개의 언어들로 제작된 자막 데이터가 포함된 경우, 동일한 내용이 표현될 지라도 해당 언어의 언어적 특성에 따라 자막 데이터의 길이가 달라질 수 있다. 이 경우 해당 부분, 즉 자막 데이터가 재생되는 시간 또한 달라질 수 있다. 예를 들어, 어떠한 장면에 대해서 자막 언어가 한글일 경우에는 자막 데이터의 길이가 30글자, 상기 자막 언어가 영어일 경우에는 자막 데이터의 길이가 20 글자가 되고, 따라서 상기 자막 언어에 따라 자막 데이터의 길이가 다를 수 있으며, 상기 자막 데이터의 재생 시작 시간과 재생 종료 시간(end time), 재생 기간(duration) 역시 달라질 수 있다. 여기서, 상기 재생 시작 시간은 "presentation begin time" 혹은 "presentation start time"이라고 표현될 수 있다.
따라서, 한 개 이상의 언어, 일 예로 다수 개의 언어들로 제작된 자막 데이터가 포함된 멀티미디어 데이터가 재생되고 있던 중에, 특정한 이벤트(event), 일 예로 단말기의 사용자의 선택 혹은 기타 다른 이유들과 같은 특정한 이벤트가 발생함에 따라 제1 언어에서 제2 언어로 자막 데이터에 사용되는 언어, 즉 자막 언어가 변경되게 되면 자막 데이터의 길이가 달라짐으로 인해서 자막 데이터가 정상적으로 재생되지 않는 경우가 발생할 수 있다. 이하, 설명의 편의상 제1 언어가 사용되는 자막을 "제1 자막"이라 칭하기로 하고, 제2 언어가 사용되는 자막을 "제2 자막"이라 칭하기로 한다.
임의의 장면, 일 예로 제1 장면에 대해서 제1 자막이 재생되고 있던 도중 제2 자막으로 변경되는 상황에서, 상기 제1 장면에 대한 제2 자막의 재생이 제1 자막의 재생보다 먼저 종료된다면, 단말기의 사용자는 상기 제1 장면에 대해서 제1 자막, 제2 자막 중 어느 하나의 자막도 정상적으로 보지 못한 채로 상기 제1 장면 다음의 제2 장면에 대한 제2 자막이 재생될 때까지 기다려야 하는 경우가 발생할 수 있다.
이는 다수 개의 언어들로 생성되는 자막 데이터를 포함하는 멀티미디어 데이터 스트리밍 서비스에서 사용자 경험을 저하시키는 요인이 될 수 있다.
따라서, 본 개시의 일 실시 예에서는 멀티미디어 시스템에서 한 개 이상의 언어, 일 예로 다수 개의 언어들로 생성된 자막 데이터를 포함하는 멀티미디어 스트리밍 서비스를 제공할 경우, 자막 데이터를 생성하는데 사용되는 언어, 즉 자막 언어가 변경될 경우 자막 길이가 변경됨으로 인해 발생하는 사용자 경험 저하를 감소시키는 장치 및 방법을 제안한다.
먼저, 본 개시의 일 실시 예에서 사용되는 용어들에 대해서 설명하면 다음과 같다.
첫 번째로, 도 1을 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 데이터 모델(MMT data model)에 대해서 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 데이터 모델을 개략적으로 도시한 도면이다.
도 1을 참조하면, MMT 시스템에서 하나의 논리적인 미디어 데이터의 집합을 패키지(package)라고 칭한다. MMT 패키지는 미디어 데이터의 집합에 해당하는 하나 또는 그 이상의 에셋(asset, 이하 "asset"이라 칭하기로 한다), asset들 간의 시간적 및 공간적 관계를 설명하는 재생 정보(presentation information), asset들을 전송할 때 필요한 서비스 품질(quality of service: QoS, 이하 "QoS"라 칭하기로 한다) 또는 전달 관련 정보를 포함하는 asset 전달 특성(asset delivery characteristics)을 포함한다.
또한, asset은 하나의 멀티미디어 재생이 포함하는 미디어 데이터들의 집합이며, 하나의 asset은 동일한 asset 식별자(identifier: ID, 이하 "ID"라 칭하기로 한다)를 갖는 하나 혹은 그 이상의 미디어 프로세싱 유닛(media processing unit: MPU, 이하 "MPU"라 칭하기로 한다)들을 포함한다. 하나의 asset에 포함되는 MPU들 각각은 겹치지 않는 asset의 프래그먼트(fragment)들을 포함하고 있다. 즉, 연속하는 두 개의 서로 다른 MPU들은 동일한 미디어 샘플(media sample)을 포함하지 않는다.
또한, MPU는 MMT 수신 장치의 재생 엔진(presentation engine)에서 독립적으로 소비(be consumed)될 수 있는 미디어 데이터의 단위를 나타낼 수 있다.
하나의 MMT 장치에서 하나의 MPU를 처리(processing)하는 과정은 미디어 데이터를 MPU 단위로 인캡슐레이션(encapsulation), 디캡슐레이션(de-capsulation)하는 과정과 패킷화(packetization, 이하 "packetization"라 칭하기로 한다)/역패킷화(de-packetization, 이하 "de-packetization"라 칭하기로 한다)하는 과정을 포함한다.
또한, 하나의 MPU는 MPU 프래그먼트(fragment, 이하 "fragment"라 칭하기로 한다) 단위로 프래그멘테이션될 수 있으며, 따라서 상기 하나의 MPU는 하나 혹은 그 이상의 MPU fragment들로 프래그멘트될 수 있다. 여기서, MPU fragment는 일 예로 미디어 프래그먼트 유닛(media fragment unit: MFU, 이하 "MFU"라 칭하기로 한다)가 될 수 있다.
또한, 하나의 MPU는 packetization을 위해 데이터 유닛(data unit) 단위로 프래그멘테이션 될 수 있다. 따라서, 상기 하나의 MPU는 하나 혹은 그 이상의 데이터 유닛들로 프래그멘트될 수 있다.
하나의 MPU는 MPU가 포함하고 있는 데이터가 속하는 하나의 asset ID와 하나의 MPU 시퀀스 번호(MPU sequence number, 이하 "MPU sequence number"라 칭하기로 한다)로 특정될 수 있다. 예를 들어 하나의 asset에 포함되는 서로 다른 두 개의 MPU들은 동일한 asset ID를 가지며, 상기 서로 다른 2개의 MPU들의 MPU sequence number들은 서로 다르다.
또한, MPU가 포함하는 미디어 데이터는 시간과 관계되는 타임드 미디어 데이터(timed media data, 이하 "timed media data"라 칭하기로 한다)와 시간과 관계없는 논-타임드 미디어 데이터(non timed media data, 이하 "non timed media data"라 칭하기로 한다)를 포함할 수 있다. 미디어 데이터가 timed media data를 포함할 경우, 하나의 패키지 안에서 서로 다른 에셋들간의 시간 축 상에서의 관계를 설명하는 재생 정보(presentation information)가 함께 제공되어야 한다. 모든 MPU들에 대해서 재생 시간(presentation time) 정보가 재생 정보의 일부로서 제공되며, 이를 도 2를 참조하여 설명하면 다음과 같다.
도 2는 본 개시의 일 실시 예에 따른 MMT 시스템에서 재생 시간 라인(timeline)과 MPU들의 매핑의 일 예를 개략적으로 도시하고 있는 도면이다.
도 2를 참조하면, 각 asset과 MPU들간의 매핑 관계가 도시되어 있다. 일 예로, asset #1에는 MPU#1과, MPU#2와, MPU#3이 매핑되고, asset #2에는 MPU#1과, MPU#2와, MPU#3이 매핑되고, asset #3에는 MPU#1이 매핑됨을 알 수 있다.
두 번째로, 본 개시의 일 실시 예에 따른 MMT 시스템의 ISO Base Media File Format 기반 MPU에 대해서 설명하기로 한다.
먼저, ISO Base Media File Format (ISO BMFF)은 ISO/IEC 14496-12 표준을 나타낸다. 하나의 MPU는 ISOBMFF 파일과 호환되어야 한다. MPU의 MPU 시퀀스 번호와 asset ID는 'mmpu' 박스에서 제공되며, 상기 MPU 시퀀스 번호와 asset ID는 파일 안에 인캡슐레이트된 MPU들 사이에서 해당 MPU를 유일한 MPU로 특정 지을 수 있는 엘리먼트(element)들이 된다.
또한 timed media인 경우 하나의 'sidx' 박스가 존재할 수 있으며, 이는 MPU를 이루는 movie fragment들의 인덱스가 된다. 'moov' 박스는 미디어 데이터를 디코딩하고 재생하기 위한 모든 코덱 설정 정보를 보관하고 있어야 한다.
또한, timed media는 ISOBMFF의 트랙(track, 이하 "track"이라 칭하기로 한다)으로 저장된다. 여기서, 상기 timed media data에 대해서는 하나의 미디어 track이 허용된다. 또한, non-timed media는 하나의 ISOBMFF의 메타데이터의 일부로 저장된다.
그러면 여기서 도 3을 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 인캡슐레이션(encapsulation)의 일 예에 대해서 설명하기로 한다.
도 3은 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 인캡슐레이션의 일 예를 개략적으로 도시한 도면이다.
도 3을 참조하면, timed media 및 non-timed media가 기재되어 있다. MPU 패킷 전송을 위해서, 하나의 MMT hint track이 인캡슐레이트된 MPU를 MMT 프로토콜(MMT Protocol: MMTP, 이하 'MMTP'라 칭하기로 한다) 페이로드(payload)와 MMTP 패킷(packet)들로 변환하는데 필요한 정보를 제공한다.
세 번째로, 본 개시의 일 실시 예에 따른 MMT 시스템에서 멀티미디어 데이터 구성에 대해서 설명하기로 한다.
먼저, 하나의 멀티미디어 컨텐트를 단말기에게 제공함에 있어서, 멀티미디어 컨텐트는 비디오, 오디오, 자막 데이터를 포함할 수 있다. 특히, 자막의 경우, 다양한 언어들을 기반으로 복수 개의 자막 데이터들로 제공될 수 있다. 예를 들어 하나의 멀티미디어에 포함되는 미디어 구성요소는 하나의 비디오 데이터, 하나의 오디오 데이터, 두 개의 자막 데이터를 포함할 수 있으며, 상기 두 개의 자막 데이터는 영어 자막 데이터, 한글 자막 데이터를 포함할 수 있다.
각각의 미디어 구성 요소들은 ISO Base Media File Format (ISO/IEC 14496-12)에서 정의하는 track 형태로 저장될 수 있으며, 이 track은 MMT 시스템에서는 각각 asset으로 정의될 수 있다.
따라서, 상기에서 설명한 바와 같은 비디오 데이터, 오디오 데이터, 영어 자막 데이터, 한글 자막 데이터를 포함하는 멀티미디어 데이터는 MMT 시스템에서는 각각 비디오 asset, 오디오 asset, 영어 자막 asset, 한글 자막 asset으로 생성될 수 있으며, 각각의 asset은 한 개 이상의 MPU들로 프래그먼테트 될 수 있다.
자막 asset의 경우, 한 장면에서 표현되는 자막 데이터들의 집합을 자막 문단(이하 설명의 편의상 "문단" 또는 "paragraph"라고 칭하기로 한다)이라고 가정할 경우, 하나의 문단에 해당하는 데이터들은 하나의 MPU에 포함될 수 있다.
네 번째로, 본 개시의 일 실시 예에 따른 MMT 시스템에서 시그널링 정보(signaling information)에 대해서 설명하기로 한다.
MMT 시스템에서는 송신 장치와 수신 장치 간에 MMT 패키지 전달과 MMT 패키지 소비에 필요한 시그널링 정보를 송신 및 수신할 수 있다.
상기 MMT 시그널링 정보는 MMT 시그널링 메시지 형태로 전송되며, MMT 시그널링 메시지들의 공통적인 포맷은 하기 표 1과 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000001
상기 표 1은 MMT 시그널링 메시지들의 일반적인 포맷의 신택스(syntax)를 나타내며, 상기 표 1에 포함되어 있는 파라미터들의 의미(semantics)는 하기 표 2와 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000002
상기 표 2에서 Table 61은 ISO/IEC 23008-1:2014(E) 1st Edition 에서의 Table 34를 나타낸다.
상기 표 2에서, message_id 필드는 상기 시그널링 메시지의 식별자를 나타낸다. 유효한 메시지 식별자 값들은 ISO/IEC 23008-1:2014(E) 1st Edition 에서의 Table 34에 리스트되어 있으며, 상기 message_id 필드의 필드값들은 다음과 같은 의미를 가진다.
상기 message_id 필드의 필드 값이 일 예로 0x0000일 경우 패키지 억세스(package access: PA, 이하 "PA"라 칭하기로 한다) 메시지를 나타내며, 상기 message_id 필드의 필드 값이 일 예로 0x0001 내지 0x000F 중 어느 한 값 일 경우, 미디어 재생 정보(media presentation information: MPI, 이하 "MPI"라 칭하기로 한다) 메시지를 나타내며, 패키지에 대해서는 16개의 인접한 값들이 MPI 메시지들에 할당되며, 상기 (message_id 필드의 필드 값) % 16이 15와 동일할 경우, 상기 MPI 메시지는 완전한(complete) 재생 정보(presentation information: PI, 이하 "PI"라 칭하기로 한다)를 전달하며, 상기 (message_id 필드의 필드 값) % 16이 N과 동일할 경우, 상기 MPI 메시지는 서브셋(subset-N) MPI를 전달한다. 여기서, N은 0 내지 14 중 어느 하나의 값을 나타낸다.
또한, 상기 message_id 필드의 필드 값이 일 예로 0x0010 내지 0x001F 중 어느 한 값 일 경우, MMT 패키지 테이블(MMT Package Table: MPT) 메시지를 나타내며, 패키지에 대해서는 16개의 인접한 값들이 MPT 메시지들에 할당되며, 상기 (message_id 필드의 필드 값) % 16이 15와 동일할 경우, 상기 MPT 메시지는 완전한 MPT를 전달하며, 상기 (message_id 필드의 필드 값) % 16이 N과 동일할 경우, 상기 MPT 메시지는 서브셋(subset-N) MPT를 전달한다. 여기서, N은 0 내지 14 중 어느 하나의 값을 나타낸다.
또한, 상기 message_id 필드의 필드 값이 일 예로 0x0200일 경우, 클럭 관계 정보(clock relation information: CRI, 이하 "CRI"라 칭하기로 한다) 메시지들을 나타내며, 상기 message_id 필드의 필드 값이 일 예로 0x0201일 경우, 디바이스 능력 정보(device capability information: DCI, 이하 "DCI"라 칭하기로 한다) 메시지들을 나타내며, 상기 message_id 필드의 필드 값이 일 예로 0x0202일 경우, 어플리케이션 계층 순방향 에러 정정(application layer forward error correction: AL-FEC, 이하 "AL-FEC"라 칭하기로 한다) 메시지들을 나타내며, 상기 message_id 필드의 필드 값이 일 예로 0x0203일 경우, 가상 수신기 버퍼 모델(hypothetical receiver buffer model: HRBM, 이하 "HRBM"라 칭하기로 한다) 메시지들을 나타내며, 상기 message_id 필드의 필드 값이 일 예로 0x0204 내지 0x7FFF 중 어느 한 값일 경우, ISO(the International Organization for Standardization) 용도를 위해 예약된 것임을 나타내며, 상기 message_id 필드의 필드 값이 일 예로 0x8000 내지 0xFFFF 중 어느 한 값일 경우, 프라이빗(private) 용도를 위해 예약된 것임을 나타낸다.
상기 표 2에서 version 필드는 상기 시그널링 메시지의 버전을 나타내며, MMT 송신 엔터티와 MMT 수신 엔터티 둘 다 수신된 메시지가 새로운 버전을 가지는지 여부에 대해서 검증할 수 있다.
상기 표 2에서 length 필드는 상기 시그널링 메시지의 길이를 나타내며, 상기 PA 메시지 및 MPI 메시지를 제외한 나머지 시그널링 메시지들의 길이는 일 예로, 2바이트 길이가 될 수 있다. 상기 PA 메시지 및 MPI 메시지의 길이는 4바이트 길이가 될 수 있으며, 이는 MPI 테이블이 그 길이가 2바이트 길이의 길이 필드에 의해서는 표현될 수 없는 경우가 가끔(occasionally) 발생되기 때문이다. 여기서, PA 메시지는 적어도 하나의 MPI 테이블을 포함함에 유의하여야만 할 것이다.
상기 표 2에서 extension 필드는 확장을 필요로 하는 시그널링 메시지들에 대한 확장 정보를 포함한다. 상기 extension 필드의 컨텐트 및 길이는 해당 시그널링 메시지들에 대해 특정화될 수 있다.
상기 표 2에서 message_payload 필드는 상기 시그널링 메시지의 페이로드를 포함한다. 상기 message_payload 필드의 포맷은 상기 message_id 필드의 값에 의해 식별될 수 있다. 다섯 번째로, 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 패키지(MMT package: MP, 이하 "MP"라 칭하기로 한다) 테이블에 대해서 설명하기로 한다.
MMT 패키지를 전송하고 소비하는데 필요한 정보들은 역할별로 테이블 형태로 저장되고, 필요한 테이블들이 MMT 시그널링 메시지를 통해 MMT 송신 장치에서 수신 장치로 전송될 수 있다.
하나의 MMT 패키지가 포함하는 모든 asset들의 리스트는 MP 테이블에 저장되어 패키지 억세스(package access: PA, 이하 "PA"라 칭하기로 한다) 메시지를 통해 전송 될 수 있다. 상기 MP 테이블은 MMT 패키지가 포함하는 모든 asset들의 시간 관련 정보, 데이터의 위치, 그리고 asset을 소비하는데 필요한 관련 설명 인자(descriptor, 이하 "descriptor"라 칭하기로 한다)들을 포함한다.
여기서, 상기 MP 테이블은 하기 표 3과 같이 나타낼 수 있다. 상기 MP 테이블은 완전한 MP 테이블(complete MP table, 이하 "complete MP 테이블"라 칭하기로 한다) 혹은 서브셋 MP 테이블(subset MP table)로 구현될 수 있다. 상기 complete MP 테이블은 리스트의 모든 asset들을 포함하는 패키지에 관련된 정보를 포함하며, 상기 서브셋 MP 테이블은 상기 complete MP 테이블에 저장되어 있는 정보의 일부를 포함한다. 또한, MP 테이블 서브셋-0는 패키지 소비를 위해 필요로 되는 최소 정보를 포함한다.
Figure PCTKR2018003667-appb-T000003
상기 표 3은 MP 테이블의 신택스를 나타내며, 상기 표 3에 포함되어 있는 파라미터들의 의미(semantics)는 하기 표 4와 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000004
상기 표 4에서, table_id 필드는 상기 MP 테이블의 식별자를 나타낸다. 완전한 MP 테이블 및 각 서브셋 MP 테이블들은 다른 테이블 식별자들을 사용할 것이다. MP 테이블의 서브셋 번호는 상기 table_id 필드에 의해 암묵적으로(implicitly) 표현된다. 상기 table_id 값들은 연속적으로 할당되기 때문에, 상기 MP 테이블 서브셋 번호는 상기 table_id 필드로부터 추론될 수 있으며, 즉 상기 MP 테이블 서브셋 번호는 상기 table_id 필드의 필드값에서 기저 MP 테이블의 table_id 필드의 필드 값을 뺀 값과 동ㅇ리하다. 상기 MP 테이블 서브셋 번호는 해당 MP 테이블의 서브셋 번호를 제공하며, 번호 '0'은 기저 MP 테이블을 나타내며, 번호들 '1' 내지 '14'는 MP 테이블의 서브셋을 나타낸다. 번호 '15'는 완전한 MP 테이블을 나타내는 특별한 의미를 가진다.
상기 표 4에서, version 필드는 상기 MP 테이블의 버전을 포함한다. 상기 version 필드가 수신되지 마자 더 새로운 버전이 이전 버전을 치환(override)한다. 상기 table_id 필드가 완전한 MP 테이블을 나타낼 경우, 서브셋-0 MP 테이블이 상기 version 필드와 동일한 버전 값을 가질 경우 (MP_table_mode 필드의 필드 값이 '1'일 때), 혹은 더 낮은-서브셋 번호를 가지는 모든 MP 테이블 서브셋들이 상기 version 필드와 동일한 버전 값을 가질 경우(MP_table_mode 필드의 필드 값이 '0'일 때), 혹은 상기 MP 테이블 서브셋들의 프로세싱이 독립적일 경우(MP_table_mode 필드의 필드 값이 '2'일 때). 서브셋-0 MP 테이블이 더 새로운 버전을 가질 경우, MMT 수신 엔터티 내에 이전에 저장되어 있는, 최대 14까지 더 높은 서브셋 번호를 가지는 모든 MP 테이블 서브셋들은 MP_table_mode가 독립적인 모드일 경우를 제외하고는 이전(outdated)으로 취급된다. 상기 MP 테이블 서브셋 번호가 0이 아니고, MP_table_mode가 '1'일 때, MMT 수신 엔터티에 저장되어 있는 서브셋-0 MP 테이블의 버전과는 다른 버전을 가지는 MP 테이블 서브셋의 컨텐츠는 무시될 것이다. 상기 MP 테이블 서브셋 번호가 0이 아니고, MP_table_mode가 '0'일 때, MMT 수신 엔터티에 저장되어 있는 더 낮은-서브셋 MP 테이블 서브셋들의 버전과는 다른 버전을 가지는 MP 테이블 서브셋의 컨텐츠는 무시될 것이다. 상기 version 필드의 필드 값은 버전 변경시마다 모듈로(modulo)-256 증가될 것이다.
상기 표 4에서, length 필드는 상기 MP 테이블의 바이트 단위의 길이를 나타내며, 다음 필드의 시작부터 상기 MP 테이블의 마지막 바이트까지를 카트한다. 값 '0'은 상기 length 필드에 대해서는 유효하지 않다.
상기 표 4에서, MP_table_mode 필드는 MP 테이블 서브셋 메카니즘이 사용될 때 MP 테이블 서브셋 프로세싱의 모드를 나타낸다. "sequential_order_processing_mode"에서, 그리고 해당 MP 테이블의 논-제로(non-zero) 서브셋 번호를 사용하여, MMT 수신 엔터티는 상기 MMT 수신 엔터티가 해당 MP 테이블 서브셋을 프로세싱하기 전에 상기 해당 MP 테이블 서브셋과 동일한 버전을 가지는 더 낮은 서브셋 번호를 가지는 모든 MP 테이블 서브셋들을 수신할 것이다. 일 예로, MMT 수신 엔터티는 상기 MMT 수신 엔터티가 동일한 버전을 가지는 서브셋-2 MP 테이블을 수신하지 않았을 경우 서브셋-3 MP 테이블을 프로세싱할 수 없다. "order_irrelevant_processing_mode"에서, 그리고, 논-제로로 설정되어 있는 해당 MP 테이블 서브셋의 서브셋 번호를 사용하여, MMT 수신 엔터티는 상기 MMT 수신 엔터티에 저장되어 있는 서브셋-0 MP 테이블이 해당 MP 테이블 서브셋과 동일한 버전을 가지는 한 상기 MP 테이블 서브셋을 수신한 직후 MP 테이블 서브셋을 프로세싱해야만 한다. "independent_processing_mode"에서, 각 MP 테이블 서브셋의 버전은 개별적으로 관리된다. 다수의 MMT 송신 엔터티들 중 하나에 의해 각 MP 테이블 서브셋이 전달되는, 프래그먼트된 MP 테이블이 상기 "independent_processing_mode"에서 채택된다. MP 테이블의 서브셋들의 독립 모드는 멀티-채널 인스턴스 생성(multi-channel instantiation)을 위해 사용될 수 있으며, 즉, 서브셋-0 MP 테이블로부터 서브셋-N MP 테이블까지의 MP 테이블 서브셋들은 채널-0(Ch-0) 부터 채널-N(Ch-N)까지의 논리 채널들로 할당된다. MPI 메시지가 MPI 테이블 서브셋 및 연관되는 MP 테이블 서브셋을 전달할 때, 상기 MPI 테이블에서 PI_mode 및 상기 MP 테이블에서 MP_table_mode는 동일한 값을 가질 것이다.
또한, 상기 표 3의 MP_table_mode는 그 값에 따라 하기 표 5와 같은 의미를 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000005
또한, 상기 표 3에 포함되어 있는 각 파라미터는 하기 표 6과 같은 의미를 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000006
또한, 상기 표 6에서의 섹션, 일 예로 9.5.1과, 9.6.1, 및 9.6.2는 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션을 나타낸다.
상기 표 6에서, MMT_package_id 필드는 해당 패키지의 고유한 식별자를 나타내며, MMT_package_id_length 필드는 종료 널 캐릭터(terminating null character, 이하 "terminating null character"라 칭하기로 한다)를 제외한 MMT_package_id 스트링의 바이트 단위 길이를 나타내며, MMT_package_id_byte 필드는 상기 MMT_package_id에서의 바이트를 나타내며, 상기 MMT_package_id_byte 필드가 스트링일 경우, 상기 terminating null character는 상기 스트링에 포함되지 않는다. 상기 표 6에서, asset_id는 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션 9.6.2에 정의되어 있는 바와 같은 asset identifier를 나타내며, 이에 대한 구체적인 설명은 생략하기로 한다. 상기 표 6에서, asset_type 필드는 상기 asset의 타입을 제공하며, 상기 asset_type 필드는 MP4REG (http://www.mp4ra.org)에 등록된 4CC(four character code) 타입을 나타낸다.
상기 표 6에서, MP_table_descriptors 필드는 MP 테이블에 대한 디스크립터들을 제공하며, MP_table_descriptors_length 필드는 descriptor syntax loop의 길이를 포함한다. 상기 길이는 다음 필드로부터 상기 descriptor syntax loop의 마지막까지 카운트된다. 몇몇 디스크립터들은 해당 syntax loop에 삽입될 수 있다. 일 예로, additional_package_information_URL descriptor가 여기에 포함될 수 있으며, 해당 패키지에 대한 패키지 정보 웹 페이지의 URL을 제공한다.
상기 표 6에서, MP_table_descriptors_byte 필드는 상기 descriptors loop에서의 바이트를 나타내며, number_of_assets 필드는 해당 MP 테이블에 의해 정보가 제공되는 asset들의 개수를 제공하며, packet_id 필드는 상기 MMTP 패킷 헤더에서 MMTP 세션의 식별자를 제공하며, asset_clock_relation_flag 필드는 asset이 네트워크 시간 프로토콜(network time protocol: NTP, 이하 "NTP"라 칭하기로 한다) 클럭 혹은 다른 클럭 시스템을 클럭 기준으로 사용하는지 여부를 나타내며, 상기 asset_clock_relation_flag 필드의 필드 값이 '1'일 경우, asset_clock_relation_id field가 포함된다. 상기 asset_clock_relation_flag 필드의 필드 값이 '0'일 경우, 상기 NTP 클럭이 상기 asset을 위해 사용된다.
상기 표 6에서, asset_clock_relation_id 필드는 상기 asset의 클럭 관계 식별자를 제공하며, 상기 asset_clock_relation_id 필드는 상기 asset에 대해 a CRI_descriptor()에 의해 전달되는 클럭 관계를 참조하기 위해 사용된다. 상기 asset_clock_relation_id 필드의 필드 값은 상기 CRI descriptors에 의해 제공되는 clock_relation_id 값들 중 하나이다. 여기서, 상기 CRI descriptor에 대해서는 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션 9.5.1에 설명되어 있으며, 여기서는 그 상세한 설명을 생략하기로 한다.
상기 표 6에서, asset_timescale_flag 필드는 "asset_timescale" 정보가 제공되는지 여부를 나타낸다. 상기 asset_timescale_flag 필드의 필드 값이 '1'로 설정되어 있을 경우, asset_timescale 정보가 포함되며, 상기 asset_timescale_flag 필드의 필드 값이 '0'으로 설정되어 있을 경우, asset_timescale 정보는 90,000 (90kHz)이다.
상기 표 6에서, location_count 필드는 asset에 대한 위치 정보의 개수를 제공한다. asset이 1개의 위치를 통해서 전달될 때 상기 location_count 필드의 필드 값은 '1'로 설정된다. asset에 포함되어 있는 MPU들이 멀티-채널들을 통해 전달되는 벌크 전달(bulk delivery)이 이루어질 때, 상기 location_count 필드의 필드 값은 '1'로 설정되지 않는다. 다수의 위치들을 통해 1개의 asset이 전달될 때, MMT 수신 엔터티는 모든 지시된 위치들로부터 상기 asset의 모든 MPU들을 수신할 것이다.
상기 표 6에서, asset_timescale 필드는 1초에서 유닛들의 개수로 표현된 상기 asset에 대해 사용되는 모든 타임 스탬프들에 대한 타임 유닛의 정보를 제공한다.
상기 표 6에서, MMT_general_location_info_for_asset_location 필드는 asset의 위치 정보를 제공한다. 여기서, ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션 9.6.1에 설명되어 있는, asset에 대한 일반적인 위치 기준 정보가 사용된다. '0x00' 과 '0x06' 사이의 location_type 필드의 값이 asset 위치를 위해 사용될 것이다.
상기 표 6에서, asset_descriptors_length 필드는 다음 필드의 시작부터 Asset descriptors syntax loop의 종료까지 카운트되는 바이트들의 개수를 나타내며, asset_descriptors_byte 필드는 asset descriptors에서의 바이트를 나타내며, default_asset_flag 필드는 asset이 디폴트 assset (default asset)으로 마크되는지 여부를 나타내며, asset이 디폴트 asset으로 마크될 경우, MPU timestamp descriptor는 해당하는 타임드 asset을 위해 존재한다. 상기 default_asset_flag 필드의 필드 값이 '0'일 경우, 상기 asset은 디폴트 asset으로 마크된다.
또한, asset_id에 대해서 설명하면 다음과 같다.
먼저, asset_id 신택스 엘리먼트 그룹(syntax element group)은 asset ID를 제공하기 위해 사용되며, 'mmpu' 박스(box)가 존재할 경우, asset_id 신택스 엘리먼트 그룹의 값들은 상기 'mmpu' box의 asset ID와 동일할 것이다. 상기 'mmpu' box가 존재하지 않을 경우의 asset ID의 할당에 대해서는 그 설명을 생략하기로 한다.
여기서, asset_id의 신택스는 하기 표 7과 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000007
상기 표 7에 포함되어 있는 각 파라미터의 의미는 하기 표 8과 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000008
또한, 상기 표 8에서의 섹션, 일 예로 6.3.3은 ISO/IEC 23008-1:2014 1st Edition 표준의 섹션을 나타낸다.
상기 표 8에서, asset_id_scheme 필드는 ISO/IEC 23008-1:2014 1st Edition 표준의 섹션 6.3.3에 정의되어 있는 바와 같은 Asset ID 방식을 제공하며, asset_id_length 필드는 상기 asset_id 필드의 바이트 단위 길이를 나타내며, asset_id_byte 필드는 상기 asset_id에서 바이트를 나타낸다.
또한, 식별자 매핑(identifier mapping)에 대해서 설명하면 다음과 같다.
먼저, 식별자 매핑 신택스 그룹 엘리먼트는 컨텐트 식별자와 MMTP 패킷 서브-플로우의 매핑을 제공하며, MMTP 패킷 서브-플로우는 동일한 패킷 식별자 packet_id를 공유하는 MMTP 패킷의 패킷들의 서브셋이다. 상기 컨텐트 식별자는 다른 형태들, 일 예로 asset ID, URL, 혹은 패턴과 같은 다른 형태들로 제공될 수 있다.
여기서, 식별자 매핑 Identifier_mapping()의 신택스는 하기 표 9와 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000009
상기 표 9에 포함되어 있는 각 파라미터의 의미는 하기 표 10과 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000010
상기 표 10에서 "Table 6"은 하기의 표 11을 나타내며, identifier_type 필드는 packet_id 필드에 대한 매핑을 위해 사용되는 식별자의 타입을 제공한다. 유용한 식별자 타입들의 리스트는 하기 표 11에서 제공된다.
상기 표 10에서, 식별자 매핑을 위한 식별자 타입들은 하기 표 11과 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000011
또한, 상기 표 11에서의 섹션, 일 예로 9.6.2는 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션을 나타내며, 따라서 여기서는 그 상세한 설명을 생략하기로 한다. 또한, 상기 표 9가 포함하는 각 파라미터의 의미는 하기 표 12와 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000012
상기 표 12에서, URL은 URL들의 리스트이고, URL_count 필드의 필드 값은 상기 URL들의 리스트에서 제공되는 URL들의 개수를 나타낸다. 상기 표 12에서, URL_length 필드는 다음 URL의 바이트 단위 길이를 나타내고, URL_byte 필드는 UTF-8 캐릭터 스트링으로 포맷화된 URL의 바이트를 나타내고, regex_length 필드는 식별자가 URL들의 셋에 매치되는 정규 표현으로서 제공되고, 상기 regex_length 필드는 상기 RegEx 스트링의 길이를 나타낸다.
상기 표 12에서, regex_byte 필드는 UTF-8 스트링으로 제공되는 RegEx 스트링의 바이트를 나타내고, representation_id_length 필드에서, 식별자는 DASH Representation@id로서 제공되고, 상기 representation_id_length 필드의 필드 값은 DASH Representation@id 스트링의 길이를 나타낸다.
상기 표 12에서, representation_id_byte 필드는 상기 Representation@id string의 바이트를 나타내며, private_length 필드에서, 식별자는 프라이빗 데이터로 제공되고, 상기 private_length 필드는 상기 private identifier의 바이트 단위 길이를 제공하며, private_byte 필드는 상기 private identifier의 바이트를 나타낸다.
여섯 번째로, 본 개시의 일 실시 예에 따른 MMT 시스템의 MPU 타임 스탬프(timestamp, 이하 "timestamp"라 칭하기로 한다) descriptor에 대해서 설명하기로 한다.
각 asset별로 MPU마다 재생 시간 정보가 전송되며, 이는 asset별 특성을 설명하는 MP 테이블 내에 포함될 수 있다. MMT 시스템에서는 MPU timestamp descriptor에 각 MPU의 재생 시작 시간을 기술하고, 상기 MPU timestamp descriptor를 상기 MP 테이블에 포함시킴으로써, 각 asset의 MPU들 간에 재생 시간 축에서의 동기를 맞출 수 있다.
상기 MPU timestamp descriptor는 하기 표 13과 같이 나타낼 수 있다(This descriptor provides presentation time of the first AU of MPU in presentation order after application of any offset such as the one provided by 'elst' box. When presentation information presents this descriptor shall be ignored.)
Figure PCTKR2018003667-appb-T000013
여기서, 상기 표 13의 각 파라미터의 의미는 하기 표 14와 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000014
상기 표 14에서, descriptor_tag 필드는 디스크립터의 타입을 나타내는 태그 값을 나타내며, descriptor_length 필드는 상기 descriptor_length 필드의 다음 바이트로부터 상기 디스크립터의 마지막 바이트까지 카운트되는 바이트 단위의 길이를 나타낸다. 상기 표 14에서, mpu_sequence_number 필드는 다음 mpu_presentation_time에서 주어지는 시간에 재생되는 MPU의 시퀀스 번호를 나타내며, mpu_presentation_time 필드는 64 비트 NTP 타입 스탬프 포맷에 의한, 지정된 MPU에서 첫 번째 억세스 유닛(access unit: AU, 이하 "AU"라 칭하기로 한다)의 재생 시간을 나타낸다.
그러면 여기서 도 4를 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예에 대해서 설명하기로 한다.
도 4는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예를 개략적으로 도시한 도면이다.
도 4를 참조하면, MMT 송신 장치(100)는 자막 변경 지시부(101)와 MMT 데이터 송신부(102)를 포함한다.
상기 자막 변경 지시부(101)는 상기 MMT 송신 장치(100)와 통신하고 있는 MMT 수신 장치 또는 다른 디바이스로부터, 현재 전송하고 있는 제1 자막을 제2 자막으로 변경할 것을 요청받을 경우, 현재 전송되고 있는 MMT 패키지를 설명하는 시그널링 정보와 MMT 데이터를 수정하고, 자막 변경 설정(subtitle change configuration)에 필요한 정보를 상기 MMT 데이터 송신부(102)로 전달한다.
상기 제1 자막과 제2 자막이 서로 다른 asset들에 포함된 경우, MP 테이블에서 자막 asset의 asset ID를 변경하여야 하며, 상기 제2 자막이 포함되는 asset이 포함하는 각 MPU의 재생 시간 정보를 갖는 MPU timestamp descriptor가 전송되어야 한다.
상기 제1 자막에서 제2 자막으로 변경 시, 상기 제1 자막 데이터의 전송 종결부와 제2 자막 데이터의 전송 시작부를 결정하고, 결정된 시간에 맞게 관련 정보를 수정할 수 있도록 하는 방법은 하기에서 자막 변경 설정 동작을 통해 구체적으로 설명할 것이므로 여기서는 그 상세한 설명을 생략하기로 한다.
한편, 자막 변경을 위해 필요한 정보는 자막 변경 설명 인자(subtitle change descriptor)에 기록되고, 상기 자막 변경 설명 인자는 MMT 시그널링 메시지를 통해 전송되며, 이에 대해서는 하기에서 자막 변경 설명 인자에 관련된 설명 부분에서 구체적으로 설명할 것이므로 여기서는 그 상세한 설명을 생략하기로 한다.
또한, 상기 MMT 데이터 송신부(102)는 상기 자막 변경 지시부(101)로부터 전달받은 자막 변경 설정에 필요한 정보가 기록된 자막 변경 설명 인자와 수정된 시그널링 정보, MMT 데이터를 MMT 수신 장치로 전송한다.
한편, 도 4에는 상기 MMT 송신 장치(100)가 상기 자막 변경 지시부(101)와 MMT 데이터 송신부(102)와 같이 별도의 유닛들로 구현된 경우가 도시되어 있으나, 상기 자막 변경 지시부(101)와 MMT 데이터 송신부(102)는 1개의 유닛으로 통합될 수도 있음은 물론이며, 상기 자막 변경 지시부(101)와 MMT 데이터 송신부(102)는 적어도 1개의 프로세스로 구현될 수 있음은 물론이다.
도 4에서는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예에 대해서 설명하였으며, 다음으로 도 5를 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 수신 장치의 내부 구조의 일 예에 대해서 설명하기로 한다.
도 5는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예를 개략적으로 도시한 도면이다.
도 5를 참조하면, 먼저 MMT 수신 장치(200)는 MMT 데이터 수신부(201)와, 자막 변경 설정부(202) 및 미디어 데이터 출력부(203)를 포함한다.
상기 미디어 데이터 출력부(203)는 물리적으로 상기 MMT 수신 장치(200) 내부에 존재할 수도 있고, 상기 MMT 수신 장치(200) 외부에 존재할 수도 있다.
상기 MMT 데이터 수신부(201)는 MMT 송신 장치로부터 전송된 MMT 데이터를 수신한다. 상기 MMT 데이터는 MMT 패키지를 구성하는 미디어 데이터들과 시그널링 메시지, 관련된 데이터들 등을 포함한다.
상기 자막 변경 설정부(202)는 상기 MMT 송신 장치에서 전송된 자막 변경 설명 인자를 사용하여 제1 자막을 결정된 시간까지 재생하고, 제2 자막을 결정된 시간부터 재생할 수 있도록, 자막 데이터 재생에 필요한 정보를 생성하여 상기 미디어 데이터 출력부(203)로 전달한다. 여기서, 상기 자막 데이터 재생에 필요한 정보를 생성하는 방법은 하기에서 자막 변경 설정 동작에서 구체적으로 설명할 것이므로, 여기서는 그 상세한 설명을 생략하기로 한다.
상기 미디어 데이터 출력부(203)는 상기 자막 변경 설정부(202)로부터 전달받은 자막 데이터 재생에 필요한 정보와 미디어 데이터들을 조합하여 멀티미디어 컨텐트를 출력한다.
한편, 도 5에는 상기 MMT 수신 장치(200)가 MMT 데이터 수신부(201)와, 자막 변경 설정부(202) 및 미디어 데이터 출력부(203)와 같이 별도의 유닛들로 구현된 경우가 도시되어 있으나, 상기 MMT 데이터 수신부(201)와, 자막 변경 설정부(202) 및 미디어 데이터 출력부(203) 중 적어도 두 개는 1개의 유닛으로 통합될 수도 있음은 물론이다. 또한, 상기 MMT 데이터 수신부(201)와, 자막 변경 설정부(202) 및 미디어 데이터 출력부(203)는 적어도 1개의 프로세스로 구현될 수 있음은 물론이다.
도 5에서는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 일 예에 대해서 설명하였으며, 다음으로 도 6을 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 데이터를 변경하는 과정에 대해서 설명하기로 한다.
도 6은 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 데이터를 변경하는 과정을 개략적으로 도시한 도면이다.
도 6을 참조하면, MMT 미디어 데이터의 재생 시간을 기준으로 제1 자막에서 제2 자막으로 변경되는 과정이 도시되어 있다. 먼저, 도 6에서, 제1 자막은 일 예로 한글 자막(korean subtitle)이고 제2 자막은 영어 자막(english subtitle)이라고 가정하기로 한다. 여기서, 상기 한글 자막이 오리지널 자막(original subtitle)이 되고, 상기 영어 자막이 변경된 자막(changeed subtitle)이 되는 것이다. 상기 제1 자막과 제2 자막에서 각 paragraph는 MPU에 포함될 수 있고, 따라서 상기 MPU를 통해 전송되며, 하나의 MPU에는 한 개 혹은 그 이상의 paragraph들에 해당하는 데이터들이 저장될 수 있다.
또한, 도 6에 도시되어 있는 바와 같이 제1 자막의 Paragraph1을 재생하는 중간에, 일 예로 자막 변경 시간(subtitle changing time)에 제2 자막으로 변경되는데, 상기 자막 변경 시간에서 상기 제2 자막의 Paragraph1이 이미 재생이 끝난 경우, 단말기의 사용자는 Paragraph1과 Paragraph2 중 어느 하나도 완전히 시청하지 못하게 된 채로 제2 자막의 다음 Paragraph, 즉 Paragraph2가 재생될 때까지 기다려야만 한다.
이 경우, 상기 제2 자막의 Paragraph2의 시작 시간 전까지 상기 제1 자막의 Paragraph1 및/또는 제2 자막의 Paragraph1을 리플레이(replay)시켜 줌으로써 자막 데이터들이 제공하는 컨텍스트(context)를 상기 단말기의 사용자가 충분히 경험할 수 있도록 할 수 있다. 즉, 상기 제1 자막의 마지막 Paragraph와 제2 자막의 첫 번째 Paragraph 사이의 공백 시간 동안 이미 지나간 이전 자막 데이터를 리플레이함으로써 상기 자막 데이터들이 제공하는 컨텍스트를 상기 단말기의 사용자가 충분히 경험할 수 있도록 할 수 있다.
도 6에서는 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 데이터를 변경하는 과정에 대해서 설명하였으며, 다음으로 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 변경 설명 인자(subtitle change descriptor)에 대해서 설명하기로 한다.
먼저, 제1 자막과 제2 자막의 공백 시간, 즉 상기 제1 자막에서 제2 자막으로 변경됨에 따라 어떤 자막도 제공되지 않는 시간 동안 이전 자막 데이터를 리플레이하기 위해서는, (i) 자막 데이터가 리플레이될 시간(Duration_rest)과 (ii) 리플레이될 자막 데이터가 결정되어야 한다.
따라서, MMT 송신 장치는 MMT 수신 장치가 상기 자막 데이터가 리플레이될 시간 및 리플레이될 자막 데이터를 결정할 수 있도록 자막 변경 설명 인자를 송신하여야 한다.
상기 자막 변경 설명 인자는 (1) 제2 자막의 Paragraph1의 재생 시작 시간(MPUPT_new_passed), (2) 제2 자막의 Paragraph2의 재생 시작 시간(MPUPT_new_next), (3) 제1 자막의 Paragraph1의 재생 구간(duration_original_passed), (4) 제2 자막의 Paragraph1의 재생 구간(duration_new_passed)을 포함한다.
여기서, 상기 자막 변경 설명 인자는 하기 표 15 및 표 16과 같이 나타낼 수 있다. 하기 표 15 및 표 16은 일 예로 하나의 Paragraph가 하나의 MPU에 저장된 경우를 기준으로 설명되고 있음에 유의하여야만 할 것이다. 하지만, 상기에서 설명한 바와 같이 하나의 MPU에는 하나의 Paragraph가 포함될 수도 있고, 이와는 달리 다수 개의 Paragraph들이 포함될 수도 있음은 물론이다.
먼저, MMT 규격에서 한 개의 패키지는 한 개의 프로그램, 일 예로 뉴스 쇼, 축구 경기 등과 같은 한 개의 프로그램에 해당할 수 있으며, 상기 한 개의 패키지는 또한 Video/Audio외에 동시에 다수 개의 자막들, 일 예로 영어 자막, 한국어 자막 등을 포함할 수 있다. 이때, 각각의 자막은 MMT 규격에서 하나의 asset에 매핑될 수 있다. 각 자막은 재생 시작 시간과 재생 종료 시간 속성 정보를 가지게 되는데, 같은 컨텐츠에 대한 자막이라 하더라도, 해당하는 언어의 속성에 따라 그 길이는 달라질 수 있다. 또한, 특정 자막은 전송 중 혹은 렌더링(rendering) 중에도 다른 자막으로 변경이 가능하며, 상기 변경되는 시간이 변경된 다른 자막의 재생 시작 시간에 도달되지 않아 특정 구간 동안 화면에 아무 정보도 디스플레이되지 않을 수 있는데, 이때 변경 전의 자막, 즉 오리지날 자막을 대신 디스플레이함으로써 사용자 경험을 증대시킬 수 있다.
이는 관련된 정보를 서버가 Subtitle Change descriptor에 기술하여, 상기 Subtitle Change descriptor를 단말기에 보냄으로써 구현될 수 있다. 상기 Subtitle Change descriptor에는 각 자막 MPU들의 MPU 재생 시간과 구간에 대한 정보가 포함되며, 상기 단말기는 상기 각 자막에 대한 MPU들에 대한 MPU 재생 시간과 구간에 대한 정보를 근거로 다음 자막 재생 시작 시간 전까지의 빈 주기(space period)에 어떤 자막 asset을 어느 정도의 시간 동안 디스플레이할 지를 결정하게 된다.
Figure PCTKR2018003667-appb-T000015
Figure PCTKR2018003667-appb-T000016
상기 표 16은 본 개시의 일 실시 예에 의해, 단말기가 어떤 자막을 어느 정도의 시간만큼 디스플레이할지를 상기 단말기가 결정하도록 하기 위하여 서버, 즉 자막 서버가 상기 단말기에 보내는 정보, 즉 Subtitle Change Descriptor를 나타낸다. 여기서, 상기 표 16에 포함되어 있는 각 파라미터의 의미는 하기 표 17과 같이 나타낼 수 있다.
Figure PCTKR2018003667-appb-T000017
또한, 상기 표 17에서의 섹션, 일 예로 9.5.2는 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션을 나타낸다.
상기 표 17에서, descriptor_tag 필드는 디스크립터의 타입을 나타내는 tag value 값을 나타내며, descriptor_length 필드는 상기 descriptor_length 필드 이후의 다음 바이트부터 상기 디스크립터의 마지막 바이트까지 카운팅하는 바이트 단위의 길이를 나타내며, MPUPT_new_passed 필드는 변경된 자막 asset에 포함되어 있는 지난 MPU의 mpu_presentation_time을 나타내며, 상기 mpu_presentation_time은 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션 9.5.2에 정의되어 있는 바와 같다.
상기 표 17에서, MPUPT_new_next 필드는 변경된 자막 asset에서 다음 MPU의 mpu_presentation_time을 나타낸다. mpu_presentation_time은 ISO/IEC 23008-1:2014(E) 1st Edition 표준의 섹션 9.5.2에 정의되어 있는 바와 같다.
상기 표 17에서, duration_original_passed 필드는 오리지널 자막 asset에서 지난 MPU의 presentation time duration을 나타내며, 상기 duration_original_passed 필드는 밀리 초로 표현된다.
상기 표 17에서, duration_new_passed 필드는 변경된 자막 asset에서 지난 MPU의 presentation time duration를 나타내며, 상기 duration_new_passed 필드는 밀리 초로 표현된다.
한편, 자막 설명 인자는 Subtitle Change descriptor로 작성되어 MP 테이블 내에서 자막 asset의 asset descriptor 중의 하나로 포함될 수 있고, 상기 MP 테이블은 PA 메시지에 포함되며, MMT 패키지가 포함하는 asset들에 대한 정보가 바뀔 때마다 MMT 송신 장치에서 MMT 수신 장치로 전송된다.
또한, 상기 자막 설명 인자는 상기 PA 메시지가 아닌 별도의 MMT 시그널링 메시지로 독립적으로 MMT 송신 장치에서 MMT 수신 장치로 전송될 수 있다. 상기 자막 설명 인자를 포함하는 시그널링 메시지는 일 예로 자막 변경 메지시(이하, "Subtitle Change" 메시지라 칭하기로 한다)가 될 수 있으며, 상기 Subtitle Change 메시지의 포맷은 상기에서 설명한 바와 같은 MMT 시그널링 정보 포맷을 따를 수 있다.
다음으로 도 7을 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 변경 설정 방법에 대해서 설명하기로 한다.
도 7은 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 변경 설정 방법을 개략적으로 도시한 도면이다.
도 7을 참조하면, MMT 수신 장치는 MMT 송신 장치로부터 전송된 자막 변경 설명 인자를 사용하여, 자막 데이터의 메타데이터들을 변경하고, 적절한 자막 데이터를 미디어 데이터 출력부로 전달할 수 있다.
상기 자막 변경을 위한 설정은 다음과 같은 순서로 진행된다.
1. MMT 수신 장치는 서버가 송신한 자막 변경 설명 인자(Subtitle Change Descriptor)를 수신한다.
(1) 제2 자막의 Paragraph1의 재생 시작 시간 (MPUPT_new_passed)
(2) 제2 자막의 Paragraph2의 재생 시작 시간 (MPUPT_new_next)
(3) 제1 자막의 Paragraph1의 재생 구간(duration_original_passed)
(4) 제2 자막의 Paragraph1의 재생 구간 (duration_new_passed)
2. 상기 MMT 수신 장치는 (1), (2), (4)를 기반으로 상기 제2 자막의 Paragraph1과 상기 제2 자막의 Paragraph2 사이의 공백 시간을 계산한다.
3. 상기 MMT 수신 장치는 2에서 계산한 시간과 다음의 내용, 즉 (1), (2), (3), (4), (5)를 고려하여, 상기 제2자막의 Paragraph2의 재생이 시작되기 전까지 리플레이할 대상 Paragraph와 리플레이할 구간(Duration_rest)을 결정한다.
여기서, 상기 Duration_rest는 자막 변경을 시도한 시점부터 새로운 자막인 제2 자막의 Paragraph2가 재생되기 시작하는 시간(=MPUPT_new_next)까지의 시간 구간이 될 수 있다.
기존의 MMT 시스템에서는 상기 Duration_rest에서는 화면에 자막이 디스플레이되지 않는다. 하지만, 본 개시의 일 실시 예에서는 상기 Duration_rest 동안 사용자 경험을 향상시키기 위해 자막을 디스플레이하도록 할 수 있다.
따라서, 상기 Duration_rest에 리플레이될 대상 Paragraph는 제1 자막의 Paragraph1, 또는 제2 자막의 Paragraph1, 또는 제1 자막의 Paragraph1 및 제2 자막의 Paragraph1 둘 모두가 될 수 있다. 상기 제1 자막의 Paragraph1과 제2 자막의 Paragraph1 모두가 리플레이될 경우 상기 제1 자막의 Paragraph1가 리플레이되는 구간과 제2 자막의 Paragraph1가 리플레이되는 구간은 동일하게 결정될 수도 있고, 다르게 결정될 수도 있다. 여기서, 상기 제1 자막의 Paragraph1가 리플레이되는 구간과 제2 자막의 Paragraph1가 리플레이되는 구간을 더한 구간이 상기 Duration_rest에 해당한다.
(1) 2.에서 계산한 시간
(2) 제1 자막의 Paragraph1을 포함하는 MPU의 metadata 내용
(3) 제2 자막의 Paragraph1을 포함하는 MPU의 metadata 내용
(4) MMT 수신 장치의 디코더, 일 예로 미디어 데이터 디코더의 특성, 여기서, 상기 디코더의 특성은 상기 디코더의 능력(capability) 등을 포함할 수 있다.
(5) MMT 수신 장치의 렌더러(renderer), 일 예로 미디어 렌더러의 특성, 여기서, 상기 렌더러의 특성은 상기 렌더러의 능력 등을 포함할 수 있다.
4. 상기 MMT 수신 장치는 3.에서 결정된 Duration_rest 동안 리플레이할 대상 Paragraph의 리플레이 모드(replay mode)를 결정한다.
(1) 노말 리플레이 모드(normal replay mode, 이하 "normal replay mode"라 칭하기로 한다): 대상 Paragraph의 재생 종료 시간에서 Duration_rest의 시간 만큼 리플레이 (1배속에 해당)
(2) 트릭 리플레이 모드(trick replay mode, 이하 "trick replay mode"라 칭하기로 한다): 대상 Paragraph 전체를 Duration_rest에 맞게 리플레이 (대상 Paragraph의 재생 구간 χ Duration_rest (즉, 리플레이 구간) 만큼 배속에 해당)
(3) 프라이빗 모드(private mode, 이하 "private mode"라 칭하기로 한다): 기타 MMT 수신 장치가 정한 방법에 따라 리플레이
5. 상기 MMT 수신 장치는 리플레이될 대상 Paragraph의 MPU 재생 시간(MPU_presentation_time, 이하 "MPU_presentation_time"라 칭하기로 한다) 값을 4.에서 결정한 리플레이 모드를 기반으로 조정한다.
(1) normal replay mode: MPUPT_new_next가 지시하는 시간으로부터 대상 Paragraph의 리플레이 구간만큼 역산한 시간에 해당한다.
(2) trick replay mode: MPUPT_new_next가 지시하는 시간으로부터 Duration_rest의 시간만큼 역산한 시간에 해당한다.
(3) private mode: 기타 MMT 수신 장치가 정한 방법에 따라 역산한다.
6. trick replay mode의 경우, 리플레이할 대상 Paragraph에 포함된 데이터의 리플레이 시간을 4.에서 결정한 리플레이 모드를 기반으로 조정한다. 예를 들어, 대상 Paragraph가 N개의 미디어 샘플(sample)들을 포함할 경우 각각의 미디어 샘플의 리플레이 구간을 대상 Paragraph의 리플레이 구간 χ Duration_rest χ N 으로 조정할 수 있다. 여기서, 상기 미디어 샘플의 리플레이 구간은 MPU metadata에 포함되어 있다.
7. 2-6에서 정한 정보와 데이터들, 그리고 관련되는 미디어 데이터를 상기 렌더러에 전달한다.
상기에서 설명한 바와 같이 하나의 자막 MPU에 두 개 이상의 Paragraph들이 포함될 수도 있으며, 이 경우 MPU 재생 시간이 아닌, Paragraph를 구성하는 데이터들의 첫 번째 데이터 유닛의 재생 시작 시간을 사용할 수도 있다.
또한, Duration_rest와 리플레이 모드를 결정함에 있어서, 제2 자막의 Paragraph1과 Paragraph2 간의 공백과 Duration_rest의 비율을 고려하여, 상기 제2 자막의 Paragraph2 시작 전에 미리 결정된 공백을 둘 수도 있다. 이 경우, Duration_rest와 리플레이 대상 Paragraph의 MPU_presentation_time을 추가적으로 조정 해야한다.
본 개시의 일 실시 예는 제1 자막의 Paragraph1을 재생하는 중에 자막 언어가 제1 언어에서 제2 언어로 변경될 경우 제2자막의 Paragraph2가 재생될 때까지 기다리는 시간, 즉 공백 주기를 이용할 경우를 기반으로 하고 있다. 하지만 이 공백 주기 동안 비디오 데이터가 이전 장면에서 다음 장면으로 이미 넘어갔기 때문에, 이전 장면에 대한 이미 지나간 자막을 리플레이할 경우 컨텐트의 원래 의도와 크게 동떨어지기 때문에 사용자의 경험을 더욱 저하시키는 경우 등과 같이 MMT 수신 장치의 판단에 따라 전체 컨텐트의 일부 구간에서는 본 개시의 일 실시 예에서 제안하는 방법을 수행하지 않을 수도 있다. 즉, MMT 수신 장치는 필요에 따라 선택적으로 본 개시의 일 실시 예에서 제안하는 방법을 적용할 수도 있다. 이러한 MMT 수신 장치의 판단에는 컨텐트의 문맥(context) 인식 기술 (context recognition technology) 이나 사용자의 선호 정보 (user preference information), 사용자의 나이, 사용자의 글자를 읽는 속도, 디스플레이의 크기, 디스플레이의 해상도, 디스플레이의 Field of View, 디스플레이의 공간적 정보, Region of Interest 등이 고려될 수 있다.
한편, 앞서 서술한 자막 변경을 위한 모든 동작들은 MMT 수신 장치에서 이루어질 수도 있고, MMT 송신 장치에서 이루어질 수도 있다. 상기 MMT 송신 장치에서 자막 변경을 위한 모든 동작들이 이루어질 경우, 상기 MMT 수신 장치는 일반적인 MMT 데이터 수신 및 재생을 위한 동작을 수행하면 된다.
도 7에서는 본 개시의 일 실시 예에 따른 MMT 시스템에서 자막 변경 설정 방법에 대해서 설명하였으며, 다음으로 도 8을 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 다른 예에 대해서 설명하기로 한다.
도 8은 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 다른 예를 개략적으로 도시한 도면이다.
도 8을 참조하면, MMT 송신 장치(800)는 송신부(811)와, 제어부(813)와, 수신부(815)와, 저장부(817)를 포함한다.
먼저, 상기 제어부(813)는 상기 MMT 송신 장치(800)의 전반적인 동작을 제어한다. 상기 제어부(813)는 상기 MMT 송신 장치(800)가 본 개시의 일 실시 예에 따른 자막 변경 동작에 관련된 전반적인 동작을 수행하도록 제어한다. 여기서, 상기 자막 변경 동작에 관련된 전반적인 동작에 대해서는 도 1 내지 도 7에서 설명한 바와 동일하므로, 여기서는 그 상세한 설명을 생략하기로 한다.
상기 송신부(811)는 상기 제어부(813)의 제어에 따라 MMT 수신 장치 등으로 각종 데이터, 각종 신호들 및 각종 메시지들 등을 송신한다. 여기서, 상기 송신부(811)가 송신하는 각종 데이터, 각종 신호들 및 각종 메시지들 등은 도 1 내지 도 7에서 설명한 바와 동일하므로, 여기서는 그 상세한 설명을 생략하기로 한다.
또한, 상기 수신부(815)는 상기 제어부(813)의 제어에 따라 상기 MMT 수신 장치 등으로부터 각종 데이터, 각종 신호들 및 각종 메시지들 등을 수신한다. 여기서, 상기 수신부(815)가 수신하는 각종 데이터, 각종 신호들 및 각종 메시지들 등은 도 1 내지 도 7에서 설명한 바와 동일하므로, 여기서는 그 상세한 설명을 생략하기로 한다.
상기 저장부(817)는 상기 MMT 송신 장치(800)의 동작에 필요한 프로그램(program)과 각종 데이터 등, 특히 본 개시의 일 실시 예에 따른 자막 변경 동작에 관련된 정보 등을 저장한다. 또한, 상기 저장부(817)는 상기 수신부(815)가 상기 MMT 수신 장치 등으로부터 수신한 각종 데이터, 각종 신호들 및 각종 메시지들 등을 저장한다.
한편, 도 8에는 상기 MMT 송신 장치(800)가 상기 송신부(811)와, 제어부(813)와, 수신부(815)와, 저장부(817)와 같이 별도의 유닛들로 구현된 경우가 도시되어 있으나, 상기 송신부(811)와, 제어부(813)와, 수신부(815)와, 저장부(817) 중 적어도 두 개는 1개의 유닛으로 통합될 수 있음은 물론이다. 또한, 상기 송신부(811)와, 제어부(813)와, 수신부(815)와, 저장부(817)는 적어도 1개의 프로세서로 구현될 수 있음은 물론이다.
도 8에서는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 송신 장치의 내부 구조의 다른 예에 대해서 설명하였으며, 다음으로 도 9를 참조하여 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 수신 장치의 내부 구조의 다른 예에 대해서 설명하기로 한다.
도 9는 본 개시의 일 실시 예에 따른 MMT 시스템에서 MMT 수신 장치의 내부 구조의 다른 예를 개략적으로 도시한 도면이다.
도 9를 참조하면, MMT 수신 장치(900)는 송신부(911)와, 제어부(913)와, 수신부(915)와, 저장부(917)를 포함한다.
먼저, 상기 제어부(913)는 상기 MMT 수신 장치(900)의 전반적인 동작을 제어한다. 상기 제어부(913)는 상기 MMT 수신 장치(900)가 본 개시의 일 실시 예에 따른 자막 변경 동작에 관련된 전반적인 동작을 수행하도록 제어한다. 여기서, 상기 자막 변경 동작에 관련된 전반적인 동작에 대해서는 도 1 내지 도 7에서 설명한 바와 동일하므로, 여기서는 그 상세한 설명을 생략하기로 한다.
상기 송신부(911)는 상기 제어부(913)의 제어에 따라 MMT 송신 장치 등으로 각종 데이터, 각종 신호들 및 각종 메시지들 등을 송신한다. 여기서, 상기 송신부(911)가 송신하는 각종 데이터, 각종 신호들 및 각종 메시지들 등은 도 1 내지 도 7에서 설명한 바와 동일하므로, 여기서는 그 상세한 설명을 생략하기로 한다.
또한, 상기 수신부(915)는 상기 제어부(913)의 제어에 따라 상기 MMT 송신 장치 등으로부터 각종 데이터, 각종 신호들 및 각종 메시지들 등을 수신한다. 여기서, 상기 수신부(915)가 수신하는 각종 데이터, 각종 신호들 및 각종 메시지들 등은 도 1 내지 도 7에서 설명한 바와 동일하므로, 여기서는 그 상세한 설명을 생략하기로 한다.
상기 저장부(917)는 상기 MMT 수신 장치(900)의 동작에 필요한 프로그램과 각종 데이터 등, 특히 본 개시의 일 실시 예에 따른 자막 변경 동작에 관련된 정보 등을 저장한다. 또한, 상기 저장부(917)는 상기 수신부(915)가 상기 MMT 송신 장치 등으로부터 수신한 각종 데이터, 각종 신호들 및 각종 메시지들 등을 저장한다.
한편, 도 9에는 상기 MMT 수신 장치(900)가 상기 송신부(911)와, 제어부(913)와, 수신부(915)와, 저장부(917)와 같이 별도의 유닛들로 구현된 경우가 도시되어 있으나, 상기 송신부(911)와, 제어부(913)와, 수신부(915)와, 저장부(917) 중 적어도 두 개는 1개의 유닛으로 통합될 수 있음은 물론이다. 또한, 상기 송신부(911)와, 제어부(913)와, 수신부(915)와, 저장부(917)는 적어도 1개의 프로세서로 구현될 수 있음은 물론이다.
한편, 본 개시의 일 실시 예에서는 멀티미디어 시스템에서 송신 장치를 제공한다. 상기 송신 장치는 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 제어부와, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 송신하는 송신부를 포함한다.
여기서, 상기 제1 타입-데이터는 제1 타입-제1 데이터 유닛을 포함하며, 상기 제2 타입-데이터는 제2 타입-제1 데이터 유닛을 포함할 경우, 상기 정보는 상기 제2 타입-제1데이터 유닛이 재생되기 전에 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이되는데 필요로 되는 정보를 포함한다.
여기서, 상기 정보는 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제1 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간과, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간 중 적어도 하나를 포함한다.
여기서, 제1 데이터 유닛은 에셋(asset)을 포함하며, 제2 데이터 유닛은 미디어 프로세싱 유닛(media processing unit: MPU)을 포함하며, 제3 데이터 유닛은 억세스 유닛(access unit)을 포함한다.
여기서, 상기 제1 타입-데이터와 제2 타입-데이터는 동일한 컨텐트에 대한 것이다.
한편, 본 개시의 일 실시 예에서는 멀티미디어 시스템에서 수신 장치를 제공한다. 상기 수신 장치는 주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 제어부와, 상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 수신하는 수신부를 포함한다.
여기서, 상기 제1 타입-데이터는 제1 타입-제1 데이터 유닛을 포함하며, 상기 제2 타입-데이터는 제2 타입-제1 데이터 유닛을 포함할 경우, 상기 정보는 상기 제2 타입-제1데이터 유닛이 재생되기 전에 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이되는데 필요로 되는 정보를 포함한다.
여기서, 상기 정보는: 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제1 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간과, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간 중 적어도 하나를 포함한다.
여기서, 상기 제어부는 상기 제2-제1 데이터 유닛의 다음 제2 데이터 유닛이 재생되기 전에 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나를 리플레이한다.
여기서, 상기 제어부는 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간을 기반으로 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛 및 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛 간의 공백 주기를 식별하고, 상기 공백 주기와, 상기 제1 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 메타데이터(metadata)와, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 메타데이터와, 디코더의 능력 및 렌더러(renderer)의 능력을 기반으로 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나를 리플레이할 대상으로 결정하고, 상기 리플레이할 대상을 리플레이할 시간 구간을 결정하고, 상기 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이한다.
여기서, 상기 제어부는 제1 모드와, 제2 모드와, 제3 모드 중 결정된 하나의 모드를 기반으로 상기 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이하며, 상기 제1 모드는 상기 리플레이할 대상의 재생 종료 시간으로부터 상기 리플레이할 시간 구간에 해당하는 데이터를 리플레이하는 모드를 포함하며, 상기 제2 모드는 상기 리플레이할 대상 전체를 상기 리플레이할 시간 구간에 상응하게 리플레이하는 모드를 포함하며, 상기 제3 모드는 상기 수신 장치가 결정한 방식을 기반으로 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이하는 모드를 포함한다.
여기서, 상기 제어부는 상기 리플레이할 대상의 제3 데이터 유닛 재생 시간을 상기 결정된 모드를 기반으로 조정한다.
여기서, 제1 데이터 유닛은 에셋(asset)을 포함하며, 제2 데이터 유닛은 미디어 프로세싱 유닛(media processing unit: MPU)을 포함하며, 제3 데이터 유닛은 억세스 유닛(access unit)을 포함한다.
여기서, 상기 제1 타입-데이터와 제2 타입-데이터는 동일한 컨텐트에 대한 것이다.
본 발명의 특정 측면들은 또한 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 상기 컴퓨터 리드 가능 기록 매체의 예들은 리드 온리 메모리(Read-Only Memory: ROM)와, 랜덤-접속 메모리(Random-Access Memory: RAM)와, CD-ROM들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(상기 인터넷을 통한 데이터 송신과 같은)을 포함할 수 있다. 상기 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 상기 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 발명을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 발명이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 발명의 일 실시예에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 일 실시예에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다
또한 본 발명의 일 실시예에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 프로그램 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형할 수 있음은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 멀티미디어 시스템에서 송신 장치의 방법에 있어서,주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 과정과,
    상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 송신하는 과정을 포함함을 특징으로 하는 멀티미디어 시스템에서 송신 장치의 방법.
  2. 제1항에 있어서,
    상기 제1 타입-데이터는 제1 타입-제1 데이터 유닛을 포함하며, 상기 제2 타입-데이터는 제2 타입-제1 데이터 유닛을 포함할 경우, 상기 정보는 상기 제2 타입-제1데이터 유닛이 재생되기 전에 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이되는데 필요로 되는 정보를 포함함을 특징으로 하는 멀티미디어 시스템에서 송신 장치의 방법.
  3. 제2항에 있어서,
    상기 정보는:
    상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제1 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간과, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간 중 적어도 하나를 포함함을 특징으로 하는 멀티미디어 시스템에서 송신 장치의 방법.
  4. 제3항에 있어서,
    제1 데이터 유닛은 에셋(asset)을 포함하며,
    제2 데이터 유닛은 미디어 프로세싱 유닛(media processing unit: MPU)을 포함하며,
    제3 데이터 유닛은 억세스 유닛(access unit)을 포함함을 특징으로 하는 멀티미디어 시스템에서 송신 장치의 방법.
  5. 제1항에 있어서,
    상기 제1 타입-데이터와 제2 타입-데이터는 동일한 컨텐트에 대한 것임을 특징으로 하는 멀티미디어 시스템에서 송신 장치의 방법.
  6. 멀티미디어 시스템에서 수신 장치의 방법에 있어서,
    주어진 시점에서 제1 타입-데이터가 재생되는 중에 제2 타입-데이터로 변경되는 것에 대한 요청을 검출하는 과정과,
    상기 제2 타입-데이터가 재생되기 전에 상기 제1 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-데이터 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이(replay)되는데 필요로 되는 정보를 수신하는 과정을 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  7. 제6항에 있어서,
    상기 제1 타입-데이터는 제1 타입-제1 데이터 유닛을 포함하며, 상기 제2 타입-데이터는 제2 타입-제1 데이터 유닛을 포함할 경우, 상기 정보는 상기 제2 타입-제1데이터 유닛이 재생되기 전에 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나가 리플레이되는데 필요로 되는 정보를 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  8. 제7항에 있어서,
    상기 정보는:
    상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제1 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간과, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간 중 적어도 하나를 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  9. 제7항에 있어서,
    상기 제2-제1 데이터 유닛의 다음 제2 데이터 유닛이 재생되기 전에 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나를 리플레이하는 과정을 더 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  10. 제9항에 있어서,
    상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나를 리플레이하는 과정은:
    상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛에 포함되는 첫 번째 제3 데이터 유닛의 재생 시간과, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 재생 시간 구간을 기반으로 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛 및 상기 제2 타입-제1 데이터 유닛의 다음 제2 데이터 유닛 간의 공백 주기를 식별하는 과정과;
    상기 공백 주기와, 상기 제1 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 메타데이터(metadata)와, 상기 제2 타입-제1 데이터 유닛의 경과된 제2 데이터 유닛의 메타데이터와, 디코더의 능력 및 렌더러(renderer)의 능력을 기반으로 상기 제1 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터와, 상기 제2 타입-제1 데이터 유닛 중 상기 주어진 시점 이전에 재생된 데이터 중 적어도 하나를 리플레이할 대상으로 결정하고, 상기 리플레이할 대상을 리플레이할 시간 구간을 결정하는 과정과;
    상기 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이하는 과정을 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  11. 제10항에 있어서,
    상기 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이하는 과정은 제1 모드와, 제2 모드와, 제3 모드 중 결정된 하나의 모드를 기반으로 하며,
    상기 제1 모드는 상기 리플레이할 대상의 재생 종료 시간으로부터 상기 리플레이할 시간 구간에 해당하는 데이터를 리플레이하는 모드를 포함하며,
    상기 제2 모드는 상기 리플레이할 대상 전체를 상기 리플레이할 시간 구간에 상응하게 리플레이하는 모드를 포함하며,
    상기 제3 모드는 상기 수신 장치가 결정한 방식을 기반으로 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이하는 모드를 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  12. 제11항에 있어서,
    상기 리플레이할 대상을 상기 리플레이할 시간 구간에서 리플레이하는 과정은:
    상기 리플레이할 대상의 제3 데이터 유닛 재생 시간을 상기 결정된 모드를 기반으로 조정하는 과정을 더 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  13. 제8항에 있어서,
    제1 데이터 유닛은 에셋(asset)을 포함하며,
    제2 데이터 유닛은 미디어 프로세싱 유닛(media processing unit: MPU)을 포함하며,
    제3 데이터 유닛은 억세스 유닛(access unit)을 포함함을 특징으로 하는 멀티미디어 시스템에서 수신 장치의 방법.
  14. 청구항 1 내지 청구항 5 중 어느 하나의 방법을 수행하도록 구성됨을 특징으로 하는 송신 장치.
  15. 청구항 6 내지 청구항 13 중 어느 하나의 방법을 수행하도록 구성됨을 특징으로 하는 수신 장치.
PCT/KR2018/003667 2017-03-29 2018-03-28 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법 WO2018182313A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18775519.4A EP3573341B1 (en) 2017-03-29 2018-03-28 Device and method for transmitting and receiving signal in multimedia system
CN201880021673.1A CN110463209B (zh) 2017-03-29 2018-03-28 用于在多媒体系统中发送和接收信号的设备和方法
US16/489,946 US11805293B2 (en) 2017-03-29 2018-03-28 Device and method for transmitting and receiving signal in multimedia system
KR1020197017763A KR102465142B1 (ko) 2017-03-29 2018-03-28 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0040338 2017-03-29
KR20170040338 2017-03-29

Publications (1)

Publication Number Publication Date
WO2018182313A1 true WO2018182313A1 (ko) 2018-10-04

Family

ID=63677606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003667 WO2018182313A1 (ko) 2017-03-29 2018-03-28 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법

Country Status (5)

Country Link
US (1) US11805293B2 (ko)
EP (1) EP3573341B1 (ko)
KR (1) KR102465142B1 (ko)
CN (1) CN110463209B (ko)
WO (1) WO2018182313A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080056028A (ko) * 2004-06-18 2008-06-19 마츠시타 덴끼 산교 가부시키가이샤 기록매체, 재생장치, 기록방법, 재생방법
KR100970727B1 (ko) * 2002-10-15 2010-07-16 삼성전자주식회사 텍스트 데이터와 다운로드 폰트를 이용한 다국어 지원용서브 타이틀 데이터가 기록된 정보저장매체 및 그 장치
KR20110066578A (ko) * 2009-12-11 2011-06-17 삼성전자주식회사 디지털 컨텐츠와 이를 위한 재생장치 및 방법
KR20110110338A (ko) * 2004-02-16 2011-10-06 소니 주식회사 재생 장치 및 재생 방법
EP3145210A1 (en) * 2014-05-15 2017-03-22 Sony Corporation Reception apparatus, transmission apparatus, and data processing method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081434A1 (en) 2002-10-15 2004-04-29 Samsung Electronics Co., Ltd. Information storage medium containing subtitle data for multiple languages using text data and downloadable fonts and apparatus therefor
JP2005151147A (ja) 2003-11-14 2005-06-09 Toshiba Corp 再生装置及び再生方法
CN101278348A (zh) 2005-10-11 2008-10-01 三星电子株式会社 同时再现多条数据的再现方法和设备
KR101360316B1 (ko) * 2006-06-09 2014-02-10 톰슨 라이센싱 클로즈드 캡션을 위한 시스템 및 방법
JP2008072586A (ja) 2006-09-15 2008-03-27 Matsushita Electric Ind Co Ltd デジタルａｖストリーム再生装置
JP5100746B2 (ja) * 2007-03-22 2012-12-19 三菱電機株式会社 映像再生装置および映像再生方法
JP2009177720A (ja) 2008-01-28 2009-08-06 Sony Corp 表示制御装置、表示制御方法、およびプログラム
CN101600087A (zh) 2008-06-02 2009-12-09 鸿富锦精密工业（深圳）有限公司 网络电视节目重播系统
US20130169762A1 (en) 2011-07-15 2013-07-04 Hitachi Consumer Electronics, Ltd. Receiving apparatus, receiving method and transmitting apparatus
KR20130094044A (ko) 2012-02-15 2013-08-23 삼성전자주식회사 영상 표시 장치에서 자막 속성을 변경하기 위한 장치 및 방법
JP5903924B2 (ja) 2012-02-17 2016-04-13 ソニー株式会社 受信装置および字幕処理方法
US10642574B2 (en) * 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10244203B1 (en) * 2013-03-15 2019-03-26 Amazon Technologies, Inc. Adaptable captioning in a video broadcast
JP6331670B2 (ja) 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP5713140B1 (ja) 2014-12-05 2015-05-07 ソニー株式会社 受信装置、およびデータ処理方法
CN105744346A (zh) * 2014-12-12 2016-07-06 深圳Tcl数字技术有限公司 字幕切换方法及装置
CA2974341C (en) * 2015-01-19 2022-08-23 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving multimedia content
CN113660518A (zh) * 2016-03-10 2021-11-16 麦克赛尔株式会社 广播接收装置
KR102482207B1 (ko) 2016-03-11 2022-12-29 삼성전자주식회사 디지털 방송 시스템에서 서비스 전환을 위한 방법 및 장치
WO2017183403A1 (en) * 2016-04-22 2017-10-26 Sharp Kabushiki Kaisha Systems and methods for signaling of an identifier of a data channel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100970727B1 (ko) * 2002-10-15 2010-07-16 삼성전자주식회사 텍스트 데이터와 다운로드 폰트를 이용한 다국어 지원용서브 타이틀 데이터가 기록된 정보저장매체 및 그 장치
KR20110110338A (ko) * 2004-02-16 2011-10-06 소니 주식회사 재생 장치 및 재생 방법
KR20080056028A (ko) * 2004-06-18 2008-06-19 마츠시타 덴끼 산교 가부시키가이샤 기록매체, 재생장치, 기록방법, 재생방법
KR20110066578A (ko) * 2009-12-11 2011-06-17 삼성전자주식회사 디지털 컨텐츠와 이를 위한 재생장치 및 방법
EP3145210A1 (en) * 2014-05-15 2017-03-22 Sony Corporation Reception apparatus, transmission apparatus, and data processing method

Also Published As

Publication number Publication date
CN110463209B (zh) 2022-04-19
KR20190125967A (ko) 2019-11-07
EP3573341A1 (en) 2019-11-27
EP3573341A4 (en) 2019-11-27
US20230179826A1 (en) 2023-06-08
EP3573341B1 (en) 2022-07-13
KR102465142B1 (ko) 2022-11-10
US11805293B2 (en) 2023-10-31
CN110463209A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
WO2012047028A2 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
WO2012033319A2 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
WO2011071290A2 (en) Streaming method and apparatus operating by inserting other content into main content
WO2018052253A1 (ko) 송신 장치 및 그 송신 방법
WO2011105811A2 (en) Method and apparatus for transmitting and receiving data
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2014025207A1 (en) A method and an apparatus for processing a broadcast signal including an interactive broadcast service
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2013055164A1 (ko) 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
WO2016111563A1 (ko) 통신 시스템에서 미디어 정보를 송수신하는 방법 및 장치
WO2016111560A1 (en) Transmitting apparatus and receiving apparatus and signal processing method thereof
WO2011062386A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2012070789A2 (en) System, method and apparatus of providing/receiving service of plurality of content providers and client
WO2010021493A2 (en) Method and apparatus for transmitting broadcast data, and method and apparatus for receiving broadcast data
WO2015046747A1 (ko) Tv 및 그 동작 방법
WO2011074844A2 (en) Method of processing non-real time service and broadcast receiver
WO2013065930A1 (en) Media apparatus, content server and method for operating the same
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2013157890A1 (en) Method and apparatus of processing data to support augmented reality
WO2018038579A1 (en) Apparatus and method for providing security service in communication system
WO2012053764A2 (en) Method for moving pointer in video display apparatus and video display apparatus thereof
EP3314906A1 (en) Method and apparatus for transmitting and receiving signal in multimedia system
WO2017209574A1 (ko) 미디어 콘텐츠 제공 방법 및 장치
WO2021118130A1 (en) Electronic apparatus and method of controlling the same
WO2011037358A2 (ko) 방송 네트워크와 ip 네트워크에 접속 가능한 디지털 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775519

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197017763

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018775519

Country of ref document: EP

Effective date: 20190819

NENP Non-entry into the national phase

Ref country code: DE