WO2011078470A2 - 장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법 - Google Patents

장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법 Download PDF

Info

Publication number
WO2011078470A2
WO2011078470A2 PCT/KR2010/007018 KR2010007018W WO2011078470A2 WO 2011078470 A2 WO2011078470 A2 WO 2011078470A2 KR 2010007018 W KR2010007018 W KR 2010007018W WO 2011078470 A2 WO2011078470 A2 WO 2011078470A2
Authority
WO
WIPO (PCT)
Prior art keywords
scene
mpeg
media
descriptor
transport streams
Prior art date
Application number
PCT/KR2010/007018
Other languages
English (en)
French (fr)
Other versions
WO2011078470A3 (ko
Inventor
기명석
이한규
홍진우
차지훈
김현철
이인재
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020100029007A external-priority patent/KR101324427B1/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/518,598 priority Critical patent/US20120269256A1/en
Publication of WO2011078470A2 publication Critical patent/WO2011078470A2/ko
Publication of WO2011078470A3 publication Critical patent/WO2011078470A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation

Definitions

  • One embodiment of the present invention relates to a content authoring / playback apparatus and method for using a scene constructed using a scene descriptor such as BIFS or LASeR and a plurality of MPEG-2 transport streams as one media.
  • a scene descriptor such as BIFS or LASeR
  • MPEG-2 transport streams as one media.
  • IPTV Internet Protocol Television
  • MPEG Moving Picture Experts Group
  • the AV content is composed of a scene descriptor like the method used in terrestrial digital multimedia broadcasting (DMB), and it is multiplexed with an MPEG-2 multiplexing system to transmit MPEG-2. I'm using a stream creation method.
  • DMB terrestrial digital multimedia broadcasting
  • authoring a scene using a scene descriptor and multiplexing it to generate an MPEG-2 transport stream requires modification of the MPEG-2 demultiplexer of existing commercial terminals. If it can be operated may have an advantage in compatibility with existing broadcast terminals.
  • MPEG standardizes the method of storing MPEG-2 transport streams in a media file having an ISO format, so that MPEG-2 transport streams can be operated.
  • MPEG-2 transport streams since it only standardized how MPEG-2 transport streams are stored in ISO-based media files, it is also difficult to apply the file structure to the way the scene descriptor organizes content by considering the MPEG-2 transport stream as media. follow the crowd.
  • a scene composed of scene descriptors and a plurality of MPEG-2 transport streams are regarded as a media file like video or audio, and the configured media files are easily converted into the original MPEG-2 transport stream.
  • the present invention provides a content authoring / reproducing apparatus and method for performing an interactive function.
  • a content authoring apparatus includes a media input unit configured to receive a plurality of MPEG-2 transport streams, and a scene authoring unit configuring scenes related to the input plurality of MPEG-2 transport streams using a scene descriptor. And a mdat box including a moov box unit including structure information using the plurality of MPEG-2 transport streams and the configured scene, and actual media rendered at a corresponding time according to the configured scene. And a file encoder which encodes one media file including the unit.
  • the M-dot box unit may include a main scene descriptor for storing the configured scene as structure information for controlling the MPEG-2 transport stream.
  • the move box unit may include a scene descriptor track and an object descriptor track for recognizing whether the MPEG-2 transport stream in the media file is interconnected as part of the configured scene; And an initial object descriptor for obtaining an elementary stream identifier for the scene descriptor track and the object descriptor track.
  • the scene authoring unit may configure a scene structure and a user event associated with the input MPEG-2 transport stream as the scene.
  • the content authoring apparatus may further include an MPEG-2 TS interpreter that extracts the scene descriptor by analyzing the input MPEG-2 transport stream.
  • the scene authoring unit may configure the scene by using a multiple scene composition method by the extracted scene descriptor.
  • the content player loads a media file from a storage device, distinguishes a plurality of MPEG-2 transport streams and scenes from the loaded media file, and decodes information of the AV media from the media file.
  • a move box unit including media information including at least one of random access information, or synchronization information between media, and structure information for controlling the plurality of MPEG-2 transport streams, and corresponding time according to the divided scene.
  • a file analyzer for analyzing the structure of the M-dot box including the actual media rendered to the MPEG-2 TS analyzer for analyzing the plurality of MPEG-2 transport streams and extracting a packetized elementary stream (PES) packet, the extracted PES packet analysis unit for extracting AV media corresponding to the media type from the PES packet, and AV decoding for decoding the AV media. And an AV output unit for outputting the decoded AV media.
  • PES packetized elementary stream
  • the file analyzer may transmit the scene to the scene analyzer.
  • the content reproducing apparatus is an object based on a scene analysis unit for analyzing a scene structure, a user event, and a rendering time from the delivered scene, and an object based on at least one of the analyzed scene structure, user event, or rendering time. It may further include a scene renderer for rendering them.
  • the scene analyzer may interpret the scene descriptor for rendering a lower scene.
  • the content authoring method comprises the steps of receiving a plurality of MPEG-2 transport streams, constructing a scene related to the plurality of MPEG-2 transport streams using a scene descriptor, and the plurality of The MPEG-2 transport stream and the configured scene are transformed into a single media file including a move box part including structure information of a media file and an M dot box part including real media rendered at a corresponding time according to the analyzed scene information. Encoding.
  • the content playback method comprises the steps of distinguishing a plurality of MPEG-2 transport streams and scenes from a media file, decoding information on AV media, random access information, or synchronization information between media from the media file.
  • the scene when configuring a scene related to an MPEG-2 transport stream, the scene is regarded as one media and included in an ISO-based media file, thereby allowing the scene to be received by the terminal without limitation of compatibility issues. It is possible to create an environment to be transmitted to the device (content playback device).
  • a module for processing a scene descriptor without modifying the MPEG-2 demultiplexer of an existing terminal device may be added only by adding a preprocessing module.
  • Multiple scene languages can be handled, making it easier to apply scene descriptors to actual commercial models.
  • a plurality of MPEG-2 transport streams can be operated as one file without a metadata decoder.
  • the stored MPEG-2 transport stream can be reprocessed to create a file that can provide various additional functions.
  • the current DMB cannot provide this due to a bandwidth problem. Therefore, if a broadcaster transmits only one transport stream and configures the left and right transport streams in the form of paid content using scene descriptors, it is differentiated. Generated content.
  • FIG. 1 is a block diagram showing a content authoring apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a content player according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a general MP4 file structure including a scene descriptor and an AV.
  • FIG. 4 is a diagram illustrating an example of configuring multiple scenes using BIFS.
  • Decoder_Specific_Info for decoding an MPEG-2 transport stream.
  • FIG. 6 is a diagram for explaining a LASeR SAF packet structure of a file having a scene structured object organized in an access unit and packaged.
  • FIG. 7 illustrates an example of an ISO based media file structure according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a procedure of a content authoring method including a media file according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a procedure of a content playback method including a media file according to an embodiment of the present invention.
  • An object of the present invention is to enable the scene descriptor to use an MPEG-2 transport stream as an input medium, and to use the MPEG-2 transport stream as it is in a scene description configuration.
  • a plurality of scene languages can be processed by adding a preprocessing module to a module that processes a scene descriptor without modifying the MPEG-2 demultiplexer of an existing terminal. It aims to easily apply scene descriptors to actual commercial models.
  • a general structure for authoring and playing content including an MPEG-2 transport stream according to the present invention is as follows.
  • the present invention provides a content authoring apparatus which authors a scene using a plurality of MPEG-2 transport streams as input media, and includes the authored scene in one media file, and a plurality of MPEG-2 transport streams from the media file. And a content reproducing apparatus for analyzing and outputting the scene.
  • FIG. 1 is a block diagram showing a content authoring apparatus according to an embodiment of the present invention.
  • the content authoring apparatus 100 may include a media input unit 110, an MPEG-2 TS analyzer 120, a scene authoring unit 130, and a file encoder 140.
  • the storage device 150 may be included in the content authoring device 100 as illustrated in FIG. 1, or may be installed outside the content authoring device 100 as another embodiment.
  • the content authoring apparatus 100 of FIG. 1 is a device that composes a scene using a scene descriptor and arranges the configured scene in a media file.
  • the media input unit 110 performs a function of inputting one or a plurality of MPEG-2 transport streams on a screen for authoring. That is, the media input unit 110 receives a single or multiple MPEG-2 transport streams.
  • the MPEG-2 transport stream may include a scene descriptor.
  • the MPEG-2 TS analyzer 120 extracts a structure and information on the input MPEG-2 transport stream. That is, the MPEG-2 TS analyzer 140 may analyze the MPEG-2 transport stream and extract at least one of a program map table (PMT), a scene descriptor, and access information.
  • PMT program map table
  • the scene authoring unit 130 serves to author a scene such as a scene arrangement and a user event by using the input MPEG-2 transport stream and other media, and store it in a text or interpretable form. That is, the scene authoring unit 130 controls the input single or multiple MPEG-2 transport streams and configures the content content using a scene descriptor to construct a scene for the interactive service function.
  • the scene authoring unit 130 may select a main scene for controlling the MPEG-2 transport stream using a single scene construction technique. Can be included as a scene.
  • the scene authoring unit 130 may select a main scene for controlling the MPEG-2 transport stream using a multiple scene composition technology. Can be configured as a scene.
  • the file encoder 140 converts the authored scene and the MPEG-2 transport stream as media into a file format useful for reproduction and distribution, that is, a media file.
  • the file encoder 140 may include a moving box unit including structure information and actual media rendered at a corresponding time according to the configured scene using the plurality of MPEG-2 transport streams and the configured scene. It can be encoded into one media file including an mdat box portion.
  • the media file may be an ISO-based media file. That is, the file encoder 140 may encode the configured scene in a binarized form so as to be included in an ISO file to be created later.
  • the storage device 150 stores a scene and an MPEG-2 transport stream in a media file having an ISO format.
  • the content authoring apparatus 100 of the present invention may further include an ISO file encoder (not shown) for encoding the configured scene and the input MPEG-2 transport stream into a media file having an ISO format. Can be.
  • the storage device 150 may store the encoded media file.
  • the authoring result by the content authoring apparatus 100 does not necessarily need to be converted into a file form, and the file conversion example of the present invention is proposed as a method for convenience of description of the invention.
  • FIG. 2 is a block diagram showing a content player according to an embodiment of the present invention.
  • the content reproducing apparatus 200 includes the storage device 210, the file analyzing unit 220, the scene analyzing unit 230, the scene renderer 240, and the MPEG-2 TS analyzing unit 250. , PES packet analyzer 260, AV decoder 270, and AV output unit 280.
  • the content player 200 loads the media file or other form of the authored result from the storage 210.
  • the storage device 210 may be a storage device 150 included in the content authoring device 100, and composes a scene and stores the authored result in the form of a media file.
  • the file analyzer 220 loads a media file that a user wants to play from the storage device 210, distinguishes a plurality of MPEG-2 transport streams and scenes from the loaded media file, and stores the media file in the AV media.
  • the file analyzer 220 controls the MPEG-2 TS interpreter 250 to control the file.
  • the MPEG-2 TS interpreter 250 controls the MPEG-2 TS interpreter 250 to control the file.
  • the file analyzer 220 transmits the scene descriptor to the scene analyzer 230. That is, if a scene configuration using a scene descriptor exists in the media file, the file analyzer 220 transmits the loaded result to the scene analyzer 230, and the scene analyzer 230 configures the user and the entire scene. Interpret events, etc.
  • the scene analyzer 230 identifies a scene about how a scene to be rendered in the media file is configured.
  • the scene renderer 240 After the analysis of the scene configuration through the scene analysis unit 230, the scene renderer 240 renders the scene analyzed on the display or an external output device and the objects to be output at the corresponding time.
  • the MPEG-2 TS analyzer 250 analyzes the corresponding MPEG-2 transport stream and transmits a packet corresponding to each PID to the PES packet analyzer ( 260).
  • the PES packet analyzer 260 analyzes the transmitted packetized elementary stream (PES) packet, extracts media suitable for each media type, and transmits the media to the AV decoder 270.
  • PES packetized elementary stream
  • the AV decoder 270 decodes the AV media and transmits the decoded media data to the AV output unit 280. That is, the AV decoder 270 decodes the separated AV data and reproduces the same through the AV output unit 280 according to the analyzed scene.
  • the AV output unit 280 outputs the decoded AV media in synchronization with each rendering time or user event manipulation by the scene renderer 240.
  • FIG. 3 is a diagram illustrating a general MP4 file structure including a scene descriptor and an AV.
  • the MP4 file 300 is a kind of ISO-based media file.
  • the MP4 file 300 is a file structure that is the basis for creating a DMB-AF file, and describes media formats like the DMB-AF (Digital Multimedia Broadcasting Application Format). It consists of a move box part moov 310 and an M dot box part mdat 320 containing actual data. Access information and interpretation information of the media may be included in the track box and other lower boxes of the move box 310. The actual media is included in the M-dot box 320 and rendered at the corresponding time according to the interpreted scene.
  • DMB-AF Digital Multimedia Broadcasting Application Format
  • FIG. 4 is a diagram illustrating an example of configuring multiple scenes using BIFS.
  • the content 400 is composed of an IOD 401, a BIFS 402, an OD 403, and AV media.
  • IOD initial object descriptor
  • the initial object descriptor 401 includes a binary descriptor for scenes (BIFS) 402 and an elementary stream identifier (ES_ID) of an object descriptor (OD) 403 in a scene.
  • BIFS binary descriptor for scenes
  • ES_ID elementary stream identifier
  • another content 410 may be designated as a lower scene through a method similar to Inline in the contents of the scene descriptor 402. This makes it possible to render a scene of another content as a sub-scene of that scene while rendering an arbitrary content scene.
  • results authored using the scene descriptor are the authoring information of the scene composition and the media used for the scene composition, and the linking information of the actual media is described in the scene authoring information.
  • the information interpreted when the first user receives the scene of the MPEG-4 system is an initial object descriptor 401.
  • the initial object descriptor 401 includes an elementary stream identifier of the scene descriptor, which is scene information and initialization information necessary for scene composition. ES_ID) and the elementary stream identifier of the object descriptor 403, which is the object information to be rendered in the scene, is described.
  • the MPEG-4 system decoder can obtain the elementary stream identifier of the scene descriptor and the object descriptor 403.
  • the MPEG-4 system decoder first determines the scene descriptor according to the obtained ES_ID.
  • Scene configuration information may be obtained by analyzing a stream stream.
  • the object in the scene may obtain the information of the media object through the connected object descriptor stream.
  • Each ES_Descriptor includes the ES_ID of the media object and the decoding information.
  • the MPEG-4 system decoder connects the actual media to the media decoder and renders the decoded media on the scene.
  • the basic concept of the scene descriptor is similar to that of the MPEG-4 system, but unlike the MPEG-4 system, in which the AV is connected to the existing scene descriptors as separate objects to synchronize a separate system provided by the scene descriptor, the scene of the present invention is used.
  • the descriptor regards the MPEG-2 transport stream as one medium and connects it.
  • the scene descriptor is only responsible for processing the start, stop, and random access of the MPEG-2 transport stream.
  • the media synchronization in the MPEG-2 transport stream is MPEG- 2 demultiplexers are in charge.
  • the scene descriptor needs to define a MIME type for accommodating an MPEG-2 transport stream.
  • the MIME Type refers to the identifier of the data described, and the system can determine whether the described object is a video object, an audio object, or some other object.
  • decoding information for media analysis it may be necessary to add decoding information for media analysis in order to interpret the new media in the scene descriptor.
  • MPEG-4 system needs to modify the part related to object descriptor.
  • New declaration should be added to objectTypeIndication and streamtype of DecoderConfigDescriptor in object descriptor to accommodate MPEG-2 transport stream.
  • Decoder_Specific_Info for decoding an MPEG-2 transport stream.
  • an 'Object Descriptor' related part of an existing MPEG-4 system should be modified.
  • the objectTypeIndication and streamtype of the DecoderConfigDescriptor of the object descriptor must be declared to accommodate the MPEG-2 transport stream.
  • DecoderSpecificInfo is described, and DecoderSpecifcInfo for the MPEG transport stream is as shown.
  • an ISO-based media file can be generated as in a conventional MP4 file system, using a scene descriptor to compose content.
  • the scene descriptor is used in a general manner.
  • the main scene descriptor and the main object descriptor collide with the scene descriptor and the object descriptor included in the MPEG-2 transport stream.
  • the present invention configures a scene using a multi-scene composition method used in MPEG BIFS and LASeR.
  • MPEG-2 Sample Entry box defined in the ISO-based media file.
  • the data syntax may vary depending on the nature of the MPEG-2 transport stream. Basically, the data to be added is PAT and program map table (PMT) data of the actual MPEG-2 transport stream. If additional data is needed to access the stream, new data can be added.
  • PMT program map table
  • the MPEG-2 transport stream is a terrestrial DMB stream
  • an analysis of an object descriptor, a scene descriptor, etc., in addition to a PAT and a program map table is required in order to randomly access and play the MPEG-2 transport stream. This can be defined as additional data.
  • a method for using an MPEG-2 transport stream in an MPEG LASeR is as follows.
  • LASeR uses SAF or ISO format media file format for AV synchronized playback.
  • SAF is a file format that is composed of scene composition objects using LASeR language and packaged as access unit for use in various network protocols.
  • the packet structure is shown in FIG.
  • FIG. 6 is a diagram for explaining a LASeR SAF packet structure of a file having a scene structured object organized in an access unit and packaged.
  • the present invention uses a method of describing the SAF Packet Header using the synchronization information in the existing MPEG-2 transport stream as it is.
  • the randomaccessPointFlag value of FIG. 6 describes a random access indicator flag of an adaptation field of an MPEG-2 transport stream header.
  • sequenceNumber uses the existing SAF packet header composition method as it is, and compositionTimeStamp technology basically uses the CTS value of the PES packet header.
  • compositionTimeStamp technology basically uses the CTS value of the PES packet header.
  • accessUnitLength technology uses the payload unit start indicator of a video PES packet or an audio PES packet of an MPEG-2 transport stream from a packet of 1 to a packet having a payload unit start indicator of a next PES of the following type. May be used as a single access unit, or a packet of an MPEG-2 transport stream may be processed as a single access unit.
  • Scene composition using media using a scene descriptor may include one or more AV media.
  • MPEG-4 BIFS and LASeR allow you to compose a scene using multiple AV media. If the MPEG-2 transport stream is regarded as a media and allowed within the scene descriptor, even if a general MPEG-2 transport stream is input, even if multiple AV media are inputted, they can be treated like ordinary media.
  • the multiple scene configuration method is used for collision with higher scene descriptors.
  • Metadata can be largely composed of initial object descriptor (IOD), scene descriptor (BIFS), object descriptor (OD), and audio visual (AV) media.
  • IOD initial object descriptor
  • BIFS scene descriptor
  • OD object descriptor
  • AV audio visual
  • an analysis of an initial object descriptor is first performed.
  • the initial object descriptor includes an elementary stream identifier (ES_ID) of the scene descriptor and the object descriptor in the scene.
  • ES_ID elementary stream identifier
  • another content may be designated as a sub scene in the work of the scene descriptor through Inline or other methods.
  • the MPEG-4 system decoder makes it possible to render another scene designated in the main scene as a sub scene in the main scene while rendering the main scene.
  • Content authored using scene descriptors is typically packaged into a single file for management, distribution, and playback. This is because the use of the file structure provides a great advantage in content interpretation and random time access playback compared to independently operating the scene descriptor and MPEG-2 transport stream with only the link information.
  • FIG. 7 illustrates an example of an ISO based media file structure according to an embodiment of the present invention.
  • FIG. 7 illustrates a configuration example in which an MPEG-2 transport stream, which already includes a scene descriptor, such as a terrestrial DMB transport stream, is included as media when authoring a scene with the same scene descriptor and authored as an ISO-based media file.
  • a scene descriptor such as a terrestrial DMB transport stream
  • the structure of the MPEG-2 transport stream shown in FIG. 7 of the present invention is an example of a terrestrial DMB.
  • the structure of the MPEG-2 transport stream may be changed, but the basic operation is the same.
  • the ISO base file structure includes a structure of a move box including media information included and structure information for controlling the MPEG-2 transport stream and an M dot box including actual media.
  • the move box unit includes decoding information, AV access information, and synchronization information between the media, and the actual media is included in the MB box unit to perform a function of rendering at the corresponding time according to the analyzed scene information.
  • a user constructs a main scene descriptor for controlling two scenes by using a scene authoring tool and encodes a single or a plurality of MPEG-2 transport transport streams which have already been acquired into one file 700.
  • the scene is authored in the main scene descriptor of the file to control the DMB transport streams.
  • the file analysis section first decodes the structure of the move box portion of the file to grasp the structure within the file.
  • the receiver analyzes the initial object descriptor (IOD) 701 in the file to obtain the elementary stream identifier (ES_ID) of the file main scene descriptor and the object descriptor.
  • the receiver then obtains the main scene descriptor track 702 and main object descriptor track 703 information and transmits the MPEG-2 in the file as part of the main scene through interpretation of the real scene descriptor track 702 and object descriptor track 703. Notice that the streams are connected.
  • Playback order selection and start of the plurality of DMB transport streams are selected through operation of the main scene. If the DMB transport stream is selected by the user event of the scene rendered on the screen, the operation is as follows.
  • the transport stream consists of sub-scenes of the main scene.
  • the program header table and object descriptor of the transport stream can be directly included in the Track header for fast interpretation of the DMB transport stream, For reference.
  • the receiver can access the actual DMB transport stream 706 through the initial object descriptor (IOD) and object descriptor (OD) interpretation of the MPEG-2 TS track box 704.
  • IOD object descriptor
  • OD object descriptor
  • BIFS and AV of the DMB transport stream can be decoded and rendered as sub-scenes of the main scene descriptor. This operation may be equally applied even if a plurality of DMB transport streams 705 exist in a file.
  • FIG. 8 is a flowchart illustrating a procedure of a content authoring method including a media file according to an embodiment of the present invention.
  • step 801 the content authoring method receives a plurality of MPEG-2 transport streams.
  • the content authoring method constructs a scene associated with the input plurality of MPEG-2 transport streams using a scene descriptor.
  • the content authoring method may configure a scene structure and a user event associated with the plurality of MPEG-2 transport streams into the scene.
  • the scene descriptor may be extracted by analyzing the input MPEG-2 transport stream, and the scene may be configured by using the multiple scene composition method by the extracted scene descriptor.
  • the content authoring method encodes the plurality of MPEG-2 transport streams and the configured scene into a media file including a move box portion and an M dot box portion.
  • the move box unit may include structure information for controlling the media information and the MPEG-2 transport stream, including at least one of decoding information, AV access information, or synchronization information between media.
  • the M-dot box unit includes the actual media rendered at the corresponding time according to the configured scene.
  • the content authoring method is a structure for controlling the MPEG-2 transport stream, and the media file may be encoded by an M-dot box including a main scene descriptor for storing the authored scene.
  • the content authoring method includes a scene descriptor track and an object descriptor track for recognizing whether the MPEG-2 transport streams in a media file of an ISO format structure are interconnected as part of the scene through interpretation,
  • the media file may be encoded by a move box unit including an initial object descriptor for obtaining an elementary stream identifier for a scene descriptor track and an object descriptor track.
  • FIG. 9 is a flowchart illustrating a procedure of a content playback method including a media file according to an embodiment of the present invention.
  • the content reproduction method distinguishes a plurality of MPEG-2 transport streams and scenes from a media file.
  • the content reproduction method interprets a scene structure, a user event, and a rendering time from the scene, and at least one of the interpreted scene structure, the user event, or a rendering time. You can render objects based on that.
  • the content reproduction method may interpret the scene descriptor for sub scene rendering when a scene descriptor exists in the plurality of MPEG-2 transport streams.
  • the content playback method includes a structure for controlling media information and the MPEG-2 transport stream including at least one of decoding information, AV access information, or synchronization information between media from the media file. It analyzes and decodes the structure of the 'move box unit' including information and the 'm dot box unit' including actual media rendered at a corresponding time according to the divided scene.
  • step 903 the content reproduction method analyzes the plurality of MPEG-2 transport streams and extracts a PES packet.
  • step 904 the content reproduction method extracts an AV media corresponding to a media type from the extracted PES packet.
  • step 905 the content playback method decodes the AV media.
  • the content playback method outputs the decoded AV media. That is, the content reproduction method may output the decoded AV media in synchronization with each rendering time or user event manipulation by the scene renderer.
  • embodiments of the present invention include computer-readable media containing program instructions for performing various computer-implemented operations.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

BIFS(Binary Format for Scenes)나 LASeR(Lightweight application scene representation)와 같은 장면 기술자에서 복수의 MPEG-2 전송스트림을 하나의 미디어로 간주하여 장면을 구성하고, 구성된 장면과 복수의 MPEG-2 전송스트림을 ISO(International Standardization Organization) 포맷 구조의 미디어 파일로 기록하는 콘텐츠 저작장치, 상기 ISO 포맷 구조의 미디어 파일로부터 장면을 추출하여 재생하기 위한 콘텐츠 재생장치를 개시한다.

Description

장면 기술자를 이용하여 MPEG-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
본 발명의 일실시예들은 BIFS나 LASeR와 같은 장면 기술자를 이용하여 구성된 장면과 복수의 MPEG-2 전송스트림을 하나의 미디어로 간주하여 사용하는 콘텐츠 저작/재생 장치 및 방법에 관한 것이다.
국내 디지털방송이 확대되면서 기존의 단말사마다 각기 다른 타입으로 방송 프로그램을 녹화하던 방식과 더불어 MPEG-2 전송스트림을 그대로 저장하는 방식이 점차 늘어나고 있다.
IPTV(Internet Protocol Television)에서는 기존 방송 단말과의 호환을 위해 MPEG-2 전송스트림을 가공하지 않고, 기존 방송 프램그램을 IP 패킷으로 패키징하여 전송하고, 이를 단말에서 디스플레이하는 방식을 사용하기도 한다. 또한, MPEG(Moving Picture Experts Group)에서도 MPEG-2 전송스트림을 가공하지 않고 이를 파일 형태로 녹화하고 재생하기 위한 방안이 논의 되었으며, 이를 위한 파일 표준으로 ISO 기반 미디어 파일에 MPEG-2 전송스트림을 포함하는 방법이 표준화된 상태이다.
이렇게 시장에서 전송을 위한 수단이었던 MPEG-2 전송스트림을 하나의 콘텐츠처럼 유통하는 방식이 널리 사용되고 있으나, BIFS나 LASeR와 같은 장면 기술자에서는 MPEG-2 전송스트림을 수용할 수 있는 방법이 아직은 없는 상태이다.
이 때문에 장면 기술자를 사용하여 저작한 콘텐츠를 방송망에 전송하기 위해서는 지상파 DMB(Digital Multimedia Broadcasting)에서 사용하는 방법과 같이 장면 기술자로 AV 콘텐츠를 구성하고 이를 MPEG-2 다중화 시스템으로 다중화하여 MPEG-2 전송스트림을 만드는 방법을 사용하고 있다.
그러나 이러한 방법을 사용할 경우, 기존의 상용 단말내의 MPEG-2 역다중화기가 장면 기술자를 해석할 수 없는 경우, 단말들의 MPEG-2 역다중화기들을 수정해야 한다는 문제점이 있으며, MPEG-2 전송스트림이 각각 하나의 AV가 아닌 복수의 AV와 장면 기술자로 구성되어 있는 경우 기존 단말에서는 이를 수용하기 어려운 문제점이 있다.
기술한 바와 같이 장면 기술자를 이용하여 장면을 저작하고 이를 다중화 하여 MPEG-2 전송스트림을 생성하는 것은 기존 상용 단말들의 MPEG-2 역다중화기를 수정해야 하기 때문에, MPEG-2 전송스트림을 가공하지 않고 그대로 운영할 수 있다면 기존 방송 단말들과의 호환성에 있어 장점을 가질 수 있다.
그러나 MPEG-2 전송스트림은 지상파 DTV, 위성/지상파 DMB가 각기 다른 스트림 구조를 지니고 있어 각각이 호환되지 않는 문제가 있고, MPEG-2 전송스트림이 원래 저장을 목적으로 하는 구조가 아니기 때문에 유통이나 로컬 재생에 바로 사용하기에는 부족한 점이 많다.
이를 해결하기 위해 MPEG에서는 MPEG-2 전송스트림을 ISO 포맷 구조의 미디어 파일 내에 저장하는 방법을 표준화하여, MPEG-2 전송스트림을 운영할 수 있도록 하고 있다. 그러나, 이는 MPEG-2 전송스트림을 단지 ISO 기반 미디어 파일 내에 저장하는 방법을 표준화하였을 뿐이기 때문에, 장면 기술자에서 MPEG-2 전송스트림을 미디어로 간주하여 콘텐츠를 구성한 방법에 해당 파일 구조를 적용하기에는 역시 무리가 따른다.
본 발명의 일실시예는 장면 기술자를 이용하여 구성된 장면과 복수의 MPEG-2 전송스트림을 비디오나 오디오처럼 하나의 미디어 파일로 간주하여 구성하고, 구성된 미디어 파일을 원래의 MPEG-2 전송스트림으로 용이하게 재생함으로써, 대화형 기능을 수행할 수 있도록 하는 콘텐츠 저작/재생 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 콘텐츠 저작장치는 복수의 MPEG-2 전송스트림을 입력받는 미디어 입력부, 장면 기술자를 이용하여 상기 입력된 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 장면 저작부, 및 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을 이용하여, 구조 정보를 포함하는 무브(moov) 박스부와 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷(mdat) 박스부를 포함하는 하나의 미디어 파일로 부호화하는 파일 부호화부를 포함한다.
이때, 상기 엠닷 박스부는 상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보로, 상기 구성된 장면을 보관하는 메인 장면 기술자를 포함할 수 있다.
이때, 상기 무브 박스부는 상기 구성된 장면의 일부로서 상기 미디어 파일 내 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙과 객체 기술자 트랙; 및 상기 장면 기술자 트랙과 상기 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함할 수 있다.
이때, 상기 장면 저작부는 상기 입력된 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성할 수 있다.
상기 콘텐츠 저작장치는 상기 입력된 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하는 MPEG-2 TS 해석부를 더 포함할 수 있다. 이 경우, 상기 장면 저작부는 상기 추출된 장면 기술자에 의한 다중 장면(Multiple Scene) 구성 방법을 이용하여 상기 장면을 구성할 수 있다.
본 발명의 일실시예에 따른 콘텐츠 재생장치는 저장장치로부터 미디어 파일을 로딩하고, 상기 로딩된 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하고, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 상기 구분된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 파일 해석부, 상기 복수의 MPEG-2 전송스트림을 해석하여 PES(Packetized Elementary Stream) 패킷을 추출하는 MPEG-2 TS 해석부, 상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 PES 패킷 해석부, 상기 AV 미디어를 복호화하는 AV 복호화부, 및 상기 복호화된 AV 미디어를 출력하는 AV 출력부를 포함한다.
이때, 상기 파일 해석부는, 상기 미디어 파일에 장면이 포함된 경우, 장면 해석부로 전달할 수 있다. 이 경우, 상기 콘텐츠 재생장치는 상기 전달된 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하는 장면 해석부, 및 상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링하는 장면 렌더러를 더 포함할 수 있다.
이때, 상기 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우, 상기 장면 해석부는 하위장면 렌더링을 위한 상기 장면 기술자를 해석할 수 있다.
본 발명의 일실시예에 따른 콘텐츠 저작방법은 복수의 MPEG-2 전송스트림을 입력받는 단계, 장면 기술자를 이용하여 상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계, 및 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을, 미디어 파일의 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링 되는 실제 미디어를 포함하는 엠닷 박스부를 포함하는 하나의 미디어 파일로 부호화하는 단계를 포함한다.
본 발명의 일실시예에 따른 콘텐츠 재생방법은 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하는 단계, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 단계, 상기 복수의 MPEG-2 전송스트림을 해석하여 PES 패킷을 추출하는 단계, 상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 단계, 상기 AV 미디어를 복호화하는 단계, 및 상기 복호화된 AV 미디어를 출력하는 단계를 포함한다.
본 발명의 일실시예에 따르면, MPEG-2 전송스트림에 관한 장면의 구성시, 구성된 상기 장면을 하나의 미디어로 간주하여 ISO 기반 미디어 파일에 포함 함으로써, 호환성 문제의 제약 없이 상기 장면이 수신단의 단말 장치(콘텐츠 재생장치)로 전송되도록 하는 환경을 조성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 이미 MPEG-2 역다중화기를 포함하고 있는 단말 장치의 경우 기존 단말 장치의 MPEG-2 역다중화기를 수정하지 않고 장면 기술자를 처리하는 모듈을 전처리 모듈 추가만을 통해 여러 장면 언어를 처리할 수 있어 장면 기술자를 실제 상용화 모델에 적용하는 것이 용이해 질 수 있다.
또한, 본 발명의 일실시예에 따르면, MPEG-2 전송스트림을 포함하는 ISO 기반 미디어 파일을 구성할 경우, 메타데이터 복호화기 없이도 복수개의 MPEG-2 전송스트림을 하나의 파일로 운영할 수 있으며, 저장된 MPEG-2 전송스트림을 재가공하여 다양한 부가기능을 제공할 수 있는 파일을 생성할 수 있다.
일례로, 스테레오스코픽 영상을 방송하고자 할 경우 현재 DMB에서는 대역폭의 문제로 이를 제공할 수 없기 때문에 방송에서는 하나의 전송스트림 만을 전송하고, 유료 콘텐츠 형태로 좌우 전송스트림을 장면 기술자를 이용하여 구성한다면 차별화된 콘텐츠를 생성할 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 콘텐츠 저작장치를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 콘텐츠 재생장치를 도시한 블록도이다.
도 3은 장면 기술자와 AV를 포함하는 일반적인 MP4 파일 구조를 도시한 도면이다.
도 4는 BIFS를 이용하여 다중 장면을 구성하는 일례를 도시한 도면이다.
도 5는 MPEG-2 전송스트림 복호화를 위한 Decoder_Specific_Info를 정의하는 일례를 도시한 도면이다.
도 6은 장면 구성 객체들을 접근단위로 구성하여 패키징한 형태의 파일의 LASeR SAF 패킷 구조를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 ISO 기반 미디어 파일 구조의 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 저작방법의 순서를 도시한 흐름도이다.
도 9는 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 재생방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 발명은 상기 장면 기술자에서 MPEG-2 전송스트림을 입력 미디어로 사용할 수 있게 하여, 장면기술 구성에서 MPEG-2 전송스트림을 그대로 이용할 수 있게 하는 것을 해결과제로 하고 있다.
또한, 본 발명은 이미 MPEG-2 역다중화기를 포함하고 있는 단말의 경우, 기존 단말의 MPEG-2 역다중화기를 수정하지 않고 장면 기술자를 처리하는 모듈을 전처리 모듈 추가만을 통해 여러 장면 언어를 처리할 수 있어 장면 기술자를 실제 상용화 모델에 용이하게 적용하는 것을 목적하고 있다.
이러한 목적을 달성하기 위해 본 발명에 의해 MPEG-2 전송스트림을 포함하는 콘텐츠를 저작 및 재생하기 위한 일반적 구조는 다음과 같다.
본 발명은 복수의 MPEG-2 전송스트림을 입력 미디어로 사용하여 장면을 저작하고, 상기 저작된 장면을 하나의 미디어 파일에 포함하는 콘텐츠 저작장치와, 상기 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 해석하여 출력하는 콘텐츠 재생장치를 구성으로 포함한다.
도 1은 본 발명의 일실시예에 따른 콘텐츠 저작장치를 도시한 블록도이다.
도 1을 참조하면, 콘텐츠 저작장치(100)는 미디어 입력부(110), MPEG-2 TS 해석부(120), 장면 저작부(130), 파일 부호화부(140)를 포함하여 구성할 수 있다. 저장장치(150)는 도 1과 같이 콘텐츠 저작장치(100) 내에 포함되어 구성될 수 있고, 다른 실시예로서 콘텐츠 저작장치(100)와 별개의 외부에 설치될 수도 있다.
도 1의 콘텐츠 저작장치(100)는 장면 기술자를 이용하여 장면을 구성하고, 상기 구성된 장면을 미디어 파일에 배치하는 장치이다.
우선, 미디어 입력부(110)는 하나 또는 복수 개의 MPEG-2 전송스트림을, 저작을 위한 화면 상에 입력하는 기능을 수행한다. 즉, 미디어 입력부(110)는 단수 또는 복수의 MPEG-2 전송스트림을 입력 받는 기능을 수행한다. 여기서, MPEG-2 전송스트림은 장면 기술자를 포함할 수 있다.
MPEG-2 TS 해석부는(120)는 상기 입력된 MPEG-2 전송스트림에 대한 구조 및 정보를 추출하는 기능을 수행한다. 즉, MPEG-2 TS 해석부는(140)는 MPEG-2 전송스트림을 해석하여, 프로그램 맵 테이블(PMT: Program Map Table), 장면 기술자, 또는 접근 정보 중 적어도 하나를 추출할 수 있다.
장면 저작부(130)는 입력된 MPEG-2 전송스트림 및 기타 미디어를 이용하여 장면 배치 및 사용자 이벤트 등의 장면을 저작하고 이를 텍스트 또는 해석 가능한 형태로 저장하는 역할을 수행한다. 즉, 장면 저작부(130)는 상기 입력된 단일 또는 복수의 MPEG-2 전송스트림을 제어하고, 대화형 서비스 기능을 위한 장면을 구성하기 위해 장면 기술자를 이용하여 콘텐츠 내용을 구성한다.
예컨대, 장면 저작부(130)는 상기 입력된 DMB 전송스트림에 장면 기술자가 포함되지 않은 경우, 싱글 장면(single Scene) 구성기술을 이용하여 상기 MPEG-2 전송스트림을 제어하기 위한 메인장면을, 상기 장면으로서 포함시킬 수 있다.
또는, 장면 저작부(130)는 상기 입력된 MPEG-2 전송스트림에 장면 기술자가 포함되어 있는 경우, 다중 장면(Multiple Scene) 구성 기술을 이용하여 상기 MPEG-2 전송스트림을 제어하기 위한 메인장면을, 장면으로서 구성할 수 있다.
파일 부호화부(140)는 저작된 장면과 미디어로서의 MPEG-2 전송스트림 등을, 재생과 유통에 유용한 하나의 파일형태, 즉 미디어 파일로 변환하는 기능을 수행한다. 파일 부호화부(140)는 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을 이용하여, 구조 정보를 포함하는 무브(moov) 박스부와 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷(mdat) 박스부를 포함하는 하나의 미디어 파일로 부호화할 수 있다.
여기서, 상기 미디어 파일은 ISO 기반 미디어 파일일 수 있다. 즉, 파일 부호화부(140)는 상기 구성된 장면을 이후에 만들어질 ISO 파일 내에 포함시키기 위해 이진화 형태로 부호화할 수 있다.
저장장치(150)는 장면 및 MPEG-2 전송스트림을, ISO 포맷 구조의 미디어 파일에 저장하는 기능을 한다. 본 발명의 콘텐츠 저작장치(100)는 상기 구성된 장면 및 상기 입력된 MPEG-2 전송스트림을 하나의 ISO 포맷 구조의 미디어 파일 형태로 부호화하는 ISO 파일 부호화부(도시하지 않음)를 더 포함하여 구성할 수 있다. 이 경우, 저장장치(150)는 상기 부호화된 미디어 파일을 저장할 수도 있다.
콘텐츠 저작장치(100)에 의한 저작 결과는 반드시 파일 형태로 변환될 필요는 없으며 본 발명의 파일 변환 예시는 발명의 설명 편의를 위한 방안으로 제안하는 것이다.
도 2는 본 발명의 일실시예에 따른 콘텐츠 재생장치를 도시한 블록도이다.
도 2를 참조하면, 콘텐츠 재생장치(200)는 상술의 저장장치(210), 파일 해석부(220), 장면 해석부(230), 장면 렌더러(240), MPEG-2 TS 해석부(250), PES 패킷 해석부(260), AV 복호화부(270), 및 AV 출력부(280)를 포함하여 구성할 수 있다.
콘텐츠 재생장치(200)는 저장장치(210)로부터 미디어 파일 또는 기타 다른 형태의 저작된 결과를 로딩한다. 저장장치(210)는 콘텐츠 저작장치(100)에 포함되는 저장장치(150)일 수 있고, 장면을 구성하여 저작된 결과를 미디어 파일 형태로 저장하는 역할을 한다.
파일 해석부(220)는 사용자가 재생하고자 하는 미디어 파일을 저장장치(210)로부터 로딩하고, 상기 로딩된 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하고, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 상기 구분된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석한다. 즉, 파일 해석부(220)는 미디어 파일의 재생에 필요한 동작을 준비하는 역할을 수행할 수 있다.
예컨대, 파일 해석부(220)는 만약 저작 결과가 하나의 미디어 파일 형태로 저장되어, 미디어 파일 내 장면 기술자를 이용한 장면 구성이 존재하지 않는다면, MPEG-2 TS 해석부(250)를 제어하여, 파일 구조 해석을 통해 미디어 파일 내의 미디어 및 장면 저작 결과를 구분하고, 재생을 위해 해석되어야 할 미디어 파일 내의 구조를 해석하게 된다.
또는, 파일 해석부(220)는 로딩한 미디어 파일 내에 장면을 제어하기 위한 장면 기술자가 포함되어 있는 경우, 장면 해석부(230)로 전달하게 된다. 즉, 미디어 파일 내에 장면 기술자를 이용한 장면 구성이 존재한다면, 파일 해석부(220)는 장면 해석부(230)로 상기 로딩된 결과를 전달하고, 장면 해석부(230)에서 전체 장면의 구성 및 사용자 이벤트 등을 해석하게 된다.
장면 해석부(230)는 상기 미디어 파일에 렌더링하기 위한 장면이 어떻게 구성되어 있는지에 대한 장면을 파악하는 역할을 수행한다.
장면 해석부(230)를 통해 장면 구성에 대한 해석이 끝나면, 장면 렌더러(240)는 디스플레이 또는 외부 출력 장치에 해석된 장면과 해당 시간에 출력되어야 할 객체들을 렌더링 한다.
이때, 장면 구성에 MPEG-2 전송스트림이 존재하여 해석이 종료되지 않으면 MPEG-2 TS 해석부(250)는 해당 MPEG-2 전송스트림을 해석하여 각각의 PID에 해당하는 패킷을 PES 패킷 해석부(260)로 전송할 수 있다.
PES 패킷 해석부(260)는 전송된 PES(Packetized Elementary Stream) 패킷을 해석하여 각각의 미디어 타입에 맞는 미디어를 추출하여, 이를 AV 복호화부(270)로 전송하는 역할을 한다.
AV 복호화부(270)는 AV 미디어를 복호화하고, 복호화 된 미디어 데이터들을 AV 출력부(280)로 전송하는 역할을 한다. 즉, AV 복호화부(270)는 상기 분리된 AV 데이터를 복호화하고, 상기 해석된 장면에 따라 AV 출력부(280)를 통해 재생한다.
AV 출력부(280)는 장면 렌더러(240)에 의한 각각의 렌더링 시간이나 사용자 이벤트 조작을 통해 동기를 맞춰 상기 복호화된 AV 미디어를 출력하는 역할을 한다.
도 3은 장면 기술자와 AV를 포함하는 일반적인 MP4 파일 구조를 도시한 도면이다.
도 3을 참조하면, MP4 파일(300)은 ISO 기반 미디어 파일의 일종으로, DMB-AF 파일을 만드는 근간이 되는 파일 구조이며, DMB-AF(Digital Multimedia Broadcasting Application Format)와 마찬가지로 미디어 포맷들을 기술한 무브 박스부(moov, 310)와 실제 데이터들을 포함하는 엠닷 박스부(mdat, 320)로 구성된다. 미디어들의 접근정보 및 해석정보들은 무브 박스부(310)의 트랙 박스와 기타 하위박스에 포함될 수 있다. 실제 미디어들은 엠닷 박스부(320)에 포함되어 해석된 장면에 따라 해당 시간에 렌더링된다.
도 4는 BIFS를 이용하여 다중 장면을 구성하는 일례를 도시한 도면이다.
도 4를 참조하면, 콘텐츠(400)는 IOD(401), BIFS(402), OD(403), 및 AV 미디어로 구성되어 있다. 장면 기술자의 장면을 해석하기 위해서는 먼저 초기 객체 기술자(IOD: Initial Object Descripter, 401)의 해석을 먼저 수행한다. 초기 객체 기술자(401)는 장면 기술자(BIFS: Binary Format for Scenes, 402)와 장면 내의 객체 기술자(OD: Object Descripter, 403)의 기초 스트림 식별자(ES_ID)를 포함하고 있다. 복수개의 장면으로 구성된 장면에서는 장면 기술자(402)의 저작내용에 Inline 같은 방법을 통해, 다른 콘텐츠(410)를 하위장면으로 지정할 수 있다. 이에 따라, 임의의 콘텐츠 장면을 렌더링하면서 다른 콘텐츠의 장면을 그 장면의 하위 장면으로 렌더링하는 것을 가능하게 한다.
일반적으로 장면 기술자를 이용하여 저작된 결과는 장면 구성의 저작 정보와 장면구성에 사용된 미디어들이며, 장면 저작 정보에는 실제 미디어의 링크 정보가 기술되어 있다.
최초 사용자가 MPEG-4 시스템의 장면을 전달 받았을 때 해석되는 정보로는 초기 객체 기술자(401)이며, 초기 객체 기술자(401)에는 장면 구성에 필요한 초기화 정보 및 장면 정보인 장면 기술자의 기초 스트림 식별자(ES_ID) 및 장면에 렌더링 될 객체 정보인 객체 기술자(403)의 기초 스트림 식별자가 기술되어 있다.
초기 객체 기술자(401)의 기초 스트림 식별자 해석을 통해 MPEG-4 시스템 복호화기는 장면 기술자와 객체 기술자(403)의 기초 스트림 식별자를 획득할 수 있으며 획득된 ES_ID에 따라 MPEG-4 시스템 복호화기는 먼저 장면 기술자 스트림(Scene Descriptor Stream)을 해석하여 장면 구성 정보를 획득할 수 있다. 또한, 장면 내의 객체는 연결된 객체 기술자 스트림(Object Descriptor Stream)을 통해 해당 미디어 객체의 정보를 획득할 수 있다.
각각의 ES_Descriptor에는 미디어 객체의 ES_ID와 복호화 정보를 포함하고 있으며, MPEG-4 시스템 복호화기는 이를 통해 실제 미디어를 미디어 복호화기에 연결하고 장면상에 복호화된 미디어를 렌더링 하게 된다.
장면 기술자의 기본 개념은 MPEG-4 시스템과 유사하나 MPEG-4 시스템이 기존 장면 기술자들에 AV가 각각 별개의 객체로 연결되어 장면 기술자에서 제공하는 별도의 시스템을 동기화 하는 것과는 달리, 본 발명의 장면 기술자는 MPEG-2 전송스트림을 하나의 미디어로 간주하여 연결하고, 장면 기술자는 MPEG-2 전송스트림의 시작 및 정지, 임의시간 접근에 대한 처리만을 담당하며 MPEG-2 전송스트림 내의 미디어 동기화는 MPEG-2 역다중화기가 담당하게 된다.
상술한 것처럼 기존의 장면 기술자에서는 MPEG-2 전송스트림을 미디어로 처리할 수 있는 방법이 없기 때문에 이를 수용하기 위해서는 몇 가지 변경 사항이 요구된다.
먼저, 장면 기술자에서는 MPEG-2 전송스트림을 수용하기 위한 MIME Type의 정의가 필요하다.
MIME Type은 기술되어 있는 데이터의 인식자를 지칭하고, 시스템은 이를 통해 기술된 객체가 비디오 객체인지, 오디오 객체인지, 기타 다른 객체인지를 판단할 수 있다.
또한, 장면 기술자에 새로운 미디어 해석을 위해서는 미디어 해석을 위한 복호화 정보를 추가해야 하는 경우도 있다. 이를 위한 일례로 MPEG-4 시스템에서는 객체 기술자와 관련된 부분을 수정해야 하는데 객체 기술자내의 DecoderConfigDescriptor의 objectTypeIndication과 streamtype에 MPEG-2 전송스트림을 수용할 수 있도록 새로운 선언을 추가해 주어야 한다.
도 5는 MPEG-2 전송스트림 복호화를 위한 Decoder_Specific_Info를 정의하는 일례를 도시한 도면이다.
도 5를 참고하면, MPEG 장면 기술자에서 MPEG-2 전송스트림을 미디어로 간주하여 대화형 콘텐츠를 구성하기 위해서는 기존의 MPEG-4 시스템의 '객체 기술자(Object Descriptor)'관련 부분을 수정해야 하며, 특히 객체 기술자의 DecoderConfigDescriptor의 objectTypeIndication과 streamtype에 MPEG-2 전송스트림을 수용할 수 있도록 선언해 주어야 한다. 또한, MPEG-2 전송스트림을 복호화하기 위하여, DecoderSpecificInfo를 기술하며, MPEG 전송스트림을 위한 DecoderSpecifcInfo는 도시한 바와 같다.
BIFS나 LASeR의 장면 기술자로 구성된 장면인 장면 기술자를 포함하지 않는 일반적인 MPEG-2 전송스트림을 ISO 기반 파일에 저장하고, 이를 BIFS를 통해 제어하기 위해서는, 상기 기술한 것처럼 객체 기술자의 일부 항목만 바꾸면 미디어 파일 내에 MPEG-2 전송스트림의 개수가 몇개이던지 상관없이 기존의 MP4 파일방식에서 장면 기술자를 이용하여 콘텐츠를 구성하는 것과 같이 ISO 기반 미디어 파일을 생성할 수 있다.
그러나, MPEG-2 전송스트림의 경우, 이미 MPEG-2 전송스트림 내부에 초기 객체 기술자(IOD), 장면 기술자(BIFS), 객체 기술자(OD)를 포함하고 있기 때문에, 일반적인 방법으로 장면 기술자를 이용하여 장면을 구성할 경우 메인 장면 기술자 및 메인 객체 기술자와 MPEG-2 전송스트림 내에 포함되어 있는 장면 기술자, 객체 기술자가 충돌하게 된다.
이를 해결하기 위해 본 발명에서는 MPEG BIFS 및 LASeR에서 사용하는 다중 장면 구성 방법을 사용하여 장면을 구성한다.
기존 MPEG 표준의 ISO-FF(File Format)과의 호환을 위해 ISO 기반 미디어 파일 내에 정의된 MPEG-2 Sample Entry box를 참조한다. data syntax는 MPEG-2 전송스트림의 성격에 따라 추가되는 박스 내용이 달라질 수 있으며 기본적으로 추가되어야 할 data는 실제 MPEG-2 전송스트림의 PAT, 프로그램 맵 테이블(PMT) 데이터이며, 만약 MPEG-2 전송스트림에 접근하기 위해 추가 데이터가 필요하다면 새로운 데이터를 추가할 수 있다.
예컨대 MPEG-2 전송스트림이 지상파 DMB 스트림일 경우 MPEG-2 전송스트림에 임의로 접근하여 재생을 하기 위해서는 PAT, 프로그램 맵 테이블 이외에 객체 기술자, 장면 기술자 등의 해석이 필요한데, 이때 필요한 객체 기술자, 장면 기술자를 추가 데이터로 정의하면 된다.
또 다른 실시예로 MPEG LASeR에서 MPEG-2 전송스트림을 사용하기 위한 방법은 다음과 같다.
LASeR 에서는 AV 동기화 재생을 위해 SAF 또는 ISO 포맷 구조의 미디어 파일 포맷을 사용하고 있는데, SAF는 여러 다양한 네트워크 프로토콜에서 사용할 수 있도록 LASeR 언어를 이용한 장면 구성 객체들을 접근단위로 구성하여 패키징한 형태의 파일이며 그 패킷 구조를 도 6에 도시한다.
도 6은 장면 구성 객체들을 접근단위로 구성하여 패키징한 형태의 파일의 LASeR SAF 패킷 구조를 설명하기 위한 도면이다.
MPEG-4 시스템과 마찬가지로 LASeR에서 MPEG-2 전송스트림을 적용하기 위해서는 SAF 패킷 헤더에 MPEG-2 전송스트림 해석을 위한 정보를 추가해야 한다. 이를 위한 SAF Packet Header 정보 기술에 있어 본 발명에서는 기존 MPEG-2 전송스트림 내의 동기화 정보를 그대로 이용하여 SAF Packet Header를 기술하는 방법을 사용한다.
도 6의 randomaccessPointFlag 값은 MPEG-2 전송스트림 헤더의 adaptation field의 random access Indicator flag를 가져와 기술한다. 그리고 sequenceNumber는 기존 SAF 패킷 헤더 구성 방법을 그대로 이용하며 compositionTimeStamp 기술은 PES 패킷 헤더의 CTS값을 이용하는 것을 기본으로 하나, 이는 PES 패킷까지의 해석이 필요하므로 PCR 값을 이용하여 기술하는 것도 허용한다.
또한 accessUnitLength 기술은 MPEG-2 전송스트림의 비디오 PES 패킷 또는 오디오 PES 패킷의 페이로드 유닛 시작 지시부(payload unit start indicator)가 1인 패킷으로부터 다음 같은 타입의 PES의 페이로드 유닛 시작 지시부가 1인 패킷 전까지를 하나의 접속 유닛(access unit)으로 처리하는 방법을 사용하거나, MPEG-2 전송스트림의 하나의 패킷을 하나의 접속 유닛으로 처리하는 방법도 가능하다.
장면 기술자를 사용하여 미디어들을 이용한 장면 구성에는 하나 이상의 AV 미디어를 포함하는 경우가 있다. 예를 들어 MPEG-4 BIFS 및 LASeR 에서는 여러 개의 AV 미디어를 이용하여 하나의 장면을 구성하는 것을 허용하고 있다. 만약 MPEG-2 전송스트림을 미디어로 간주하여 장면 기술자 내에서 허용한다면 일반적인 MPEG-2 전송스트림일 경우라도 AV 미디어가 복수 개 입력 되어도 일반 미디어처럼 처리할 수 있다.
그러나 장면 기술자에 MPEG-2 전송스트림을 미디어로 간주하여 처리할 때 지상파 DMB와 같이 MPEG-2 전송스트림 내에 장면 기술자를 이미 포함하고 있는 경우라면, 즉 장면을 구성하는 장면 기술자와 MPEG-2 전송스트림 내에 포함되어 있는 장면 기술자가 동일 하다면, 두 개의 장면 기술자가 충돌하는 현상이 발생한다.
본 특허에서는 이러한 MPEG-2 전송스트림의 내용이 이미 장면 기술자로 구성되어 있는 경우, 상위 장면 기술자와의 충돌을 위해 Multiple Scene 구성 방법을 사용한다.
본 발명의 다른 실시예로서, 여러 개의 장면 기술자를 포함하는 다중 장면(Multiple Scene) 구성을 설명한다.
먼저 MPEG-4 Systems를 이용한 콘텐츠는 크게 초기 객체 기술자(IOD), 장면 기술자(BIFS), 객체 기술자(OD), 오디오 비주얼(AV) 미디어로 구성될 수 있다.
장면 기술자의 장면을 해석하기 위해서는 먼저 초기 객체 기술자(IOD)의 해석을 먼저 수행한다. 초기 객체 기술자에는 장면 기술자와 장면 내의 객체 기술자의 기초 스트림 식별자(ES_ID)를 포함하고 있다. 복수 개의 장면으로 구성된 장면에서는 장면 기술자의 저작내용에, Inline 또는 기타 방법을 통해 또 다른 콘텐츠를 하위 장면으로 지정할 수 있다. 이 경우 MPEG-4 시스템 복호화기는 메인 장면을 렌더링 하면서 메인 장면에서 지정한 또 다른 장면을 하위 장면으로 메인 장면 내에서 렌더링 하는 것이 가능하게 한다.
장면 기술자를 사용하여 저작된 콘텐츠는 일반적으로 관리 및 유통, 재생을 위해 하나의 파일 형태로 패키징 되는 것이 일반적이다. 이는 파일 구조를 사용하면 장면 기술자와 MPEG-2 전송스트림을 링크정보만 가지고 독립적으로 동작시키는 것에 비해 콘텐츠 해석, 임의시간 접근 재생에 큰 장점을 제공하기 때문이다.
도 7은 본 발명의 일실시예에 따른 ISO 기반 미디어 파일 구조의 일례를 도시한 도면이다.
도 7에서는 지상파 DMB 전송스트림과 같이 장면 기술자를 이미 포함하고 있는 MPEG-2 전송스트림을 동일한 장면 기술자로 장면 저작시 미디어로 포함하고 이를 ISO 기반의 미디어 파일로 저작하는 구성 예를 도시한다.
본 발명의 도 7에 나타난 MPEG-2 전송스트림 구조는 지상파 DMB에 대한 일례이며, LASeR 와 같은 다른 장면 기술자의 경우에는 MPEG-2 전송스트림의 구조는 변할 수 있으나 기본 동작은 동일하다.
ISO 기반 파일 구조는 포함되는 미디어 정보 및 상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와 실제 미디어들을 포함하는 엠닷 박스부의 구조로 구성된다. 무브 박스부에는 AV 미디어들에 대한 복호화 정보, 임의시점 접근정보 및 미디어들간의 동기화 정보가 포함되며 실제 미디어들은 엠박 박스부에 포함되어 해석된 장면 정보에 따라 해당 시간에 렌더링 되는 기능을 수행한다.
파일 저작에 있어 사용자는 이미 획득된 단일 또는 복수의 MPEG-2 전송 전송스트림을 장면 저작도구를 이용하여 두 개의 장면을 제어하기 위한 메인 장면 기술자를 구성하고 하나의 파일(700)로 부호화 한다. 파일의 메인 장면 기술자에는 DMB 전송스트림들을 제어하기 위한 구조로 장면이 저작되어 있다.
이 파일의 재생 순서로는 먼저 파일 해석부가 파일의 무브 박스부의 구조를 복호화하여 파일 내의 구조를 파악한다. 수신장치는 파일 내의 초기 객체 기술자(IOD, 701)를 해석하여 파일 메인 장면 기술자와 객체 기술자의 기초 스트림 식별자(ES_ID)를 획득한다. 수신기는 이를 통해 메인 장면 기술자 트랙(702)와 메인 객체 기술자 트랙(703) 정보를 획득하고 실제 장면 기술자 트랙(702)와 객체 기술자 트랙(703) 해석을 통해 메인 장면의 일부로 파일 내의 MPEG-2 전송스트림들이 연결되어 있음을 인지한다.
복수개의 DMB 전송스트림의 재생 순서 선택과 시작은 메인 장면의 동작을 통해 선택된다. 화면에 렌더링 된 장면의 사용자 이벤트 의해 DMB 전송스트림이 선택된다면 그 동작은 다음과 같다.
해당 전송스트림은 메인 장면의 하위 장면으로 구성되어 있으며, 먼저 DMB AF 파일 구조에서는 DMB 전송스트림의 빠른 해석을 위해 Track 헤더에 전송스트림의 프로그램 맵 테이블과 객체 기술자를 직접 포함하거나 전송스트림에서의 위치를 참조 하도록 하고 있다. 이 때문에 메인 장면 기술자에서 하위 장면을 동작 시킬 때 수신기는 MPEG-2 TS 트랙 박스(704)의 초기 객체 기술자(IOD) 및 객체 기술자(OD) 해석을 통해 실제 DMB 전송스트림(706)에 접근할 수 있으며, 또한 DMB 전송스트림의 BIFS 및 AV를 복호화 및 메인 장면 기술자의 하위 장면으로 렌더링 할 수 있다. 이러한 동작은 파일 내에 복수 개의 DMB 전송스트림(705)이 존재하더라도 동일하게 적용될 수 있다.
도 8은 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 저작방법의 순서를 도시한 흐름도이다.
도 8을 참조하면, 단계 801에서, 콘텐츠 저작방법은 복수의 MPEG-2 전송스트림을 입력받는다.
단계 802에서, 상기 콘텐츠 저작방법은 장면 기술자를 이용하여 상기 입력된 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성한다. 이때, 상기 콘텐츠 저작방법은 상기 복수의 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성할 수 있다. 또는, 상기 콘텐츠 저작방법은 상기 입력된 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하고, 상기 추출된 장면 기술자에 의한 다중 장면 구성 방법을 이용하여 상기 장면을 구성할 수 있다.
단계 803에서, 상기 콘텐츠 저작방법은 상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을, 무브 박스부와 엠닷 박스부를 포함하는 하나의 미디어 파일로 부호화한다. 실시예로, 무브 박스부는 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하여 미디어 정보 및 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 것이다. 또한, 엠닷 박스부는 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 것이다.
즉, 상기 콘텐츠 저작방법은 상기 MPEG-2 전송스트림을 제어하기 위한 구조로, 저작된 상기 장면을 보관하는 메인 장면 기술자를 포함하는 엠닷 박스부로 상기 미디어 파일을 부호화할 수 있다.
또한, 상기 콘텐츠 저작방법은 해석을 통해, 상기 장면의 일부로서 ISO 포맷 구조의 미디어 파일 내 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙 및 객체 기술자 트랙과, 해석을 통해, 상기 장면 기술자 트랙 및 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함하는 무브 박스부로 상기 미디어 파일을 부호화할 수 있다.
도 9는 본 발명의 일실시예에 따른 미디어 파일을 포함하는 콘텐츠 재생방법의 순서를 도시한 흐름도이다.
도 9을 참조하면, 단계 901에서, 콘텐츠 재생방법은 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분한다. 이때, 상기 콘텐츠 재생방법은 상기 미디어 파일에 장면이 포함된 경우, 상기 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하고, 상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링할 수 있다. 또한, 상기 콘텐츠 재생방법은 상기 복수의 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우, 하위장면 렌더링을 위한 상기 장면 기술자를 해석할 수 있다.
단계 902에서, 상기 콘텐츠 재생방법은 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하여 미디어 정보 및 상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 '무브 박스부'와, 상기 구분된 장면에 따라 해당 시간에 렌더링 되는 실제 미디어를 포함하는 '엠닷 박스부'의 구조를 해석하여 복호화한다.
단계 903에서, 상기 콘텐츠 재생방법은 상기 복수의 MPEG-2 전송스트림을 해석하여 PES 패킷을 추출한다.
단계 904에서, 상기 콘텐츠 재생방법은 상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출한다.
단계 905에서, 상기 콘텐츠 재생방법은 상기 AV 미디어를 복호화한다.
단계 906에서, 상기 콘텐츠 재생방법은 상기 복호화된 AV 미디어를 출력한다. 즉, 상기 콘텐츠 재생방법은 장면 렌더러에 의한 각각의 렌더링 시간이나 사용자 이벤트 조작을 통해 동기를 맞춰 상기 복호화된 AV 미디어를 출력할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 복수의 MPEG-2 전송스트림을 입력받는 미디어 입력부;
    장면 기술자를 이용하여 상기 입력된 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 장면 저작부; 및
    상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을 이용하여, 구조 정보를 포함하는 무브(moov) 박스부와 상기 구성된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷(mdat) 박스부를 포함하는 하나의 미디어 파일로 부호화하는 파일 부호화부
    를 포함하는 콘텐츠 저작장치.
  2. 제1항에 있어서,
    상기 엠닷 박스부는,
    상기 MPEG-2 전송스트림을 제어하기 위한 구조 정보로, 상기 구성된 장면을 보관하는 메인 장면 기술자를 포함하는, 콘텐츠 저작장치.
  3. 제1항에 있어서,
    상기 무브 박스부는,
    상기 구성된 장면의 일부로서 상기 미디어 파일 내 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙과 객체 기술자 트랙; 및
    상기 장면 기술자 트랙과 상기 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함하는, 콘텐츠 저작장치.
  4. 제1항에 있어서,
    상기 장면 저작부는,
    상기 입력된 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성하는, 콘텐츠 저작장치.
  5. 제1항에 있어서,
    상기 입력된 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하는 MPEG-2 TS 해석부
    를 더 포함하고,
    상기 장면 저작부는,
    상기 추출된 장면 기술자에 의한 다중 장면(Multiple Scene) 구성 방법을 이용하여 상기 장면을 구성하는, 콘텐츠 저작장치.
  6. 저장장치로부터 미디어 파일을 로딩하고, 상기 로딩된 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하고, 상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 상기 구분된 장면에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 파일 해석부;
    상기 복수의 MPEG-2 전송스트림을 해석하여 PES(Packetized Elementary Stream) 패킷을 추출하는 MPEG-2 TS 해석부;
    상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 PES 패킷 해석부;
    상기 AV 미디어를 복호화하는 AV 복호화부; 및
    상기 복호화된 AV 미디어를 출력하는 AV 출력부
    를 포함하는 콘텐츠 재생장치.
  7. 제6항에 있어서,
    상기 파일 해석부는, 상기 미디어 파일에 장면이 포함된 경우, 장면 해석부로 전달하고,
    상기 전달된 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하는 장면 해석부; 및
    상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링하는 장면 렌더러
    를 더 포함하는 콘텐츠 재생장치.
  8. 제7항에 있어서,
    상기 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우,
    상기 장면 해석부는,
    하위장면 렌더링을 위한 상기 장면 기술자를 해석하는, 콘텐츠 재생장치.
  9. 복수의 MPEG-2 전송스트림을 입력받는 단계;
    장면 기술자를 이용하여 상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계; 및
    상기 복수의 MPEG-2 전송스트림과 상기 구성된 장면을, 미디어 파일의 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링 되는 실제 미디어를 포함하는 엠닷 박스부를 포함하는 하나의 미디어 파일로 부호화하는 단계
    를 포함하는 콘텐츠 저작방법.
  10. 제9항에 있어서,
    미디어 파일로 부호화하는 단계는,
    상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조로, 저작된 상기 장면을 보관하는 메인 장면 기술자를 포함하는 엠닷 박스부로 상기 미디어 파일을 부호화하는 단계
    를 포함하는 콘텐츠 저작방법.
  11. 제9항에 있어서,
    미디어 파일로 부호화하는 단계는,
    상기 장면의 일부로서 ISO 포맷 구조의 미디어 파일 내 복수의 MPEG-2 전송스트림 간에 상호 연결되는지를 인지하기 위한 장면 기술자 트랙 및 객체 기술자 트랙과, 상기 장면 기술자 트랙과 상기 객체 기술자 트랙에 대한 기초 스트림 식별자를 획득하기 위한 초기 객체 기술자를 포함하는 무브 박스부로 상기 미디어 파일을 부호화하는 단계
    를 포함하는 콘텐츠 저작방법.
  12. 제9항에 있어서,
    상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계는,
    상기 복수의 MPEG-2 전송스트림과 연관된 장면구조 및 사용자 이벤트를 상기 장면으로 구성하는 단계
    를 포함하는 콘텐츠 저작방법.
  13. 제9항에 있어서,
    상기 복수의 MPEG-2 전송스트림과 관련하는 장면을 구성하는 단계는,
    상기 복수의 MPEG-2 전송스트림을 해석하여 상기 장면 기술자를 추출하는 단계; 및
    상기 추출된 장면 기술자에 의한 다중 장면 구성 방법을 이용하여 상기 장면을 구성하는 단계
    를 포함하는 콘텐츠 저작방법.
  14. 미디어 파일로부터 복수의 MPEG-2 전송스트림과 장면을 구분하는 단계;
    상기 미디어 파일로부터 AV 미디어에 대한 복호화 정보, 임의시점 접근정보, 또는 미디어 간의 동기화 정보 중 적어도 하나를 포함하는 미디어 정보 및 상기 복수의 MPEG-2 전송스트림을 제어하기 위한 구조 정보를 포함하는 무브 박스부와, 해석된 장면 정보에 따라 해당 시간에 렌더링되는 실제 미디어를 포함하는 엠닷 박스부의 구조를 해석하는 단계;
    상기 복수의 MPEG-2 전송스트림을 해석하여 PES 패킷을 추출하는 단계;
    상기 추출된 PES 패킷으로부터 미디어 타입에 해당하는 AV 미디어를 추출하는 단계;
    상기 AV 미디어를 복호화하는 단계; 및
    상기 복호화된 AV 미디어를 출력하는 단계
    를 포함하는 콘텐츠 재생방법.
  15. 제14항에 있어서,
    상기 미디어 파일에 장면이 포함된 경우, 상기 장면으로부터 장면구조, 사용자 이벤트, 및 렌더링 시간을 해석하는 단계; 및
    상기 해석된 상기 장면구조, 사용자 이벤트, 또는 렌더링 시간 중 적어도 하나에 기초하여 객체들을 렌더링하는 단계
    를 더 포함하는 콘텐츠 재생방법.
  16. 제14항에 있어서,
    상기 MPEG-2 전송스트림에 장면 기술자가 존재하는 경우,
    하위장면 렌더링을 위한 상기 장면 기술자를 해석하는 단계
    를 더 포함하는 콘텐츠 재생방법.
PCT/KR2010/007018 2009-12-22 2010-10-14 장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법 WO2011078470A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/518,598 US20120269256A1 (en) 2009-12-22 2010-10-14 Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2009-0128603 2009-12-22
KR20090128603 2009-12-22
KR1020100029007A KR101324427B1 (ko) 2009-12-22 2010-03-31 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
KR10-2010-0029007 2010-03-31

Publications (2)

Publication Number Publication Date
WO2011078470A2 true WO2011078470A2 (ko) 2011-06-30
WO2011078470A3 WO2011078470A3 (ko) 2011-10-13

Family

ID=44201182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/007018 WO2011078470A2 (ko) 2009-12-22 2010-10-14 장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2011078470A2 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056034A (ko) * 2001-12-27 2003-07-04 삼성전자주식회사 엠펙 데이터의 수신 장치, 엠펙 데이터 송수신시스템 및송수신방법
KR20030056103A (ko) * 2001-12-27 2003-07-04 한국전자통신연구원 엠펙-4 장면 기술자를 이용한 엠펙-2 비디오의 특정 영역활성화 장치 및 그 방법
KR20040107879A (ko) * 2003-06-14 2004-12-23 엘지전자 주식회사 디지털 멀티미디어 방송 서비스 방법 및 ｄｍｂ 수신기
KR20080089119A (ko) * 2007-03-30 2008-10-06 삼성전자주식회사 Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056034A (ko) * 2001-12-27 2003-07-04 삼성전자주식회사 엠펙 데이터의 수신 장치, 엠펙 데이터 송수신시스템 및송수신방법
KR20030056103A (ko) * 2001-12-27 2003-07-04 한국전자통신연구원 엠펙-4 장면 기술자를 이용한 엠펙-2 비디오의 특정 영역활성화 장치 및 그 방법
KR20040107879A (ko) * 2003-06-14 2004-12-23 엘지전자 주식회사 디지털 멀티미디어 방송 서비스 방법 및 ｄｍｂ 수신기
KR20080089119A (ko) * 2007-03-30 2008-10-06 삼성전자주식회사 Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법

Also Published As

Publication number Publication date
WO2011078470A3 (ko) 2011-10-13

Similar Documents

Publication Publication Date Title
US6535919B1 (en) Verification of image data
US7831127B2 (en) Combining video material and data
KR101516325B1 (ko) Ｉｓｏ 기반 미디어 파일 포맷으로 ｍｐｅｇ－２전송스트림을 저장 및 재생하는 방법 및 장치
CN104094540B (zh) 服务使用报告数据传输
US20080212672A1 (en) Method and apparatus for delivery of metadata synchronized to multimedia contents
WO2018070244A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
RU2687065C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
JP3898674B2 (ja) Ｄｔｖストリーム生成のための情報を貯蔵する情報貯蔵媒体、ｄｔｖストリーム変換方法及びその装置
KR101324427B1 (ko) 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
WO2011078470A2 (ko) 장면 기술자를 이용하여 mpeg-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
US20050036757A1 (en) Method for converting a video and/or an audio data flow
KR20200014284A (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램
JP4575882B2 (ja) Ａｖコンテンツをダウンロード型のファイル形式で配信する方法および装置
Ward et al. Seamless splicing for MPEG-2 transport stream video servers
WO2017164551A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011132973A2 (en) Method and apparatus for transmitting and receiving service discovery information in multimedia transmission system and file structure for the same
KR100455313B1 (ko) 엠펙-4 시스템을 이용한 디지털 방송 프로그램 구성요소의 구간별 보호 장치 및 그 방법
WO2015056842A1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조
WO2016204502A1 (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
EP3493548B1 (en) Transmission device, transmission method, reception device, and reception method
EP3429217B1 (en) Information processing device, information processing method, and program
KR102130733B1 (ko) 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치
WO2011090348A2 (ko) 컨텐츠 파일 생성/재생 장치 및 방법
Mai et al. Real-time DVB-MHP to blu-ray system information transcoding
WO2016036012A1 (ko) 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10839667

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13518598

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10839667

Country of ref document: EP

Kind code of ref document: A2