WO2009134085A2 - 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치 - Google Patents

슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
WO2009134085A2
WO2009134085A2 PCT/KR2009/002274 KR2009002274W WO2009134085A2 WO 2009134085 A2 WO2009134085 A2 WO 2009134085A2 KR 2009002274 W KR2009002274 W KR 2009002274W WO 2009134085 A2 WO2009134085 A2 WO 2009134085A2
Authority
WO
WIPO (PCT)
Prior art keywords
super frame
additional signal
frame
audio signal
signal
Prior art date
Application number
PCT/KR2009/002274
Other languages
English (en)
French (fr)
Other versions
WO2009134085A3 (ko
Inventor
이용주
서정일
백승권
장대영
강경옥
홍진우
임종수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN2009801058948A priority Critical patent/CN102763364A/zh
Priority to EP09738991.0A priority patent/EP2276192A4/en
Publication of WO2009134085A2 publication Critical patent/WO2009134085A2/ko
Publication of WO2009134085A3 publication Critical patent/WO2009134085A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present invention relates to a method and apparatus for transmitting and receiving a multichannel audio signal, and more particularly, to a method and apparatus for transmitting and receiving a multichannel audio signal using a super frame.
  • the multichannel audio is divided into down-mixed stereo audio signals and additional signals and encoded.
  • the downmixed stereo audio signal is encoded according to an audio encoding method such as Advanced Audio Coding (AAC), Bit Sliced Arithmetic Coding (BSAC), or the like according to its application.
  • AAC Advanced Audio Coding
  • BSAC Bit Sliced Arithmetic Coding
  • DMB Digital Multimedia Broadcasting
  • PDA mobile phone
  • car receiver a terminal such as a mobile phone, PDA, car receiver.
  • the DMB only supports stereo audio.
  • Recently, research on a method of providing multi-channel audio by extending it has been made.
  • one of the most important things in providing a multi-channel audio service in stereo-based DMB is to be able to efficiently transmit data while maintaining backward compatibility with existing stereo-based DMB services.
  • Multi-channel audio has a higher data rate than stereo audio, but DMB has a disadvantage in that the data rate is very low compared to media such as DTV.
  • the DMB uses MPEG-2 TS (Transport Stream).
  • ES Elementary Streams
  • different PIDs For this reason, even if the output rate of the ES is low, the output rate of the TS may occur.
  • the data rate of the ES is not high.
  • the output rate of the TS is more than twice the output rate of the ES. Can be large. Therefore, in order to transmit multichannel audio through DMB, there is a need for a method of efficiently packetizing and transmitting multichannel audio so as not to increase the data rate while maintaining backward compatibility with existing DMB.
  • the audio object may be mono or stereo.
  • DTV Digital TeleVision
  • DVD Digital Versatile Disc
  • the coding technique is a good coding method for backward compatible service of multichannel audio. That is, when the downmixed stereo signal and the additional signal are separated by encoding the multichannel audio signal, the downmixed stereo signal can be used with the existing stereo audio based service.
  • a method of using such a multichannel audio encoding method has been proposed to provide a multichannel audio service through DMB.
  • the multichannel audio is divided into a downmixed stereo signal and an additional signal and transmitted.
  • the downmix stereo signal is encoded by BSAC or AAC for backward compatibility with the existing DMB, and the additional signal is assumed to be an additional ES and packetized for each additional signal frame and transmitted.
  • the additional signal when the additional signal is packetized for each frame and transmitted, the data rate in the DMB is relatively high.
  • the increase in data rate due to the additional signal occurs because the additional signal undergoes TS packetization every frame, and at least one TS packet must be transmitted to transmit the additional signal of one frame.
  • An object of the present invention is to provide a method and apparatus for transmitting and receiving multi-channel audio signals more efficiently by lowering data rates in a broadcasting environment such as DMB.
  • Another object of the present invention is to provide a method and apparatus for transmitting / receiving multichannel audio, which provides compatibility capable of displaying mono or stereo audio for a terminal capable of playing multichannel audio as well as a terminal that is not capable of playing. do.
  • the present invention provides a method and apparatus for transmitting and receiving multi-channel audio that can perform more accurate transmission and reception of the additional signal frame and synchronization with the downmix audio signal using the number information and length information of the additional signal frame included in the superframe. Another purpose is to provide.
  • an apparatus for transmitting a multichannel audio signal comprising: a multichannel audio downmixer for receiving a multichannel audio signal and converting the multichannel audio signal into a downmix audio signal and an additional signal; And a super frame generator for generating a super frame and a packetizer for packetizing the super frame, wherein the super frame includes information on the number and length of additional signal frames included in the super frame.
  • the present invention provides an apparatus for receiving a multi-channel audio signal, comprising: a receiving unit for receiving a packet including a super frame, a depacketizing unit for depacketizing the received packet to obtain a super frame included in the packet and a super packet included in the packet And a super frame analyzer configured to obtain a plurality of additional signal frames included in the super frame by using the number information and the length information of the included additional signal frame.
  • the present invention also provides a method for transmitting a multichannel audio signal, comprising: receiving a multichannel audio signal and converting the multichannel audio signal into a downmix audio signal and an additional signal; generating a superframe including a plurality of additional signal frames; And packetizing the frame, wherein the super frame includes the number information and the length information of the additional signal frame included in the super frame.
  • the present invention provides a method for receiving a multi-channel audio signal, the method comprising the steps of: receiving a packet including a super frame, depacketizing the received packet to obtain a super frame included in the packet and included in the super frame
  • the method may further include obtaining a plurality of additional signal frames included in the super frame by using the number information and the length information of the added additional signal frame.
  • the multi-channel audio signal can be transmitted and received more efficiently by lowering the data rate in a broadcasting environment such as DMB.
  • the present invention has the advantage of providing a compatibility capable of displaying mono or stereo audio for a terminal capable of playing multi-channel audio as well as a terminal that is not capable of reproduction.
  • the present invention has the advantage that the transmission and reception of the additional signal frame and synchronization with the downmix audio signal more accurate by using the number information and length information of the additional signal frame included in the superframe.
  • FIG. 1 is a block diagram of a multi-channel audio transmission apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a multi-channel audio transmission apparatus according to another embodiment of the present invention.
  • FIGS. 1 and 2 are configuration diagrams of an embodiment of the super frame generation unit shown in FIGS. 1 and 2;
  • FIG. 4 is a block diagram of a super frame packetized by a multi-channel audio transmission apparatus according to another embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of transmitting a multichannel audio signal according to the present invention.
  • FIG. 6 is a block diagram of a multi-channel audio receiving apparatus according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of a multi-channel audio receiving apparatus according to another embodiment of the present invention.
  • FIGS. 6 and 7 are configuration diagrams of an embodiment of the super frame analyzer shown in FIGS. 6 and 7.
  • FIG. 9 is a flowchart illustrating a method of receiving a multichannel audio signal according to the present invention.
  • FIG. 1 is a block diagram of a multi-channel audio transmission apparatus according to an embodiment of the present invention.
  • the apparatus for transmitting multichannel audio includes a multichannel audio downmixer 102, a stereo audio encoder 104, a super frame generator 106, and a video encoder. 108, a packetizer 110, and a multiplexer 112.
  • the multi-channel audio transmission apparatus may further include a transmission unit for transmitting the generated stream.
  • the multichannel audio down mixer 102 receives a multichannel audio signal and converts the received multichannel audio signal into a stereo audio signal and an additional signal. Then, the multi-channel audio down mixer 102 provides a stereo audio signal to the stereo audio encoder 104 and an additional signal to the super frame generator 106, respectively. In another embodiment of the present invention, the multi-channel audio down mixer 102 may convert the received multi-channel audio signal into a mono audio signal and an additional signal.
  • the stereo audio encoder 104 generates an audio elementary stream (ES) by compressing and encoding a stereo audio signal provided from the multichannel audio down mixer 102 and provides it to the packetizer 110.
  • ES audio elementary stream
  • the super frame generator 106 receives an additional signal from the multi-channel audio down mixer 102 and generates one super frame (or an additional signal ES in the form of a super frame) including a plurality of frames of the provided additional signal. do.
  • the additional signal herein refers to a signal indicating additional information for multichannel audio such as spatial information of the multichannel audio signal.
  • the super frame generator 106 determines how many additional signal frames are to be included in the super frame to be generated, and generates a super frame according to the result.
  • the super frame generation unit 106 may include a plurality of additional signal frames within a range not exceeding the length, in accordance with a predetermined length (eg, 150 bytes) of the super frame.
  • the number of additional signal frames (for example, three additional signal frames) to be included in the super frame may be determined in advance regardless of the length of the super frame, and a super frame including the predetermined number of additional signal frames may be generated.
  • the number of additional signal frames to be included in such a super frame may vary depending on an environment in which multichannel audio is transmitted and received, a transmission standard, a reproduction standard, and other system settings.
  • the generated super frame may include information on the number of additional signal frames and length information on the additional signal frames included in the super frame.
  • the number information and the length information are used to receive the corresponding super frame at the receiving side and to obtain an accurate additional signal from the super frame.
  • the super frame generation unit 106 will be described later in more detail.
  • the video encoder 108 receives the video signal, encodes the video signal, generates a video ES, and provides the video ES to the packetizer 110.
  • the packetizing unit 110 is an audio / video signal such as an audio ES, an additional signal ES in a super frame form, and a video ES, and signaling such as an object descriptor (OD), binary format for scene (BIFS), and an initial object descriptor (IOD).
  • OD object descriptor
  • BIFS binary format for scene
  • IOD initial object descriptor
  • the packetizing unit 110 includes the reproduction time information in the packetized super frame, which is used to synchronize the stereo audio signal and the additional signal when the receiver reproduces the stereo audio signal.
  • the packetizer 110 may set the reproduction time of the additional signal frame that is reproduced first in time among the plurality of additional signal frames included in the super frame as the reproduction time information of the corresponding super frame. The reproduction time information will be described later in more detail.
  • the audio packet, the additional signal packet, the video packet, and the signaling information packet generated through the packetizer 110 are provided to the multiplexer 112.
  • the multiplexer 112 multiplexes the received packets to generate a stream such as MPEG-2 TS.
  • the generated MPEG-2 TS standard stream is transmitted to a playback device or a storage device through a broadcast service such as DMB.
  • FIG. 2 is a block diagram of a multi-channel audio transmission apparatus according to another embodiment of the present invention.
  • the multichannel audio transmission apparatus includes a multichannel audio downmixer 202, a downmix audio encoder 204, a superframe generator 206, and video encoding. Section 208, OD generator 210, BIFS generator 212, IOD generator 214, SL packetizer 216, PES packetizer 218, 14496 section packetizer 220, PSI section The packetizer 222 and the TS multiplexer 224 are included.
  • the multi-channel audio transmission apparatus may further include a transmitter for transmitting the generated stream.
  • the multichannel audio downmixer 202 encodes an input multichannel audio signal to generate a downmixed audio signal and an additional signal downmixed to mono or stereo.
  • the multichannel audio downmixer 202 then provides the generated downmix audio signal to the downmix audio encoder 204 and the additional signal to the super frame generator 206, respectively.
  • the downmix audio encoder 204 compresses and encodes a downmix audio signal provided from the multichannel audio downmixer 202 to generate an audio ES, and provides it to the SL packetizer 216.
  • the super frame generator 206 receives an additional signal from the multichannel audio down mixer 202 and generates one super frame (or an additional signal ES in the form of a super frame) including a plurality of frames of the provided additional signal. do.
  • the generated super frame is provided to the SL packetizer 216.
  • the video encoder 208 receives the video signal, encodes the video signal, generates a video ES, and provides the video ES to the SL packetizer 216.
  • the OD generator 210 and the BIFS generator 212 generate an OD stream and a BIFS stream, respectively, and provide the generated stream to the SL packetizer 216.
  • the IOD generator 214 generates IOD data using the IOD text data input from the outside and provides the IOD data to the PSI section packetizer 222.
  • the SL packetizer 216 generates a SL (Synchronization Layer) packet, which is a synchronization packet between input media streams (audio ES, additional signal ES, video ES, OD stream, and BIFS stream).
  • the audio SL packet, the additional signal SL packet, and the video SL packet generated by the SL packetizer 216 are provided to the PES packetizer 218, and the OD SL packet and the BIFS SL packet are provided to the 14496 section packetizer 220. do.
  • the SL packetizer 216 includes the reproduction time information (CTS: Composition Time Stamp) of the super frame in the header of the additional signal SL packet.
  • CTS Composition Time Stamp
  • This reproduction time information is used to perform synchronization between the mono / stereo audio signal to be reproduced and the additional signal when the multichannel audio receiving device receives and reproduces multichannel audio.
  • the SL packetizer 216 may set the reproduction time of the additional signal frame that is reproduced first in time among the plurality of additional signal frames included in the super frame as the reproduction time information of the super frame. have. For example, if three additional signal frames included in a super frame each have playback times of 1:10:45 (1 hour 10 minutes 45 seconds), 1:10:46, and 1:10:47, The playback time information of the frame is set to 1:10:45.
  • the reproduction time of the additional signal frame which is first reproduced in time among the plurality of additional signal frames included in the super frame, is reproduced (1:10: 45), the reproduction time (1:10:46, 1:10:47) of the remaining two additional signal frames can be set according to the pre-calculated time interval (1 second).
  • the audio SL packet, the additional signal SL packet, and the video SL packet generated by the SL packetizer 216 are provided to the PES packetizer 218.
  • the PES packetizer 218 converts the provided audio SL packet, the additional signal SL packet, and the video SL packet into an audio PES packet, an additional signal PES packet, and a video PES packet, respectively, and provide the same to the TS multiplexer 224.
  • the OD SL packet and the BIFS SL packet generated by the SL packetizer 216 are provided to the 14496 section packetizer 22.
  • the 14496 section packetizer 220 converts the provided OD SL packet and BIFS SL packet into OD 14496 section packet and BIFS 14496 section packet, respectively, and provides them to the TS multiplexer 224.
  • the PSI section packetizer 222 generates a PSI section including IOD data provided from the IOD generator 214 and provides the PSI section to the TS multiplexer 224.
  • the TS multiplexer 224 multiplexes the provided audio PES packet, additional signal PES packet, video PES packet, OD 14496 section packet, BIFS 14496 section packet, and PSI section packet to form an MPEG-2 transport stream (TS).
  • TS MPEG-2 transport stream
  • FIGS. 1 and 2 are configuration diagrams of an embodiment of the super frame generator shown in FIGS. 1 and 2.
  • the super frame generation unit 302 includes a super frame generation control unit 304.
  • the super frame generation controller 304 receives an additional signal from the multi-channel audio down mixer and generates one super frame (or an additional signal ES in the form of a super frame) including a plurality of frames of the provided additional signal.
  • the super frame generation controller 304 determines how many additional signal frames are to be included in the super frame to be generated, and generates a super frame according to the result. Since this content has been described with reference to FIG. 1, a detailed description thereof will be omitted.
  • the generated super frame may include information on the number of additional signal frames and length information on the additional signal frames included in the super frame.
  • the number information and the length information are used to receive the corresponding super frame at the receiving side and to obtain an accurate additional signal from the super frame.
  • Table 1 shows the grammar of a multi-channel audio additional signal super frame according to an embodiment of the present invention.
  • Frame_number represents the number of multichannel audio additional signal frames included in one super frame.
  • Frame_length represents the length of the multi-channel audio additional signal frame in bytes
  • Frame_payload represents the multi-channel audio additional signal.
  • the super frame in addition to the additional signal represented by Frame_payload, the super frame includes number information (Frame_number) indicating how many additional signal frames are included in the corresponding super frame.
  • the super frame includes length information (Frame_length) indicating the length or size of each additional signal frame included in the super frame.
  • Table 2 shows the syntax of the multi-channel audio additional signal super frame according to another embodiment of the present invention.
  • the super frame according to another embodiment of the present invention further includes a padding bit in addition to Frame_number, Frame_length, and Frame_payload.
  • the padding bit is used for byte alignment of the additional signal frame included in the super frame.
  • the additional information frame is input in units of bytes. If only some bits of one byte of the additional information frame are input, padding bits may be used to fill the remaining bits into one byte. Since byte alignment is well known in the art to which the present invention pertains, details thereof will be omitted.
  • FIG. 4 is a block diagram of a super frame packetized by a multi-channel audio transmission apparatus according to another embodiment of the present invention.
  • the super frame packet shown in FIG. 4 is a super frame generated by the super frame generator of the multichannel audio transmitter shown in FIG. 2 through SL packetization, PES packetization, TS multiplexing, and the like.
  • TS header 402 is generated by TS multiplexing
  • PES header 404 by PES packetization
  • SL header 406 by SL packetization.
  • Frame number information 408, first frame length information 410, first frame payload 412, second frame length information 414, second frame payload 416,... Etc. are all included in the super frame generated by the super frame generation unit.
  • the frame number information 408 and the frame length information 410 and 414 included in the super frame packet are used by the multichannel audio receiving apparatus to obtain a plurality of additional signal frames by analyzing the corresponding super frame packet.
  • FIG. 5 is a flowchart illustrating a method of transmitting a multichannel audio signal according to the present invention.
  • a multi-channel audio signal is received and converted into a downmix audio signal and an additional signal (S502), and a super frame including a plurality of additional signal frames is generated (S504).
  • the super frame may include the number information and the length information of the additional signal frame included in the super frame, and may further include a padding bit.
  • the generated super frame is packetized (S506), and the packetized super frame is transmitted (S508).
  • the packetized super frame may include reproduction time information for synchronization with the downmix audio signal.
  • the reproduction time information may be set to a reproduction time of the additional signal frame that is reproduced first in time among the plurality of additional signal frames included in the super frame.
  • FIG. 6 is a block diagram of a multi-channel audio receiving apparatus according to an embodiment of the present invention.
  • the multichannel audio receiver includes a demultiplexer 602, a depacketizer 604, a stereo audio decoder 606, a super frame analyzer 608, The video decoder 610 and the multichannel audio generator 612 are included.
  • the multi-channel audio receiving apparatus may further include a receiving unit for receiving a stream such as an MPEG-2 TS.
  • the demultiplexer 602 demultiplexes a stream received through the receiver to separate an audio packet, an additional signal packet, a video packet, and a signaling information packet, and provide the depacketizer 604 to the depacketizer 604.
  • the depacketizer 604 converts an audio packet provided from the demultiplexer 602 into an audio ES, an additional signal packet into an additional signal ES (super frame), and a video packet into a video ES, respectively.
  • the depacketizer 604 depackets the signaling information packet to generate signaling information such as OD, BIFS, and IOD.
  • the stereo audio decoder 606 generates a stereo audio signal by decoding the audio ES, and provides it to the multichannel audio generator 612.
  • the stereo audio signal generated by the stereo audio decoder 606 may not be used to produce multichannel audio, but may be reproduced directly as stereo audio itself. If the signal generated by the multichannel audio downmixer 102 of the multichannel audio transmitter is a mono audio signal, a mono audio signal may be generated in the audio ES.
  • the super frame analyzer 608 analyzes the super frame (or additional signal ES) to obtain a plurality of additional signal frames included in the super frame. At this time, the super frame analyzer 608 uses the number information and the length information of the additional signal frame included in the super frame. The super frame analyzer 608 may first determine how many additional signal frames to acquire through the number information, and may accurately separate the additional signal frames from the super frame through the length information of each additional signal frame.
  • the super frame analyzer 608 sets a reproduction time of the acquired plurality of additional signal frames.
  • the additional signal generates multi-channel audio together with the corresponding stereo audio signal, which requires synchronization between the additional signal and the stereo audio signal. It is the reproduction time information of the additional signal frame that is used for such synchronization.
  • the multichannel audio generator 612 may receive a stereo audio signal and generate multichannel audio using an additional signal having the same reproduction time as the stereo audio signal.
  • the super frame analyzer 608 first acquires reproduction time information included in the super frame in order to set reproduction time information of the plurality of additional signal frames.
  • the reproduction time information of the super frame is set as the reproduction time of the additional signal frame which is reproduced first in time among the plurality of additional signal frames.
  • the reproduction time of the remaining additional signal frame is determined using a pre-calculated time interval.
  • the reproduction time of the first additional signal frame of the three additional signal frames included in the super frame is 1:10:45 (1 hour 10 minutes 45 seconds), and the time interval between each additional signal frame is' 1. If set to seconds, the playback times of the second and third additional signal frames will be 1:10:46 and 1:10:47, respectively.
  • This time interval can be determined by several methods. For example, if the frame rate of the video / audio signal is 30 frames per second in the multichannel audio transmission apparatus, since the additional signal frame will also have a frame rate of 30 frames per second, the time interval between the additional signal frames is 1 It can be calculated as / 30 seconds.
  • the multichannel audio generator 612 generates a multichannel audio by receiving a stereo audio signal provided from the stereo audio decoder 504 and an additional signal in units of frames provided from the super frame analyzer 608.
  • the video decoder 610 receives and decodes the video ES provided from the depacketizer 604 to generate a video.
  • FIG. 7 is a block diagram of a multi-channel audio receiving apparatus according to another embodiment of the present invention.
  • the apparatus for receiving a multichannel audio includes a TS demultiplexer 702, a PES depacketizer 704, a 14496 section depacketizer 706, and a PSI section depacketizer.
  • Decoder 708, SL Depacketizer 710, Downmix Audio Decoder 712, Super Frame Analyzer 714, Video Decoder 716, OD Decoder 718, BIFS Decoder 720, IOD A decoder 722 and a multichannel audio generator 724 are included.
  • the multi-channel audio receiving apparatus may further include a receiving unit for receiving a stream such as an MPEG-2 TS.
  • the TS demultiplexer 702 demultiplexes the MPEG-2 TS received through the receiver to generate an audio PES packet, an additional signal PES packet, a video PES packet, an OD 14496 section packet, a BIFS 14496 section packet, and a PSI section packet. .
  • the TS demultiplexer 702 provides the generated audio PES packet, the additional signal PES packet, and the video PES packet to the PES depacketizer 704.
  • the TS demultiplexer 702 provides the OD 14496 section packet, the BIFS 14496 section packet to the 14496 section depacketizer 706, and the PSI section packet to the PSI section depacketizer 708, respectively.
  • the PES depacketizer 704 depackets the audio PES packet, the additional signal PES packet, and the video PES packet provided from the TS demultiplexer 702 and converts the audio PES packet, the additional signal SL packet, and the video SL packet, respectively. do.
  • the 14496 section depacketizer 706 depackets the OD 14496 section packet and the BIFS 14496 section packet provided from the TS demultiplexer 702 and converts the OD 14496 section packet into an OD SL packet and a BIFS SL packet, respectively.
  • the PSI section depacketizer 708 depackets and decodes the PSI section packet provided from the TS demultiplexer 702 to generate IOD data, and provides the IOD data to the IOD decoder 722.
  • the SL depacketizer 710 depackets the audio SL packet, the additional signal SL packet, and the video SL packet provided from the PES depacketizer 704 to the audio ES, the additional signal ES (super frame), and the video ES, respectively. Convert. In addition, the SL depacketizer 710 depackets the OD SL packet and the BIFS SL packet provided from the 14496 section depacketizer 706 and converts the OD SL packet and the BIFS stream into OD stream and BIFS stream, respectively.
  • the downmix audio decoder 712 decodes the audio ES provided from the SL depacketizer 710 to generate a downmix audio signal, and provides it to the multichannel audio generator 724.
  • the downmix audio signal generated by the downmix audio decoder 712 may be directly reproduced as the downmix audio itself instead of being used to produce multichannel audio.
  • the downmix audio signal generated by the downmix audio decoder 712 may be a stereo or mono audio signal.
  • the super frame analyzer 714 analyzes the super frame (or additional signal ES) to obtain a plurality of additional signal frames included in the super frame. At this time, the super frame analyzer 714 uses the number information and the length information of the additional signal frame included in the super frame. The super frame analyzer 714 may first determine how many additional signal frames need to be acquired through the number information, and may accurately separate the additional signal frames from the super frame through the length information of each additional signal frame.
  • the super frame analyzer 714 sets a reproduction time of the acquired plurality of additional signal frames.
  • the reproduction time of each additional signal frame is used for synchronization when the multichannel audio generation unit 724 generates the multichannel audio using the downmix audio signal and the additional signal.
  • the super frame analyzer 714 first acquires reproduction time information included in the super frame in order to set reproduction time information of the plurality of additional signal frames.
  • the reproduction time information of the super frame is set as the reproduction time of the additional signal frame which is reproduced first in time among the plurality of additional signal frames.
  • the reproduction time of the remaining additional signal frame is determined using a pre-calculated time interval. Since the reproduction time setting method has been described with reference to FIG. 6, a detailed description thereof will be omitted.
  • the video decoder 716 decodes the video ES provided from the SL depacketizer 710 and converts the video ES into a video.
  • the OD decoder 718 decodes the provided OD stream
  • the BIFS decoder 720 decodes the provided BIFS stream into BIFS.
  • the IOD decoder 722 decodes the provided IOD data.
  • the multichannel audio generator 724 receives the downmix audio signal provided from the downmix audio decoder 712 and the additional signal of the frame unit provided from the super frame analyzer 714 to generate multichannel audio.
  • FIG. 8 is a configuration diagram of an embodiment of the super frame analyzer shown in FIGS. 6 and 7.
  • the super frame analyzer 802 includes a super frame analyzer 804.
  • the super frame analysis controller 804 analyzes the provided super frame to generate a plurality of additional signals.
  • the super frame analysis control unit 804 obtains a plurality of additional signals using the number information and the length information of the additional signal frames included in the super frame. Since the method of using the number information and the length information has been mentioned above, a detailed description thereof will be omitted.
  • the super frame analysis control unit 804 sets the reproduction time of the obtained plurality of additional signal frames.
  • the super frame analysis control unit 804 obtains the reproduction time information of the super frame, and sets the obtained reproduction time information as the reproduction time of the additional signal frame which is reproduced first in time among the plurality of additional signal frames.
  • the reproduction time of the remaining additional signal frames is set using the precomputed time interval. Since the reproduction time setting method of the additional signal frame has been described above by way of example, a detailed description thereof will be omitted.
  • FIG. 9 is a flowchart illustrating a method of receiving a multichannel audio signal according to the present invention.
  • a packet including a super frame is received (S902).
  • the received packet is depacketized to obtain a super frame included in the received packet (S904).
  • the obtained super frame may include padding bits for byte alignment of the additional signal frame.
  • the plurality of additional signal frames included in the super frame are obtained using the number information and the length information of the additional signal frames included in the super frame (S906).
  • the reproduction time information of the obtained plurality of additional signal frames is set (S908).
  • the reproduction time information setting step (S908) first, the reproduction time information of the super frame included in the received packet is obtained, and the reproduction time information of the additional signal frame is first reproduced in time among the plurality of additional signal frames. Set to. Then, the reproduction time of the remaining additional signal frame is set using the precomputed time interval.
  • the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art.
  • the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention.
  • the recording medium includes all types of computer-readable recording media (tangible media such as CD and DVD as well as intangible media such as carrier waves).

Abstract

본 발명은 멀티채널 오디오 신호를 송수신하는 방법 및 장치에 관한 것이다. 본 발명의 멀티채널 오디오 신호를 송신하는 장치는, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부, 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 슈퍼 프레임 생성부 및 슈퍼 프레임을 패킷화하는 패킷화부를 포함하고, 슈퍼 프레임은 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함한다. 본 발명에 의하면 DMB와 같은 방송 환경에서 데이터 전송률을 낮춤으로써 보다 효율적으로 멀티채널 오디오 신호를 송수신할 수 있는 효과가 있다.

Description

슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치
본 발명은 멀티채널 오디오 신호를 송수신하는 방법 및 장치에 관한 것으로, 보다 상세하게는 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치에 관한 것이다.
최근 멀티채널 오디오를 부호화 하는 방법에 대한 연구가 많이 이루어지고 있다. MPEG-서라운드 기술에서도 이러한 멀티채널 오디오의 부/복호화 방식에 대한 표준화가 이루어지고 있는데, 멀티채널 오디오를 다운믹스(down-mix)된 스테레오 오디오 신호와 부가 신호로 나누어서 부호화 하는 방법을 사용하고 있다. 이때, 다운믹스된 스테레오 오디오 신호는 그 응용에 맞게 AAC(Advanced Audio Coding), BSAC(Bit Sliced Arithmetic Coding) 등과 같은 오디오 부호화 방법에 따라 부호화 된다.
한편, DMB(Digital Multimedia Broadcasting)는 이동 환경에서 수신이 가능한 멀티미디어 서비스로서, 휴대폰, PDA, 차량용 수신기 등과 같은 단말을 통해 서비스가 이루어지고 있다. 이러한 DMB에서는 스테레오 오디오만을 지원하고 있는데, 최근 이를 확장하여 멀티채널 오디오를 제공하는 방법에 대한 연구가 이루어지고 있다. 이와 같이 스테레오 기반의 DMB에서 멀티채널 오디오 서비스를 제공함에 있어 가장 중요한 것 중 하나는, 기존의 스테레오 기반의 DMB 서비스와의 역호환성을 유지하면서, 효율적으로 데이터를 전송할 수 있어야 한다는 것이다.
멀티채널 오디오는 스테레오 오디오에 비해 데이터율이 높은 특징이 있는데, DMB는 DTV 등과 같은 매체와 비교하였을 때 전송율이 매우 낮다는 단점이 있다. 특히 DMB 에서는 MPEG-2 TS(Transport Stream)를 사용하고 있는데, MPEG-2 시스템 규격에서는 서로 다른 ES(Elementary Stream)은 서로 다른 PID를 가지도록 규정하고 있다. 이러한 이유로, ES의 출력율이 낮더라도 TS의 출력율은 높은 경우가 발생할 수 있다. 앞서 기술하였던 멀티채널 오디오의 부호화로 생성된 부가 신호의 경우 ES의 데이터율은 높지 않으나, 이를 매 프레임마다 TS로 패킷화하여 전송하는 경우, 그 TS의 출력율은 ES의 출력율보다 2배 이상 커질 수 있다. 따라서 DMB를 통해 멀티채널 오디오를 전송하기 위해서는 기존의 DMB와 역호환성을 유지하면서도 데이터율이 지나치게 높아지지 않도록 효율적으로 멀티채널 오디오를 패킷화하여 전송하는 방법이 필요하다.
DMB 서비스에서는 주영상 및 주음성 서비스를 위해서는 하나의 비디오 객체 및 하나의 오디오 객체를 전송하도록 규정하고 있는데, 이 때 오디오 객체는 모노 또는 스테레오일 수 있다. 최근 멀티미디어 기술의 발전으로 인해 DTV(Digital TeleVision), DVD(Digital Versatile Disc) 등에서는 멀티채널 오디오 서비스를 많이 제공하고 있으며, 이러한 멀티채널 오디오 서비스에 대한 사용자의 요구도 증가하고 있다. 이러한 추세에 따라 DMB를 통해 멀티채널 오디오를 제공하기 위한 기술 개발이 최근 이루어지고 있다. DMB에서는 모노 또는 스테레오 오디오를 BSAC 또는 AAC 등으로 부호화하여 전송하고 있는데, 멀티채널 오디오의 전송을 위해서는 추가적인 데이터의 전송이 필요하게 되어 기존의 전송 방법을 수정하여야 한다.
한편, MPEG-서라운드, SSLCC(Sound Source Location Cue Coding) 등과 같은 멀티채널 부호화 방법에서는 멀티채널 오디오를 다운믹스 스테레오 신호와 부가 신호로 분리하여 전송 및 재생하는 방식에 대한 표준화가 이루어졌는데, 이러한 멀티채널 부호화 기술은 멀티채널 오디오를 역호환성 있게 서비스하기 위한 좋은 부호화 방법이라 할 수 있다. 즉, 멀티채널 오디오 신호를 부호화하여 다운믹스 스테레오 신호와 부가신호를 분리하면, 다운믹스 스테레오 신호를 기존의 스테레오 오디오 기반의 서비스와 호환성 있게 사용할 수 있게 된다.
DMB를 통하여 멀티채널 오디오 서비스를 제공하기 위해 이러한 멀티채널 오디오 부호화 방법을 사용하는 방법이 제안되었는데, 이 방법에서도 멀티채널 오디오를 다운믹스 스테레오 신호와 부가 신호로 나누어 전송하고 있다. 이때, 다운믹스 스테레오 신호는 기존의 DMB와의 역호환성을 위해 BSAC 또는 AAC 등으로 부호화하고, 부가 신호는 추가적인 ES로 가정하여 각 부가 신호 프레임별로 패킷화를 수행하여 전송하는 방법을 사용하고 있다.
그러나 이와 같이 부가 신호를 프레임별로 패킷화하여 전송하는 경우, DMB에서의 데이터 전송률은 상대적으로 높아지게 된다. 이러한 부가 신호로 인한 데이터전송률의 증가는 부가 신호가 매 프레임마다 TS 패킷화 과정을 거치기 때문에 발생하는 것으로, 한 프레임의 부가 신호를 전송하기 위하여 최소한 하나 이상의 TS 패킷이 전송되어야 하기 때문이다.
본 발명은 DMB와 같은 방송 환경에서 데이터 전송률을 낮춤으로써 보다 효율적으로 멀티채널 오디오 신호를 송수신할 수 있는 방법 및 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은 멀티채널 오디오의 재생이 가능한 단말기는 물론 재생이 가능하지 않은 단말기에 대해서도 모노 또는 스테레오 오디오를 시현할 수 있는 호환성을 제공하는 멀티채널 오디오의 송수신 방법 및 장치를 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 슈퍼프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여 보다 정확한 부가 신호 프레임의 송수신 및 다운믹스 오디오 신호와의 동기화를 수행할 수 있는 멀티채널 오디오의 송수신 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 멀티채널 오디오 신호를 송신하는 장치에 있어서, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부, 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 슈퍼 프레임 생성부 및 슈퍼 프레임을 패킷화하는 패킷화부를 포함하고, 슈퍼 프레임은 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 수신하는 장치에 있어서, 슈퍼 프레임을 포함하는 패킷을 수신하는 수신부, 수신한 패킷을 역패킷화하여 패킷에 포함된 슈퍼 프레임을 획득하는 역패킷화부 및 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 슈퍼 프레임 분석부를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 송신하는 방법에 있어서, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 단계, 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 단계 및 슈퍼 프레임을 패킷화하는 단계를 포함하고, 슈퍼 프레임은 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 수신하는 방법에 있어서, 슈퍼 프레임을 포함하는 패킷을 수신하는 단계, 수신한 패킷을 역패킷화하여 상기 패킷에 포함된 슈퍼 프레임을 획득하는 단계 및 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 상기 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 단계를 포함하는 것을 또 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, DMB와 같은 방송 환경에서 데이터 전송률을 낮춤으로써 보다 효율적으로 멀티채널 오디오 신호를 송수신할 수 있는 장점이 있다.
또한 본 발명은 멀티채널 오디오의 재생이 가능한 단말기는 물론 재생이 가능하지 않은 단말기에 대해서도 모노 또는 스테레오 오디오를 시현할 수 있는 호환성을 제공하는 장점이 있다.
또한 본 발명은 슈퍼프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여 보다 정확한 부가 신호 프레임의 송수신 및 다운믹스 오디오 신호와의 동기화를 수행할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 의한 멀티채널 오디오 송신 장치의 구성도.
도 2는 본 발명의 다른 실시예에 의한 멀티채널 오디오 전송 장치의 구성도.
도 3은 도 1 및 도 2에 나타난 슈퍼 프레임 생성부의 일 실시예의 구성도.
도 4는 본 발명의 다른 실시예에 의한 멀티채널 오디오 송신 장치에 의해 패킷화된 슈퍼 프레임의 구성도.
도 5는 본 발명에 의한 멀티채널 오디오 신호 송신 방법을 설명하기 위한 순서도.
도 6은 본 발명의 일 실시예에 의한 멀티채널 오디오 수신 장치의 구성도.
도 7은 본 발명의 다른 실시예에 의한 멀티채널 오디오 수신 장치의 구성도.
도 8은 도 6 및 도 7에 나타난 슈퍼 프레임 분석부의 일 실시예의 구성도.
도 9는 본 발명에 의한 멀티채널 오디오 신호 수신 방법을 설명하기 위한 순서도.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 의한 멀티채널 오디오 송신 장치의 구성도이다.
도 1에 나타난 바와 같이, 본 발명의 일 실시예에 의한 멀티채널 오디오 송신 장치는 멀티채널 오디오 다운믹서부(102), 스테레오 오디오 부호화부(104), 슈퍼 프레임 생성부(106), 비디오 부호화부(108), 패킷화부(110) 및 다중화부(112)를 포함한다. 도 1에는 도시되지 않았으나, 멀티채널 오디오 송신 장치는 생성된 스트림을 송신하기 위한 송신부를 더 포함할 수 있다.
멀티채널 오디오 다운믹서부(102)는 멀티채널 오디오 신호를 입력받고, 입력받은 멀티채널 오디오 신호를 스테레오 오디오 신호와 부가 신호로 변환한다. 그리고 나서, 멀티채널 오디오 다운믹서부(102)는 스테레오 오디오 신호를 스테레오 오디오 부호화부(104)에, 부가 신호를 슈퍼 프레임 생성부(106)에 각각 제공한다. 본 발명의 다른 실시예에서, 멀티채널 오디오 다운믹서부(102)는 입력받은 멀티채널 오디오 신호를 모노 오디오 신호와 부가 신호로 변환할 수도 있다.
스테레오 오디오 부호화부(104)는 멀티채널 오디오 다운믹서부(102)로부터 제공된 스테레오 오디오 신호를 압축하고 부호화하여 오디오 ES(Elementary Stream)를 생성하고, 이를 패킷화부(110)에 제공한다.
슈퍼 프레임 생성부(106)는 멀티채널 오디오 다운믹서부(102)로부터 부가 신호를 제공받고, 제공된 부가 신호의 복수 개의 프레임을 포함하는 하나의 슈퍼 프레임(또는 슈퍼 프레임 형태의 부가 신호 ES)을 생성한다. 여기서 부가 신호란, 멀티채널 오디오 신호의 공간 정보 등 멀티채널 오디오를 위한 부가 정보를 나타내는 신호를 말한다.
슈퍼 프레임 생성부(106)는 생성될 슈퍼 프레임에 몇 개의 부가 신호 프레임을 포함시킬 것인지를 판단하고, 그 결과에 따라 슈퍼 프레임을 생성한다. 슈퍼 프레임 생성부(106)는 미리 결정된 슈퍼 프레임의 길이(예를 들면, 150 바이트)에 맞추어, 그 길이를 넘지 않는 범위 내에서 복수 개의 부가 신호 프레임을 포함시킬 수 있다. 또는, 슈퍼 프레임의 길이와 관계 없이 슈퍼 프레임에 포함될 부가 신호 프레임의 개수(예를 들면, 3개의 부가 신호 프레임)를 미리 정하고, 그 정해진 개수의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성할 수도 있다. 이러한 슈퍼 프레임에 포함될 부가 신호 프레임의 개수는 멀티채널 오디오가 송수신 되고 재생되는 환경, 전송 규격, 재생 규격, 그 밖의 시스템 설정 등에 의해 달라질 수 있다.
한편, 생성된 슈퍼 프레임에는 그 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 부가 신호 프레임들의 길이 정보가 포함될 수 있다. 이러한 개수 정보 및 길이 정보는 수신측에서 해당 슈퍼 프레임을 전송받고 그 슈퍼 프레임으로부터 정확한 부가 신호를 획득하는 데 이용된다. 슈퍼 프레임 생성부(106)에 대해서는 뒤에서 보다 자세히 설명한다.
비디오 부호화부(108)는 비디오 신호를 입력받아 부호화하여 비디오 ES를 생성하고 이를 패킷화부(110)로 제공한다.
패킷화부(110)는 오디오 ES, 슈퍼 프레임 형태의 부가 신호 ES, 비디오 ES와 같은 오디오/비디오 신호와, OD(Object Descriptor), BIFS(BInary Format for Scene), IOD(Initial Object Descriptor)와 같은 시그널링 정보를 수신하여 패킷화한다. 여기서 OD는 객체를 구성하는 ES_ID(Elementary Stresm ID)를 알려주며, BIFS는 화면에 객체를 배치하는 역할을 한다. 그리고 IOD는 관련된 모든 스트림의 첫 접근지점으로 OD나 BIFS의 ES_ID를 알려주는 역할을 한다.
한편, 패킷화부(110)에서는 패킷화된 슈퍼 프레임에 재생 시각 정보를 포함시키는데, 이 재생 시각 정보는 수신 측에서 스테레오 오디오 신호를 재생할 때, 스테레오 오디오 신호와 부가 신호를 동기화 시키기 위해 이용된다. 패킷화부(110)는 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각을 해당 슈퍼 프레임의 재생 시각 정보로 설정할 수 있다. 재생 시각 정보에 대해선는 뒤에서 보다 자세히 설명한다.
패킷화부(110)를 통해 생성된 오디오 패킷, 부가 신호 패킷, 비디오 패킷, 시그널링 정보 패킷은 다중화부(112)에 제공된다. 다중화부(112)는 제공받은 패킷들을 다중화하여 MPEG-2 TS(Transport Stream)와 같은 스트림을 생성한다. 이렇게 생성된 MPEG-2 TS 규격의 스트림은 DMB 등의 방송 서비스를 통해 재생 장치 또는 저장 장치로 전송된다.
도 2는 본 발명의 다른 실시예에 의한 멀티채널 오디오 전송 장치의 구성도이다.
도 2에 나타난 바와 같이, 본 발명의 다른 실시예에 의한 멀티채널 오디오 전송 장치는 멀티채널 오디오 다운믹서부(202), 다운믹스 오디오 부호화부(204), 슈퍼 프레임 생성부(206), 비디오 부호화부(208), OD 생성부(210), BIFS 생성부(212), IOD 생성부(214), SL 패킷화부(216), PES 패킷화부(218), 14496 섹션 패킷화부(220), PSI 섹션 패킷화부(222), TS 다중화부(224)를 포함한다. 도 2에는 도시되지 않았으나, 멀티채널 오디오 송신 장치는 생성된 스트림을 송신하기 위한 송신부를 더 포함할 수 있다.
멀티채널 오디오 다운믹서부(202)는 입력되는 멀티채널 오디오 신호를 부호화하여 모노 또는 스테레오로 다운믹스된 다운믹스 오디오 신호와 부가 신호를 생성한다. 그리고 나서, 멀티채널 오디오 다운믹서부(202)는 생성된 다운믹스 오디오 신호를 다운믹스 오디오 부호화부(204)에, 부가 신호를 슈퍼 프레임 생성부(206)에 각각 제공한다.
다운믹스 오디오 부호화부(204)는 멀티채널 오디오 다운믹서부(202)로부터 제공된 다운믹스 오디오 신호를 압축하고 부호화하여 오디오 ES를 생성하고, 이를 SL 패킷화부(216)에 제공한다.
슈퍼 프레임 생성부(206)는 멀티채널 오디오 다운믹서부(202)로부터 부가 신호를 제공받고, 제공된 부가 신호의 복수 개의 프레임을 포함하는 하나의 슈퍼 프레임(또는 슈퍼 프레임 형태의 부가 신호 ES)을 생성한다. 생성된 슈퍼 프레임은 SL 패킷화부(216)에 제공된다. 그리고 비디오 부호화부(208)는 비디오 신호를 입력받아 부호화하여 비디오 ES를 생성하고, 이를 SL 패킷화부(216)에 제공한다.
OD 생성부(210) 및 BIFS 생성부(212)는 각각 OD 스트림과 BIFS 스트림을 생성하고, 생성된 스트림을 SL 패킷화부(216)에 제공한다. IOD 생성부(214)는 외부로부터 입력받은 IOD 텍스트 데이터를 이용하여 IOD 데이터를 생성하여 PSI 섹션 패킷화부(222)에 제공한다.
SL 패킷화부(216)는 입력되는 각 미디어 스트림(오디오 ES, 부가 신호 ES, 비디오 ES, OD 스트림, BIFS 스트림)간의 동기화 패킷인 SL(Synchronization Layer) 패킷을 생성하는 역할을 한다. SL 패킷화부(216)에 의해 생성된 오디오 SL 패킷, 부가 신호 SL 패킷, 비디오 SL 패킷은 PES 패킷화부(218)에 제공되며, OD SL 패킷과 BIFS SL 패킷은 14496 섹션 패킷화부(220)에 제공된다.
한편, SL 패킷화부(216)는 부가 신호 ES를 부가 신호 SL 패킷으로 변환하는 과정에서, 부가 신호 SL 패킷의 헤더에 슈퍼 프레임의 재생 시각 정보(CTS : Composition Time Stamp)를 포함시킨다. 이 재생 시각 정보는 멀티채널 오디오 수신 장치에서 멀티채널 오디오를 수신하고 재생할 때, 재생될 모노/스테레오 오디오 신호와 부가 신호 간의 동기화를 수행하는 데 이용된다.
슈퍼 프레임의 재생 시각 정보를 설정할 때, SL 패킷화부(216)는 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각을 슈퍼 프레임의 재생 시각 정보로 설정할 수 있다. 예를 들어 어떤 슈퍼 프레임에 포함된 3개의 부가 신호 프레임이 각각 1:10:45(1시간 10분 45초), 1:10:46, 1:10:47의 재생 시각을 갖는다면, 이 슈퍼 프레임의 재생 시각 정보는 1:10:45로 설정된다. 이러한 슈퍼 프레임을 포함한 패킷을 전송받은 멀티채널 오디오 수신 장치에서는 슈퍼 프레임의 재생 시각 정보를 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각(1:10:45)으로 설정하고, 미리 계산된 시간 간격(1초)에 따라서 나머지 2개의 부가 신호 프레임의 재생 시각(1:10:46, 1:10:47)을 설정할 수 있다.
SL 패킷화부(216)에 의해 생성된 오디오 SL 패킷, 부가신호 SL 패킷, 비디오 SL 패킷은 PES 패킷화부(218)에 제공된다. PES 패킷화부(218)는 제공된 오디오 SL 패킷, 부가신호 SL 패킷, 비디오 SL 패킷을 각각 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷으로 변환하여 TS 다중화부(224)에 제공한다.
SL 패킷화부(216)에 의해 생성된 OD SL 패킷과 BIFS SL 패킷은 14496 섹션 패킷화부(22)에 제공된다. 14496 섹션 패킷화부(220)는 제공된 OD SL 패킷과 BIFS SL 패킷을 각각 OD 14496 섹션 패킷과 BIFS 14496 섹션 패킷으로 변환하여 TS 다중화부(224)에 제공한다.
PSI 섹션 패킷화부(222)는 IOD 생성부(214)로부터 제공된 IOD 데이터를 포함하는 PSI 섹션을 생성하여 TS 다중화부(224)에 제공한다.
TS 다중화부(224)는 제공된 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷, OD 14496 섹션 패킷, BIFS 14496 섹션 패킷, PSI 섹션 패킷을 다중화하여 MPEG-2 트랜스포트 스트림(TS : Transport Stream)을 생성한다. 이렇게 생성된 MPEG-2 TS는 송신부를 통해 멀티채널 오디오 수신 장치로 송신될 수 있다.
도 3은 도 1 및 도 2에 나타난 슈퍼 프레임 생성부의 일 실시예의 구성도이다.
도 3에 나타난 바와 같이, 슈퍼 프레임 생성부(302)는 슈퍼 프레임 생성 제어부(304)를 포함한다. 슈퍼 프레임 생성 제어부(304)는 멀티채널 오디오 다운믹서부로부터 부가 신호를 제공받고, 제공된 부가 신호의 복수 개의 프레임을 포함하는 하나의 슈퍼 프레임(또는 슈퍼 프레임 형태의 부가 신호 ES)을 생성한다. 이 때, 슈퍼 프레임 생성 제어부(304)는 생성될 슈퍼 프레임에 몇 개의 부가 신호 프레임을 포함시킬 것인지를 판단하고, 그 결과에 따라 슈퍼 프레임을 생성한다. 이러한 내용은 도 1을 통해 설명한 바 있으므로 여기서는 자세한 설명을 생략한다.
한편, 생성된 슈퍼 프레임에는 그 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 부가 신호 프레임들의 길이 정보가 포함될 수 있다. 이러한 개수 정보 및 길이 정보는 수신측에서 해당 슈퍼 프레임을 전송받고 그 슈퍼 프레임으로부터 정확한 부가 신호를 획득하는 데 이용된다. 표 1은 본 발명의 일 실시예에 의한 멀티채널 오디오 부가 신호 슈퍼 프레임의 문법을 나타낸다.
표 1
Figure PCTKR2009002274-appb-T000001
표 1에서, Frame_number는 하나의 슈퍼 프레임에 포함되는 멀티채널 오디오 부가 신호 프레임의 수를 나타낸다. 그리고 Frame_length는 멀티채널 오디오 부가 신호 프레임의 길이를 바이트 단위로 나타내며, Frame_payload는 멀티채널 오디오 부가 신호를 나타낸다. 표 1에 나타난 바와 같이, 슈퍼 프레임에는 Frame_payload로 표현되는 부가 신호 외에도, 해당 슈퍼 프레임에 몇 개의 부가 신호 프레임이 포함되어 있는지를 나타내는 개수 정보(Frame_number)가 포함된다. 또한 슈퍼 프레임에는 해당 슈퍼 프레임에 포함된 각 부가 신호 프레임의 길이 또는 크기를 나타내는 길이 정보(Frame_length)가 포함된다.
표 2는 본 발명의 다른 실시예에 의한 멀티채널 오디오 부가 신호 슈퍼 프레임의 문법을 나타낸다.
표 2
Figure PCTKR2009002274-appb-T000002
표 2에 나타난 바와 같이, 본 발명의 다른 실시예에 의한 슈퍼 프레임에는 Frame_number, Frame_length, Frame_payload 외에 패딩 비트(Padding bit)가 더 포함된다. 패딩 비트는 슈퍼 프레임에 포함되는 부가 신호 프레임의 바이트 정렬(Byte align)에 이용된다. 보통 부가 정보 프레임은 바이트(Byte) 단위로 입력되는데, 만약 부가 정보 프레임의 한 바이트의 일부 비트(Bit)만이 입력된 경우, 나머지 비트를 채워 한 바이트로 만들기 위하여 패딩 비트가 이용될 수 있다. 바이트 정렬은 본 발명이 속하는 분야에서 널리 알려진 내용이므로 자세한 내용은 생략한다.
도 4는 본 발명의 다른 실시예에 의한 멀티채널 오디오 송신 장치에 의해 패킷화된 슈퍼 프레임의 구성도이다.
도 4에 나타난 슈퍼 프레임 패킷은 도 2에 나타난 멀티채널 오디오 송신 장치의 슈퍼 프레임 생성부에 의해 생성된 슈퍼 프레임이 SL 패킷화, PES 패킷화, TS 다중화 등을 거쳐 생성된 것이다. 도 4에서, TS 헤더(402)는 TS 다중화에 의해, PES 헤더(404)는 PES 패킷화에 의해, 그리고 SL 헤더(406)는 SL 패킷화에 의해 각각 생성된 것이다. 그리고 프레임 개수 정보(408), 제 1프레임 길이 정보(410), 제 1프레임 페이로드(412), 제 2프레임 길이 정보(414), 제 2프레임 페이로드(416), … 등은 모두 슈퍼 프레임 생성부에 의해 생성된 슈퍼 프레임에 포함된다. 이러한 슈퍼 프레임 패킷에 포함된 프레임 개수 정보(408), 프레임 길이 정보(410, 414)는 멀티채널 오디오 수신 장치에서 해당 슈퍼 프레임 패킷을 분석하여 복수 개의 부가 신호 프레임을 획득하는데 이용된다.
도 5는 본 발명에 의한 멀티채널 오디오 신호 송신 방법을 설명하기 위한 순서도이다.
먼저 멀티 채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하고(S502), 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성한다(S504). 이 때 슈퍼 프레임은 해당 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하며, 패딩 비트를 더 포함할 수도 있다.
그리고 나서 생성된 슈퍼 프레임을 패킷화 하고(S506), 패킷화된 슈퍼 프레임을 송신한다(S508). 이 때 패킷화된 슈퍼 프레임은 다운믹스 오디오 신호와의 동기화를 위한 재생 시각 정보를 포함할 수 있다. 재생 시각 정보는 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정될 수 있다.
도 6은 본 발명의 일 실시예에 의한 멀티채널 오디오 수신 장치의 구성도이다.
도 6에 나타난 바와 같이, 본 발명의 일 실시예에 의한 멀티채널 오디오 수신 장치는 역다중화부(602), 역패킷화부(604) 스테레오 오디오 복호화부(606), 슈퍼 프레임 분석부(608), 비디오 복호화부(610), 멀티채널 오디오 생성부(612)를 포함한다. 도 6에는 도시되지 않았으나, 멀티채널 오디오 수신 장치는 MPEG-2 TS와 같은 스트림을 수신하기 위한 수신부를 더 포함할 수 있다.
역다중화부(602)는 수신부를 통해 수신된 스트림을 역다중화하여 오디오 패킷, 부가 신호 패킷, 비디오 패킷, 시그널링 정보 패킷을 분리하고 이를 역패킷화부(604)에 제공한다.
역패킷화부(604)는 역다중화부(602)로부터 제공된 오디오 패킷을 오디오 ES로, 부가 신호 패킷을 부가 신호 ES(슈퍼 프레임)로, 비디오 패킷을 비디오 ES로 각각 변환한다. 그리고 역패킷화부(604)는 시그널링 정보 패킷을 역패킷화하여 OD, BIFS, IOD와 같은 시그널링 정보를 생성한다.
스테레오 오디오 복호화부(606)는 오디오 ES를 복호화하여 스테레오 오디오 신호를 생성하고, 이를 멀티채널 오디오 생성부(612)에 제공한다. 스테레오 오디오 복호화부(606)에 의해 생성된 스테레오 오디오 신호는 멀티채널 오디오를 만드는 데 이용되지 않고 곧바로 스테레오 오디오 자체로서 재생될 수도 있다. 만약 멀티채널 오디오 송신 장치의 멀티채널 오디오 다운믹서부(102)에 의해 생성된 신호가 모노 오디오 신호인 경우에는 오디오 ES에서 모노 오디오 신호가 생성될 수 있을 것이다.
슈퍼 프레임 분석부(608)는 슈퍼 프레임(또는 부가 신호 ES)를 분석하여 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득한다. 이 때, 슈퍼 프레임 분석부(608)는 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용한다. 슈퍼 프레임 분석부(608)는 개수 정보를 통해 획득해야 할 부가 신호 프레임이 몇 개인지 먼저 파악하고, 각각의 부가 신호 프레임의 길이 정보를 통해 슈퍼 프레임으로부터 부가 신호 프레임을 정확하게 분리할 수 있다.
한편, 슈퍼 프레임 분석부(608)는 획득한 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 역할을 한다. 부가 신호는 그에 대응되는 스테레오 오디오 신호와 함께 멀티채널 오디오를 생성하는데, 이를 위해서는 부가 신호와 스테레오 오디오 신호 간의 동기화가 필요하다. 이러한 동기화를 위해 이용되는 것이 부가 신호 프레임의 재생 시각 정보이다. 멀티채널 오디오 생성부(612)에서는 스테레오 오디오 신호를 입력받고, 이 스테레오 오디오 신호와 동일한 재생 시각을 갖는 부가 신호를 이용하여 멀티채널 오디오를 생성할 수 있다.
슈퍼 프레임 분석부(608)는 복수 개의 부가 신호 프레임의 재생 시각 정보를 설정하기 위해, 먼저 슈퍼 프레임에 포함된 재생 시각 정보를 획득한다. 그리고 이 슈퍼 프레임의 재생 시각 정보를, 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 첫 번째 부가 신호 프레임의 재생 시각이 결정되면, 나머지 부가 신호 프레임의 재생 시각은 미리 계산된 시간 간격을 이용하여 결정된다.
예를 들어, 슈퍼 프레임에 포함된 3개의 부가 신호 프레임 중 첫 번째 부가 신호 프레임의 재생 시각이 1:10:45(1시간 10분 45초)이고, 각각의 부가 신호 프레임간의 시간 간격이 '1초'로 정해져 있다면, 두 번째와 세 번째 부가 신호 프레임의 재생 시각은 각각 1:10:46, 1:10:47이 될 것이다. 이러한 시간 간격은 여러 가지 방법에 의해 결정될 수 있다. 예를 들어, 멀티채널 오디오 송신 장치에서 비디오/오디오 신호의 프레임 률(frame rate)이 초당 30 프레임이라면, 부가 신호 프레임 또한 초당 30 프레임의 프레임 률을 갖게 될 것이므로, 부가 신호 프레임간의 시간 간격은 1/30초로 계산될 수 있을 것이다.
멀티채널 오디오 생성부(612)는 스테레오 오디오 복호화부(504)로부터 제공된 스테레오 오디오 신호와 슈퍼 프레임 분석부(608)로부터 제공된 프레임 단위의 부가 신호를 수신하여 멀티채널 오디오를 생성한다. 그리고 비디오 복호화부(610)는 역패킷화부(604)로부터 제공된 비디오 ES를 수신하고 복호화하여 비디오를 생성한다.
도 7은 본 발명의 다른 실시예에 의한 멀티채널 오디오 수신 장치의 구성도이다.
도 7에 나타난 바와 같이, 본 발명의 다른 실시예에 의한 멀티채널 오디오 수신 장치는 TS 역다중화부(702), PES 역패킷화부(704), 14496 섹션 역패킷화부(706), PSI 섹션 역패킷화부(708), SL 역패킷화부(710), 다운믹스 오디오 복호화부(712), 슈퍼 프레임 분석부(714), 비디오 복호화부(716), OD 디코더(718), BIFS 디코더(720), IOD 디코더(722), 멀티채널 오디오 생성부(724)를 포함한다. 도 7에는 도시되지 않았으나, 멀티채널 오디오 수신 장치는 MPEG-2 TS와 같은 스트림을 수신하기 위한 수신부를 더 포함할 수 있다.
TS 역다중화부(702)는 수신부를 통해 수신된 MPEG-2 TS를 역다중화하여 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷, OD 14496 섹션 패킷, BIFS 14496 섹션 패킷, PSI 섹션 패킷을 생성한다. TS 역다중화부(702)는 생성된 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷을 PES 역패킷화부(704)에 제공한다. 그리고 TS 역다중화부(702)는 OD 14496 섹션 패킷, BIFS 14496 섹션 패킷을 14496 섹션 역패킷화부(706)에, PSI 섹션 패킷을 PSI 섹션 역패킷화부(708)에 각각 제공한다.
PES 역패킷화부(704)는 TS 역다중화부(702)로부터 제공받은 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷을 역패킷화하여 각각 오디오 SL 패킷, 부가 신호 SL 패킷, 비디오 SL 패킷으로 변환한다.
14496 섹션 역패킷화부(706)는 TS 역다중화부(702)로부터 제공받은 OD 14496 섹션 패킷, BIFS 14496 섹션 패킷을 역패킷화하여 각각 OD SL 패킷, BIFS SL 패킷으로 변환한다.
PSI 섹션 역패킷화부(708)는 TS 역다중화부(702)로부터 제공받은 PSI 섹션 패킷을 역패킷화하고 디코딩하여 IOD 데이터를 생성하고, 이를 IOD 디코더(722)에 제공한다.
SL 역패킷화부(710)는 PES 역패킷화부(704)로부터 제공받은 오디오 SL 패킷, 부가 신호 SL 패킷, 비디오 SL 패킷을 역패킷화하여 각각 오디오 ES, 부가 신호 ES(슈퍼 프레임), 비디오 ES로 변환한다. 또한 SL 역패킷화부(710)는 14496 섹션 역패킷화부(706)로부터 제공받은 OD SL 패킷, BIFS SL 패킷을 역패킷화하여 각각 OD 스트림, BIFS 스트림으로 변환한다.
다운믹스 오디오 복호화부(712)는 SL 역패킷화부(710)로부터 제공받은 오디오 ES를 복호화하여 다운믹스 오디오 신호를 생성하고, 이를 멀티채널 오디오 생성부(724)에 제공한다. 다운믹스 오디오 복호화부(712)에 의해 생성된 다운믹스 오디오 신호는 멀티채널 오디오를 만드는 데 이용되지 않고 곧바로 다운믹스 오디오 자체로서 재생될 수도 있다. 다운믹스 오디오 복호화부(712)에 의해 생성된 다운믹스 오디오 신호는 스테레오 또는 모노 오디오 신호일 수 있다.
슈퍼 프레임 분석부(714)는 슈퍼 프레임(또는 부가 신호 ES)를 분석하여 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득한다. 이 때, 슈퍼 프레임 분석부(714)는 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용한다. 슈퍼 프레임 분석부(714)는 개수 정보를 통해 획득해야 할 부가 신호 프레임이 몇 개인지 먼저 파악하고, 각각의 부가 신호 프레임의 길이 정보를 통해 슈퍼 프레임으로부터 부가 신호 프레임을 정확하게 분리할 수 있다.
한편, 슈퍼 프레임 분석부(714)는 획득한 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 역할을 한다. 각 부가 신호 프레임의 재생 시각은 멀티채널 오디오 생성부(724)에서 다운믹스 오디오 신호와 부가 신호를 이용해 멀티채널 오디오를 생성할 때 동기화에 이용된다.
슈퍼 프레임 분석부(714)는 복수 개의 부가 신호 프레임의 재생 시각 정보를 설정하기 위해, 먼저 슈퍼 프레임에 포함된 재생 시각 정보를 획득한다. 그리고 이 슈퍼 프레임의 재생 시각 정보를, 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 첫 번째 부가 신호 프레임의 재생 시각이 결정되면, 나머지 부가 신호 프레임의 재생 시각은 미리 계산된 시간 간격을 이용하여 결정된다. 재생 시각 설정 방법에 대해서는 도 6을 통해 설명한 바 있으므로 자세한 설명은 생략한다.
비디오 복호화부(716)는 SL 역패킷화부(710)로부터 제공된 비디오 ES를 복호화하여 비디오로 변환한다. 또한 OD 디코더(718)는 제공받은 OD 스트림을 복호화하고, BIFS 디코더(720)는 제공받은 BIFS 스트림을 BIFS로 복호화한다. IOD 디코더(722)는 제공받은 IOD 데이터를 복호화한다.
멀티채널 오디오 생성부(724)는 다운믹스 오디오 복호화부(712)로부터 제공된 다운믹스 오디오 신호와 슈퍼 프레임 분석부(714)로부터 제공된 프레임 단위의 부가 신호를 수신하여 멀티채널 오디오를 생성한다.
도 8은 도 6 및 도 7에 나타난 슈퍼 프레임 분석부의 일 실시예의 구성도이다.
도 8에 나타난 바와 같이, 슈퍼 프레임 분석부(802)는 슈퍼 프레임 분석 제어부(804)를 포함한다. 슈퍼 프레임 분석 제어부(804)는 제공받은 슈퍼 프레임을 분석하여 복수 개의 부가 신호를 생성한다. 이 때, 슈퍼 프레임 분석 제어부(804)는 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여 복수 개의 부가 신호를 획득한다. 개수 정보 및 길이 정보를 이용하는 방법에 대해서는 앞에서 언급한 바 있으므로 자세한 설명은 생략한다.
한편, 슈퍼 프레임 분석 제어부(804)는 획득한 복수 개의 부가 신호 프레임의 재생 시각을 설정한다. 슈퍼 프레임 분석 제어부(804)는 슈퍼 프레임의 재생 시각 정보를 획득하고, 획득한 재생 시각 정보를 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 그리고 미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정한다. 부가 신호 프레임의 재생 시각 설정 방법에 대해서는 앞에서 예를 들어 설명한 바 있으므로 자세한 설명은 생략한다.
도 9는 본 발명에 의한 멀티채널 오디오 신호 수신 방법을 설명하기 위한 순서도이다.
먼저 슈퍼 프레임을 포함하는 패킷을 수신한다(S902). 그리고 수신한 패킷을 역패킷화하여, 수신한 패킷에 포함된 슈퍼 프레임을 획득한다(S904). 획득한 슈퍼 프레임에는 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트가 포함되어 있을 수 있다. 그리고 나서, 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득한다(S906).
부가 신호 프레임 획득 후, 획득한 복수 개의 부가 신호 프레임의 재생 시각 정보를 설정한다(S908). 재생 시각 정보 설정 단계(S908)에서는 먼저 수신한 패킷에 포함된 슈퍼 프레임의 재생 시각 정보를 획득하고, 획득한 재생 시각 정보를 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 그리고 나서, 미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정한다.
전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (16)

  1. 멀티채널 오디오 신호를 송신하는 장치에 있어서,
    멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부;
    복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 슈퍼 프레임 생성부; 및
    상기 슈퍼 프레임을 패킷화하는 패킷화부를 포함하고,
    상기 슈퍼 프레임은
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 멀티채널 오디오 신호 송신 장치.
  2. 제 1항에 있어서,
    상기 패킷화부에 의해 패킷화된 슈퍼 프레임은
    상기 다운믹스 오디오 신호와의 동기화를 위한 재생 시각 정보를 더 포함하는 멀티채널 오디오 신호 송신 장치.
  3. 제 2항에 있어서,
    상기 재생 시각 정보는
    상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정되는 멀티채널 오디오 신호 송신 장치.
  4. 제 1항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 송신 장치.
  5. 멀티채널 오디오 신호를 수신하는 장치에 있어서,
    슈퍼 프레임을 포함하는 패킷을 수신하는 수신부;
    수신한 패킷을 역패킷화하여 상기 패킷에 포함된 슈퍼 프레임을 획득하는 역패킷화부; 및
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 상기 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 슈퍼 프레임 분석부를
    포함하는 멀티채널 오디오 신호 수신 장치.
  6. 제 5항에 있어서,
    상기 슈퍼 프레임 분석부는
    상기 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 멀티채널 오디오 신호 수신 장치.
  7. 제 6항에 있어서,
    상기 슈퍼 프레임 분석부는
    상기 수신한 패킷에 포함된 상기 슈퍼 프레임의 재생 시각 정보를 획득하고, 상기 슈퍼 프레임의 재생 시각 정보를 상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정하며, 미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정하는 멀티채널 오디오 신호 수신 장치.
  8. 제 5항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 수신 장치.
  9. 멀티채널 오디오 신호를 송신하는 방법에 있어서,
    멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 단계;
    복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 단계; 및
    상기 슈퍼 프레임을 패킷화하는 단계를 포함하고,
    상기 슈퍼 프레임은
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 멀티채널 오디오 신호 송신 방법.
  10. 제 9항에 있어서,
    상기 패킷화 단계에 의해 패킷화된 슈퍼 프레임은
    상기 다운믹스 오디오 신호와의 동기화를 위한 재생 시각 정보를 더 포함하는 멀티채널 오디오 신호 송신 방법.
  11. 제 10항에 있어서,
    상기 재생 시각 정보는
    상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정되는 멀티채널 오디오 신호 송신 방법.
  12. 제 9항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 송신 방법.
  13. 멀티채널 오디오 신호를 수신하는 방법에 있어서,
    슈퍼 프레임을 포함하는 패킷을 수신하는 단계;
    수신한 패킷을 역패킷화하여 상기 패킷에 포함된 슈퍼 프레임을 획득하는 단계; 및
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 상기 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 단계를
    포함하는 멀티채널 오디오 신호 수신 방법.
  14. 제 13항에 있어서,
    상기 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 단계를 더 포함하는 멀티채널 오디오 신호 수신 방법.
  15. 제 14항에 있어서,
    상기 복수 개의 부가 신호 프레임의 재생 시각 정보 설정 단계는
    상기 수신한 패킷에 포함된 상기 슈퍼 프레임의 재생 시각 정보를 획득하는 단계;
    상기 슈퍼 프레임의 재생 시각 정보를 상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정하는 단계; 및
    미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정하는 단계를
    포함하는 멀티채널 오디오 신호 수신 방법.
  16. 제 13항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 수신 방법.
PCT/KR2009/002274 2008-04-30 2009-04-29 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치 WO2009134085A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801058948A CN102763364A (zh) 2008-04-30 2009-04-29 使用超级帧收发多信道音频信号的方法及装置
EP09738991.0A EP2276192A4 (en) 2008-04-30 2009-04-29 METHOD AND APPARATUS FOR TRANSMITTING / RECEIVING MULTICHANNEL AUDIO SIGNALS USING SUPER FRAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0040293 2008-04-30
KR20080040293 2008-04-30

Publications (2)

Publication Number Publication Date
WO2009134085A2 true WO2009134085A2 (ko) 2009-11-05
WO2009134085A3 WO2009134085A3 (ko) 2013-03-07

Family

ID=41255560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/002274 WO2009134085A2 (ko) 2008-04-30 2009-04-29 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치

Country Status (4)

Country Link
EP (1) EP2276192A4 (ko)
KR (1) KR20090115074A (ko)
CN (1) CN102763364A (ko)
WO (1) WO2009134085A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122388A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method
US9154585B2 (en) 2012-02-15 2015-10-06 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
US9313576B2 (en) 2012-02-15 2016-04-12 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
US9661107B2 (en) 2012-02-15 2017-05-23 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, data receiving method and data transceiving method configured to distinguish packets

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237169B2 (en) 2012-06-01 2016-01-12 Apple Inc. Network stream identification for open FaceTime
US9723245B2 (en) 2013-03-15 2017-08-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
EP2779578B1 (en) 2013-03-15 2019-11-20 Samsung Electronics Co., Ltd. Data Transmitting Apparatus, Data Receiving Apparatus, Data Transceiving System, Method for Transmitting Data, and Method for Receiving Data
CN106653057A (zh) * 2016-09-30 2017-05-10 北京智能管家科技有限公司 一种数据处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200949A1 (en) * 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
WO2008048042A1 (en) * 2006-10-17 2008-04-24 Electronics And Telecommunications Research Institute Apparatus and method for transmitting or replaying multi-channel audio signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2276192A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122388A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method
US9154585B2 (en) 2012-02-15 2015-10-06 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
US9313576B2 (en) 2012-02-15 2016-04-12 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
US9497297B2 (en) 2012-02-15 2016-11-15 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving
US9661107B2 (en) 2012-02-15 2017-05-23 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, data receiving method and data transceiving method configured to distinguish packets

Also Published As

Publication number Publication date
CN102763364A (zh) 2012-10-31
KR20090115074A (ko) 2009-11-04
EP2276192A2 (en) 2011-01-19
EP2276192A4 (en) 2014-03-12
WO2009134085A3 (ko) 2013-03-07

Similar Documents

Publication Publication Date Title
WO2009134085A2 (ko) 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치
US6493357B1 (en) Digital serial data interface
JP5575566B2 (ja) 放送データ受信方法およびその装置
RU2509378C2 (ru) Способ и устройство для формирования выровненного многоканального аудиосигнала
WO2011108903A2 (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
WO2013025032A1 (ko) 수신 장치 및 그 수신 방법
WO2010143907A2 (ko) 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
WO2012023837A2 (en) Method and apparatus for encoding and decoding multilayer videos
CN101179736B (zh) 一种传输流节目转换成中国移动多媒体广播节目的方法
WO2012121571A2 (ko) 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법
CN100479529C (zh) 一种广播网络复用协议的转换方法
WO2012144795A2 (en) Apparatus for outputting broadcast recorded by schedule recording and control method thereof
KR100917844B1 (ko) 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법
CN101179738B (zh) 一种传输流到中国移动多媒体广播复用协议的转换方法
CN107431834A (zh) 传输设备、传输方法、接收设备、以及接收方法
WO2014058275A1 (ko) 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
WO2015105348A1 (ko) 멀티미디어 데이터 재생 방법 및 장치
KR101201206B1 (ko) Ｄｍｂ 기반의 다중화 장치와 방법 및 역다중화 장치와 방법
WO2012087042A2 (ko) 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
WO2013073810A1 (ko) 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
KR100724867B1 (ko) 디지털 멀티미디어 방송 시스템에서 멀티 채널 전송을 위한멀티 채널 생성 및 재생 방법
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
WO2017164551A1 (ko) 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980105894.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09738991

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2009738991

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE