KR20090115074A - 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치 - Google Patents

슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치 Download PDF

Info

Publication number
KR20090115074A
KR20090115074A KR1020090037794A KR20090037794A KR20090115074A KR 20090115074 A KR20090115074 A KR 20090115074A KR 1020090037794 A KR1020090037794 A KR 1020090037794A KR 20090037794 A KR20090037794 A KR 20090037794A KR 20090115074 A KR20090115074 A KR 20090115074A
Authority
KR
South Korea
Prior art keywords
super frame
additional signal
frame
audio signal
signal
Prior art date
Application number
KR1020090037794A
Other languages
English (en)
Inventor
이용주
서정일
백승권
장대영
강경옥
홍진우
임종수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20090115074A publication Critical patent/KR20090115074A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 멀티채널 오디오 신호를 송수신하는 방법 및 장치에 관한 것이다. 본 발명의 멀티채널 오디오 신호를 송신하는 장치는, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부, 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 슈퍼 프레임 생성부 및 슈퍼 프레임을 패킷화하는 패킷화부를 포함하고, 슈퍼 프레임은 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함한다. 본 발명에 의하면 DMB와 같은 방송 환경에서 데이터 전송률을 낮춤으로써 보다 효율적으로 멀티채널 오디오 신호를 송수신할 수 있는 효과가 있다.
Figure P1020090037794
멀티채널 오디오, 부가 신호, 슈퍼 프레임, DMB(Digital Multimedia Broadcasting)

Description

슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING MULTI CHANNEL AUDIO SIGNAL USING SUPER FRAME}
본 발명은 멀티채널 오디오 신호를 송수신하는 방법 및 장치에 관한 것으로, 보다 상세하게는 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-017-03, 과제명: 지상파 DMB 전송 고도화 기술개발].
최근 멀티채널 오디오를 부호화 하는 방법에 대한 연구가 많이 이루어지고 있다. MPEG-서라운드 기술에서도 이러한 멀티채널 오디오의 부/복호화 방식에 대한 표준화가 이루어지고 있는데, 멀티채널 오디오를 다운믹스(down-mix)된 스테레오 오디오 신호와 부가 신호로 나누어서 부호화 하는 방법을 사용하고 있다. 이때, 다운믹스된 스테레오 오디오 신호는 그 응용에 맞게 AAC(Advanced Audio Coding), BSAC(Bit Sliced Arithmetic Coding) 등과 같은 오디오 부호화 방법에 따라 부호화 된다.
한편, DMB(Digital Multimedia Broadcasting)는 이동 환경에서 수신이 가능한 멀티미디어 서비스로서, 휴대폰, PDA, 차량용 수신기 등과 같은 단말을 통해 서비스가 이루어지고 있다. 이러한 DMB에서는 스테레오 오디오만을 지원하고 있는데, 최근 이를 확장하여 멀티채널 오디오를 제공하는 방법에 대한 연구가 이루어지고 있다. 이와 같이 스테레오 기반의 DMB에서 멀티채널 오디오 서비스를 제공함에 있어 가장 중요한 것 중 하나는, 기존의 스테레오 기반의 DMB 서비스와의 역호환성을 유지하면서, 효율적으로 데이터를 전송할 수 있어야 한다는 것이다.
멀티채널 오디오는 스테레오 오디오에 비해 데이터율이 높은 특징이 있는데, DMB는 DTV 등과 같은 매체와 비교하였을 때 전송율이 매우 낮다는 단점이 있다. 특히 DMB 에서는 MPEG-2 TS(Transport Stream)를 사용하고 있는데, MPEG-2 시스템 규격에서는 서로 다른 ES(Elementary Stream)은 서로 다른 PID를 가지도록 규정하고 있다. 이러한 이유로, ES의 출력율이 낮더라도 TS의 출력율은 높은 경우가 발생할 수 있다. 앞서 기술하였던 멀티채널 오디오의 부호화로 생성된 부가 신호의 경우 ES의 데이터율은 높지 않으나, 이를 매 프레임마다 TS로 패킷화하여 전송하는 경우, 그 TS의 출력율은 ES의 출력율보다 2배 이상 커질 수 있다. 따라서 DMB를 통해 멀티채널 오디오를 전송하기 위해서는 기존의 DMB와 역호환성을 유지하면서도 데이터율이 지나치게 높아지지 않도록 효율적으로 멀티채널 오디오를 패킷화하여 전송 하는 방법이 필요하다.
DMB 서비스에서는 주영상 및 주음성 서비스를 위해서는 하나의 비디오 객체 및 하나의 오디오 객체를 전송하도록 규정하고 있는데, 이 때 오디오 객체는 모노 또는 스테레오일 수 있다. 최근 멀티미디어 기술의 발전으로 인해 DTV(Digital TeleVision), DVD(Digital Versatile Disc) 등에서는 멀티채널 오디오 서비스를 많이 제공하고 있으며, 이러한 멀티채널 오디오 서비스에 대한 사용자의 요구도 증가하고 있다. 이러한 추세에 따라 DMB를 통해 멀티채널 오디오를 제공하기 위한 기술 개발이 최근 이루어지고 있다. DMB에서는 모노 또는 스테레오 오디오를 BSAC 또는 AAC 등으로 부호화하여 전송하고 있는데, 멀티채널 오디오의 전송을 위해서는 추가적인 데이터의 전송이 필요하게 되어 기존의 전송 방법을 수정하여야 한다.
한편, MPEG-서라운드, SSLCC(Sound Source Location Cue Coding) 등과 같은 멀티채널 부호화 방법에서는 멀티채널 오디오를 다운믹스 스테레오 신호와 부가 신호로 분리하여 전송 및 재생하는 방식에 대한 표준화가 이루어졌는데, 이러한 멀티채널 부호화 기술은 멀티채널 오디오를 역호환성 있게 서비스하기 위한 좋은 부호화 방법이라 할 수 있다. 즉, 멀티채널 오디오 신호를 부호화하여 다운믹스 스테레오 신호와 부가신호를 분리하면, 다운믹스 스테레오 신호를 기존의 스테레오 오디오 기반의 서비스와 호환성 있게 사용할 수 있게 된다.
DMB를 통하여 멀티채널 오디오 서비스를 제공하기 위해 이러한 멀티채널 오디오 부호화 방법을 사용하는 방법이 제안되었는데, 이 방법에서도 멀티채널 오디오를 다운믹스 스테레오 신호와 부가 신호로 나누어 전송하고 있다. 이때, 다운믹 스 스테레오 신호는 기존의 DMB와의 역호환성을 위해 BSAC 또는 AAC 등으로 부호화하고, 부가 신호는 추가적인 ES로 가정하여 각 부가 신호 프레임별로 패킷화를 수행하여 전송하는 방법을 사용하고 있다.
그러나 이와 같이 부가 신호를 프레임별로 패킷화하여 전송하는 경우, DMB에서의 데이터 전송률은 상대적으로 높아지게 된다. 이러한 부가 신호로 인한 데이터전송률의 증가는 부가 신호가 매 프레임마다 TS 패킷화 과정을 거치기 때문에 발생하는 것으로, 한 프레임의 부가 신호를 전송하기 위하여 최소한 하나 이상의 TS 패킷이 전송되어야 하기 때문이다.
본 발명은 DMB와 같은 방송 환경에서 데이터 전송률을 낮춤으로써 보다 효율적으로 멀티채널 오디오 신호를 송수신할 수 있는 방법 및 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은 멀티채널 오디오의 재생이 가능한 단말기는 물론 재생이 가능하지 않은 단말기에 대해서도 모노 또는 스테레오 오디오를 시현할 수 있는 호환성을 제공하는 멀티채널 오디오의 송수신 방법 및 장치를 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 슈퍼프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여 보다 정확한 부가 신호 프레임의 송수신 및 다운믹스 오디오 신호 와의 동기화를 수행할 수 있는 멀티채널 오디오의 송수신 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 멀티채널 오디오 신호를 송신하는 장치에 있어서, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부, 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 슈퍼 프레임 생성부 및 슈퍼 프레임을 패킷화하는 패킷화부를 포함하고, 슈퍼 프레임은 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 수신하는 장치에 있어서, 슈퍼 프레임을 포함하는 패킷을 수신하는 수신부, 수신한 패킷을 역패킷화하여 패킷에 포함된 슈퍼 프레임을 획득하는 역패킷화부 및 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 슈퍼 프레임 분석부를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 송신하는 방법에 있어서, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 단계, 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 단계 및 슈퍼 프레임을 패킷화하는 단계를 포함하고, 슈퍼 프레임은 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 수신하는 방법에 있어서, 슈퍼 프레임을 포함하는 패킷을 수신하는 단계, 수신한 패킷을 역패킷화하여 상기 패킷에 포함된 슈퍼 프레임을 획득하는 단계 및 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 상기 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 단계를 포함하는 것을 또 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, DMB와 같은 방송 환경에서 데이터 전송률을 낮춤으로써 보다 효율적으로 멀티채널 오디오 신호를 송수신할 수 있는 장점이 있다.
또한 본 발명은 멀티채널 오디오의 재생이 가능한 단말기는 물론 재생이 가능하지 않은 단말기에 대해서도 모노 또는 스테레오 오디오를 시현할 수 있는 호환성을 제공하는 장점이 있다.
또한 본 발명은 슈퍼프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여 보다 정확한 부가 신호 프레임의 송수신 및 다운믹스 오디오 신호 와의 동기화를 수행할 수 있는 장점이 있다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 의한 멀티채널 오디오 송신 장치의 구성도이다.
도 1에 나타난 바와 같이, 본 발명의 일 실시예에 의한 멀티채널 오디오 송신 장치는 멀티채널 오디오 다운믹서부(102), 스테레오 오디오 부호화부(104), 슈퍼 프레임 생성부(106), 비디오 부호화부(108), 패킷화부(110) 및 다중화부(112)를 포함한다. 도 1에는 도시되지 않았으나, 멀티채널 오디오 송신 장치는 생성된 스트림을 송신하기 위한 송신부를 더 포함할 수 있다.
멀티채널 오디오 다운믹서부(102)는 멀티채널 오디오 신호를 입력받고, 입력받은 멀티채널 오디오 신호를 스테레오 오디오 신호와 부가 신호로 변환한다. 그리 고 나서, 멀티채널 오디오 다운믹서부(102)는 스테레오 오디오 신호를 스테레오 오디오 부호화부(104)에, 부가 신호를 슈퍼 프레임 생성부(106)에 각각 제공한다. 본 발명의 다른 실시예에서, 멀티채널 오디오 다운믹서부(102)는 입력받은 멀티채널 오디오 신호를 모노 오디오 신호와 부가 신호로 변환할 수도 있다.
스테레오 오디오 부호화부(104)는 멀티채널 오디오 다운믹서부(102)로부터 제공된 스테레오 오디오 신호를 압축하고 부호화하여 오디오 ES(Elementary Stream)를 생성하고, 이를 패킷화부(110)에 제공한다.
슈퍼 프레임 생성부(106)는 멀티채널 오디오 다운믹서부(102)로부터 부가 신호를 제공받고, 제공된 부가 신호의 복수 개의 프레임을 포함하는 하나의 슈퍼 프레임(또는 슈퍼 프레임 형태의 부가 신호 ES)을 생성한다. 여기서 부가 신호란, 멀티채널 오디오 신호의 공간 정보 등 멀티채널 오디오를 위한 부가 정보를 나타내는 신호를 말한다.
슈퍼 프레임 생성부(106)는 생성될 슈퍼 프레임에 몇 개의 부가 신호 프레임을 포함시킬 것인지를 판단하고, 그 결과에 따라 슈퍼 프레임을 생성한다. 슈퍼 프레임 생성부(106)는 미리 결정된 슈퍼 프레임의 길이(예를 들면, 150 바이트)에 맞추어, 그 길이를 넘지 않는 범위 내에서 복수 개의 부가 신호 프레임을 포함시킬 수 있다. 또는, 슈퍼 프레임의 길이와 관계 없이 슈퍼 프레임에 포함될 부가 신호 프레임의 개수(예를 들면, 3개의 부가 신호 프레임)를 미리 정하고, 그 정해진 개수의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성할 수도 있다. 이러한 슈퍼 프레임에 포함될 부가 신호 프레임의 개수는 멀티채널 오디오가 송수신 되고 재생 되는 환경, 전송 규격, 재생 규격, 그 밖의 시스템 설정 등에 의해 달라질 수 있다.
한편, 생성된 슈퍼 프레임에는 그 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 부가 신호 프레임들의 길이 정보가 포함될 수 있다. 이러한 개수 정보 및 길이 정보는 수신측에서 해당 슈퍼 프레임을 전송받고 그 슈퍼 프레임으로부터 정확한 부가 신호를 획득하는 데 이용된다. 슈퍼 프레임 생성부(106)에 대해서는 뒤에서 보다 자세히 설명한다.
비디오 부호화부(108)는 비디오 신호를 입력받아 부호화하여 비디오 ES를 생성하고 이를 패킷화부(110)로 제공한다.
패킷화부(110)는 오디오 ES, 슈퍼 프레임 형태의 부가 신호 ES, 비디오 ES와 같은 오디오/비디오 신호와, OD(Object Descriptor), BIFS(BInary Format for Scene), IOD(Initial Object Descriptor)와 같은 시그널링 정보를 수신하여 패킷화한다. 여기서 OD는 객체를 구성하는 ES_ID(Elementary Stresm ID)를 알려주며, BIFS는 화면에 객체를 배치하는 역할을 한다. 그리고 IOD는 관련된 모든 스트림의 첫 접근지점으로 OD나 BIFS의 ES_ID를 알려주는 역할을 한다.
한편, 패킷화부(110)에서는 패킷화된 슈퍼 프레임에 재생 시각 정보를 포함시키는데, 이 재생 시각 정보는 수신 측에서 스테레오 오디오 신호를 재생할 때, 스테레오 오디오 신호와 부가 신호를 동기화 시키기 위해 이용된다. 패킷화부(110)는 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각을 해당 슈퍼 프레임의 재생 시각 정보로 설 정할 수 있다. 재생 시각 정보에 대해선는 뒤에서 보다 자세히 설명한다.
패킷화부(110)를 통해 생성된 오디오 패킷, 부가 신호 패킷, 비디오 패킷, 시그널링 정보 패킷은 다중화부(112)에 제공된다. 다중화부(112)는 제공받은 패킷들을 다중화하여 MPEG-2 TS(Transport Stream)와 같은 스트림을 생성한다. 이렇게 생성된 MPEG-2 TS 규격의 스트림은 DMB 등의 방송 서비스를 통해 재생 장치 또는 저장 장치로 전송된다.
도 2는 본 발명의 다른 실시예에 의한 멀티채널 오디오 전송 장치의 구성도이다.
도 2에 나타난 바와 같이, 본 발명의 다른 실시예에 의한 멀티채널 오디오 전송 장치는 멀티채널 오디오 다운믹서부(202), 다운믹스 오디오 부호화부(204), 슈퍼 프레임 생성부(206), 비디오 부호화부(208), OD 생성부(210), BIFS 생성부(212), IOD 생성부(214), SL 패킷화부(216), PES 패킷화부(218), 14496 섹션 패킷화부(220), PSI 섹션 패킷화부(222), TS 다중화부(224)를 포함한다. 도 2에는 도시되지 않았으나, 멀티채널 오디오 송신 장치는 생성된 스트림을 송신하기 위한 송신부를 더 포함할 수 있다.
멀티채널 오디오 다운믹서부(202)는 입력되는 멀티채널 오디오 신호를 부호화하여 모노 또는 스테레오로 다운믹스된 다운믹스 오디오 신호와 부가 신호를 생성한다. 그리고 나서, 멀티채널 오디오 다운믹서부(202)는 생성된 다운믹스 오디오 신호를 다운믹스 오디오 부호화부(204)에, 부가 신호를 슈퍼 프레임 생성부(206)에 각각 제공한다.
다운믹스 오디오 부호화부(204)는 멀티채널 오디오 다운믹서부(202)로부터 제공된 다운믹스 오디오 신호를 압축하고 부호화하여 오디오 ES를 생성하고, 이를 SL 패킷화부(216)에 제공한다.
슈퍼 프레임 생성부(206)는 멀티채널 오디오 다운믹서부(202)로부터 부가 신호를 제공받고, 제공된 부가 신호의 복수 개의 프레임을 포함하는 하나의 슈퍼 프레임(또는 슈퍼 프레임 형태의 부가 신호 ES)을 생성한다. 생성된 슈퍼 프레임은 SL 패킷화부(216)에 제공된다. 그리고 비디오 부호화부(208)는 비디오 신호를 입력받아 부호화하여 비디오 ES를 생성하고, 이를 SL 패킷화부(216)에 제공한다.
OD 생성부(210) 및 BIFS 생성부(212)는 각각 OD 스트림과 BIFS 스트림을 생성하고, 생성된 스트림을 SL 패킷화부(216)에 제공한다. IOD 생성부(214)는 외부로부터 입력받은 IOD 텍스트 데이터를 이용하여 IOD 데이터를 생성하여 PSI 섹션 패킷화부(222)에 제공한다.
SL 패킷화부(216)는 입력되는 각 미디어 스트림(오디오 ES, 부가 신호 ES, 비디오 ES, OD 스트림, BIFS 스트림)간의 동기화 패킷인 SL(Synchronization Layer) 패킷을 생성하는 역할을 한다. SL 패킷화부(216)에 의해 생성된 오디오 SL 패킷, 부가 신호 SL 패킷, 비디오 SL 패킷은 PES 패킷화부(218)에 제공되며, OD SL 패킷과 BIFS SL 패킷은 14496 섹션 패킷화부(220)에 제공된다.
한편, SL 패킷화부(216)는 부가 신호 ES를 부가 신호 SL 패킷으로 변환하는 과정에서, 부가 신호 SL 패킷의 헤더에 슈퍼 프레임의 재생 시각 정보(CTS : Composition Time Stamp)를 포함시킨다. 이 재생 시각 정보는 멀티채널 오디오 수신 장치에서 멀티채널 오디오를 수신하고 재생할 때, 재생될 모노/스테레오 오디오 신호와 부가 신호 간의 동기화를 수행하는 데 이용된다.
슈퍼 프레임의 재생 시각 정보를 설정할 때, SL 패킷화부(216)는 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각을 슈퍼 프레임의 재생 시각 정보로 설정할 수 있다. 예를 들어 어떤 슈퍼 프레임에 포함된 3개의 부가 신호 프레임이 각각 1:10:45(1시간 10분 45초), 1:10:46, 1:10:47의 재생 시각을 갖는다면, 이 슈퍼 프레임의 재생 시각 정보는 1:10:45로 설정된다. 이러한 슈퍼 프레임을 포함한 패킷을 전송받은 멀티채널 오디오 수신 장치에서는 슈퍼 프레임의 재생 시각 정보를 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각(1:10:45)으로 설정하고, 미리 계산된 시간 간격(1초)에 따라서 나머지 2개의 부가 신호 프레임의 재생 시각(1:10:46, 1:10:47)을 설정할 수 있다.
SL 패킷화부(216)에 의해 생성된 오디오 SL 패킷, 부가신호 SL 패킷, 비디오 SL 패킷은 PES 패킷화부(218)에 제공된다. PES 패킷화부(218)는 제공된 오디오 SL 패킷, 부가신호 SL 패킷, 비디오 SL 패킷을 각각 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷으로 변환하여 TS 다중화부(224)에 제공한다.
SL 패킷화부(216)에 의해 생성된 OD SL 패킷과 BIFS SL 패킷은 14496 섹션 패킷화부(22)에 제공된다. 14496 섹션 패킷화부(220)는 제공된 OD SL 패킷과 BIFS SL 패킷을 각각 OD 14496 섹션 패킷과 BIFS 14496 섹션 패킷으로 변환하여 TS 다중 화부(224)에 제공한다.
PSI 섹션 패킷화부(222)는 IOD 생성부(214)로부터 제공된 IOD 데이터를 포함하는 PSI 섹션을 생성하여 TS 다중화부(224)에 제공한다.
TS 다중화부(224)는 제공된 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷, OD 14496 섹션 패킷, BIFS 14496 섹션 패킷, PSI 섹션 패킷을 다중화하여 MPEG-2 트랜스포트 스트림(TS : Transport Stream)을 생성한다. 이렇게 생성된 MPEG-2 TS는 송신부를 통해 멀티채널 오디오 수신 장치로 송신될 수 있다.
도 3은 도 1 및 도 2에 나타난 슈퍼 프레임 생성부의 일 실시예의 구성도이다.
도 3에 나타난 바와 같이, 슈퍼 프레임 생성부(302)는 슈퍼 프레임 생성 제어부(304)를 포함한다. 슈퍼 프레임 생성 제어부(304)는 멀티채널 오디오 다운믹서부로부터 부가 신호를 제공받고, 제공된 부가 신호의 복수 개의 프레임을 포함하는 하나의 슈퍼 프레임(또는 슈퍼 프레임 형태의 부가 신호 ES)을 생성한다. 이 때, 슈퍼 프레임 생성 제어부(304)는 생성될 슈퍼 프레임에 몇 개의 부가 신호 프레임을 포함시킬 것인지를 판단하고, 그 결과에 따라 슈퍼 프레임을 생성한다. 이러한 내용은 도 1을 통해 설명한 바 있으므로 여기서는 자세한 설명을 생략한다.
한편, 생성된 슈퍼 프레임에는 그 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 부가 신호 프레임들의 길이 정보가 포함될 수 있다. 이러한 개수 정보 및 길이 정보는 수신측에서 해당 슈퍼 프레임을 전송받고 그 슈퍼 프레임으로부 터 정확한 부가 신호를 획득하는 데 이용된다. 표 1은 본 발명의 일 실시예에 의한 멀티채널 오디오 부가 신호 슈퍼 프레임의 문법을 나타낸다.
비트 수 필드명 값
Super frame
8 Frame_number
Side information
8 For (i=0; i<n; i++) { Frame_length Frame_payload }
표 1에서, Frame_number는 하나의 슈퍼 프레임에 포함되는 멀티채널 오디오 부가 신호 프레임의 수를 나타낸다. 그리고 Frame_length는 멀티채널 오디오 부가 신호 프레임의 길이를 바이트 단위로 나타내며, Frame_payload는 멀티채널 오디오 부가 신호를 나타낸다. 표 1에 나타난 바와 같이, 슈퍼 프레임에는 Frame_payload로 표현되는 부가 신호 외에도, 해당 슈퍼 프레임에 몇 개의 부가 신호 프레임이 포함되어 있는지를 나타내는 개수 정보(Frame_number)가 포함된다. 또한 슈퍼 프레임에는 해당 슈퍼 프레임에 포함된 각 부가 신호 프레임의 길이 또는 크기를 나타내는 길이 정보(Frame_length)가 포함된다.
표 2는 본 발명의 다른 실시예에 의한 멀티채널 오디오 부가 신호 슈퍼 프레임의 문법을 나타낸다.
비트 수 필드명 값
Super frame
8 Frame_number
Side information
8 For (i=0; i<n; i++) { Frame_length Frame_payload Padding bit } For Byte align
표 2에 나타난 바와 같이, 본 발명의 다른 실시예에 의한 슈퍼 프레임에는 Frame_number, Frame_length, Frame_payload 외에 패딩 비트(Padding bit)가 더 포함된다. 패딩 비트는 슈퍼 프레임에 포함되는 부가 신호 프레임의 바이트 정렬(Byte align)에 이용된다. 보통 부가 정보 프레임은 바이트(Byte) 단위로 입력되는데, 만약 부가 정보 프레임의 한 바이트의 일부 비트(Bit)만이 입력된 경우, 나머지 비트를 채워 한 바이트로 만들기 위하여 패딩 비트가 이용될 수 있다. 바이트 정렬은 본 발명이 속하는 분야에서 널리 알려진 내용이므로 자세한 내용은 생략한다.
도 4는 본 발명의 다른 실시예에 의한 멀티채널 오디오 송신 장치에 의해 패킷화된 슈퍼 프레임의 구성도이다.
도 4에 나타난 슈퍼 프레임 패킷은 도 2에 나타난 멀티채널 오디오 송신 장치의 슈퍼 프레임 생성부에 의해 생성된 슈퍼 프레임이 SL 패킷화, PES 패킷화, TS 다중화 등을 거쳐 생성된 것이다. 도 4에서, TS 헤더(402)는 TS 다중화에 의해, PES 헤더(404)는 PES 패킷화에 의해, 그리고 SL 헤더(406)는 SL 패킷화에 의해 각각 생성된 것이다. 그리고 프레임 개수 정보(408), 제 1프레임 길이 정보(410), 제 1프레임 페이로드(412), 제 2프레임 길이 정보(414), 제 2프레임 페이로드(416), … 등은 모두 슈퍼 프레임 생성부에 의해 생성된 슈퍼 프레임에 포함된다. 이러한 슈퍼 프레임 패킷에 포함된 프레임 개수 정보(408), 프레임 길이 정보(410, 414)는 멀티채널 오디오 수신 장치에서 해당 슈퍼 프레임 패킷을 분석하여 복수 개의 부가 신호 프레임을 획득하는데 이용된다.
도 5는 본 발명에 의한 멀티채널 오디오 신호 송신 방법을 설명하기 위한 순서도이다.
먼저 멀티 채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하고(S502), 복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성한다(S504). 이 때 슈퍼 프레임은 해당 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하며, 패딩 비트를 더 포함할 수도 있다.
그리고 나서 생성된 슈퍼 프레임을 패킷화 하고(S506), 패킷화된 슈퍼 프레임을 송신한다(S508). 이 때 패킷화된 슈퍼 프레임은 다운믹스 오디오 신호와의 동기화를 위한 재생 시각 정보를 포함할 수 있다. 재생 시각 정보는 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정될 수 있다.
도 6은 본 발명의 일 실시예에 의한 멀티채널 오디오 수신 장치의 구성도이다.
도 6에 나타난 바와 같이, 본 발명의 일 실시예에 의한 멀티채널 오디오 수신 장치는 역다중화부(602), 역패킷화부(604) 스테레오 오디오 복호화부(606), 슈퍼 프레임 분석부(608), 비디오 복호화부(610), 멀티채널 오디오 생성부(612)를 포함한다. 도 6에는 도시되지 않았으나, 멀티채널 오디오 수신 장치는 MPEG-2 TS와 같은 스트림을 수신하기 위한 수신부를 더 포함할 수 있다.
역다중화부(602)는 수신부를 통해 수신된 스트림을 역다중화하여 오디오 패킷, 부가 신호 패킷, 비디오 패킷, 시그널링 정보 패킷을 분리하고 이를 역패킷화부(604)에 제공한다.
역패킷화부(604)는 역다중화부(602)로부터 제공된 오디오 패킷을 오디오 ES로, 부가 신호 패킷을 부가 신호 ES(슈퍼 프레임)로, 비디오 패킷을 비디오 ES로 각각 변환한다. 그리고 역패킷화부(604)는 시그널링 정보 패킷을 역패킷화하여 OD, BIFS, IOD와 같은 시그널링 정보를 생성한다.
스테레오 오디오 복호화부(606)는 오디오 ES를 복호화하여 스테레오 오디오 신호를 생성하고, 이를 멀티채널 오디오 생성부(612)에 제공한다. 스테레오 오디오 복호화부(606)에 의해 생성된 스테레오 오디오 신호는 멀티채널 오디오를 만드는 데 이용되지 않고 곧바로 스테레오 오디오 자체로서 재생될 수도 있다. 만약 멀티채널 오디오 송신 장치의 멀티채널 오디오 다운믹서부(102)에 의해 생성된 신호가 모노 오디오 신호인 경우에는 오디오 ES에서 모노 오디오 신호가 생성될 수 있을 것이다.
슈퍼 프레임 분석부(608)는 슈퍼 프레임(또는 부가 신호 ES)를 분석하여 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득한다. 이 때, 슈퍼 프레임 분석부(608)는 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용한다. 슈퍼 프레임 분석부(608)는 개수 정보를 통해 획득해야 할 부가 신호 프레임이 몇 개인지 먼저 파악하고, 각각의 부가 신호 프레임의 길이 정보를 통해 슈퍼 프레임으로부터 부가 신호 프레임을 정확하게 분리할 수 있다.
한편, 슈퍼 프레임 분석부(608)는 획득한 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 역할을 한다. 부가 신호는 그에 대응되는 스테레오 오디오 신호와 함께 멀티채널 오디오를 생성하는데, 이를 위해서는 부가 신호와 스테레오 오디오 신호 간의 동기화가 필요하다. 이러한 동기화를 위해 이용되는 것이 부가 신호 프레임의 재생 시각 정보이다. 멀티채널 오디오 생성부(612)에서는 스테레오 오디오 신호를 입력받고, 이 스테레오 오디오 신호와 동일한 재생 시각을 갖는 부가 신호를 이용하여 멀티채널 오디오를 생성할 수 있다.
슈퍼 프레임 분석부(608)는 복수 개의 부가 신호 프레임의 재생 시각 정보를 설정하기 위해, 먼저 슈퍼 프레임에 포함된 재생 시각 정보를 획득한다. 그리고 이 슈퍼 프레임의 재생 시각 정보를, 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 첫 번째 부가 신호 프레임의 재생 시각이 결정되면, 나머지 부가 신호 프레임의 재생 시각은 미리 계산된 시간 간격을 이용하여 결정된다.
예를 들어, 슈퍼 프레임에 포함된 3개의 부가 신호 프레임 중 첫 번째 부가 신호 프레임의 재생 시각이 1:10:45(1시간 10분 45초)이고, 각각의 부가 신호 프레임간의 시간 간격이 '1초'로 정해져 있다면, 두 번째와 세 번째 부가 신호 프레임의 재생 시각은 각각 1:10:46, 1:10:47이 될 것이다. 이러한 시간 간격은 여러 가지 방법에 의해 결정될 수 있다. 예를 들어, 멀티채널 오디오 송신 장치에서 비디오/오디오 신호의 프레임 률(frame rate)이 초당 30 프레임이라면, 부가 신호 프레임 또한 초당 30 프레임의 프레임 률을 갖게 될 것이므로, 부가 신호 프레임간의 시간 간격은 1/30초로 계산될 수 있을 것이다.
멀티채널 오디오 생성부(612)는 스테레오 오디오 복호화부(504)로부터 제공된 스테레오 오디오 신호와 슈퍼 프레임 분석부(608)로부터 제공된 프레임 단위의 부가 신호를 수신하여 멀티채널 오디오를 생성한다. 그리고 비디오 복호화부(610)는 역패킷화부(604)로부터 제공된 비디오 ES를 수신하고 복호화하여 비디오를 생성한다.
도 7은 본 발명의 다른 실시예에 의한 멀티채널 오디오 수신 장치의 구성도이다.
도 7에 나타난 바와 같이, 본 발명의 다른 실시예에 의한 멀티채널 오디오 수신 장치는 TS 역다중화부(702), PES 역패킷화부(704), 14496 섹션 역패킷화부(706), PSI 섹션 역패킷화부(708), SL 역패킷화부(710), 다운믹스 오디오 복호화부(712), 슈퍼 프레임 분석부(714), 비디오 복호화부(716), OD 디코더(718), BIFS 디코더(720), IOD 디코더(722), 멀티채널 오디오 생성부(724)를 포함한다. 도 7에는 도시되지 않았으나, 멀티채널 오디오 수신 장치는 MPEG-2 TS와 같은 스트림을 수신하기 위한 수신부를 더 포함할 수 있다.
TS 역다중화부(702)는 수신부를 통해 수신된 MPEG-2 TS를 역다중화하여 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷, OD 14496 섹션 패킷, BIFS 14496 섹션 패킷, PSI 섹션 패킷을 생성한다. TS 역다중화부(702)는 생성된 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷을 PES 역패킷화부(704)에 제공한다. 그리고 TS 역다중화부(702)는 OD 14496 섹션 패킷, BIFS 14496 섹션 패킷을 14496 섹션 역패킷화부(706)에, PSI 섹션 패킷을 PSI 섹션 역패킷화부(708)에 각각 제공한다.
PES 역패킷화부(704)는 TS 역다중화부(702)로부터 제공받은 오디오 PES 패킷, 부가 신호 PES 패킷, 비디오 PES 패킷을 역패킷화하여 각각 오디오 SL 패킷, 부가 신호 SL 패킷, 비디오 SL 패킷으로 변환한다.
14496 섹션 역패킷화부(706)는 TS 역다중화부(702)로부터 제공받은 OD 14496 섹션 패킷, BIFS 14496 섹션 패킷을 역패킷화하여 각각 OD SL 패킷, BIFS SL 패킷으로 변환한다.
PSI 섹션 역패킷화부(708)는 TS 역다중화부(702)로부터 제공받은 PSI 섹션 패킷을 역패킷화하고 디코딩하여 IOD 데이터를 생성하고, 이를 IOD 디코더(722)에 제공한다.
SL 역패킷화부(710)는 PES 역패킷화부(704)로부터 제공받은 오디오 SL 패킷, 부가 신호 SL 패킷, 비디오 SL 패킷을 역패킷화하여 각각 오디오 ES, 부가 신호 ES(슈퍼 프레임), 비디오 ES로 변환한다. 또한 SL 역패킷화부(710)는 14496 섹션 역패킷화부(706)로부터 제공받은 OD SL 패킷, BIFS SL 패킷을 역패킷화하여 각각 OD 스트림, BIFS 스트림으로 변환한다.
다운믹스 오디오 복호화부(712)는 SL 역패킷화부(710)로부터 제공받은 오디오 ES를 복호화하여 다운믹스 오디오 신호를 생성하고, 이를 멀티채널 오디오 생성부(724)에 제공한다. 다운믹스 오디오 복호화부(712)에 의해 생성된 다운믹스 오디오 신호는 멀티채널 오디오를 만드는 데 이용되지 않고 곧바로 다운믹스 오디오 자체로서 재생될 수도 있다. 다운믹스 오디오 복호화부(712)에 의해 생성된 다운믹스 오디오 신호는 스테레오 또는 모노 오디오 신호일 수 있다.
슈퍼 프레임 분석부(714)는 슈퍼 프레임(또는 부가 신호 ES)를 분석하여 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득한다. 이 때, 슈퍼 프레임 분석부(714)는 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용한다. 슈퍼 프레임 분석부(714)는 개수 정보를 통해 획득해야 할 부가 신호 프레임이 몇 개인지 먼저 파악하고, 각각의 부가 신호 프레임의 길이 정보를 통해 슈퍼 프레임으로부터 부가 신호 프레임을 정확하게 분리할 수 있다.
한편, 슈퍼 프레임 분석부(714)는 획득한 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 역할을 한다. 각 부가 신호 프레임의 재생 시각은 멀티채널 오디오 생성부(724)에서 다운믹스 오디오 신호와 부가 신호를 이용해 멀티채널 오디오를 생성할 때 동기화에 이용된다.
슈퍼 프레임 분석부(714)는 복수 개의 부가 신호 프레임의 재생 시각 정보를 설정하기 위해, 먼저 슈퍼 프레임에 포함된 재생 시각 정보를 획득한다. 그리고 이 슈퍼 프레임의 재생 시각 정보를, 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 첫 번째 부가 신호 프레임의 재생 시각이 결정되면, 나머지 부가 신호 프레임의 재생 시각은 미리 계산된 시간 간격을 이용하여 결정된다. 재생 시각 설정 방법에 대해서는 도 6을 통해 설명한 바 있으므로 자세한 설명은 생략한다.
비디오 복호화부(716)는 SL 역패킷화부(710)로부터 제공된 비디오 ES를 복호화하여 비디오로 변환한다. 또한 OD 디코더(718)는 제공받은 OD 스트림을 복호화하고, BIFS 디코더(720)는 제공받은 BIFS 스트림을 BIFS로 복호화한다. IOD 디코더(722)는 제공받은 IOD 데이터를 복호화한다.
멀티채널 오디오 생성부(724)는 다운믹스 오디오 복호화부(712)로부터 제공된 다운믹스 오디오 신호와 슈퍼 프레임 분석부(714)로부터 제공된 프레임 단위의 부가 신호를 수신하여 멀티채널 오디오를 생성한다.
도 8은 도 6 및 도 7에 나타난 슈퍼 프레임 분석부의 일 실시예의 구성도이다.
도 8에 나타난 바와 같이, 슈퍼 프레임 분석부(802)는 슈퍼 프레임 분석 제어부(804)를 포함한다. 슈퍼 프레임 분석 제어부(804)는 제공받은 슈퍼 프레임을 분석하여 복수 개의 부가 신호를 생성한다. 이 때, 슈퍼 프레임 분석 제어부(804)는 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여 복수 개의 부가 신호를 획득한다. 개수 정보 및 길이 정보를 이용하는 방법에 대해서는 앞에서 언급한 바 있으므로 자세한 설명은 생략한다.
한편, 슈퍼 프레임 분석 제어부(804)는 획득한 복수 개의 부가 신호 프레임의 재생 시각을 설정한다. 슈퍼 프레임 분석 제어부(804)는 슈퍼 프레임의 재생 시각 정보를 획득하고, 획득한 재생 시각 정보를 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 그리고 미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정한다. 부가 신호 프레임의 재생 시각 설정 방법에 대해서는 앞에서 예를 들어 설명한 바 있으므로 자세한 설명은 생략한다.
도 9는 본 발명에 의한 멀티채널 오디오 신호 수신 방법을 설명하기 위한 순서도이다.
먼저 슈퍼 프레임을 포함하는 패킷을 수신한다(S902). 그리고 수신한 패킷을 역패킷화하여, 수신한 패킷에 포함된 슈퍼 프레임을 획득한다(S904). 획득한 슈퍼 프레임에는 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트가 포함되어 있을 수 있다. 그리고 나서, 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득한다(S906).
부가 신호 프레임 획득 후, 획득한 복수 개의 부가 신호 프레임의 재생 시각 정보를 설정한다(S908). 재생 시각 정보 설정 단계(S908)에서는 먼저 수신한 패킷에 포함된 슈퍼 프레임의 재생 시각 정보를 획득하고, 획득한 재생 시각 정보를 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정한다. 그리고 나서, 미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정한다.
전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명의 일 실시예에 의한 멀티채널 오디오 송신 장치의 구성도.
도 2는 본 발명의 다른 실시예에 의한 멀티채널 오디오 전송 장치의 구성도.
도 3은 도 1 및 도 2에 나타난 슈퍼 프레임 생성부의 일 실시예의 구성도.
도 4는 본 발명의 다른 실시예에 의한 멀티채널 오디오 송신 장치에 의해 패킷화된 슈퍼 프레임의 구성도.
도 5는 본 발명에 의한 멀티채널 오디오 신호 송신 방법을 설명하기 위한 순서도.
도 6은 본 발명의 일 실시예에 의한 멀티채널 오디오 수신 장치의 구성도.
도 7은 본 발명의 다른 실시예에 의한 멀티채널 오디오 수신 장치의 구성도.
도 8은 도 6 및 도 7에 나타난 슈퍼 프레임 분석부의 일 실시예의 구성도.
도 9는 본 발명에 의한 멀티채널 오디오 신호 수신 방법을 설명하기 위한 순서도.

Claims (16)

  1. 멀티채널 오디오 신호를 송신하는 장치에 있어서,
    멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부;
    복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 슈퍼 프레임 생성부; 및
    상기 슈퍼 프레임을 패킷화하는 패킷화부를 포함하고,
    상기 슈퍼 프레임은
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 멀티채널 오디오 신호 송신 장치.
  2. 제 1항에 있어서,
    상기 패킷화부에 의해 패킷화된 슈퍼 프레임은
    상기 다운믹스 오디오 신호와의 동기화를 위한 재생 시각 정보를 더 포함하는 멀티채널 오디오 신호 송신 장치.
  3. 제 2항에 있어서,
    상기 재생 시각 정보는
    상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정되는 멀티채널 오디오 신호 송신 장치.
  4. 제 1항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 송신 장치.
  5. 멀티채널 오디오 신호를 수신하는 장치에 있어서,
    슈퍼 프레임을 포함하는 패킷을 수신하는 수신부;
    수신한 패킷을 역패킷화하여 상기 패킷에 포함된 슈퍼 프레임을 획득하는 역패킷화부; 및
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 상기 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 슈퍼 프레임 분석부를
    포함하는 멀티채널 오디오 신호 수신 장치.
  6. 제 5항에 있어서,
    상기 슈퍼 프레임 분석부는
    상기 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 멀티채널 오디오 신호 수신 장치.
  7. 제 6항에 있어서,
    상기 슈퍼 프레임 분석부는
    상기 수신한 패킷에 포함된 상기 슈퍼 프레임의 재생 시각 정보를 획득하고, 상기 슈퍼 프레임의 재생 시각 정보를 상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정하며, 미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정하는 멀티채널 오디오 신호 수신 장치.
  8. 제 5항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 수신 장치.
  9. 멀티채널 오디오 신호를 송신하는 방법에 있어서,
    멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 단계;
    복수 개의 부가 신호 프레임을 포함하는 슈퍼 프레임을 생성하는 단계; 및
    상기 슈퍼 프레임을 패킷화하는 단계를 포함하고,
    상기 슈퍼 프레임은
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 포함하는 멀티채널 오디오 신호 송신 방법.
  10. 제 9항에 있어서,
    상기 패킷화 단계에 의해 패킷화된 슈퍼 프레임은
    상기 다운믹스 오디오 신호와의 동기화를 위한 재생 시각 정보를 더 포함하는 멀티채널 오디오 신호 송신 방법.
  11. 제 10항에 있어서,
    상기 재생 시각 정보는
    상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정되는 멀티채널 오디오 신호 송신 방법.
  12. 제 9항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 송신 방법.
  13. 멀티채널 오디오 신호를 수신하는 방법에 있어서,
    슈퍼 프레임을 포함하는 패킷을 수신하는 단계;
    수신한 패킷을 역패킷화하여 상기 패킷에 포함된 슈퍼 프레임을 획득하는 단계; 및
    상기 슈퍼 프레임에 포함된 부가 신호 프레임의 개수 정보 및 길이 정보를 이용하여, 상기 슈퍼 프레임에 포함된 복수 개의 부가 신호 프레임을 획득하는 단계를
    포함하는 멀티채널 오디오 신호 수신 방법.
  14. 제 13항에 있어서,
    상기 복수 개의 부가 신호 프레임의 재생 시각을 설정하는 단계를 더 포함하는 멀티채널 오디오 신호 수신 방법.
  15. 제 14항에 있어서,
    상기 복수 개의 부가 신호 프레임의 재생 시각 정보 설정 단계는
    상기 수신한 패킷에 포함된 상기 슈퍼 프레임의 재생 시각 정보를 획득하는 단계;
    상기 슈퍼 프레임의 재생 시각 정보를 상기 복수 개의 부가 신호 프레임 중 시간적으로 가장 먼저 재생되는 부가 신호 프레임의 재생 시각으로 설정하는 단계; 및
    미리 계산된 시간 간격을 이용하여 나머지 부가 신호 프레임의 재생 시각을 설정하는 단계를
    포함하는 멀티채널 오디오 신호 수신 방법.
  16. 제 13항에 있어서,
    상기 슈퍼 프레임은
    상기 부가 신호 프레임의 바이트 정렬을 위한 패딩 비트를 더 포함하는 멀티채널 오디오 신호 수신 방법.
KR1020090037794A 2008-04-30 2009-04-29 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치 KR20090115074A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080040293 2008-04-30
KR1020080040293 2008-04-30

Publications (1)

Publication Number Publication Date
KR20090115074A true KR20090115074A (ko) 2009-11-04

Family

ID=41255560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090037794A KR20090115074A (ko) 2008-04-30 2009-04-29 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치

Country Status (4)

Country Link
EP (1) EP2276192A4 (ko)
KR (1) KR20090115074A (ko)
CN (1) CN102763364A (ko)
WO (1) WO2009134085A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122386A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122388A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method
WO2013122385A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122387A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
US9237169B2 (en) 2012-06-01 2016-01-12 Apple Inc. Network stream identification for open FaceTime
EP2779577B1 (en) * 2013-03-15 2019-05-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
EP2779578B1 (en) 2013-03-15 2019-11-20 Samsung Electronics Co., Ltd. Data Transmitting Apparatus, Data Receiving Apparatus, Data Transceiving System, Method for Transmitting Data, and Method for Receiving Data
CN106653057A (zh) * 2016-09-30 2017-05-10 北京智能管家科技有限公司 一种数据处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200949A1 (en) * 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
EP2084704B1 (en) * 2006-10-17 2012-04-18 Electronics and Telecommunications Research Institute Apparatus and method for transmitting or replaying multi-channel audio signal

Also Published As

Publication number Publication date
CN102763364A (zh) 2012-10-31
EP2276192A4 (en) 2014-03-12
EP2276192A2 (en) 2011-01-19
WO2009134085A2 (ko) 2009-11-05
WO2009134085A3 (ko) 2013-03-07

Similar Documents

Publication Publication Date Title
KR20090115074A (ko) 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치
CN102171750B (zh) 用于输送对齐的多通道音频的方法和设备
US9378743B2 (en) Audio encoding method and system for generating a unified bitstream decodable by decoders implementing different decoding protocols
JP6729382B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20080098328A (ko) 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
JP6908168B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP7218772B2 (ja) 受信装置および受信方法
JP2021105735A (ja) 受信装置および受信方法
KR20060065436A (ko) 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치
KR100917844B1 (ko) 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법
RU2762400C1 (ru) Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio
KR20040084508A (ko) 멀티미디어 데이터를 디지털 오디오 방송 데이터에다중화하는 장치와 그 방법 및 그 역다중화 방법
KR101292893B1 (ko) 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
US20130294607A1 (en) Broadcast transmitting apparatus and broadcast transmitting method for providing an object-based audio, and broadcast playback apparatus and broadcast playback method
KR101336423B1 (ko) 계층적 부호화 장치 및 방법, 복호화 장치 및 방법
KR101531510B1 (ko) 수신 시스템 및 오디오 데이터 처리 방법
KR101336553B1 (ko) 계층적 부호화 장치 및 방법
KR20080074366A (ko) 계층적 복호화 장치 및 방법
KR101435815B1 (ko) 방송 시스템 및 오디오 데이터 처리 방법
KR102471718B1 (ko) 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
KR100881312B1 (ko) 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치
KR101641684B1 (ko) 디지털 멀티미디어 방송의 전송 장치 및 방법, 수신 장치 및 방법
KR20070090616A (ko) 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법
KR20160108071A (ko) 디지털 라디오 방송 서비스 제공 장치 및 방법
KR20070106323A (ko) 디지털 방송 신호와 상기 신호를 처리하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application