KR100917844B1 - 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법 - Google Patents

멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법 Download PDF

Info

Publication number
KR100917844B1
KR100917844B1 KR1020070104554A KR20070104554A KR100917844B1 KR 100917844 B1 KR100917844 B1 KR 100917844B1 KR 1020070104554 A KR1020070104554 A KR 1020070104554A KR 20070104554 A KR20070104554 A KR 20070104554A KR 100917844 B1 KR100917844 B1 KR 100917844B1
Authority
KR
South Korea
Prior art keywords
audio signal
signal
superframe
additional
downmix
Prior art date
Application number
KR1020070104554A
Other languages
English (en)
Other versions
KR20080034812A (ko
Inventor
이용주
서정일
백승권
장대영
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080034812A publication Critical patent/KR20080034812A/ko
Application granted granted Critical
Publication of KR100917844B1 publication Critical patent/KR100917844B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법에 관한 것으로서, 기존의 스테레오 오디오 기반의 시스템과 역호환성을 가지면서 효율적으로 멀티채널 오디오 신호를 전송하고자 한다. 이를 위하여 본 발명의 전송 장치는 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부와, 상기 복수 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 슈퍼프레임 생성부와, 상기 슈퍼프레임의 부가 신호를 패킷화하는 패킷화부를 포함한다.

Description

멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING OR REPLAYING MULTI-CHANNEL AUDIO SIGNAL}
본 발명은 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법에 관한 것으로서, 특히 기존의 스테레오 오디오 기반의 시스템과 역호환성을 가지면서 효율적으로 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법을 제공하는 것에 관련된다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT전략기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2006-S-017-01, 과제명 : 지상파 DMB 전송 고도화 기술(Development of advanced transmission technology for the terrestrial DMB system)].
최근 멀티채널 오디오를 부호화 하는 방법에 대한 연구가 많이 이루어지고 있다. MPEG-서라운드 기술에서도 이러한 멀티채널 오디오의 부/복호화 방식에 대한 표준화가 이루어지고 있는데, 멀티채널 오디오를 다운믹스(down-mix)된 스테레오 오디오 신호와 부가 신호로 나누어서 부호화 하는 방법을 사용하고 있다. 이때, 다 운믹스된 스테레오 오디오 신호는 그 응용에 맞게 AAC(Advanced Audio Coding), BSAC(Bit Sliced Arithmetic Coding) 등과 같은 오디오 부호화 방법에 따라 부호화 된다.
한편, DMB(Digital Multimedia Broadcasting)는 이동 환경에서 수신이 가능한 멀티미디어 서비스로서, 휴대폰, PDA, 차량용 수신기 등과 같은 단말을 통해 서비스가 이루어지고 있다. 이러한 DMB에서는 스테레오 오디오만을 지원하고 있는데, 최근 이를 확장하여 멀티채널 오디오를 제공하는 방법에 대한 연구가 이루어지고 있다. 이와 같이 스테레오 기반의 DMB에서 멀티채널 오디오 서비스를 제공함에 있어 가장 중요한 것 중 하나는, 기존의 스테레오 기반의 DMB 서비스와의 역호환성을 유지하면서, 효율적으로 데이터를 전송할 수 있어야 한다는 것이다.
멀티채널 오디오는 스테레오 오디오에 비해 데이터율이 높은 특징이 있는데, DMB는 DTV 등과 같은 매체와 비교하였을 때 전송율이 매우 낮다는 단점이 있다. 특히 DMB 에서는 MPEG-2 TS(Transport Stream)를 사용하고 있는데, MPEG-2 시스템 규격에서는 서로 다른 ES(Elementary Stream)은 서로 다른 PID를 가지도록 규정하고 있다. 이러한 이유로, ES의 출력율이 낮더라도 TS의 출력율은 높은 경우가 발생할 수 있다. 앞서 기술하였던 멀티채널 오디오의 부호화로 생성된 부가 신호의 경우 ES의 데이터율은 높지 않으나, 이를 매 프레임마다 TS로 패킷화하여 전송하는 경우, 그 TS의 출력율은 ES의 출력율보다 2배 이상 커질 수 있다. 따라서 DMB를 통해 멀티채널 오디오를 전송하기 위해서는 기존의 DMB와 역호환성을 유지하면서도 데이터율이 지나치게 높아지지 않도록 효율적으로 멀티채널 오디오를 패킷화하여 전송 하는 방법이 필요하다.
DMB 서비스에서는 주영상 및 주음성 서비스를 위해서는 하나의 비디오 객체 및 하나의 오디오 객체를 전송하도록 규정하고 있는데, 이 때 오디오 객체는 모노 또는 스테레오일 수 있다. 최근 멀티미디어 기술의 발전으로 인해 DTV(Digital TeleVision), DVD(Digital Versatile Disc) 등에서는 멀티채널 오디오 서비스를 많이 제공하고 있으며, 이러한 멀티채널 오디오 서비스에 대한 사용자의 요구도 증가하고 있다. 이러한 추세에 따라 DMB를 통해 멀티채널 오디오를 제공하기 위한 기술 개발이 최근 이루어지고 있다. DMB에서는 모노 또는 스테레오 오디오를 BSAC 또는 AAC 등으로 부호화하여 전송하고 있는데, 멀티채널 오디오의 전송을 위해서는 추가적인 데이터의 전송이 필요하게 되어 기존의 전송 방법을 수정하여야 한다.
한편, MPEG-서라운드, SSLCC(Sound Source Location Cue Coding) 등과 같은 멀티채널 부호화 방법에서는 멀티채널 오디오를 다운믹스 스테레오 신호와 부가 신호로 분리하여 전송 및 재생하는 방식에 대한 표준화가 이루어졌는데, 이러한 멀티채널 부호화 기술은 멀티채널 오디오를 역호환성 있게 서비스하기 위한 좋은 부호화 방법이라 할 수 있다. 즉, 멀티채널 오디오 신호를 부호화하여 다운믹스 스테레오 신호와 부가신호를 분리하면, 다운믹스 스테레오 신호를 기존의 스테레오 오디오 기반의 서비스와 호환성 있게 사용할 수 있게 된다.
DMB를 통하여 멀티채널 오디오 서비스를 제공하기 위해 이러한 멀티채널 오디오 부호화 방법을 사용하는 방법이 제안되었는데, 이 방법에서도 멀티채널 오디오를 다운믹스 스테레오 신호와 부가 신호로 나누어 전송하고 있다. 이때, 다운믹 스 스테레오 신호는 기존의 DMB와의 역호환성을 위해 BSAC 또는 AAC 등으로 부호화하고, 부가 신호는 추가적인 ES로 가정하여 각 부가 신호 프레임별로 패킷화를 수행하여 전송하는 방법을 사용하고 있다.
그러나 이와 같이 부가 신호를 프레임별로 패킷화하여 전송하는 경우, 낮은 데이터율을 가지는 DMB에서 상대적으로 높은 데이터율로 전송이 되게 된다. 이러한 부가 신호로 인한 데이터율의 증가는 부가 신호가 매 프레임마다 TS 패킷화 과정을 거치기 때문에 발생하는 것으로, 한 프레임의 부가 신호를 전송하기 위하여 최소한 하나 이상의 TS 패킷이 전송되어야 하기 때문이다.
따라서 본 발명은 기존의 스테레오 오디오 기반의 시스템과 역호환성을 가지면서 효율적으로 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법을 제공하는 것을 일 목적으로 한다.
또한 본 발명은 DMB와 같은 방송 환경에서 효율적으로 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법을 제공하는 것을 다른 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 바와 같은 목적을 달성하기 위해 제안된 본 발명은 멀티채널 오디오 신호를 전송하는 장치에 있어서, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부와, 상기 복수 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 슈퍼프레임 생성부를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 패킷화된 다운믹스 오디오 신호와 패킷화된 슈퍼프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 재생하는 장치에 있어서, 상기 패킷화된 다운믹스 오디오 신호와 상기 패킷화된 슈퍼프레임의 부가 신호에 역패킷화를 수행하여 다운믹스 오디오 신호와 슈퍼프레임의 부가 신호를 생성하는 역패킷화부와, 상기 슈퍼프레임의 부가 신호를 복수의 프레임의 부가 신호로 분리하는 슈퍼프레임 분리부와, 상기 다운믹스 오디오 신호와 상기 프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 생성하는 멀티채널 오디오 생성부를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 전송하는 방법에 있어서, 멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 단계와, 상기 복수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 단계를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 패킷화된 다운믹스 오디오 신호와 패킷화된 슈퍼프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 재생하는 방법에 있어서, 상기 패킷화된 다운믹스 오디오 신호와 상기 패킷화된 슈퍼프레임의 부가 신호에 역패킷화를 수행하여 다운믹스 오디오 신호와 슈퍼프레임의 부가 신호를 생성하는 단계와, 상기 슈퍼프레임의 부가 신호를 복수의 프레임의 부가 신호로 분리하는 단계와, 상기 다운믹스 오디오 신호와 상기 프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 생성하는 단계를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 다운믹싱하여 생성된 다운믹스 오디오 신호와 부가 신호를 전송하는 방법에 있어서, 상기 복수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 슈퍼프레임 생성부를 포함하는 것을 또 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면 기존의 스테레오 오디오 기반의 시스템과 역호환성을 가지면서 효율적으로 멀티채널 오디오 신호를 전송 또는 재생할 수 있다. 특히 DMB와 같은 방송 환경에서 효율적으로 멀티채널 오디오 신호를 전송 또는 재생할 수 있다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 의한 멀티미디어 전송 장치의 구성도이다. 도시된 바와 같이, 멀티미디어 전송 장치(100)는 멀티채널 오디오 다운믹서부(102), 스테레오 오디오 부호화부(104), 슈퍼프레임 생성부(106), 비디오 부호화부(108), 패킷화부(110)를 구비하고 있다. 그리고 패킷화부(110)는 시스템 부호화 모듈(150)과 M4오버M2 모듈(160)을 구비하고 있다.
멀티채널 오디오 다운믹서부(102)는 멀티채널 오디오 신호를 입력받아 스테레오 오디오 신호와 부가 신호로 변환하고, 스테레오 오디오 신호는 스테레오 오디오 부호화부(104)로 제공하고 부가 신호는 슈퍼프레임 생성부(106)로 제공한다. 멀티채널 오디오 다운믹서부(102)는 멀티채널 오디오 신호를 입력받아 모노 오디오 신호와 부가 신호로 변환할 수도 있다. 스테레오 오디오 부호화부(104)는 멀티채널 오디오 다운믹서부(102)로부터 제공된 스테레오 오디오 신호를 부호화하여 오디오 ES(Elementary Stream)를 생성하고, 패킷화부(110)로 제공한다. 슈퍼프레임 생성부(106)는 멀티채널 오디오 다운믹서부(102)로부터 부가 신호를 수신하고, 복수 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성한다. 슈퍼프레임 생성부(106)는 DMB 방송 환경에 맞는 개수의 프레임의 부가 신호를 합쳐서 하나 의 슈퍼프레임의 부가 신호를 생성한다.
비디오 부호화부(108)는 비디오 신호를 입력받아 부호화하여 비디오 ES를 생성하고 패킷화부(110)로 제공한다. 패킷화부(110)는 오디오 ES, 슈퍼프레임의 부가 신호, 비디오 ES와 같은 오디오/비디오 신호와, IOD(Initial Object Descriptor), OD(Object Descriptor), BIFS(BInary Format for Scene)와 같은 시그널링 정보를 수신하여 MPEG-2 TS 규격으로 패킷화한다. IOD는 관련된 모든 스트림의 첫 접근지점으로 OD나 BIFS의 ES_ID(Elementary Stream ID)를 알려주는 역할을 하고, OD는 객체를 구성하는 ES_ID를 알려주며, BIFS는 화면에 객체를 배치하는 역할을 한다. 이렇게 생성된 MPEG-2 TS 규격의 스트림의 DMB 등의 방송 서비스를 통해 재생 장치 또는 저장 장치로 전송된다.
도 2는 도 1에 도시된 시스템 부호화 모듈(150)의 일 실시예의 구성도이다. 도시된 바와 같이, 시스템 부호화 모듈(150)은 SL 패킷타이저(151), OD/BIFS 생성기(153) 및 IOD(Initial Object Descriptor) 생성기(155)를 포함한다.
OD/BIFS 생성기(153)는 외부로부터 입력받은 OD/BIFS 텍스트 데이터를 이용하여 OD/BIFS 부호화 스트림을 생성하여 출력한다. SL 패킷타이저(151)는 입력받은 비디오 ES, 오디오 ES, 슈퍼프레임 형태의 부가 신호, OD/BIFS 부호화 스트림을 입력받아 이동 멀티미디어 방송 규격에 따라 각각 SL 패킷으로 패킷화하여 출력한다. IOD 생성기(155)는 외부로부터 입력받은 IOD 텍스트 데이터를 이용하여 IOD 부호화 스트림을 생성하여 출력한다.
도 3은 도 1에 도시된 M4오버M2 모듈(160)의 일 실시예의 구성도이다. 도시 된 바와 같이, M4오버M2 모듈(160)은 PES(Packetized Elementary Stream) 패킷타이저(Packetizer)(161), PES TS 패킷타이저(PES to TS Packetizer)(162), 다중화기(163), 스위치부(164), 14496 섹션(Section) 패킷타이저(165), PSI 생성기(166), PSI 섹션 TS 패킷타이저(PSI to TS Packetizer)(167) 및 14496 섹션 TS 패킷타이저(14496 Section to TS Packetizer)(168)를 포함한다.
스위치부(164)는 시스템 부호화 모듈(150)로부터 OD/BIFS SL 패킷을 입력받아 SL 패킷의 부호화 정보에 따라 PES 패킷타이저(161) 또는 14496 섹션 패킷타이저(165)로 출력한다. PES 패킷타이저(161)는 시스템 부호화 모듈(150)로부터 입력받은 비디오 SL 패킷, 오디오 SL 패킷, 부가 신호 SL 패킷 및 스위치부(164)로부터 입력받은 OD/BIFS SL 패킷을 각각 PES 패킷화하여 PES TS 패킷타이저(162)로 출력한다.
14496 섹션 패킷타이저(165)는 스위치부(164)로부터 입력받은 OD/BIFS SL 패킷을 14496 섹션으로 패킷화하여 14496 섹션 TS 패킷타이저(168)로 출력한다. PSI(Program Specific Information) 생성기(166)는 시스템 부호화 모듈(150)로부터 입력받은 IOD 정보를 이용하여 PAT(Program Associaion Table) 섹션(PA_section) 및 PMT(Program Map Table) 섹션(PM_section)을 포함하는 PSI를 생성하여 PSI 섹션 TS 패킷타이저(167)로 출력한다.
PES TS 패킷타이저(162)는 입력되는 PES 패킷을 MPEG-2 TS로 패킷화하여 다중화기(Multiplexor)(163)로 출력한다. 14496 섹션 TS 패킷타이저(168)는 입력되는 14496 섹션을 MPEG-2 TS로 패킷화하여 다중화기(163)로 출력한다. PSI 섹션 TS 패 킷타이저(167)는 PSI 정보를 입력받아 MPEG-2 TS로 패킷화하여 다중화기(163)로 출력한다. 다중화기(163)는 입력받은 MPEG-2 TS들을 하나의 전송 스트림으로 다중화하여 다중화된 MPEG-2 TS를 출력한다.
도 4는 본 발명에 의한 멀티미디어 전송 방법을 설명하는 흐름도이다. 도 1 내지 도 3을 함께 참조하여 본 발명에 의한 멀티미디어 전송 방법을 이하에서 설명한다.
먼저, 멀티채널 오디오 다운믹서부(102)는 멀티채널 오디오 신호를 입력받아 스테레오 오디오 신호와 부가 신호로 변환한다(S402). 이렇게 생성된 스테레오 오디오 신호는 스테레오 오디오 부호화부(104)로 제공되고, 부가 신호는 슈퍼프레임 생성부(106)로 제공된다. 다음에 스테레오 오디오 부호화부(104)는 멀티채널 오디오 다운믹서부(102)로부터 제공된 스테레오 오디오 신호를 압축하고 부호화하여 오디오 ES를 생성한다(S404). 다음에 슈퍼프레임 생성부(106)는 복수 프레임(예를 들어, 3개의 프레임)의 부가 신호를 합쳐서 하나의 슈퍼프레임 형태의 부가 신호를 생성한다(S406). 슈퍼프레임 생성부(106)는 DMB 방송 환경에 맞는 개수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성한다. 다음에 비디오 부호화부(108)는 수신된 비디오 신호를 부호화하여 비디오 ES를 생성한다(S408). 다음에 패킷화부(110)는 DMB 방송을 위해 MPEG-2 TS 규격으로 오디오 ES, 슈퍼프레임 형태의 부가 신호, 비디오 ES, 시그널링 정보를 패킷화하고(S410), DMB 방송 시스템을 이용하여 MPEG-2 TS 스트림을 전송한다(S412).
전술한 바와 같이, 본 발명에 의한 전송 방법은 예를 들어, 3개의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성한 경우 부가 신호를 위한 패킷의 수가 1/3로 감소하므로 패킷화에 따른 오버헤드를 줄일 수 있다. 따라서 본 발명은 DMB와 같이 전송율이 매우 낮은 방송 환경에서도 데이터율이 높은 멀티채널 오디오 신호를 효율적으로 전송할 수 있다.
도 5는 본 발명에 의한 멀티미디어 재생 장치의 구성도이다. 도시된 바와 같이, 멀티미디어 재생 장치(500)는 역패킷화부(502), 스테레오 오디오 복호화부(504), 슈퍼프레임 분리부(506), 비디오 복호화부(508), 멀티채널 오디오 생성부(510)를 구비하고 있다. 그리고 역패킷화부(502)는 M2오버M4 모듈(210)과 시스템 복호화 모듈(220)을 구비하고 있다.
역패킷화부(502)는 MPEG-2 TS 스트림으로부터 패킷화된 오디오 신호와 패킷화된 비디오 신호와 패킷화된 슈퍼프레임의 부가 신호를 분리하고, MPEG-2 TS 역패킷화를 수행하여 오디오 ES와 비디오 ES와 슈퍼프레임의 부가 신호를 생성한다. 스테레오 오디오 복호화부(504)는 오디오 ES를 복호화하여 스테레오 오디오 신호를 생성하고 멀티채널 오디오 생성부(510)로 제공한다. 슈퍼프레임 분리부(506)는 슈퍼프레임 형태의 부가 신호를 프레임 단위의 부가 신호로 분리한다. 멀티채널 오디오 생성부(510)는 스테레오 오디오 복호화부(504)로부터 제공된 스테레오 오디오 신호와 슈퍼프레임 분리부(506)로부터 제공된 프레임 단위의 부가 신호를 수신하여 멀티채널 오디오 신호를 생성한다. 비디오 복호화부(508)는 역패킷화부(502)로부터 제공된 비디오 ES를 수신하여 복호화하여 영상을 생성한다.
도 6은 도 5에 도시된 M2오버M4 모듈(210)의 일 실시예의 구성도이다. 도시 된 바와 같이 M2오버M4 모듈(210)은 역다중화기(De_Multiplexor)(211), TS PES 디패킷타이저(TS to PES De-Packetizer)(212), TS 14496 섹션 디패킷타이저(TS to 14496 Section De-Packetizer)(213), TS PSI 섹션 디패킷타이저(TS to PSI Section De-Packetizer)(214), PES 디패킷타이저(PES De-Packetizer)(215), 14496 섹션 분석기(14496 Section Analyzer)(216) 및 PSI 섹션 분석기(PSI Section Analyzer)(217)를 포함한다.
역다중화기(211)는 외부로부터 입력받은 다중화된 MPEG-2 TS를 비디오, 오디오, 부가 신호, OD/BIFS, 14496 섹션 및 PSI에 대한 각각의 단일 MPEG-2 TS로 역다중화하여 출력한다. TS PES 디패킷타이저(212)는 역다중화기(211)로부터 비디오, 오디오, 부가 신호 및 OD/BIFS의 MPEG-2 TS를 입력받아 이를 PES 패킷으로 디패킷타이징하여 PES 디패킷타이저(215)로 출력한다. PES 디패킷타이저(215)는 TS PES 디패킷타이저(212)로부터 비디오, 오디오, 부가 신호 및 OD/BIFS에 대한 각각의 PES 패킷을 입력받아, 이를 SL 패킷으로 디패킷타이징하여 비디오 SL 패킷, 오디오 SL 패킷, 부가 신호 SL 패킷 및 OD/BIFS SL 패킷을 출력한다.
TS 14496 섹션 디패킷타이저(213)는 14496 섹션의 MPEG-2 TS를 입력받아 이를 14496 섹션으로 디패킷타이징한 후에 14496 섹션 분석기(216)로 출력한다. TS PSI 섹션 디패킷타이저(214)는 PSI의 MPEG-2 TS를 입력받아 이를 PAT 섹션(PA-section) 및 PMT 섹션(PM-section)으로 디패킷타이징한 후 PSI 섹션 분석기(217)로 출력한다. 14496 섹션 분석기(216)는 TS 14496 섹션 디패킷타이저(213)로부터 14496 섹션을 입력받아 OD/BIFS SL 패킷을 추출하여 출력한다. PSI 섹션 분석 기(217)는 PAT 섹션 및 PMT 섹션을 입력받아 IOD 데이터를 추출하여 출력한다.
도 7은 도 5에 도시된 시스템 복호화 모듈(220)의 일 실시예의 구성도이다. 도시된 바와 같이, 시스템 해석 모듈(220)은 SL 디패킷타이저(De-Packetizer)(221), OD/BIFS 디코더(222) 및 IOD 디코더(223)를 포함한다.
SL 디패킷타이저(221)는 M2오버M4 모듈(210)로부터 비디오 SL 패킷, 오디오 SL 패킷, 부가 신호 SL 패킷 및 OD/BIFS SL 패킷을 입력받아 각각 부호화 스트림으로 디패킷타이징하여 비디오 ES는 비디오 복호화부(508)로, 오디오 ES는 스테레오 오디오 복호화부(504)로, 슈퍼프레임의 부가 신호는 슈퍼프레임 분리부(506)로, OD/BIFS 데이터는 OD/BIFS 디코더(222)로 출력한다. OD/BIFS 디코더(222)는 SL 디패킷타이저(221)로부터 OD/BIFS 부호화 데이터를 입력받아 복호화하여 복호화된 BIFS 정보는 장면 생성 모듈(도시되지 않음)로 출력하고, 복호화된 OD 정보는 각 미디어 디코더를 초기화하는데 이용된다. IOD 디코더(223)는 IOD 부호화 데이터를 입력받아 복호화하여 출력하며, 복호화된 IOD 데이터는 OD/BIFS 데이터를 추출하는데 이용된다.
도 8은 본 발명에 의한 멀티미디어 재생 방법을 설명하는 흐름도이다. 도 5 내지 도 7을 함께 참조하여 이하에서 본 발명에 의한 멀티미디어 재생 방법을 설명한다.
먼저 역패킷화부(502)는 수신된 MPEG-2 TS 스트림에 역다중화를 수행하고 MPEG-2 TS 역패킷화를 수행하여 오디오 ES와 슈퍼프레임의 부가 신호와 비디오 ES를 생성한다(S802). 다음에 슈퍼프레임 분리부(506)는 슈퍼프레임의 부가 신호를 복수의 프레임의 부가 신호로 분리한다(S804). 다음에 비디오 복호화부(508)는 비디오 ES를 복호화하여 영상을 생성하고, 스테레오 오디오 복호화부(504)는 오디오 ES를 복호화하여 스테레오 오디오 신호를 생성한다(S808). 다음에 멀티채널 오디오 생성부(510)는 스테레오 오디오 신호와 프레임 단위의 부가 신호를 수신하여 멀티채널 오디오 신호를 생성한다(S810). 다음에는 생성된 멀티채널 오디오 신호와 비디오 신호를 재생한다(S812).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 DMB, 인터넷 방송, 디지털 방송, 디지털 영화, DVD, 동영상 콘테 츠 등과 같이 오디오가 제공되는 모든 방송 서비스 및 멀티미디어 서비스에 적용될 수 있으며, 특히 DMB 등과 같이 MPEG-2 TS를 이용하여 오디오 신호를 저장, 전송 또는 재생을 하는 서비스에 적용된다.
도 1은 본 발명에 의한 멀티미디어 전송 장치의 구성도.
도 2는 도 1에 도시된 시스템 부호화 모듈의 일 실시예의 구성도.
도 3은 도 1에 도시된 M4오버M2 모듈의 일 실시예의 구성도.
도 4는 본 발명에 의한 멀티미디어 전송 방법을 설명하는 흐름도.
도 5는 본 발명에 의한 멀티미디어 재생 장치의 구성도.
도 6은 도 5에 도시된 M2오버M4 모듈의 일 실시예의 구성도.
도 7은 도 5에 도시된 시스템 복호화 모듈의 일 실시예의 구성도.
도 8은 본 발명에 의한 멀티미디어 재생 방법을 설명하는 흐름도.

Claims (25)

  1. 멀티채널 오디오 신호를 전송하는 장치에 있어서,
    멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 멀티채널 오디오 다운믹서부와,
    상기 복수 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 슈퍼프레임 생성부를
    포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  2. 제 1 항에 있어서,
    상기 다운믹스 오디오 신호를 압축하고 부호화하는 다운믹스 오디오 부호화부와,
    상기 슈퍼프레임의 부가 신호와 상기 부호화된 다운믹스 오디로 신호를 패킷화하는 패킷화부를
    추가로 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  3. 제 1 항에 있어서,
    상기 다운믹스 오디오 신호는 스테레오 오디오 신호 또는 모노 오디오 신호 인 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  4. 제 1 항에 있어서,
    상기 슈퍼프레임 생성부는 DMB 방송 환경에 맞는 개수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  5. 제 1 항에 있어서,
    비디오 신호를 입력받아 부호화하는 비디오 부호화부를 추가로 포함하고,
    상기 패킷화부는 상기 부호화된 비디오 신호를 패킷화하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  6. 제 1 항에 있어서,
    상기 패킷화부는 MPEG-2 TS 패킷화를 수행하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  7. 패킷화된 다운믹스 오디오 신호와 패킷화된 슈퍼프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 재생하는 장치에 있어서,
    상기 패킷화된 다운믹스 오디오 신호와 상기 패킷화된 슈퍼프레임의 부가 신호에 역패킷화를 수행하여 다운믹스 오디오 신호와 슈퍼프레임의 부가 신호를 생성하는 역패킷화부와,
    상기 슈퍼프레임의 부가 신호를 복수의 프레임의 부가 신호로 분리하는 슈퍼프레임 분리부와,
    상기 다운믹스 오디오 신호와 상기 프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 생성하는 멀티채널 오디오 생성부를
    포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 장치.
  8. 제 7 항에 있어서,
    상기 다운믹스 오디오 신호는 스테레오 오디오 신호 또는 모노 오디오 신호인 것을 특징으로 하는 멀티채널 오디오 신호의 재생 장치.
  9. 제 7 항에 있어서,
    상기 역패킷화부는 MPEG-2 TS 역패킷화를 수행하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 장치.
  10. 제 7 항에 있어서,
    부호화된 비디오 신호를 수신하여 복호화하는 비디오 복호화부를 추가로 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 장치.
  11. 제 10 항에 있어서,
    상기 역패킷화부는 패킷화되고 부호화된 비디오 신호를 수신하여 부호화된 비디오 신호를 생성하고 상기 비디오 복호화부에 제공하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 장치.
  12. 멀티채널 오디오 신호를 전송하는 방법에 있어서,
    멀티채널 오디오 신호를 입력받아 다운믹스 오디오 신호와 부가 신호로 변환하는 단계와,
    상기 복수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 단계를
    포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 방법.
  13. 제 12 항에 있어서,
    상기 다운믹스 오디오 신호를 압축하고 부호화하는 단계와,
    상기 부호화된 다운믹스 오디오 신호와 상기 슈퍼프레임의 부가 신호를 패킷화 하는 단계를
    추가로 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 방법.
  14. 제 12 항에 있어서,
    상기 다운믹스 오디오 신호는 스테레오 오디오 신호 또는 모노 오디오 신호인 것을 특징으로 하는 멀티채널 오디오 신호의 전송 방법.
  15. 제 12 항에 있어서,
    상기 슈퍼프레임 생성부는 DMB 방송 환경에 맞는 개수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 방법.
  16. 제 12 항에 있어서,
    비디오 신호를 입력받아 부호화하는 단계를 추가로 포함하고,
    상기 패킷화는 상기 부호화된 비디오 신호를 패킷화하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 방법.
  17. 제 12 항에 있어서,
    상기 패킷화는 MPEG-2 TS 패킷화를 수행하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 방법.
  18. 패킷화된 다운믹스 오디오 신호와 패킷화된 슈퍼프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 재생하는 방법에 있어서,
    상기 패킷화된 다운믹스 오디오 신호와 상기 패킷화된 슈퍼프레임의 부가 신호에 역패킷화를 수행하여 다운믹스 오디오 신호와 슈퍼프레임의 부가 신호를 생성하는 단계와,
    상기 슈퍼프레임의 부가 신호를 복수의 프레임의 부가 신호로 분리하는 단계와,
    상기 다운믹스 오디오 신호와 상기 프레임의 부가 신호를 수신하여 멀티채널 오디오 신호를 생성하는 단계를
    포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 방법.
  19. 제 18 항에 있어서,
    상기 다운믹스 오디오 신호는 스테레오 오디오 신호 또는 모노 오디오 신호인 것을 특징으로 하는 멀티채널 오디오 신호의 재생 방법.
  20. 제 18 항에 있어서,
    상기 역패킷화는 MPEG-2 TS 역패킷화를 수행하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 방법.
  21. 제 18 항에 있어서,
    부호화된 비디오 신호를 수신하여 복호화하는 단계를 추가로 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 재생 방법.
  22. 제 21 항에 있어서,
    상기 역패킷화는 패킷화되고 부호화된 비디오 신호를 수신하여 부호화된 비디오 신호를 생성하고 상기 비디오 복호화 단계에 제공하는 것을 특징으로 하는 멀 티채널 오디오 신호의 재생 방법.
  23. 멀티채널 오디오 신호를 다운믹싱하여 생성된 다운믹스 오디오 신호와 부가 신호를 전송하는 방법에 있어서,
    상기 복수의 프레임의 부가 신호를 합쳐서 하나의 슈퍼프레임의 부가 신호를 생성하는 슈퍼프레임 생성부를
    포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  24. 제 23 항에 있어서,
    상기 다운믹스 오디오 신호를 압축하고 부호화하는 다운믹스 오디오 부호화부와,
    상기 슈퍼프레임의 부가 신호와 상기 부호화된 다운믹스 오디로 신호를 패킷화 하는 패킷화부를
    추가로 포함하는 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
  25. 제 23 항에 있어서,
    상기 다운믹스 오디오 신호는 스테레오 오디오 신호 또는 모노 오디오 신호 인 것을 특징으로 하는 멀티채널 오디오 신호의 전송 장치.
KR1020070104554A 2006-10-17 2007-10-17 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법 KR100917844B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060100877 2006-10-17
KR20060100877 2006-10-17

Publications (2)

Publication Number Publication Date
KR20080034812A KR20080034812A (ko) 2008-04-22
KR100917844B1 true KR100917844B1 (ko) 2009-09-18

Family

ID=39314220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070104554A KR100917844B1 (ko) 2006-10-17 2007-10-17 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법

Country Status (4)

Country Link
EP (1) EP2084704B1 (ko)
KR (1) KR100917844B1 (ko)
AT (1) ATE554479T1 (ko)
WO (1) WO2008048042A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090115074A (ko) * 2008-04-30 2009-11-04 한국전자통신연구원 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치
KR101599554B1 (ko) * 2009-03-23 2016-03-03 한국전자통신연구원 Ｓａｃ 부가정보를 이용한 3ｄ 바이노럴 필터링 시스템 및 방법
TWI557727B (zh) * 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
WO2018112887A1 (zh) * 2016-12-23 2018-06-28 海能达通信股份有限公司 专网系统的反向信令传输方法、装置及通信设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US6801575B1 (en) * 1997-06-09 2004-10-05 Sharp Laboratories Of America, Inc. Audio/video system with auxiliary data
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Christof Faller, 'PARAMETRIC CODING OF SPATIAL AUDIO', Proc. of the 7th Int. Conference on Digital Audio Effects (DAFx’04), Naples, Italy, October 5-8, 2004
JONG-HWA KIM, 'Lossless Wideband Audio Compression: Prediction and Transform', Doktor der Philosophie genehmigte Dissertation, Technische Universitat Berlin 2004

Also Published As

Publication number Publication date
ATE554479T1 (de) 2012-05-15
EP2084704A1 (en) 2009-08-05
EP2084704A4 (en) 2011-05-18
WO2008048042A1 (en) 2008-04-24
EP2084704B1 (en) 2012-04-18
KR20080034812A (ko) 2008-04-22

Similar Documents

Publication Publication Date Title
EP1624448B1 (en) Packet multiplexing multi-channel audio
JP6729382B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2013174891A (ja) 高品質マルチチャネルオーディオ符号化および復号化装置
KR102172279B1 (ko) 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
EP2153645A1 (en) Method and apparatus for providing high-quality multimedia service in dmb system
WO2012138819A2 (en) Audio encoding method and system for generating a unified bitstream decodable by decoders implementing different decoding protocols
KR20090115074A (ko) 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치
JP2009267537A (ja) 階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラム
US20080288263A1 (en) Method and Apparatus for Encoding/Decoding
KR100917844B1 (ko) 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법
US10657978B2 (en) Broadcast transmitting apparatus and broadcast transmitting method for providing an object-based audio, and broadcast playback apparatus and broadcast playback method
RU2762400C1 (ru) Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio
KR20040084508A (ko) 멀티미디어 데이터를 디지털 오디오 방송 데이터에다중화하는 장치와 그 방법 및 그 역다중화 방법
KR20080099094A (ko) 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
KR101114431B1 (ko) 실시간 스트리밍을 위한 오디오 생성장치, 오디오 재생장치 및 그 방법
KR20080074366A (ko) 계층적 복호화 장치 및 방법
KR101336423B1 (ko) 계층적 부호화 장치 및 방법, 복호화 장치 및 방법
KR102471718B1 (ko) 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
JP2006050387A (ja) データ再生方法、およびデータ再生装置
RU2792944C2 (ru) Способы, устройство и системы для генерирования, передачи и обработки кадров немедленного воспроизведения (ipf)
KR20100060449A (ko) 수신 시스템 및 오디오 데이터 처리 방법
KR101641684B1 (ko) 디지털 멀티미디어 방송의 전송 장치 및 방법, 수신 장치 및 방법
Seo et al. Multi‐channel Audio Service in a Terrestrial‐DMB System Using VSLI‐Based Spatial Audio Coding
KR100767669B1 (ko) 디지털 멀티미디어 방송 수신장치의 오디오 스트림 저장장치 및 방법
JP2010219623A (ja) 放送信号多重送出装置とその送出レート割り当て方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120831

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 11