KR101435815B1

KR101435815B1 - 방송 시스템 및 오디오 데이터 처리 방법

Info

Publication number: KR101435815B1
Application number: KR1020070122307A
Authority: KR
Inventors: 서종열; 오현오; 김봉면; 김진필; 송재형
Original assignee: 엘지전자 주식회사
Priority date: 2007-11-28
Filing date: 2007-11-28
Publication date: 2014-08-29
Also published as: KR20090055399A

Abstract

이동형 방송 신호 특히, 지상파 DMB를 송수신할 수 있는 방송 시스템 및 오디오 데이터 처리 방법이 개시된다. 특히 본 발명은 지상파 DMB에서 멀티 채널 오디오 서비스를 가능하게 함으로써, 이동 방송을 통해 보다 고음질 서비스를 시청자에게 제공할 수 있도록 한다.

멀티 채널, 오디오, DMB

Description

방송 시스템 및 오디오 데이터 처리 방법{broadcasting system and method of processing audio data}

본 발명은 방송 시스템에 관한 것으로서, 더욱 상세하게는 멀티 채널 오디오 서비스를 지원하기 위한 이동형 방송 시스템 및 오디오 데이터 처리 방법에 관한 것이다.

고품질의 음성 및 영상 서비스를 언제 어디서나 제공할 수 있는 이동형 방송 중 디지털 멀티미디어 방송(Digital Multimedia Broadcasting ; DMB)은 듣는 방송에서 보고 듣는 방송으로 진화하였다. 그리고 뛰어난 이동수신 특성을 바탕으로 음악, 문자, 동영상 등 다양한 콘텐츠를 휴대폰, PDA 등 휴대용 단말을 통해 전달함으로써, 고화질, 고음질을 추구하는 디지털 지상파 TV 방송과 보완적인 관계를 구축한다.

상기 DMB는 유럽의 지상파 라디오 표준으로 채택된 Eureka-147 디지털 오디오 방송(Digital Audio Broadcasting : DAB)에 기반하고 있다. 즉, 상기 Eureka-147은 디지털 오디오 방송(DAB)을 위하여 창안되었으나 2MHz의 좁은 주파수 대역폭을 이용하여 작은 화면 크기의 동영상을 서비스하는 지상파 DMB의 기반 기술로도 사용되고 있다.

또한 DMB는 MPEG-4 방식의 데이터 전송 외에도 TPEG, BWS(Broadcast Website) 등 다른 형태들의 데이터 전송이 가능하여, 이동 수신의 멀티미디어 방송을 지원할 수 있다. 이런 점은 DMB 수신기 자체 뿐 아니라 PDA, 포터블 DVD, 모바일 폰 등 기존 모바일 기기에 많이 응용할 수 있다는 점에서 그 산업적 파급 효과가 매우 크다 할 수 있다. 상기 MPEG-4 방식은 콘텐츠(contents)에 기반한 영상 표현 방법을 사용하며, 화면을 모양 정보, 움직임 정보, 질감 정보라는 속성을 가지는 비디오 오브젝트들로 분리하여 처리한다. 콘텐츠 기반 영상표현 방법은 다양한 멀티미디어 응용에서 오브젝트 사이의 상호 관계를 정립하여 이들의 접근과 조작을 쉽게 한다. 다시 말해, MPEG-4에서의 오브젝트 지향 대화형 기능은 멀티미디어 데이터 액세스에 있어서 화면이나 음향의 오브젝트 요소들을 독립적으로 취급하면서 이들을 서로 링크에 의해 결합해 사용자가 화면이나 음향을 자유로이 구성할 수 있도록 한다. 예를 들어, 화면에서 배경을 그대로 둔 채 주인공만을 교체하는 등의 처리가 이전까지는 프로덕션 단계에서만 가능했으나 MPEG-4에서는 사용자 단계에서 가능해진다.

본 발명의 목적은 멀티 채널 오디오(Multi-channel audio) 서비스를 지원하기 위한 지상파 DMB 방송 시스템 및 오디오 데이터 처리 방법을 제공함에 있다.

본 발명의 다른 목적은 MPEG 서라운드(surround) 오디오 서비스를 지원하기 위한 지상파 DMB 방송 시스템 및 오디오 데이터 처리 방법을 제공함에 있다.

본 발명에 따른 방송 시스템 중 수신 시스템의 오디오 데이터 처리 방법은, 멀티 채널 오디오 데이터를 포함하는 이동형 방송 신호를 수신하는 단계, 상기 이동형 방송 신호에 포함된 식별 정보를 이용하여 멀티 채널 오디오 데이터를 추출하는 단계, 및 상기 추출된 멀티 채널 오디오 데이터를 디코딩하여 출력하는 단계를 포함할 수 있다.

본 발명은 지상파 DMB에서 멀티 채널 오디오 서비스를 가능하게 함으로써, 이동 방송을 통해 보다 고음질 서비스를 시청자에게 제공할 수 있는 효과가 있다.

본 발명은 지상파 DMB를 전송할 수 있는 송신 시스템에서 5.1 채널과 같은 멀티 채널 오디오 신호를 전송할 수 있도록 하고, 지상파 DMB를 수신할 수 있는 수신 시스템에서 상기 멀티채널 오디오 신호를 수신하여 출력할 수 있도록 하는데 있다.

도 1은 본 발명에 따른 지상파 DMB 패킷 구조에 대한 일 실시예를 보이고 있다.

도 1에서, DMB 방송을 위한 송신 시스템 내 MPEG-4 시스템은 기 설정된 압축 알고리즘으로 각각 압축 부호화된 오디오/비디오 요소 스트림(Audio/Video elementary stream ; A/V ES)을 MPEG-4 싱크 레이어(Sync Layer ; SL)로 패킷 화(packetize)한다.

예를 들어, 비디오는 MPEG-4/AVC(Advanced Video Coding)(MPEG-4 파트 10)을 사용하여 압축 부호화한 후 MPEG-4 SL(Sync Layer)로 패킷화할 수 있고, 오브젝트 지향 대화형 기능을 지원하기 위해 MPEG-4 BIFS(Binary Format for Scenes) 대화형 콘텐츠들도 MPEG-4 SL로 패킷화할 수 있다.

그리고 오디오는 MPEG-4/BSAC(Bit Sliced Arithmetic Coding) 방식을 사용하여 압축 부호화한 후 MPEG-4 SL로 패킷화하거나, MPEG 서라운드 방식을 사용하여 압축 부호화한 후 MPEG-4 SL로 패킷화할 수 있다. 다른 예로, MPEG-4 BSAC과 MPEG 서라운드가 조합된 오디오 ES를 MPEG-4 SL로 패킷화할 수 있다. 설명의 편의를 위해 상기 MPEG-4 BSAC 오디오 신호를 메인 오디오 데이터라 하기로 한다.

송신 시스템 내 MPEG-2 시스템은 MPEG-4 시스템에서 패킷화된 MPEG-4 SL 패킷에 대해 PES(packetized elementary stream) 형태로 패킷화하고, 이어 MPEG-2 트랜스포트 스트림(Transport Stream ; TS)으로 패킷화한다. 상기 MPEG-2 TS 패킷은 헤더(header)와 페이로드(payload)로 구성된다. 상기 MPEG-2 시스템은 MPEG-2 TS 패킷에 대해 리드-솔로몬 부호화를 수행하여 TS 패킷 뒤에 16 바이트 크기의 리드-솔로몬(Reed-Solomon) 코드(code)를 붙이고, 이어 바이트 인터리빙(byte interleaving)을 수행한 후 그 결과를 수신 시스템으로 전송한다.

이와 같이 지상파 DMB의 송신측에서는 MPEG-4 시스템 표준을 사용하여 오디오/비디오 오브젝트(A/V Object)들을 전송하고, 이러한 AV 오브젝트들의 시공간상의 배치를 나타내는 장면 서술 정보(scene description information)를 전송함으로 써, 수신 시스템에서 장면을 구성한 후, 2차원 디스플레이에 맞게 렌더링하여 표시할 수 있게 한다. 실제적으로 장면 서술 정보는 트리 구조로 되어 있으며, 트리의 각 노드는 A/V 오브젝트를 표시하게 된다. 그리고 상기 트리의 종단 노드에 오브젝트 서술자(Object Descriptor ; OD)가 연결되어 있는데, 이 OD는 오브젝트의 여러 가지 속성과 이 오브젝트에 해당하는 실제 데이터의 위치를 알려주는 정보를 포함하고 있다. 따라서 수신 시스템은 우선 장면 구성 정보를 참조한 후 각 오브젝트의 시공간 상의 위치를 정하고, OD를 이용하여 오브젝트 데이터를 찾아와서 지정된 속성에 따라 이를 장면에 배치한다.

또한 송신측에서는 MPEG-2 TS의 PAT(Program Association Table)와 MPEG-4 시스템 표준의 초기 객체 서술자(Initial Object Descriptor ; IOD)를 다중화 스트림 내에 전송한다. 이때 상기 IOD는 MPEG-2 TS의 PMT(Program Map Table)에 포함된다.

즉, MPEG-4로 압축 부호화된 멀티미디어를 MPEG-2 TS로 패킷화할 때, 상기된 PMT 신택스에 MPEG-4에서 정의된 IOD와 SL(Sync Layer) descriptor가 포함된다.

상기 IOD는 전송되는 MPEG-4 콘텐츠의 프로파일(profile)과 레벨(level) 정보를 알려준다. 또한 OD 스트림의 ES(Elementary Stream) ID와 SD(Scene Description) 스트림의 ES ID 정보를 포함한다. 즉, IOD의 ES descriptor에 OD 스트림에 관한 정보와 SD 스트림에 관한 정보가 기술되어 있다. 상기 IOD는 SD의 BIFS와 OD를 연결시키는 포인터 역할을 한다. 따라서 수신 시스템의 MPEG-4 시스템에서 IOD를 해석하면 장면 기술에 관한 정보와 각각 오브젝트에 관한 정보를 전송 하는 논리적 채널(ES_ID)을 얻을 수 있다. 이 후 각각의 논리적 채널에 접근해서 장면을 구성하고, 각각 오브젝트에 관한 정보를 얻은 후에 음향 혹은 영상에 관한 논리적 채널을 얻을 수 있다.

상기 OD는 ES descriptor를 포함하고, 상기 ES descriptor는 ES_ID와 DecoderConfigDescriptor를 포함한다. 상기 DecoderConfigDescriptor는 전송되는 스트림의 종류를 표시한 stream type 정보, 오브젝트의 타입을 알 수 있는 objectTypeIndication, 그리고 각 스트림에 대한 디코딩 정보를 알 수 있는 Decoderspecific info를 포함한다.

본 발명은 수신 시스템에서 멀티채널 오디오 신호를 수신하여 올바르게 출력할 수 있도록 하기 위해서, 상기 PMT를 통해 전송되는 stream type 값에 MPEG 서라운드 오디오 데이터를 유일하게 구분할 수 있는 값을 할당한다. 즉, 전송되는 스트림이 MPEG 서라운드 오디오 스트림이면, 도 2와 같이 stream type 값에 0x1C를 할당하는 것을 일 실시예로 한다. 상기 0x1C 값은 하나의 실시예이며, 시스템 설계자에 의해 다른 값으로 변경될 수 있다.

이와 같이 본 발명은 PMT를 통해 MPEG Surround audio data를 signaling 하기 위해 multi channel extension audio를 위한 stream type 값을 정의한다.

여기서, 스트림 타입을 정의하는 이유는 메인 오디오 데이터와 멀티 채널 오디오 데이터를 위한 서브 채널(sub channel) 데이터를 구분해야 할 필요가 있기 때문이다. 예를 들어, 지상파 DMB 수신 시스템의 사양에 따라 멀티 채널 오디오를 지원하지 못하는 시스템이 있을 수도 있으며 이 경우에 메인 채널 오디오만을 디코딩 하고 multi channel extension audio로 정의된 stream type 데이터를 무시할 수 있어야 한다.

도 3 내지 도 5는 본 발명에 따른 멀티 채널 오디오 데이터(예를 들어, MPS 오디오 데이터)를 MPEG SL에 패킷화하는 방법의 실시예들을 보이고 있다.

도 3은 MPS ES를 현재의 오디오 ES 내 보조 데이터(Ancillary data)(즉, BSAC Extencion) 필드에 삽입하여 MPEG SL로 패킷화하는 방법의 예를 보이고 있다. 즉, 하나의 SL 패킷 내 페이로드에 BSAC ES와 MPS ES가 모두 삽입된다. 이때 오디오 ES를 전송하는 각 SL 패킷의 ES_ID는 BSAC ES와 MPS ES의 구분 없이 동일한 값(예, 0x101)을 갖는다.

도 4는 MPS ES에 별도의 ES_ID를 할당하고, BSAC ES를 전송하는 SL 패킷과 구분되어 별도의 SL 패킷으로 전송하는 방법의 예를 보이고 있다.

만일 BSAC ES의 ES_ID가 0x101이라고 가정하면, MPS ES의 ES_ID는 0x101이 아닌 값 예를 들어, 0x105로 할당할 수 있다. 이때 MPS는 비트레이트(bitrate)이 낮이서 복수개의 AU(Access unit)를 묶은 수퍼 프레임 단위로 SL 패킷 내 페이로드에 삽입한다. 도 4는 3개의 MPS AU를 묶은 MPS 수퍼 프레임이 하나의 SL 패킷 내 페이로드에 삽입된 예를 보이고 있다.

도 5는 MPS ES를 위해 독립적인 서브 채널로 할당하고, 할당된 서브 채널로 MPS ES를 전송하는 방법의 예를 보이고 있다.

예를 들어, 서브 채널 A를 통해 비디오, BSAC 오디오, 시스템 정보(예, PMT, PAT 등)을 모두 전송하고, 새로이 할당된 서브 채널 B를 통해 MPS 오디오만 전송할 수 있다. 이때 상기 서브 채널 B로 전송되는 MPS ES의 ES_ID는 BSAC ES의 ES_ID와 동일한 값을 가질 수도 있고, 다른 값을 가질 수도 있다.

전술한 바와 같이 멀티 채널 오디오 서비스를 지원하기 위해서는 ES_ID, OD_ID를 정의해야 하고, MPS를 위한 DecoderConfigDescriptor를 정의해야 한다. 또한 MPS를 독립적인 ES로 전송시 TS 레이트(rate)를 최적화(optimize)하기 위한 ㅅ수퍼 프레임(per frame) 구조를 정의해야 한다.

여기서, 공간 오디오 데이터를 전송하는 ES는 Audio Object Type “MPEG Surround”에 의해 식별되는 것을 일 실시예로 한다(An elementary stream carrying spatial audio data is identified by the Audio Object Type “MPEG Surround”). 이때 MPEG 서라운드의 Audio Object Type ID는 30을 할당하는 것을 일 실시예로 한다(Object Type ID 30). 그리고 상기 오브젝트를 위한 AudioSpecificConfig()는 SpatialSpecificConfig() 데이터와 sacPayloadEmbedding 플래그(flag)를 전송한다. 상기 sacPayloadEmbedding 플래그는 SpatialFrame() 페이로드가 ES로서 전송되는지, 아니면 다운믹스 데이터(downmix data)에 삽입되는지를 지시한다(The AudioSpecificConfig() for this object carries the SpatialSpecificConfig() data and a sacPayloadEmbedding flag that indicates whether the SpatialFrame() payload is conveyed as an elementary stream or embedded into the downmix data).

상기 AudioSpecificConfig()에서 SpatialSpecificConfig()에 대응되는 데이터는 DecoderConfigDescriptor에 실려서 전송된다.

각 MPS ES는 SpatialFrame() 이라는 신택스에 의해 패킹(packing)되어 있으며, 이것은 SL -> PES -> TS 패킷화 과정을 거쳐 전송된다. 만일 도 4와 같이 MPS ES를 전송한다면 MPS ES의 ES_ID는 BSAC ES의 ES_ID와 다른 값을 갖는다.

상기 SpatialFrame()의 사이즈가 너무 작아 효율적 TS trunk에 담기위해 super frame 구조를 사용할 수 있다. 이때 1개의 SL 패킷 내에 복수개의 MPS ES가 삽입될 수 있다면 super frame이라는 syntax는 별도 정의할 필요가 없다. 그리고 한 개의 MPS SL에 대응하는 BSAC ES가 여러 개일 수 있으며, 따라서 BSAC를 패킷화한 SL과 MPS를 패킷화한 SL의 개수가 일치하지 않을 수 있으나, 서로 배수 관계를 가질 수 있다.

도 6 내지 도 24는 본 발명에 따른 멀티 채널 오디오 서비스를 지원하기 위한 AudioSpecificConfig() 구조의 예를 보이고 있다.

이때 MPEG-4 BSAC의 Audio Object Type ID는 22이고, MPEG 서라운드의 Audio Object Type ID는 30인 것을 일 실시예로 한다.

또한 오디오에 대한 DecoderConfigDescriptor로 전송되는 것은 도 6 내지 도 24에서 정의된 것과 같은 AudioSpecificConfig() 이다.

여기서, ObjectType ID에 따라 BSAC에 대한 descriptor와 MPEG 서라운드(이하, MPS라 함)에 대한 descriptor로 구분된다. 도 6 내지 도 24에서 BSAC에 대한 DecoderConfigDescriptor 내에 존재하는 데이터 필드(data field)는 10으로 표시하고, MPS에 대한 DecoderConfigDescriptor 내에 존재하는 데이터 필드(data field)는 20으로 표시하며, 공통일 때는 30으로 표시한다.

즉, ObjectType ID에 따라 BSAC인 경우는 GASpecificConfig()를, MPS인 경우는 SpatialSpecificConfig()를 호출하는 형태로 구분이 된다.

BSAC+SBR 혹은 BSAC+MPS를 하나의 ES에 조합(combine)해서 전송하는 경우는, AudioSpecificConfig()의 extensionAudioObjectType 관련한 내용을 통해 하나의 AudioSpecificConfig()를 통해 BSAC 및 SBR 혹은 MPS에 대한 descriptor 정보를 같이 전송할 수 있다. 이를 위해 사용되는 필드는 40으로 표시한다.

이때 MPS에 대한 descriptor에서 samplingFrequencyIndex는 BSAC에 대한 descriptor와 다를 수 없다. MPS에 대한 descriptor에서 channelConfiguration은 의미 없다. MPS에 대한 descriptor에서 bsSamplingFrequencyIndex는 MPS 및 BSAC descriptor 상의 samplingFrequencyIndex와 다를 수 없다. 따라서 중복된 데이터로써, 어느 한쪽을 무시하도록 정의할 수 있다. MPS에 있는 bsFrameLength 값은 BSAC의 frame size인 1024 샘플의 배수를 가리키도록 구성되어야 한다. 이 정보를 이용하여 수퍼프레임 컨셉을 사용할 수 있다. 최대 8192 샘플을 1개의 MPS 프레임으로 정의할 수 있으며, 이는 8개의 BSAC 프레임에 대응이 된다. 이 필드를 이용하는 경우 실제는 수퍼 프레임이 아니라, 1개의 단일 MPS 프레임이 BSAC 여러 개에 대응되는 개념이다. 이때, 복수 개의 BSAC 프레임(ES)를 1개의 MPS 프레임에 대응시키기 위해서는 서로 간의 관계를 알려주는 식별자나 싱크 정보, 타이밍 정보 등이 필요할 수 있다. target app.을 위해 SpatialSpecificConfig()내의 여러 parameter들은 그 동작 범위를 제한할 수 있다. 예를 들어, 5.1 채널 초과의 멀티채널 모드는 지원하지 않기 위해 bsTreeConfig를 제한한다거나 bsArbitraryDownmix, bsMatrixMode, bs3DaudioMode 등을 특정 값으로 제약할 수 있다.

도 6a 내지 도 6e는 본 발명에 따른 AudioSpecificConfig의 신택스 구조의 일 실시예를 보이고 있다. AudioSpecificConfig() extends the abstract class DecoderSpecificInfo, as defined in ISO/IEC 14496-1, when DecoderConfigDescriptor.objectTypeIndication refers to streams complying with ISO/IEC 14496-3 in this case the existence of AudioSpecificConfig() is mandatory.

도 7은 본 발명에 따른 GetAudioObjectType() 신택스 구조의 일 실시예를 보이고 있다.

도 8a, 도 8b는 본 발명에 따른 GASpecificConfig() 신택스 구조의 일 실시예를 보이고 있다.

도 9는 본 발명에 따른 audio object type ER BSAC의 톱 레벨 페이로드(top level payload)인 bsac_payload() 신택스 구조의 일 실시예를 보이고 있다.

도 10은 본 발명에 따른 bsac_lstep_element() 신택스 구조의 일 실시예를 보이고 있다.

도 11a, 도 11b는 본 발명에 따른 bsac_raw_data_block() 신택스 구조의 일 실시예를 보이고 있다.

도 12는 본 발명에 따른 bsac_base_element() 신택스 구조의 일 실시예를 보이고 있다.

도 13은 본 발명에 따른 bsac_header() 신택스 구조의 일 실시예를 보이고 있다.

도 14는 본 발명에 따른 general_header() 신택스 구조의 일 실시예를 보이고 있다.

도 15는 본 발명에 따른 bsac_layer_element() 신택스 구조의 일 실시예를 보이고 있다.

도 16은 본 발명에 따른 extended_bsac_raw_data_block() 신택스 구조의 일 실시예를 보이고 있다.

도 17은 본 발명에 따른 extended_bsac_base_element() 신택스 구조의 일 실시예를 보이고 있다.

도 18은 본 발명에 따른 extended_bsac_sbr_data() 신택스 구조의 일 실시예를 보이고 있다.

도 19는 본 발명에 따른 bsac_sbr_data() 신택스 구조의 일 실시예를 보이고 있다.

도 20은 본 발명에 따른 extended_bsac_data() 신택스 구조의 일 실시예를 보이고 있다.

도 21은 본 발명에 따른 extended_bsac_sac_data() 신택스 구조의 일 실시예를 보이고 있다.

한편 본 발명에 따른 MPEG 서라운드는 SpatialSpecificConfig(), SpatialFrame()를 포함할 수 있다.

도 22a, 도 22b는 본 발명에 따른 SpatialSpecificConfig() 신택스 구조의 일 실시예를 보이고 있다.

도 23은 본 발명에 따른 SpatialFrame() 신택스 구조의 일 실시예를 보이고 있다.

도 24는 본 발명에 따른 FramingInfo() 신택스 구조의 일 실시예를 보이고 있다.

도 25는 본 발명에 따른 멀티 채널 오디오 데이터를 수신하여 출력하기 위한 수신 시스템의 일 실시예를 보이고 있다.

도 25는 DAB 시스템, 디인터리버, RS 디코더, TS 디먹스, SL 디패킷타이저, 비디오 디코더, BSAC 파서, MPEG 서라운드 파서, OD/BIFS 디코더, IOD 파서, BSAC 디코더, 및 멀티 채널 오디오 디코더를 포함할 수 있다. 만일 수신 시스템이 기존 의 지상파 DMB 수신기이면, BSAC 오디오 데이터만 디코딩할 수 있다.

상기 DAB 시스템은 튜너, 베이스밴드 신호 처리부를 포함할 수 있다(도시되지 않음). 상기 베이스밴드 신호 처리부는 아날로그/디지털(A/D) 변환기, 동기화부(synchronizer), OFDM 복조기, 디인터리버, 비터비 디코더, 및 오디오 디코더를 포함할 수 있다(도시되지 않음). 상기 베이스밴드 신호 처리부 내 오디오 디코더는 기존 DAB 오디오 데이터를 디코딩하여 출력한다. 일 예로 상기 오디오 디코더는 DAB 오디오 신호를 MUSICAM(Masking pattern adapted universal sub-band integrated coding and multiplexing) 방식으로 디코딩하여 출력한다.

상기 DAB 시스템에서 처리된 데이터가 스트림 모드로 전송된 데이터이면, 데이터 스트림은 도 25의 디인터리버로 출력되어 디인터리빙된 후 RS 디코더로 출력된다.

상기 RS 디코더는 데이터 스트림에 대해 추가의 오류 정정을 수행한 후 TS 디먹스로 출력한다. 상기 TS 디먹스는 오류 정정된 데이터 스트림에 대해 트랜스포트 스트림 디패킷타이징(Depacketizing), PES(Packetized Element Stream) 디패킷타이징을 수행하여 SL 디패킷타이저로 출력한다. 상기 SL 디패킷타이저는 PES 디패킷타이징된 데이터에 대해 SL(Sync Layer) 디패킷타이징을 수행하여 비디오 ES, BSAC 오디오 ES, MPEG 서라운드 오디오 ES, OD/BIFS, IOD, JPEG ES 중 하나로 구분한다. 즉, 수신 시스템에서 멀티 채널 오디오 신호를 수신하여 올바르게 출력하기 위해서는 먼저 SL 디패킷타이저에서 MPEG 서라운드 데이터와 메인 오디오 데이터(즉, BSAC 오디오 데이터)를 구분한다.

상기 비디오 ES는 비디오 디코더 출력되고, BSAC 오디오 ES는 BSAC 파서로 출력된다. 상기 MPEG 서라운드 오디오 ES는 MPEG 서라운드 파서로 출력되고, OD/BIFS는 OD/BIFS 디코더로 출력되며, 상기 IOD는 IOD 파서로 출력된다.

상기 BSAC 파서는 BSAC 오디오 데이터를 추출하고, MPEG 서라운드 파서는 MPEG 서라운드 오디오 데이터를 추출한다. 상기 BSAC 파서에서 추출된 BSAC 오디오 데이터는 BSAC 디코더와 멀티 채널 오디오 디코더로 출력된다. 상기 MPEG 서라운드 파서에서 추출된 MPEG 서라운드 오디오 데이터는 멀티 채널 오디오 디코더로 출력된다. 상기 멀티 채널 오디오 디코더는 MPEG 서라운드 오디오 데이터의 디코딩을 수행한다. 또한 상기 멀티 채널 오디오 디코더는 BSAC와 MPEG 서라운드가 조합된 오디오 데이터를 디코딩한다.

도 26, 도 27을 참조하여 HE-AAC v2 및 MPEG 서라운드로 구성된 5.1 채널 오디오 서비스를 위한 데이터 파싱 과정을 설명한다.

즉, 송신측에서는 MPEG-2 TS의 PAT(Program Association Table)와 MPEG-4 시스템 표준의 초기 객체 서술자(Initial Object Descriptor ; IOD)를 다중화 스트림 내에 전송한다. 이때 상기 IOD는 MPEG-2 TS의 PMT(Program Map Table)에 포함된다.

상기 PAT는 프로그램의 정보를 담고 있는 TS 패킷의 PID 정보를 제공한다. 상기 PAT는 PID=0x00인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램 번호마다 그 프로그램의 구성 요소를 기술하며, 프로그램 맵 테이블(PMT)을 전송하는 트랜스포트 패킷의 PID를 가리킨다.

즉, PID가 0x00인 TS 패킷의 페이로드를 파싱하여 프로그램 번호(Program number)와 PMT의 PID를 알아낸다.

상기 PAT로부터 얻어낸 PMT는 프로그램을 구성하는 구성 요소들간의 상관 관계를 제공한다. 이때 지상파 DMB는 MPEG-4 콘텐츠가 전송되기 때문에, IOD가 PMT에 포함된다. 따라서 상기 PMT 내에 포함된 IOD descriptor 정보를 추출한다. 그리고 추출된 IOD descriptor에 포함된 해당 ES Descriptor의 ES_ID와 SL Descriptor의 ES_ID의 매핑(mapping)을 통해 각 ES에 대한 PID를 검색한다.

각 ES descriptor에는 오디오 스트림의 경우 오디오의 코딩 특성 (프로파일 등)에 대한 정보를 포함하는 DecoderConfigDescriptor가 전송된다. 이때, DecoderConfigDescriptor는 메인 채널 코덱 및 서브 채널 코덱에 대한 정보가 해당하는 ES(또는 SL)에 대해 별도로 정의된다.

즉, MPEG-4로 압축 부호화된 멀티미디어를 MPEG-2 TS로 패킷화할 때, 상기된 PMT 신택스에 MPEG-4에서 정의된 IOD와 SL(Sync Layer) descriptor가 포함된다. 이때, 첫 번째 루프의 descriptor()영역에 IOD descriptor가 포함되고, 두번째 루프의 descriptor()영역에 SL descriptor가 포함된다.

상기 IOD는 도 27에서 보는 것처럼, 전송되는 MPEG-4 콘텐츠의 프로파일(profile)과 레벨(level) 정보를 알려준다. 또한 OD 스트림의 ES(Elementary Stream) ID와 SD(Scene Description) 스트림의 ES ID 정보를 포함한다.

즉, IOD의 ES_descriptor 필드에 OD 스트림에 관한 정보와 SD 스트림에 관한 정보가 기술되어 있다. 상기 IOD는 SD의 BIFS와 OD를 연결시키는 포인터 역할을 한다.

따라서 상기 IOD를 해석하면 장면 기술에 관한 정보와 각각 오브젝트에 관한 정보를 전송하는 논리적 채널(ES_ID)을 얻을 수 있다. 이 후 각각의 논리적 채널에 접근해서 장면을 구성하고, 각각 오브젝트에 관한 정보를 얻은 후에 음향 혹은 영상에 관한 논리적 채널을 얻을 수 있다.

또한 상기 PMT의 두 번째 루프에는 SL에서 패킷화된 스트림(packetized stream)이 PES(Packetized Elementary Stream) 타입으로 전송되는지 섹션 타입으로 전송되는지 구분할 수 있는 stream_type 필드와 각 스트림의 PID(elementary_PID) 필드, 그리고 해당 PID의 ES ID 정보를 포함하고 있다. 따라서 PMT 정보를 해석하면 TS로 전송되는 모든 프로그램의 정보를 얻을 수 있다.

그리고 검색된 ES에 대한 PID를 이용하여 메인 오디오 및 서브채널 오디오를 포함하는 MPEG-4 SL을 추출한다. 각 SL은 SL 디패킷타이저를 거쳐서 각각의 디코더로 전송된다.

즉, 각 OD는 ES descriptor를 포함하고, 상기 ES descriptor는 ES_ID 필드와 DecoderConfigDescriptor 필드를 포함한다. 상기 DecoderConfigDescriptor 필드는 전송되는 스트림의 종류를 표시한 stream type 필드, 오브젝트의 타입을 알 수 있는 objectTypeIndication 필드, 그리고 각 스트림에 대한 디코딩 정보를 알 수 있는 Decoderspecific info 필드를 포함한다.

일 예로, 스트림 타입 필드 값이 0x1C이면 MPEG 서라운드 오디오 스트림을 나타낸다.

따라서 본 발명에 따른 수신 시스템은 stream type(예, 0x1C)의 ES_ID, PID 를 순차적으로 파싱하여 기본 BSAC 데이터와 함께 처리되어(MUX) 확장된 음질의 MPEG 서라운드 음향을 즐길수 있게 된다.

다음은 본 발명에 따른 NewConfigDescriptor() 신택스 구조의 예를 보인다.

NewConfigDescriptor()

{

bsAudioContentsTypeInfo;

bsAudioContentsTypeExtensionInfo;

bsRenderingGuideInfo;

bsDownmixMode;

}

bsAudioContentsTypeInfo는 전송되는 오디오 콘텐츠(audio contents)의 타입(type)을 알려주는 것으로, 예를 들어, news, drama, movie, sports, music 등의 장르를 구별해주거나, bsAudioContetnsTypeExtensionInfo 와 결합하여, music에서 classic, rock, concert, choir, jazz, pop, ...으로 세부적으로 구별하여 정보를 알려준다.

상기 멀티 채널 오디오 디코더에서는 이와 같은 정보를 활용하여, 5.1 채널 디코딩된 신호의 적절한 재분배뿐 아니라, 적절한 음색 제어를 할 수 있다. 또한, 이 정보를 EPG나 OSD를 통해 유저에게 정보를 알려주는데 사용할 수 있다.

bsRenderingGuideInfo는 전송된 멀티 채널 콘텐츠(multichannel contents)를 binaural rendering을 하거나, 자동차 환경과 같이 4.0 채널로 downmix를 해야할 때, 혹은 스테레오(stereo)로 다운믹스(downmix)할 때 바람직한 모드를 디코더에 알려주는 역할을 한다. 유사하게 bsDownmixMode 가 전송될 수 있다.

이는 MPS를 사용하는 환경이 차량인 점을 고려할 때 유용한 정보가 된다. 5.1 채널을 4.0 채널로 매핑하는 configuration 정보나, downmix 과정에 필요한 gain term 등을 이와 같은 필드를 통해 전송해줄 수 있다.

예를 들어,

bsDownmixMode = 0 이면,

Lout = L * 1.0 + C * 0.5 + LFE * 0.5

Rout= C * 0.5 + R * 1.0 + LFE * 0.5

Lsout = Ls * 1.0

Rsout = Rs * 1.0

bsDownmixMode = 1 이면,

Lout = L * 0.7 + C * 0.7 + LFE * 0.7

Rout= C * 0.7 + R * 0,7 + LFE * 0.7

Lsout = L * 0.2 + Ls * 0.9

Rsout = R * 0.2 + Rs * 0.9

와 같이 서로 다른 gain으로 downmix 하게 하는 것이 실시 예이다.

도 1은 본 발명에 따른 지상파 DMB 패킷 구조에 대한 일 실시예를 보인 도면

도 2는 본 발명에 따른 stream type 값의 예를 보인 도면

도 3 내지 도 5는 본 발명에 따른 멀티 채널 오디오 데이터를 MPEG SL에 패킷화하는 방법의 실시예들을 보인 도면

도 6a 내지 도 6e는 본 발명에 따른 AudioSpecificConfig의 신택스 구조의 일 실시예를 보인 도면

도 7은 본 발명에 따른 GetAudioObjectType() 신택스 구조의 일 실시예를 보인 도면

도 8a, 도 8b는 본 발명에 따른 GASpecificConfig() 신택스 구조의 일 실시예를 보인 도면

도 9는 본 발명에 따른 audio object type ER BSAC의 톱 레벨 페이로드(top level payload)인 bsac_payload() 신택스 구조의 일 실시예를 보인 도면

도 10은 본 발명에 따른 bsac_lstep_element() 신택스 구조의 일 실시예를 보인 도면

도 11a, 도 11b는 본 발명에 따른 bsac_raw_data_block() 신택스 구조의 일 실시예를 보인 도면

도 12는 본 발명에 따른 bsac_base_element() 신택스 구조의 일 실시예를 보인 도면

도 13은 본 발명에 따른 bsac_header() 신택스 구조의 일 실시예를 보인 도면

도 14는 본 발명에 따른 general_header() 신택스 구조의 일 실시예를 보인 도면

도 15는 본 발명에 따른 bsac_layer_element() 신택스 구조의 일 실시예를 보인 도면

도 16은 본 발명에 따른 extended_bsac_raw_data_block() 신택스 구조의 일 실시예를 보인 도면

도 17은 본 발명에 따른 extended_bsac_base_element() 신택스 구조의 일 실시예를 보인 도면

도 18은 본 발명에 따른 extended_bsac_sbr_data() 신택스 구조의 일 실시예를 보인 도면

도 19는 본 발명에 따른 bsac_sbr_data() 신택스 구조의 일 실시예를 보인 도면

도 20은 본 발명에 따른 extended_bsac_data() 신택스 구조의 일 실시예를 보인 도면

도 21은 본 발명에 따른 extended_bsac_sac_data() 신택스 구조의 일 실시예를 보인 도면

도 22a, 도 22b는 본 발명에 따른 SpatialSpecificConfig() 신택스 구조의 일 실시예를 보인 도면

도 23은 본 발명에 따른 SpatialFrame() 신택스 구조의 일 실시예를 보인 도면

도 24는 본 발명에 따른 FramingInfo() 신택스 구조의 일 실시예를 보인 도면

도 25는 본 발명에 따른 멀티 채널 오디오 데이터를 수신하여 출력하기 위한 수신 시스템의 일 실시예를 보인 구성 블록도

도 26, 도 27은 본 발명에 따른 시스템 정보 테이블을 파싱하는 과정을 보인 도면

Claims

이동 방송 서비스를 위해 오디오 신호를 수신하여 처리하는 방송 수신 시스템의 오디오 데이터 처리 방법에 있어서,

BSAC (bit sliced arithmetic coding) 오디오 신호, 멀티 채널을 위한 MPS (MPEG Surround) 오디오 신호, 및 시스템 정보를 포함하는 이동 방송 신호를 수신하는 단계;

상기 수신된 이동 방송 신호에 포함된 BSAC 오디오 신호와 MPS 오디오 신호를 각 오디오 신호에 할당된 식별 정보를 참조하여 구분하는 단계; 및

상기 식별 정보를 참조하여 구분하는 단계에서 구분되어 출력되는 BSAC 오디오 신호를 복호하는 단계; 및

상기 식별 정보를 참조하여 구분하는 단계에서 구분되어 출력되는 BSAC 오디오 신호와 MPS 오디오 신호를 함께 이용하여 멀티 채널 오디오 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 방송 수신 시스템의 오디오 데이터 처리 방법.
제 1 항에 있어서,

상기 BSAC 오디오 신호와 MPS 오디오 신호에 할당된 식별 정보는 상기 시스템 정보 중 오브젝트 디스크립터에 포함되는 것을 특징으로 하는 방송 수신 시스템의 오디오 데이터 처리 방법.
제 1 항에 있어서,

상기 BSAC 오디오 신호와 MPS 오디오 신호는 서로 독립적인 ES_ID가 식별 정보로 할당되어 수신되는 것을 특징으로 하는 방송 수신 시스템의 오디오 데이터 처리 방법.
제 1 항에 있어서,

상기 BSAC 오디오 신호와 MPS 오디오 신호는 서로 다른 SL (Sync Layer) 패킷으로 패킷화된 후, 상기 SL 패킷에 대해 PES (Packetized Elementary Stream) 패킷화와 TS (Transport Stream) 패킷화가 순차적으로 수행되어 수신되는 것을 특징으로 하는 방송 수신 시스템의 오디오 데이터 처리 방법.
제 4 항에 있어서,

상기 MPS 오디오 신호에 해당하는 SL 패킷의 페이로드에 하나 이상의 억세스 유닛 (AU) 단위로 MPS 오디오 요소 스트림(ES)이 다중화되어 수신되는 것을 특징으로 하는 방송 수신 시스템의 오디오 데이터 처리 방법.
이동 방송 서비스를 위해 오디오 신호를 수신하여 처리하는 방송 수신 시스템에 있어서,

BSAC (bit sliced arithmetic coding) 오디오 신호, 멀티 채널을 위한 MPS (MPEG Surround) 오디오 신호, 및 시스템 정보를 포함하는 이동 방송 신호를 수신하는 수신부;

상기 수신부로 수신된 이동 방송 신호에 포함된 BSAC 오디오 신호와 MPS 오디오 신호를 각 오디오 신호에 할당된 식별 정보를 참조하여 구분하는 디패킷타이징부; 및

상기 디패킷타이징부에서 구분되어 출력되는 BSAC 오디오 신호를 복호하는 제1 오디오 복호부; 및

상기 디패킷타이징부에서 구분되어 출력되는 BSAC 오디오 신호와 MPS 오디오 신호를 함께 이용하여 멀티 채널 오디오 신호를 생성하는 제2 오디오 복호부를 포함하는 것을 특징으로 하는 방송 수신 시스템.
제 6 항에 있어서,

상기 BSAC 오디오 신호와 MPS 오디오 신호에 할당된 식별 정보는 상기 시스템 정보 중 오브젝트 디스크립터에 포함되는 것을 특징으로 하는 방송 수신 시스템.
제 6 항에 있어서,

상기 BSAC 오디오 신호와 MPS 오디오 신호는 서로 독립적인 ES_ID가 식별 정보로 할당되어 수신되는 것을 특징으로 하는 방송 수신 시스템.
제 6 항에 있어서,

상기 BSAC 오디오 신호와 MPS 오디오 신호는 서로 다른 SL (Sync Layer) 패킷으로 패킷화된 후, 상기 SL 패킷에 대해 PES (Packetized Elementary Stream) 패킷화와 TS (Transport Stream) 패킷화가 순차적으로 수행되어 수신되는 것을 특징으로 하는 방송 수신 시스템.
제 9 항에 있어서,

상기 MPS 오디오 신호에 해당하는 SL 패킷의 페이로드에 하나 이상의 억세스 유닛 단위로 MPS 오디오 요소 스트림이 다중화되어 수신되는 것을 특징으로 하는 방송 수신 시스템.