KR101292893B1

KR101292893B1 - Scalable coding apparatus and method, scalable decoding apparatus and method

Info

Publication number: KR101292893B1
Application number: KR1020070044747A
Authority: KR
Inventors: 박상규; 김광용
Original assignee: 한국전자통신연구원; (주)카이미디어
Priority date: 2007-05-08
Filing date: 2007-05-08
Publication date: 2013-09-02
Also published as: KR20080099094A

Abstract

본 발명은 비디오 및 오디오 신호를 부호화하고 복호화하는데 있어서, 비디오 및 오디오 신호에 대하여 계층적으로 부호화 및 복호화를 수행하게 함으로써 지상파 DMB 수신기의 성능에 따라 선택적으로 계층별 신호를 복원할 수 있도록 하는 장치 및 방법을 제공한다. According to the present invention, in encoding and decoding video and audio signals, an apparatus for selectively reconstructing hierarchical signals according to the performance of a terrestrial DMB receiver by performing hierarchical encoding and decoding on video and audio signals, and Provide a method.

이를 위하여 본 발명의 계층적 부호화 장치는 계층적 비디오 부호화부, 계층적 오디오 부호화부, 계층별 SL(Sync Layer) 패킷타이저부, 계층별 PES(Packetized Elementary Stream) 패킷타이저부, 계층별 섹션 발생부, 그리고 계층별 TS(Transport Stream) 다중화부로 구성되고, 계층적 복호화 장치는 계층별 TS 역다중화부, 계층별 PES 디패킷타이저부, 계층별 섹션 분석부, 계층별 SL 디패킷타이저부, 계층적 비디오 복호화부, 그리고 계층적 오디오 복호화부로 구성된다.To this end, the hierarchical encoding apparatus of the present invention includes a hierarchical video encoder, a hierarchical audio encoder, a layer-specific sync layer (SL) packetizer, a layered packetized elementary stream (PES) packetizer, and a layered section generator. And the TS (Transport Stream) multiplexer for each layer, and the hierarchical decoding apparatus includes a TS demultiplexer for each layer, a PES depacketizer for each layer, a section analyzer for each layer, a SL depacketizer for each layer, and a hierarchical structure. And a video decoder and a hierarchical audio decoder.

계층적 부호화, 계층적 복호화, 지상파 DMB Hierarchical Coding, Hierarchical Decoding, Terrestrial DMB

Description

Scalable coding apparatus and method, scalable decoding apparatus and method

도 1 은 기존의 지상파 DMB 부호화 장치의 내부 구성도1 is an internal configuration diagram of a conventional terrestrial DMB encoding apparatus

도 2 는 기존의 지상파 DMB 복호화 장치의 내부 구성도2 is an internal configuration diagram of a conventional terrestrial DMB decoding apparatus

도 3 은 본 발명의 계층적 부호화 장치의 내부 구성도3 is a diagram illustrating an internal configuration of a hierarchical encoding apparatus of the present invention.

도 4 는 본 발명의 계층적 부호화 방식의 동작 흐름도4 is an operation flowchart of the hierarchical coding scheme of the present invention.

도 5 는 본 발명의 계층적 복호화 장치의 내부 구성도5 is a diagram illustrating an internal configuration of a hierarchical decoding apparatus according to the present invention.

도 6 은 본 발명의 계층적 복호화 방식의 동작 흐름도6 is a flowchart illustrating the hierarchical decoding method of the present invention.

<도면의 주요 부분에 대한 부호 설명>Description of the Related Art [0002]

11 비디오 부호화부 12 오디오 부호화부11 Video encoder 12 Audio encoder

13 SL 패킷타이저부 14 PES 패킷타이저부13 SL Packetizer section 14 PES Packetizer section

15 섹션 발생부 16 TS 다중화부15 Section generator 16 TS multiplexer

21 TS 역다중화부 22 PES 디패킷타이저부21 TS Demultiplexer 22 PES Depacketizer

23 섹션 분석부 24 SL 디패킷타이저부23 Section analysis section 24 SL Depacketizer section

25 비디오 복호화부 26 오디오 복호화부25 Video Decoder 26 Audio Decoder

31 계층적 비디오 부호화부 32 계층적 오디오 부호화부31 Hierarchical video encoder 32 Hierarchical audio encoder

33 계층별 SL 패킷타이저부 34 계층별 PES 패킷타이저부33 SL packetizer part by layer 34 PES packetizer part by layer

35 계층별 섹션 발생부 36 계층별 TS 다중화부35 Section generator by hierarchy 36 TS multiplexer by hierarchy

51 계층별 TS 역다중화부 52 계층별 PES 디패킷타이저부51 TS Demultiplexer by Layer 52 PES Depacketizer by Layer

53 계층별 섹션 분석부 54 계층별 SL 디패킷타이저부53 Section Analysis Unit by Hierarchy 54 SL Depacketizer Unit by Hierarchy

55 계층적 비디오 복호화부 56 계층적 오디오 복호화부55 Hierarchical Video Decoder 56 Hierarchical Audio Decoder

본 발명은 비디오 및 오디오 신호를 부호화하고 복호화하는데 있어서, 비디오 및 오디오 신호에 대하여 계층적으로 부호화 및 복호화를 수행하게 함으로써 지상파 DMB 수신기의 성능에 따라 선택적으로 계층별 신호를 복원할 수 있도록 하는 장치 및 방법에 관한 것이다.According to the present invention, in encoding and decoding video and audio signals, an apparatus for selectively reconstructing hierarchical signals according to the performance of a terrestrial DMB receiver by performing hierarchical encoding and decoding on video and audio signals, and It is about a method.

현재 상용 서비스되고 있는 지상파 DMB의 경우 320(가로)x240(세로)의 해상도를 갖는 비디오 부호화 데이터와 CD 음질의 오디오 부호화 데이터가 방송국에서 만들어 져서 공중파를 이용하여 수신기에 전달되고 있다. In the case of terrestrial DMB that is currently being commercially available, video coded data having a resolution of 320 (width) x 240 (length) and audio encoded data of CD sound quality are produced at a broadcasting station and transmitted to a receiver using airwaves.

지상파 DMB에서의 비디오 및 오디오 부호화는 공지의 MPEG-4 AVC(Advanced Video Coding) 베이스라인 프로파일 방식과 MPEG-4 BSAC 혹은 MPEG-4 HE-AAC 방식이 사용되고 있으며, MPEG-4 AVC 방식은 320(가로)x240(세로)의 해상도를 갖는 비디오 신호를 부호화하고 있고 MPEG-4 BSAC 혹은 MPEG-4 HE-AAC 방식은 좌우 스테레오 채널을 갖는 오디오 신호를 부호화하고 있다. For video and audio encoding in terrestrial DMB, the known MPEG-4 AVC (Advanced Video Coding) baseline profile method and MPEG-4 BSAC or MPEG-4 HE-AAC method are used, and the MPEG-4 AVC method is 320 (horizontal). A video signal having a resolution of x240 (vertical) is encoded, and an MPEG-4 BSAC or MPEG-4 HE-AAC system encodes an audio signal having left and right stereo channels.

최근 DMB에서 컨텐츠의 고급화에 대한 요구가 생기면서, 비디오의 해상도를 높여서 640(가로)x480(세로)의 고해상도로 화질을 개선시키고, 오디오 채널을 서라운드 채널까지 포함시켜 입체감을 향상시킬 필요성이 크게 늘어나고 있다. 이런 요구에 대응하기 위해서는 무엇보다도 기존 지상파 DMB 부호화 방식과의 호환성을 유지하면서 비디오 해상도를 높이고 오디오 채널수를 늘리는 방법이 필요하다. With the recent demand for higher quality content in DMB, the need to increase the resolution of the video to improve the image quality to 640 (horizontal) x 480 (vertical) high resolution, and to include audio channels as well as surround channels, greatly increasing the need for stereoscopic effects. have. In order to cope with such demands, a method of increasing video resolution and increasing number of audio channels is required, while maintaining compatibility with existing terrestrial DMB coding.

이를 만족시키기 위해서는 새로운 비디오 부호화 방식, 오디오 부호화 방식, 그리고 다중화 방식의 사용이 필요하다.To satisfy this, it is necessary to use a new video encoding method, an audio encoding method, and a multiplexing method.

예를 들면, 비디오 부호화 방식은 MPEG-4 SVC(Scalable Video Coding) 부호화 방식이 적합한데, 이는 MPEG-4 SVC 부호화 방식이 계층적으로 부호화하는데 있어서 기본 계층으로 MPEG-4 AVC 부호화 방식을 사용하기 때문이다. 즉, MPEG-4 SVC 부호화 에 의해 기본 계층 데이터와 향상 계층 데이터가 생성 되면, 기존 지상파 DMB 수신기는 기본 계층 데이터인 MPEG-4 AVC 부호화 데이터만 이용하여 복호화 함으로써 320(가로)x240(세로)의 해상도를 갖는 비디오 신호를 복원하는 것이 가능하고, 신규 지상파 DMB 수신기는 기본 계층 데이터와 향상 계층 데이터를 모두 이용하여 복호화 함으로써 640(가로)x480(세로)의 고해상도의 비디오 신호를 복원하는 것이 가능하게 된다.For example, the MPEG-4 SVC (Scalable Video Coding) coding method is suitable for the video coding method, because the MPEG-4 SVC coding method uses the MPEG-4 AVC coding method as the base layer in hierarchically encoding. to be. That is, when the base layer data and the enhancement layer data are generated by MPEG-4 SVC encoding, the existing terrestrial DMB receiver decodes using only the MPEG-4 AVC coded data, which is the base layer data, so that the resolution of 320 (width) x 240 (length) is increased. It is possible to reconstruct the video signal with the new terrestrial DMB receiver and to reconstruct the high resolution video signal of 640 (horizontal) x 480 (vertical) by decoding using both the base layer data and the enhancement layer data.

또한 오디오 부호화 방식의 경우에는, MPEG-4 오디오 부호화 방식을 사용하여 계층적으로 오디오를 부호화하게 되면 기본 계층으로 기존 지상파 DMB 오디오 데이터와 호환되는 스테레오 오디오 부호화 데이터가 생성되고, 향상 계층으로 서라운드 오디오 부호화 데이터가 생성되는데, 기존 지상파 DMB 수신기는 기본 계층 데이터인 스테레오 오디오 부호화 데이터만 이용하여 복호화 함으로써 스테레오 오디오 신호를 복원하는 것이 가능하고, 신규 지상파 DMB 수신기는 기본 계층 데이터와 향상 계층 데이터를 모두 이용하여 복호화 함으로써 서라운드 오디오를 포함한 멀티 채널의 오디오 신호를 복원하는 것이 가능하게 된다.In the case of the audio encoding scheme, when audio is hierarchically encoded using the MPEG-4 audio encoding scheme, stereo audio encoded data compatible with existing terrestrial DMB audio data is generated as a base layer, and surround audio encoding is performed as an enhancement layer. Data is generated, and the existing terrestrial DMB receiver can restore the stereo audio signal by using only the stereo audio coded data, which is the base layer data, and the new terrestrial DMB receiver decodes using both the base layer data and the enhancement layer data. This makes it possible to restore the multi-channel audio signal including surround audio.

또한 다중화 방식은 기존 지상파 DMB의 다중화 방식과 다른 방식이 필요하다. 기존 지상파 DMB의 다중화 방식은 비디오 부호화 데이터, 오디오 부호화 데이터, 기타 관련 데이터를 한 개의 TS(Transport Stream)로 다중화하여 동일한 전송 채널로 전송한다. 하지만 계층별로 생성된 비디오 부호화 데이터를 다중화할 경우에 한 개의 TS로 다중화하면 동일한 전송 채널로 전송되어야 하는데 현재 지상파 DMB 채널의 대역폭으로는 향상 계층의 데이터를 전송하는데 부족하다. 따라서 변조 방식을 변경하여 전송 대역폭을 늘리면서 기존 지상파 DMB 변조 방식과 호환되도록 전송 채널을 계층화할 필요가 있으며, 그에 따라 채널 계층별로 계층별 부호화 데이터를 전송하기 위해서 다중화 방식도 계층별로 별도의 TS를 생성하는 것이 필요하다. In addition, the multiplexing method requires a method different from that of the existing terrestrial DMB. In the conventional multiplexing method of terrestrial DMB, video encoded data, audio encoded data, and other related data are multiplexed into a single TS and transmitted on the same transport channel. However, when multiplexing video coded data generated for each layer, multiplexing to one TS requires transmission on the same transport channel. However, the bandwidth of the terrestrial DMB channel is insufficient to transmit data of an enhancement layer. Therefore, it is necessary to layer the transmission channel to be compatible with the existing terrestrial DMB modulation method while changing the modulation method to increase the transmission bandwidth. Accordingly, the multiplexing method also generates a separate TS for each layer to transmit encoded data for each layer. It is necessary to do

따라서 계층별 TS가 채널 계층별로 송신되면, 지상파 DMB 수신기는 계층별 TS를 선택적으로 수신하여 계층별 비디오 및 오디오 신호를 복호화 함으로써 서로 다른 품질의 비디오 및 오디오 신호를 선택적으로 복원하는 것이 가능하게 된다.Therefore, when the TS for each layer is transmitted for each channel layer, the terrestrial DMB receiver selectively receives the TS for each layer and decodes the video and audio signals for each layer to selectively restore the video and audio signals having different qualities.

따라서 본 발명은 기존 지상파 DMB에 비하여 해상도가 높은 비디오 화면과 멀티 채널 오디오를 제공하면서 동시에 지상파 DMB 수신기가 그 성능에 따라 선택적으로 계층별 비디오 및 오디오 신호를 복원할 수 있도록 하기 위하여, 기존의 지상파 DMB 부호화 장치와는 다른 새로운 장치를 제공하고자 한다. Accordingly, the present invention provides a higher resolution video screen and multi-channel audio than conventional terrestrial DMB, while allowing terrestrial DMB receivers to selectively restore layer-specific video and audio signals according to their performance. It is intended to provide a new device different from the encoding device.

본 발명은 기존 지상파 DMB에 비하여 해상도가 높은 비디오 화면과 멀티 채널 오디오를 제공하면서 지상파 DMB 수신기가 그 성능에 따라 선택적으로 계층별 비디오 및 오디오 신호를 복원할 수 있도록 하기 위하여, 비디오 및 오디오 신호에 대하여 MPEG-4 SVC(Scalable Video Coding) 부호화/복호화 방식과 MPEG-4 오디오 부호화/ 복호화 방식을 사용하여 계층적으로 부호화하고 복호화할 수 있는 장치 및 방법을 제공 한다.The present invention provides a video screen and multi-channel audio having a higher resolution than the conventional terrestrial DMB, while allowing the terrestrial DMB receiver to selectively restore layered video and audio signals according to its performance. Provided are an apparatus and method for hierarchically encoding and decoding using an MPEG-4 scalable video coding (SVC) encoding / decoding scheme and an MPEG-4 audio encoding / decoding scheme.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

기존의 지상파 DMB 부호화 장치는 비디오 신호를 입력하여 MPEG-4 AVC(Advanced Video Coding) 부호화 방식으로 비디오 부호화를 수행하고 비디오 ES(Elementary Stream)를 생성하는 비디오 부호화부(11), 오디오 신호를 입력하여 MPEG-4 오디오 부호화 방식으로 오디오 부호화를 수행하고 오디오 ES를 생성하는 오디오 부호화부(12), 상기 비디오 및 오디오 ES와 OD/BIFS(Object Descriptor/Binary Format for Scene) 스트림에 대하여 SL(Sync Layer) 패킷화를 수행하고 비디오 및 오디오 SL 패킷과 OD/BIFS SL 패킷을 생성하는 SL 패킷타이저부(13), 상기 비디오 및 오디오 SL 패킷과 OD/BIFS SL 패킷에 대하여 PES(Packetized Elementary Stream) 패킷화를 수행하고 PES 패킷을 생성하는 PES 패킷타이저부(14), 상기 OD/BIFS SL 패킷과 IOD(Initial Object Descriptor) 데이터를 이용하여 14496 섹션 데이터와 PSI(Program Specific Information) 섹션 데이터를 생성하는 섹션 발생부(15), 그 리고 상기 PES 패킷과 14496 섹션 데이터 및 PSI 섹션 데이터를 이용하여 TS(Transport Stream)를 생성하는 TS 다중화부(16)로 구성되어 있다.The conventional terrestrial DMB encoding apparatus inputs a video signal to perform video encoding by MPEG-4 AVC (Advanced Video Coding) encoding method and inputs an audio signal to a video encoder 11 for generating a video elementary stream (ES). An audio encoder 12 which performs audio encoding by MPEG-4 audio encoding and generates an audio ES, and a SL (Sync Layer) for the video and audio ES and an object descriptor / binary format for scene (OD / BIFS) stream. An SL packetizer unit 13 for performing packetization and generating video and audio SL packets and OD / BIFS SL packets, and packetized elementary stream (PES) packetization for the video and audio SL packets and OD / BIFS SL packets. A PES packetizer section 14 that performs and generates a PES packet, 14496 section data and a PSI section using the OD / BIFS SL packet and Initial Object Descriptor (IOD) data. A section generation unit 15 for generating session data, and a TS multiplexer 16 for generating a transport stream (TS) using the PES packet, the 14496 section data, and the PSI section data.

상기 비디오 부호화부(11)는 MPEG-4 AVC 비디오 부호화 방식을 이용하여 320(가로)x240(세로)의 해상도에 해당하는 비디오 부호화 데이터를 생성하며, 상기 오디오 부호화부(12)는 MPEG-4 오디오 부호화 방식을 이용하여 좌우 스테레오 신호에 해당하는 오디오 부호화 데이터를 생성한다. The video encoder 11 generates video encoded data corresponding to a resolution of 320 (w) x 240 (h) by using the MPEG-4 AVC video encoding method, and the audio encoder 12 performs MPEG-4 audio. Audio encoding data corresponding to left and right stereo signals is generated by using an encoding method.

상기 SL 패킷타이저부(13), 상기 PES 패킷타이저부(14), 상기 섹션 발생부(15) 및 상기 TS 다중화부(16)는 공지의 TTA 표준인 TTAS.KO_07.0026(지상파 DMB 비디오 송수신 정합 표준)에 따라 동작하며 최종적으로 한 개의 지상파 DMB용 TS를 생성하여 출력한다.The SL packetizer 13, the PES packetizer 14, the section generator 15 and the TS multiplexer 16 are TTAS.KO_07.0026 (terrestrial DMB video transmission / reception matching), which is a well-known TTA standard. Standard) and finally generates and outputs one terrestrial DMB TS.

도 2 는 기존의 지상파 DMB 복호화 장치의 내부 구성도이다.2 is an internal configuration diagram of a conventional terrestrial DMB decoding apparatus.

기존의 지상파 DMB 복호화 장치는 TS를 입력하여 TS 역다중화를 수행하고 PES 패킷과 14496 섹션 데이터 및 PSI 섹션 데이터를 출력하는 TS 역다중화부(21), 상기 PES 패킷을 입력하여 디패킷타이징을 수행하고 비디오 및 오디오 SL 패킷과 OD/BIFS SL 패킷을 출력하는 PES 디패킷타이저부(22), 상기 14496 섹션 데이터 및 PSI 섹션 데이터를 입력하여 OD/BIFS SL 패킷 관련 데이터 및 IOD 데이터를 출력하 는 섹션 분석부(23), 상기 비디오 및 오디오 SL 패킷과 OD/BIFS SL 패킷을 입력하여 디패킷타이징을 수행하고 비디오 및 오디오 ES와 OD/BIFS 스트림을 출력하는 SL 디패킷타이저부(24), 상기 비디오 ES, OD/BIFS 스트림 및 IOD 데이터를 이용하여 MPEG-4 AVC 비디오 복호화 방식으로 비디오 복호화를 수행하고 비디오 신호를 출력하는 비디오 복호화부(25), 그리고 상기 오디오 ES, OD/BIFS 스트림 및 IOD 데이터를 이용하여 MPEG-4 오디오 복호화 방식으로 오디오 복호화를 수행하고 오디오 신호를 출력하는 오디오 복호화부(26)로 구성되어 있다.The conventional terrestrial DMB decoding apparatus performs TS demultiplexing by inputting TS, TS demultiplexing unit 21 for outputting PES packet, 14496 section data, and PSI section data, and depacketizing by inputting the PES packet. And a PES depacketizer section 22 for outputting video and audio SL packets and OD / BIFS SL packets, and the 14496 section data and PSI section data to input OD / BIFS SL packet related data and IOD data. Analysis unit 23, the SL depacketizer 24 for inputting the video and audio SL packet and the OD / BIFS SL packet to perform depacketizing and output the video and audio ES and OD / BIFS stream, A video decoder 25 for performing video decoding using MPEG-4 AVC video decoding using a video ES, OD / BIFS stream, and IOD data and outputting a video signal, and the audio ES, OD / BIFS stream. And an audio decoder 26 which performs audio decoding by using MPEG-4 audio decoding using IOD data and outputs an audio signal.

상기 TS 역다중화부(21), PES 디패킷타이저부(22), 섹션 분석부(23) 및 SL 디패킷타이저부(24)는 공지의 TTA 표준인 TTAS.KO_07.0026(지상파 DMB 비디오 송수신 정합 표준)에 따라 생성된 지상파 DMB용 TS로부터 상기 비디오 복호화부(25)와 오디오 복호화부(26)가 복호화 처리를 수행하는데 필요한 비디오 ES, 오디오 ES, OD/BIFS 스트림 그리고 IOD 데이터를 추출한다.The TS demultiplexer 21, PES depacketizer 22, section analyzer 23, and SL depacketizer 24 are TTAS.KO_07.0026 (terrestrial DMB video transmission / reception matching), which is a well-known TTA standard. The video decoder 25 and the audio decoder 26 extract the video ES, the audio ES, the OD / BIFS stream, and the IOD data necessary for the decoding process from the terrestrial DMB TS generated according to the present invention.

상기 비디오 복호화부(25)는 MPEG-4 AVC 비디오 복호화 방식을 이용하여 320(가로)x240(세로)의 해상도에 해당하는 비디오 신호를 복원하며, 상기 오디오 복호화부(26)는 MPEG-4 오디오 복호화 방식을 이용하여 좌우 스테레오 신호에 해당하는 오디오 신호를 복원한다. The video decoder 25 restores a video signal corresponding to a resolution of 320 (w) x 240 (h) by using the MPEG-4 AVC video decoding method, and the audio decoder 26 performs MPEG-4 audio decoding. The audio signal corresponding to the left and right stereo signals is restored using the method.

도 3 은 본 발명의 계층적 부호화 장치의 내부 구성도이다.3 is an internal configuration diagram of the hierarchical encoding apparatus of the present invention.

본 발명의 계층적 부호화 장치는 서로 다른 해상도를 표현하는 계층별 비디오 부호화 데이터와 서로 다른 오디오 채널을 표현하는 계층별 오디오 데이터를 생성하고, 이들 계층별 데이터를 효율적으로 전달하기 위해 서로 다른 계층별 TS를 생성하도록 구성되어 있다.The hierarchical encoding apparatus of the present invention generates layered video coded data representing different resolutions and layered audio data representing different audio channels, and transmits layered TSs differently in order to efficiently transmit the layered data. It is configured to generate.

본 발명의 계층적 부호화 장치는 비디오 신호를 입력하여 MPEG-4 SVC(Scalable Video Coding) 부호화 방식으로 계층적 비디오 부호화를 수행하고 계층별 비디오 ES를 생성하는 계층적 비디오 부호화부(31), 오디오 신호를 입력하여 MPEG-4 오디오 부호화 방식으로 계층적 오디오 부호화를 수행하고 계층별 오디오 ES를 생성하는 계층적 오디오 부호화부(32), 상기 계층별 비디오 및 오디오 ES와 계층별 OD/BIFS 스트림에 대하여 SL 패킷화를 수행하고 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 생성하는 계층별 SL 패킷타이저부(33), 상기 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷에 대하여 계층별 PES 패킷화를 수행하고 계층별 PES 패킷을 생성하는 계층별 PES 패킷타이저부(34), 상기 계층별 OD/BIFS SL 패킷과 계층별 IOD 데이터를 이용하여 계층별 14496 섹션 데이터와 계층별 PSI 섹션 데이터를 생성하는 계층별 섹션 발생부(35), 그리고 상기 계층별 PES 패킷과 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 이용하여 계층별 TS를 생성하는 계층별 TS 다중화부(36)로 구성된다.The hierarchical encoding apparatus of the present invention inputs a video signal to perform hierarchical video encoding using the MPEG-4 Scalable Video Coding (SVC) encoding method and generates a hierarchical video ES, and an audio signal. Hierarchical audio encoding unit 32 to perform hierarchical audio encoding by MPEG-4 audio encoding method and generate hierarchical audio ES, and SL for the hierarchical video and audio ES and hierarchical OD / BIFS stream. The layered SL packetizer unit 33 which performs packetization and generates layered video and audio SL packets and layered OD / BIFS SL packets, and stores the layered video and audio SL packets and layered OD / BIFS SL packets. Layer-specific PES packetizer unit 34 for performing layer-by-layer PES packetization and generating layer-specific PES packets, and layer-by-layer 1449 using the layer-specific OD / BIFS SL packet and layer-specific IOD data. Layer-specific section generation unit 35 for generating 6-section data and layer-specific PSI section data, and layer-specific TS generating layer-specific TS using the layer-specific PES packet, layer-specific 14496 section data, and layer-specific PSI section data. The TS multiplexer 36 is provided.

본 발명의 계층적 부호화 장치는 기존의 지상파 DMB 부호화 장치와는 다르게 계층적 비디오 및 오디오 부호화를 수행하기 때문에, 그에 따라 나머지 구성부도 계층별 데이터를 처리할 수 있도록 구성되는 것이 특징이다.Unlike the conventional terrestrial DMB encoding apparatus, the hierarchical encoding apparatus of the present invention performs hierarchical video and audio encoding, and accordingly, the remaining components may be configured to process hierarchical data.

계층적 비디오 부호화부(31)는 비디오 신호를 입력하여 공지의 국제 표준인 MPEG-4 SVC 부호화 방식을 이용하여 압축 부호화하고, 그 결과 데이터로 계층별 비디오 ES를 출력한다. 예를 들어 계층적 비디오 부호화부(31)는 두 종류의 비디오 ES를 생성할 수 있다. 한가지는 320(가로)x240(세로) 해상도의 화면을 표현할 수 있는 기본 계층 비디오 ES이고, 다른 한가지는 기본 계층 비디오 ES와 함께 640(가로)x480(세로)의 고해상도의 화면을 표현할 수 있는 향상 계층 비디오 ES이다. 이렇게 부호화를 수행 하면, 수신기에서는 기본 계층 비디오 ES만 이용하면 320(가로)x240(세로) 해상도의 화면을 복원할 수 있고, 향상 계층 비디오 ES를 기본 계층 비디오 ES와 함께 이용하면 640(가로)x480(세로)의 고해상도의 화면을 복원할 수 있게 된다. 이런 경우에 신규 지상파 DMB 수신기에서 기본 계층 비디오 ES와 향상 계층 비디오 ES를 별도로 복호화하고 서로 조합하여 고해상도 화면을 정확히 표현할 수 있도록 하기 위해, 계층적 비디오 부호화부(31)는 기본 계층 비디오 ES와 향상 계층 비디오 ES에 대하여 각 화면을 시간 기준으로 서로 구분할 수 있는 정보도 함께 생성하여야 한다. The hierarchical video encoder 31 inputs a video signal, compresses and encodes the signal using a well-known international standard MPEG-4 SVC encoding method, and outputs the hierarchical video ES as data. For example, the hierarchical video encoder 31 may generate two types of video ESs. One is a base layer video ES capable of displaying 320 (horizontal) x 240 (vertical) resolution screens, and the other is an enhancement layer capable of displaying 640 (horizontal) x 480 (vertical) high resolution screens with a base layer video ES. Video ES. With this encoding, the receiver can reconstruct a 320 (horizontal) x 240 (vertical) screen using only the base layer video ES, and 640 (horizontal) x480 when using the enhancement layer video ES together with the base layer video ES. It is possible to restore the (vertical) high resolution screen. In this case, in order for the new terrestrial DMB receiver to decode the base layer video ES and the enhancement layer video ES separately and combine them, the hierarchical video encoder 31 performs the base layer video ES and the enhancement layer. For video ES, information that can distinguish each screen from each other based on time must also be generated.

계층적 오디오 부호화부(32)는 오디오 신호를 입력하여 공지의 국제 표준인 MPEG-4 오디오 부호화 방식을 이용하여 압축 부호화하고, 그 결과 데이터로 계층별 오디오 ES를 출력한다. 예를 들어 계층적 오디오 부호화부(32)는 스테레오 오디오 채널의 소리를 표현할 수 있는 기본 계층 오디오 ES와 서라운드 오디오 채널의 소리를 표현할 수 있는 향상 계층 오디오 ES를 생성할 수 있다. 이렇게 부호화를 수행 하면, 수신기에서는 기본 계층 오디오 ES만 이용하면 스테레오 오디오 채널의 소리를 복원할 수 있고, 향상 계층 오디오 ES를 기본 계층 오디오 ES와 함께 이용하면 서라운드 오디오를 포함한 멀티 채널의 오디오를 복원할 수 있게 된다. 이런 경우에 신규 지상파 DMB 수신기에서 기본 계층 오디오 ES와 향상 계층 오디오 ES를 별도로 복호화하고 서로 조합하여 입체 음향을 정확히 표현할 수 있도록 하기 위해, 계층적 오디오 부호화부(32)는 기본 계층 오디오 ES와 향상 계층 오디오 ES에 대하여 각 오디오 구간을 시간 기준으로 서로 구분할 수 있는 정보도 함께 생성하여야 한다.The hierarchical audio encoder 32 inputs an audio signal, compresses and encodes it using a well-known international standard MPEG-4 audio encoding method, and as a result outputs hierarchical audio ES as data. For example, the hierarchical audio encoder 32 may generate a base layer audio ES that can express sound of a stereo audio channel and an enhancement layer audio ES that can express sound of a surround audio channel. With this encoding, the receiver can restore the sound of the stereo audio channel using only the base layer audio ES, while the enhancement layer audio ES can be used with the base layer audio ES to restore multichannel audio including surround audio. It becomes possible. In this case, the hierarchical audio encoder 32 enhances the base layer audio ES and the enhancement layer so that the new terrestrial DMB receiver can decode the base layer audio ES and the enhancement layer audio ES separately and combine them to accurately represent stereoscopic sound. For audio ES, information for distinguishing each audio section on a time basis should also be generated.

계층별 SL 패킷타이저부(33)는 상기 계층적 비디오 부호화부(31)와 계층적 오디오 부호화부(32)에서 생성한 계층별 비디오 및 오디오 ES, 그리고 부호화 관련 정보를 포함하고 있는 OD/BIFS 스트림에 대하여 SL 패킷화를 수행하고, 그 결과로 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 생성한다. 각 계층에 대한 SL 패킷화는 기존의 지상파 DMB 부호화 장치의 SL 패킷타이저부(13)에서 사용하는 SL 패킷화 방식과 동일하게 이루어진다.The SL packetizer 33 for each layer is an OD / BIFS stream including video and audio ES for each layer generated by the hierarchical video encoder 31 and the hierarchical audio encoder 32 and encoding related information. SL packetization is performed with respect to each other, and as a result, layer-specific video and audio SL packets and layer-specific OD / BIFS SL packets are generated. The SL packetization for each layer is performed in the same manner as the SL packetization method used by the SL packetizer unit 13 of the conventional terrestrial DMB encoding apparatus.

계층별 PES 패킷타이저부(34)는 상기 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷에 대하여 계층별 PES 패킷화를 수행하고, 그 결과로 계층별 PES 패킷을 생성한다. 각 계층에 대한 PES 패킷화는 기존의 지상파 DMB 부호화 장치의 PES 패킷타이저부(14)에서 사용하는 PES 패킷화 방식과 동일하게 이루어진다.The layered PES packetizer 34 performs layered PES packetization on the layered video and audio SL packets and the layered OD / BIFS SL packets, and as a result, generates layered PES packets. PES packetization for each layer is performed in the same manner as the PES packetization method used by the PES packetizer unit 14 of the conventional terrestrial DMB encoding apparatus.

계층별 섹션 발생부(35)는 상기 계층별 OD/BIFS SL 패킷과 부호화 관련 정보를 포함하고 있는 계층별 IOD 데이터를 이용하여 계층별 14496 섹션 데이터와 계층별 PSI 섹션 데이터를 생성한다. 각 계층에 대한 섹션 발생 처리는 기존의 지상파 DMB 부호화 장치의 섹션 발생부(15)에서 사용하는 섹션 발생 처리와 동일하게 이루어진다.The layer generation section 35 generates 14496 section data for each layer and PSI section data for each layer by using the layer-specific IOD data including the layer-specific OD / BIFS SL packet and encoding related information. The section generation processing for each layer is performed in the same manner as the section generation processing used by the section generation unit 15 of the conventional terrestrial DMB encoding apparatus.

계층별 TS 다중화부(36)는 상기 계층별 PES 패킷과 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 이용하여 계층별 TS를 생성한다. 각 계층에 대한 TS 다중화는 기존의 지상파 DMB 부호화 장치의 TS 다중화부(16)에서 사용하는 TS 다중화 방식과 동일하게 이루어진다.The layered TS multiplexer 36 generates a layered TS using the layered PES packet, the layered 14496 section data, and the layered PSI section data. TS multiplexing for each layer is performed in the same manner as the TS multiplexing method used by the TS multiplexer 16 of the conventional terrestrial DMB encoding apparatus.

오디오 신호의 경우에 수신기의 스피커수의 제약으로 인하여 서라운드 오디오 채널까지 필요 없을 가능성도 있다. 그럴 경우에 본 발명의 계층적 오디오 부호화부(32)는 단일 계층 오디오 부호화를 수행하는 기존의 지상파 DMB 부호화 장치의 오디오 부호화부(12)로 대체될 수도 있다. In the case of an audio signal, there is a possibility that even the surround audio channel is not necessary due to the limitation of the number of speakers in the receiver. In this case, the hierarchical audio encoder 32 of the present invention may be replaced by the audio encoder 12 of the conventional terrestrial DMB encoder that performs single layer audio encoding.

이런 경우에, 본 발명의 계층적 부호화 장치는 비디오 신호를 입력하여 MPEG-4 SVC 부호화 방식으로 계층적 비디오 부호화를 수행하고 계층별 비디오 ES를 생성하는 계층적 비디오 부호화부, 오디오 신호를 입력하여 MPEG-4 오디오 부호화 방식으로 단일 계층 오디오 부호화를 수행하고 단일 계층 오디오 ES를 생성하는 오디오 부호화부, 상기 계층별 비디오 ES 및 단일 계층 오디오 ES와 계층별 OD/BIFS 스트림에 대하여 SL 패킷화를 수행하고 계층별 비디오 SL 패킷 및 단일 계층 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 생성하는 계층별 SL 패킷타이저부, 상기 계층별 비디오 SL 패킷 및 단일 계층 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷에 대하여 계층별 PES 패킷화를 수행하고 계층별 PES 패킷을 생성하는 계층별 PES 패킷타이저부, 상기 계층별 OD/BIFS SL 패킷과 계층별 IOD 데이터를 이용하여 계층별 14496 섹션 데이터와 계층별 PSI 섹션 데이터를 생성하는 계층별 섹션 발생부, 그리고 상기 계층별 PES 패킷과 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 이용하여 계층별 TS를 생성하는 계층별 TS 다중화부로 구성된다.In this case, the hierarchical encoding apparatus of the present invention inputs a video signal to perform a hierarchical video encoding using the MPEG-4 SVC encoding scheme and generates a hierarchical video ES. An audio encoder which performs single layer audio encoding by a -4 audio encoding scheme and generates a single layer audio ES, performs SL packetization on the layered video ES, the single layer audio ES, and the layered OD / BIFS stream, and For a layer SL packetizer unit for generating a per-video SL packet, a single-layer audio SL packet, and a per-layer OD / BIFS SL packet, the per-layer video SL packet, a single-layer audio SL packet, and a per-layer OD / BIFS SL packet. PES packetizer for each layer performing PES packetization for each layer and generating PES packet for each layer, OD / BIFS SL packet for each layer and IO for each layer A layer-specific section generation unit for generating 14496 section data for each layer and PSI section data for each layer using D data, and a layer-specific TS using the PES packet for each layer and 14496 section data for each layer and PSI section data for each layer. It consists of the TS multiplexer for each layer to generate.

또한 본 발명의 계층적 부호화 장치는 OD/BIFS 관련 데이터와 IOD 관련 데이터의 전송 효율을 높이기 위해서 OD/BIFS 관련 데이터와 IOD 관련 데이터를 어느 한 계층에서만 사용할 수도 있다. 이를 위하여, 본 발명의 계층적 부호화 장치는 OD/BIFS 관련 데이터와 IOD 관련 데이터를 계층별로 선택적으로 사용할 수 있도록 구성된다.In addition, the hierarchical encoding apparatus of the present invention may use OD / BIFS-related data and IOD-related data only in one layer in order to increase transmission efficiency of OD / BIFS-related data and IOD-related data. To this end, the hierarchical encoding apparatus of the present invention is configured to selectively use OD / BIFS related data and IOD related data for each layer.

본 발명의 계층적 부호화 방식은 비디오 및 오디오 신호를 입력하여 각 신호에 대하여 계층적 비디오 및 오디오 부호화를 수행하는 단계(41), 상기 계층적 비디오 및 오디오 부호화의 결과로 생성된 계층별 비디오 및 오디오 ES와 계층별 OD/BIFS 스트림에 대하여 계층별 SL 패킷화를 수행하는 단계(42), 상기 계층별 SL 패킷화의 결과로 생성된 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS 패킷에 대하여 계층별 PES 패킷화를 수행하는 단계(43), 상기 계층별 PES 패킷화의 결과로 생성된 계층별 PES 패킷에 대하여 계층별 OD/BIFS SL 패킷과 계층별 IOD 데이터로부터 구한 계층별 14496 섹션 및 계층별 PSI 섹션 정보를 이용하여 계층별 TS 다중화를 수행하는 단계(44)로 이루어지며, 상기 과정을 부호화가 끝날 때까지 반복적으로 수행한다. In the hierarchical coding scheme of the present invention, a hierarchical video and audio encoding is performed on each signal by inputting video and audio signals (41), and the hierarchical video and audio generated as a result of the hierarchical video and audio encoding. Performing layer-by-layer SL packetization for the ES and layer-specific OD / BIFS streams (42); for layer-specific video and audio SL packets and layer-specific OD / BIFS packets resulting from the layer-by-layer SL packetization Performing layer-by-layer PES packetization (43); layer-specific 14496 sections and layers obtained from layer-specific OD / BIFS SL packets and layer-specific IOD data for layer-specific PES packets generated as a result of the layer-specific PES packetization; Performing TS multiplexing by layer using the PSI section information for each layer is performed, and the process is repeatedly performed until the encoding is completed.

계층적 오디오 부호화를 수행하지 않고, 단일 계층 오디오 부호화를 수행하는 경우에, 본 발명의 계층적 부호화 방식은 비디오 및 오디오 신호를 입력하여 각 신호에 대하여 계층적 비디오 부호화 및 단일 계층 오디오 부호화를 수행하는 단계, 상기 계층적 비디오 및 오디오 부호화의 결과로 생성된 계층별 비디오 ES 및 단일 계층 오디오 ES와 계층별 OD/BIFS 스트림에 대하여 계층별 SL 패킷화를 수행하는 단계, 상기 계층별 SL 패킷화의 결과로 생성된 계층별 비디오 SL 패킷 및 단일 계층 오디 오 SL 패킷과 계층별 OD/BIFS 패킷에 대하여 계층별 PES 패킷화를 수행하는 단계, 상기 계층별 PES 패킷화의 결과로 생성된 계층별 PES 패킷에 대하여 계층별 OD/BIFS SL 패킷과 계층별 IOD 데이터로부터 구한 계층별 14496 섹션 및 계층별 PSI 섹션 정보를 이용하여 계층별 TS 다중화를 수행하는 단계로 이루어지며, 상기 과정을 부호화가 끝날 때까지 반복적으로 수행하게 된다.In the case of performing single layer audio encoding without performing hierarchical audio encoding, the hierarchical encoding method of the present invention inputs video and audio signals to perform hierarchical video encoding and single layer audio encoding on each signal. Performing layer-by-layer SL packetization on the layered video ES and the single-layer audio ES and the layered OD / BIFS stream generated as a result of the hierarchical video and audio encoding; and as a result of the layered SL packetization Performing layered PES packetization on the layered video SL packet, the single layer audio SL packet, and the layered OD / BIFS packet, and the layered PES packet generated as a result of the layered PES packetization. By using the layer-specific 14496 section and layer-specific PSI section information obtained from layer-specific OD / BIFS SL packets and layer-specific IOD data, It made of a step of performing a screen, and performs the process repeatedly, until the end of the encoding.

본 발명의 계층적 복호화 장치는 서로 다른 계층별 TS를 선택적으로 입력하여, 서로 다른 해상도를 표현하는 계층별 비디오 신호와 서로 다른 오디오 채널을 표현하는 계층별 오디오 신호를 선택적으로 복원할 수 있도록 구성되어 있다.The hierarchical decoding apparatus of the present invention is configured to selectively input different TSs for different layers, and selectively reconstruct the hierarchical video signals representing different resolutions and the hierarchical audio signals representing different audio channels. have.

본 발명의 계층적 복호화 장치는 계층별 TS를 입력하여 계층별 TS 역다중화를 수행하고 계층별 PES 패킷과 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 출력하는 계층별 TS 역다중화부(51), 상기 계층별 PES 패킷을 입력하여 계층별 디패킷타이징을 수행하고 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 출력하는 계층별 PES 디패킷타이저부(52), 상기 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 입력하여 계층별 OD/BIFS SL 패킷 관련 데이터 및 계층별 IOD 데이터를 출력하는 계층별 섹션 분석부(53), 상기 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 입력하여 계층별 디패킷타이징을 수행하고 계 층별 비디오 및 오디오 ES와 계층별 OD/BIFS 스트림을 출력하는 계층별 SL 디패킷타이저부(54), 상기 계층별 비디오 ES, 계층별 OD/BIFS 스트림 및 계층별 IOD 데이터를 이용하여 MPEG-4 SVC 비디오 복호화 방식으로 계층적 비디오 복호화를 수행하고 비디오 신호를 출력하는 계층적 비디오 복호화부(55), 그리고 상기 계층별 오디오 ES, 계층별 OD/BIFS 스트림 및 계층별 IOD 데이터를 이용하여 MPEG-4 오디오 복호화 방식으로 계층적 오디오 복호화를 수행하고 오디오 신호를 출력하는 계층적 오디오 복호화부(56)로 구성된다.The hierarchical decoding apparatus of the present invention inputs TSs for each layer to perform TS demultiplexing for each layer, and outputs a layered TS demultiplexer 51 for outputting layered PES packets, layered 14496 section data, and layered PSI section data. A layered PES depacketizer 52 for performing layered depacketizing by inputting the layered PES packets and outputting layered video and audio SL packets and layered OD / BIFS SL packets; 14496 A layer-specific section analyzer 53 for inputting section data and layer-specific PSI section data to output layer-specific OD / BIFS SL packet-related data and layer-specific IOD data, the layer-specific video and audio SL packets, and layer-specific OD. Depacketizer (54) for performing layer depacketizing by inputting / BIFS SL packets and outputting layered video and audio ES and layered OD / BIFS stream (54), layered video ES, layer Stars O A hierarchical video decoder 55 performing hierarchical video decoding using MPEG-4 SVC video decoding using a D / BIFS stream and hierarchical IOD data, and outputting a video signal, and the audio ES and layer by layer A hierarchical audio decoder 56 performs hierarchical audio decoding using an OD / BIFS stream and hierarchical IOD data in an MPEG-4 audio decoding method and outputs an audio signal.

본 발명의 계층적 복호화 장치는 기존의 지상파 DMB 복호화 장치와는 다르게 계층적 비디오 및 오디오 복호화를 수행하기 때문에, 그에 따라 나머지 구성부도 계층별 데이터를 처리할 수 있도록 구성되는 것이 특징이다.Unlike the conventional terrestrial DMB decoding apparatus, the hierarchical decoding apparatus of the present invention performs hierarchical video and audio decoding, and accordingly, the remaining components may be configured to process hierarchical data.

계층별 TS 역다중화부(51)는 계층별 TS를 입력하여 계층별 TS 역다중화를 수행하고 계층별 PES 패킷과 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 출력한다. 각 계층에 대한 TS 역다중화는 기존의 지상파 DMB 복호화 장치에서의 TS 역다중화부(21)에서 사용하는 방식과 동일하게 이루어진다. 계층별 TS 역다중화부(51)는 계층별 TS 를 선택적으로 사용한다. 즉, 기본 계층 TS에 해당하는 지상파 DMB TS가 입력되면, 기본 계층 TS만 사용하여 TS 역다중화를 수행한다.The TS demultiplexer 51 for each layer inputs TS for each layer to perform TS demultiplexing for each layer, and outputs a layer-specific PES packet, a layer-specific 14496 section data, and a layer-specific PSI section data. TS demultiplexing for each layer is performed in the same manner as used by the TS demultiplexer 21 in the conventional terrestrial DMB decoding apparatus. The TS demultiplexer 51 for each layer selectively uses TS for each layer. That is, when the terrestrial DMB TS corresponding to the base layer TS is input, TS demultiplexing is performed using only the base layer TS.

계층별 PES 디패킷타이저부(52)는 상기 계층별 PES 패킷을 입력하여 계층별 디패킷 타이징을 수행하고 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 출력한다. 각 계층에 대한 PES 디패킷타이징은 기존의 지상파 DMB 복호화 장치의 PES 디패킷타이저부(22)에서 사용하는 방식과 동일하게 이루어진다. The layer-specific PES depacketizer 52 inputs the layer-specific PES packet to perform depacketizing for each layer, and outputs layered video and audio SL packets and layered OD / BIFS SL packets. PES depacketizing for each layer is performed in the same manner as used in the PES depacketizer 22 of the conventional terrestrial DMB decoding apparatus.

계층별 섹션 분석부(53)는 상기 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 입력하여 계층별 OD/BIFS SL 패킷 관련 데이터 및 계층별 IOD 데이터를 출력한다. 각 계층에 대한 섹션 발생 처리는 기존의 지상파 DMB 복호화 장치의 섹션 분석부(23)에서 사용하는 방식과 동일하게 이루어진다.The layer section analyzer 53 inputs the layer-specific 14496 section data and the layer-specific PSI section data to output layer-specific OD / BIFS SL packet related data and layer-specific IOD data. The section generation processing for each layer is performed in the same manner as that used by the section analyzer 23 of the conventional terrestrial DMB decoding apparatus.

계층별 SL 디패킷타이저부(54)는 상기 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 입력하여 계층별 디패킷타이징을 수행하고 계층별 비디오 및 오디오 ES와 계층별 OD/BIFS 스트림을 출력한다. 각 계층에 대한 SL 패킷화는 기존의 지상파 DMB 복호화 장치의 SL 디패킷타이저부(24)에서 사용하는 방식과 동일하게 이루어진다.The SL depacketizer for each layer 54 inputs the layer-specific video and audio SL packets and the layer-specific OD / BIFS SL packets to perform depacketization per layer, and performs layer-specific video and audio ES and layer-specific OD /. Output the BIFS stream. SL packetization for each layer is performed in the same manner as that used by the SL depacketizer 24 of the conventional terrestrial DMB decoding apparatus.

계층적 비디오 복호화부(55)는 상기 계층별 비디오 ES, 계층별 OD/BIFS 스트림 및 계층별 IOD 데이터를 입력하여 MPEG-4 SVC 비디오 복호화 방식으로 계층적 비디오 복호화를 수행하고, 그 결과로 비디오 신호를 출력한다. 계층적 비디오 복호화부(55)는 계층별 비디오 ES를 계층별로 선택하여 사용한다. 즉, 기본 계층 비디오 ES에 해당하는 지상파 DMB 비디오 ES가 입력되면, 기본 계층 비디오 ES만 사용하여 비디오 복호화를 수행한다. The hierarchical video decoder 55 inputs the hierarchical video ES, hierarchical OD / BIFS stream, and hierarchical IOD data to perform hierarchical video decoding using MPEG-4 SVC video decoding, and as a result, the video signal. Outputs The hierarchical video decoder 55 selects and uses a layered video ES for each layer. That is, when the terrestrial DMB video ES corresponding to the base layer video ES is input, video decoding is performed using only the base layer video ES.

계층적 오디오 복호화부(56)는 상기 계층별 오디오 ES, 계층별 OD/BIFS 스트림 및 계층별 IOD 데이터를 이용하여 MPEG-4 오디오 복호화 방식으로 계층적 오디오 복호화를 수행하고 오디오 신호를 출력한다. 계층적 오디오 복호화부(56)는 계층별 오디오 ES를 계층별로 선택하여 사용한다. 즉, 기본 계층 오디오 ES에 해당하는 지상파 DMB 오디오 ES가 입력되면, 기본 계층 오디오 ES만 사용하여 오디오 복호화를 수행한다.The hierarchical audio decoder 56 performs hierarchical audio decoding using the MPEG-4 audio decoding method using the hierarchical audio ES, hierarchical OD / BIFS stream, and hierarchical IOD data, and outputs an audio signal. The hierarchical audio decoder 56 selects and uses a layered audio ES for each layer. That is, when the terrestrial DMB audio ES corresponding to the base layer audio ES is input, audio decoding is performed using only the base layer audio ES.

오디오 신호의 경우에 수신기의 스피커수의 제약으로 인하여 서라운드 오디오 채널까지 필요 없을 가능성도 있다. 그럴 경우에 본 발명의 계층적 오디오 복호화부(56)는 단일 계층 오디오 복호화를 수행하는 기존의 지상파 DMB 복호화 장치에서의 오디오 복호화부(26)로 대체될 수도 있다. In the case of an audio signal, there is a possibility that even the surround audio channel is not necessary due to the limitation of the number of speakers in the receiver. In this case, the hierarchical audio decoder 56 of the present invention may be replaced by the audio decoder 26 in the conventional terrestrial DMB decoding apparatus that performs single layer audio decoding.

이런 경우에, 본 발명의 계층적 복호화 장치는 계층별 TS를 입력하여 계층별 TS 역다중화를 수행하고 계층별 PES 패킷과 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 출력하는 계층별 TS 역다중화부, 상기 계층별 PES 패킷을 입력하여 계층별 디패킷타이징을 수행하고 계층별 비디오 SL 패킷 및 단일 계층 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 출력하는 계층별 PES 디패킷타이저부, 상기 계층별 14496 섹션 데이터 및 계층별 PSI 섹션 데이터를 입력하여 계층별 OD/BIFS SL 패킷 관련 데이터 및 계층별 IOD 데이터를 출력하는 계층별 섹션 분석부, 상기 계층별 비디오 SL 패킷 및 단일 계층 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 입력하여 계층별 디패킷타이징을 수행하고 계층별 비디오 ES 및 단일 계층 오디오 ES와 계층별 OD/BIFS 스트림을 출력하는 계층별 SL 디패킷타이저부, 상기 계층별 비디오 ES, 계층별 OD/BIFS 스트림 및 계층별 IOD 데이터를 이용하여 MPEG-4 SVC 비디오 복호화 방식으로 계층적 비디오 복호화를 수행하고 비디오 신호를 출력하는 계층적 비디오 복호화부, 그리고 상기 단일 계층 오디오 ES, 기본 계층 OD/BIFS 스트림 및 기본 계층 IOD 데이터를 이용하여 MPEG-4 오디오 복호화 방식으로 단일 계층 오디오 복호화를 수행하고 오디오 신호를 출력하는 단일 계층 오디오 복호화부로 구성된다.In this case, the hierarchical decoding apparatus of the present invention inputs TS for each layer to perform TS demultiplexing for each layer, and outputs TS for each layer and outputs 14496 section data for each layer and PSI section data for each layer. A layered PES depacketizer for performing layered depacketizing by inputting the layered PES packets and outputting layered video SL packets, single layered audio SL packets, and layered OD / BIFS SL packets. A layer-specific section analyzer for inputting layer-specific 14496 section data and layer-specific PSI section data to output layer-specific OD / BIFS SL packet related data and layer-specific IOD data; Layered OD / BIFS SL packets are input to perform layered depackaging, layered S outputting layered video ES and single layered audio ES, and layered OD / BIFS streams. L depacketizer, hierarchical video decoding using hierarchical video ES, hierarchical OD / BIFS stream, and hierarchical IOD data to perform hierarchical video decoding using MPEG-4 SVC video decoding and output a video signal And a single layer audio decoder for performing single layer audio decoding using MPEG-4 audio decoding using a single layer audio ES, a base layer OD / BIFS stream, and base layer IOD data, and outputting an audio signal.

또한 본 발명의 계층적 복호화 장치는 OD/BIFS 관련 데이터와 IOD 관련 데이터가 전송 효율을 위해서 어느 한 계층에서만 사용될 경우를 위하여, OD/BIFS 관련 데이터와 IOD 관련 데이터를 계층별로 선택적으로 사용할 수 있도록 구성된다.In addition, the hierarchical decoding apparatus of the present invention is configured to selectively use OD / BIFS-related data and IOD-related data for each layer when OD / BIFS-related data and IOD-related data are used in only one layer for transmission efficiency. do.

도 6 은 본 발명의 계층적 복호화 방식의 동작 흐름도이다.6 is a flowchart illustrating the hierarchical decoding method of the present invention.

본 발명의 계층적 복호화 방식은 계층별 TS에 대하여 TS 역다중화를 수행하고 계층별 PES 패킷과 계층별 14496 섹션 및 계층별 PSI 섹션 데이터를 출력하는 계층별 TS 역다중화 단계(61), 상기 계층별 PES 패킷에 대하여 PES 디패킷타이징을 수행하 고 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 출력하는 계층별 PES 디패킷타이징 단계(62), 상기 계층별 비디오 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 입력하고 계층별 14496 섹션 및 계층별 PSI 섹션 데이터로부터 구한 계층별 섹션 분석 정보를 이용하여 SL 디패킷타이징을 수행하는 계층별 SL 디패킷타이징 단계(63), 계층별 비디오 및 오디오 ES를 입력하고 계층별 OD/BIFS 스트림 정보 및 계층별 IOD 정보를 이용하여 계층적 비디오 및 오디오 복호화를 수행하는 계층적 비디오 및 오디오 복호화 단계(64)로 이루어지며, 상기 과정을 복호화가 끝날 때까지 반복적으로 수행한다.In the hierarchical decoding method of the present invention, a TS demultiplexing step 61 for performing TS demultiplexing on a TS for each layer and outputting PES packets for each layer, 14496 sections for each layer, and PSI section data for each layer, and for each layer PES depacketizing step 62 for performing PES depacketizing on PES packets and outputting layered video and audio SL packets and layered OD / BIFS SL packets, and layered video and audio SL SL depacketizing step for entering the packet and OD / BIFS SL packet for each layer and performing SL depacketizing using the layer analysis information obtained from the layer-specific 14496 section and the layer-specific PSI section data (63). Hierarchical video and audio decoding step 64 for inputting hierarchical video and audio ES and performing hierarchical video and audio decoding using hierarchical OD / BIFS stream information and hierarchical IOD information. It is done, and performs the process repeatedly, until the end of decoding.

계층적 오디오 복호화를 수행하지 않고, 단일 계층 오디오 복호화를 수행하는 경우에, 본 발명의 계층적 복호화 방식은 계층별 TS에 대하여 TS 역다중화를 수행하고 계층별 PES 패킷과 계층별 14496 섹션 및 계층별 PSI 섹션 데이터를 출력하는 계층별 TS 역다중화 단계, 상기 계층별 PES 패킷에 대하여 PES 디패킷타이징을 수행하고 계층별 비디오 SL 패킷 및 단일 계층 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 출력하는 계층별 PES 디패킷타이징 단계, 상기 계층별 비디오 SL 패킷 및 오디오 SL 패킷과 계층별 OD/BIFS SL 패킷을 입력하고 계층별 14496 섹션 및 계층별 PSI 섹션 데이터로부터 구한 계층별 섹션 분석 정보를 이용하여 SL 디패킷타이징을 수행하는 계층별 SL 디패킷타이징 단계, 계층별 비디오 ES 및 단일 계층 오디오 ES를 입력하고 계층별 OD/BIFS 스트림 정보 및 계층별 IOD 정보를 이용하여 계층적 비디오 및 단일 계층 오디오 복호화를 수행하는 계층적 비디오 복호화 및 단일 계 층 오디오 복호화 단계로 이루어지며, 상기 과정을 복호화가 끝날 때까지 반복적으로 수행한다.In the case of performing single layer audio decoding without performing hierarchical audio decoding, the hierarchical decoding method of the present invention performs TS demultiplexing on a layered TS and performs layered PES packets and layered 14496 sections and layered layers. A TS demultiplexing step for outputting PSI section data, performing PES depacketizing on the PES packet for each layer, and outputting a video SL packet, a single layer audio SL packet, and an OD / BIFS SL packet for each layer. PES depacketizing step by layer, the layered video SL packet and audio SL packet and the layered OD / BIFS SL packet are input, and the layered section analysis information obtained from the layered 14496 section and the layered PSI section data is used. Enter layer-by-layer SL depacketizing steps to perform SL depacketizing, layered video ES and single layer audio ES, layered OD / BIFS stream information and A hierarchical video decoding and a single layer audio decoding step are performed using hierarchical IOD information to perform hierarchical video and single layer audio decoding. The process is repeatedly performed until the decoding ends.

이상에서 본 발명을 특정의 바람직한 실시예로서 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.Although the present invention has been described as a specific preferred embodiment, the present invention is not limited to the above-described embodiment, and ordinary knowledge in the field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Anyone with a variety of variations will be possible.

본 발명을 사용하면 기존 지상파 DMB 신호와 호환성을 가지면서도 기존 지상파 DMB 신호에 비하여 해상도가 4배로 높은 비디오와 입체감이 향상된 멀티 채널 오디오를 제공할 수 있는 새로운 지상파 DMB 신호를 생성할 수 있다. Using the present invention, it is possible to generate a new terrestrial DMB signal that is compatible with the existing terrestrial DMB signal and can provide multi-channel audio with improved video and stereoscopic effect with four times higher resolution than the existing terrestrial DMB signal.

또한 본 발명을 사용하는 지상파 DMB 수신기는 그 성능에 따라 선택적으로 기존의 지상파 DMB 품질의 비디오 및 오디오 신호를 복원하거나, 새로운 지상파 DMB 품질의 고해상도 비디오 및 멀티 채널 오디오를 복원할 수 있는 장점을 갖는다.In addition, the terrestrial DMB receiver using the present invention has an advantage of selectively restoring existing terrestrial DMB quality video and audio signals or reconstructing new terrestrial DMB quality high resolution video and multichannel audio according to its performance.

Claims

A hierarchical video encoder which inputs a video signal to perform hierarchical video encoding by MPEG-4 Scalable Video Coding (SVC) encoding and generates hierarchical video ES (Elementary Stream);

A hierarchical audio encoder which inputs an audio signal to perform hierarchical audio encoding by MPEG-4 audio encoding and generates hierarchical audio ES;

Sync layer (SL) packetization is performed on the layered video and audio ES and layered object descriptor / binary format for scene (OD / BIFS) streams, and layered video and audio SL packets and layered OD / BIFS SL packets. SL packetizer for each layer generating a

A layered PES packetizer for performing layered packetized elementary stream (PES) packetization on the layered video and audio SL packets and layered OD / BIFS SL packets and generating layered PES packets;

A layer generator for generating layer-specific 14496 section data and layer-specific program specific information (PSI) section data using the layer-specific OD / BIFS SL packet and layer-specific Initial Object Descriptor (IOD) data;

And a layer TS multiplexer for generating a transport stream (TS) for each layer using the layer-specific PES packet, layer-specific 14496 section data, and layer-specific PSI section data.

Hierarchical encoding apparatus comprising a.

The method of claim 1,

And the hierarchical video encoder generates information that can distinguish each screen from each other on a time basis with respect to the base layer video ES and the enhancement layer video ES.

The method of claim 1,

And the hierarchical audio encoder generates and generates information for distinguishing each audio section on a time basis with respect to the base layer audio ES and the enhancement layer audio ES.

A hierarchical video encoding unit which inputs a video signal to perform hierarchical video encoding using MPEG-4 SVC encoding and generates hierarchical video ES;

An audio encoder for inputting an audio signal to perform single layer audio encoding by MPEG-4 audio encoding and generating a single layer audio ES;

Layer SL for performing SL packetization on the layered video ES and the single layer audio ES and the layered OD / BIFS stream, and generating the layered video SL packet, the single layer audio SL packet, and the layered OD / BIFS SL packet. Packetizer,

A layered PES packetizer for performing layered PES packetization on the layered video SL packet, the single layer audio SL packet, and the layered OD / BIFS SL packet and generating the layered PES packet;

A layer generation section for generating 14496 section data for each layer and PSI section data for each layer by using the layer-specific OD / BIFS SL packet and layer-specific IOD data;

And a layered TS multiplexer for generating a layered TS using the layered PES packet, the layered 14496 section data, and the layered PSI section data.

Hierarchical encoding apparatus comprising a.

5. The method of claim 4,

5. The method according to any one of claims 1 to 4,

The OD / BIFS related data, which is at least one of the layer-specific OD / BIFS stream and the layer-specific OD / BIFS SL packet, and the layer-specific IOD data are selectively used for each layer.

Inputting video and audio signals to perform hierarchical video and audio encoding on each signal,

Performing layer-by-layer SL packetization on the layered video and audio ES and the layered OD / BIFS stream generated as a result of the hierarchical video and audio encoding;

Performing layered PES packetization on the layered video and audio SL packets and the layered OD / BIFS packets generated as a result of the layered SL packetization;

Layer-by-layer TS multiplexing is performed on the layer-specific PES packets generated as a result of the layer-specific PES packetization using layer-specific 14496 sections and layer-specific PSI section information obtained from layer-specific OD / BIFS SL packets and layer-specific IOD data. Steps,

And repeating the steps of performing the hierarchical video and audio encoding to performing the TS-by-layer TS multiplexing until the end of the encoding.

Inputting video and audio signals to perform hierarchical video encoding and single layer audio encoding on each signal,

Performing layer-by-layer SL packetization on the layered video ES and the single layer audio ES and the layered OD / BIFS stream resulting from the hierarchical video and audio encoding;

Performing layered PES packetization on the layered video SL packet, the single layer audio SL packet, and the layered OD / BIFS packet generated as a result of the layered SL packetization;

And performing the hierarchical video encoding and single layer audio encoding to performing the hierarchical TS multiplexing until the end of encoding.

9. The method according to any one of claims 7 to 8,

OD / BIFS-related data, which is at least one of the layer-specific OD / BIFS stream, the layer-specific OD / BIFS packet, and the layer-specific OD / BIFS SL packet, and the layer-specific IOD data are selectively used for each layer. Hierarchical coding method.

TS demultiplexing unit for performing TS demultiplexing by hierarchical TS and outputting PES packets by layer, 14496 section data by layer, and PSI section data by layer,

A layered PES depacketizer for performing layered depacketizing by inputting the layered PES packets and outputting layered video and audio SL packets and layered OD / BIFS SL packets;

A section analysis unit for outputting layer-specific OD / BIFS SL packet-related data and layer-specific IOD data by inputting the 14496 section data for each layer and PSI section data for each layer;

Layer depacketing for inputting the layered video and audio SL packets and layered OD / BIFS SL packets to perform layered depackaging and outputting layered video and audio ES and layered OD / BIFS streams. Athlete,

A hierarchical video decoder which performs hierarchical video decoding by using the MPEG-4 SVC video decoding method and outputs a video signal by using the hierarchical video ES, hierarchical OD / BIFS stream, and hierarchical IOD data;

And a hierarchical audio decoder for performing hierarchical audio decoding using an MPEG-4 audio decoding method using the hierarchical audio ES, hierarchical OD / BIFS stream, and hierarchical IOD data, and outputting an audio signal.

Hierarchical decoding apparatus comprising a.

The method of claim 10,

The layered TS demultiplexer selectively uses a layered TS.

The method of claim 10,

And the hierarchical video decoding unit selects and uses a layered video ES for each layer.

The method of claim 10,

And the hierarchical audio decoder selects and uses a layered audio ES for each layer.

A layered PES depacketizer for performing layered depacketizing by inputting the layered PES packets and outputting layered video SL packets, single layered audio SL packets, and layered OD / BIFS SL packets;

Inputs the layered video SL packet, the single layer audio SL packet, and the layered OD / BIFS SL packet to perform layer depackaging, and outputs layered video ES, single layer audio ES, and layered OD / BIFS stream. SL depacketizer for each layer

And a single layer audio decoder for performing single layer audio decoding by MPEG-4 audio decoding using the single layer audio ES, the base layer OD / BIFS stream, and the base layer IOD data, and outputting an audio signal.

Hierarchical decoding apparatus comprising a.

The method of claim 14,

The layered TS demultiplexer selectively uses a layered TS.

The method of claim 14,

The method according to any one of claims 10 to 14,

TS demultiplexing step for performing TS demultiplexing on TSs per layer and outputting PES packets for each layer, 14496 sections for each layer, and PSI sections for each layer,

A PES depacketizing step for performing PES depacketizing on the layered PES packet and outputting layered video and audio SL packets and layered OD / BIFS SL packets;

Layer-by-layer SL inputting the layer-specific video and audio SL packet and layer-specific OD / BIFS SL packet, and performing layer depacketizing using layer-specific section analysis information obtained from layer-specific 14496 section and layer-specific PSI section data. Depacketizing step,

Hierarchical video and audio decoding step of inputting hierarchical video and audio ES and performing hierarchical video and audio decoding using hierarchical OD / BIFS stream information and hierarchical IOD information;

And performing the processes of the TS demultiplexing for each hierarchical layer to the hierarchical video and audio decoding step repeatedly until decoding is completed.

A PES depacketizing step for performing PES depacketizing on the layered PES packet and outputting a layered video SL packet, a single layer audio SL packet, and a layered OD / BIFS SL packet;

A layer for inputting the video SL packet and audio SL packet for each layer and the OD / BIFS SL packet for each layer and performing SL depackaging using layer analysis information obtained from the layer 14496 section and layer-specific PSI section data. Per-SL depacketizing step,

A hierarchical video decoding and single layer audio decoding step of inputting hierarchical video ES and single layer audio ES and performing hierarchical video and single layer audio decoding using hierarchical OD / BIFS stream information and hierarchical IOD information;

Wherein the processes of the TS demultiplexing for each hierarchical layer to the hierarchical video decoding and single layer audio decoding are repeatedly performed until decoding is completed.

The method according to any one of claims 18 to 19,