KR101057659B1

KR101057659B1 - Multimedia decoding device

Info

Publication number: KR101057659B1
Application number: KR1020080131604A
Authority: KR
Inventors: 이주현; 구본태; 엄낙웅
Original assignee: 한국전자통신연구원
Priority date: 2008-12-22
Filing date: 2008-12-22
Publication date: 2011-08-18
Also published as: KR20100073026A

Abstract

본 발명은 멀티미디어 디코딩 장치에 관한 것으로서, 마이크로프로세서의 명령을 전달하는 커맨드 버스와 디코딩 처리에 필요한 데이터를 전송하는 데이터 버스를 독립된 구조로 구현하고, 상기 커맨드 버스를 통해 마이크로프로세서가 하드웨어 디코딩 코어의 각 블록으로 명령을 전송하면, 상기 명령에 따라서 하드웨어 디코딩 코어의 각 블록이 상기 데이터 버스를 통해 메모리에 저장된 데이터를 읽어와 디코딩 처리를 수행하거나, 디코딩된 데이터를 상기 메모리에 저장하도록 구현하고, PID 매칭 유닛을 통해 하드웨어적으로 선택된 채널에 대응하는 TS 패킷을 추출하여 ES 패킷까지의 파싱을 수행하도록 구현함으로써, 마이크로프로세서의 작업 부하 및 메모리 대역폭을 감소시키면서 효율성을 높일 수 있는 것이다.The present invention relates to a multimedia decoding apparatus, and implements a command bus for transmitting instructions of a microprocessor and a data bus for transmitting data necessary for decoding processing in a separate structure, and the microprocessor is configured to allow each microprocessor When a command is transmitted in a block, each block of a hardware decoding core reads data stored in a memory through the data bus and performs decoding processing according to the command, or stores decoded data in the memory, and PID matching. By extracting TS packets corresponding to hardware-selected channels through the unit and parsing up to ES packets, efficiency can be increased while reducing the workload and memory bandwidth of the microprocessor.

H.264, T-DMB, 디코딩 장치, 커맨드 버스, 데이터 버스 H.264, T-DMB, decoding device, command bus, data bus

Description

Multimedia Decoding Device

본 발명은 동영상 포맷을 디코딩하는 멀티미디어 디코딩 장치에 관한 것으로서, 더욱 상세하게는 마이크로프로세서의 작업 부하 및 메모리 대역폭을 감소시키면서 효율적인 디코딩 수행이 가능한 멀티미디어 디코딩 장치에 관한 것이다.The present invention relates to a multimedia decoding apparatus for decoding a video format, and more particularly, to a multimedia decoding apparatus capable of performing efficient decoding while reducing the workload and memory bandwidth of a microprocessor.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-017-03, 과제명: 지상파 DMB 전송 고도화 기술개발].The present invention is derived from the research conducted as part of the IT growth engine technology development project of the Ministry of Knowledge Economy and the Ministry of Information and Telecommunication Research and Development. [Task management number: 2006-S-017-03, Task name: Development of advanced terrestrial DMB transmission technology .

T-DMB(Terrestrial Digital Multimedia Broadcasting)는, ITU-R의 DSB System A(Eureka-147)에 기반하여 한국에서 개발한 지상파 디지털 멀티미디어 방송 표준으로서, 약 1.5 MHz의 대역폭을 갖는 VHF 대역을 통하여, 시속 200 km로 고속 주행하는 단말에서도 고품질의 영상과 음향은 물론 다양한 데이터 방송을 제공하도록 제안되었다. 상기 T-DMB에 있어서, 영상압축은 H.264/MPEG-4 AVC를 채택하고 있으며, 음향압축은 MPEG-4 BSAC를 채택하고 있다. 그리고, 대화형 데이터 방송규격 으로서, MPEG-4 BIFS를 채택하여 동영상 데이터를 MPEG-4 LS 패킷과 TS(Transfer stream) 패킷으로 다중화하여 전송하고 있다.Terrestrial Digital Multimedia Broadcasting (T-DMB) is a terrestrial digital multimedia broadcasting standard developed in Korea based on ITU-R's DSB System A (Eureka-147). It has been proposed to provide high quality video and sound as well as various data broadcasts at high speeds of 200 km. In the T-DMB, video compression adopts H.264 / MPEG-4 AVC, and audio compression adopts MPEG-4 BSAC. As an interactive data broadcasting standard, MPEG-4 BIFS is adopted to multiplex video data into MPEG-4 LS packets and TS (Transfer stream) packets.

이러한 T-DMB 수신기는, 핸드폰, PDA, 네비게이션 등과 같이 휴대형 단말에 주로 설치되거나, 휴대형 단말 형태로 구현되는 경우가 많기 때문에, 성능은 유지하면서 소형화를 도모할 수 있는 것이 바람직하다.Such a T-DMB receiver is mainly installed in a portable terminal such as a mobile phone, a PDA, a navigation device, or the like, and is often implemented in the form of a portable terminal. Therefore, the T-DMB receiver can be miniaturized while maintaining performance.

한편, T-DMB 수신기에는, 압축된 동영상을 디코딩하는 멀티미디어 디코딩 장치가 반드시 요구된다.On the other hand, a T-DMB receiver requires a multimedia decoding apparatus for decoding a compressed video.

도 1은 종래의 멀티미디어 디코딩 장치의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a conventional multimedia decoding apparatus.

종래의 멀티미디어 디코딩 장치는, 도 1에 도시된 바와 같이, 마이크로프로세서(11)에 디코딩 코어(14)가 코프로세서(Coprocessor)로 개념으로 연결되어 있고, 상기 마이크로프로세서(11)는 데이터 버스(10)를 통하여 메모리(12)를 제어하는 메모리 콘트롤러(13)와 연결되도록 구현된다. In the conventional multimedia decoding apparatus, as shown in FIG. 1, a decoding core 14 is conceptually connected to a microprocessor 11 as a coprocessor, and the microprocessor 11 is a data bus 10. It is implemented to be connected to the memory controller 13 that controls the memory 12 through the ().

이렇게 구성된 멀티미디어 디코딩 장치에 있어서, 상기 마이크로프로세서(11)는 상기 디코딩 코어(14)의 각 블록들에 대한 컨트롤과 필요한 데이터의 전달을 모두 담당하게 되며, 또한, TS 패킷을 입력받아 이를 파싱(parsing)하여 필요한 ES(Elementary Stream) 패킷을 추출하는 기능까지 수행하여야 한다. 따라서, 마이크프로세서(11)의 작업부하가 너무 커진다는 문제점이 발생한다.In the multimedia decoding apparatus configured as described above, the microprocessor 11 is responsible for both control of each block of the decoding core 14 and transfer of necessary data, and also receives and parses a TS packet. To extract the necessary ES (Elementary Stream) packets. Therefore, a problem arises that the workload of the microphone processor 11 becomes too large.

또한, 종래의 멀티미디어 디코딩 장치에서는, 상기 디코딩 코어(14)의 각 블록에서 필요한 모든 데이터가 마이크로프로세서(11)를 통하여, 코어 외부의 메모리(12)에 저장되거나, 상기 메모리(12)로부터 읽어져야 하므로, 필요한 메모리 대 역폭도 증가하게 된다는 단점이 있다.In addition, in the conventional multimedia decoding apparatus, all data required for each block of the decoding core 14 must be stored in or read from the memory 12 outside the core, through the microprocessor 11. As a result, the required memory bandwidth is also increased.

본 발명은, 종래 멀티미디어 디코딩 장치에서 마이크로프로세서의 작업 부하 및 메모리 대역폭이 증가되는 문제점을 해결하고자 제안된 것으로서, 마이크로프로세서의 작업 부하 및 메모리 대역폭을 감소시키면서 효율적인 디코딩 수행이 가능함으로써, T-DMB 수신기에 적합한 멀티미디어 디코딩 장치를 제공하고자 한다.The present invention is proposed to solve the problem of increasing the workload and memory bandwidth of a microprocessor in a conventional multimedia decoding apparatus, and by performing efficient decoding while reducing the workload and memory bandwidth of a microprocessor, a T-DMB receiver It is an object of the present invention to provide a multimedia decoding apparatus.

상기 과제를 해결하기 위한 수단으로서, 본 발명은, TS 패킷 선택 및 디코딩 처리 과정을 제어하는 마이크로프로세서; 디코딩 처리될 데이터 및 디코딩 처리된 데이터를 저장하는 메모리; 상기 메모리로의 읽기 및 쓰기를 제어하는 메모리 콘트롤러; 상기 마이크로프로세서의 명령에 따라서 상기 메모리 콘트롤러를 통해 메모리로부터 데이터를 읽어와 처리하고 처리된 데이터를 상기 메모리에 저장하여 디코딩 처리를 수행하는 하드웨어 디코딩 코어; 상기 마이크로프로세서의 명령을 상기 하드웨어 디코딩 코어로 전달하는 커맨드 버스; 및 상기 메모리 콘트롤러와 상기 하드웨어 디코딩 코어를 연결하여, 디코딩 처리를 위한 데이터를 전달하는 데이터 버스를 포함하는 멀티미디어 디코딩 장치를 제공한다.As a means for solving the above problems, the present invention, a microprocessor for controlling the TS packet selection and decoding process; A memory for storing the data to be decoded and the decoded data; A memory controller controlling reading and writing to the memory; A hardware decoding core configured to read and process data from a memory through the memory controller according to a command of the microprocessor, and store the processed data in the memory to perform decoding processing; A command bus delivering instructions of the microprocessor to the hardware decoding core; And a data bus connecting the memory controller and the hardware decoding core to transfer data for decoding processing.

상기 본 발명의 멀티미디어 디코딩 장치는, 상기 마이크로프로세서의 제어에 따라서, 선택된 프로그램의 TS 패킷을 추출하여 ES 패킷까지의 파싱을 수행한 후, 상기 파싱된 ES 패킷을 상기 메모리 콘트롤러를 통해 메모리에 저장하는 PID(Program ID) 매칭 유닛(PMU)을 더 포함할 수 있다.According to the control of the microprocessor, the multimedia decoding apparatus of the present invention extracts TS packets of a selected program and parses them up to ES packets, and then stores the parsed ES packets in a memory through the memory controller. It may further include a PID (Program ID) matching unit (PMU).

또한, 상기 멀티미디어 디코딩 장치에 있어서, 상기 하드웨어 디코딩 코어는, 상기 메모리콘트롤러로부터 비디오 데이터를 읽어와 디코딩 처리를 수행하거나, 디코딩 처리된 비디오 데이터를 상기 메모리콘트롤러로 전송하여 저장하는 하나 이상의 제1 블록과, 내부의 버퍼를 구비하고, 상기 내부의 버퍼를 통해 다른 블록으로부터 출력 데이터를 전달받아 순차적인 디코딩 처리를 수행하는 하나 이상의 제2 블록을 포함하는 것을 특징으로 한다.In the multimedia decoding apparatus, the hardware decoding core may include one or more first blocks that read video data from the memory controller and perform decoding processing, or transmit and store decoded video data to the memory controller; And an at least one second block having an internal buffer and receiving sequential decoding from the other block through the internal buffer.

상기 멀티미디어 디코딩 장치에 있어서, 상기 하나 이상의 제1 블록에는, 상기 메모리 콘트롤러를 통해 한 프레임의 비디오 데이터들을 가져와 한 프레임의 일부 영역을 구성하는 PR(Picture Reconstruction) 블록과, 상기 PR 블록에서 완성된 한 프레임의 데이터를 필터링하여 상기 메모리 콘트롤러를 통해 상기 메모리에 저장시키는 DF(Deblocking filter) 블록이 포함되고, 상기 하나 이상의 제2 블록에는, 상기 메모리 콘트롤러로부터 ES 데이터를 읽어와 엔트로피 디코딩을 수행하는 VLD(Variable Length Decoding) 블록과, 상기 VLD 블록에서 출력된 데이터에 대한 역양자화를 수행하는 IQ(Inverse Quantization) 블록과, 상기 IQ 블록에서 출력된 데이터에 대한 역변환을 수행하여 상기 메모리 콘트롤러로 전달하는 IT(Inverse Tranform) 블록과, 상기 PR 블록으로부터 데이터를 전달받아 움직임 보상 및 인터프리딕션을 수행하여 상기 PR 블록으로 되돌려 주는 MC(Motion Compensation) 블록 및 IP(InterPrediction) 블록이 포함되는 것을 특징으로 한다.In the multimedia decoding apparatus, the at least one first block includes a PR (Picture Reconstruction) block configured to take up video data of one frame through the memory controller and form a partial region of one frame, and a PR block completed from the PR block. Deblocking filter (DF) block for filtering the data of the frame and stored in the memory through the memory controller, wherein the at least one second block, VLD for reading the ES data from the memory controller to perform entropy decoding ( Variable Length Decoding) block, an Inverse Quantization (IQ) block for performing inverse quantization on the data output from the VLD block, and an IT for performing inverse transformation on the data output from the IQ block and transferring the data to the memory controller. Inverse Tranform) block and data from the PR block To perform a compensation, and being interpreted prediction back to the block PR is characterized in that the MC containing the (Motion Compensation), and IP block (InterPrediction) block.

또한, 상기 본 발명의 멀티미디어 디코딩 장치는, 상기 커맨드 버스를 통해 전달된 마이크로프로세서의 명령에 따라서 데이터 버스를 통해 상기 메모리 콘트롤러로부터 디코딩 완료된 한 프레임의 데이터를 읽어와 표시장치로 출력하는 디스플레이 콘트롤러를 더 포함할 수 있다.The multimedia decoding apparatus of the present invention may further include a display controller that reads data of one decoded frame from the memory controller through a data bus and outputs the data to a display device according to a command of a microprocessor transmitted through the command bus. It may include.

또한, 상기 멀티미디어 디코딩 장치에 있어서, 상기 마이크로 프로세서는, 최초 동작시 또는 사용자의 프로그램 안내 요구시에만, 상기 PMU로 입력된 TS 패킷을 파싱하여 현재의 TS패킷에 어떠한 프로그램이 실렸는지를 파악한 후 상기 디스플레이 콘트롤러를 통해 사용자에게 안내하도록 제어한다.In the multimedia decoding apparatus, the microprocessor parses a TS packet input to the PMU only at the time of initial operation or when a user requests a program guide to determine which program is loaded in a current TS packet. Control to guide the user through the display controller.

본 발명에 의한 멀티미디어 디코딩 장치는, 데이터 버스와는 독립적으로 구현되어 마이크로프로세서의 명령을 전달하는 커맨드 버스를 통해 마이크로프로세서의 명령이 각각의 디코딩 코어부에 전달되도록 하면서, 마이크로프로세서를 통하지 않고 각각의 디코딩 코어부가 필요한 데이터를 상기 데이터 버스를 통해 읽고 쓸 수 있도록 함으로써, 마이크로프로세서의 작업 부하를 줄여 전반적인 효율성을 향상시키고, 또한, 디코딩 코어를 그 작업 특징에 따라서 메모리 컨트롤러를 통해 데이터를 읽거나 저장하는 블록과, 내부에 작은 버퍼를 두어 상기 버퍼를 통해 필요 데이터를 처리하도록 하는 블록으로 구분하여 구현함으로써, 메모리 대역폭을 크게 절감시킬 수 있는 우수한 효과가 있다.The multimedia decoding apparatus according to the present invention is implemented independently of the data bus so that the instructions of the microprocessor are transmitted to the respective decoding core portions through a command bus that carries the instructions of the microprocessor. By allowing the decoding core unit to read and write the necessary data through the data bus, it reduces the workload of the microprocessor to improve the overall efficiency, and also allows the decoding core to read or store data through the memory controller according to its working characteristics. By dividing into blocks and blocks having small buffers therein to process necessary data through the buffers, the memory bandwidth can be greatly reduced.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' to another part, it is not only 'directly connected' but also 'indirectly connected' with another element in between. Include. In addition, the term 'comprising' a certain component means that the component may be further included, without excluding the other component unless specifically stated otherwise.

도 2는 본 발명의 바람직한 실시 예에 따른 멀티미디어 디코딩 장치의 구성을 나타낸 블록도이다.2 is a block diagram showing the configuration of a multimedia decoding apparatus according to a preferred embodiment of the present invention.

도 2를 참조하면, 본 발명에 의한 멀티미디어 디코딩 장치는, 커맨드 버스(20a)와, 데이터 버스(20b)와, PID 매칭 유닛(이하 PMU)(21)과, 마이크로프로세서(22)와, 하드웨어 디코딩 코어부(23)와, 메모리 콘트롤러(24)와, 메모리(25)와, 디스플레이 콘트롤러(26)를 포함한다.2, the multimedia decoding apparatus according to the present invention includes a command bus 20a, a data bus 20b, a PID matching unit (hereinafter referred to as PMU) 21, a microprocessor 22, and hardware decoding. The core unit 23 includes a memory controller 24, a memory 25, and a display controller 26.

상기 구성에 있어서, 상기 커맨드 버스(20a)와 데이터 버스(20b)는 상호 독 립된 구조로 이루어진 것으로서, 상기 커맨드 버스(20a)는 상기 마이크로프로세서(22)와 다른 구성 요소, 즉, 하드웨어 디코딩 코어(23) 및 디스플레이 콘트롤러(26)를 연결하여, 상기 마이크로프로세서(22)의 명령을 전달하거나, 상기 하드웨어 디코딩 코어(23) 및 디스플레이 콘트롤러(26)로부터의 처리 완료 신호를 전달하며, 상기 데이터 버스(20b)는, 상기 PMU(21)와 하드웨어 디코딩 코어(23)와 디스플레이 콘트롤러(26)를 상기 메모리 콘트롤러(24)와 연결하여, 데이터의 읽기 및 쓰기를 가능케한다.In the above configuration, the command bus 20a and the data bus 20b have a structure independent of each other, and the command bus 20a is a component different from the microprocessor 22, that is, a hardware decoding core ( 23) and display controller 26 to transmit instructions of the microprocessor 22, or transfer processing completion signals from the hardware decoding core 23 and the display controller 26, and the data bus ( 20b) connects the PMU 21, the hardware decoding core 23, and the display controller 26 with the memory controller 24 to enable reading and writing of data.

그리고 상기 PMU(21)는, 상기 마이크로프로세서(22)의 제어에 따라서, 선택된 프로그램의 TS 패킷을 추출하여 ES 패킷까지의 파싱을 수행한 후, 상기 파싱된 ES 패킷을 상기 데이터 버스(20b)를 통해 메모리 콘트롤러(24)로 전달하여, 상기 메모리(25)에 저장시킨다.The PMU 21 extracts the TS packet of the selected program and parses the ES packet according to the control of the microprocessor 22, and then parses the parsed ES packet into the data bus 20b. The data is transferred to the memory controller 24 and stored in the memory 25.

그리고 마이크로프로세서(22)는, TS 패킷 선택 및 디코딩 처리 과정을 전반적으로 제어하는 것으로서, 본 발명에 있어서, 마이크로프로세서(22)는, 상기 커맨드 버스(20a)를 통하여 디코딩 처리를 전반적인 제어만을 수행하며, 디코딩 처리되는 데이터의 처리에는 관여하지 않는다. 이러한 마이크로프로세서(22)의 기능은, 이후에서 이루어지는 동작 설명에서 더 쉽게 이해될 수 있을 것이다.The microprocessor 22 generally controls the TS packet selection and decoding process. In the present invention, the microprocessor 22 performs only overall control of the decoding process through the command bus 20a. It does not participate in the processing of data to be decoded. The functionality of this microprocessor 22 will be more readily understood in the operational description that follows.

그리고 상기 하드웨어 디코딩 코어(23)는, 실질적인 디코딩 처리가 이루어지는 핵심 구성 요소로서, 상기 커맨드 버스(20a)를 통해 전달되는 마이크로프로세서(22)의 명령에 따라서 상기 메모리 콘트롤러(24)를 통해 메모리(25)로부터 데이터를 읽어와 디코딩 처리하고 디코딩 처리된 데이터를 상기 메모리(25)에 저장한 다.The hardware decoding core 23 is a key component in which substantial decoding processing is performed, and the memory 25 is transmitted through the memory controller 24 according to the instructions of the microprocessor 22 transmitted through the command bus 20a. ), The data is read out and decoded, and the decoded data is stored in the memory 25.

그리고 상기 메모리(25)는, 디코딩 처리될 데이터 및 디코딩 처리된 데이터를 저장하는 프레임 버퍼로서 사용되며, 상기 메모리 콘트롤러(24)는, 상기 메모리(25)에 대한 읽기 및 쓰기를 제어한다.The memory 25 is used as a frame buffer for storing the data to be decoded and the decoded data, and the memory controller 24 controls reading and writing to the memory 25.

마지막으로, 상기 디스플레이 콘트롤러(26)는, 상기 커맨드 버스(20a)를 통해 전달된 마이크로프로세서(22)의 명령에 따라서 데이터 버스(20b)를 통해 상기 메모리 콘트롤러(24)로부터 디코딩 완료된 한 프레임의 데이터를 읽어와 표시장치로 출력한다.Finally, the display controller 26 is a frame of data decoded from the memory controller 24 via the data bus 20b according to the instructions of the microprocessor 22 transmitted through the command bus 20a. Read and output to display.

덧붙여, 상기 하드웨어 디코딩 코어(23)는, VLD(Variable Length Decoding)블록(23a)과, IQ(Inverse Quantization) 블록(23b)과, IT(Inverse Transform) 블록(23c)과, PR(Picture Reconstruction) 블록(23d)과, MC(Motion Compensation) 블록(23e)과, IP(InterPrediction) 블록(23f)과, DF(Deblocking filter) 블록(23g)을 포함하여 이루어지는데, 상기 블록들은, 동작 형태에 따라서, 크게 제1 블록과, 제2 블록으로 구분할 수 있다. In addition, the hardware decoding core 23 includes a Variable Length Decoding (VLD) block 23a, an Inverse Quantization (IQ) block 23b, an Inverse Transform (23c) block 23c, and a PR (Picture Reconstruction). A block 23d, an MC (Motion Compensation) block 23e, an IP (InterPrediction) block 23f, and a DF (Deblocking filter) block 23g are included. , May be largely divided into a first block and a second block.

제1 블록은, 상기 메모리콘트롤러(24)로부터 대량의 비디오 데이터를 직접 읽어와 디코딩 처리를 수행하거나, 디코딩 처리된 대량의 비디오 데이터를 상기 메모리콘트롤러(24)로 직접 전송하여 저장하는 블록으로서, PR 블록(23d)과 DF 블록(23g)이 이에 해당된다. 그리고, 제2 블록은, 내부에 버퍼를 구비하고, 상기 내부의 버퍼를 통해 다른 블록으로부터 출력 데이터를 전달받아 순차적인 디코딩 처리를 수행하는 블록으로서, 상기 PR 블록(23d)과 DF 블록(23g)를 제외한 나머지 블 록이 해당된다.The first block is a block for directly reading a large amount of video data from the memory controller 24 to perform a decoding process, or directly transmitting and storing a large amount of decoded video data to the memory controller 24. This corresponds to the block 23d and the DF block 23g. The second block has a buffer therein, and receives the output data from another block through the internal buffer to perform sequential decoding processing. The PR block 23d and the DF block 23g are provided. Blocks other than those apply.

일반적으로 H.264/AVC에서는 디코딩 순서와 디스플레이 순서가 서로 다를 수 도 있기 때문에, 디코딩하는 데이터를 곧바로 디스플레이 하지 않고 일단 저장할 필요가 있다. 상기 PR 블록(23d)과 DF 블록(23g)에서 처리되는 이러한 데이터는 보통 대용량 데이터이므로, 메모리 콘트롤러(24)를 통해 메모리(25)에 저장한다. In general, in H.264 / AVC, the decoding order and the display order may be different, so it is necessary to store the data to be decoded first without displaying it immediately. Since such data processed in the PR block 23d and the DF block 23g are usually large data, they are stored in the memory 25 through the memory controller 24.

그리고, 상기 PR 블록(23d)과 DF 블록(23g)을 제외한 나머지 블록들로서, 다른 블록에서 출력된 소량의 데이터만을 순차로 처리하면 되므로, 블록 내부에 각각 버퍼를 두고, 상기 버퍼에 데이터를 저장하거나 상기 버퍼로부터 데이터를 읽어들여 처리하도록 한다.As the remaining blocks except for the PR block 23d and the DF block 23g, only a small amount of data output from another block may be processed sequentially, and each buffer is stored inside the block, and the data is stored in the buffer. Data is read from the buffer and processed.

상술한 바와 같이 구성된 멀티미디어 디코딩 장치의 동작을 T-DMB 수신기의 동작과 연관지어 설명한다.The operation of the multimedia decoding apparatus configured as described above will be described in association with the operation of the T-DMB receiver.

T-DMB 수신기의 베이스밴드 처리부(도시생략)에 의해 처리된 TS 패킷은 먼저 PMU(21)로 입력된다.The TS packet processed by the baseband processing unit (not shown) of the T-DMB receiver is first input to the PMU 21.

보통 하나의 TS 패킷에는 T-DMB에서 지원하는 채널 수에 따라서 하나 이상의 멀티미디어 데이터가 포함되어 있으며, 어떤 멀티미디어 데이터를 디코딩하게 될지는 사용자의 채널 선택에 따라 달라진다. 일단 사용자가 채널을 선택하여 한 개의 방송을 선택하게 되면, 이는 TS 패킷에서 한 개의 방송을 선택하는 것과 동일하며, TS 패킷의 헤더 정보에는 각각 어떤 프로그램인지를 식별할 수 있는 Program ID(PID)가 포함되어 있어서, 상기 PID를 확인함으로써 TS 패킷이 어떤 프로그램의 데이터인지 판별할 수 있도록 되어 있다.Usually, one TS packet includes one or more multimedia data according to the number of channels supported by T-DMB, and which multimedia data is decoded depends on the user's channel selection. Once a user selects a channel and selects one broadcast, this is the same as selecting one broadcast in the TS packet, and the header information of the TS packet includes a Program ID (PID) for identifying which program each is. It is included so that it is possible to determine what program data the TS packet is by checking the PID.

따라서, 본 발명에 의한 멀티미디어 디코딩 장치에 있어서, 마이크로프로세서(22)는 최초 동작시 한번 또는 사용자의 프로그램 안내 요구시에, 상기 PMU(21)로 입력된 TS 패킷을 파싱하여 현재의 TS패킷에 어떠한 프로그램이 실렸는지를 파악하여 디스플레이 콘트롤러(26)를 통해 사용자에게 안내하여, 사용자가 채널을 선택할 수 있도록 한다.Therefore, in the multimedia decoding apparatus according to the present invention, the microprocessor 22 parses the TS packet inputted to the PMU 21 at the time of initial operation or at the request of a program guide of the user, so that the microprocessor 22 does not apply to the current TS packet. If the program is loaded, the user is guided through the display controller 26 so that the user can select a channel.

그리고, 사용자가 채널을 선택하며, 상기 마이크로프로세서(22)를 이를 확인하여 커맨드를 통해 상기 선택된 프로그램의 식별 정보(PID)를 PMU(21)에 제공한다.In addition, the user selects a channel, checks the microprocessor 22, and provides the PMU 21 with identification information (PID) of the selected program through a command.

이후에는, 상기 마이크로프로세서(22)의 관여없이 상기 PMU(21)가 입력되는 TS 패킷중에서 선택된 PID를 가지는 패킷들만을 선택하여, 하드웨어적으로 상기 선택된 TS 패킷에서 PES 패킷을 추출하고, 상기 PES 패킷에서부터 SL 패킷을 파싱한다. 그리고 상기 PMU(21)는 상기 파싱한 SL 패킷에서부터 ES 패킷을 추출한 후, 상기 추출된 ES 패킷을 데이터 버스(20b)를 통해 곧바로 메모리 콘트롤러(24)로 전송하고, 상기 메모리 콘트롤러(23)는 상기 PMU(21)로부터 전송된 ES 패킷을 메모리(25)에 저장한다.Subsequently, the PMU 21 selects only packets having a PID selected from the TS packets inputted by the PMU 21 without the involvement of the microprocessor 22, and extracts a PES packet from the selected TS packet in hardware. Parse the SL packet from The PMU 21 extracts the ES packet from the parsed SL packet, and then transfers the extracted ES packet to the memory controller 24 directly through the data bus 20b, and the memory controller 23 transmits the extracted ES packet. The ES packet transmitted from the PMU 21 is stored in the memory 25.

그리고, 상기 마이크로프로세서(22)는 채널 선택이 이루어지면, VLD 블록(23a)으로 한 개의 비디오 프레임의 디코딩 시작을 명령하는 start_decoding 커맨드를 전송하고, 이에 상기 VLD 블록(23a)은 메모리 컨트롤러(24)를 통해 해당하는 ES 데이터를 읽어들여, 엔트로피 디코딩(Entropy Decoding)을 시작한다. When the channel selection is made, the microprocessor 22 transmits a start_decoding command for instructing the start of decoding of one video frame to the VLD block 23a, and the VLD block 23a transmits the memory controller 24. Entropy decoding is started by reading the corresponding ES data through.

상기 VLD 블록(23a)에서 처리된 데이터들은 곧바로 IQ 블록(23b)와 IT 블록(23c)에 순차적으로 전달되어, 역양자화(Inverse Quantization) 및 역변환(Inverse Transform) 된다.The data processed in the VLD block 23a are immediately transferred to the IQ block 23b and the IT block 23c in order to be inverse quantized and inverse transformed.

상기 역변환(Inverse Transform) 다음의 처리 과정을 위해서는, 한 프레임의 데이터 모두가 필요하므로, 상기 IT 블록(23c)은 역변환(Inverse Tranform)된 데이터 들은 순차적으로 메모리 콘트롤러(24)를 통해 메모리(25)로 저장시킨다. 그리고, 한 프레임의 데이터에 대한 처리가 모두 완료된 후에는, 상기 마이크로프로세서(22)로 완료 신호를 전송한다.In order to process the data after the inverse transform, all of one frame of data is required. Thus, the IT block 23c sequentially processes the inverse transformed data through the memory controller 24 and the memory 25. Save it as After the processing for the data of one frame is completed, the completion signal is transmitted to the microprocessor 22.

상기 한 프레임의 역반환 처리 완료 신호를 전송받은 마이크로프로세서(22)는, 현재 디코딩 처리되는 비디오 데이터가 인트라(Intra) 코딩인지 인터(Inter) 코딩인지에 따라서, MC 블록(23e) 또는 IP 블록(23f)으로 디코딩 시작 명령을 전달하고, 상기 디코딩 시작 명령을 수신한 MC 블록(23e) 또는 IP 블록(23f)은 PR 블록(23d)에 데이터를 요청하여 해당 동작을 수행한다.The microprocessor 22 receiving the reverse return processing completion signal of the one frame may determine whether the video data to be currently decoded is an intra coding or an inter coding. The decoding start command is transmitted to 23f), and the MC block 23e or the IP block 23f receiving the decoding start command requests data from the PR block 23d to perform a corresponding operation.

상기 PR 블록(23d)은 MC(Motion Compensation) 처리와 IP(Interprediction) 처리에 필요한 비디오 프레임 데이터들을 메모리 컨트롤러(24)를 통해 가져와 한 비디오 프레임의 해당 영역을 미리 구성하며, 이 후 상기 MC 블록(23e) 또는 IP블록(23f)의 처리에 맞추어 상기 비디오 데이터를 MC 블록(23e) 또는 IP블록(23f)으로 전달하거나 다시 전달받는다.The PR block 23d imports video frame data necessary for Motion Compensation (MC) and Interprediction (IP) processing through the memory controller 24 to configure a corresponding region of a video frame in advance, and then the MC block ( 23e) or in response to the processing of the IP block 23f, the video data is delivered to or received from the MC block 23e or the IP block 23f.

상기 MC 블록(23e) 또는 IP블록(23f)에서 처리가 완료된 비디오 데이터들은, PR 블록(23d)으로 전해져, 한 비디오 프레임의 일부 영역이 완성된 후, DF 블 록(23g)으로 전달되어 필터링된다.The video data processed in the MC block 23e or the IP block 23f is transmitted to the PR block 23d, and after a partial region of one video frame is completed, the video data is transferred to the DF block 23g and filtered. .

상기 DF 블록(23g)에서 필터링이 완료된 비디오 데이터는 메모리 컨트롤러(20b)로 전달되어, 메모리(25)의 Decoded Picture Buffer (DPB) 영역에 저장된다.The filtered video data in the DF block 23g is transferred to the memory controller 20b and stored in the decoded picture buffer (DPB) area of the memory 25.

상기 멀티미디어 디코딩 장치에서는, 현재 디코딩 중인 비디오 데이터의 재생률(Refresh Rate)에 따라서 일정한 인터럽트가 마이크로프로세서(22)에 발생하는데, 예를 들어, 30fps의 비디오 데이터인 경우에는 초당 30회, 15fps의 비디오 데이터 경우에는 초당 15회의 인터럽터가 항상 일정하게 마이크로프로세서(22)에 발생한다.In the multimedia decoding apparatus, a predetermined interrupt occurs in the microprocessor 22 according to the refresh rate of video data currently being decoded. For example, in the case of 30 fps video data, 30 times per second and 15 fps video data is generated. In this case, 15 interrupters per second always occur in the microprocessor 22 constantly.

상기와 같이 인터럽트가 발생하면, 마이크로프로세서(22)는, 디스플레이 콘트롤러(26)에게 디스플레이해야 할 프레임 번호를 포함한 명령을 전달하고, 이에 디스플레이 콘트롤러(26)는, 메모리 콘트롤러(24)를 통해 메모리(25)의 DPB 영역에서 해당 프레임의 데이터를 읽어와 표시 장치(예를 들어, LCD 패널)로 출력한다.When an interrupt occurs as described above, the microprocessor 22 transmits a command including a frame number to be displayed to the display controller 26, and the display controller 26 sends a memory (eg, a memory controller 24) through the memory controller 24. The data of the corresponding frame is read from the DPB area of 25) and output to the display device (for example, LCD panel).

상술한 과정이 순차적으로 반복하여 이루어짐에 의하여, TS-DMB 시스템에서 방송하는 프로그램이 각 프레임 순으로 디코딩되어 표시 장치를 통해 재생될 수 있다.By sequentially performing the above-described process, a program broadcast in the TS-DMB system may be decoded in order of each frame and reproduced through the display device.

상술한 바와 같이, 본 발명에 의한 멀티미디어 디코딩 장치는, 커맨드 버스(20a)와 데이터 버스(20b)라는 2개의 독립된 버스 구조를 만들고, 상기 커맨드 버스(20a)를 통해 마이크로프로세서(22)의 명령들이 하드웨어 디코딩 코어(23)의 각 블록에 전달되도록 하며, 상기 데이터 버스(20b)를 통해서 상기 하드웨어 디코 딩 코어(23)의 각 블록들이 필요한 데이터를 전달하도록 함으로써, 마이크로 프로세서(22)는 데이터에 대하여는 별도로 관여하지 않고 다른 일을 처리할 수 있게 되어, 인터럽트 지연을 단축시키고 마이크로프로세서(22)의 효율성을 증대시킬 수 있다.As described above, the multimedia decoding apparatus according to the present invention creates two independent bus structures, a command bus 20a and a data bus 20b, and instructions of the microprocessor 22 are stored through the command bus 20a. By allowing each block of the hardware decoding core 23 to pass through, and each block of the hardware decoding core 23 through the data bus 20b to pass the necessary data, the microprocessor 22 can Being able to handle other tasks without involvement can reduce interrupt latency and increase the efficiency of the microprocessor 22.

또한, 본 발명에 의한 멀티미디어 디코딩 장치는, TS 패킷의 파싱 작업에 있어서, 마이크로프로세서(22)의 도움 없이, PMU(21)에서 하드웨어적으로 처리함으로써, 상기 마이크로프로세서(22)의 작업 부하를 크게 줄일 수 있는 효과가 있다.In the multimedia decoding apparatus according to the present invention, in the parsing operation of the TS packet, the PMU 21 performs hardware processing without the help of the microprocessor 22, thereby greatly increasing the workload of the microprocessor 22. There is an effect that can be reduced.

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those skilled in the art.

도 2는 본 발명에 의한 멀티미디어 디코딩 장치의 구성을 나타낸 블록도이다.2 is a block diagram showing the configuration of a multimedia decoding apparatus according to the present invention.

Claims

A microprocessor controlling a TS packet selection and decoding process;

A memory for storing the data to be decoded and the decoded data;

A memory controller controlling reading and writing to the memory;

A hardware decoding core configured to read and process data from a memory through the memory controller according to a command of the microprocessor, and store the processed data in the memory to perform decoding processing;

A command bus delivering instructions of the microprocessor to the hardware decoding core;

A data bus connecting the memory controller and the hardware decoding core to transfer data for decoding processing; And

PID (Program ID) matching unit (PMU) for extracting TS packets of a selected program and parsing up to ES packets under the control of the microprocessor, and then storing the parsed ES packets in a memory through the memory controller. Multimedia decoding apparatus comprising a).

delete

The method of claim 1, wherein the hardware decoding core,

At least one first block that reads video data from the memory controller to perform decoding processing, or transmits and stores decoded video data to the memory controller;

And at least one second block having a buffer therein and performing sequential decoding processing by receiving output data from another block through the internal buffer.

The method of claim 3, wherein the one or more first blocks,

A PR (Picture Reconstruction) block for importing video data of one frame through the memory controller and forming a part of one frame;

And a deblocking filter (DF) block for filtering the data of one frame completed in the PR block and storing the data in the memory through the memory controller.

The method of claim 4, wherein the one or more second blocks,

A Variable Length Decoding (VLD) block that reads ES data from the memory controller and performs entropy decoding;

An inverse quantization (IQ) block for performing inverse quantization on data output from the VLD block;

An Inverse Tranform (IT) block which performs inverse transformation on the data output from the IQ block and delivers the data to the memory controller;

And a Motion Compensation (MC) block and an IP (InterPrediction) block for receiving data from the PR block and performing motion compensation and interpretation to return to the PR block.

The method of claim 1,

And a display controller for reading the decoded data of one frame from the memory controller through the data bus and outputting the data to the display device according to a command of the microprocessor transmitted through the command bus.

The method of claim 6,

The microprocessor controls to guide the user through the display controller after parsing a TS packet input to the PMU, at the time of initial operation or when a user requests a program guide. Multimedia decoding apparatus characterized in that.