KR20090076020A - 멀티 코덱 디코더 및 디코딩 방법 - Google Patents

Abstract

본 발명은 여러 종류의 다양한 방식에 의해 압축된 동영상 데이터를 추가적인 하드웨어의 비용을 들이지 않으면서 적응적으로 동영상을 복원해 내는 멀티 비디오 디코더 및 디코딩 방법에 관한 것이다.

MPEG, 멀티, 디코딩, 재구성 가능한 프로세서, configurable processor

Description

멀티 코덱 디코더 및 디코딩 방법{Multi codec decoder and decoding method}

본 발명은 압축된 동영상을 복원하는 멀티 코덱 디코더 및 디코딩 방법에 관한 것이다.

보다 구체적으로, 본 발명은 여러 종류의 다양한 방식에 의해 압축된 동영상 데이터를 추가적인 하드웨어의 비용을 들이지 않으면서 적응적으로 동영상을 복원해 내는 비디오 디코더 및 디코딩 방법에 관한 것이다.

본 발명에 따른 멀티 코덱 디코더는 재구성할 수 있는 데이터 처리 프로세서(configurable processor)에 의해 구현될 수 있으며, 선택된 동영상 압축 방식에 따라 달라지는 테이블 등의 정보들을 변경하여 입력된 압축 동영상을 적응적으로 복원할 수 있다.

동영상 압축 방식은 응용 분야에 따라 여러 가지로 발전되어 왔다. 동영상 압축 방식의 기본적인 틀은 시간적인 중복성을 제거하는 효과가 있는 주파수 도메인으로 변환하고 이를 양자화하여 고주파 성분에 대한 전송 부담을 감소시키는 기법과 공간적인 중복성을 제거하는 움직임 추정, 보상 기법을 이용하는 것이다. 널 리 쓰이는 동영상 압축 방식은 MPEG으로 대표되며 시대적인 요구와 응용 분야에 따라 몇 가지 기법으로 분류되어 있다.

MPEG 1은 초기의 순차 주사 방식에 의해 동영상을 압축하여 VCD(Video Compact Disk) 등의 저장 매체에 저장하거나 작은 크기의 동영상을 압축하는 방식으로 널리 이용되었다.

MPEG 2는 고화질의 동영상을 압축하기 위해 비월 주사 방식의 동영상에 대한 처리 방법 등을 추가하여 좀더 다양한 기법을 이용하였다. MPEG2는 DVD(Digital Versatile Disk)와 같은 저장 장치와 위성, 케이블, 지상파 등의 DTV 방송, 개인용 비디오 저장 장치(PVR, Personal Video Recorder) 그리고 네트웍상의 동영상 전송 등 여러 분야에 걸쳐 현재 가장 널리 이용되는 동영상 기법중의 하나이다.

MPEG4는 동영상, 정지화상, 그래픽 화면, 객체 모델 등의 새로운 기법을 적용하여 네트웍 환경에서의 동영상 스트리밍 서비스 또는 무선 동영상 서비스 등에 이용되는 압축 기법이다.

좀더 복잡 다양한 응용 분야를 지원하고 동영상 컨텐츠의 제작, 배포를 용이하게 하기 위해 MPEG 4 동영상 압축 기법 이후에 압축 효율이 보다 뛰어난 동영상 압축 기법에 대한 필요성이 새롭게 제기되었다. 이러한 요구에 부응하고자 MPEG 4 Part 10-AVC(Advanced Video Coding) 와 VC-1(Video Coding-1) 등의 새로운 압축 방법이 제안되었다.

대체로 저장 매체의 경우 2시간 분량의 HD급 동영상을 저장하기 위해서는 약 10 기가 바이트의 용량이 필요하게 되는데, 기존의 DVD에 의해서는 이를 저장하기 어려운 면이 있다. 이에 따라 HD급 영화를 이동 가능한 저장 장치에 저장하기 위해 HD-DVD, Blue-ray 등의 새로운 저장 장치가 개발 완료 단계에 있다. 이러한 저장 장치의 경우, 잠정적으로 MPEG 2, MPEG 4 Part 10-AVC, VC-1 등의 여러 가지 압축 방식을 지원하도록 규정하였다.

또한 위성, 케이블 등에서 디지털 방송을 시행하는 경우, 각 채널에 할당된 주파수에는 정해진 양의 데이터만을 전송할 수 있으며 이는 사업자에게 있어서 채널 수의 제한을 의미하게 됨에 따라 압축 효율을 높이는 요구가 발생한다.

이렇게 저장 장치 측면이나 방송 매체 측면에서나 압축된 동영상 데이터의 양을 줄이는 것은 좀더 고품질의 동영상을 저가로 이용하거나 서비스할 수 있다는 이점이 있다. 아울러 최근의 마이크로 프로세서의 성능 향상과 ASIC 디자인과 구현 기술의 발전 그리고 메모리와 주변 장치의 속도 향상과 가격 하락은 화질을 떨어뜨리지 않으면서 압축 효율을 높일 수 있는 새로운 기법을 제안할 수 있는 여지를 제공한다.

이와 같은 배경에서 MPEG 4 Part 10-AVC는 HD 동영상을 이동 장치에 저장하고 디지털 방송에서의 채널 수를 확보하고자 하는 요구에 의해 연구되기 시작한 동영상 압축 기법이다. ISO/IEC의 동영상 전문가 그룹 (MPEG, Moving Picture Expert Group)과 통신 기구인 ITU-T의 동영상 전문가들이 합의하여 새로운 규격 개발을 위해 JVT(Joint Video Team)을 구성하여 새로운 동영상 압축 기법인 MPEG 4 Part 10-AVC를 개발해 냈다.

이 표준은 H.264 또는 H.264/AVC 라고도 불리며 기존의 H.26L과 MPEG 4가 진 화한 형태라고 할 수 있다. 새로 제정된 H.264/AVC 표준은 MPEG 2와 비교하여 같은 화질을 유지하면서 압축 비트량은 절반으로 줄이는 효율적인 동영상 압축 기법이다. 이는 마이크로 프로세서의 향상된 계산 능력과 데이터 처리 능력 그리고 저가의 대용량 메모리를 이용할 수 있다는 장점을 최대한 적용하여 압축 효율을 높인 것이라고 할 수 있다.

일반적인 동영상 압축 기법과 마찬가지로 H.264/AVC의 동영상 압축도 시간적인 중복성과 공간적인 중복성을 제거하는 기법을 사용한다. 즉, 시간적인 중복성을 제거하기 위해 화면의 샘플을 주파수 도메인으로 변환하고 양자화하는 기법을 사용하였으며 공간적인 중복성을 제거하기 위해 움직임 추정, 보상의 기법을 사용한다. 이러한 기본적인 개념은 이전 동영상 압축 기법과 같지만 화질 열화 없이 압축 효율을 높이기 위해서 세부적으로 다양한 기법을 새로이 적용하였다.

이와 같이 동영상 압축 방식은 다양한 방식으로 발전되며 빠르게 새로운 방식에 대한 요구가 끊임없이 발생한다. 또한 디지털 저장 매체의 대용량, 간소화와 디지털 TV 서비스의 고품질, 다양화 그리고 네트웍을 통한 각종 매체의 상호 접속이 가능해 짐에 따라 여러 종류의 압축 동영상을 하나의 수신기에서 복원해야 하는 필요성이 대두되고 있다.

디지털 TV 수신기를 예로 들면, 기본적인 방송 화면인 MPEG 2동영상을 복원하여 화면에 표시하는 것은 필수적이며 기본적인 기능이다.

그러나, 디지털 TV의 데이터 방송을 통해 시청자에게 다양한 서비스를 제공하기 위해서는 종종 정지화면을 복원 하거나 다른 종류의 압축 기법에 의한 동영상 을 복원해야 하는 경우가 발생한다.

또한, 수신기를 인터넷에 연결하여 브라우징을 수행하거나 동영상을 다운로드하여 복원해야 하는 경우 다른 종류의 압축 방식에 의한 동영상을 복원해야 한다.

종래 기술에 의하면 하나의 TV 수신기에 모든 종류의 디코더를 포함하는 것은 불가능하기 때문에 대부분의 경우 기본 동영상은 하드웨어 비디오 디코더를 채용하여 복원하며, 다른 압축 형태일 경우 TV의 주요 제어 기능을 수행하는 마이크로 프로세서에 의해 소프트웨어적으로 정지 화면 또는 동영상을 복원하는 것이 일반적인 방법이다.

그러나 이러한 경우 동영상 복원에 따른 부하는 마이크로 프로세서의 주요 제어 기능 수행을 방해할 수 있으며 고성능의 마이크로 프로세서라 하더라도 실시간으로 고화질의 동영상을 복원하는 것은 사실상 불가능하다. 더욱이 이동형 수신 장치의 경우 전력 소모가 많아지면 심각한 문제를 야기할 수도 있는데 마이크로 프로세서의 동작 주파수가 높아 성능은 향상되더라도 그에 따른 전력 소모가 많아 지게 된다.

이에 따라, 다양한 동영상 압축 방식을 가지는 동영상을, 저전력으로 압축 방식에 따라 적응적으로 복원할 수 있는 멀티 코덱 디코더 장치의 필요성이 대두되었다.

본 발명의 목적은 앞서 설명한 종래 기술들의 문제점인 다양한 동영상 압축 방식을 하나의 비디오 디코더에서 지원하지 못하는 문제를 해결할 수 있는 멀티 코덱 디코더 및 디코딩 방법을 제공하는 것이다.

본 발명의 목적은 마이크로 프로세서를 이용하여 이 문제를 해결하려는 장치에서의 속도 저하와 고전력 문제 등을 해결할 수 있는 멀티 코덱 디코더를 제공하는 것이다.

본 발명의 목적은 여러 가지 동영상 압축 방식에서 공통적으로 이용되는 기법들을 추출해 내어 핵심적인 데이터 처리 부분을 하드웨어로 구성하고, 각 압축 방식에서 다르게 적용되는 부분은 압축 방식마다 달라지는 마이크로 코드를 변경하여 처리함으로써 하나의 디코더를 이용하여 여러 가지 압축 방식의 영상을 적응적으로 디코딩할 수 있는 멀티 코덱 디코더와 디코딩 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 멀티 코덱 디코더는, 각 유닛들의 동작을 개시하고 완료 여부를 파악하며, 각 유닛들의 프로그램 메모리에 동영상 압축 기법에 따른 마이크로 코드를 초기화하고, 외부 프로세서에 인터럽트를 발생시키는 콘트롤 유닛; 복원할 동영상의 복원에 필요한 헤더 정보 및 데이터 정보를 추출하는 프론트 유닛; 상기 프론트 유닛에 의해 추출된 헤더 정보 및 데이터 정보를 기반으로 실제 픽셀값을 복원하는 복원 유닛; 상기 복원된 픽셀들의 후처리를 수행하는 후처 리 유닛; 및 상기 유닛들의 메모리 요청에 따라 외부 메모리에 액세스하는 데이터 메모리 액세스 유닛을 포함한다.

본 발명의 일 실시예에 따른 멀티 코덱 디코딩 방법은, 외부 프로세서로부터 리셋 신호를 수신하면 모든 유닛들을 리셋시키는 단계; 외부 프로세서로부터 런 신호를 수신하면 복원할 동영상의 압축 기법에 따라 콘트롤 유닛들의 프로그램메모리에 저장된 마이크로 코드를 초기화하는 단계; 다른 유닛들의 프로그램메모리에 저장된 마이크로 코드를 초기화하는 단계; 프론트 유닛이 수신한 데이터 스트림으로부터 정보를 추출하는 단계; 상기 프론트 유닛이 추출한 정보의 종류를 판단하는 단계; 상기 프론트 유닛이 추출한 정보가 데이터 정보인 경우에는, 복원 유닛이 영상 복원 과정을 수행하는 단계; 및 상기 복원된 영상을 저장하는 단계를 포함한다.

본 발명에 따른 멀티 코덱 디코더 및 디코딩 방법은 지원하는 동영상 압축 방식에 제한을 두지 않는다. 즉 MPEG 1, MPEG 2, MPEG 4, MPEG 4 Part 10-AVC, VC-1 등의 여러 가지 동영상 압축 방식에 대하여 적응적으로 동영상을 복원하는 기능을 가진다.

본 발명에 따른 멀티 코덱 디코더 및 디코딩 방법은 하나의 디코더를 이용하여 여러 가지 동영상 압축 방식에 의해 코딩된 비디오 영상을 적응적으로 복원함으로써 여러 개의 디코더 이용에 따라 발생하는 구현 회로의 복잡도와 메모리 크기를 줄여서 비용을 절감시킬 수 있다.

또한 본 발명에 따른 멀티 코덱 디코더 및 디코딩 방법은 특성화된 하드웨어 회로와 데이터 프로세서를 이용하고, 다양한 인코딩 방식에 따라서 달라지는 부분은 마이크로 코드를 변경하여 지원함으로써 전력 소모를 줄일 수 있다.

이하 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명한다.

도 1은 본 발명에 따른 멀티 코덱 디코더의 구조를 나타낸다.

도 1에 도시된 바와 같이, 본 발명에 따른 멀티 코덱 디코더는 각 기능별로 특성화된 5개의 유닛으로 구성될 수 있다.

상기 5개의 유닛은 나머지 유닛들의 동작을 개시하고, 완료 여부를 파악하며, 외부 프로세서에 인터럽트를 발생시키는 콘트롤 유닛(101), 복원할 동영상의 압축 기법에 따라 복원에 필요한 헤더 정보 및 데이터 정보를 추출하는 프론트 유닛(103), 상기 프론트 유닛에 의해 추출된 헤더 정보 및 데이터 정보를 기반으로 실제 픽셀값을 복원하는 복원 유닛(105), 상기 복원된 픽셀들의 후처리를 수행하는 후처리 유닛(107), 상기 유닛들의 메모리 요청에 따라 외부 메모리에 액세스하는 데이터 메모리 액세스 유닛(109)으로 구성될 수 있다.

각 유닛은 프로세서(102,104,106,108,110)와 프로그램 메모리(P1~P5)와 데이터 메모리(D1~D5)를 포함한다.

프로세서들(102,104,106,108,110)은 각각 특정 기능을 수행하도록 특성화된 프로세서이다.

프로세서(102,104,106,108,110)로는 재구성 가능한 프로세서(configurable processor)를 사용하는 것이 바람직하다. 재구성 가능한 프로세서는 프로세서 내의 명령어 세트(instruction set)를 변경함으로써 특정 목적에 최적화되도록 하드웨어 자원을 변경할 수 있는 프로세서이다.

각 프로세서 간의 통신은 콘트롤 버스(117)를 통해 통신하며, 메모리간의 통신은 메모리 버스(118)를 통해 이루어진다.

또한, 본 발명에 따른 비디오 디코더는 외부 마이크로 프로세서(114)에 액세스하기 위한 시스템 버스 인터페이스(111)와, 외부 메모리(115)에 액세스하기 위한 시스템 버스 인터페이스(112)를 갖는다.

상기 시스템 버스 인터페이스(111,112)는 AMBA(Advanced Microcontroller Bus Architecture)를 사용할 수 있다. 실시예에 따라 상기 시스템 버스 인터페이스(111,112)는 하나의 인터페이스를 공유할 수 있다.

본 발명의 멀티 코덱 디코더는 여러 종류의 동영상 압축 규격을 지원하기 위해 각 동영상 압축 규격의 특성을 파악하여, 동영상 압축 규격마다 공통적으로 이용할 수 있는 부분은 고속 데이터 처리를 위해 특성화된 하드웨어 블록으로 구성하고, 동영상 압축 규격마다 상이한 부분에 대해서는 변경할 수 있는 마이크로 코드로 설정하고, 디코딩하고자 하는 동영상의 압축 규격에 따라 마이크로 코드를 변경하여 디코딩한다.

현재 동영상 압축 방식의 주류를 이루는 MPEG1, MPEG2, MPEG4, MPEG4 Part 10-AVC, VC-1 등은 기본적으로 공간적인 중복성을 제거하는 효과를 가지는 주파수 도메인 변환 이후 양자화하는 기법과 시간적인 중복성을 제거하는 효과를 가지는 움직임 보상 예측 기법을 이용하는 것이다.

기본적인 두 가지 압축 기법 이외에 추가적으로 같은 영상 프레임 내에서 인접 블록으로부터 현재의 픽셀 값을 추정해 내는 인트라 프레임 예측 기법을 이용하기도 하고, 예측 화질을 향상시키는 인루프 디블록킹 필터(In-loop de-blocking filter)를 사용하여 블록간의 픽셀 값의 차를 보상하는 기법을 이용하기도 한다.

즉, 현재 사용되고 있는 동영상 압축 방식들에 대해 공통되는 부분은 주파수 도메인 변환 후 양자화하는 기법, 움직임 보상 예측, 인트라 프레임 예측 기법 및 인루프 디블록킹 필터링이다.

본 발명에서는 이러한 코덱마다 공통적으로 포함되는 기능을 수행하기 위해 특성화된 프로세서인 프론트 프로세서(104), 복원 프로세서(106), 후처리 프로세서(108)를 이용한다.

현재 사용되고 있는 동영상 압축 방식들은 위와 같은 공통점을 같기는 하지만, 구체적인 수행방법이 상이하다. 예컨대, 엔트로피 코딩은 모두 사용하지만 엔트로피 코딩시에 사용되는 가변장 부호화(VLC) 테이블은 압축 방식마다 상이하다.

또한, CAVLC 디코딩(Context Adaptive Variable Length Code Decoding), CABAC 디코딩(Context Adaptive Binary Arithmetic Code Decoding)에 사용되는 테이블도 상이하다.

또한, 디블록킹 필터링 처리시에 서브 필터의 보간에 사용되는 필터도 상이 하다. 예컨대, H.264/AVC의 경우 6 탭 FIR 필터를 사용하지만, VC-1의 경우는 4 탭 필터를 사용한다.

또한, 압축의 기본 단위가 되는 매크로 블록의 크기도 16X16, 8X8, 4X4 등으로 상이하며, 압축 방식 별로 규정된 레이어도 상이하고, 레이어를 규정하는 파라미터들(헤더 정보), 파라미터 포맷, 움직임 보상에 사용되는 파라미터들도 상이하다.

그러나, 이러한 동영상 압축 방식들 간의 차이점은 상기 프론트 프로세서(104), 복원 프로세서(106), 후처리 프로세서(108)의 동작시에 참조하는 테이블 및 파라미터들의 집합으로 표현될 수 있으며, 이들을 동영상 압축 방식별 마이크로 코드로 저장할 수 있다.

디코딩할 영상의 압축 방식을 파악하여 하드웨어 자원은 공유하되, 그때 마다 달라지는 부분들은 마이크로 코드를 변경함으로써 다양한 압축 방식들을 효율적으로 지원할 수 있게 된다.

도 1에서, 콘트롤 유닛(101)은 상기 콘트롤 유닛은 상기 동작들을 처리하는 콘트롤 프로세서(102) 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제1 프로그램메모리(P1)를 포함한다.

본 발명의 비디오 디코더는 디지털 텔레비전 등의 장치에 부가적으로 장착되어 사용될 수 있으며, 디지털 텔레비전의 장치에는 그 장치의 기능들을 수행하기 위한 메인 프로세서가 장착되어 있다.

도 1의 콘트롤 프로세서(102)는 외부 프로세서, 즉 비디오 디코더가 장착되는 시스템의 메인 프로세서와의 정보 교환을 위해 시스템 버스 인터페이스(111)를 갖는다.

전술한 바와 같이, 시스템 버스로는 AMBA(Advanced Microprocessor Bus Architecture)버스를 사용할 수 있다.

시스템 버스는 어떠한 형태가 되더라도 그 시스템에 따라 변경할 수 있으며 본 발명에 따른 디코더의 구조에는 영향을 미치지는 않는다.

또한, 콘트롤 유닛(101)은 고유의 제1 프로그램 메모리(P1)를 가진다. 외부 프로세서의 요청에 따라 내부의 기능블록에 대한 제어를 달리하거나, 각 데이터 프로세서에 대한 초기화 등을 달리할 경우에는 제1 프로그램 메모리(P1)에 저장되어 있는 마이크로 코드를 변경하면 제어 방법을 변경할 수 있다.

콘트롤 유닛(101)은 동영상 복원 과정에 따라 각 기능 블록별로 동작을 개시한 후 완료 여부를 파악하여 비디오 디코더 전체를 제어하는 역할을 한다. 예를 들면 프론트 유닛(103)이 입력되는 비트 스트림으로부터 헤더 정보 및 데이터 정보를 추출하도록 하고, 프론트 유닛(103)의 동작이 완료되어 결과가 내부의 데이터 버퍼에 저장되면 그 다음으로 복원 유닛(105)으로 하여금 복원 동작을 수행하도록 지시한다.

상기 콘트롤 프로세서(102)는 상기 멀티 코덱 디코더의 동영상 복원상태 및 메모리 상태 정보를 저장하고 있는 레지스터 파일을 저장한다.

외부 프로세서(114)는 복원 중인 동영상의 크기 정보, 프레임 레이트(Frame Rate)등의 헤더 정보와 디버깅 정보, 각종 상태 정보 등 비디오 디코더의 상태 정보를 이 레지스터 파일을 읽음으로써 파악할 수 있다.

또한, 콘트롤 프로세서(102)는 다른 프로세서들의 상태에 따라 마이크로 프로세서에 인터럽트를 발생시키는 기능도 수행한다. 이를 위해 콘트롤 프로세서(102)는 그 내부에 기본적인 인터럽트 처리에 필요한 블록들, 즉 인터럽트 인에이블(Enable) 레지스터, 인터럽트 상태(Status) 레지스터 등을 저장할 수 있다.

또한, 콘트롤 프로세서(102)는 콘트롤 버스(117)를 이용하여 각 프로세서들의 초기화, 상호 간의 데이터 교환 등을 제어한다. 또한, 콘트롤 프로세서(102)는 MAU(Memory Access Unit)(116a)를 통해 메모리 버스(118)에 연결되며, 메모리 버스(118)를 이용하여 각 유닛들의 메모리에 액세스한다.

본 발명에서 제안하는 비디오 디코더는 디지털 티브이 수신기 또는 고화질 DVD 플레이어 등의 전체 시스템에 비디오 기능 블록으로 통합되기 위해서는 시스템의 메인 마이크로 프로세서와 통신을 해야 할 필요가 있다. 즉, 현재 비디오 디코더의 상태 정보를 마이크로 프로세서에 전달한다거나 시스템에 어떤 제어를 요청하기 위해 인터럽트를 발생하고 이를 처리하는 것이 이러한 통신 요건이 될 것이다. 이러한 기능 또한 콘트롤 유닛(101)에 의해 수행된다.

콘트롤 유닛(101)은 디코더 각 기능별 유닛들 간의 원활한 정보와 데이터 교환을 중재하고 동영상 복원 과정 전체를 관리하는 기능도 수행한다.

프론트 유닛(103)은 프론트 프로세서(104), 제2 프로그램메모리(P2) 및 제1 데이터메모리(D1)을 포함한다.

프론트 유닛(103)은 복원할 동영상의 압축 기법에 따라 해당 동영상 압축 방식에 맞는 절차를 거쳐, 복원에 필요한 각종 파라미터 정보(헤더 정보) 및 픽셀 데이터 정보들을 추출해 낸다.

또한 디코드할 비디오 비트스트림에서 파라미터 정보 및 픽셀 데이터 정보를 추출하기 위해, 비트스트림 데이터는 도 1의 제1 데이터메모리(D1)에 임시로 저장한다.

D1은 MAU(116b) 및 메모리 버스(118)를 통해 데이터 메모리 액세스 유닛(109)으로부터 데이터를 수신하여 저장한다.

복원 유닛(105)은 프론트 유닛(103)에 의해 추출된 파라미터 정보, 픽셀 데이터 정보를 이용하여 실제 픽셀 값을 복원해 내는 역할을 담당한다.

상기 복원 유닛(105)은 픽셀값을 복원하는 복원 프로세서(106), 복원에 필요한 파라미터 및 압축 데이터를 저장하는 제2 데이터메모리(D2), 외부 메모리(115)로부터 읽어들인 데이터를 저장하는 제3 데이터메모리(D3), 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제3 프로그램메모리(P3)를 포함한다.

제2 데이터 메모리(D2)에는 복원에 필요한 파라미터와 압축 데이터들이 저장되고, 제3 데이터메모리(D3)에는 다른 영상 프레임으로부터 예측 값을 보상하는 인터 예측일 경우 외부 메모리(115)로부터 읽어들인 이전 영상 프레임으로부터의 예측 값이 저장된다.

D3은 MAU(116c) 및 메모리 버스(118)를 통해 데이터 메모리 액세스 유닛(109)으로 부터 데이터를 수신하여 저장한다.

후처리 유닛(107)은 복원 유닛(105)에 의해 복원된 픽셀 들을 압축 방식에 따른 후 처리를 담당한다. 후처리 유닛에 의해 수행되는 후처리는 매크로 블록간의 경계에서의 왜곡 현상을 제거하기 위한 디블록킹 필터링을 포함한다.

후처리 유닛(107)은 후처리를 수행하는 후처리 프로세서(108), 디블록킹 수행시 원 영상의 픽셀값을 저장하는 제4 데이터메모리(D4), 외부 메모리(115)로부터 읽어들인 데이터를 저장하는 제5 데이터메모리(D5) 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제4 프로그램메모리(P4)를 포함한다.

후처리 프로세서(108)은 D4에 저장되어 있는 픽셀 데이터에 인루프 디블록킹 필터링을 수행하고 필터링 처리된 데이터를 D5에 저장한다.

D5은 MAU(116d) 및 메모리 버스(118)를 통해 데이터 메모리 액세스 유닛(109)으로 부터 데이터를 수신하여 저장한다.

데이터 메모리 액세스 유닛(109)은 상기 유닛들로부터 메모리 요청을 받아 외부 메모리(115)에 액세스하는 메모리액세스 프로세서(110) 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제5 프로그램메모리(P5)를 포함한다.

본 발명에 따른 비디오 디코더는 외부 메모리(115)에 액세스하여 비디오 비트스트림을 판독하거나, 복원한 영상 프레임을 저장하면서 디코딩을 수행한다. 데 이터 메모리 액세스 유닛(109)은 외부 메모리에 대한 접근을 용이하게 하기 위해 각 기능블록별 데이터 프로세서들의 메모리 접근 요청을 받아 이를 처리해 주는 역할을 한다.

이하, 본 발명의 멀티 코덱 디코더에 의해 수행되는 동작을 각 기능별 프로세서 별로 상세히 설명한다.

도 2는 본 발명에 따른 콘트롤 프로세서의 제어 흐름도를 나타낸다.

도 1 및 도 2를 참조하면, S21 단계에서, 외부 프로세서로부터 시스템 리셋 신호인 'RESET'을 수신하면, 모든 데이터 프로세서를 리셋한다.

S21 단계 후에, 외부 프로세서(114)로부터 'RUN' 신호를 수신하면 콘트롤 프로세서가 동작을 개시한다. 이 신호는 외부 프로세서(114)에 의해 인가된다. 외부 프로세서(114)는 'RUN' 신호를 인가하기 전에 제1 프로그램 메모리(P1)에 수행할 마이크로 코드를 초기화한다.

S22 단계에서, 콘트롤 프로세서(102)는 나머지 프로세서들의 프로그램 메모리, 즉 프론트 프로세서(104), 복원 프로세서(106), 후처리 프로세서(108), 메모리 액세스 프로세서(110)의 프로그램 메모리인 P2, P3, P4, P5를 초기화한다.

디코딩할 압축 방법에 따라 각 프로세서 별로 동작시에 참조할 파라미터 정보 및 테이블이 달라지며, 이러한 파라미터 정보와 테이블 정보를 포함하는 마이크로 코드는 외부 프로세서(114) 또는 외부 메모리(115)로부터 제공된다. 상기 마이크로 코드는 시스템 버스 인터페이스(111,112)를 통해 각 프로그램 메모 리(P2,P3,P4,P5)에 옮겨지고 각 프로세서가 실행 준비 단계가 된다.

모든 데이터 프로세서가 준비 단계가 될 때까지 S23 단계에서 대기한 후, READY가 되면 S24 단계에서 프론트 프로세서(103)의 동작을 개시한다. 프론트 프로세서(103)의 동작은 이후에 자세히 설명하기로 한다.

S25 단계에서, 프론트 프로세서(104)의 동작이 완료되기를 기다린 후, 프론트 프로세서(104)가 추출한 정보의 종류에 따라 다르게 처리과정이 달라진다.

S26 단계에서, 헤더 정보와 디코더의 상태 정보가 추출된 경우는 콘트롤 프로세서(102) 내의 레지스터 파일에 저장한다. 헤더 정보와 디코더의 상태 정보는 디코더 동작 전체에 영향을 미치게 되기 때문이다. 이러한 정보의 추출은 프론트 프로세서(104)가 발생시키는 EOF(헤더 정보)라는 신호에 의해서 알게 된다.

외부 프로세서(114)가 이 정보를 헤더 정보 또는 상태 정보를 필요로 할 경우 콘트롤 프로세서(102)는 인터럽트를 발생하여 그 정보가 추출되었음을 알린다.

S25 단계에서, 압축 데이터 정보, 즉 차분치 정보(residual information)와 예측 정보(prediction information)가 추출되었을 경우, 프론트 프로세서(104)는 EOF(차분치 및 예측 파라미터)라는 신호를 통해 이를 콘트롤 프로세서(102)에 알린다.

S27 단계에서, 콘트롤 프로세서(102)는 이 정보를 이용하여 원 영상을 복원해 내도록 복원 프로세서(106)의 동작을 개시한다. 복원 프로세서(106)의 동작은 이후에 자세히 설명한다.

S27 단계에서 복원 프로세서(106)가 원 영상의 픽셀 값을 복원한 이후 복원 프로세서(106)는 EOF(복원 프로세서)신호를 발생하여 동작이 완료되었음을 알린다.

S28 단계에서, 콘트롤 프로세서(102)는 후처리 프로세서(108)의 동작을 개시하여 복원된 영상에 대한 인루프 디블록킹 필터를 수행하고 이를 메모리에 저장하도록 한다.

헤더 정보 처리와 픽셀 데이터 복원이 완료된 이후 콘트롤 프로세서(102)는 다음 동작을 위해 S23 단계에서 대기한다.

프론트 프로세서(104)는 디코딩할 압축된 비트스트림으로부터 각종 헤더 정보와 압축 정보를 추출해 내는 역할을 담당한다. 도 3은 프론트 프로세서(104)의 제어 흐름도를 나타낸다.

압축된 비디오 비트스트림은 외부 메모리(115)에 위치해 있으며 메모리 요청을 통해 일정한 분량의 비트스트림을 내부의 제1 데이터 메모리(D1)에 옮겨 놓은 후 동작을 개시 한다.

리셋 또는 초기화 이후, S31 단계에서, 프론트 프로세서(104)는 동작 개시 명령을 기다린다.

S32에서, 콘트롤 프로세서(102)의 동작 개시 신호인 RUN(프론트 프로세서)에 의해 외부 메모리(115)의 상태를 확인하고 압축 데이터 정보를 추출할 비디오 비트스트림을 D1으로 읽어 들인다.

S33 단계에서, 각 압축 정보를 파싱하여 파싱된 정보가 헤더 정보인 경우 S34, S35 단계를 수행하고, 파싱된 정보가 슬라이스 데이터 정보인 경우 S36 단계 를 수행한다.

파싱된 정보가 비디오 시퀀스 정보, 픽처 정보 등의 헤더 정보인 경우, S34 단계에서 이를 콘트롤 프로세서(102)의 레지스터 파일에 저장하고, S35 단계에서 EOF(헤더)를 생성하여 헤더 정보를 추출하는 동작이 완료되었음을 콘트롤 프로세서(102)에 알린다.

파싱된 정보가 슬라이스 데이터 정보인 경우에는, S36 단계에서 슬라이스 데이터 디코딩에 필요한 정보를 준비하고, S37 단계에서는 매크로 블록 데이터 처리에 필요한 정보를 준비한다.

S37 단계에서 효율적인 처리를 위해 내부 메모리에 비디오 비트스트림이 충분히 채워져 있는가를 확인하여 그렇지 않을 경우 메모리 요청을 수행한 후 디코딩 처리에 충분한 양의 비트스트림을 확보한 후에 이어지는 과정을 수행한다.

S38 단계에서는 예측된 데이터의 복원에 필요한 인트라 예측, 인터 예측 등의 정보를 추출해 내며, S39 단계에서는 예측하고 남은 차분치 정보를 추출해 낸다.

추출된 압축 데이터 정보들은 도 1의 복원 유닛(105)의 제2 데이터메모리(D2)에 저장되며, 이것은 복원 프로세서(106)가 원 영상을 복원하는데 이용된다.

복원에 필요한 데이터를 추출한 이후에는, S40 단계에서 EOF(차분치 및 예측 파라미터) 신호를 발생하여 콘트롤 프로세서(102)에 동작이 완료되었음을 알리고, 다음 과정을 진행하도록 한다.

복원 프로세서(106)는 압축 동영상 데이터로부터 원 영상을 일정 블록 단위로 복원해 내는 역할을 담당한다. 도 4는 복원 프로세서(106)의 제어 흐름도를 나타낸다.

일반적으로 원 영상 복원은 매크로블록 단위로 이루어지며, 인트라 또는 인터 예측에 의해 복원되는 예측 값과 역변환에 의해 구해지는 차분치의 합으로 복원된다.

복원에 필요한 파라미터와 압축 데이터들은 복원 유닛(105) 내의 제2 데이터메모리(D2)에 저장된다. 또한 다른 영상 프레임으로부터 예측 값을 보상하는 인터 예측일 경우에, 다른 영상 프레임 즉 참조 프레임은 제3 데이터메모리(D3)에 저장된다.

도 1과 도 4를 참조하면, 리셋 또는 초기화 이후에 S41 단계에서, 복원 프로세서(106)는 동작 개시 명령을 기다린다. 콘트롤 프로세서(102)에서 생성된 RUN(복원 프로세서) 신호에 의해 원 영상을 복원하는 일련의 과정을 개시한다.

복원하고자 하는 매크로블록의 예측 모드가 인트라 모드인지 인터 모드인지에 따라 S42 단계와 S43 단계로 나뉘게 된다.

인트라 예측 모드인 경우 S42 단계에서 현재 영상 프레임의 인접 블록에 의해 예측 값이 결정되게 된다. 이 때 필요한 인접 블록은 현재의 영상 프레임을 복원하는 과정에서 D3에 임시로 저장하였다가 사용하면 된다.

S43 단계에서는 다른 영상 프레임으로부터 예측 값을 복원해 낸다. 이를 위해서는 예측 블록의 위치를 나타내는 움직임 벡터에 대한 정보가 필요한데, S43 단 계에서는 움직임 벡터를 이용하여 필요한 블록의 메모리 상의 위치를 계산해 내는 과정을 수행한다.

S44 단계에서는, S43 단계에서 계산된 메모리 위치에 해당하는 영상의 데이터를 외부 메모리(115)에 요청하여 D3 메모리로 읽어 들인다. D3는 인트라 모드와 인터 모드에서 서로간에 영향을 주지 않으면서 독립적으로 사용 가능하다.

S45 단계에서는, 지원하는 동영상 규격에 따라 픽셀 간의 값, 즉 서브 픽셀 값을 복원해 주어야 하는 경우가 발생할 경우 이를 처리한다. 즉, 절반 위치의 픽셀에 대한 값의 보간 또는 ¼ 위치에 존재하는 픽셀에 대한 값의 보간 등을 지원하는 규격에 맞게 수행한다. 이와 같은 서브 픽셀 보간에 대한 정보는 제3 프로그램메모리(P3)에 저장된 마이크로 코드로부터 얻는다.

S46 단계에서는 차분치를 역변환하여 복원하는 과정을 수행한다. 역 변환 하는 단위는 4x4 또는 8x8 등 여러 가지 크기를 가질 수 있는데 지원하는 규격에 따라 선택적으로 이용한다. 마찬가지로, 역변환의 단위는 P3에 저장된 마이크로 코드로부터 알 수 있게 된다.

S47 단계에서는 예측 값과 차분치 값을 더하여 원 영상의 매크로 블록 픽셀 값을 복원해 낸다. 복원된 픽셀 값은 제4 데이터메모리(D4)에 저장되어 후처리 프로세서(108)가 이용하게 된다.

매크로블록 단위의 원 픽셀 값에 대한 복원이 완료되면 EOF 신호를 발생하여 콘트롤 프로세서(102)에 알리고, 다음 과정을 제어할 수 있도록 한다.

후처리 프로세서(108)는 복원 픽셀 값에 대한 후 처리를 담당한다. 도 5는 후처리 프로세서(108)의 제어 흐름도를 보여 준다.

리셋 또는 초기화 이후에 후처리 프로세서(108)는 S51 단계에서 동작 개시 명령을 기다린다. 콘트롤 프로세서(102)가 생성하는 RUN(후처리 프로세서) 신호에 의해 후처리 과정을 개시한다.

S52 단계에서, 지원하는 동영상 압축 규격에 맞는 인루프 디블록킹 필터 과정을 처리한다. 동영상 압축 규격에 따라서는 이 과정이 생략될 수도 있다. 이와 같은 디블록킹 필터링을 수행할지 말지는 제4 프로그램 메모리(P4)에 저장된 마이크로 코드로부터 알 수 있다.

디블록킹 과정을 수행할 경우 원 영상의 픽셀 값은 제4 데이터메모리(D4)에 저장되고, D4에 저장된 원 영상에 대해 필터링이 수행된다. 필터링이 수행된 후의 픽셀 데이터는 제5 데이터메모리(D5)에 저장된다.

S53 단계에서 복원된 매크로블록을 저장할 외부 메모리 상의 위치를 계산하고 이를 메모리 요청하여 외부에 저장되도록 하는 동작을 수행한다.

S54 단계에서 EOF 신호를 발생하여 복원된 매크로블록 픽셀에 대한 후처리가 끝났음을 콘트롤 프로세서(102)에 알려서 다음 과정을 제어할 수 있도록 한다.

메모리 액세스 프로세서(110)는 각 데이터 프로세서로부터 메모리 요청을 받아 내부의 데이터 메모리(D1,D3,D5)와 외부 메모리(115) 간의 데이터 교환을 담당하는 역할을 담당한다. 메모리 액세스 프로세서(110)와 외부 메모리(115)는 시스 템 버스 인터페이스(112)에 의해 연결되며, 전술한 바와 같이 시스템 버스 인터페이스(112)로는 AMBA를 사용할 수 있다.

바람직하게는, 데이터 프로세서들과 메모리 액세스 프로세서(110) 사이의 데이터 메모리, 즉 D1, D3, D5는 핑퐁(ping-pong) 버퍼 구조를 가지고, 데이터 메모리 내부의 한 섹션은 메모리 요청에 이용하고, 다른 섹션은 데이터 프로세서의 동작에 이용함으로써 연속적인 데이터 처리가 가능하게 된다.

또한, 각 데이터 프로세서 간에 정보 교환에 이용되는 내부 데이터 메모리, 즉 D2, D4 역시 핑퐁(ping-pong) 버퍼 구조를 가짐에 따라 데이터 메모리 내부의 한 섹션은 쓰기 동작에 이용하고, 다른 섹션은 읽기 동작에 이용함으로써 연속적인 데이터 처리가 가능하게 된다.

각 데이터 프로세서의 상태와 내부 메모리의 상태는 콘트롤 프로세서(102)에 의해 관리되고 제어된다.

도 1은 본 발명에 따른 멀티 코덱 디코더의 구조를 나타낸다.

도 2는 본 발명에 따른 콘트롤 프로세서의 제어 흐름도를 나타낸다.

도 3은 프론트 프로세서의 제어 흐름도를 나타낸다.

도 4는 복원 프로세서의 제어 흐름도를 나타낸다.

도 5는 후처리 프로세서의 제어 흐름도를 보여 준다.

※도면의 주요 부분에 대한 설명※

101 : 콘트롤 유닛 102 : 콘트롤 프로세서

103 : 프론트 유닛 104 : 프론트 프로세서

105 : 복원 유닛 106 : 복원 프로세서

107 : 후처리 유닛 108 : 후처리 프로세서

109 : 데이터 메모리 액세스 유닛 110 : 메모리 액세스 프로세서

111,112 : 시스템 버스 인터페이스

114 : 외부 프로세서 115 : 외부 메모리

Claims (14)

1. 각 유닛들의 동작을 개시하고 완료 여부를 파악하며, 각 유닛들의 프로그램 메모리에 동영상 압축 기법에 따른 마이크로 코드를 초기화하고, 외부 프로세서에 인터럽트를 발생시키는 콘트롤 유닛;

   복원할 동영상의 복원에 필요한 헤더 정보 및 데이터 정보를 추출하는 프론트 유닛;

   상기 프론트 유닛에 의해 추출된 헤더 정보 및 데이터 정보를 기반으로 실제 픽셀값을 복원하는 복원 유닛;

   상기 복원된 픽셀들의 후처리를 수행하는 후처리 유닛; 및

   상기 유닛들의 메모리 요청에 따라 외부 메모리에 액세스하는 데이터 메모리 액세스 유닛

   을 포함하는 멀티 코덱 디코더.
2. 제1항에 있어서,

   상기 콘트롤 유닛은 상기 동작들을 처리하는 콘트롤 프로세서 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제1 프로그램메모리를 포함하는 멀티 코덱 디코더.
3. 제2항에 있어서,

   상기 콘트롤 프로세서는 상기 멀티 코덱 디코더의 동영상 복원상태 및 메모리 상태 정보를 저장하는 레지스터 파일을 저장하는 멀티 코덱 디코더.
4. 제1항에 있어서,

   상기 프론트 유닛은 상기 헤더 정보 및 데이터 정보를 추출하는 프론트 프로세서, 상기 외부 메모리로부터 읽어들인 데이터를 저장하는 제1 데이터메모리 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제2 프로그램메모리를 포함하는 멀티 코덱 디코더.
5. 제1항에 있어서,

   상기 복원 유닛은 픽셀값을 복원하는 복원 프로세서, 복원에 필요한 파라미터 및 압축 데이터를 저장하는 제2 데이터메모리, 외부 메모리로부터 읽어들인 데이터를 저장하는 제3 데이터메모리, 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제3 프로그램메모리를 포함하는 멀티 코덱 디코더.
6. 제1항에 있어서,

   상기 후처리 유닛은 후처리를 수행하는 후처리 프로세서, 디블록킹 수행시 원 영상의 픽셀값을 저장하는 제4 데이터메모리, 외부 메모리로부터 읽어들인 데이터를 저장하는 제5 데이터메모리 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제4 프로그램메모리를 포함하는 멀티 코덱 디코더.
7. 제1항에 있어서,

   상기 데이터 메모리 액세스 유닛은 상기 유닛들로부터 메모리 요청을 받아 외부 메모리에 액세스하는 메모리 액세스 프로세서 및 복원할 동영상의 압축 기법에 따른 마이크로 코드를 저장하는 제5 프로그램메모리를 포함하는 멀티 코덱 디코더.
8. 제2,4,5,6,7항 중 어느 한 항에 있어서,

   상기 콘트롤 프로세서, 프론트 프로세서, 복원 프로세서, 후처리 프로세서 또는 메모리 액세스 프로세서는 재구성 가능한 프로세서인 멀티 코덱 디코더.
9. 외부 프로세서로부터 리셋 신호를 수신하면 모든 유닛들을 리셋시키는 단계;

   외부 프로세서로부터 런 신호를 수신하면 복원할 동영상의 압축 기법에 따라 콘트롤 유닛들의 프로그램메모리에 저장된 마이크로 코드를 초기화하는 단계;

   다른 유닛들의 프로그램메모리에 저장된 마이크로 코드를 초기화하는 단계;

   프론트 유닛이 수신한 데이터 스트림으로부터 정보를 추출하는 단계;

   상기 프론트 유닛이 추출한 정보의 종류를 판단하는 단계;

   상기 프론트 유닛이 추출한 정보가 데이터 정보인 경우에는, 복원 유닛이 영상 복원 과정을 수행하는 단계; 및

   상기 복원된 영상을 저장하는 단계;

   를 포함하는 멀티 코덱 디코딩 방법.
10. 제9항에 있어서,

    상기 프론트 유닛이 추출한 정보가 헤더 정보인 경우에는,

    상기 콘트롤 유닛의 레지스터 파일에 저장하는 단계를 포함하는 멀티 코덱 디코딩 방법.
11. 제9항에 있어서,

    상기 프론트 유닛이 수신한 데이터 스트림으로부터 정보를 추출하는 단계는,

    상기 프론트 유닛 내부의 제1 데이터메모리에 상기 데이터 스트림을 저장하는 단계;

    상기 데이터 스트림의 종류를 판단하는 단계;

    상기 데이터 스트림이 데이터 정보이면, 상기 데이터 스트림으로부터 인트라 예측 또는 인터 예측에 사용되는 파라미터를 추출하는 단계; 및

    상기 데이터 스트림으로부터 차분치 정보를 추출하는 단계;

    를 포함하는 멀티 코덱 디코딩 방법.
12. 제11항에 있어서,

    상기 데이터 스트림이 헤더 정보이면, 상기 헤더 정보를 상기 콘트롤 유닛의 레지스터 파일에 저장하는 단계;

    를 더 포함하는 멀티 코덱 디코딩 방법.
13. 제11항에 있어서,

    상기 복원 유닛이 복원 과정을 수행하는 단계는,

    상기 프론트 유닛이 추출한 인트라 예측 또는 인터 예측에 사용되는 파라미터와 상기 프로그램 메모리에 저장된 마이크로 코드를 사용하여 움직임 벡터를 예측하는 단계;

    상기 예측값과 상기 차분치 정보를 합산하는 단계;

    를 포함하는 멀티 코덱 디코딩 방법.
14. 제9항에 있어서,

    후처리 유닛이 상기 프로그램 메모리에 저장된 마이크로 코드를 참조하여 상기 복원된 영상에 대해 디블로킹을 수행하는 단계를 더 포함하는 멀티 코덱 디코딩 방법.

Images