KR20070065635A

KR20070065635A - 비디오 디코더의 인-루프 디블럭킹 필터 시스템 및 그의필터링 방법

Info

Publication number: KR20070065635A
Application number: KR1020050126269A
Authority: KR
Inventors: 김연선
Original assignee: 엘지전자 주식회사
Priority date: 2005-12-20
Filing date: 2005-12-20
Publication date: 2007-06-25
Also published as: KR100753504B1

Abstract

비디오 디코더의 인-루프 디블럭킹 필터 시스템 및 그의 필터링 방법에 관한 것으로, 픽셀 데이터가 씌여진 외부 메모리와, 이미 필터링된 이전 픽셀 데이터가 씌여진 소정 크기의 내부 버퍼와 필터링할 현재의 픽셀 데이터가 씌여진 소정 크기의 주메모리를 가지는 내부 메모리와, 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽는 단계와, 필터링할 현재 픽셀 데이터를 내부 메모리의 주메모리에 쓰는 단계와, 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계와, 필터링된 내부 버퍼의 이전 픽셀 데이터와 필터링된 주메모리의 현재 픽셀 데이터 일부를 외부 메모리에 쓰는 단계와, 남아있는 주메모리의 현재 픽셀 데이터를 내부 버퍼에 쓰는 단계를 수행하는 필터 엔진을 포함하여 구성된다.

내부 버퍼, 내부 메모리, 외부 메모리, 주메모리, 픽셀 데이터

Description

비디오 디코더의 인-루프 디블럭킹 필터 시스템 및 그의 필터링 방법{In-loop Deblocking Filter System and method for filterring data using the same}

도 1은 일반적인 디블럭킹 필터링 방법을 보여주는 도면

도 2는 일반적인 필터링에 필요한 픽셀 데이터 구성을 보여주는 도면

도 3 및 도 4는 일반적인 픽셀 데이터의 읽기 및 쓰기를 보여주는 도면

도 5는 일반적인 블록 에지 필터링 방법을 보여주는 도면

도 6은 일반적인 필터링 방법의 각 블록별 픽셀 데이터 읽기 및 쓰기 횟수를 보여주는 도면

도 7은 본 발명에 따른 필터 시스템 및 인터페이스 방식을 보여주는 도면

도 8은 본 발명에 따른 픽셀 데이터의 읽기 및 쓰기를 보여주는 도면

도 9는 본 발명에 따른 블록 에지 필터링 방법을 보여주는 도면

도 10은 본 발명에 따른 필터링 방법의 각 블록별 픽셀 데이터 읽기 및 쓰기 횟수를 보여주는 도면

도면의 주요부분에 대한 부호의 설명

1 : 외부 메모리 2 : 에스디램 컨트롤러

3 : 중재기 4 : MAU

5 : 내부 메모리 6 : 필터 엔진

본 발명은 인-루프 디블럭킹 필터 시스템(In-loop Deblocking Filter System)에 관한 것으로, 특히 비디오 디코더의 인-루프 디블럭킹 필터 시스템 및 그의 필터링 방법에 관한 것이다.

일반적으로, 디지털 신호처리, 저장매체, 전송방식의 발전은 음성 정보로 국한된 서비스로부터 정지영상 및 동영상 등의 정보를 포함한 다양한 멀티미디어 서비스를 가능하게 하여, 사용자가 풍부한 정보를 접할 수 있는 기회를 제공하였다.

이러한 발전과 더불어 동영상의 방대한 정보를 저장하고 전송하기 위한 여러 가지 압축 방식이 연구되어 왔으며, 특히 이동 통신망과 같은 새로운 통신 채널의 급속한 보급에 따라, 기존 압축 방법에 비해 압축효율이 더욱 향상된 동영상 부호화 방식의 필요성이 대두되었고, 기존의 다양한 통신 인프라의 공존과 같은 새로운 통신환경에 대처할 수 있는 향상된 기능의 비디오 표준의 필요성이 대두되었다.

이러한 흐름에 따라 ITU-T 표준화 기구는 2003년 5월 H.264로 명명된 표준을 승인하였고, 8월에는 ISO/IEC에 의해 MPEG-4 Part 10으로 명명된 표준이 승인되었다.

이러한 H.264 표준은 기존의 동영상 압축 표준에 비하여 향상된 움직임 예측 및 보상, 부정합이 없는 블록 변환, 인-루프 디블럭킹 필터, 향상된 엔트로피 부호화, 그리고 다양한 네트웍에 대한 적응성을 가짐으로 인해 높은 압축성능과 유연성 의 장점을 지니고 있는 반면, 엔코더(Encoder) 및 디코더(Decoder)의 복잡도가 기존 표준에 비해 훨씬 증가하는 단점이 있다.

특히, 엔코더 측면에서는 기존의 표준보다 훨씬 더 많아진 파라미터 및 부호화 모드를 결정하여야 하고, 디코더 측면에서는 인-루프 디블럭킹 필터나 1/4 화소 단위의 움직임 보상 등으로 인한 계산량의 부담감이 기존 표준보다 훨씬 증가하였다.

따라서, H.264가 실제 시장에서 널리 사용되기 위해서는, H.264의 원리 및 기술을 정확히 이해하여 효율적으로 엔코더 및 디코더를 구현하는 구현 및 적용 기술이 매우 중요하다고 할 수 있다.

특히, 기존의 표준에 포함되어 있지 않았던 인-루프 디블럭킹 필터에 관한 부분은 H.264 비디오 디코더 중에서도 가장 많은 연산양이 요구되는 부분일 뿐만 아니라 메모리 트랜잭션(Memory Transaction) 또한 매우 빈번하게 일어나는 부분이기 때문에 기존의 GPP(General Purpose Processor)나 DSP에서 소프트웨어(Software)로 구현하거나, 하드웨어(Hardware)로 구현 시에도 많은 클럭 수(Clock Cycle)를 필요로 할 뿐만 아니라, 많은 파워 소모(Power Consumption)가 요구되는 부분으로 잘 알려져 있다.

H.264 스펙으로 요구되는 디블럭킹 필터 알고리즘을 간단하게 살펴보면 다음과 같다.

H.264의 디블럭킹 필터는 도 1에 나타낸 바와 같이 하나의 매크로블럭(MB : Macroblock)을 기준으로 루미(Luma)와 크로마(Chroma)에 대해 별도의 필터링을 수 행하며, 픽쳐(Picture)의 경계선(Boundary)에 해당하는 매크로블록의 에지(Edge)나 또는 필터링을 일부러 디스에이블(Disable)시키는 경우를 제외한 나머지 모든 4x4 블록 에지(Block Edge)에 대해서 조건 필터링(Conditional Filtering)을 수행하게 된다.

필터링하는 순서는 도 1에 나타낸 바와 같이 루마(Luma)와 크로마(Chroma) 모두 왼쪽에서 오른쪽 순으로 수직 에지 필터링(Vertical Edge Filtering)을 한 다음(1)(3), 위에서 아래 방향으로 진행되는 수평 에지 필터링(Horizontal Edge Filtering)(2)(4)을 수행하게 된다.

필터링을 위해 요구되는 메모리 사용량을 살펴보면 도 2에 나타낸 바와 같다.

먼저, 현재 매크로블록(Current MB)에 대해서 루마(Luma)의 경우에는 16x16 픽셀 데이터(Pixel Data)(1) 사이즈의 메모리가, 크로마(Chroma)의 경우에는 8X8 픽셀 데이터(Pixel Data)(2) 사이즈의 메모리가 Cb와 Cr에 대해 각각 요구된다.

수직 에지 필터링을 위한 왼쪽 매크로블록(Left MB)에 대해서는 루마(Luma)의 경우에는 4x16 픽셀 데이터 사이즈(3)가, 크로마(Chroma)의 경우에는 2x8 픽셀 데이터 사이즈(4)가 Cb와 Cr에 대해 각각 요구된다.

또한, 수평 에지 필터링을 위해서는 위쪽 매크로블록(Upper MB)에 대한 루마(Luma) 16X4 픽셀 데이터 사이즈(5)와 크로마(Chroma) 8x2 픽셀 데이터 사이즈가(6)가 Cb와 Cr에 대해 각각 요구됨을 알 수 있다.

이와 같이 필터링을 위해 요구되는 픽셀 데이터들은 디블럭킹 필터 구현 시, 외부 메모리로부터 내부 메모리로 읽어져야 함과 동시에 내부 메모리로부터 외부 메모리로 쓰기 되어져야 하는 특성을 지닌다.

뿐만 아니라, 필터링 시에는 내부 메모리로부터 에지 필터링 순서대로 읽혀 진 뒤 필터링 된 후 다시 저장되어야 하는 특성을 지닌다.

따라서, 외부 메모리에 대한 액세스도 빈번하게 일어나게 되고, 내부 메모리에 대한 액세스도 자주 일어나게 된다.

뿐만 아니라, 필터링을 수행하는데 있어서 각 픽셀 데이터를 더하고, 빼고, 곱하고, 나누어야 하는 엄청난 양의 연산 작업도 요구된다.

따라서, 외부 메모리에 대한 잦은 접근은 클럭 수와 파워 소모에 가장 큰 영향을 끼치는 요인이 되고, 내부 메모리에 대한 액세스 횟수 및 액세스 방법 또한 시스템의 성능을 결정짓는 중요한 요소가 되므로 이 두 요소를 효율적으로 사용하기 위한 노력은 디블럭킹 필터를 구현하는 데에 있어서 매우 중요하다.

본 발명의 목적은 외부 메모리에 대한 액세스 방법과 내부 메모리에 대한 필터링 방법을 개선시킴으로써, 고성능과 저전력 특성을 갖는 비디오 디코더의 인-루프 디블럭킹 필터 시스템 및 그의 필터링 방법을 제공하는데 있다.

본 발명에 따른 비디오 디코더의 인-루프 디블럭킹 필터 시스템은 픽셀 데이터가 씌여진 외부 메모리와, 이미 필터링된 이전 픽셀 데이터가 씌여진 소정 크기의 내부 버퍼와 필터링할 현재의 픽셀 데이터가 씌여진 소정 크기의 주메모리를 가 지는 내부 메모리와, 상기 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽는 단계와, 상기 필터링할 현재 픽셀 데이터를 상기 내부 메모리의 주메모리에 쓰는 단계와, 상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계와, 상기 필터링된 내부 버퍼의 이전 픽셀 데이터와 상기 필터링된 주메모리의 현재 픽셀 데이터 일부를 상기 외부 메모리에 쓰는 단계와, 상기 남아있는 주메모리의 현재 픽셀 데이터를 상기 내부 버퍼에 쓰는 단계를 수행하는 필터 엔진을 포함하여 구성된다.

여기서, 내부 메모리 중 루마(Luma)의 경우, 상기 내부 버퍼는 4x20 사이즈이고, 상기 주메모리는 16x20 사이즈이며, 상기 내부 메모리 중 크로마(Chroma)의 경우, 상기 내부 버퍼는 2x10 사이즈이고, 상기 주메모리는 8x10 사이즈인 것이 바람직하다.

그리고, 상기 루마(Luma)의 내부 버퍼는 4x16 왼쪽 매크로블록(Left Upper MB)과 4x4 왼쪽 위 매크로블록(Left Upper MB)으로 구성되고, 상기 루마(Luma)의 주메모리는 16x16 현재 매크로블록과 16x4 위쪽 매크로블록으로 구성될 수 있다.

또한, 상기 크로마(Chroma)의 내부 버퍼는 2x8 왼쪽 매크로블록(Left Upper MB)과 2x2 왼쪽 위 매크로블록(Left Upper MB)으로 구성되고, 상기 크로마(Chroma)의 주메모리는 8x8 현재 매크로블록(Current MB)과 8x2 위쪽 매크로블록(Upper MB)으로 구성될 수 있다.

그리고, 외부 메모리와 내부 메모리 사이에는 에스디램 컨트롤러(SDRAM Controller)와 중재기(Arbiter) 그리고 메모리 액세스 유닛(Memory Access Unit : MAU)이 구성되어 있고, 상기 외부 메모리와 내부 메모리의 픽셀 데이터는 상기 에 스디램 컨트롤러와 중재기 그리고 메모리 액세스 유닛을 거쳐 이동될 수 있다.

본 발명에 따른 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법은, 상기 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽어오는 단계와, 상기 읽어온 현재 픽셀 데이터를 상기 내부 메모리의 주메모리에 쓰는 단계와, 상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계와, 상기 필터링된 내부 버퍼의 이전 픽셀 데이터와 상기 필터링된 주메모리의 현재 픽셀 데이터 일부를 상기 외부 메모리에 쓰는 단계와, 상기 남아있는 주메모리의 현재 픽셀 데이터를 상기 내부 버퍼에 쓰는 단계를 포함하여 이루어질 수 있다.

여기서, 상기 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽어오는 단계 이전에, 상기 외부 메모리의 픽셀 데이터를 읽기 요청하는 단계를 더 수행할 수 있고, 상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계 이전에, 상기 현재 픽셀 데이터의 읽기 완료 신호를 수신하는 단계를 더 수행할 수도 있다.

또한, 상기 필터링된 내부 버퍼의 이전 픽셀 데이터와 상기 필터링된 주메모리의 현재 픽셀 데이터 일부를 상기 외부 메모리에 쓰는 단계 이전에, 상기 필터링된 픽셀 데이터를 상기 외부 메모리에 쓰기 요청하는 단계를 더 수행할 수 있고, 상기 남아있는 주메모리의 현재 픽셀 데이터를 상기 내부 버퍼에 쓰는 단계 이후에, 상기 필터링된 픽셀 데이터의 쓰기 완료 신호를 수신하는 단계를 더 수행할 수도 있다.

그리고, 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계는, 상기 주 메모리의 첫 번째 열(row)에 위치하는 각 블록의 픽셀 데이터로부터 마지막 열에 위치하는 각 블록의 픽셀 데이터까지 순차적으로 수직 에지 필터링(vertical edge filtering)을 수행하는 단계와, 상기 주 메모리의 첫 번째 열(row)에 위치하는 각 블록의 픽셀 데이터로부터 마지막 열에 위치하는 각 블록의 픽셀 데이터까지 순차적으로 수평 에지 필터링(horizontal edge filtering)을 수행하는 단계를 포함하여 이루어지는 것이 바람직하다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명은 외부 메모리 및 내부 메모리에 대한 효과적인 구현 방법을 제시하고자 한다.

따라서, 본 발명은 클럭 수를 줄이고 파워 소모를 줄이기 위한 방법으로 필터 내부에 버퍼를 두고 이를 활용하여 외부 메모리 액세스를 수행하고자 하였다.

이러한 필터 내부의 버퍼 활용을 통해, 본 발명에서는 한 번의 읽기 트랜잭션과 한 번의 쓰기 트랜잭션 만으로 필터링을 위해 필요한 모든 픽셀 데이터들을 외부 메모리로부터 읽고 쓸수 있도록 하였다.

이러한 필터 내부의 버퍼 활용을 통해, 본 발명에서는 외부 메모리에 대한 읽기 트랜잭션과 쓰기 트랜잭션 시 트랜잭션을 위한 전송 데이터 양을 기존의 방법 에 비해 감소시킴으로써 데이터의 전송 속도를 향상시킬 수 있도록 하였다.

그리고, 본 발명에서는 내부 메모리에 대한 액세스 회수를 감소시키기 위해 블록 에지 필터링 순서를 변환하여 필터링 하도록 하였다.

도 3은 본 발명에 따른 비디오 디코더의 인-루프 디블럭킹 필터 시스템을 보여주는 도면으로서, 디블럭킹 필터와 외부 메모리간의 인터페이스 방식에 대한 예를 나타내었다.

도 3에 도시된 바와 같이, 본 발명은 크게 외부 메모리(1), 내부 메모리(5), 그리고 필터 엔진(6)으로 구성된다.

여기서, 내부 메모리(5)는 이미 필터링된 이전 픽셀 데이터가 씌여진 소정 크기의 내부 버퍼(5a)와, 필터링할 현재의 픽셀 데이터가 씌여진 소정 크기의 주메모리(5b)를 가진다.

그리고, 외부 메모리(1)와 내부 메모리(5) 사이에는 에스디램 컨트롤러(SDRAM Controller)(2)와 중재기(Arbiter)(3) 그리고 메모리 액세스 유닛(Memory Access Unit : MAU)(4)이 구성되어 있고, 외부 메모리(1)와 내부 메모리(5)의 픽셀 데이터는 에스디램 컨트롤러(2)와 중재기(3) 그리고 메모리 액세스 유닛(4)을 거쳐 이동할 수 있다.

한편, 본 발명의 내부 메모리(5) 중 루마(Luma)의 경우, 도 8에 도시된 바와 같이 내부 버퍼(5a)는 4x20 사이즈이고, 주메모리(5b)는 16x20 사이즈이며, 내부 메모리 중 크로마(Chroma)의 경우, 내부 버퍼(5a)는 2x10 사이즈이고, 주메모리(5b)는 8x10 사이즈이다.

여기서, 루마(Luma)의 내부 버퍼(5a)는 4x16 왼쪽 매크로블록(Left Upper MB)과 4x4 왼쪽 위 매크로블록(Left Upper MB)으로 구성되고, 루마(Luma)의 주메모리(5b)는 16x16 현재 매크로블록과 16x4 위쪽 매크로블록으로 구성된다.

그리고, 크로마(Chroma)의 내부 버퍼(5a)는 2x8 왼쪽 매크로블록(Left Upper MB)과 2x2 왼쪽 위 매크로블록(Left Upper MB)으로 구성되고, 크로마(Chroma)의 주메모리(5b)는 8x8 현재 매크로블록(Current MB)과 8x2 위쪽 매크로블록(Upper MB)으로 구성된다.

이와 같이, 구성된 본 발명의 필터링 방법은 다음과 같다.

먼저, 필터 엔진(6)은 메모리 억세스 유닛(4), 중재기(3), 에스디램 컨트롤러(2)를 거쳐 외부 메모리(1)에 픽셀 데이터를 읽기 요청한다.

다음, 픽셀 엔진(6)은 외부 메모리(1)로부터 필터링할 현재 픽셀 데이터를 읽어오고, 도 8에 도시된 바와 같이, 읽어온 현재 픽셀 데이터를 내부 메모리(5)의 주메모리(5b)(점선으로 표시된 8영역)에 쓴다.

그리고, 필터 엔진(6)은 메모리 억세스 유닛(4)을 통해 현재 픽셀 데이터의 읽기 완료 신호를 수신한 다음, 주메모리(5b)에 씌여진 현재 픽셀 데이터를 필터링한다.

여기서, 픽셀 엔진(6)은 도 9에 도시된 바와 같이 먼저, 주 메모리(5b)의 첫 번째 열(row)에 위치하는 각 블록의 픽셀 데이터로부터 마지막 열에 위치하는 각 블록의 픽셀 데이터까지 순차적으로 수직 에지 필터링(vertical edge filtering)을 수행하고, 주 메모리의 첫 번째 열(row)에 위치하는 각 블록의 픽셀 데이터로부터 마지막 열에 위치하는 각 블록의 픽셀 데이터까지 순차적으로 수평 에지 필터링(horizontal edge filtering)을 수행한다.

이어, 필터 엔진(6)은 필터링된 픽셀 데이터를 외부 메모리(1)에 쓰기 요청을 하고, 도 8에 도시된 바와 같이, 필터링된 내부 버퍼(5a)의 이전 픽셀 데이터와 상기 필터링된 주메모리(5b)의 현재 픽셀 데이터 일부(점선으로 표시된 7영역)를 외부 메모리에 쓴다.

이어, 필터 엔진(6)은 남아있는 주메모리(5b)의 현재 픽셀 데이터를 내부 버퍼(5a)에 쓰고, 외부 메모리(1)로부터 필터링된 픽셀 데이터의 쓰기 완료 신호를 수신함으로써, 필터링 과정이 완료된다.

이와 같이, 도 7에 도시된 바와 같이 본 발명의 필터 엔진(Filter Engine)(6)은 필터링할 매크로블록의 픽셀 데이터를 외부 메모리(1)로부터 내부 메모리(5)로 읽어들이기 위해 매크로블록 읽기 요청을 수행한다.

이 요청에 의해 픽셀 데이터는 에스디램 컨트롤러(SDRAM Controller)(2)와 중재기(Arbiter)(3) 그리고 메모리 액세스 유닛(Memory Access Unit :MAU)(4) 인터페이스를 거쳐서 외부 메모리(1)로부터 내부 메모리(5)로 읽기되어 진다.

이러한 일련의 읽기 트랜잭션(Reading Transation)이 완료되면 메모리 액세스 유닛(4)은 데이터의 읽기가 완료되었음을 알리는 읽기 완료 신호를 필터 엔진 쪽에 보내게 되고, 이 신호를 받은 필터 엔진(6)은 앞서 언급된 순서에 의해 필터링을 시작하게 된다.

내부 메모리에 필터링을 위한 데이터가 완료된 후 필터링이 시작되면 필터 엔진(6)은 내부 메모리 액세스를 통해 필터링을 시작하고 필터링 완료 후 필터링이 완료된 매크로블록 픽셀 데이터를 내부 메모리(5)로부터 다시 외부 메모리(1)로 다운로드 하기 위해 매크로블록 쓰기 요청을 수행한다.

이 요청에 의해 픽셀 데이터는 읽기 요청 시와는 반대로 메모리 액세스 유닛(4), 중재기(3), 그리고 에스디램 컨트롤러(2)로 이루어지는 인터페이스를 거쳐서 내부 메모리(5)로부터 외부 메모리(1)로 다운로드 되며, 다운로드 완료 시 쓰기 완료 신호가 필터 엔진(6) 쪽에 전송되면 하나의 매크로블록에 필터링이 완료되게 된다.

앞서 설명한 바와 같이 외부 메모리(1)에 대한 읽기 또는 쓰기 트랜잭션 과정에는 데이터를 전송하는데 있어서 매우 중요한 역할을 하는 읽기 또는 쓰기 요청과 읽기 또는 쓰기 완료라는 절차가 반드시 필요하다.

그러나, 이러한 절차는 외부 메모리(1)를 인터페이스 하고자 하는 모든 블록들에 의해 요구되는 과정이므로 이러한 요청을 요구하는 블록들이 시스템에 많이 존재하면 존재할수록 트랜잭션을 완료하는데 걸리는 시간이 길어지게 된다.

따라서, 전송해야 할 데이터가 동일하다고 가정할 경우, 외부 메모리(1)에 대한 읽기 또는 쓰기에 대한 트랜잭션의 수를 줄이려는 노력은 고성능 디블럭킹 필터를 구현하는데 매우 중요한 요소로 작용한다.

도 3 및 도 4에는 인-루프 디블럭킹 필터 구현 시 가장 보편적으로 사용되고 있는 외부 메모리와의 읽기 또는 쓰기 트랜잭션 예를 나타내었다.

먼저 현재 매크로블록에 대한 필터링을 수행하기 위해서는 도 2에 나타낸 바 와 같은 현재 매트로블록(Current MB)(1)(2)와 왼쪽 매트로블록(Left MB)(3)(4), 그리고 위쪽 매트로블록(Upper MB)(5)(6)에 대한 픽셀 데이터가 외부 메모리(1)로부터 읽기 또는 쓰기 되어 져야 한다.

이러한 읽기 또는 쓰기 트랜잭션은 시스템을 구현하는 방식에 따라서 매우 다르게 구현될 수 있으나 트랜잭션의 수를 줄이기 위한 방법으로 도 3에 나타낸 것처럼 루마(Luma)의 경우에는 현재 매크로블록(Current MB)과 현재 매크로블록에 대한 위쪽 매크로블록(Upper MB)를 16x20 사이즈로 동시에 읽고 쓴 다음 현재 매크로블록에 대한 왼쪽 매크로블록(Left MB)를 4x16 사이즈의 따로 읽거나 쓰는 방식이나 도 4에 나타낸 것처럼 현재 매크로블록과 현재 매크로블록에 대한 왼쪽 매크로 블록을 20X16 사이즈로 동시에 읽거나 쓴 다음 나중에 16x4 사이즈로 현재 매크로블록에 대한 위쪽 매크로블록을 별도로 읽거나 쓰는 방식이 주로 사용된다.

즉, 하나의 매크로블록 필터링을 완료하는 데에 적어도 두 번의 트랜잭션이 일어나야 함을 알 수 있다.

그러나, 본 발명을 통해 언급하고자 하는 필터링 방법은 외부 메모리(1)에 대한 읽기 또는 쓰기 트랜잭션의 수를 줄이고 트랜잭션을 위한 데이터 크기를 감소시킬 수 있는 방법으로 도 8에 나타낸 바와 같은 내부 버퍼(1)(2)를 사용하였다. 가장 큰 차이점을 살펴보면, 루마(Luma)의 경우에는 4x20 사이즈의 내부 버퍼(1)를, 크로마(Chroma)의 경우 2x10 사이즈의 내부 버퍼(2)를 필터링하는데 사용했음을 알 수 있고, 또한 도 3이나 도 4에 없었던 루마(Luma) 4x4 왼쪽 위 매트로블록(Left Upper MB)(3)과 크로마(Chroma) 2x2 왼쪽 위 매트로블록(Left Upper MB)(4) 이 필터링을 위해 사용되었음을 알 수 있다.

먼저 이 버퍼를 사용하게 된 가장 직접적인 원인을 살펴보면 다음과 같다.

디블럭킹 필터 구현 시 필터링의 특성상 현재 매크로블록의 오른쪽 가장자리의 4개의 블록 픽셀들(5)(6)이 다음 매크로브록의 필터링 시 왼쪽 매클로블록으로 다시 사용되는 특징을 지니고 있다.

따라서, 이 네 개의 픽셀 데이터들은 현재 매크로블록 필터링 시에도 사용되지만 다음 매크로블록 필터링 시에도 동시에 사용되는 특성을 지닌다.

따라서, 이 픽셀 데이터들은 현재 매크로블록 필터링 완료 시, 외부메모리에 한 번 씌여졌다가 다음 매크로블록 처리시 다시 읽혀져 와야하기 때문에 이 픽셀 데이터를 외부 메모리에 썼다가 다시 읽는 방법은 매우 비효율적인 방법이 된다.

따라서, 본 발명에서는 이 픽셀 데이터를 버퍼에 임시로 저장하는 방식을 사용하였다.

두 번째로 본 발명의 특징은 내부 버퍼를 4x16 사이즈로 사용하지 않고 4x20 사이즈로 사용한 것인데, 이것은 도 8에 나타낸 바와 같이 종래에 외부 메모리에 대한 읽기 또는 쓰기 트랜잭션을 두 번에서 한 번으로 줄이기 위한 목적에서 사용된 것이다.

이러한 사이즈의 버퍼를 사용하게 되면 도 8에 나타낸 바와 같이 읽기 트랜잭션의 경우에는 루마(Luma)의 경우 현재 매크로블록과 현재 매크로블록의 위쪽 매크로블록으로 구성되는 16x20사이즈의 픽셀 데이터(8)를 읽어오면 되고, 크로마(Chroma)의 경우에도 루마(Luma)의 경우와 동일하게 현재 매크로블록과 현재 매크 로블록의 위쪽 매크로블록으로 구성되는 8x10사이즈의 픽셀 데이터(10)를 읽어오면 된다.

본 발명의 쓰기 트랜잭션의 경우에는 특별한 읽기 및 쓰기 트랜잭션을 수행하게 된다.

루마(Luma)의 예를 들어 살펴 보면 다음과 같다.

기존의 쓰기 트랜잭션 방식은 읽기 트랜잭션을 통해 읽어온 데이터를 필터링한 후 이 데이터를 그대로 다시 쓰기 트랜잭션에 사용한다.

그러나, 본 발명을 통해 언급하고자 하는 쓰기 트랜잭션은 내부 버퍼에 있는 4x20사이즈의 픽셀 데이터와 현재 매크로블록의 픽셀 데이터 중 왼쪽으로부터 12x20 사이즈로 구성되는 픽셀 데이터를 조합하여 새로운 형태의 픽셀데이터의 조합을 한 번의 트랜잭션을 통해 쓸 수 있도록 하였다.

따라서 종래의 쓰기 트랜잭션에 비해 쓰기 트랜잭션 수를 한 번으로 줄일 수 있게 된다.

또한, 본 발명을 통해 제안된 방법은 기존의 방법에 비해 읽기 또는 쓰기 트랜잭션 수행 시 외부메모리와 내부 메모리간에 전송되는 데이터 양을 도 8에 나타낸 바와 같이 루마(Luma)의 경우에는 4x16 픽셀 데이터 사이즈 만큼, 크로마(Chroma)의 경우에는 2x8 픽셀 데이터 사이즈 만큼 감소시킬 수 있게 된다.

따라서, 외부 메모리 액세스 시 픽셀 데이터의 전송 속도을 감소된 데이터의 사이즈 만큼 향상시킬 수 있는 장점을 가지고 있다.

앞서 언급한 바와 같이 기존의 필터링 시스템에서는 외부 메모리로부터 내부 메모리로 픽셀 데이터의 전송이 완료된 후에는 도 5에 나타낸 바와 같은 각 블록 에지에 대한 필터링이 순서대로 진행된다.

앞서 설명한 바와 같이 인-루프 디블럭킹 필터에서는 필터링 순서가 왼쪽에서 오른쪽 순으로 이루어지는 버티컬 필터링이 먼저 이루어진 후, 위에서 아래의 순으로 진행되는 수평 필터링이 진행된다.

따라서, 루마와 크로마에 대해 도 5에 번호 매겨진 순서대로(1)(2) 필터링이 진행되며 매 에지 필터링을 수행할 때 마다, 각 블록에 대한 픽셀 데이터가 내부 메모리로부터 읽고 써지는 과정이 여러 번 반복됨을 알 수 있다.

따라서, 기존 필터링 시스템의 경우, 각 블록 픽셀 데이터에 대한 읽기와 쓰기 반복 횟수를 세어보면 도 6에 나타낸 바와 같은 결과를 얻어낼 수 있다.

도 6에서 알 수 있듯이, 종래의 필터링 방식에서는 왼쪽 매트로블록(Left MB)과 위쪽 매트로블록(Upper MB)은 읽기(R)와 쓰기(W)에 대해서 1회씩 카운트되고, 현재 매트로블록(Current MB)에 대해서는 4회씩(1) 또는 3회씩(2)(3) 그리고 2회씩(4) 카운트됨을 알 수 있다.

그러나, 본 발명에서는 이러한 내부 메모리에 대한 읽기와 쓰기 카운트 수를 줄이기 위해서 도 9에 나타낸 바와 같은 필터링 방법을 사용하였다.

이 방법은 기존의 필터링 방식에서 에지 필터링 순서를 바꾼 것으로, 도 9에 나열한 일련의 순서대로(1)(2) 에지 필터링을 진행하게 되면 도 10에 나타낸 바와 같은 읽기 또는 쓰기 회수를 얻을 수 있다.

각 영역에 대한 읽기와 쓰기 회수를 도 6 및 도 10을 통해 비교해보면, 영역 (1)에 대해서는 읽기 쓰기 회수 모두 9개의 블록에 대해 2회씩 줄어들었고, (2)와 (3) 영역의 경우에는 읽기 쓰기 회수 모두 6개의 블록에 대해 1회씩 감소했음을 알 수 있다.

따라서, 기존의 필터링 방식에 비해 내부 메모리에 대한 읽기 또는 쓰기 회수를 비교적 많이 줄이면서도 기존의 필터링 방식에 대한 픽셀 데이터 의존성을 그대로 유지할 수 있는 특징을 가지고 있음을 알 수 있다

이상에서와 같이 본 발명은 인-루프 디블럭킹 필터 구현 시 외부 메모리와 내부 메모리에 대한 효율적인 액세스 방법을 적용함으로써, 외부 메모리에 대한 읽기 또는 쓰기 트랜잭션 수를 감소시키고 트랜잭션을 위한 데이터 크기를 감소시킬 수 있는 방법과 내부 메모리 액세스에 대한 읽기 또는 쓰기 회수를 감소시킬 수 있는 방법을 제시하기 위한 것이다.

특히, 메모리 액세스와 관련된 부분은 필터 시스템의 성능 및 파워 소모를 결정짓는데 매우 중요한 요소가 되므로 본 발명을 통해 제안되는 필터 구현 방법은 고성능 저전력 필터를 구현하는데 매우 유리한 장점을 지니게 된다.

본 발명은 디블럭킹 필터 구현 특성상 현재 매크로블록의 오른쪽 가장자리의 4개의 블록 픽셀들이 다음 매크로브록의 필터링 시 왼쪽 매클로블록으로 다시 사용되는 특징을 살리기 위해 4x20 사이즈 루마 내부 버퍼와 2x10 사이즈의 크로마 내부 버퍼를 사용함으로써, 외부 메모리에 대한 읽기와 쓰기 트랜잭션 수를 각각 한 번에 처리할 수 있도록 하였으며, 매 매크로블록마다 읽기 또는 쓰기 트랜잭션 시, 루마의 경우에는 4x16 픽셀 데이터 사이즈만큼의 데이터량을, 크로마의 경우에는 2x8 픽셀 데이터 사이즈만큼의 데이터 전송 양을 감소시킴으로써, 외부 메모리에 대한 전송 속도 또한 향상시킬 수 있는 특징을 갖는다.

본 발명은 또한 내부 메모리에 대한 읽기와 쓰기 카운트 수를 줄이기 위해서 종래의 블록 에지 필터링 순서를 변환하여 필터링 하도록 하였다.

이 방법은 특히 기존의 픽셀 데이터에 대한 처리 의존성을 그대로 유지하는 특징을 가지면서 블록 에지 필터링 순서만을 바꾸었기 때문에 별도의 추가 구현 절차 없이 기존의 방식과 동일한 필터링을 수행할 수 있을 뿐만 아니라, 기존의 방식에 비해 내부 메모리에 대한 읽기 또는 쓰기 회수를 상당히 감소시킬 수 있는 방안이 되므로 매우 효과적인 디블럭킹 필터 구현 방법이 될 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

픽셀 데이터가 씌여진 외부 메모리;

이미 필터링된 이전 픽셀 데이터가 씌여진 소정 크기의 내부 버퍼와, 필터링할 현재의 픽셀 데이터가 씌여진 소정 크기의 주메모리를 가지는 내부 메모리; 그리고,

상기 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽는 단계와, 상기 필터링할 현재 픽셀 데이터를 상기 내부 메모리의 주메모리에 쓰는 단계와, 상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계와, 상기 필터링된 내부 버퍼의 이전 픽셀 데이터와 상기 필터링된 주메모리의 현재 픽셀 데이터 일부를 상기 외부 메모리에 쓰는 단계와, 상기 남아있는 주메모리의 현재 픽셀 데이터를 상기 내부 버퍼에 쓰는 단계를 수행하는 필터 엔진을 포함하여 구성되는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템.
제 1 항에 있어서, 상기 내부 메모리 중 루마(Luma)의 경우, 상기 내부 버퍼는 4x20 사이즈이고, 상기 주메모리는 16x20 사이즈이며, 상기 내부 메모리 중 크로마(Chroma)의 경우, 상기 내부 버퍼는 2x10 사이즈이고, 상기 주메모리는 8x10 사이즈인 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템.
제 2 항에 있어서, 상기 루마(Luma)의 내부 버퍼는 4x16 왼쪽 매크로블록 (Left Upper MB)과 4x4 왼쪽 위 매크로블록(Left Upper MB)으로 구성되고, 상기 루마(Luma)의 주메모리는 16x16 현재 매크로블록과 16x4 위쪽 매크로블록으로 구성되는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템.
제 2 항에 있어서, 상기 크로마(Chroma)의 내부 버퍼는 2x8 왼쪽 매크로블록(Left Upper MB)과 2x2 왼쪽 위 매크로블록(Left Upper MB)으로 구성되고, 상기 크로마(Chroma)의 주메모리는 8x8 현재 매크로블록(Current MB)과 8x2 위쪽 매크로블록(Upper MB)으로 구성되는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템.
제 1 항에 있어서, 상기 외부 메모리와 내부 메모리 사이에는 에스디램 컨트롤러(SDRAM Controller)와 중재기(Arbiter) 그리고 메모리 액세스 유닛(Memory Access Unit : MAU)이 구성되어 있고, 상기 외부 메모리와 내부 메모리의 픽셀 데이터는 상기 에스디램 컨트롤러와 중재기 그리고 메모리 액세스 유닛을 거쳐 이동되는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템.
픽셀 데이터가 씌여진 외부 메모리와, 이미 필터링된 이전 픽셀 데이터가 씌여진 내부 버퍼와 필터링할 현재의 픽셀 데이터가 씌여진 주메모리를 갖는 내부 메모리를 포함하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법에 있어서,

상기 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽어오는 단계;

상기 읽어온 현재 픽셀 데이터를 상기 내부 메모리의 주메모리에 쓰는 단계;

상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계;

상기 필터링된 내부 버퍼의 이전 픽셀 데이터와 상기 필터링된 주메모리의 현재 픽셀 데이터 일부를 상기 외부 메모리에 쓰는 단계;

상기 남아있는 주메모리의 현재 픽셀 데이터를 상기 내부 버퍼에 쓰는 단계를 포함하여 이루어지는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법.
제 6 항에 있어서, 상기 외부 메모리로부터 필터링할 현재 픽셀 데이터를 읽어오는 단계 이전에, 상기 외부 메모리의 픽셀 데이터를 읽기 요청하는 단계를 더 수행하는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법.
제 6 항에 있어서, 상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계 이전에, 상기 현재 픽셀 데이터의 읽기 완료 신호를 수신하는 단계를 더 수행하는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법.
제 6 항에 있어서, 상기 필터링된 내부 버퍼의 이전 픽셀 데이터와 상기 필 터링된 주메모리의 현재 픽셀 데이터 일부를 상기 외부 메모리에 쓰는 단계 이전에, 상기 필터링된 픽셀 데이터를 상기 외부 메모리에 쓰기 요청하는 단계를 더 수행하는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법.
제 6 항에 있어서, 상기 남아있는 주메모리의 현재 픽셀 데이터를 상기 내부 버퍼에 쓰는 단계 이후에, 상기 필터링된 픽셀 데이터의 쓰기 완료 신호를 수신하는 단계를 더 수행하는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법.
제 6 항에 있어서, 상기 주메모리에 씌여진 현재 픽셀 데이터를 필터링하는 단계는,

상기 주 메모리의 첫 번째 열(row)에 위치하는 각 블록의 픽셀 데이터로부터 마지막 열에 위치하는 각 블록의 픽셀 데이터까지 순차적으로 수직 에지 필터링(vertical edge filtering)을 수행하는 단계; 그리고,

상기 주 메모리의 첫 번째 열(row)에 위치하는 각 블록의 픽셀 데이터로부터 마지막 열에 위치하는 각 블록의 픽셀 데이터까지 순차적으로 수평 에지 필터링(horizontal edge filtering)을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 비디오 디코더의 인-루프 디블럭킹 필터 시스템의 필터링 방법.