KR100843196B1 - Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터 - Google Patents

Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터 Download PDF

Info

Publication number
KR100843196B1
KR100843196B1 KR20040107995A KR20040107995A KR100843196B1 KR 100843196 B1 KR100843196 B1 KR 100843196B1 KR 20040107995 A KR20040107995 A KR 20040107995A KR 20040107995 A KR20040107995 A KR 20040107995A KR 100843196 B1 KR100843196 B1 KR 100843196B1
Authority
KR
South Korea
Prior art keywords
filtering
data
subblock
horizontal
macro block
Prior art date
Application number
KR20040107995A
Other languages
English (en)
Other versions
KR20060069010A (ko
Inventor
정득수
정창영
이용미
강정선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20040107995A priority Critical patent/KR100843196B1/ko
Priority to US11/300,530 priority patent/US20060133504A1/en
Priority to JP2005363935A priority patent/JP2006174486A/ja
Priority to CN2005100229651A priority patent/CN1812576B/zh
Publication of KR20060069010A publication Critical patent/KR20060069010A/ko
Application granted granted Critical
Publication of KR100843196B1 publication Critical patent/KR100843196B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

디블록킹 필터가 개시된다. 디블록킹 필터는, 비디오 데이터의 4x4 서브 블록 단위의 에지에 대해서, 4x4 서브 블록의 가로 또는 세로 필터링과 다음 4x4 서브 블록의 데이터 입력을 동시에 수행하는 에지 필터링 연산기, 필터링을 수행하는 16x16 현재 매크로 블록의 데이터를 저장하기 위한 현재 매크로 블록 버퍼 메모리, 현재 매크로 블록의 좌측에 이웃하는 매크로 블록의 데이터 중 일부를 저장하기 위한 좌측 매크로 블록 버퍼 메모리, 필터링 전의 비디오 데이터 및 필터링이 완료된 비디오 데이터를 저장하기 위한 외부 메모리, 및 현재 필터링을 수행하기 위해 현재 매크로 블록 버퍼 메모리에서 판독한 데이터, 좌측 매크로 블록 버퍼 메모리에서 판독한 데이터 및 외부 메모리에서 판독한 현재 매크로 블록의 상부에 이웃하는 데이터를 저장하기 위한 레지스터 버퍼 어레이를 포함하며, 디블록킹 필터는, 비디오 데이터의 16x16 매크로 블록에 대응하는 가로 에지 및 세로 에지들을 4x4 서브 블록 단위의 에지로 등분하고, 4x16 크기의 블록에 대해 수직 필터링과 다음 4x16 크기의 블록에 대해 수평 필터링을 동시에 수행한다.
Figure R1020040107995
디블록킹 필터, H.264, 영상 압축

Description

Ｈ.264/ＡＶＣ 비디오 디코더의 디블록킹 필터{Deblocking filter of H.264/AVC video decoder}
도 1은 일반적인 비디오 디코더 시스템의 구성을 나타낸 블록도이다.
도 2는 디블록킹 필터링 연상을 위해 필요한 매크로 블록들을 표시한 도이다.
도 3a 및 도 3b는 하나의 매크로 블록 내의 각 에지의 필터링 순서를 나타낸다.
도 4는 본 발명에 따른 디블록킹 필터의 하드웨어 구조를 나타낸다.
도 5는 매크로 블록 내의 각 에지에 대한 본 발명에 따른 필터링 순서를 나타낸다.
도 6은 본 발명에 따른 필터링 연산 시 파이프 라인 구조를 나타낸다.
도 7은 본 발명에 따른 디블록킹 필터링 방법의 일 실시예를 나타낸 흐름도이다.
본 발명은 영상 디코딩 장치에 관한 것으로, 구체적으로는 H.264/AVC 비디오 코딩 표준에서 발생하는 블록킹 효과를 제거하기 위한 디블록킹 필터 및 필터링 방법에 관한 것이다.
대부분의 영상 처리 시스템에서는 국제전기통신연합(ITU; International Telecommunication Union)에서 권고하는 H.261, H262, H.263 등과 같은 표준화된 비디오 코덱을 일반적으로 사용한다. 또한, 이 비디오 코덱들은 MPEG-1, MPEG-2, MPEG-4 의 코덱 표준이 적용된다. 그리고, 최근에는 더 높은 압축률을 구현할 수 있는 H.264/AVC 비디오 코덱에 대한 연구 및 표준화 작업이 활발히 진행되고 있다.
H.264/AVC 비디오 코딩 표준에서는 블록단위로 압축 부호화한 후 디코딩 하므로 복원 영상에 블록킹 현상(Blocking artifacts)이 발생한다. 이러한 블록킹 현상은 크게 두 가지 원인에 기인한다. 첫 번째 원인으로는, H.264/AVC 와 더불어 대다수의 압축 기법은 일정한 크기의 블록에 대해서 DCT(discrete cosine transform)를 수행하고 양자화 과정을 거치므로 서로 겹쳐지지 않는 블록 단위의 변환(transform)은 주변 블록 또는 화소간의 상관 관계(correlation)가 전혀 고려되지 않은 채 독립적으로 변환과 양자화가 수행되어 데이터 손실이 발생하고 블록킹 현상이 발생하게 된다. 두 번째 원인으로는, 블록 단위로 움직임 벡터(Motion vector)를 예측하여 영상을 보상하게 되는데 하나의 블록에 속한 화소는 같은 움직임 벡터를 갖게 되므로 블록킹 현상을 유발시킨다.
디블록킹 필터(Deblocking filter)는 이러한 블록 단위의 코딩에서 발생하는 블록의 경계 오차를 부드럽게 해주는 역할을 하여 최종 복원 영상의 품질을 향상시키는 역할을 한다. H.264/AVC는 블록킹 현상을 방지하기 위해 디블록킹 필터를 반드시 구현해야 한다. 하지만, 디블록킹 필터를 구현함으로써 디코더의 구현도 복잡해지기 때문에, 메모리의 사용을 최소화하고 필터링 연산을 최적화하는 디블록킹 필터의 하드웨어 구조가 요구된다.
본 발명이 이루고자 하는 기술적 과제는, 메모리 억세스 횟수를 최소화하고 고속의 필터링 연상을 수행할 수 있는 디블록킹 필터 및 필터링 방법을 제공하는 것이다.
상술한 바와 같은 본 발명의 목적을 달성하기 위해, 본 발명의 특징에 의하면, 디블록킹 필터는, 비디오 데이터의 4x4 서브 블록 단위의 경계에 해당하는 에지에 대해서, 4x4 서브 블록의 가로 또는 세로 필터링과 다음 4x4 서브 블록의 데이터 입력을 동시에 수행하는 에지 필터링 연산기, 필터링을 수행하는 16x16 현재 매크로 블록의 데이터를 저장하기 위한 현재 매크로 블록 버퍼 메모리, 상기 현재 매크로 블록의 좌측에 이웃하는 매크로 블록의 데이터 중 일부를 저장하기 위한 좌측 매크로 블록 버퍼 메모리, 필터링 전의 비디오 데이터 및 필터링이 완료된 비디오 데이터를 저장하기 위한 외부 메모리, 및 현재 필터링을 수행하기 위해 상기 현재 매크로 블록 버퍼 메모리에서 판독한 데이터, 상기 좌측 매크로 블록 버퍼 메모리에서 판독한 데이터 및 상기 외부 메모리에서 판독한 상기 현재 매크로 블록의 상부에 이웃하는 데이터를 저장하기 위한 레지스터 버퍼 어레이를 포함하며, 상기 디블록킹 필터는, 상기 비디오 데이터의 16x16 매크로 블록에 대응하는 가로 에지 및 세로 에지들을 4x4 서브 블록 단위의 에지로 등분하고, 4x16 크기의 블록에 대해 수직 필터링과 다음 4x16 크기의 블록에 대해 수평 필터링을 동시에 수행한다.
상기 디블록킹 필터는, 상기 에지 필터링 연산기에서 필터링이 완료된 데이터를 일시 저장하기 위한 필터링 출력 버퍼 메모리를 더 포함한다. 상기 현재 매크로 블록 버퍼 메모리, 상기 좌측 매크로 블록 메모리 및 상기 출력 버퍼 메모리 각각은 필터링 연산의 파이프 라인 구조를 위해 2개 이상의 버퍼 메모리로 구성된다.
상기 디블록킹 필터는, 상기 외부 메모리로부터 필터링에 필요한 데이터를 각각 판독하여 상기 현재 매크로 블록 버퍼 메모리, 및 상기 좌측 매크로 블록 버퍼 메모리에 저장하는 것을 제어하는 외부 메모리 제어기, 및 상기 현재 매크로 블록 버퍼 메모리, 상기 좌측 매크로 블록 버퍼 메모리 및 상기 외부 메모리로부터 각각, 현재 필터링에 필요한 현재 매크로 블록의 데이터, 상기 현재 매크로 블록의 좌측에 이웃하는 데이터 및 상기 현재 매크로 블록의 상부에 이웃하는 데이터를 판독하여 레지스터 버퍼 어레이에 저장하는 것을 제어하는 레지스터 버퍼 어레이 제어기를 더 포함한다.
상기 레지스터 버퍼 어레이는, 상기 4x4 서브 블록 데이터를 상기 현재 매크로 블록 버퍼 메모리에서 판독하며, 상기 4x4 서브 블록 데이터의 좌측에 이웃하는 데이터를 상기 좌측 매크로 블록 버퍼 메모리에서 판독하고, 상기 4x4 서브 블록 데이터의 상부에 이웃하는 데이터를 상기 외부 메모리에서 판독하여 저장하며, 상기 필터링 연산기에서 연산된 4x4 서브 블록 데이터를 임시 저장하여 다음 에지의 필터링 시 제공한다.
상기 디블록킹 필터는, 에지 필터링 시 실제 영상의 에지 부분은 살리고 과도한 필터링이 일어나지 않도록 필터링 강도를 결정하는 필터링 강도 생성기, 및 에지 필터링 시 필터링 수행 유무를 최종 결정하기 위한 임계치 값을 생성하는 임계치 생성기를 더 포함한다. 상기 필터링 강도 생성기는, 움직임 벡터 생성 과정에서 발생한 움직임 벡터를 이용하여, 상기 움직임 벡터 생성 과정과 동시에 필터링 강도를 생성한다. 상기 필터링 연산기는, 상기 4x4 서브 블록의 수직 또는 수평 에지를 동시에 필터링을 수행할 수 있도록 휘도 또는 채도 성분에 대해서 독립적으로 동작하는 4개의 필터링 엔진을 포함한다.
바람직하게는, 상기 디블록킹 필터는, 상기 비디오 데이터의 휘도 성분(Luminance component)에 대한 필터링 연산과 채도 성분(chrominance component)에 대한 필터링 연산을 동시에 수행한다.
또한, 본 발명의 다른 특징에 의하면, 비디오 데이터의 압축 시 발생하는 블로킹 효과를 제거하기 위한 디블록킹 필터링 방법은, 상기 비디오 데이터의 매크로 블록에 대응하는 가로 에지 및 세로 에지들을 4x4 의 서브 블록에 대응하는 가로 에지 및 세로 에지로 등분하는 단계, 상기 매크로 블록의 16 개의 4x4 서브 블록들 중 상측 가로 라인부터 하측 가로 라인 방향으로 4x16 블록 단위로 디블록킹 필터링을 처리하는 단계를 포함하며, 상기 디블록킹 필터링 처리 단계는, 상기 4개의 4x4 서브 블록들의 세로 에지에 대한 가로 필터링을 순차적으로 진행한 후 가로 에지에 대한 세로 필터링을 순차적으로 진행한다.
상기 디블록킹 필터링 처리 단계는, 첫 번째 4x16 블록의 가로 필터링을 처리하는 단계, 두 번째 4x16 블록의 가로 필터링 및 첫 번째 4x16 블록의 세로 필터링을 동시에 처리하는 단계, 세 번째 4x16 블록의 가로 필터링 및 두 번째 4x16 블록의 세로 필터링을 동시에 처리하는 단계, 네 번째 4x16 블록의 가로 필터링 및 세 번째 4x16 블록의 세로 필터링을 동시에 처리하는 단계, 및 네 번째 4x16 블록의 세로 필터링을 처리하는 단계를 포함한다.
상기 매크로 블록 중 어느 4x16 블록의 가로 또는 세로 필터링 시, 첫 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계, 상기 첫 번째 4x4 서브 블록에 대한 필터링과 동시에 두 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계, 상기 두 번째 4x4 서브 블록에 대한 필터링과 동시에 세 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계, 상기 세 번째 4x4 서브 블록에 대한 필터링과 동시에 네 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계, 및 상기 네 번째 4x4 서브 블록에 대한 필터링 단계를 포함한다.
상기 디블록킹 필터링 처리 단계는, 상기 비디오 데이터의 휘도 성분(Luminance component)에 대한 필터링 연산과 채도 성분(chrominance component)에 대한 필터링 연산을 동시에 수행한다.
본 발명과 본 발명의 동작성의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일반적인 비디오 디코더 시스템의 구성을 나타낸 블록도이다.
앞서 설명한 바와 같이 압축 영상 데이터들은 영상 처리 장치에서 디코딩 과정을 통해 원래의 데이터로 복원되어 화면에 표시된다. 도 1을 참조하면, 영상 데이터들을 디코딩 하기 위한 비디오 디코더(10)는 구문분석기(Parser; 11), 엔트로피 디코더(Entropy Decoder; 12), 역 변환기(Inverse Transform; 13), 움직임 벡터(Motion Vector) 연산기(14), 예측기(Inverse Inter/Intra-Prediction; 15), 디블록킹 필터(16) 및 다수의 하드웨어 모듈과 외부 메모리 제어기 및 인터페이스를 위한 PCI 모듈(미도시) 등으로 구성된다.
디코딩 과정에서 필요한 데이터들은 내부 메모리 혹은 외부 메모리에서 읽거나 저장하게 되며 각각의 모듈들은 그림 1의 시스템 버스(17)를 통하여 서로 필요한 데이터를 주고받게 된다. 디코딩 과정은 앞에서 언급한 하드웨어 모듈에서 순차적으로 처리되어 원래의 영상으로 복원되는데 영상 데이터들이 매크로 블록(Macro block) 단위로 압축되고 복원되기 때문에 복원된 영상의 블록들간 경계지점에서는 블록단위로 화면의 차이가 발생한다. 이러한 블록킹 현상은 도 1의 디블록킹 필터(16)를 통해 블로킹 현상을 줄이게 된다.
한편, 블로킹 현상은 일정한 크기의 블록 단위로 압축되어 발생한 것이기 때문에, 디블록킹 필터(16)의 에지 필터링(Edge filtering) 역시 매크로 블록 단위로 수행된다.
도 2는 디블록킹 필터링 연상을 위해 필요한 매크로 블록들을 표시한 도이다.
도 2를 참조하면, 현재 매크로 블록을 X로 표시하고, 주변 매크로 블록은 도 2에 도시된 바와 같이 A, B, C, D로 표현하고, 이하, 현재 매크로 블록(X)을 중심으로 좌측 매크로 블록을 A 상부 매크로 블록을 B로 표현한다. 현재 매크로 블록(X)의 경계를 필터링하기 위해서는 도 2와 같이 매크로 블록(A)과 매크로 블록(B)의 데이터가 필요하다. 즉, 수평 필터링 연산을 위해서 좌측 매크로 블록(A)이 필요하며 수직 필터링 연산을 위해서 상부 매크로 블록(B)이 필요하다.
도 3은 하나의 매크로 블록 내의 각 에지의 필터링 순서를 나타낸다.
도 3을 참조하면, 하나의 매크로 블록에 대한 필터링 연산은 매크로 블록을 구성하는 픽셀의 휘도 성분(Luminance component)과 채도 성분(Chrominance component)에 대해서 각각 수행되어 지며, 그림 3(a)은 휘도 성분의 필터링 경계 영역을 나타내며, 도 3(b)는 채도 성분의 필터링 경계 영역을 나타낸다. 휘도 성분의 필터링 연산은 수직 경계에 대해 a, b, c, d 순으로 필터링을 수행하며, 그 다음 수평 경계에 대해 e, f ,g, h 순으로 필터링을 수행한다. 또한, 채도 성분의 필터링 연산은 수직 경계에 대해 i, j 순으로 필터링을 수행하며, 그 다음 수평 경계에 대해 k, l 순으로 필터링을 수행한다. 일반적으로, 휘도 성분의 필터링 연산이 먼저 수행되고, 그 후 채도 성분의 필터링 연산이 수행된다.
또한, 필터링 연산을 수행하기 위해서는 각 경계 영역을 중심으로 각각 4개의 화소(픽셀)가 필요하다. 즉, 필터링 연산을 위해서는, 수직 경계 픽셀에 대해 서 좌우 각각 4개씩의 픽셀이 필요하며, 수평 경계에 대해서는 상하 각각 4개씩의 픽셀이 필요하며, 인접하는 4x4 크기 블록이 속하는 매크로 블록에서 사용하는 양자화 파라미터, 인접 클록의 부호화 모드, 움직임 벡터 등에 의해 수정되는 화소 수 및 적용되는 필터링 강도가 달라지게 된다.
이상과 같이 일반적인 필터링 방법을 사용하면, 필터링 연산을 위해서 메모리 억세스 및 필터링 소요시간을 고려하면 800 사이클 이상이 소요되어 고화질의 영상 데이터에 대한 필터링 연산에서 시간 지연이 생겨 결과적으로 고화질의 영상 데이터를 실시간으로 처리하는 데 문제가 발생할 수 있다.
도 4는 본 발명에 따른 디블록킹 필터의 하드웨어 구조를 나타낸다.
먼저 디블록킹 필터 알고리즘을 간단하게 살펴보면, 필터링 하고자 하는 에지에 해당하는 픽셀을 선택하고, 선택된 픽셀을 내부 또는 외부 메모리로부터 판독하여 필터링 연산을 하기 위한 버퍼에 저장해야 한다. 그리고, 실제 영상의 에지 부분은 살리고 과도한 필터링이 일어나지 않도록 필터링 강도(Boundary filter strength)를 구하고, 임계값(threshold)과 비교하여 필터링 수행 유무를 최종 결정한다. 이와 같은 디블록킹 필터링 알고리즘은 H.264/AVC 표준화 문서에 개시되어 있다.
한편, 도 4에 도시된 본 발명에 따란 디블록킹 필터(400)의 하드웨어 구조는 메모리 억세스를 최소화하면서 필터링 연산을 효율적으로 수행하도록 하는 하드웨어 구조이다. 또한, 본 발명에 따른 디블록킹 필터(400)는 수평 필터링과 수직 필터링을 수행하는 데 있어서 필터링 연산을 병렬 처리할 수 있게 한다.
이를 위해, 본 발명에 따른 디블록킹 필터(400)는, 2개의 출력 버퍼 메모리(402), 2개의 X-버퍼 메모리(404), 2개의 A-버퍼 메모리(406), 출력 버퍼 메모리 제어기(408), X-버퍼 메모리 제어기(410), A-버퍼 메모리 제어기(412), 외부 버스 인터페이스(414), 레지스터 버퍼 어레이(416), 레지스터 버퍼 어레이 제어기(418), 에지 필터링 연산기(420), 필터링 강도 생성기(422), 임계치 생성기(424), 외부 메모리 제어기(426) 및 외부 메모리(430)를 포함하는 것으로 구성된다.
2개의 출력 버퍼 메모리(402)는 에지 필터링 연산기(420)에서 필터링이 완료된 데이터를 외부 메모리(430)로 출력하기 전에 일시적으로 저장하기 위한 메모리이다. 2개의 X-버퍼 메모리(404)는 현재 필터링을 수행하는 에지에 해당하는 매크로 블록의 데이터를 저장하기 위한 메모리이다. 즉, X-버퍼 메모리(404)는 도 2의 현재 매크로 블록(X)의 데이터를 저장한다. 2개의 A-버퍼 메모리(406)는 현재 매크로 블록(X)의 좌측에 이웃하는 매크로 블록의 데이터 중 현재 매크로 블록(X)에 이웃하는 4 개의 4x4 서브 블록의 데이터를 저장한다. 출력 버퍼 메모리 제어기(408), X-버퍼 메모리 제어기(410) 및 A-버퍼 메모리 제어기(412)는 각각 출력 버퍼 메모리(402), X-버퍼 메모리(404) 및 A-버퍼 메모리(406)의 데이터 입출력을 제어한다. 외부 버스 인터페이스(414)는 디코딩 과정에서 필요한 데이터들은 내부 메모리 혹은 외부 메모리에서 읽거나 저장하는 인터페이스 기능을 한다.
레지스터 버퍼 어레이(416)는 필터링 연산을 수행하기 위해, X-버퍼 메모리(404)에서 판독한 현재 매크로 블록 데이터, A-버퍼 메모리(406)에서 판독한 좌측에 이웃한 매크로 블록의 데이터 및 외부 메모리(430)에서 판독한 상부에 이웃한 매크로 블록의 데이터를 저장하고, 필터링 연산기(420)에서 필터링 연산된 데이터 중 다음 필터링 연산에 이용되는 데이터를 저장하는 기능을 한다. 에지 필터링 연산기(420)는 레지스터 버퍼 어레이(416)에 저장된 데이터를 이용하여 각 에지에 대한 필터링 연산을 수행한다. 필터링 강도 생성기(422)는 실제 영상의 에지 부분은 살리고 과도한 필터링이 일어나지 않도록 필터링 강도를 결정해 주는 역할을 하며, 임계치 생성기(424)는 필터링 수행 유무를 최종 결정하기 위한 임계치 값을 산출하는 역할을 한다. 외부 메모리(430)는 필터링을 수행하기 위한 비디오 데이터를 저장하고, 필터링이 완료된 데이터를 다시 저장하는 기능을 한다. 레지스터 버퍼 어레이 제어기(418)는 레지스터 버퍼 어레이(416)를 제어하기 위한 것이며, 외부 메모리 제어기(426)는 외부 메모리(430)를 제어하기 위한 것이다.
도 4를 참조하여, 본 발명에 따른 디블록킹 필터(400)의 동작 과정을 살펴본다.
먼저, 하나의 매크로 블록을 필터링하기 위해서는 현재 매크로 블록 정보 및 주변 매크로 블록 정보가 필요하다. 즉, 현재 매크로 블록의 수직 에지를 필터링하기 위해서는 좌측의 A 매크로 블록의 정보가 필요하며 수평 에지를 필터링하기 위해서는 상단의 B 매크로 블록의 정보가 필요하다. 도 1의 비디오 디코더 시스템에서 살펴본 바와 같이 디블록킹 필터의 전 단계인 예측기로부터 필터링 하고자 하는 현재 매크로 블록 정보를 받아 X-버퍼 메모리(404)에 저장한다. X-버퍼 메모리가 2개의 버퍼 메모리로 구성되는 이유는 효율적인 비디오 디코더 시스템의 파이프 라인 구조를 위해서이다.
또한, 수평/수직 에지를 필터링하기 위한 주변 매크로 블록인 A, B 매크로 블록을 저장하기 위한 메모리 버퍼가 필요하며, A-버퍼 메모리(406)는 좌측의 A 매크로 블록의 정보를 저장하며, MBAFF 모드를 고려하여 4*32 픽셀 정보를 저장한다. A-버퍼 메모리(406)도 비디오 디코더 시스템의 파이프 라인 구조를 위해 2개의 버퍼 메모리고 구성된다.
상단의 B 매크로 블록의 정보는, H.264/AVC 메인 프로필(main profile)의 경우 최고 2048*1024 해상도를 지원할 경우 MBAFF 모드를 고려하면 128*4*32 픽셀 정보가 필요하다. 여기서 128은 한 라인의 매크로 블록의 수에 해당한다. 하지만, 이러한 픽셀 정보를 내부 메모리 버퍼에 저장하기에는 정보량이 너무 많다. 따라서, 현재 매크로 블록(X)의 상단 매크로 블록(B)의 정보는 외부 메모리(430)에 저장하고, 필터링이 수행되기 전에 필요한 B 매크로 블록의 픽셀 정보를 미리 판독하여 내부의 레지스터 버퍼 어레이(416)에 저장하는 구조가 효율적이다. 또한, 도 4에 도시된 바와 같이, 외부 메모리(430)를 억세스하기 하기 위해 외부 버스 인터페이스 모듈(414)이 필요하며 시스템 버스(432)와 데이터를 주고받게 된다.
도 4에서 레지스터 버퍼 어레이(416)는 고속 필터링 연산을 위한 파이프 라인 구조를 위해서, 필터링 연산에 필요한 픽셀과 필터링이 완료된 픽셀 중 다음 필터링 연산에 필요한 데이터를 저장하여 필터링을 효율적으로 처리할 있도록 한다. 즉, 본 발명에 다른 레지스터 버퍼 어레이(416)는 일반적인 디블록킹 필터의 구조와는 달리, 해당 에지 필터링에 필요한 정보를 읽어와 필터링 연산을 수행하고 수직, 수평 에지 필터링이 완료될 때까지 레지스터에 저장함으로써 고속 파이프 라인 구조가 가능하게 하며 불필요한 메모리 억세스 사이클을 줄일 수 있도록 한다.
에지 필터링 연산기(420)는 레지스터 버퍼 어레이(416)에서 픽셀 정보를 받고 필터링 강도 생성기(422)로부터 필터링 강도(Boundary Filter Strength) 값과 임계치 생성기(424)로부터 임계치(Threshold) 값을 받아 실제 필터링 연산을 수행한다. 또한, 에지 필터링 연산기(420)는 고속 필터링 연산을 위해서 4x4 서브 블록의 수직 또는 수평 에지를 동시에 필터링을 수행할 수 있도록 휘도 또는 채도 성분에 대해서 독립적으로 동작하는 4개의 필터링 엔진을 갖는다. 상기 4개의 필터링 엔진은 각각 하나의 4x4 서브 블록 데이터의 한 라인의 화소에 대한 필터링을 수행한다.
또한, 본 발명에 따른 디블록킹 필터(400)의 필터링 연산기(420)는 필터링 연산에 소요되는 시간을 최소화하기 위해, 휘도 성분에 대한 필터링 연산과 동시에 채도 성분에 대한 필터링 연산을 수행한다.
본 발명에 따른 디블록킹 필터(400)는 도 4에 도시된 바와 같이 필터링 강도 생성기(422)를 에지 필터링 연산기(420)의 외부에 설치되도록 구성된다. 필터링 강도를 결정하기 위해서는 움직임 벡터의 정보가 필요하며, 여러 가지 조건을 복잡하게 비교하는 과정이 필요하다. 움직임 벡터의 정보는 도 1에 도시된 비디오 디코더(10)와 같이 예측기(15) 전에 움직임 벡터 정보가 사용된다. 따라서, 일반적으로는 움직임 벡터 정보 역시 내부 메모리에 저장되어 필터링 강도 생성시 사용되어야 하는데, 본 발명에 따른 디블록킹 필터(400)에서는 움직임 벡터 정보를 따로 저장하지 않고 공유할 수 있도록, 움직임 벡터 생성과정에서 필터링 강도를 생성하 도록 한다. 이렇게 함으로써 내부 메모리를 절약할 수 있을 뿐 아니라 필터링 강도가 앞 단에서 생성되므로 디블록킹 필터 연산의 사이클을 줄일 수 있는 장점이 있다.
또한, 파이프 라인 구조를 위해 2개의 메모리로 구성된 출력 버퍼 메모리(402)는 필터링 완료된 데이터를 일시 저장한 뒤 외부 메모리(430)로 출력한다.
한편, 디블록킹 필터(400)는 4x4 서브 블록을 기본 단위로 하여 필터링 연산을 수행하며 매 블록 경계마다 적어도 두 개 이상의 픽셀을 억세스 해야 하므로, 메모리 사용의 빈도가 증가하여 디코더의 성능에 영향을 주게 된다. 따라서, 본 발명에 따른 디블록킹 필터(400)는 메모리의 억세스를 최대한 줄이고 필터링 연산을 효율적으로 병렬 처리할 수 있도록 구성된다.
일반적인 필터링 순서는 수직 에지에 대한 필터링 수행을 끝내고 수평 에지에 대한 필터리을 수행한다. 이 경우 하나의 매크로 블록을 필터링하기 위해서는 64번의 수평 필터링과 64번의 수직 필터링을 수행하여야 한다. 데이터 입출력을 위한 메모리 억세스 사이클 및 필터링 연산 사이클을 대략적으로 15 사이클로 가정하더라도 1920 사이클이 소요되며 고화질의 영상 데이터를 실시간으로 처리하는 데 문제가 발생한다. 하지만, 본 발명에 따른 디블록킹 필터(400)는, 수직 에지 및 수평 에지 필터링을 동시에 처리할 수 있는 하드웨어 구조를 통해 메모리 억세스를 최소화하고 필터링 연산 사이클을 최소화시킨다.
도 5는 매크로 블록 내의 각 에지에 대한 본 발명에 따른 필터링 순서를 나타낸다.
도 5는 하나의 16x16 매크로 블록을 나타낸 것이며 16개의 각 서브 블록은 4x4의 블록이다. 하나의 매크로 블록에서의 필터링 순서는 16개의 4x4 서브 블록 중 상측 가로 라인부터 하측 가로 라인 방향으로 4개의 서브 블록씩 디블록킹 필터링을 수행한다. 또한, 4개의 4x4 서브 블록들의 세로 에지에 대한 가로 필터링을 순차적으로 진행한 후 가로 에지에 대한 세로 필터링을 순차적으로 진행한다.
즉, 하나의 매크로 블록에서의 필터링 순서는 도 5(a)에 도시된 바와 같이, 1, 2, 3, 4 번 서브 블록에 대해 순차적으로 수평 필터링(I)하고, 수평 필터링이 완료되면 같은 방식으로 도 5(b)에 도시된 바와 같이, 1, 2, 3, 4 순으로 수직 필터링(I')을 처리한다. 그런 다음, 5, 6, 7, 8 번 서브 블록에 대한 수평 필터링(II)을 수행하고, 다시 5, 6, 7, 8번 서브 블록에 대한 수직 필터링(II')을 수행한다. 그리고, 9, 10, 11, 12 번 서브 블록에 대한 수평 필터링(III)을 수행하고, 다시 9, 10, 11, 12번 서브 블록에 대한 수직 필터링(III')을 수행한다. 그리고, 13, 14, 15, 16 번 서브 블록에 대한 수평 필터링(IV)을 하고, 다시 13, 14, 15, 16번 서브 블록에 대해서 수직 필터링(IV')을 수행한다.
도 6은 본 발명에 따른 필터링 연산 시 파이프 라인 구조를 나타낸다.
본 발명에 따른 디블록킹 필터링 방법은 4x16 블록을 기본 단위로 한다. 즉, 도 5에 도시된 바와 같이, 1, 2, 3, 4 번의 4개의 4x4 서브 블록(즉, 4x16 블록), 그런 다음, 5, 6, 7, 8번의 4개의 서브 블록, 그런 다음 9, 10, 11, 12번의 4개의 서브 블록, 그런 다음 13, 14, 15, 16번의 4개의 서브 블록 순으로 필터링을 진행한다. 본 발명에 따른 디블록킹 필터링 방법은 4x16 즉 4개의 4x4 서브 블록을 기본 단위로 하여 수평 필터링 및 수직 필터링을 2단계 파이프 파인 구조로 처리한다. 또한, 하나의 4x16 블록에서는 수평 필터링 및 수직 필터링 모두 4x4 블록 단위의 2단계 파이프 라인 구조로 필터링 연산을 수행한다.
도 5 및 6을 참조하여, 본 발명에 따른 파이프 라인 구조를 살펴보면, 첫 번째 4x16 블록에 대한 가로 필터링(I)을 처리한 다음, 첫 번째 4x16 블록에 대한 세로 필터링(I')과 두 번째 4x16 블록에 대한 가로 필터링(II)을 동시에 처리한다. 그런 다음, 두 번째 4x16 블록에 대한 세로 필터링(II')과 세 번째 4x16 블록에 대한 가로 필터링(III)을 동시에 처리한다. 그런 다음, 세 번째 4x16 블록에 대한 세로 필터링(III')과 네 번째 4x16 블록에 대한 가로 필터링(IV)을 동시에 처리한다. 그리고, 마지막으로 네 번째 4x16 블록에 대한 세로 필터링(IV')을 처리한다.
즉, 본 발명에 따른 디블록킹 필터링 방법은, 수평 필터링과 수직 필터링이 파이프 라인 구조로 되어 있으므로, 1, 2, 3, 4 번 서브 블록에 대한 수직 필터링이 수행되는 동안, 5, 6, 7, 8번 서브 블록에 대한 수평 필터링을 수행한다. 그리고, 5, 6, 7, 8번 서브 블록에 대한 수직 필터링이 수행되는 동안, 9, 10, 11, 12 번 서브 블록에 대한 수평 필터링을 수행한다. 그리고, 9, 10, 11, 12 번 서브 블록에 대한 수직 필터링을 수행하는 동안, 13, 14, 15, 16 번 서브 블록에 대한 수평 필터링을 수행하고, 마지막으로 13, 14, 15, 16번 서브 블록에 대한 수직 필터링을 수행한다.
한편, 하나의 4x16 블록에 대해서는, 첫 번째 4x4 서브 블록에 대한 데이터 입력 단계 후, 첫 번째 4x4 서브 블록에 대한 필터링과 두 번째 4x4 서브 블록에 대한 데이터 입력 단계를 동시에 진행한다. 그런 다음, 두 번째 4x4 서브 블록에 대한 필터링과 세 번째 4x4 서브 블록에 대한 데이터 입력 단계를 동시에 진행한다. 그런 다음, 세 번째 4x4 서브 블록에 대한 필터링과 네 번째 4x4 서브 블록에 대한 데이터 입력 단계를 동시에 진행한다. 그리고 마지막으로, 네 번째 4x4 서브 블록에 대한 필터링을 수행한다.
예를 들어, 도 5의 첫 번째 4x16 블록 즉, 1, 2, 3, 4번 4x4 서브 블록들의 수평 필터링의 예를 보면, 1번 4x4 서브 블록에 대한 수평 필터링이 진행되는 동안 2번 4x4 서브 블록에 대한 수평 필터링을 위해 데이터를 입력한다. 이러한 방식으로 2번 4x4 서브 블록에 대한 수평 필터링이 진행되는 동안 3번 4x4 서브 블록에 대한 수평 필터링을 위해 데이터를 입력한다. 또한, 3번 4x4 서브 블록에 대한 수평 필터링이 진행되는 동안 4번 4x4 서브 블록에 대한 수평 필터링을 위해 데이터를 입력한다. 그리고 마지막으로 4번 4x4 서브 블록에 대한 수평 필터링을 수행한다.
따라서, 본 발명에 따른 디블록킹 필터링 방법은 4x16 단위 블록에 대해서 가로 필터링과 세로 필터링을 동시에 처리할 수 있다. 또한, 각각의 가로 필터링과 세로 필터링은 각각 4x4 단위 블록에 대해서 데이터 입력과 필터링 연산을 동시에 처리할 수 있다.
또한, 본 발명에 따른 필터링 방법은 필터링 연산에 소요되는 시간을 최소화하기 위해, 휘도 성분에 대한 필터링 연산과 동시에 채도 성분에 대한 필터링 연산 을 수행한다.
한편, 이와 같이 필터링 연산을 고속의 파이프 라인 구조로 처리하는 기능은 도 4에 도시된 본 발명에 따른 디블록킹 필터(400)와 같이 레지스터 버퍼 어레이(416)를 통해서 달성된다. 즉, 본 발명에 따른 필터링 방법은, 4x16을 기본 단위로 수평 및 수직 필터링이 수행되는데 4x4 단위의 필터링 연산시 메모리 억세스를 없애기 위해 레지스터 버퍼 어레이(416)를 사용하여, 필터링이 끝난 4x4 블록에 대해서 다음 수직 필터링에 사용한다. 따라서, 다음 필터링을 위해 내부 버퍼 메모리에 저장하는 과정을 생략할 수 있고, 이로 인해 메모리 억세스 사이클을 줄일 수 있다.
도 7은 본 발명에 따른 디블록킹 필터링 방법의 일 실시예를 나타낸 흐름도이다.
도 7을 참조하여, 본 발명에 따른 필터링 방법을 살펴보면, 먼저, 최초 수직 에지에 대한 수평 필터링을 하기 위함 A 매크로 블록과 첫 번째 4x4 X 매크로 블록 데이터를 내부 X 버퍼 메모리로부터 판독하여 레지스터 버퍼 어레이로 저장하여 필터링할 데이터를 준비한다(단계 701). 데이터 준비가 끝나면 수직 에지 인지를 판별하고(단계 702), 수직 에지라면 수평 필터링을 수행한다(단계 703)할 수 있다. 필터링 연산과 동시에 다음 수평 필터링에 대한 X 매크로 블록의 두 번째 4x4 서브 블록 데이터를 레지스터 버퍼 어레이에 준비한다(단계 704). 그리고, 수평 필터링이 완료된 데이터와 다음 4x4 서브 블록 데이터로 레지스터 버퍼 어레이를 업데이트 한다(단계 707). 이 과정을 4x4 수평 필터링이 끝날 때까지 반복한다(단계 708 및 709). 동시에, 수평 필터링이 진행되는 동안 첫 번째 또는 두 번째 수직 필터링을 위한 B 매크로 블록의 4x16 데이터를 외부 메모리로부터 레지스터 버퍼 어레이에 준비한다(단계 710 및 711).
파이프 라인 구조로 된 수평 필터링 과정을 4개의 수직 에지에 대한 처리가 끝나면 수직 필터링이 가능하다(단계 705). 또한, 수평, 수직 필터링이 모두 끝난 A 매크로 블록의 데이터는 출력이 가능하다(단계 718)
수직 필터링은 수평 필터링된 X 매크로 블록의 4x16 블록 데이터와 B 매크로 블록의 4x16 블록의 데이터를 이용하여 4x4 단위의 파이프 라인 구조에 따라 수행되며(단계 705), 이와 동시에 다음 수직 에지에 대해서 앞서 설명한 수평 필터링 과정을 수행하게 된다(단계 703). 그리고, 수직 필터링이 완료된 데이터와 수평 필터링된 4x4 서브 블록 데이터로 레지스터 버퍼 어레이를 업데이트 한다(단계 712). 이 과정을 4x4 수직 필터링이 끝날 때까지 반복한다(단계 713 및 714).
이렇게 수직 필터링이 끝나면 다음 매크로 블록의 디블록킹 필터링을 위해서 X 매크로 블록의 네 번째 4x16 블록 데이터는 A 버퍼 메모리에 저장하고(단계 715), 동시에 B 매크로 블록 데이터는 수직, 수평 필터링이 완료되었으므로 외부 메모리로 출력하기 위해 출력 버퍼 메모리로 저장되었다가 다음 수평, 수직 필터링이 수행되는 동안 외부 메모리로 출력된다(단계 716). 그리고 4x4의 X 매크로 블록의 데이터는 다음 수직 필터링을 위해서 레지스터 버퍼 어레이에 업데이트 된다. 이러한 과정을 모든 수직, 수평 에지에 대해서 수행하면 하나의 매크로 블록에 대한 디블록킹 필터링이 완료되고, 필터링 완료된 데이터는 외부 메모리로 출력된다( 단계 717 및 719).
본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따른 디블록킹 필터 및 필터링 방법에 따르면, 데이터의 입력과 필터링 연산, 수직 필터링과 수평 필터링, 데이터의 출력을 동시에 수행할 수 있는 파이프 라인 구조를 통해 고속의 필터링 연산이 가능하다.

Claims (17)

  1. 디블록킹 필터에 있어서,
    비디오 데이터의 4x4 서브 블록 단위의 경계에 해당하는 에지에 대해서, 4x4 서브 블록의 가로 또는 세로 필터링과 다음 4x4 서브 블록의 데이터 입력을 동시에 수행하는 에지 필터링 연산기;
    필터링을 수행하는 16x16 현재 매크로 블록의 데이터를 저장하기 위한 현재 매크로 블록 버퍼 메모리;
    상기 현재 매크로 블록의 좌측에 이웃하는 매크로 블록의 데이터 중 일부를 저장하기 위한 좌측 매크로 블록 버퍼 메모리;
    필터링 전의 비디오 데이터 및 필터링이 완료된 비디오 데이터를 저장하기 위한 외부 메모리; 및
    현재 필터링을 수행하기 위해 상기 현재 매크로 블록 버퍼 메모리에서 판독한 데이터, 상기 좌측 매크로 블록 버퍼 메모리에서 판독한 데이터 및 상기 외부 메모리에서 판독한 상기 현재 매크로 블록의 상부에 이웃하는 데이터를 저장하기 위한 레지스터 버퍼 어레이를 포함하며,
    상기 디블록킹 필터는, 상기 비디오 데이터의 16x16 매크로 블록에 대응하는 가로 에지 및 세로 에지들을 4x4 서브 블록 단위의 에지로 등분하고, 4x16 크기의 블록에 대해 수직 필터링과 다음 4x16 크기의 블록에 대해 수평 필터링을 동시에 수행하는 것을 특징으로 하는 디블록킹 필터.
  2. 제 1 항에 있어서,
    상기 디블록킹 필터는, 상기 에지 필터링 연산기에서 필터링이 완료된 데이터를 일시 저장하기 위한 필터링 출력 버퍼 메모리를 더 포함하는 것을 특징으로 하는 디블록킹 필터.
  3. 제 2 항에 있어서,
    상기 현재 매크로 블록 버퍼 메모리, 상기 좌측 매크로 블록 메모리 및 상기 출력 버퍼 메모리 각각은 필터링 연산의 파이프 라인 구조를 위해 2개 이상의 버퍼 메모리로 구성되는 것을 특징으로 하는 디블록킹 필터.
  4. 제 2 항에 있어서,
    상기 디블록킹 필터는,
    상기 외부 메모리로부터 필터링에 필요한 데이터를 각각 판독하여 상기 현재 매크로 블록 버퍼 메모리, 및 상기 좌측 매크로 블록 버퍼 메모리에 저장하는 것을 제어하는 외부 메모리 제어기; 및
    상기 현재 매크로 블록 버퍼 메모리, 상기 좌측 매크로 블록 버퍼 메모리 및 상기 외부 메모리로부터 각각, 현재 필터링에 필요한 현재 매크로 블록의 데이터, 상기 현재 매크로 블록의 좌측에 이웃하는 데이터 및 상기 현재 매크로 블록의 상부에 이웃하는 데이터를 판독하여 레지스터 버퍼 어레이에 저장하는 것을 제어하는 레지스터 버퍼 어레이 제어기를 더 포함하는 것을 특징으로 하는 디블록킹 필터.
  5. 제 4 항에 있어서,
    상기 레지스터 버퍼 어레이는,
    상기 4x4 서브 블록 데이터를 상기 현재 매크로 블록 버퍼 메모리에서 판독하며, 상기 4x4 서브 블록 데이터의 좌측에 이웃하는 데이터를 상기 좌측 매크로 블록 버퍼 메모리에서 판독하고, 상기 4x4 서브 블록 데이터의 상부에 이웃하는 데이터를 상기 외부 메모리에서 판독하여 저장하며,
    상기 필터링 연산기에서 연산된 4x4 서브 블록 데이터를 임시 저장하여 다음 에지의 필터링 시 제공하는 것을 특징으로 하는 디블록킹 필터.
  6. 제 4 항에 있어서,
    상기 디블록킹 필터는,
    에지 필터링 시 실제 영상의 에지 부분은 살리고 과도한 필터링이 일어나지 않도록 필터링 강도를 결정하는 필터링 강도 생성기; 및
    에지 필터링 시 필터링 수행 유무를 최종 결정하기 위한 임계치 값을 생성하는 임계치 생성기를 더 포함하며,
    상기 필터링 강도 생성기는 상기 에지 필터링 연산기의 외부에 구성되는 것을 특징으로 하는 디블록킹 필터.
  7. 제 6 항에 있어서,
    상기 필터링 강도 생성기는, 움직임 벡터 생성 과정에서 발생한 움직임 벡터를 이용하여, 상기 움직임 벡터 생성 과정과 동시에 필터링 강도를 생성하는 것을 특징으로 하는 디블록킹 필터.
  8. 제 1 항에 있어서,
    상기 필터링 연산기는, 상기 4x4 서브 블록의 수직 또는 수평 에지를 동시에 필터링을 수행할 수 있도록 휘도 또는 채도 성분에 대해서 독립적으로 동작하는 4개의 필터링 엔진을 포함하는 것을 특징으로 하는 디블록킹 필터.
  9. 제 4 항에 있어서,
    상기 디블록킹 필터는,
    상기 현재 매크로 블록 버퍼 메모리, 상기 좌측 매크로 블록 버퍼 메모리 및 상기 필터링 출력 버퍼 메모리의 데이터 입출력을 제어하는 버퍼 메모리 제어기를 각각 구비하는 것을 특징으로 하는 디블록킹 필터.
  10. 제 1 항에 있어서,
    상기 디블록킹 필터는,
    상기 비디오 데이터의 휘도 성분(Luminance component)에 대한 필터링 연산과 채도 성분(chrominance component)에 대한 필터링 연산을 동시에 수행하는 것을 특징으로 하는 디블록킹 필터.
  11. 제 1 항에 있어서,
    상기 비디오 데이터는 H.264/AVC 비디오 코덱을 이용한 데이터인 것을 특징으로 하는 디블록킹 필터.
  12. 비디오 데이터의 압축 시 발생하는 블로킹 효과를 제거하기 위한 디블록킹 필터링 방법에 있어서,
    상기 비디오 데이터의 매크로 블록에 대응하는 가로 에지 및 세로 에지들을 4x4 의 서브 블록에 대응하는 가로 에지 및 세로 에지로 등분하는 단계; 및
    상기 매크로 블록의 16 개의 4x4 서브 블록들 중 상측 가로 라인부터 하측 가로 라인 방향으로 4x16 블록 단위로 디블록킹 필터링을 처리하는 단계를 포함하며,
    상기 디블록킹 필터링 처리 단계는, 상기 4개의 4x4 서브 블록들의 세로 에지에 대한 가로 필터링을 순차적으로 진행한 후 가로 에지에 대한 세로 필터링을 순차적으로 진행하는 것을 특징으로 하는 디블록킹 필터링 방법.
  13. 제 12 항에 있어서,
    상기 디블록킹 필터링 처리 단계는,
    첫 번째 4x16 블록의 가로 필터링을 처리하는 단계,
    두 번째 4x16 블록의 가로 필터링 및 첫 번째 4x16 블록의 세로 필터링을 동시에 처리하는 단계;
    세 번째 4x16 블록의 가로 필터링 및 두 번째 4x16 블록의 세로 필터링을 동시에 처리하는 단계;
    네 번째 4x16 블록의 가로 필터링 및 세 번째 4x16 블록의 세로 필터링을 동시에 처리하는 단계; 및
    네 번째 4x16 블록의 세로 필터링을 처리하는 단계를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  14. 제 13 항에 있어서,
    상기 매크로 블록 중 어느 4x16 블록의 가로 또는 세로 필터링 시,
    첫 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계;
    상기 첫 번째 4x4 서브 블록에 대한 필터링과 동시에 두 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계;
    상기 두 번째 4x4 서브 블록에 대한 필터링과 동시에 세 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계;
    상기 세 번째 4x4 서브 블록에 대한 필터링과 동시에 네 번째 4x4 서브 블록에 대한 데이터를 입력받는 단계; 및
    상기 네 번째 4x4 서브 블록에 대한 필터링 단계를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  15. 제 14 항에 있어서,
    어느 한 4x4 서브 블록의 가로 또는 세로 필터링 시
    상기 4x4 서브 블록의 4개의 화소 라인에 대한 필터링은 동시에 진행되는 것을 특징으로 하는 디블록킹 필터링 방법.
  16. 제 12 항에 있어서,
    상기 디블록킹 필터링 처리 단계는,
    상기 비디오 데이터의 휘도 성분(Luminance component)에 대한 필터링 연산과 채도 성분(chrominance component)에 대한 필터링 연산을 동시에 수행하는 것을 특징으로 하는 디블록킹 필터링 방법.
  17. 제 12 항에 있어서,
    상기 비디오 데이터는 H.264/AVC 비디오 코덱을 이용한 데이터인 것을 특징으로 하는 디블록킹 필터링 방법.
KR20040107995A 2004-12-17 2004-12-17 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터 KR100843196B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20040107995A KR100843196B1 (ko) 2004-12-17 2004-12-17 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
US11/300,530 US20060133504A1 (en) 2004-12-17 2005-12-14 Deblocking filters for performing horizontal and vertical filtering of video data simultaneously and methods of operating the same
JP2005363935A JP2006174486A (ja) 2004-12-17 2005-12-16 ビデオデータの水平及び垂直フィルタリングを同時に行うデブロッキングフィルタ及び動作方法
CN2005100229651A CN1812576B (zh) 2004-12-17 2005-12-19 同时执行视频数据水平和垂直滤波的解块滤波器及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040107995A KR100843196B1 (ko) 2004-12-17 2004-12-17 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터

Publications (2)

Publication Number Publication Date
KR20060069010A KR20060069010A (ko) 2006-06-21
KR100843196B1 true KR100843196B1 (ko) 2008-07-02

Family

ID=36595730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040107995A KR100843196B1 (ko) 2004-12-17 2004-12-17 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터

Country Status (4)

Country Link
US (1) US20060133504A1 (ko)
JP (1) JP2006174486A (ko)
KR (1) KR100843196B1 (ko)
CN (1) CN1812576B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004825B1 (ko) 2009-08-28 2010-12-28 성균관대학교산학협력단 수평 필터와 수직 필터를 이용하는 파이프라인 구조의 디블록킹 필터 장치
KR101607781B1 (ko) 2011-06-30 2016-03-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI264951B (en) * 2005-05-19 2006-10-21 Cheertek Inc Deblock filter method for applying on video encoding/decoding and the apparatus thereof
US8792554B2 (en) 2006-01-09 2014-07-29 Lg Electronics Inc. Inter-layer prediction method for video signal
JP4834446B2 (ja) * 2006-04-11 2011-12-14 株式会社東芝 画像処理装置
KR100816461B1 (ko) * 2006-04-12 2008-03-26 주식회사 칩스앤미디어 실시간 디블록킹 필터 및 이를 이용한 디블록킹 방법
JP4997817B2 (ja) * 2006-04-19 2012-08-08 セイコーエプソン株式会社 画像処理装置
US7881552B1 (en) * 2006-05-16 2011-02-01 Adobe Systems Incorporated Anti-flicker filter
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
DE102007035204A1 (de) * 2006-07-28 2008-02-07 Mediatek Inc. Videoverarbeitungs- und - betriebsvorrichtung
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
KR100771879B1 (ko) * 2006-08-17 2007-11-01 삼성전자주식회사 내부 메모리 용량을 감소시키는 디블록킹 필터링 방법 및그 방법을 이용하는 영상 처리 장치
US8175405B1 (en) 2006-09-14 2012-05-08 Marvell International Ltd. Adaptive MPEG noise reducer
KR100827106B1 (ko) * 2006-10-20 2008-05-02 삼성전자주식회사 디블록킹 필터에서의 필터 조건 영역 판별을 위한 장치 및방법
KR101370287B1 (ko) 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码系统中去块滤波方法及装置
EP2061250B8 (en) 2007-11-16 2012-02-29 ST-Ericsson SA Deblocking filter
EP2073553A1 (en) * 2007-12-21 2009-06-24 Thomson Licensing Method and apparatus for performing de-blocking filtering of a video picture
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
US20090245351A1 (en) * 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
JP5012647B2 (ja) * 2008-04-30 2012-08-29 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
EP2351374A1 (en) * 2008-11-25 2011-08-03 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
CN101510305B (zh) * 2008-12-15 2010-12-22 四川虹微技术有限公司 一种改进的自适应直方图均衡方法
US8295360B1 (en) * 2008-12-23 2012-10-23 Elemental Technologies, Inc. Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors
JP5253312B2 (ja) * 2009-07-16 2013-07-31 ルネサスエレクトロニクス株式会社 動画像処理装置およびその動作方法
WO2011052097A1 (en) * 2009-10-29 2011-05-05 Nec Corporation Method and apparatus for parallel h.264 in-loop de-blocking filter implementation
JP5183664B2 (ja) * 2009-10-29 2013-04-17 財團法人工業技術研究院 ビデオ圧縮のためのデブロッキング装置及び方法
JP5378344B2 (ja) * 2009-12-07 2013-12-25 韓國電子通信研究院 映像処理のためのシステム
KR101119978B1 (ko) * 2010-04-13 2012-03-16 인하대학교 산학협력단 디블록킹 필터 및 그 방법
MX2013006131A (es) * 2010-12-07 2013-06-28 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
CA2815817C (en) 2010-12-07 2019-01-15 Sony Corporation Image processing device and image processing method
JP2012151690A (ja) * 2011-01-19 2012-08-09 Hitachi Kokusai Electric Inc デブロッキングフィルタ装置、デブロッキングフィルタ処理方法、それを用いた符号化装置および復号化装置
KR102071201B1 (ko) 2011-06-28 2020-01-29 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 기록 매체
WO2013076978A1 (ja) * 2011-11-25 2013-05-30 パナソニック株式会社 画像処理方法および画像処理装置
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
TWI612802B (zh) * 2012-03-30 2018-01-21 Jvc Kenwood Corp 影像解碼裝置、影像解碼方法
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9872044B2 (en) * 2013-05-15 2018-01-16 Texas Instruments Incorporated Optimized edge order for de-blocking filter

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020095761A (ko) * 2001-06-15 2002-12-28 엘지전자 주식회사 비디오 코더의 루프 필터링 방법
JP2003333597A (ja) 2002-03-07 2003-11-21 Seiko Epson Corp 画像処理装置及び画像処理プログラム、並びに画像処理方法
US20040228415A1 (en) 2003-05-13 2004-11-18 Ren-Yuh Wang Post-filter for deblocking and deringing of video data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6865229B1 (en) * 1999-12-14 2005-03-08 Koninklijke Philips Electronics N.V. Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images
US7440504B2 (en) * 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020095761A (ko) * 2001-06-15 2002-12-28 엘지전자 주식회사 비디오 코더의 루프 필터링 방법
JP2003333597A (ja) 2002-03-07 2003-11-21 Seiko Epson Corp 画像処理装置及び画像処理プログラム、並びに画像処理方法
US20040228415A1 (en) 2003-05-13 2004-11-18 Ren-Yuh Wang Post-filter for deblocking and deringing of video data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004825B1 (ko) 2009-08-28 2010-12-28 성균관대학교산학협력단 수평 필터와 수직 필터를 이용하는 파이프라인 구조의 디블록킹 필터 장치
KR101607781B1 (ko) 2011-06-30 2016-03-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체

Also Published As

Publication number Publication date
US20060133504A1 (en) 2006-06-22
CN1812576A (zh) 2006-08-02
JP2006174486A (ja) 2006-06-29
KR20060069010A (ko) 2006-06-21
CN1812576B (zh) 2010-12-15

Similar Documents

Publication Publication Date Title
KR100843196B1 (ko) Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
Chen et al. Analysis and design of macroblock pipelining for H. 264/AVC VLSI architecture
US20060115002A1 (en) Pipelined deblocking filter
US9332264B2 (en) Configurable performance motion estimation for video encoding
KR101158345B1 (ko) 디블록킹 필터링을 수행하는 방법 및 시스템
JP5246264B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
KR102359415B1 (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
US9699451B2 (en) Motion estimation compatible with multiple standards
KR100614647B1 (ko) 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
US20120087412A1 (en) Method for Determining Boundary Strength
KR100842557B1 (ko) 동영상 처리 장치에서 메모리 액세스 방법
US20070195888A1 (en) Intra-Frame Prediction Processing
US20090279611A1 (en) Video edge filtering
JP2007013298A (ja) 画像符号化装置
KR100359208B1 (ko) 고속 디블럭킹 필터 장치
US20060245501A1 (en) Combined filter processing for video compression
US20100014597A1 (en) Efficient apparatus for fast video edge filtering
KR20110020391A (ko) 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법
KR102050238B1 (ko) Hevc 부호기를 위한 효율적인 화면내 예측 모드 결정 시스템 및 방법
Kthiri et al. A parallel hardware architecture of deblocking filter in H264/AVC
KR101004825B1 (ko) 수평 필터와 수직 필터를 이용하는 파이프라인 구조의 디블록킹 필터 장치
Bae et al. Register array structure for effective edge filtering operation of deblocking filter
TW202034699A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式
KR101063423B1 (ko) 디블록 필터링 방법 및 장치
Bae et al. Quarter-pel interpolation architecture in H. 264/AVC decoder

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120531

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee