KR101656009B1 - Hevc의 디블록킹 필터 - Google Patents

Abstract

HEVC의 디블록킹 필터가 개시된다. 영상 데이터를 분할하여 저장하는 메모리, 병렬 연산된 필터 세기값을 저장하는 버퍼 및 필터 세기값을 이용하여 상기 영상 데이터를 필터링하는 데이터 처리부를 구성한다. 따라서 필터링 연산 시간을 단축할 수 있다.

Description

HEVC의 디블록킹 필터{DEBLOCKING FILTER FOR HIGH EFFICIENCY VIDEO CODING}

본 발명은 HEVC의 디블록킹 필터에 관한 것으로, 더욱 상세하게는 필터링 수행 시간을 단축하는 HEVC의 디블록킹 필터에 관한 것이다.

HEVC는 ITU-T와 ISO/IEC가 공동으로 제정 완료한 고해상도 및 고화질 영상을 위한 비디오 압축 코덱으로 압축 효율을 높이기 위해 CU(Coding Unit), PU(Prediction Unit), TU(Transform Unit)와 같은 다양한 블록을 지원하며 각각 블록에서 다양한 사이즈를 지원하고 있다. 디블록킹 필터는 CU내의 PU 및 TU에서 예측 및 양자화로 인해 발생하는 블록 경계의 왜곡을 효 과적으로 제거함으로써 주관적 화질 및 객관적 화질을 향상시키는 기술이다. 최근 광대역 전송의 발전과 함께 차세대 영상 기기에 대한 관심이 증가하면서 UHD급 이상의 고화질 영상에 대한 수요가 증가하고 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 필터링 수행 시간을 단축하는 HEVC의 디블록킹 필터를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명은, 영상 데이터를 분할하여 저장하는 메모리, 병렬 연산된 필터 세기값을 저장하는 버퍼 및 필터 세기값을 이용하여 영상 데이터를 필터링하는 데이터 처리부를 제공한다.

여기에서, 메모리는 현재 픽셀에 대한 다수의 분할 메모리와 상위 픽셀에 대한 이중 분할 메모리를 포함한다.

이때, 데이터 처리부는 영상 데이터에 대한 픽셀 읽기, 영상 데이터에 적용할 필터를 선택하는 필터 선택, 선택된 필터를 영상 데이터에 적용하는 필터 연산, 필터링된 영상 데이터를 메모리에 쓰는 픽셀 쓰기의 4단 파이프라인으로 구성된다.

이때, 데이터 처리부는 두 개의 필터 구조로 구성된다.

이때, 데이터 처리부는 분할된 메모리 구조에서 가로로 필터링을 수행한 다음, 세로로 필터링을 수행한다.

이때, 데이터 처리부는 메모리 영역을 분할하고 분할된 영역별로 필터링과 메모리 저장을 동시에 처리한다.

상기와 같은 본 발명에 따른 HEVC의 디블록킹 필터를 이용할 경우에는 필터링 수행 시간을 단축할 수 있다.

또한, 필터링 수행에서 저전력을 달성하는 장점이 있다.

도 1은 HEVC 디블록킹 필터의 필터링 수행 방법을 보인 예시도이다.
도 2는 본 발명의 일실시예에 따른 HEVC의 디블록킹 필터의 구성을 보인 블록도이다.
도 3은 도 2의 메모리 구조를 보인 예시도이다.
도 4는 도 2의 데이터 패스 모듈의 4단 파이프라인 구조를 보인 블록도이다.
도 5는 도 2의 데이터 패스 모듈의 두 개의 필터 구조를 보인 예시도이다.
도 6은 도 2의 4단 파이프라인의 메모리 수행 과정을 보인 예시도이다.
도 7은 도 2의 메모리 필터링 순서를 보인 예시도이다.
도 8은 도 2의 필터링 순서에 따른 메모리 처리 과정을 보인 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 HEVC 디블록킹 필터의 필터링 수행 방법을 보인 예시도이다.

HEVC 디블록킹 필터의 필터링 수행 방법은 여섯 단계로 구성된다.

디블록킹 필터의 첫 번째 단계인 경계 결정(Boundary decision)은 디블록킹 필터를 적용하기 위한 경계 위치를 결정한다. 단, 첫 번째 단계에서 필터링이 필요한 위치만을 결정하는 것이며, 실제 필터링의 수행 여부는 네 번째 단계인 필터 온/오프 단계에서 결정된다. 디블록킹 필터를 위한 경계의 종류는 CU(Coding Unit) 경계, PU(Prediction Unit) 경계, TU(Transform Unit) 경계 세 가지로 나눠진다. 하나의 CU 경계는 PU 또는 TU 경계가 되기 때문에 필터링을 수행해야 하는 경계 대상이다. 두번째 단계인 Bs Calculation은 경계 강도 결정 단계이며 경계에 인접한 블록의 특성에 따라 다른 강도의 디블록킹 필터를 수행하기 위해 경계 강도 BS(Boundary Strength)를 결정한다. 세 번째 단계인 Decision of β, tc단계는 필터링 수행 여부 및 필터링 선택 등의 임계값으로 사용되는 β와 tc를 결정한다. 네 번째 단계인 필터 온/오프(Filter on/off decision) 단계는 필터링 유닛 단위로 필터링 수행 여부를 결정한다. 다섯 번째 단계인 필터 결정(Filter decision) 단계는 필터링 선택을 통해 강 필터(Strong filter) 혹은 약 필터(Weak filter)를 결정한다. 여섯 번째 단계는 픽셀 데이터를 정해진 필터로 필터링 수행한다.

도 2는 본 발명의 일실시예에 따른 HEVC의 디블록킹 필터의 구성을 보인 블록도이다.

UHD 영상을 위한 고성능 HEVC 디블록킹 필터 하드웨어 구조는 필터 수행 시간을 단축하기 위해 두 개의 필터로 구성된 4단 파이프라인 구조와 경계 강도 모듈을 병렬적인 구조로 설계한다. 또한 저전력 하드웨어 구조를 위해 파이프라인의 단계를 클록 게이팅으로 설계하고, 파이프라인에서 단일 포트 SRAM에 접근할 때 발생하는 해저드 문제를 해결하기 위해 분할된 메모리 구조로 설계한다.

하드웨어 구조는 기본적으로 3232 크기의 quarter LCU단위로 필터링을 수행하며, 필터링에 사용될 상위 픽셀 및 현재 픽셀이 저장될 메모리(110), 필터링 연산을 담당하는 두 개의 필터와 클록 게이팅을 사용한 4단 파이프라인 데이터 패스(Data Path) 모듈(120), 경계강도를 계산하는 경계 강도 결정(BS Decision) 모듈(130), 전반적인 데이터를 컨트롤하는 데이터 컨트롤러(Data Controller) 모듈(140)로 구성된다.

메모리(110)는 읽기/쓰기가 동시에 발생하는 것을 피하기 위해 10개의 분할 메모리 구조를 가지고, 데이터 패스 모듈(120)은 4단 파이프라인 구조와 두 개의 필터 구조를 가지고, 경계 강도 결정 모듈(130)은 필터 세기값을 병렬로 계산하여 버퍼에 저장하는 구조를 가지고, 데이터 컨트롤러 모듈(140)은 이미지 데이터가 메모리(110)에 입력되고, 경계 강도 결정 모듈(130)에 필터 세기값을 연산하는 입력값이 입력되고, 메모리(110)의 이미지 데이터가 데이터 패스로 입력되어 4단 파이프라인과 두 개 필터 구조로 필터링되고 병렬 연산된 필터 세기값이 데이터 패스 모듈(120)에 입력되어 필터링 연산에 사용되는 데이터 흐름을 제어한다.

경계 강도(BS) 결정 모듈(130)은 적은 연산기와 비교기들로 설계를 할 수 있다. 경계 강도 결정 모듈(130)의 수행 사이클은 전체 수행 사이클에 많은 수행 사이클을 차지한다. 3232 픽셀을 필터링하는데 106 사이클이 필요하고 BS 결정 모듈(130)은 32 사이클을 차지한다. BS 결정 모듈(130)이 전체 필터링 수행 사이클의 약 30%를 차지한다. BS 결정 모듈(130)의 병렬 설계로 로직 게이트는 적게 증가하고 전체 수행 사이클 수는 대폭 줄일 수 있다. 병렬적인 BS 결정 모듈(130)에 인해 전체 수행 사이클인 106 사이클에서 75 사이클로 수행 사이클을 감소할 수 있다.

경계 강도 결정 모듈(130)은 병렬 구조를 가지며 필터 세기값을 병렬로 계산하고 계산된 필터 세기값을 버퍼에 저장한다. 버퍼에 저장된 필터 세기값은 데이터 패스 모듈(120)에 입력되어 필터 연산에 사용된다.

도 3은 도 2의 메모리 구조를 보인 예시도이다.

디블록킹 필터의 파이프라인 구조에서 발생하는 해저드는 모두 메모리 접근 동작의 경우 발생한다. 따라서 하드웨어 구조는 분할된 메모리 구조를 사용함으로써 해저드 문제를 해결할 수 있다. 본 발명에서 제안하는 디블록킹 필터의 메모리는 10개의 단일 포트 메모리 구조이다. 현재 픽셀에 대한 메모리 8개(Current0~7), 상위 픽셀에 대한 메모리 2개(Above0~1)를 사용하여 메모리를 교차로 읽기/쓰기 함으로써 이중 포트 메모리를 사용하지 않고 해저드를 해결할 수 있다.

메모리는 저전력을 달성하고 파이프라인 구조에서 발생하는 읽기/쓰기의 동시 발생을 해결하기 위해 10개의 분할 메모리를 가진다.

해저드 문제는 4단 파이프라인에서 쓰기와 읽기가 한 메모리에서 동시에 실행될 때 발생한다. 메모리는 제안하는 분할된 메모리로 해저드 문제를 해결할 수 있다.

도 4는 도 2의 데이터 패스 모듈의 4단 파이프라인 구조를 보인 블록도이다.

데이터 패스 모듈은 연속적인 필터링 과정에서 두 개의 필터링 오퍼레이션 사이의 데이터 의존성이 없다면 파이프라인 구조가 적용될 수 있다. 따라서 본 발명에서는 HEVC 디블록킹 필터의 처리율 향상을 위해 최적화된 4단 파이프라인 구조를 제안한다.

데이터 패스 모듈에서 제안하는 필터의 4단 파이프라인은 메모리 읽기, 임계값 및 전처리, 필터 연산, 메모리 쓰기로 구성된다. 첫번째 단계인 메모리 읽기 단계에서는 메모리로부터 필터링을 위한 픽셀 데이터를 읽고, 정렬한 후 다음 단계로 픽셀 데이터를 할당한다. 파이프라인의 각 단계마다 추가적인 컨트롤 신호를 사용하여 클록 게이팅을 적용함으로써 전력소모를 감소시켰다. 만약 현재의 BS값이 0이라면 이어지는 파이프라인 단계는 모두 NOP(No-Operation)로 처리된다. 두 번째 단계인 임계값 계산 및 전처리 단계는 필터링 온/오프의 조건을 검사하기 위해 룩업테이블을 참조하여 와 tc값을 결정하고 세 번째 단계인 필터 연산 단계의 연산 부담을 줄여주기 위해 강한 필터와 약한 필터의 조건에 사용할 수식의 일부를 미리 계산한다. 또한 강한 필터와 약한 필터 중 어느 필터로 필터링 할지를 선택한다. 만약 필터링 온/오프에서 오프일 경우, 세 번째 단계가 NOP로 처리된다. 세 번째 단계인 필터 연산 단계에서는 계산된 임계값과 경계 강도에 따라 입력된 픽셀들을 각기 다른 탭의 필터를 적용하여 연산하며 완료된 데이터는 마지막 네 번째 단계인 메모리 쓰기 단계에서 다음 필터링에 사용하기 위해 메모리에 저장한다.

4단 파이프라인 구조의 첫 번째와 마지막 단계는 메모리에서 픽셀을 읽어 오거나 저장하는 단계로서 매 클록마다 픽셀 데이터를 패치하고 필터링되지 않더라도 이후 동작을 위해 외부 메모리에 저장해야 하므로 항상 활성화된다. 두 번째 단계에서는 앞단에서 계산된 경계 강도 값이 0일 경우 필터링을 수행하지 않으므로 클록을 비활성화한다. 세 번째 단계에서도 마찬가지로 경계 강도 값이 0일 경우 클록을 비활성화하며 추가적으로 두 번째 단계에서 계산된 필터링 온/오프조건을 검사하여 오프 조건일 경우에도 클록을 비활성화한다.

제안하는 구조에서는 클록 게이팅 인에이블 신호의 타이밍 안정화를 위해 래치-기반 클록 게이팅 회로를 사용한다.

도 5는 도 2의 데이터 패스 모듈의 두 개의 필터 구조를 보인 예시도이다.

데이터 패스 모듈은 4단 파이프라인에서 사용된 두 개의 필터 구조를 가진다. HEVC 디블록킹 필터는 88블록에서 상위 48블록을 먼저 필터링한 후 나머지 48블록을 필터링 한다. HEVC 디블록킹 필터는 적응적으로 필터링이 처리되기 때문에 병렬적으로 필터링을 실행할 수 있다. 제안하는 디블록킹 필터는 수직 에지의 경계면을 먼저 필터링하고 수평 에지의 경계면을 필터링해야 한다. 데이터 패스 모듈은 88블록의 한 경계면을 두 번에 나눠서 처리하지 않고 두 개의 필터를 사용하여 한 번에 88 블록의 경계면을 처리한다. 메모리에서 읽어온 88 블록을 48 블록으로 각각 DATAPATH1과 DATAPATH2에 입력된다. 각각의 DATAPATH에서 파이프라인으로 필터링 된 후 다시 메모리로 출력된다.

도 6은 도 2의 4단 파이프라인의 메모리 수행 과정을 보인 예시도이다.

4단 파이프라인의 메모리 수행 과정을 나타낸다. 데이터 패스 모듈은 각 파이프라인 연산을 통해 메모리 접근이 각각 다르다는 것을 알 수 있다. Current memory0은 슬롯1에서 메모리 읽기를 하고 슬롯 3에서 다시 메모리 읽기를 한다. 한 슬롯을 건너뛰는 동작을 하기 때문에 동시에 메모리 읽기와 메모리 쓰기를 하는 경우가 없다. 따라서 데이터 패스 모듈은 제안하는 분할된 메모리 구조를 이용하여 해저드 문제를 해결할 수 있다.

도 7은 도 2의 메모리 필터링 순서를 보인 예시도이다.

메모리에서 제안하는 필터링 순서는 디블록킹 필터의 앞부분에서 디블록킹 필터의 메모리에 데이터가 저장될 때 발생하는 지연 시간을 줄일 수 있다. 제안하는 필터링 순서를 나타낸다. 원안에 있는 번호는 필터링 순서를 나타내고 번호 순서대로 필터링을 수행한다.

메모리에서 필터링 순서는 가로로 먼저 필터링한 다음 세로로 필터링한다. 번호는 필터링 순서를 나타낸다. 가로로 1에서 3까지 필터링을 진행한 다음 4부터 7까지 세로로 필터링을 수행한다. 다음 8에서 11까지 가로로 필터링을 진행한다. 이러한 필터링 순서는 31까지 진행한다.

도 8은 도 2의 필터링 순서에 따른 메모리 처리 과정을 보인 예시도이다.

필터링 순서에 따른 메모리 처리 과정을 나타낸다. Current Pixel memory 부분에서 1-Segment를 필터링한 후 2-Segment를 필터링 수행할 때 1-Segment는 디블록킹 필터 앞단에서 디블록킹 필터의 참조 메모리로 데이터를 저장한다.

1-Segment가 필터링할 때에는 2-Segment의 메모리에 데이터를 저장한다. 이와 같은 동작으로 참조 메모리가 저장될 때 생기는 지연시간을 감소시킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110: 메모리 120: 데이터 패스 모듈
130: 경계 강도 결정 모듈 140: 데이터 컨트롤러 모듈

Claims (6)

1. HEVC의 디블록킹 필터에서,
   상위 픽셀에 대한 2개의 분할 메모리와 현재 픽셀에 대한 8개의 분할 메모리를 구비하여 영상 데이터를 분할하여 저장하도록 하는 메모리,
   병렬 구조를 가지고, 경계 강도를 계산하며 필터 세기값을 병렬로 계산하는 경계 강도 결정 모듈,
   상기 경계 강도 결정 모듈과 연결되어 있고, 상기 경계 강도 결정 모듈에 의해 계산된 필터 세기값을 저장하는 버퍼, 그리고
   상기 메모리와 상기 버퍼에 연결되고, 메모리 읽기, 임계값 및 전처리, 필터 연산, 그리고 메모리 쓰기로 구성된 4단 파이프라인 구조와 두 개의 필터 구조를 갖고 있어, 상기 메모리로부터 영상 데이터가 데이터 패스로 입력되어 상기 4단 파이프라인과 상기 두 개의 필터 구조에 의해 필터링되고, 상기 버퍼로부터 필터 세기값이 입력되어 상기 필터 세기값을 이용하여 상기 영상 데이터를 필터링하는 데이터 패스 모듈을 포함하는 것을 특징으로 하는 HEVC의 디블록킹 필터.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에서,
   상기 데이터 패스 모듈은 분할된 메모리 구조에서 가로로 필터링을 수행한 다음, 세로로 필터링을 수행하는 HEVC의 디블록킹 필터.
6. 삭제

Images