KR101826353B1 - 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치 - Google Patents

Abstract

본 발명은 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치에 관한 것으로, 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction)에 의해 현재블록에 대한 예측블록을 생성하는 예측부; 상기 현재블록과 상기 예측블록을 이용하여 생성한 잔여블록을 변환 및 양자화하는 잉여데이터 부호화부; 변환 및 양자화된 상기 잔여블록을 역양자화 및 역변환함으로써 상기 잔여블록을 복호화하는 잉여데이터 복호화부; 및 복호화된 상기 잔여블록과 상기 예측블록을 이용하여 복원한 복원블록 및 상기 복원블록에 인접한 인접블록의 인터 예측정보 및 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하며, 상기 인트라 예측정보는 인트라 예측블록의 크기 및 인트라 예측모드 중 적어도 하나를 포함하는 것을 특징으로 한다.

Description

디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치{Deblocking Filtering Method and Apparatus, Method and Apparatus for Encoding and Decoding Using Deblocking Filtering}

본 발명은 영상 부호화 및 복호화 과정에서 발생하는 블록킹 효과를 감소시키기 위한 디블록킹 필터링 방법 및 장치와 이를 이용한 부호화 및 복호화 방법과 장치에 관한 것이다.

비디오 부호화에서 영상을 블록 단위로 부호화한 후 복원하는 경우, 블록 단위의 예측 및 양자화로 인해 블록 경계에서 왜곡이 발생하는데, 이렇게 블록 경계에서 왜곡이 발생하는 현상을 블록킹 효과(Blocking Artifact)라 한다.

MPEG-1, MPEG-2, H.263 등 기존의 비디오 부호화 표준에서는 이러한 블록킹 효과에 대한 아무런 처리 없이 복원 영상을 참조픽처 메모리에 저장한다. 따라서, 영상의 주관적 화질을 열화시키고, 더 나아가 움직임 보상 과정 중 블록킹 효과가 포함된 영상을 참조하기 때문에 부호화 된 영상에 화질 열화가 누적되고, 화질 열화가 누적된 영상을 참조함으로써 부호화 효율이 감소하는 문제점이 있다.

종래의 H.264/AVC는 이러한 문제를 해결하기 위해, 복원된 영상을 픽처 메모리에 저장하기 전에 디블록킹 필터를 적용하여 블록킹 효과를 최소화함으로써, 주관적 화질을 증가시키고 보다 정교한 신호 예측을 통해 부호화 효율을 향상시킨다. 그러나 블록킹 효과가 나타나지 않는 영상에 대해 디블록킹 필터링을 수행하게 되면, 불필요한 연산이 증가하게 되고, 의도하지 않은 불필요한 화질 열화가 발생할 수 있다. 따라서 보다 효과적인 디블록킹 필터링을 수행하기 위해서는 블록킹 현상의 정도를 구분하여 서로 다른 강도의 디블록킹 필터링을 적응적으로 수행해야 한다.

따라서, H.264/AVC 표준은 블록킹 효과의 정도에 따라 디블록킹 필터링을 적응적으로 수행하고 있다. 즉, 블록 경계마다 필터 처리 강도를 결정하는 경계세기(Bs: Boundary Strength) 값을 결정하고, 결정된 경계세기 값에 따라 서로 다른 강도의 디블록킹 필터링을 수행하는 것이다. 경계세기는 0부터 4까지의 값을 가지며, 값이 클수록 더 강한 디블록킹 필터링이 수행되어야 함을 의미한다. 즉, 경계세기의 값이 0이면 디블록킹 필터링이 수행되지 않고, 필터링 강도의 값이 4이면 가장 강한 디블록킹 필터링이 수행된다.

디블록킹 필터링을 사용하는 종래 기술인 H.264/AVC 표준의 상세한 디블록킹 필터링 방법은 다음과 같다.

도 1은 종래의 H.264/AVC 표준에서 사용하는 디블록킹 필터링이 적용되는 블록 단위 및 순서를 도시한 도면이다.

H.264/AVC 표준은 변환블록에 따라 디블록킹 필터링이 적용되는 블록 단위를 결정한다. 즉, 4×4 단위의 변환블록이 사용되면, 디블록킹 필터링이 적용되는 블록도 4×4 단위가 된다. H.264/AVC 표준은 4×4 단위의 변환블록 외에 8×8 단위의 변환블록을 사용할 수 있다. 따라서 8×8 단위의 변환블록이 사용되면, 디블록킹 필터링이 적용되는 블록도 8×8 단위가 된다. 설명의 편의를 위해, 도 1에서는 4×4 단위의 변환블록이 사용되는 경우를 가정한다.

도 1을 참조하면, 16×16 단위의 휘도신호 블록에 대해서 4×4 단위 블록의 수직 방향(a, b, c, d)과 수평 방향(e, f, g, h) 순서로 디블록킹 필터링이 수행되고, 8×8 단위의 색차신호 블록에 대해서도 휘도신호 블록과 동일하게 4×4 단위 블록의 수직 방향(i, j)과 수평 방향(k, l) 순서로 디블록킹 필터링이 수행된다.

도 2는 경계세기를 결정하기 위한 인접하는 블록 P 및 블록 Q의 픽셀 p0, p1, p2, p3 및 q0, q1, q2, q3를 도시한 도면이고, 도 3은 H.264/AVC 표준에서 경계세기를 결정하는 과정을 도시한 도면이다.

도 3을 참조하면, 도 2에 도시한 블록 P 또는 블록 Q가 인트라 예측블록인지 여부를 판단하고(S310), 블록 P 또는 블록 Q가 인트라 예측블록인 경우, p0 및 q0가 매크로블록 경계에 위치하는지 여부를 판단한다(S320). p0 및 q0가 매크로블록 경계에 위치하면 경계세기의 값이 4이고, p0 및 q0가 매크로블록 경계에 위치하지 않으면 경계세기의 값이 3이 된다.

S310 단계의 판단결과, 블록 P 및 블록 Q가 모두 인터 모드일 경우, p0 또는 q0가 위치한 블록에 잉여 데이터의 0이 아닌 변환계수가 있는지 여부를 판단하고(S330), 0이 아닌 변환계수가 존재하면 경계세기의 값이 2가 된다.

그러나 0이 아닌 변환계수가 존재하지 않으면 p0 와 q0가 서로 다른 참조 픽처를 사용하거나 서로 다른 움직임 벡터 값을 가지는 경우 경계세기가 1이 되고, 그렇지 않으면 경계세기가 0이 된다(S340).

즉, H.264/AVC 표준은 블록 단위의 예측 및 양자화에 의해 발생하는 블록 간의 왜곡을 선택적으로 제거하기 위해 양자화 파라미터(QP: Quantization Parameter), 부호화 모드, 움직임 정보(참조픽처, 움직임 벡터)를 고려하여 서로 다른 강도의 디블록킹 필터를 선택적으로 사용하고 있다.

그러나, H.264/AVC 표준은 인터 예측블록에 대해서는 상기와 같이 움직임 정보등을 추가적으로 고려하여 선택적인 디블록킹 필터링을 수행하지만, 인트라 예측블록에 대해서는 매크로블록의 경계인지만을 참조할 뿐 인트라 예측정보를 고려한 선택적인 디블록킹 필터링을 수행하지 않는다. 따라서 인트라 예측블록에 대해 보다 향상된 디블록킹 필터링을 수행하기 위해서는 인트라 예측정보에 따라 적응적으로 디블록킹 필터링을 수행하는 방법이 요구된다.

이러한 요구에 부응하기 위해, 본 발명은 인트라 예측블록에 대해 인트라 예측정보에 따라 적응적으로 디블록킹 필터링을 수행함으로써, 주관적 화질 및 부호화 효율을 향상시키는 것을 목적으로 한다.

이러한 목적을 달성하기 위해 본 발명은, 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction)에 의해 현재블록에 대한 예측블록을 생성하는 예측부; 상기 현재블록과 상기 예측블록을 이용하여 생성한 잔여블록을 변환 및 양자화하는 잉여데이터 부호화부; 변환 및 양자화된 상기 잔여블록을 역양자화 및 역변환함으로써 상기 잔여블록을 복호화하는 잉여데이터 복호화부; 및 복호화된 상기 잔여블록과 상기 예측블록을 이용하여 복원한 복원블록 및 상기 복원블록에 인접한 인접블록의 인터 예측정보 및 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하는 것을 특징으로 하는 부호화 장치를 제공한다.

여기서, 상기 디블록킹 필터부는 상기 복원블록과 상기 복원블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 상기 복원블록과 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 복원블록과 상기 인접블록의 인트라 예측정보, 상기 복원블록과 상기 인접블록의 매크로블록 모드 정보 및 상기 복원블록과 상기 인접블록의 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정할 수 있다.

또한, 상기 디블록킹 필터부는 상기 복원블록이 인트라 예측된 경우, 상기 복원블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 복원블록에 대한 디블록킹 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나에 따라 필터링 강도를 결정할 수도 있다.

또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 근거하여 필터링이 적용되는 대상 화소를 적응적으로 결정할 수 있다.

또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정할 수 있다.

또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소에 대한 필터링 방향을 결정할 수 있다.

또 다른 목적을 위해 본 발명은, 영상신호를 복호화하는 복호화 장치에 있어서, 입력된 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 상기 변환 및 양자화된 잔여블록을 복호화하는 잉여데이터 복호화부; 입력된 인터 예측정보 또는 인트라 예측정보에 근거하여 예측블록을 생성하는 예측부; 및 복호화된 잔여블록과 상기 예측블록을 이용하여 복원블록을 생성하고 상기 복원블록과 상기 복원블록에 인접한 인접블록의 상기 인터 예측정보 및 상기 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하는 것을 특징으로 하는 복호화 장치를 제공한다.

여기서, 상기 디블록킹 필터부는 상기 복원블록과 상기 복원블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 상기 복원블록과 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 복원블록과 상기 인접블록의 인트라 예측정보, 상기 복원블록과 상기 인접블록의 매크로블록 모드 정보 및 상기 복원블록과 상기 인접블록의 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정할 수 있다.

또한, 상기 디블록킹 필터부는 상기 복원블록이 인트라 예측된 경우, 상기 복원블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 복원블록에 대한 디블록킹 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나에 따라 필터링 강도를 결정할 수도 있다.

또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 근거하여 필터링이 적용되는 대상 화소를 적응적으로 결정할 수 있다.

또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정할 수 있다.

또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소에 대한 필터링 방향을 결정할 수 있다.

또 다른 목적을 위해 본 발명은, 두 개의 인접블록 중 어느 하나가 인트라 예측된 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 두 개의 인접블록의 인트라 예측정보, 상기 두 개의 인접블록의 매크로블록 모드 정보 및 상기 두 개의 인접블록의 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정하는 디블록킹 필터링 장치를 제공한다.

또 다른 목적을 위해 본 발명은, 현재블록이 인트라 예측된 경우, 상기 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 현재블록의 디블록킹 방향과 상기 현재블록의 인트라 예측방향이 동일한지 여부 중 적어도 하나에 의해 필터링 강도를 적응적으로 결정하는 디블록킹 필터링 장치를 제공한다.

또 다른 목적을 위해 본 발명은, 두 개의 인접블록 중 어느 하나 이상이 인트라 예측된 경우, 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 인트라 예측정보에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정하는 것을 특징으로 하는 디블록킹 필터링 장치를 제공한다.

여기서, 상기 디블록킹 필터링 장치는 상기 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 적응적으로 결정할 수 있다.

또한, 상기 디블록킹 필터링 장치는 상기 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)를 적응적으로 결정할 수 있다.

또 다른 목적을 위해 본 발명은 전술한 부호화 장치, 복호화 장치 및 디블록킹 필터링 장치에서 수행하는 부호화 방법, 복호화 방법 및 디블록킹 필터링 방법을 제공한다.

본 발명에 의하면, 인트라 예측블록에 대해서도 블록킹 효과를 감소시켜 주관적 화질을 향상시킬 수 있으며, 나아가 부호화 효율을 향상시킬 수 있다.

도 1은 종래의 H.264/AVC 표준에서 사용하는 디블록킹 필터링이 적용되는 블록 단위 및 순서를 도시한 도면,
도 2는 필터링 강도를 결정하기 위한 인접하는 블록 P 및 블록 Q의 픽셀 p0, p1, p2, p3 및 q0, q1, q2, q3를 도시한 도면,
도 3은 H.264/AVC 표준에서 필터링 강도를 결정하는 과정을 도시한 도면,
도 4는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용되는 부호화 장치의 구성을 나타내는 블록도,
도 5는 본 발명의 실시예에 따른 디블록킹 필터부의 구성을 나타내는 블록도,
도 6은 본 발명의 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도,
도 7은 본 발명의 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도,
도 8은 블록 경계 방향과 인트라 예측방향의 동일 여부에 따라 필터링 강도를 결정하는 과정을 설명하기 위한 예시 도면,
도 9는 본 발명의 또 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도,
도 10은 본 발명의 또 다른 실시예에 따른 필터링 강도를 결정하는 과정을 설명하기 위한 예시 도면,
도 11 내지 도 13은 본 발명의 실시예에 따른 필터링 화소 결정부가 필터링을 적용할 대상 화소를 결정하는 과정을 설명하기 위한 도면,
도 14는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용된 복호화 장치의 구성을 나타내는 블록도,
도 15는 H.264/AVC 표준이 규정한 인트라 예측모드를 나타내는 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
460, 1040: 디블록킹 필터부 510: 필터링 강도 결정부
520: 필터링 화소 결정부 530: 필터부

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 4는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용되는 부호화 장치의 구성을 나타내는 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 디블록킹 필터링 장치가 적용되는 동영상 부호화 장치는 예측부(410), 잉여데이터 부호화부(420), 잉여데이터 복호화부(430), 엔트로피 부호화부(440), 부호화 데이터 생성부(450), 디블록킹 필터부(460)를 포함할 수 있다.

부호화하고자 하는 비디오 입력은 블록 단위로 입력될 수 있는데, 매크로블록이 될 수 있다. 본 발명의 실시예에서는, 설명의 편의를 위해 H.264/AVC 표준과 동일한 방법으로 매크로블록을 16×16 형태로 정의하였으나, 보다 일반적으로 매크로블록의 형태는 M×N 일 수 있으며, 특히 M과 N은 각각 16보다 클 수 있고, M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다. 즉, 코딩 유닛(Coding Unit, CU) 또는 LCU (Largest CU) 와 같은 단위도 포괄하는 개념으로 이해되어야 한다.

예측부(410)는 현재블록을 예측하기 위한 매크로블록 모드 중, 어느 하나의 모드를 입력받고, 입력받은 상기 매크로블록 모드에 대응하는 단위(예를 들어, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 화소 단위)로 부호화하고자 하는 현재블록을 예측하여 예측블록을 생성한다.

즉, 예측부(410)는 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction) 등을 이용하여 현재블록을 예측함으로써, 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 가지는 예측블록을 생성한다.

인트라 예측인 경우, 예측부(410)는 현재블록과 공간적으로 주변에 위치하는 사용 가능한 주변 화소값을 이용해 현재블록의 인트라 예측블록을 생성한다. 이 경우, 사용 가능한 인트라 예측모드에 대해 각각 현재블록과 인트라 예측블록간의 에러값을 연산하고, 최소의 에러값을 갖는 인트라 예측모드를 적용하여 인트라 예측블록을 생성한다. 또한, 최소의 에러값을 갖는 인트라 예측모드를 부호화함으로써 인트라 예측모드에 대한 정보를 부호화 데이터 생성부(450)에 제공한다.

본 발명의 실시예에서는, 도 15에서 보는 바와 같이, H.264/AVC 표준과 동일한 방법으로 방향성을 가진 9 개의 인트라 예측모드(4×4, 8×8 인트라 블록인 경우) 및 4 개의 인트라 예측모드(16×16 인트라 블록인 경우)를 예시하였으나, 보다 다양한 방법으로 정의될 수 있다. 예를 들어, M×N 형태의 인트라 예측블록에서 방향성을 가진 L 개의 인트라 예측모드를 사용할 수 있다. 특히, M과 N은 각각 16보다 클 수 있으며, M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다.

인터 예측인 경우, 예측부(410)는 현재픽처와 시간적으로 주변에 위치하는 사용 가능한 모든 참조픽처에 대해 각각 현재블록과 인터 예측블록간의 에러값을 연산하고, 최소의 에러값을 갖는 참조픽처의 인터 예측블록을 현재블록에 대한 인터 예측블록으로 생성한다. 이 경우, 현재블록과 최소의 에러값을 갖는 인터 예측블록의 위치를 기준으로 움직임 벡터를 추정한다. 또한, 추정된 움직임 벡터와 참조픽처에 대한 인덱스 정보를 부호화 데이터 생성부(450)에 제공한다.

인트라 또는 인터 예측 등을 이용하여 생성된 예측블록은 현재블록과 감산하여 잔여블록(Residual Block)을 생성한다. 즉, 현재블록의 각 화소의 원 화소값 (Original Pixel Value)과 예측블록의 각 화소의 예측 화소값의 차이값을 계산함으로써 잔여블록을 생성하고, 이를 잉여데이터 부호화부(420)에 제공한다.

잉여데이터 부호화부(420)는 잔여블록을 변환 및 양자화 연산한 후, 부호화 된 잔여블록을 생성한다. 이 경우, 변환 방식은 하다마드 변환(Hadamard Transform), 이산 코사인 변환 (Discrete Cosine Transform) 등과 같은 공간 영역의 신호를 주파수 영역의 신호로 변환하는 다양한 방법이 이용될 수 있으며, 양자화 방식은 데드존(Dead Zone)을 포함하는 균일 양자화(Uniform Quantization), 양자화 매트릭스(Quantization Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.

본 발명의 일 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하지 않는 크기를 가질 수 있다. 예를 들어, 예측블록의 크기가 16×16 이라면 16×16을 초과하지 않는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 만약, 예측블록의 크기가 8×8 이라면 8×8을 초과하지 않는 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 예측블록의 크기가 4×4 라면, 4×4 변환블록만이 사용될 수 있다. 또한, 상기 변환블록의 크기는 율-왜곡(Rate-Distortion) 최적화 기준으로 선택될 수 있다. 이처럼 변환블록의 크기가 예측블록의 크기를 초과하지 않는 경우에는 잉여데이터 부호화부(420)는 상기 변환블록의 크기와 동일한 서브블록들로 잔여블록을 분할한 후 순차적으로 상기 서브블록들을 변환 및 양자화한다.

본 발명의 다른 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하는 크기를 가질 수도 있다. 예를 들어, 예측블록의 크기가 16×16 인 경우, 32×16, 16×32, 32×32, 64×32, 32×64, 64×64 등의 변환블록이 사용될 수 있다. 이와 같이 변환블록의 크기가 예측블록의 크기보다 큰 경우, 잉여데이터 부호화부(420)는 공간적으로 서로 인접한 복수의 잔여블록들을 결합하여 변환블록의 크기와 동일한, 결합된 잔여블록을 생성한 후 변환 및 양자화한다.

잉여데이터 복호화부(430)는 잉여데이터 부호화부(420)에 의해 변환 및 양자화 된 잔여블록을 역양자화 및 역변환하여 잔여블록을 복원한다. 역양자화와 역변환은 잉여데이터 부호화기(420)가 수행한 변환 과정과 양자화 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 잉여데이터 부호화부(420)와 잉여데이터 복호화부(430)가 사전에 공유하는 동일한 과정의 변환 및 역변환 또는 양자화 및 역양자화를 사용할 수 있고, 또는 잉여데이터 복호화부(430)는 잉여데이터 부호화부(420)의 변환 및 양자화 과정에 의해 발생되어 전달되는 변환 및 양자화 과정에 관한 정보(예를 들어, 변환 크기, 변환 모양, 양자화 타입 등의 정보)를 이용하여 잉여데이터 부호화부(420)의 변환 및 양자화 과정을 역으로 수행함으로써, 역양자화 및 역변환을 수행할 수 있다.

잉여데이터 복호화부(430)를 통해 출력된 잔여블록은 예측부(410)를 통해 복원된 예측블록과 가산되어 복원블록으로 생성된다.

엔트로피 부호화부(440)는 잉여데이터 부호화부(420)로부터 출력되는 잔여블록을 엔트로피 부호화하여 출력한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 부호화부(440)는 잔여블록뿐만 아니라, 부호화된 비트열을 복호화하는데 필요한 다양한 정보들을 부호화 할 수 있다. 여기서 부호화된 비트열을 복호화하는데 필요한 다양한 정보들은, 블록 타입에 대한 정보, 예측모드가 인트라 예측모드인 경우에는 인트라 예측모드에 대한 정보, 예측모드가 인터 예측모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등을 포함할 수 있다.

엔트로피 부호화부(440)는 문맥 적응형 가변장 길이 부호화(CAVLC: Context Adaptive Variable Length Coding), 문맥 적응형 이진 산술 부호화 (CABAC: Context Adaptive Binary Arithmetic Coding) 등 다양한 방법의 엔트로피 부호화 방법을 사용할 수 있다.

부호화 데이터 생성부(450)는 엔트로피 부호화된 잔여블록, 매크로블록 모드 및 부호화된 예측정보(예를 들어, 인트라 부호화의 경우에는 인트라 예측모드, 인터 부호화의 경우에는 참조픽처 인덱스 및 움직임 벡터 등의 정보)를 정렬하여 부호화 데이터로 출력한다.

디블록킹 필터부(460)는 블록 단위의 예측 및 양자화에 의해 발생하는 블록킹 효과를 감소시키기 위해 복원된 현재블록을 필터링한다. 본 발명의 일실시 예에 따르면, 디블록킹 필터부(460)는 복원된 현재블록과 함께 전송되는 블록 단위의 예측에 관한 정보(예를 들어, 인트라 부호화의 경우에는 인트라 예측모드, 인트라 예측블록 크기 등의 정보, 인터 부호화의 경우에는 참조픽처 인덱스 및 움직임 벡터 등의 정보) 또는 변환 및 양자화에 관한 정보(예를 들어, 변환블록의 크기 및 형태, 양자화 파라미터 등의 정보) 등을 이용하여 적응적인 디블록킹 필터링을 수행할 수 있다. 이 경우, 상기 예측 또는 양자화 등에 관한 정보는 부호화 장치의 디블록킹 필터부(460)에 전달될 수 있고, 부호화 데이터 생성부(450)에 의해 부호화 데이터로 생성되어 복호화 장치로 전달될 수 있다.

디블록킹 필터부(460)는 블록 경계 부근의 화소들을 디블록킹 필터링한다. 본 발명의 실시예에서는, 4×4 단위의 변환블록을 사용하는 것으로 가정하여, 도 1과 같이 디블록킹 필터링이 적용되는 블록 단위 및 필터링 순서를 예시하나, 보다 다양한 방법으로 정의될 수 있다. 또한 종래 H.264 표준에 따른 디블록킹 필터링은 4x4 변환 블록 또는 8x8 변환 블록의 경계 화소들을 필터링하였으나, 본 발명은 후술된 실시예에서 설명한 바와 같이, 변환 블록들 간의 경계 영역의 화소들 뿐만 아니라 예측 블록들 간의 경계 영역의 화소들을 상기 예측블록들의 예측 정보에 따라 적응적으로 디블록킹 필터링할 수도 있다.

이하에서는, 도 5 내지 도 13을 참조하여 디블록킹 필터부(460)를 더욱 상세히 설명한다.

도 5는 본 발명의 실시예에 따른 디블록킹 필터부의 구성을 나타내는 블록도이다.

도 5를 참조하면, 상기 디블록킹 필터부(460)는 필터링 강도 결정부(510), 필터링 화소 결정부(520) 및 필터부(530)를 포함할 수 있다.

필터링 강도 결정부(510)는 블록 단위의 예측 및 양자화에 의해 발생하는 블록킹 현상을 적응적으로 제거하기 위해, 필터링이 수행되는 경계가 영상이 실제 가지고 있는 경계에 해당하는지 또는 블록 단위의 예측 및 양자화에 의해 발생하는 경계에 해당하는지 여부를 판단하기 위해 필터링 강도 결정 과정을 수행한다. 필터링 강도 결정부(510)를 통해 얻어진 필터링 강도에 따라 해당 경계에 대한 필터링 수행 여부, 필터링 수행 강도 등이 서로 다르게 적용될 수 있다.

필터링 강도의 조절은 여러 형태로 실현될 수 있다.

가장 간단하게는 필터의 차단 주파수를 조절하여 필터링 강도를 조절할 수 있다. 예를 들어, 차단 주파수가 더 낮도록 필터를 설정하여 필터링 강도를 높히고, 차단 주파수가 더 높도록 필터를 설정하여 필터링 강도를 낮추는 식으로 필터링 강도를 조절할 수 있다.

또 다른 방법은 필터특성을 조절하여 평활화(Smoothing)가 더 많이 되거나 적게 되도록 함으로써 필터링 강도를 높히거나 낮추는 식으로 필터링 강도를 조절할 수 있다.

또 다른 방법은 필터링이 되어 변경되는 화소값의 최대 변경 가능범위가 제한 되도록 조절하는 것이다. 즉, 필터링이 된 화소값과 필터링 되기 의전 화소값과의 차이가 소정의 경계치(tc 라고 하자) 이상이 되지 않도록 하는 것이다. 더욱 구체적으로 필터링 전의 값(이를 A라고 하자)기준으로 필터링 후의 값이 +/- tc 범위 내(즉, A-tc ~ A+tc)에 있도록 제한(이런 과정을 일반적으로 클리핑(Clipping) 이라고 한다)할 수 있다. 예를 들어 tc 가 3인 경우와 4인 경우를 살펴보면, tc 가 3인 경우가 4의 경우보다 필터링 강도가 약하다고 할 수 있다. 필터링으로 변경될 수 있는 값의 변화가 그 만큼 제한되기 때문이다. 즉, Cliiping 이 되는 경계범위(tc)(Clipping threshold)를 조정함으로써 필터링 강도를 조절할 수 있다.

또 다른 방법은 경계세기를 다르게 설정함으로써 필터링 강도를 조절할 수 있다. 이 방법은 필터링 강도를 조정하는 하나의 변수를 경계세기로 설정한 후, 각 경계세기 값에 위에서 설명한 필터링 강도를 조절하는 하나의 방법 또는 하나 이상의 방법들을 조합한 형태가 각각 대응하도록 하는 것이다. 예를 들어, 경계세기가 강한 경우에는 상대적으로 강한 필터링이 되도록 상기의 방법을 구성하여 조합하고, 경계세기가 약한 경우 상대적으로 필터링이 덜 되도록 상기의 방법을 적절히 조합할 수 있을 것이다.

필터링 강도 결정부(510)는 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 현재블록과 인접블록의 인트라 예측정보, 현재블록과 인접블록의 매크로블록 모드 정보 및 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정할 수 있다.

예를 들어, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 0이 아닌 변환계수가 존재하지 않는 경우보다 높은 필터링 강도를 부여할 수 있다.

또한, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록 간의 인트라 예측정보가 동일한지 여부에 따라 적응적으로 필터링 강도를 결정할 수 있다. 예컨대, 현재블록과 인접블록의 인트라 예측정보가 서로 동일하지 않으면 동일한 경우보다 높은 필터링 강도를 부여할 수 있다. 나아가, 현재블록과 인접블록의 인트라 예측정보가 동일하면 디블록킹 필터링을 수행하지 않을 수 있다. 여기서 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함할 수 있다.

또한, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록의 매크로블록 모드 정보가 동일한지 여부를 근거로 필터링 강도를 적응적으로 결정할 수도 있다, 예컨대, 현재블록과 인접블록의 매크로블록 모드 정보가 동일하지 않은 경우, 동일한 경우보다 높은 필터링 강도를 부여할 수 있다.

또한, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 블록 경계 방향과 인트라 예측모드(예측방향)가 동일한지 여부에 따라 필터링 강도를 적응적으로 결정할 수도 있다. 예컨대, 블록 경계 방향과 인트라 예측방향이 동일하지 않으면 동일한 경우보다 높은 필터링 강도를 부여할 수 있다.

한편, 필터링 강도 결정부(510)는 현재블록과 인접블록 둘 다 인트라 예측되지 않은 경우, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인터 예측정보에 근거하여 필터링 강도를 결정할 수 있다. 예컨대, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 존재하지 않는 경우보다 높은 필터링 강도를 부여할 수 있다. 또한, 현재블록과 인접블록의 인터 예측정보를 비교하여, 서로 동일하지 않으면 동일한 경우보다 높은 필터링 강도를 부여할 수 있고, 나아가 현재블록과 인접블록의 인터 예측정보가 동일하면 디블록킹 필터링을 수행하지 않을 수 있다. 여기서, 인터 예측정보는 참조픽처/참조프레임, 움직임 벡터 등의 정보를 포함할 수 있다.

한편, 필터링 강도 결정부(510)는 현재블록이 인트라 예측블록인 경우에는, 현재블록과 인접블록 모두의 부호화 정보를 고려하지 않고, 현재블록의 부호화 정보만을 고려하여 필터링 강도를 결정할 수도 있다. 즉, 현재블록이 인트라 예측블록인 경우, 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 현재블록에 대한 디블록킹 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나에 따라 필터링 강도를 결정할 수도 있다.

예컨대, 현재블록에 0이 아닌 변환계수가 존재하면 0이 아닌 변환계수가 존재하지 않는 경우보다 높은 필터링 강도를 부여할 수도 있다. 또한, 현재블록의 디블록킹 방향과 인트라 예측방향이 동일하지 않은 경우에는 동일한 경우보다 높은 필터링 강도를 부여할 수 있다. 이에 대해서는, 도 9 및 10을 참조하여 후술하기로 한다. 여기서, 디블록킹 방향이라 함은 디블록킹 필터링이 수행되는 방향을 의미하다. 즉, 도 10에 도시되어 있는 것처럼, 디블록킹할 블록경계와 직각을 이루는 방향이다. 또는 도 12에 도시되어 있는 것처럼 블록경계와 일정각도를 지닌 방향일 수도 있다. 또한 상기에서 현재블록의 디블록킹 방향과 인트라 예측방향이 동일한지 여부를 결정할 때, 구현에 따라서 디블록킹 방향과 인트라 예측방향이 정확히 일치하지 않으나 소정의 차이 이내의 방향 차이라면 동일한 방향으로 간주하도록 구현하는 것도 가능하다.

이하에서는, 필터링 강도 결정부(510)가 필터링 강도를 결정하는 과정을 다양한 실시예를 통해 보다 상세히 설명한다.

도 6은 본 발명의 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도이다.

도 6을 참조하면, 도 2에 도시한 필터링의 대상이 되는 경계에 인접한 블록 P 및 블록 Q 중 적어도 하나가 인트라 모드로 예측되었는지 여부를 판단한다(S610). 블록 P 또는 블록 Q가 인트라 모드인 경우에는 S620, S630 단계가 순차적으로 수행되고, 그렇지 않은 경우에는 S640, S650 단계가 순차적으로 수행된다.

S610 단계를 통해, 블록 P 또는 블록 Q가 인트라 예측블록으로 판단된 경우, 블록 P와 블록 Q의 잉여데이터(Residual Data)에 0이 아닌 변환계수가 존재하는지 여부를 판단한다(S620). 블록 P와 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 경우에는 S630 단계가 수행되고, 그렇지 않은 경우에는 필터링 강도의 값이 4가 된다. 즉, 블록 P와 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하는 경우에는 변환 및 양자화에 의해 블록킹 현상이 크게 발생하므로 강한 필터링이 수행된다. 필터링의 강도는 예컨대 블록 경계가 매크로블록 경계인지 아닌지 또는 어느 블록이 화면 내 부호화를 사용하는지에 따라 적응적으로 결정되는데, 블록 왜곡 현상이 생기기 쉬운 부분은 강한 필터링을 적용하고，반대의 경우는 필터링을 최소화함으로써 불필요한 필터링 때문에 발생하는 화질 열화 현상을 막을 수 있다. 즉, 블록킹 현상이 심하게 발생하는 경우, 블록의 내부에 까지 그 영향이 미칠 수 있다는 점 등을 고려하여, 보다 많은 블록 내의 화소에 대해 필터링을 수행함으로써 블록킹 현상을 완화시킨다. 예컨대, 후술하게 될 수학식 1 및 2를 참조하면, 블록킹 현상이 심하지 않은 경우에는, 수학식 1에서 보는 바와 같이, p1, p0, q0, q1에 대해서만 필터링을 수행하고, 심한 경우에는 수학식 2에서 보는 바와 같이, p2, p1, p0, q0, q1, q2에 대해서 필터링을 수행하여 블록킹 현상을 완화시킬 수 있다.

S620 단계를 통해, 블록 P와 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 것으로 판단된 경우, 블록 P와 블록 Q의 인트라 예측정보가 서로 동일한지 여부를 판단한다(S630). 본 발명의 일 실시예에서는, 블록 P와 블록 Q의 인트라 예측블록 크기 및 인트라 예측모드가 모두 동일한 경우에 블록 P와 블록 Q의 인트라 예측정보가 서로 동일하다고 판단한다. 예를 들어, 블록 P가 인트라 예측모드이고 블록 Q가 인터 예측모드인 경우, 또는 블록 P가 인트라 16×16 예측모드이고 블록 Q가 인트라 4×4 예측모드인 경우, 또는 블록 P가 인트라 4×4 0번 예측모드이고 블록 Q가 인트라 4×4 1번 예측모드인 경우 등은 블록 P와 블록 Q의 인트라 예측정보가 서로 동일하지 않다고 판단한다. 본 발명의 실시예에서는, 상기 S620 단계의 판단 과정을 H.264/AVC 표준의 인트라 예측 방법을 사용한다는 가정하에서 정의하였으나, 본 발명을 적용할 응용 및 목적에 따라 다양한 방법으로 정의될 수 있다.

S620 단계의 판단 결과, 블록 P와 블록 Q의 인트라 예측정보가 서로 동일한 경우에는 필터링 강도의 값이 0이 되고, 그렇지 않은 경우에는 필터링 강도의 값이 3이 된다. 즉, 블록 P와 블록 Q의 인트라 예측정보가 서로 동일하지 않은 경우에는 블록 P와 블록 Q가 서로 다른 예측 방법을 사용하기 때문에 예측에 의한 블록킹 현상이 발생하므로, 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하는 경우보다 약한 디블록킹 필터링을 수행하고, 블록 P와 블록 Q의 인트라 예측 모드가 동일한 경우에는 블록 P와 블록 Q가 서로 동일한 예측 방법을 사용하기 때문에 예측에 의한 블록킹 현상이 발생하지 않으므로, 디블록킹 필터링을 수행하지 않는다.

S610 단계를 통해, 블록 P과 블록 Q 중 하나도 인트라 예측블록이 아닌 것으로 판단된 경우, 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하는지 여부를 판단한다(S640). 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 경우에는 S650 단계가 수행되고, 그렇지 않은 경우에는 필터링 강도의 값이 2가 된다.

S640 단계를 통해, 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 것으로 판단된 경우, 블록 P와 블록 Q의 인터 예측정보가 서로 동일한지 여부를 판단한다(S650). 여기서, 블록 P와 블록 Q가 서로 다른 참조 픽처를 사용하거나 같은 참조 픽처를 사용하면서 다른 블록을 참조 하는 경우, 또는 서로 다른 움직임 벡터 값을 가지게 되는 경우, 블록 P와 블록 Q의 인터 예측정보가 동일하지 않다고 결정한다.

S650 단계의 판단 결과, 블록 P와 블록 Q의 인터 예측정보가 서로 동일한 경우에는 필터링 강도의 값이 0이 되고, 그렇지 않은 경우에는 필터링 강도의 값이 1이 된다.

도 7은 본 발명의 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도이다.

도 7의 S710, S760 및 S770은 도 6의 S610, S640 및 S650과 동일하므로, 이하에서는 S720 내지 S750에 대해서 더욱 상세히 설명한다.

S710 단계에서 P블록 또는 Q블록 중 적어도 한 블록이 인트라 예측된 것으로 판단한 경우, P블록과 Q블록의 매크로블록 모드 정보가 동일한지 여부를 판단하여(S720), 동일하지 않은 경우 필터링 강도의 값이 4가 된다.

그러나, P블록과 Q블록의 매크로블록 모드 정보가 동일하면, P블록과 Q블록 중 적어도 한 블록에 0이 아닌 변환계수가 존재하는지 여부를 판단하여(S730), 존재하는 경우 필터링 강도의 값이 3이 된다.

S730의 판단결과, P블록과 Q블록 모두에 변환계수가 존재하지 않으면, S740으로 진행하여 P블록과 Q블록의 인트라 예측정보가 동일한지 여부를 판단한다. 판단결과, P블록과 Q블록의 인트라 예측모드가 동일하지 않으면 필터링 강도의 값이 2가 된다.

그러나, 동일한 경우, 블록 경계 방향과 인트라 예측방향이 서로 동일한지 여부를 체크한다(S750). 두 개의 블록이 수평방향으로 서로 인접해 있는 경우에는 블록 경계(즉, 에지)가 수직으로 형성되어 있다. 한편, 두 개의 블록이 수직방향으로 인접해 있는 경우에는 블록 경계(즉, 에지)가 수평으로 형성되어 있다. 따라서, S750에서는 인트라 예측방향과 블록 경계 방향(즉, 블록 에지가 수직인지 수평인지 여부)을 서로 비교하여 일치하지 않으면 일치하는 경우보다 필터링 강도를 높게 부여한다. 즉, 도 8의 (a)에서 보는 바와 같이, 블록 경계(즉, 에지)의 방향과 인트라 예측방향이 같은 경우에는 필터링 강도 0을 부여하고, 도 8의 (b)에서 보는 바와 같이, 블록 경계(즉, 에지)의 방향과 인트라 예측방향이 다른 경우에는 필터링 강도 1을 부여한다.

도 7 내지 8에서 설명한 본 발명의 실시예에서는,현재블록과 인접블록 모두의 부호화 정보를 참조하여 디블록킹 필터링을 위한 필터링 강도를 부여하는 것으로 하여 설명하였다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니며, 이하에서 설명하는 바와 같이, 현재블록의 부호화 정보만을 참조하여 디블록킹 필터링을 위한 필터링 강도를 부여할 수도 있을 것이다. 예컨대, 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 현재블록의 인트라 예측 방향과 디블록킹 방향의 동일 여부 중 적어도 하나 이상에 근거하여 필터링 강도를 적응적으로 부여할 수 있을 것이며, 이에 대한 구체적인 실시예는 도 9와 같다.

도 9는 본 발명의 또 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도이다.

본 발명의 또 다른 실시예에 관한 도 9에서, S940, S950 및 S960은, 도 6의 S610, S640 및 S650과 동일하므로, 이하에서는 S910, S920 및 S930에 대해서, 보다 상세히 설명한다.

먼저, 현재블록인 P블록이 인트라 예측된 블록인지 여부를 판단한다(S910). 판단결과, P블록이 인트라 예측된 블록이 아닌 경우, S940 내지 S960 단계로 진행하며, 이는 도 6의 S610, S640 및 S650와 동일하다.

한편, S910에서의 판단결과, 현재블록인 P블록이 인트라 예측된 블록인 경우, 현재블록의 인접블록에 대한 정보를 고려하지 않고, 현재블록의 부호화 정보만을 참조하여, 예컨대, 현재블록에 0이 아닌 변환계수가 존재하는지 여부, 현재블록에 대한 디블록킹 방향과 인트라 예측방향(예측모드)가 동일한지 여부 등에 따라, 디블록킹 필터링을 위한 필터링 강도를 결정한다.

예컨대, 현재블록인 P블록이 인트라 예측된 블록인 경우, P블록에 0이 아닌 변환계수가 존재하는지 여부를 판단하고(S920), 0이 아닌 변환계수가 존재하는 경우에는 그렇지 않은 경우보다 높은 필터링 강도를 부여할 수 있다. 예컨대, 2의 필터링 강도를 부여할 수 있다.

한편, 현재블록인 P블록에 0이 아닌 변환계수가 존재하지 않는 경우에는, P블록에 대한 디블록킹 방향과 인트라 예측모드에 따라 결정되는 P블록의 인트라 예측방향이 동일한지 여부를 판단한다(S930). 만약 P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 동일하지 않은 경우에는 0이 아닌 변환계수가 존재하는 경우보다 낮은 필터링 강도, 예컨대, 필터링 강도 1을 부여한다. 그리고 P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 동일한 경우에는 동일하지 않은 경우보다 낮은 필터링 강도, 예컨대, 필터링 강도 0을 부여한다.

도 10을 예로 들면, 도 10(a)에서 보는 바와 같이, 현재블록인 P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 서로 동일하지 않은 경우에는 필터링 강도가 1이 된다.

그러나, 도 10(b)에서 보는 바와 같이, P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 동일한 경우에는, 동일하지 않은 경우에 부여되는 필터링 강도보다 낮은 필터링 강도, 예컨대, 필터링 강도 0을 부여한다.

이상에서 설명한 본 발명의 또 다른 실시예에서와 같이, 현재블록이 인트라 예측블록인 경우, 현재블록과 인접블록의 부호화 정보를 모두 고려하여 필터링 강도를 결정하지 않고, 현재블록의 부호화 정보만을 참조하여 디블록킹 필터링을 위한 필터링 강도를 결정할 수 있다.

예를 들어, 도 10(a)를 참조하면, 현재블록인 P블록이 인트라 예측된 경우, P블록에 0이 아닌 변환계수가 존재하지 않고 디블록킹 방향과 인트라 예측방향이 일치한다면, 이는 P블록의 경계에 예측 및 양자화에 의한 블록킹 현상이 발생하지 않음을 의미한다. 즉, P블록의 예측값이 인접한 임의의 블록으로부터 그대로 예측되었으므로 예측에 의한 블록킹 현상은 발생하지 않고, P블록에 0이 아닌 변환계수가 존재하지 않으므로 양자화에 의한 블록킹 현상 또한 발생하지 않는 것이다. 따라서, 현재블록이 인트라 예측블록인지 여부, 현재블록에 0이 아닌 변환계수가 존재하는지 여부, 현재블록의 디블록킹 방향과 인트라 예측방향의 일치 여부 등 현재블록에 대한 부호화 정보만을 고려하여 디블록킹을 위한 필터링 강도를 결정할 수 있는 것이다.

한편, 도9에서는 S920, S930에 의하여 결정되는 필터링 강도가 S940, S950, S960에 의하여 결정되는 필터링 강도의 값과 동일한 것으로 기술되어 있으나, 반드시 양쪽의 필터링 강도가 동일할 필요는 없다. 이 중 일부 또는 전부는 다른 값을 갖도록 구현하는 것도 가능하다.

이상에서는 도 6 내지 도 10을 참조하여, 현재블록과 인접블록 중 적어도 하나가 인트라 예측된 경우 또는 현재블록이 인트라 예측된 경우에 대해, 필터링 강도를 결정하는 구체적인 실시예를 설명하였다. 그러나, 이는 본 발명을 구현하기 위한 예시에 지나지 않으며 본 발명의 범위를 한정하려는 것이 아님은 자명하다. 예컨대, 필터링 강도를 결정하기 위해, 0이 아닌 변환계수가 존재하는지 여부, 현재블록과 인접블록의 인트라 예측정보, 현재블록과 인접블록의 매크로블록 모드 정보, 블록 경계 방향 및 디블록킹 방향 중 어느 하나의 정보만을 사용할 수도 있으며, 두 개 이상을 사용할 수도 있을 것이다. 또한, 두 개 이상을 사용하는 경우에도, 도 6, 7 및 9에 도시한 순서가 아닌 다른 순서에 의해 필터링 강도를 결정할 수도 있을 것이다.

다시 도 5를 참조하면, 디블록킹 필터부(460)는 필터링 강도가 0이 아닌 블록에 대해 디블록킹 필터링이 적용될 대상 화소를 결정하는 필터링 화소 결정부(520)를 더 포함할 수 있다.

특히, 필터링 화소 결정부(520)는 현재블록과 인접블록 중 적어도 하나가 인트라 예측된 경우, 인트라 예측정보에 근거하여 상기 대상 화소를 결정할 수 있는데, 예컨대, 인트라 예측블록 크기에 근거하여 대상 화소의 개수를 결정할 수 있다. 나아가, 인트라 예측모드에 근거하여 대상 화소의 위치, 즉, 필터링 방향을 결정할 수도 있을 것이다. 즉, 대상 화소의 위치, 즉, 필터링 방향이 앞서 언급한 디블록킹 방향과 동일한 개념으로서 설정되어 있을 수도 있으나, 필터링 화소 결정부(520)에서 인트라 예측모드에 근거하여 필터링 방향(대상 화소의 위치)을 새로이 결정할 수도 있을 것이다. 여기서, 전술한 '디블록킹 방향'에 대한 용어와의 혼동을 피하기 위해, 필터링 화소 결정부(520)에서 새로이 결정하는 디블록킹 방향을 필터링 방향(대상 화소의 위치)으로서 새로이 정의한다.

도 11 내지 도 13을 참조하여, 필터링 화소 결정부(520)가 대상 화소를 결정하는 실시예를 이하에서 설명한다.

도 11을 참조하면, 필터링 화소 결정부(520)는 서로 다른 인트라 예측 크기를 사용하는 인트라 예측블록의 경계에서 디블록킹 필터링의 대상이 되는 화소의 개수를 결정할 수 있다. 즉, 상기 필터링 화소 결정부(520)는 인트라 예측블록의 크기를 식별하고, 이에 따라 디블록킹 필터링의 대상이 되는 화소의 개수를 결정할 수 있다. 예를 들어, 인트라 4×4 예측블록과 인트라 4×4 예측블록의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개(p0, p1, p2, p3 및 q0, q1, q2, q3)이다. 그러나, 인트라 16×16 예측블록과 인트라 4×4 예측블록의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 개수는 인트라 4×4 예측을 사용하는 블록 P는 4 개 (p0, p1, p2, p3)이고, 인트라 16×16 예측을 사용하는 블록 Q는 6 개(q0, q1, q2, q3, q4, q5)로 할 수 있다. 즉, 인트라 예측블록의 크기가 클수록 더 많은 화소가 디블록킹 필터링의 대상이 될 수 있음을 의미한다.

도 12를 참조하면, 필터링 화소 결정부(520)는 서로 다른 인트라 예측모드를 사용하는 인트라 예측블록의 경계에서 디블록킹 필터링의 대상이 되는 화소의 위치를 결정할 수 있다. 즉, 상기 필터링 화소 결정부(520)는 인트라 예측블록의 모드를 식별하고, 이에 따라 디블록킹 필터링의 대상이 되는 화소의 위치를 결정할 수 있다.

예를 들어, 인트라 4×4 예측블록(1번 모드)과 인트라 4×4 예측블록(1번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 P와 블록 Q 각각 수평 방향(p0, p1, p2, p3 및 q0, q1, q2, q3)이다(도 12의 (A)). 그러나, 인트라 4×4 예측블록(3번 모드)과 인트라 4×4 예측블록(3번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 P와 블록 Q 각각 대각선 왼쪽 방향(p0, p1, p2, p3 및 q0, q1, q2, q3)이고(도 12의 (B)), 인트라 4×4 예측블록(4번 모드)과 인트라 4×4 예측블록(4번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 P와 블록 Q 각각 대각선 오른쪽 방향(p0, p1, p2, p3 및 q0, q1, q2, q3)이다(도 12의 (C)). 즉, 인트라 예측모드에 따라 방향성을 고려하여 디블록킹 필터링의 대상이 되는 화소의 위치가 결정될 수 있음을 의미한다.

또한 인접한 인트라 예측블록의 예측모드가 서로 다른 경우에도 동일한 사상이 적용될 수 있다. 예를 들어, 인트라 4×4 예측블록(4번 모드)과 인트라 4×4 예측블록(1번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 Q가 대각선 오른쪽 방향(q0, q1, q2, q3)이고, 블록 P가 수평 방향(p0, p1, p2, p3)이다(도 12의 (D)).

한편, 필터링 화소 결정부(520)는 서로 다른 인트라 예측블록 크기 및 예측모드를 사용하는 인트라 예측블록의 경계에서 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치를 결정할 수 있다. 즉, 필터링 화소 결정부(520)는 인트라 예측블록 크기 및 예측모드를 식별하고, 이에 따라 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치를 결정할 수 있다.

예를 들어, 도 13을 참조하면, 인트라 16×16 예측블록(Horizontal 모드)과 인트라 4×4 예측블록(4번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치는 블록 P가 대각선 오른쪽 방향으로 4개(p0, p1, p2, p3)이고, 블록 Q가 수평 방향으로 6개(q0, q1, q2, q3, q4, q5)이다.

다시 도 5를 참조하면, 필터링 강도 결정부(510) 및 필터링 화소 결정부(520)에 의해 해당 블록의 필터링 강도 및 필터링의 대상이 되는 화소가 결정되면, 필터부(530)에 의해 디블록킹 필터링이 수행된다.

필터부(530)는 필터링 강도 결정부(510)에 의해 결정된 해당 블록의 필터링 강도에 따라 상기 필터링 화소 결정부(520)에 의해 결정된 필터링의 대상이 되는 화소의 개수 및 위치를 참조하여 필터링을 수행한다.

이하에서는, 본 발명의 실시예에 따른 구체적인 필터링 방법을 설명한다.

필터링 강도의 크기가 4 미만이고, 필터링의 대상이 되는 화소의 개수가 4 이하일 경우는 수학식 1에 의해 필터링이 수행된다.

수학식 1에서, tc의 값은 디블록킹 필터링의 대상이 되는 화소값의 절대차 |p2 - p0|, |q2 - q0| 및 양자화 계수에 의해 결정되는 β값에 의해 결정된다. 수학식 1의 Clip은 {(q0 - p0) << 2 + (p1 - q1) + 4} / 8 의 값을 취하되, 그 값이 -tc 와 tc 의 값을 넘지 않도록 클리핑 처리한다.

수학식 1과 같이, q1, q0, p0, p1을 이용한 4탭 FIR 필터(4-Tap Finite Impulse Response Filter)를 통해 p0 및 q0 의 디블록킹 필터링이 수행된 화소값 p'0 및 q'0 가 결정될 수 있다. 또한 유사한 방법을 통해 p'1 과 q'1 화소의 값에 대한 필터링이 수행될 수 있다. 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개이고, 필터링이 수행되는 화소의 개수는 블록 P와 블록 Q가 각각 2 개이다.

필터링 강도의 크기가 4 이고, 필터링의 대상이 되는 화소의 개수가 4 이하일 경우는 수학식 2에 의해 필터링이 수행된다.

수학식 2는 필터링 강도가 4 일 경우, q'0을 구하는 식의 예시이다. 수학식 2와 같이, q2, q1, q0, p0, p1을 이용한 5탭 필터링이 적용된다. 또한, 유사한 방법을 사용하여 p'2, p'1, p'0, q'0, q'1, q'2 화소값에 대한 필터링이 수행된다. 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개이고, 필터링이 수행되는 화소의 개수는 블록 P와 블록 Q가 각각 3 개이다.

본 발명의 실시예에서는 인트라 예측블록 크기 및 인트라 예측모드에 따라, 서로 다른 개수 및 위치의 디블록킹 필터링을 제공한다. 즉, 도 7 및 도 9와 같이, 디블록킹 필터링이 보다 내부의 화소에 영향을 미칠 수 있도록 할 수 있다.

따라서, 본 발명의 실시예에서는 수학식 3과 같이 필터링의 대상이 되는 화소의 개수가 6 개일 경우의 필터링 방법을 예시한다.

수학식 3은 필터링 강도가 4 일 경우, q'0을 구하는 식의 예시이다. 수학식 3에서 보는 바와 같이, q3, q2, q1, q0, p0, p1, p2을 이용한 7탭 필터링이 적용된다. 또한, 유사한 방법을 사용하여 p'3, p'2, p'1, p'0, q'0, q'1, q'2, q'3 화소값에 대한 필터링이 수행된다. 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 6 개이고, 필터링이 수행되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개이다.

도 13의 예시와 같이, 필터링의 대상이 되는 화소의 개수가 블록 P와 블록 Q가 서로 다를 경우, 블록 P에는 수학식 2가 적용되고, 블록 Q에는 수학식 3이 적용될 수 있다. 즉, 필터링의 대상이 되는 화소의 개수는 블록 P가 4개, 블록 Q가 6 개이고, 필터링이 수행되는 화소의 개수는 블록 P가 2개, 블록 Q가 4 개이다.

도 14는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용된 복호화 장치의 구성을 나타내는 블록도이다.

본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용된 복호화 장치는, 부호화 데이터 추출부(1410), 엔트로피 복호화부(1420), 잉여데이터 복호화부(1430), 예측부(1440) 및 디블록킹 필터부(1450)를 포함할 수 있다.

부호화 데이터 추출부(1410)는 입력받은 부호화된 데이터를 추출 및 분석하여, 잔여블록에 대한 데이터를 엔트로피 복호화부(1420)으로 전달하고, 매크로블록 모드 및 부호화된 예측정보(예를 들어, 인트라 부호화의 경우에는 인트라 예측모드, 인터 부호화의 경우에는 참조픽처 인덱스 및 움직임 벡터 등의 정보)는 예측부(1440)로 전달한다.

엔트로피 복호화부(1420)는 부호화 데이터 추출부(1410)으로부터 입력받은 잔여블록에 대해 엔트로피 복호화를 수행해 양자화된 잔여블록을 생성한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 복호화부(1420)는 잔여블록뿐만 아니라, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들을 복호화할 수 있다. 여기서, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들은 블록 타입에 대한 정보, 예측모드가 인트라 예측모드인 경우 인트라 예측모드에 대한 정보, 예측모드가 인터 예측모드인 경우 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등의 다양한 정보들을 포함할 수 있다. 엔트로피 복호화부(1420)은 본 발명의 실시예가 적용된 부호화 장치의 엔트로피 부호화부(440)에 사용되는 엔트로피 부호화 방법에 따라 다양한 방법으로 정의될 수 있다.

잉여데이터 복호화부(1430)는 본 발명의 실시예에 따른 부호화 장치의 잉여데이터 복호화부(430)과 동일한 과정을 수행하여 잔여블록을 복원한다.

예측부(1440)은 본 발명의 실시예에 따른 부호화 장치의 예측부(410)와 동일한 과정을 수행하여 예측블록을 생성한다.

복호화부(1430)를 통해 복원된 잔여블록과 상기 예측부(1440)를 통해 예측된 예측블록을 결합하여 복원된 현재블록을 생성한다.

디블록킹 필터부(1450)은 본 발명의 실시예에 따른 부호화 장치의 디블록킹 필터부(460)와 동일한 과정을 수행하여 복원된 현재블록을 필터링한다. 디블록킹 필터부(1450)는 부호화 장치의 디블록킹 필터부(460)과 그 구성이 동일하므로, 이에 대한 보다 상세한 설명을 생략한다.

이상의 본 발명의 실시예를 적용할 경우, 휘도 신호에 대하여 적용하는 디블록킹 방법과 색차 신호에 대하여 적용하는 디블록킹 방법을 동일하게 할 수 있다. 또 다른 실시예에서는 그 적용에 있어서 휘도 신호에 대하여 적용하는 디블록킹 방법과 색차 신호에 대하여 적용하는 디블록킹 방법을 서로 다르게 구현하는 것도 가능할 것이다.

이상의 본 발명의 실시예에서는 인접한 두 개의 블록을 기준으로 디블록킹 필터링을 수행하는 것으로 설명하였으나, 본 발명의 범위가 이에 한정되지는 않는다. 즉, 디블록킹 필터링을 수행하기 위한 필터링 강도 및 대상 화소 등을 정함에 있어서, 두 개 이상의 블록이 관여할 수도 있고, 본 발명의 본질에서 벗어나지 않는 한, 이도 본 발명의 사상에 포함되는 것으로 해석하여야 할 것이다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명의 실시예는, 인트라 예측블록에 대해서도 블록킹 효과를 감소시켜 주관적 화질을 향상시킬 수 있으며, 나아가 부호화 효율을 향상시킬 수 있으므로, 매우 유용한 발명이다.

Claims (73)

1. 삭제
2. 삭제
3. 영상신호를 복호화하는 복호화 장치에 있어서,
   역양자화 및 역변환을 수행하여 잔여블록을 복호화하는 잉여데이터 복호화부;
   예측블록을 생성하는 예측부;
   상기 예측블록과 상기 잔여블록을 가산하여 복원블록의 픽셀들을 복원하는 가산기; 및
   상기 복원블록에 상응하는 블록 경계에 대한 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하고,
   상기 디블록킹 필터부는 상기 블록 경계가 변환블록 경계인지 여부와 상기 블록 경계가 예측블록 경계인지 여부를 고려하여 상기 디블록킹 필터링을 수행하고,
   상기 블록 경계는
   8x8 블록들 사이의 경계인 것을 특징으로 하는 복호화 장치.
4. 청구항 3에 있어서,
   상기 디블록킹 필터부는
   상기 블록 경계가 8x8 블록 경계이면서, 상기 예측블록 경계 또는 상기 변환블록 경계일때만 상기 디블록킹 필터링을 위한 경계 강도를 계산하는 것을 특징으로 하는 복호화 장치.
5. 청구항 3에 있어서,
   상기 디블록킹 필터부는
   제1 필터링 강도에 상응하고 상기 블록 경계 주변의 6개의 화소들을 업데이트하는 제1 필터링 모드; 및
   상기 제1 필터링 강도보다 낮은 제2 필터링 강도에 상응하고 상기 블록 경계 주변의 0개 이상 4개 이하의 화소들을 업데이트하는 제2 필터링 모드
   중 적어도 하나를 이용하여 상기 디블록킹 필터링을 수행하는 것을 특징으로 하는 복호화 장치.
6. 청구항 5에 있어서,
   상기 제2 필터링 모드는
   상기 블록 경계를 사이에 둔 제1 최인접 화소 및 제2 최인접 화소 사이의 제1 차이값과, 상기 제1 최인접 화소 및 상기 제2 최인접 화소에 인접하고 상기 블록 경계로부터의 거리가 서로 동일한 두 화소들 사이의 제2 차이값을 이용하여 델타값을 산출하고, 상기 델타값을 이용하여 제1 최인접 화소 및 제2 최인접 화소를 갱신하는 것을 특징으로 하는 복호화 장치.
7. 청구항 6에 있어서,
   상기 제1 필터링 모드는
   상기 블록 경계 주변의 5개의 화소들에 상응하는 5탭 필터링을 이용하여 상기 제1 최인접 화소 및 상기 제2 최인접 화소 각각을 갱신하는 것을 특징으로 하는 복호화 장치.
   
   
   
   
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제
66. 삭제
67. 삭제
68. 삭제
69. 삭제
70. 삭제
71. 삭제
72. 삭제
73. 삭제

Images