KR20130050901A - 디블록킹 필터링의 경계 필터링 강도 결정 방법 및 장치 - Google Patents

Abstract

본 발명은 디블록킹 필터링의 경계 필터링 강도를 결정하는 방법 및 장치에 관한 것으로서, 본 발명에 따른 경계 필터링 강도 결정 방법은 PU(Prediction Unit)의 파티션 경계를 판단하는 단계 및 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 단계를 포함하며, 상기 디블록킹 필터링의 경계 필터링 강도는 상기 PU의 파티션 경계를 기반으로 결정될 수 있다.

Description

디블록킹 필터링의 경계 필터링 강도 결정 방법 및 장치{METHOD AND APPARATUS FOR DECIDING BOUNDARY FILTERING STRENGTH OF DEBLOCKING FILTERING}

본 발명은 동영상 압축 기술에 관한 것으로서 더 구체적으로는 디블록킹 필터링 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도(1280x1024 혹은 1920x1080)를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되고 있다.

이에 따라서, 많은 사용자들이 고해상도, 고화질의 영상에 많이 익숙해지고 있으며 그에 발맞춰서 많은 기관에서는 차세대 영상기기에 대한 개발에 박차를 가하고 있다.

또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 동영상 표준화 단체들은 보다 높은 해상도, 고화질의 영상에 대한 압축기술의 필요성을 인식하게 되었다.

현재 HDTV, 휴대전화, 블루레이 플레이어에 사용되는 H.264/AVC보다 높은 압축 효율을 통해 동일한 화질을 유지하면서도 주파수 대역이나 저장 측면에서 많은 이득을 얻을 수 있는 새로운 표준이 절실한 실정이다.

현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 공동으로 차세대 비디오 코덱인 HEVC(High Efficiency Video Coding)의 개발이 진행되고 있으며, UHD 영상까지 포함한 영상을 H.264/AVC 대비 2배의 압축효율로 부호화를 하는 것을 목표로 하고 있다. 이는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동 통신망에서도 현재보다 낮은 주파수로 고화질의 영상을 제공할 수 있다.

본 발명은 비디오 부호화 및 복호화 과정에서 블록킹 현상을 제거하거나 감소시킬 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 영상 부호화 혹은 복호화 과정에서 수행되는 디블록킹 필터링에서 블록의 특성에 따라서, 경계 필터링 강도를 달리 결정하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 디블록킹 필터링에서 PU 파티션 경계인지의 여부에 따라 경계 필터링 강도를 달리 결정하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명은 디블록킹 필터링의 강도를 블록의 특성(예컨대, PU 파티션 경계인지)에 따라서 결정함으로써 움직임 정보 압축에 의해 동일한 움직임 정보를 갖게 된 PU들에 대한 필터링 강도 조절이 가능토록 하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 실시형태는 디블록킹 필터링의 경계 필터링 결정 방법으로서, CU의 파티션 형태(PU형태)를 기반으로 디블록킹 필터링의 경계 필터링 강도(bS)를 결정할 수 있다.

이때, 움직임 벡터의 차의 절대값 중에서 적어도 하나가 4이상이 되거나 또는 움직임 보상에서의 참조 프레임이 다르거나 또는 PU 파티션 경계일 경우에는 경계 필터링 강도(bS)를 1로 결정하고, 반면에 움직임 벡터의 차의 절대값이 모두 4보다 작고 또한 움직임 보상에서의 참조 프레임이 같고 또한 PU 파티션 경계가 아닐 경우에는 경계 필터링 강도(bS)를 0으로 결정할 수 있다.

상기 필터링 강도(bS)는 파싱 단계에서 결정될 수도 있다. 이때, 결정된 필터링 강도(bS)는 저장된 후 프레임 전체가 모두 디코딩 된 후에 디블록킹 필터링 과정에서 사용될 수 있다.

본 발명의 다른 실시형태는 디블록킹 필터링의 경계 필터링 결정 장치로서, 인접한 두 개의 블록에 대한 경계 필터링 강도를 결정하기 위한 경계 필터링 강도 결정부; 및 상기 경계 필터링 강도 결정부로부터 출력되는 경계 필터링 강도에 따라서 상기 두 개의 블록의 화소값에 대한 필터링을 적용하기 위한 필터링 적용부를 포함한다.

상기 경계 필터링 강도 결정부는 인접한 두 개의 블록 중에서 적어도 하나의 블록이 인트라 부호화되었는지를 판정하고, 상기 두 개의 블록이 모두 인트라 부호화되지 않은 것으로 판정되는 경우에, 상기 두 개의 블록 중에서 적어도 하나의 블록이 직교 변환 계수를 갖는지를 판정하고, 상기 두 개의 블록이 모두 직교 변환 계수를 갖지 않는 것으로 판정되는 경우에, 상기 두 개의 블록에 대하여 움직임 벡터의 x축 성분 또는 y축 성분의 차의 절대값 중에서 적어도 하나가 4이상이 되거나 또는 움직임 보상이 다른 참조 프레임에 기초하여 수행되었는지 또는 PU 파티션 경계인지를 판정하고, 상기 움직임 벡터의 차의 절대값이 모두 4보다 작고 또한 상기 움직임 보상이 같은 참조 프레임에 기초하여 수행되고 또한 PU 파티션 경계인지를 고려하여 경계 필터링 강도를 결정할 수 있다.

이때, 움직임 벡터의 차의 절대값 중에서 적어도 하나가 4이상이 되거나 또는 움직임 보상에서의 참조 프레임이 다르거나 또는 PU 파티션 경계일 경우에는 경계 필터링 강도(bS)를 1로 결정하고, 반면에 움직임 벡터의 차의 절대값이 모두 4보다 작고 또한 움직임 보상에서의 참조 프레임이 같고 또한 PU 파티션 경계가 아닐 경우에는 경계 필터링 강도(bS)를 0으로 결정할 수 있다.

상기 필터링 강도(bS)는 파싱부에서 결정될 수도 있다. 이 경우 파싱부는 필터링 강도(bS)를 결정하여 저장할 수 있으며, 저장된 필터링 강도(bS)는 프레임 전체가 모두 디코딩 된 후에 디블록킹 필터링 과정에서 사용될 수 있다.

본 발명의 또 다른 실시형태는 디블록킹 필터링 방법으로서, 상기 디블록킹 필터링의 경계 필터링 결정 방법은 비트스트림으로부터 파싱하는 단계, 파싱된 정보를 통해 필터링 강도(bS)를 결정하는 단계, 프레임을 복호화하는 단계, 파싱부에서 구한 필터링 강도(bS)를 이용하여 현재 복호화된 프레임을 디블록킹 필터링하는 단계를 포함한다.

본 발명에 의하면, 비디오 부호화 및 복호화 과정에서 블록킹 현상을 제거하거나 감소시킬 수 있다.

본 발명에 의하면, 영상 부호화 혹은 복호화 과정에서 수행되는 디블록킹 필터링에서 블록의 특성에 따라서, 경계 필터링 강도를 달리 결정함으로써 부호화 효율을 높일 수 있다.

본 발명에 의하면, 디블록킹 필터링에서 PU 파티션 경계인지의 여부에 따라 경계 필터링 강도를 달리 결정할 수 있다.

본 발명에 의하면, 디블록킹 필터링의 강도를 블록의 특성(예컨대, PU 파티션 경계인지)에 따라서 결정함으로써 움직임 정보 압축에 의해 동일한 움직임 정보를 갖게 된 PU들에 대한 필터링 강도 조절이 가능토록 할 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 공간적 움직임 정보에 대한 압축과 그에 따라 설정되는 bS를 개략적으로 설명하는 도면이다.
도 4는 CU의 파티션 형태를 기반으로 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 5는 블록 p와 블록 q의 관계를 개략적으로 설명하는 도면이다.
도 6은 파싱부에서 디블록킹 필터링의 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 산출한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드는 화면 내 예측 모드, 인터 모드는 화면 간 예측 모드, 인트라 예측부(120)는 화면 내 예측부, 움직임 예측부(111) 및 움직임 보상부(112)는 화면 간 예측부라는 용어로 정의되어 사용될 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.

감산기(125)는 입력 블록과 산출된 예측 블록의 차분에 의해 잔차 블록(residual block)을 산출할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 산출된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 산출된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 산출된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.

도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 산출한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 산출할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 산출할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 산출될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.

복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다. 본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.

본 발명의 실시예에서는 영상을 처리하는 단위로 부호화 단위(coding unit, CU), 예측 단위(prediction unit, PU), 변환 단위(transform unit, TU)라는 용어를 사용할 수 있다.

부호화 단위는 부호화/복호화를 수행하는 영상 처리 단위로서 부호화/복호화가 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 부호화 블록과 부호화 블록의 샘플들을 부호화 또는 복호화하는데 사용되는 정보를 포함할 수 있다.

예측 단위는 예측을 수행하는 영상 처리 단위로서 예측이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 예측 블록과 예측 블록의 샘플들을 예측하는데 사용되는 정보를 포함할 수 있다. 부호화 블록은 복수의 예측 블록으로 나뉘어 질 수 있다.

변환 단위는 변환을 수행하는 영상 처리 단위로서 변환이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 변환 블록과 변환 블록의 샘플들을 변환하는데 사용되는 정보를 포함할 수 있다. 부호화 블록은 복수의 변환 블록으로 나뉘어 질 수 있다.

이하, 본 발명의 실시예에서는 특별히 구분하여 표시하지 않는 한, 블록과 유닛은 동일한 의미로 해석될 수 있다.

또한 현재 블록(current block)은 현재 예측이 수행되는 예측 블록, 현재 부호화가 수행되는 부호화 블록과 같이 특정한 영상 처리가 수행되는 블록을 지칭할 수 있다. 예를 들어, 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우, 분할된 예측 블록 중 예측이 수행되는 블록을 현재 블록이라는 용어로 지칭하여 사용할 수 있다.

본 발명의 실시예에서 후술할 영상 부호화 방법 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

한편, 부호화/복호화에 있어서 메모리에 대한 중요성이 높아지고 있으며, 이로 인해 시간적 움직임 정보를 압축하여 저장하는 방법 및/또는 공간적 움직임 정보를 압축하여 저장하는 방법을 사용할 수 있다.

공간적 움직임 정보에 대한 압축이란, 현재 CU(Coding Unit)가 4개의 PU 블록으로 나누어져 있을 경우 깊이에 따라서 2개 혹은 1개의 움직임 정보만을 가지도록 하는 방법이다.

이 경우, 디블록킹 필터링의 경계 필터링 강도(Boundary Filtering Strength: bS, 이하 설명의 편의를 위해 ‘bS’라 함)의 설정에 영향을 미칠 수 있다.

도 3은 공간적 움직임 정보에 대한 압축과 그에 따라 설정되는 bS를 개략적으로 설명하는 도면이다.

도 3에서는 현재 CU(300)가 두 개의 PU(310, 320)으로 분할되어 있는 경우를 예로서 설명하고 있다.

도 3을 참조하면, 현재 CU(300)가 분할 인덱스(Partition Index) PartIdx =0에 의해 지시되는 PU0(310)과 분할 인덱스 PartIdx=1에 의해 지시되는 PU1(320)로 나누어져 있을 경우에 공간적인 움직임 정보 압축으로 인해 PU0(310)과 PU1(320)가 동일한 움직임 정보를 가질 수 있다.

따라서, 디블록킹 필터링의 bS를 결정할 때 두 개의 PU 즉, PU0(310)과 PU1(320)에 대한 움직임 정보가 같으므로 디블록킹 필터링의 bS가 ‘0’으로 결정될 수 있다.

원래 두 개의 PU가 다른 움직임 정보를 가지므로 디블록킹 필터링의 bS가 ‘1’로 설정되어야 하는데 디블록킹 필터링의 bS가 ‘0’으로 결정됨으로써 주관적인 화질에 영향을 미칠 수 있다.

본 발명에서는 디블록킹 필터링의 bS를 결정하는 방법을 제안한다.

본 발명은 영상 부호화 혹은 복호화시 디블록킹 필터링을 적용할 때 PU 파티션 경계인지의 여부에 따라 bS를 달리 결정한다. 따라서, 본 발명에 의하면 움직임 정보 압축에 의해 동일한 움직임 정보를 갖게 된 PU들에 대해 bS 값을 조절하는 것이 가능하다.

예를 들어, bS를 결정할 때 (1) 움직임 벡터의 차의 절대값 중에서 적어도 하나가 4 이상이 되거나 또는 (2) 움직임 보상에서의 참조 프레임이 다르거나 또는 (3) PU 파티션 경계가 bS를 결정할 에지일 경우에는, bS를 1로 결정할 수 있다.

반면에 (i) 움직임 벡터의 차의 절대값이 모두 4보다 작고 또한 (ii) 움직임 보상에서의 참조 프레임이 같고 또한 (iii) PU 파티션 경계가 아닐 경우, 즉 (i), (ii), (iii)을 모두 만족하는 경우에는 bS를 0으로 결정할 수 있다.

본 발명에 의하면, CU의 파티션 형태(PU형태)를 기반으로 디블록킹 필터링의 bS를 결정할 수도 있고, 파싱부에서 디블록킹 필터링의 경계 필터링 강도(bS)를 결정하여 저장할 수도 있다.

이하, 각각의 방법에 대하여, 도면을 참조하여 구체적으로 설명한다.

CU의 파티션 형태(PU형태)를 기반으로 하는 방법

본 발명의 일 실시예에 의하면, CU의 파티션 형태, 예컨대, PU의 형태를 기반으로 디블록킹 필터링의 bS를 결정할 수 있다.

도 4는 CU의 파티션 형태를 기반으로 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 순서도이다.

도 4를 참조하면, 경계 필터링 강도(bS)를 결정하기 위해, 우선 서로 인접하는 블록 p와 q 중에서 적어도 하나의 블록이 인트라 부호화되었는지를 판단한다(S410). 여기서, 블록 p 또는 q가 인트라 부호화 또는 인터 부호화되었다는 것은 블록 p 또는 q가 인트라 부호화된 매크로 블록, CU, PU 또는 TU이거나 또는 이들 중 어느 하나에 속하는 블록이라는 것을 의미할 수 있다.

도 5는 블록 p와 블록 q의 관계를 개략적으로 설명하는 도면이다.

도 5(a)를 참조하면, 경계(500)가 수평 에지인 경우에, 블록 p(510)는 블록 경계(500)에 대하여 좌측에 위치하는 블록을 나타내고, 블록 q(520)는 블록 경계(500)에 대하여 우측에 위치하는 블록을 나타낸다.

도 5(b)를 참조하면, 경계(530)가 수직 에지인 경우에, 블록 p(540)는 블록 경계(530)에 대하여 상측에 위치하는 블록을 나타내고, 블록 q(550)는 블록 경계(530)에 대하여 하측에 위치하는 블록을 나타낸다.

S410 단계의 판단 결과, 블록 p와 q 중에서 인트라 부호화된 블록이 하나 이상 존재하는 경우에는 ‘인트라 모드(INTRA MODE)’ 단계로 진행하며, 반대로 블록 p와 q가 모두 인터 부호화된 경우에는 ‘인터 모드(INTER MODE)’ 단계로 진행한다.

여기서, 인터 부호화는 현재 프레임(픽처)과 시간이 다른 복원(재구성) 프레임(픽처)의 영상을 참조 프레임(픽처)으로 이용하는 예측 부호화이고, 인트라 부호화는 현재 프레임(픽처) 내에서 주변 블록의 영상을 이용하는 예측 부호화이다.

인트라 모드 단계, 즉 블록 p와 q 중에서 인트라 부호화된 블록이 적어도 하나 존재하는 것으로 판단된 경우에는, 블록 p와 q의 경계가 CU의 경계와 일치하는지를 판단한다(S440).

블록 p와 q의 경계가 CU의 경계와 일치하는 경우에는 bS를 4로 결정한다. 반면, 블록 p와 q의 경계가 CU의 경계가 아닌 경우에는 bS를 3으로 결정한다.

bS가 4인 경우에는 후속하는 필터링 적용 절차에서 가장 강한 필터링이 적용되며, bS 값이 작을수록 필터링의 강도는 약해진다.

인터 모드 단계, 즉 블록 p와 q 모두가 인터 부호화된 블록인 것으로 판단된 경우에는, 블록 p와 q의 경계가 TU(Transform Unit)의 경계이고 블록 p와 q 중에서 적어도 하나가 직교 변환 계수를 가지는지를 판단한다(S420).

직교 변환 계수는 코딩된 계수(Coded Coefficient) 또는 0이 아닌 변환 계수(Non-zero Transformed Coefficient)라고도 한다.

판단 결과, 블록 p와 q의 경계가 TU의 경계이고 직교 변환계수를 가지는 블록이 하나 이상 존재하는 경우에는 bS를 2로 결정한다. 반면, 블록 p와 q의 경계가 TU의 경계이고 직교 변환계수를 가지는 블록이 하나 이상 존재하는 경우가 아니라면, 다음 단계로 진행된다.

다음 단계에서는 블록 p와 q에 대하여 움직임 벡터의 일 성분 즉, x축 성분 또는 y축 성분의 차의 절대값이 4와 같거나 더 큰지 및/또는 움직임 보상에서의 참조 프레임이 다른지 및/또는 PU 파티션 경계인지를 판단한다(S430).

여기서, '참조 프레임이 다르다는 것'은 참조 프레임 자체가 다르다는 것과 참조 프레임의 개수가 다르다는 것을 모두 포함한다.

움직임 벡터의 차의 절대값 중에서 적어도 하나가 4 이상이 되거나 또는 움직임 보상에서의 참조 프레임이 다르거나 또는 PU 파티션 경계일 경우에는 bS를 1로 결정한다.

반면, 움직임 벡터의 차의 절대값이 모두 4보다 작고 또한 움직임 보상에서의 참조 프레임이 같고 또한 PU 파티션 경계가 아닐 경우에는 bS를 0으로 결정한다. bS가 0이라는 것은 필터링 적용 절차에서 필터링을 수행하지 않는 것을 나타낸다.

한편, bS를 결정하는 방법은 PU 파티션 경계뿐만 아니라 다양한 조건으로 결정될 수 있다. 예컨대, 아래 1 내지 3 중 적어도 하나 이상의 조건을 적용하여 bS를 결정할 수 있다.

1. 대상 경계가 PU 파티션 경계일 경우에는 bS를 1로 결정할 수 있다.

2. 현재 CU가 최대 깊이(depth)이고 대상 경계가 그 CU의 PU 파티션 경계일 경우에는 bS를 1로 결정할 수 있다. 여기서 현재 CU의 깊이는 최대 깊이뿐만 아니라 임의로 정한 깊이(depth) 이상일 경우에 수행될 수도 있다.

3. 대상 경계인 블록 p와 q의 경계가 TU(Transform Unit)의 경계일 경우, bS를 1로 결정한다.

4. 현재 CU가 최대 깊이(depth)일 경우에는 경계(혹은 내부 경계)에 대한 bS를 0으로 결정한다.

이외에도 bS를 결정하는 방법은 여러 가지가 적용될 수 있다.

파싱부에서 bS를 결정 하는 방법

본 발명에 의하면, 디코딩 장치의 파싱부에서 디블록킹 필터링의 bS를 결정하고, 결정된 bS를 저장할 수 있다.

도 6은 파싱부에서 디블록킹 필터링의 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다.

도 6을 참조하면, 복호화기(600)는 파싱 및 bS 결정부(610), 복호화부(640), 디블록킹 필터링부(650)를 포함한다.

파싱 및 bS 결정부(610)는 파싱부(620) 및 bS 결정부(630)를 포함할 수 있다.

파싱부(620)는 부호화기에서 전송된 비트스트림이 복호화기(600)로 입력되면, 이를 파싱하여 필요한 정보를 획득한다.

bS 결정부(630)는 파싱에 의해 획득한 정보를 기반으로 bS 를 결정할 수 있다. 이때, bS 결정부(630)는 도 4에서 설명한 바와 같은 방법으로 bS를 결정할 수 있다. 따라서, 파싱부(620)에서 파싱에 의해 획득되는 정보는 p가 인트라 부호화되었는지, q가 인트라 부호화 되었는지, p와 q 사이의 에지가 TU 에지인지, p가 부호화된 계수를 포함하는지, q가 부호화된 계수를 포함하는지, 블록 p와 q에 대하여 움직임 벡터의 성분들 사이의 차가 4와 같거나 더 큰지, p와 q의 참조 프레임이 다른지, p와 q 사이의 에지가 PU 파티션 경계인지에 관한 정보를 포함한다.

bS 결정부(630)에서 결정된 bS는 디블록킹 필터링부(650)에 전달된다.

복호화부(640)는 파싱된 정보를 기반으로 복호화를 수행하고 복원된 블록을 출력한다. 복원 블록을 생성하는 구체적인 방법은 도 2에서 설명한 바와 같다.

디블록킹 필터링부(650)는 bS 결정부(630)에서 결정된 bS를 이용하여 디블록킹 필터링을 수행한다.

디블록킹 필터부(650)는 디블록킹 필터가 적용될 영역을 정할 수 있다. 구체적으로, 디블록킹 필터가 적용되는 최소 단위가 8x8 블록인 경우에, 수평 에지와 수직 에지를 고려하여, 블록의 경계를 유도할 수 있다. 디블록킹 필터링부(650)는 블록의 경계에 대한 bS를 기반으로 필터링 할 것인지 어떤 필터링을 적용할 것인지를 결정할 수 있다. 디블록킹 필터링부는(650) 블록의 에지에 적용할 필터를 선택한다. 필터는 강한 필터(strong filter)와 약한 필터(weak filter)로 나뉠 수 있다. 필터는 bS값과 양자화 파라미터 및 디블록킹 필터링 파라미터 등에 따라 선택될 수 있다.

한편, 여기서 ‘블록 에지에 디블록킹 필터를 적용’한다는 것은 블록 에지를 경계로 한 좌우 소정의 샘플(예컨대, p와 q 내 소정의 샘플들)에 디블록킹 필터가 적용된다는 것을 의미한다.

도 6의 예에서는 본 발명의 이해를 명확하게 하기 위해 각 기능부들을 구성하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 파싱 및 필터링 강도 결정부(610)는 도 2의 엔트로피 복호화부에 대응할 수도 있고, 별도의 파싱부로 구성될 수도 있다. 또한, 디블록킹 필터링부(650)는 도 2의 필터부에 대응할 수 있다. 또한, 복호화부(640)는 도 2에서 엔트로피 복호화부 및 필터부를 제외한 나머지 기능부들에 대응할 수 있다.

또한, 도 6에서는 bS가 bS 결정부(640)에서 결정되었으나, bS가 파싱부에서 결정되지 않고, 필터링부에서 결정되는 경우에, 필터링부는 디블록킹 필터링이 적용될 경계를 유도한 후 각 경계에 대한 bS를 설정한 뒤. bS 및/또는 그 외 필터링 파라미터에 따라서 디블록킹 필터링을 적용할 것인지, 어떤 디블록킹 필터링(약한 필터링, 강한 필터링)을 적용할 것인지를 결정할 수 있다.

본 명세서에서는 프레임, 참조 프레임 등의 용어를 사용하여 본 발명을 설명하였으나, 이는 설명의 편의를 위한 것으로서, (참조) 프레임은 (참조) 픽처와 동일한 의미로 사용될 수 있으며, 본 발명에서 프레임을 픽처로 대체하는 경우에도 본 발명의 기술적 사상은 동일하게 적용될 수 있음에 유의한다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (1)

1. PU(Prediction Unit)의 파티션 경계를 판단하는 단계; 및
   디블록킹 필터링의 경계 필터링 강도(bS)를 결정하는 단계를 포함하며,
   상기 디블록킹 필터링의 경계 필터링 강도는 상기 PU의 파티션 경계를 기반으로 결정되는 것을 특징으로 하는 디블록킹 필터링의 경계 필터링 강도 결정 방법.

Images