KR20200002764A

KR20200002764A - 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치

Info

Publication number: KR20200002764A
Application number: KR1020190178169A
Authority: KR
Inventors: 임성창; 김휘용; 정세윤; 조숙희; 김종호; 이하현; 이진호; 최진수; 김진웅; 안치득; 최해철
Original assignee: 한국전자통신연구원; 제이디홀딩스 주식회사
Priority date: 2010-09-29
Filing date: 2019-12-30
Publication date: 2020-01-08
Also published as: US20130182779A1; KR20210125451A; KR20200108268A; KR102442894B1; KR102309804B1; KR20120033289A; KR20220127785A; KR102155362B1; US9363533B2; KR102062821B1

Abstract

복수 계층 기반의 스케일러블 영상 복호화 방법이 제공된다. 본 발명에 따른 스케일러블 영상 복호화 방법은 대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여 필터링 대상 영상의 제1 필터 정보에 대한 예측을 수행하여 제2 필터 정보를 생성하는 단계 및 제2 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함한다. 본 발명에 따르면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

Description

필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치 {METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING USING PREDICTION OF FILTER INFORMATION}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 영상 부호화/복호화 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술, 복원 영상에서 발생되는 왜곡, 오차(error), 블록킹 현상(blocking artifact) 등을 감소시키기 위한 필터링(filtering) 기술 등이 사용될 수 있다.

영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 영상 부호화/복호화 방법이 사용될 수 있다.

또한 3차원 영상을 제공하기 위해, 다시점 영상 부호화/복호화 방법이 사용될 수도 있다. 현재 출시되는 3차원 영상 부호화/복호화 방법에서는, 공간적으로 분할된 디스플레이 패널(display panel)에 두 시점 (視點; view) 이상의 영상이 표시되며, 각각의 개별 시점의 영상들은 동시에 재생된다. 동시에 재생되는 영상들의 시점은 편광 필름, 렌티큘러 시트(lenticular sheet), 패럴랙스 배리어(parallax barrier) 등의 구동방식에 의해 분리된다. 따라서, 사람의 두 눈에 각각 서로 다른 시점의 영상이 제공되고, 재생되는 영상들은 3차원 영상으로 인식된다.

본 발명의 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 스케일러블 영상 부호화 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 스케일러블 영상 복호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 다시점 영상 부호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 다시점 영상 복호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 필터링 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 필터 정보 예측 방법 및 장치를 제공함에 있다.

본 발명의 일 실시 형태는 복수 계층(layer) 기반의 스케일러블(scalable) 영상 복호화 방법이다. 상기 방법은 대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함한다. 상기 대상 계층은 상기 필터링 대상 영상이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보이다.

상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나일 수 있다.

상기 방법은 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고, 상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 계층의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시할 수 있다.

상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는, 상기 대상 계층 및 상기 다른 계층 중 상기 필터 정보 예측 지시자가 지시하는 계층에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행할 수 있다.

상기 방법은 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고, 상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는, 상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계 및 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.

본 발명의 다른 실시 형태는 복수 계층(layer) 기반의 스케일러블(scalable) 영상 복호화를 위한 필터링 방법이다. 상기 방법은 대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함한다. 상기 대상 계층은 상기 필터링 대상 영상이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보이다.

본 발명의 또 다른 실시 형태는 복수의 시점(view)에서 획득된 영상을 기반으로 한 다시점 영상 복호화 방법이다. 상기 방법은 대상 시점에 포함된 정보 및 다른 시점에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고, 상기 대상 시점은 상기 필터링 대상 영상이 포함된 시점이고, 상기 다른 시점은 상기 대상 시점을 제외한 시점으로서 상기 대상 시점에서의 복호화 수행에 이용될 수 있는 시점이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보이다.

상기 방법은 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고, 상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 시점의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시할 수 있다.

상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는, 상기 대상 시점 및 상기 다른 시점 중 상기 필터 정보 예측 지시자가 지시하는 시점에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행할 수 있다.

본 발명의 또 다른 실시 형태는 복수의 시점(view)에서 획득된 영상을 기반으로 한 다시점 영상 복호화를 위한 필터링 방법이다. 대상 시점에 포함된 정보 및 다른 시점에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고, 상기 대상 시점은 상기 필터링 대상 영상이 포함된 시점이고, 상기 다른 시점은 상기 대상 시점을 제외한 시점으로서 상기 대상 시점에서의 복호화 수행에 이용될 수 있는 시점이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 에측 필터 정보이다.

본 발명에 따른 스케일러블 영상 부호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

본 발명에 따른 스케일러블 영상 복호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

본 발명에 따른 다시점 영상 부호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

본 발명에 따른 다시점 영상 복호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

본 발명에 따른 필터링 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

본 발명에 따른 필터 정보 예측 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용되는, 복수 계층을 이용한 스케일러블 영상 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명이 적용될 수 있는 다시점 영상 부호화/복호화 과정에서의 예측 방법의 실시예를 개략적으로 나타내는 개념도이다.
도 5는 스케일러블 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 본 발명의 실시예에 따른 공간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 7은 본 발명의 실시예에 따른 시간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 8은 본 발명의 실시예에 따른 화질 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 9는 본 발명의 일 실시예에 따른 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 10은 다시점 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 11은 본 발명의 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 12는 본 발명의 일 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 영상 버퍼(reference picture buffer)(190)를 포함한다. 참조 영상 버퍼(190)는 복호화된 영상 버퍼(decoded picture buffer)라 불릴 수도 있으며, 이하, 참조 영상 버퍼(190)는 복호화된 영상 버퍼와 동일한 의미를 가진다. 또한 이하 픽쳐는 문맥 또는 필요에 따라 영상과 동일한 의미를 가질 수 있다.

영상 부호화 장치(100)는 입력 부호화 대상 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

인터 모드에서 움직임 예측부(111) 및 움직임 보상부(112)는 예측을 수행하여 예측 블록을 생성할 때, 복원 영상 또는 복원 블록의 서브 샘플(sub-sample) 단위로 화소(pixel) 값을 예측하기 위하여 보간 필터(interpolation filter)를 사용할 수 있다. 보간 필터는 복원 영상 또는 복원 블록이 참조 영상 버퍼(190)에 저장되기 전이나 저장된 후에 적용될 수 있다. 보간 필터는 위너 필터(Wiener filter) 또는 고정 필터 계수를 가지는 필터에 기반할 수 있다.

보간 필터가 사용되는 경우, 예측 대상 블록 내의 화소값들이 정수 화소 이하의 단위로 예측될 수 있으므로, 부호화 대상 영상과 이전 복원 영상 간의 왜곡이나 차이가 최소화될 수 있다. 따라서 보간 필터가 사용되는 경우, 영상 부호화 효율이 향상될 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화를 위해 지수 골롬(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 다른 예를 들면 엔트로피 부호화부(150)는, 심볼을 이진화하여 빈(bin)으로 변환하고 문맥 모델(context model)에 따라 빈의 발생 확률을 예측하여 빈의 산술 부호화(arithmetic encoding)를 수행하여 비트스트림을 생성하는 CABAC 엔트로피 부호화 방법을 사용할 수도 있다. 여기서, 빈(bin)은 심볼이 이진화를 통해 2진수의 열로 표현될 때, 각각의 2진수의 값(0 또는 1)을 의미한다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 영상에 적용할 수 있다.

디블록킹 필터는, 복원 영상 또는 복원 블록의 신호에 기반하여, 강한 경계(edge)의 주변에 경계의 에코(echo)가 생기는 링잉 현상(ringing artifact), 블록 간의 경계에 블록 왜곡이 생기는 블록킹 현상(blocking artifact) 등의 양자화 오차(quantization error)를 감소시킬 수 있다. 디블록킹 필터는 복원 영상 또는 복원 블록이 참조 영상 버퍼(190)에 저장되기에 앞서 적용될 수 있다. 디블록킹 필터를 통해서 영상 부호화 효율 및 영상의 주관적 화질이 향상될 수 있다.

디블록킹 필터에서는 일 실시예로 아래와 같은 과정들이 수행될 수 있다.

1. 필터링 경계 판별 과정: 디블록킹 필터는 필터링을 수행할 대상 경계를 판별할 수 있다. 기본적으로 영상 부호화 및 복호화 과정에서 사용되는 영상이 분할된 부호화 및 복호화 단위가 필터링을 수행할 대상 경계로 판단될 수 있다. 예를 들어, 부호화 유닛(coding unit)의 경계, 예측 유닛(prediction unit)의 경계, 변환 유닛(transform unit)의 경계 중 어느 하나의 경계는 필터링을 수행할 대상 경계가 될 수 있다.

2. 필터링 수행 여부 결정 과정: 디블록킹 필터는 필터링 대상 경계의 필터 강도와 경계 주변 화소값을 이용한 계산식의 결과값 중 하나 이상을 이용하여 필터링 수행 여부를 결정할 수 있다. 예를 들어, 필터 강도는 경계 주변에 존재하는 복원된 샘플에 대해 필터링이 수행될 때, 저역 통과 필터(low pass filter)의 입력 샘플 수를 나타내는 탭 크기(tap size), 저역 통과 필터의 계수(coefficient) 등을 나타낼 수 있다. 이때, 필터 강도를 결정하기 위하여 부호화 파라미터가 사용될 수 있다. 예를 들어, 화면내 예측 모드, 화면간 예측 모드, 움직임 벡터, 참조 영상 인덱스, 부호화 블록 플래그 들 중 하나 이상이 부호화 파라미터로 사용될 수 있다. 예를 들어, 경계 주변 화소값을 이용한 계산식의 결과값은 필터링 대상 경계가 변환(transform) 및 양자화(quantization)로 인한 블록킹 현상(blocking artifact)인지 영상 내에 존재하는 실제 에지(edge)인지를 판별하는 계산식의 결과값일 수 있다. 따라서, 디블록킹 필터는 필터링 대상 경계의 필터 강도와 경계 주변 화소값을 이용한 계산식의 결과값을 이용해서 필터링 대상 경계에 대한 필터 적용 여부와 필터 종류를 결정할 수 있다.

3. 필터링 수행 과정: 디블록킹 필터는 상기에서 결정된 경계 및 수행 여부의 정보를 이용하여 필터링 대상 경계에 대한 필터링을 수행할 수 있다. 이때, 경계가 사람의 눈에 잘 보이지 않게 하기 위한 방법으로, 경계 주변의 화소값을 부드럽게 하기 위해, 경계 주변의 화소값의 변화량 등에 따라 저역 통과 필터, 원영상과 왜곡을 최소화하기 위한 위너(Wiener) 필터 등이 사용될 수 있다. 또한, 필터링 대상 경계에 따라 1차원 필터 혹은 2차원 이상의 다차원 필터가 사용될 수 있다. 예를 들어, 2차원 이상의 다차원 필터는 사각형, 원형, 직사각형 등의 필터의 모양(shape), 수평 대칭, 수직 대칭, 대각선 대칭 등의 필터 계수의 구조(structure)를 가질 수 있다. 또한, 상기 필터링 수행 여부 결정 과정에서 결정된 필터 강도 등에 따라 상기 나열된 다양한 필터가 필터링 수행 과정에서 사용될 수 있다.

SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다.

ALF는 원래의 영상을 기초로 복원된 영상에 필터링을 수행할 수 있다. ALF는 적응적 루프 내 필터로 불릴 수 있다. 이하, 적응적 루프 내 필터와 ALF는 동일한 의미를 가진다.

적응적 루프 내 필터는 복원 영상 또는 복원 블록이 참조 영상 버퍼(190)에 저장되기에 앞서 적용될 수 있다. 적응적 루프 내 필터는 위너 필터(Wiener filter)에 기반하여 복원된 영상과 원래의 영상 간의 왜곡을 감소시키는 적응적 루프 내 필터 계수를 구하여 복원 영상 또는 복원 블록을 필터링할 수 있다. 적응적 루프 내 필터를 통해서 영상 부호화 효율 및 영상의 주관적 화질이 향상될 수 있다.

부호화기의 적응적 루프 내 필터에서는 일 실시예로 아래와 같은 과정들이 수행될 수 있다.

1. 적응적 루프 필터링 수행 여부 결정 과정: 적응적 루프 내 필터는 적응적 루프 필터링 수행 여부를 시그널링한다. 예를 들어, 적응적 루프 필터링 수행 여부에 관한 정보는 비트스트림 내에 포함되어 복호화기로 시그널링될 수 있다. 부호화기는, 부호화 유닛(coding unit) 단위의 필터링 수행 여부 플래그와 같은 정보를 비트스트림에 포함하여, 부호화 유닛 단위로 필터링 수행 여부를 시그널링할 수 있으며, 영상 단위로 필터링 수행 여부를 시그널링할 수 있다. 또한, 부호화기는 필터링이 수행되는 최대 깊이에 대한 정보를 비트스트림에 삽입하여 부호화 유닛에서 특정 깊이의 부호화 유닛까지만 적응적 루프 필터링이 수행되게 할 수 있다.

2. 적응적 루프 필터 파라미터 결정 과정:

2-1. 필터 모양 및 필터 계수 결정 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 부호화기는 적응적 루프 필터링을 수행하기 위한 필터 모양들 중에 하나의 모양을 결정하여 시그널링할 수 있고, 적응적 루프 필터링을 수행하기 위해 사용되는 필터 계수를 결정하고 시그널링 할 수 있다. 예를 들어, 필터 계수는 부호화기에서 계산될 수 있다. 이때 필터 계수의 개수는 하나 이상이 될 수 있다.

2-2. 필터 분류 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 필터 분류 방법으로서 영역 기반 적응 (RA: Region-based adaptation)과 블록 기반 적응(BA: Block-based adaptation) 중 하나의 방법이 이용될 수 있다. 부호화기는 상기 필터 분류 방법을 이용하여 적응적 루프 필터링을 수행할 때 필터를 달리 선택할 수 있다. 영역 기반 적응이 사용될 경우 분할된 영상 영역 당 다수의 필터 중 어느 하나의 필터가 선택될 수 있으며, 블록 기반 적응이 사용될 경우 화소들의 변화량 및 방향성을 고려하여 다수의 필터 중 어느 하나의 필터가 선택될 수 있다.

3. 적응적 루프 필터링 수행 과정: 부호화기는, 상기 결정된 적응적 루프 필터링 수행 여부 및 결정된 필터 파라미터를 이용하여, 복원된 영상의 화소에 적응적 루프 필터링을 수행할 수 있다.

필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.

도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 이 때, 서브 샘플 단위로 예측 블록의 화소값을 예측하기 위하여 보간 필터가 사용될 수 있으며, 보간 필터의 상세는 도 1의 실시예에서 상술된 바와 같다.

복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 디블록킹 필터, SAO의 상세는 도 1의 실시예에서 상술된 바와 같을 수 있다.

복호화기의 적응적 루프 내 필터(ALF: adaptive loop filter)에서는 일 실시예로 아래와 같은 과정들이 수행될 수 있다.

1. 적응적 루프 필터링 수행 여부 결정 과정: 복호화기는, 적응적 루프 필터링 수행 여부를 결정함에 있어, 비트스트림에 포함된 adaptive_loop_filter_flag를 파싱함으로써 적응적 루프 필터링 수행 여부를 결정할 수 있다. 복호화기는 부호화 유닛(coding unit) 단위의 필터링 수행 여부 플래그와 같은 정보를 파싱하여 부호화 유닛 단위로 필터링 수행 여부를 결정할 수 있으며, 영상 단위로 필터링 수행 여부를 결정할 수 있다. 또한, 복호화기는 필터링이 수행되는 최대 깊이에 대한 정보를 파싱하여 부호화 유닛에서 특정 깊이의 부호화 유닛까지만 적응적 루프 필터링이 수행되게 할 수 있다.

2. 적응적 루프 필터 파라미터 결정 과정:

2-1. 필터 모양 및 필터 계수 결정 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 복호화기는 적응적 루프 필터링을 수행하기 위한 필터 모양들 중에 하나의 모양을 결정하고, 적응적 루프 필터링을 수행하기 위해 사용되는 필터 계수를 결정할 수 있다. 이때 필터 계수의 개수는 하나 이상이 될 수 있다.

2-2. 필터 분류 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 필터 분류 방법으로 영역 기반 적응 (RA: Region-based adaptation)과 블록 기반 적응(BA: Block-based adaptation) 중 하나의 방법이 이용될 수 있다. 복호화기는 상기 필터 분류 방법을 이용하여, 적응적 루프 필터링을 수행할 때, 필터를 달리 선택할 수 있다. 영역 기반 적응이 사용될 경우 분할된 영상 영역 당 다수의 필터 중 어느 하나의 필터가 선택될 수 있으며, 블록 기반 적응이 사용될 경우 화소들의 변화량 및 방향성을 고려하여 다수의 필터 중 어느 하나의 필터가 선택될 수 있다.

3. 적응적 루프 필터링 수행 과정: 복호화기는, 상기 결정된 적응적 루프 필터링 수행 여부 및 결정된 필터 파라미터를 이용하여, 복원된 영상의 화소에 적응적 루프 필터링을 수행할 수 있다.

복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

도 3은 본 발명이 적용되는, 복수 계층을 이용한 스케일러블 영상 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽쳐의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 네트워크 환경에 따라 다양한 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 영상 코딩 방법이 제공될 수 있다.

스케일러블(scalable) 영상 부호화/복호화 방법은 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법의 확장(extension)에 의해 구현될 수 있으며, 도 1의 실시예에 따른 영상 부호화 장치 및 도 2의 실시예에 따른 영상 복호화 장치는 스케일러블 영상 부호화/복호화 장치의 기초가 될 수 있다. 예를 들어, 스케일러블 영상 부호화 장치는 도 1의 실시예에 따른 영상 부호화 장치와 유사한 형태를 가진 복수의 부호화기를 포함할 수 있다. 일 실시예로 스케일러블 영상 부호화 장치의 구조는, 도 1의 실시예에 따른 영상 부호화 장치에, 도 1의 실시예에 따른 영상 부호화 장치와 유사한 형태의 부호화기가 추가된 구조일 수 있다. 상기 추가된 영상 부호화기는 도 1의 실시예에 따른 영상 부호화 장치에서 생성되는 비트스트림 및 복원 영상을 이용하여 영상을 부호화할 수 있으며, 스케일러블 영상 부호화 장치 내에서 도 1의 실시예에 따른 영상 부호화 장치에 종속적으로 동작할 수 있다. 스케일러블 영상 복호화 장치는 도 2의 실시예에 따른 영상 복호화 장치와 유사한 형태를 가진 복수의 복호화기를 포함할 수 있다. 일 실시예로 스케일러블 영상 복호화 장치의 구조는, 도 2의 실시예에 따른 영상 복호화 장치에, 도 2의 실시예에 따른 영상 복호화 장치와 유사한 형태의 영상 복호화기가 추가된 구조일 수 있다. 상기 추가된 영상 복호화기는 도 1의 실시예에 따른 영상 부호화 장치에서 생성된 비트스트림 및 도 2의 실시예에 따른 영상 복호화 장치에서 생성된 복원 영상을 이용하여 영상을 복호화할 수 있으며, 스케일러블 영상 복호화 장치 내에서 도 2의 실시예에 따른 영상 복호화 장치에 종속적으로 동작할 수 있다.

스케일러블 영상 코딩(scalable video coding) 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 영상 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 영상 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 영상 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 베이스 계층(base layer)을 포함할 수 있고, 베이스 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 인핸스드 계층(enhanced layer)을 포함할 수 있다. 복수 계층 구조는 복수의 공간 계층, 복수의 시간 계층, 복수의 화질 계층 등을 포함할 수 있다. 서로 다른 공간 계층에 포함된 영상들은 서로 다른 공간적 해상도를 가질 수 있으며, 서로 다른 시간 계층에 포함된 영상들은 서로 다른 시간적 해상도(프레임율)를 가질 수 있다. 또한 서로 다른 화질 계층에 포함된 영상들은 서로 다른 화질, 예를 들어 서로 다른 SNR(signal-to-noise ratio)을 가질 수 있다.

여기서, 계층(layer)은 공간(예를 들어, 영상 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.

도 3을 참조하면, 예를 들어 베이스 계층은 QCIF(Quarter Common Intermediate Format), 15Hz의 프레임율, 3Mbps 비트율로 정의될 수 있고, 제1 인핸스드 계층은 CIF(Common Intermediate Format), 30Hz의 프레임율, 0.7Mbps 비트율로 정의될 수 있으며, 제2 인핸스드 계층은 SD(Standard Definition), 60Hz의 프레임율, 0.19Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.

이 때, 만일 CIF 0.5Mbps 비트스트림(bit stream)이 필요하다면, 제1 인핸스드 계층에서 비트율이 0.5Mbps가 되도록 비트스트림이 잘려서 전송될 수 있다. 스케일러블 영상 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.

이하, 대상 계층, 대상 영상, 대상 슬라이스, 대상 유닛 및 대상 블록은 각각 현재 부호화 또는 복호화되는 계층, 영상, 슬라이스, 유닛 및 블록을 의미한다. 예를 들어, 대상 계층은 현재 부호화/복호화 대상 영상을 포함하는 계층일 수 있다. 또한 다른 계층은 대상 계층을 제외한 계층으로서, 대상 계층에서 이용 가능한 계층을 의미한다. 즉, 다른 계층은 대상 계층에서의 복호화 수행에 이용될 수 있다. 대상 계층에서 이용 가능한 계층에는 예를 들어, 시간적, 공간적, 화질적 하위 계층이 있을 수 있다.

또한 이하, 영상이 분할되는 단위를 나타내는 슬라이스는 타일(tile), 엔트로피 슬라이스(entropy slice) 등의 분할 단위를 통칭하는 의미로 사용된다. 각 분할된 단위 간에는 독립적인 영상 부호화 및 복호화가 가능하다.

또한 이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말하므로, 매크로 블록, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.

도 4는 본 발명이 적용될 수 있는 다시점 영상 부호화/복호화 과정에서의 예측 방법의 실시예를 개략적으로 나타내는 개념도이다. 3차원 영상에서는, 동일한 장면이 두 대 이상의 카메라를 이용하여 동시에 촬영될 수 있으므로, 복수의 시점(視點; view)이 존재할 수 있다. 여기서, 하나의 시점은, 하나의 카메라로부터 획득된 영상의 시점을 의미한다. 도 4의 실시예에서 T0 내지 T8은 시간을 나타낸다.

도 4의 실시예를 참조하면, 시점 0(view 0), 시점 1(view 1), 시점 2(view 2) 이렇게 3개 시점의 영상이 제공될 수 있다. 시점의 수는 세 개에 한정되는 것이 아니고, 2개 또는 4개 이상의 시점이 존재할 수도 있다. 대상 시점 내의 다른 영상으로부터의 예측은 시간 예측(temporal prediction), 다른 시점 내의 영상으로부터의 예측은 시점 간 예측(inter-view prediction)이라 할 수 있다. 여기서, 대상 시점, 대상 영상, 대상 슬라이스, 대상 유닛, 대상 블록은 각각 현재 부호화 또는 복호화되는 시점, 영상, 슬라이스, 유닛, 블록을 의미한다. 예를 들어, 대상 시점은 현재 부호화/복호화 대상 영상을 포함하는 시점일 수 있다. 또한 다른 시점은 대상 시점을 제외한 시점으로서, 대상 시점에서 이용 가능한 시점을 의미한다.

도 4의 실시예를 참조하면, 다시점 영상에서는, 여러 시점에서 획득된 영상들이 부호화/복호화에 사용될 수 있으므로, 현재 예측 대상 유닛에 대한 부호화/복호화를 수행함에 있어 시점 간 예측과 시간적 예측이 함께 사용될 수 있다. 다시점 영상 부호화(multi-view video coding)에서는, 시점 간 예측을 통해 시점 간의 영상 내 중복성을 제거함으로써, 부호화 효율이 향상될 수 있다.

상술한 바와 같이 영상 부호화/복호화 과정에서는 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 사용될 수 있다. 또한 도 3의 실시예에 따른 스케일러블 영상 코딩 및 도 4의 실시예에 따른 다시점 영상 부호화/복호화에서도 상기 필터들이 사용될 수 있다. 이 때, 필터 계수를 포함한 각각의 필터 정보들은 하나의 계층 또는 하나의 시점 내의 영상들에서 예측될 수 있고, 미리 계산된 필터 계수들이 필터링에 이용될 수도 있다.

그러나, 상술한 바와 같이 스케일러블 영상 부호화/복호화 방법에서는 영상들이 여러 개의 계층으로 나누어진 후 부호화/복호화에 사용될 수 있고, 다시점 영상 부호화/복호화 방법에서는 복수의 시점에서 획득된 영상들이 부호화/복호화에 사용될 수 있다. 만일 대상 계층 또는 대상 시점 내의 영상들 뿐만 아니라 다른 계층 또는 다른 시점 내의 영상들이 필터 정보의 예측에 사용될 수 있다면, 부호화기에서 복호화기로 전송되는 정보의 중복성이 제거될 수 있으므로, 전송 또는 시그널링(signaling)되는 비트량이 감소될 수 있다. 또한 이 때, 필터 정보가 효율적으로 재사용될 수 있으므로 영상 부호화/복호화 효율이 향상될 뿐 아니라 부호화기 및 복호화기의 계산 복잡도도 감소될 수 있다.

따라서, 스케일러블 영상 부호화/복호화 방법에서는 다른 계층으로부터 필터 정보를 예측하는 계층 간(inter-layer) 예측 방법이 제공될 수 있고, 다시점 영상 부호화/복호화 방법에서는 다른 시점으로부터 필터 정보를 예측하는 시점 간(inter-view) 예측 방법이 제공될 수 있다.

본 발명이 적용될 수 있는 필터 정보에는 예를 들어, 적응적 루프 내 필터 정보, 보간 필터 정보, 디블록킹 필터 정보 등이 있다. 또한 적응적 루프 내 필터 정보, 보간 필터 정보, 디블록킹 필터 정보 등에는 다양한 유형의 정보들이 있을 수 있다.

적응적 루프 내 필터 정보는, 예를 들어, 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수 있다. 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.

적응적 루프 내 필터 정보는, 예를 들어, 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수도 있다. 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 어떤 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다. 적응적 루프 내 필터 정보는 여러 가지 필터 중 어떤 필터가 사용되는지 여부를 지시하는 인덱스(index) 정보일 수도 있다.

적응적 루프 내 필터 정보는 또한 필터의 기하학적 모양, 필터 탭 크기 혹은 길이, 영상 내/영상 간 필터의 예측 부호화 방법, 사용되는 필터의 개수, 필터 정보들이 양자화되는 경우의 양자화 스텝(quantization step) 사이즈 혹은 필터 정보의 비트 심도, 필터링 연산 방법 등을 포함할 수 있다. 필터링 연산 방법에는 1차원의 분리 가능한 필터(1D separable filter), 2차원의 분리 불가능한 필터(2D non-separable filter) 등이 있을 수 있다.

적응적 루프 내 필터 정보에는 필터 계수 정보도 포함될 수 있다. 필터 계수 정보는 고정된 필터 계수 또는 적응적 필터 계수를 포함할 수 있다. 적응적 필터 계수는 위너 필터(Wiener filter) 계수 또는 원래의 영상과 복원된 영상 간의 오차를 줄이기 위해서 계산된 필터 계수를 의미할 수 있다. 또한 필터 계수 정보는 각각의 색 성분에 따른 필터 계수, 즉 휘도(luma) 성분과 색차(chroma) 성분에 따른 필터 계수를 포함할 수 있다. 필터 계수 정보는 필터 오프셋(offset) 정보를 포함할 수도 있다.

적응적 루프 내 필터 정보는 상술한 정보들 중 적어도 하나 이상의 정보를 포함할 수 있으며, 각각의 정보는 정보의 값 또는 구문 요소의 형태를 가질 수 있다.

보간 필터 정보는, 예를 들어, 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수 있다. 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.

보간 필터 정보는, 예를 들어, 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수도 있다. 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 어떤 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다. 보간 필터 정보는 여러 가지 필터 중 어떤 필터가 사용되는지 여부를 지시하는 인덱스(index) 정보일 수도 있다.

보간 필터 정보는 또한 필터의 기하학적 모양, 필터 탭 크기 혹은 길이, 영상 내/영상 간 필터의 예측 부호화 방법, 사용되는 필터의 개수, 필터 정보들이 양자화되는 경우의 양자화 스텝(quantization step) 사이즈 혹은 필터 정보의 비트 심도, 필터링 연산 방법 등을 포함할 수 있다. 필터링 연산 방법에는 1차원의 분리 가능한 필터(1D separable filter), 2차원의 분리 불가능한 필터(2D non-separable filter) 등이 있을 수 있다.

보간 필터 정보에는 필터 계수 정보도 포함될 수 있다. 필터 계수 정보는 고정된 필터 계수 또는 적응적 필터 계수를 포함할 수 있다. 적응적 필터 계수는 위너 필터(Wiener filter) 계수 또는 원래의 영상과 복원된 영상 간의 오차를 줄이기 위해서 계산된 필터 계수를 의미할 수 있다. 또한 필터 계수 정보는 각각의 색 성분에 따른 필터 계수, 즉 휘도(luma) 성분과 색차(chroma) 성분에 따른 필터 계수를 포함할 수 있다. 필터 계수 정보는 필터 오프셋(offset) 정보를 포함할 수도 있다.

보간 필터 정보는 상술한 정보들 중 적어도 하나 이상의 정보를 포함할 수 있으며, 각각의 정보는 정보의 값 또는 구문 요소의 형태를 가질 수 있다.

디블록킹 필터 정보는, 예를 들어, 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수 있다. 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.

디블록킹 필터 정보는, 예를 들어, 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수도 있다. 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 어떤 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.

디블록킹 필터 정보는 또한 필터링 수행 조건, 필터의 강도(strength), 필터의 기하학적 모양, 필터 탭 크기 혹은 길이, 필터링 연산 방법 등을 포함할 수 있다. 필터링 연산 방법에는 1차원의 분리 가능한 필터(1D separable filter), 2차원의 분리 불가능한 필터(2D non-separable filter) 등이 있을 수 있다.

디블록킹 필터 정보에는 필터 계수 정보도 포함될 수 있다. 필터 계수 정보는 저주파 통과 필터의 계수 또는 고주파 통과 필터의 계수를 포함할 수 있다. 또한 필터 계수 정보는 고정된 필터 계수 또는 적응적 필터 계수를 포함할 수 있다. 적응적 필터 계수는 위너 필터(Wiener filter) 계수 또는 원래의 영상과 복원된 영상 간의 오차를 줄이기 위해서 계산된 필터 계수를 의미할 수 있다. 또한 필터 계수 정보는 각각의 색 성분에 따른 필터 계수, 즉 휘도(luma) 성분과 색차(chroma) 성분에 따른 필터 계수를 포함할 수 있다. 필터 계수 정보는 필터 오프셋(offset) 정보를 포함할 수도 있다.

디블록킹 필터 정보는 상술한 정보들 중 적어도 하나 이상의 정보를 포함할 수 있으며, 각각의 정보는 정보의 값 또는 구문 요소의 형태를 가질 수 있다.

도 5는 스케일러블 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 5의 실시예에 따른 필터링 방법은 부호화기 및 복호화기에 모두 적용될 수 있다. 또한 도 5의 실시예에 따른 필터링 방법이 적용되는 필터에는, 예를 들어 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 있을 수 있다.

도 5를 참조하면, 부호화기 및 복호화기는 소정의 계층으로부터 대상 복원 영상에 사용되는 필터 정보를 예측한다(S510). 대상 복원 영상은 필터링 대상이 되는 복원 영상을 의미한다. 대상 복원 영상에 사용되는 필터 정보는 계산된 필터 정보 및/또는 미리 정해진 필터 정보 등을 포함할 수 있다.

대상 복원 영상에 사용되는 필터 정보를 예측함에 있어, 부호화기 및 복호화기는 상기 소정의 계층 내의 영상, 슬라이스, 유닛 및/또는 블록에 포함된 정보를 이용할 수 있다.

상기 소정의 계층, 영상, 슬라이스, 유닛, 블록에는 다양한 유형이 있을 수 있다. 예를 들어, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 대상 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.

또한, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 다른 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.

상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 대상 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

또한, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 다른 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

여기서, 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 인덱스, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.

상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 대상 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

또한, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 다른 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

상기 소정의 계층은 대상 계층 및 다른 계층 중 적어도 하나 이상의 계층일수 있다.

또한 도 5의 실시예에 따른 필터링 방법에서는, 다수의 계층으로부터 필터 정보가 예측될 수 있다.

도 6은 본 발명의 실시예에 따른 공간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.

도 6의 실시예에서는 2개의 공간 계층이 존재한다. 공간 계층의 개수는 2개에 한정되지 않으며, 3 이상일 수도 있다. 도 6의 실시예를 참조하면, 공간 계층1의 영상에 대한 필터 정보는, 공간 계층0의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 spatial_id와 같은 공간 계층 식별 정보에 따라 예측될 수도 있다.

도 7은 본 발명의 실시예에 따른 시간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.

도 7의 실시예에서는 2개의 시간 계층이 존재한다. 시간 계층의 개수는 2개에 한정되지 않으며, 3 이상일 수도 있다. 도 7의 실시예를 참조하면, 시간 계층1의 영상에 대한 필터 정보는, 시간 계층0의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 temporal_id와 같은 시간 계층 식별 정보에 따라 예측될 수도 있다.

도 8은 본 발명의 실시예에 따른 화질 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.

도 8의 실시예에서는 2개의 화질 계층이 존재한다. 화질 계층의 개수는 2개에 한정되지 않으며, 3 이상일 수도 있다. 도 8의 실시예를 참조하면, 화질 계층1의 영상에 대한 필터 정보는, 화질 계층0의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 quality_id와 같은 화질 계층 식별 정보에 따라 예측될 수도 있다.

필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 예를 들어, 필터 정보 후보(candidate) 리스트가 사용될 수 있고, 이 때 상기 리스트에서 어떤 필터 정보가 예측되는지를 지시하는 인덱스(index) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 또한, 각 필터 정보에 대해 필터 정보가 예측되는지 여부를 지시하는 플래그(flag) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 복호화기는 상기 인덱스 정보 및/또는 상기 플래그 정보를 수신하여 필터 정보가 예측되는지 및/또는 어떤 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용하여 얻어질 수도 있다. 이 때, 복호화기는 필터 정보를 예측하기 위해 사용되는 계층에서의 부호화 파라미터를 이용하여, 필터 정보가 예측되는지 또는 어떤 필터 정보가 예측되는지 여부에 대한 정보를 얻을 수 있다. 상기 부호화 파라미터는 부호화기에서 생성되어 복호화기로 전송될 수 있다.

복수의 계층들 중 어떤 계층으로부터 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 복호화기는 상기 정보를 수신하여 어떤 계층으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 계층들 중 어떤 계층으로부터 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용해서 얻어질 수도 있다. 복호화기는 상기 부호화 파라미터를 이용하여 어떤 계층으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

대상 복원 영상의 필터 정보는 대상 계층 및/또는 다른 계층에 포함된 다른 필터 정보로부터 예측될 수도 있다. 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 이 때, 복호화기는 상기 정보를 수신하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용해서 얻어질 수도 있다. 이 때, 복호화기는 상기 부호화 파라미터를 이용하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

복호화기는, 필터 정보 예측 지시자의 값에 기초하여, 대상 계층의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있고 다른 계층의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.

필터 정보 예측 지시자는 어떤 필터 정보가 예측되는지, 필터 정보가 어떤 계층에서 예측되는지 및/또는 예측된 값이 그대로 이용되는지 여부를 지시하는 지시자이다. 필터 정보 예측 지시자의 실시예로서, Filter_base_mode, Filter_use_filter_information, Filter_pred_filter_information 등이 있을 수 있다.

Filter_base_mode는 다른 계층에서의 필터 정보가 영상의 공간적 및 시간적 해상도에 맞게 스케일링되어 필터 정보 예측 수행에 이용됨을 지시할 수 있다. Filter_use_filter_information은 다른 계층에서 필터 정보가 예측된 후 예측된 값이 그대로 대상 복원 영상의 필터 정보로 이용됨을 지시할 수 있다. Filter_pred_filter_information은 다른 계층에서 필터 정보가 예측된 후 예측된 필터 정보와 대상 복원 영상의 필터 정보의 차이값이 부호화기에서 복호화기로 전송됨을 지시할 수 있다. 필터 정보 예측 지시자는 상기의 실시예에 한정되는 것이 아니고, 대상 계층 및 다른 계층을 지시하는 방법, 예측 방법 등에 따라 다른 종류의 필터 정보 예측 지시자가 사용될 수도 있다. 복호화기는 상기 정보들을 수신한 후, 상기 정보에 기초하여 필터 정보 예측을 수행할 수 있다.

부호화기 및 복호화기는 대상 계층 및/또는 다른 계층의 정보를 이용하여 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수 있다.

부호화기는 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보의 차이값을 복호화기로 전송할 수도 있다. 이 때, 복호화기는 그 차이값을 수신하고, 수신된 차이값을 예측된 필터 정보와 합하여 대상 복원 영상의 필터 정보로 사용할 수 있다.

도 9는 본 발명의 일 실시예에 따른 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다. 도 9를 참조하면, 필터 정보 예측기(910)는 필터 정보 예측 지시자에 기초하여 대상 계층의 필터 정보 또는 다른 계층의 필터 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수 있다. 또한 필터 정보 예측기(910)는 대상 계층의 필터 정보와 다른 계층의 필터 정보를 함께 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.

다시 도 5를 참조하면, 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 필터링을 수행한다(S520). 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 영상 전체에 대한 필터링을 수행할 수 있다. 이 때, 필터링은 슬라이스, 유닛 또는 블록 등의 단위로 수행될 수 있다.

부호화기 및 복호화기는 예측된 필터 정보를 대상 복원 영상에 사용되는 필터 정보의 예측 정보로 이용할 수 있다. 대상 복원 영상에 사용되는 필터 정보는, 대상 복원 영상의 필터링을 위한 정보로서, 계산된 필터 정보 및/또는 미리 정해진 필터 정보 등을 포함할 수 있다.

부호화기는, 상기 예측된 필터 정보를 상기 대상 복원 영상에 사용되는 필터 정보의 예측 정보로 이용하여, 상기 대상 복원 영상에 사용되는 필터 정보에 관련되는 정보들을 부호화기로 전송 또는 시그널링할 수 있다. 예를 들어, 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보의 차이값이 복호화기로 전송될 수 있다. 이 때, 복호화기는 수신한 차이값을 예측된 필터 정보와 합하여 대상 복원 영상의 필터 정보로 사용할 수 있다. 부호화기 및 복호화기는 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수도 있다.

부호화기 및 복호화기는 얻어진 대상 복원 영상의 필터 정보를 이용하여 대상 복원 영상을 필터링할 수 있다.

부호화기 및 복호화기는 예측된 필터 정보만을 이용하여 대상 복원 영상에 대한 필터링을 수행할 수 있다. 다른 예로 부호화기 및 복호화기는 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보를 함께 이용하여 대상 복원 영상에 대한 필터링을 수행할 수도 있다. 이 때, 특정 슬라이스, 유닛, 블록에 대해서는 예측된 필터 정보만이 이용되고, 다른 특정 슬라이스, 유닛, 블록에 대해서는 대상 복원 영상에 사용되는 필터 정보가 이용될 수 있다. 또 다른 예로 부호화기 및 복호화기는 예측된 필터 정보를 이용하지 않고, 대상 복원 영상에 사용되는 필터 정보만으로 대상 복원 영상을 필터링할 수도 있다.

도 5 내지 도 9의 실시예를 참조하면, 스케일러블 영상 부호화/복호화 과정에서 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 사용되는 경우, 부호화기 및 복호화기는 다른 계층을 포함한 다양한 계층들 중 선택된 소정의 계층으로부터 필터 정보를 예측할 수 있고, 상기 필터 정보를 이용하여 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 계층 간으로 필터 정보를 예측할 수 있으므로, 부호화기에서 복호화기로 전송되는 필터 정보의 양이 감소될 수 있다. 또한 영상 부호화 효율이 향상될 수 있고, 부호화기와 복호화기의 계산 복잡도도 감소될 수 있다.

도 10은 다시점 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 10의 실시예에 따른 필터링 방법은 부호화기 및 복호화기에 모두 적용될 수 있다. 또한 도 10의 실시예에 따른 필터링 방법이 적용되는 필터에는, 예를 들어 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 있을 수 있다.

도 10을 참조하면, 부호화기 및 복호화기는 소정의 시점으로부터 대상 복원 영상에 사용되는 필터 정보를 예측한다(S1010).

대상 복원 영상에 사용되는 필터 정보를 예측함에 있어, 부호화기 및 복호화기는 상기 소정의 시점 내의 영상, 슬라이스, 유닛 및/또는 블록에 포함된 정보를 이용할 수 있다.

상기 소정의 시점, 영상, 슬라이스, 유닛, 블록에는 다양한 유형이 있을 수 있다. 예를 들어, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 대상 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.

또한, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 다른 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.

상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 대상 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

또한, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 다른 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 대상 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

또한, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 다른 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.

상기 소정의 시점은 대상 시점 및 다른 시점 중 적어도 하나 이상의 시점일수 있다.

또한 도 10의 실시예에 따른 필터링 방법에서는, 다수의 시점으로부터 필터 정보가 예측될 수 있다.

도 11은 본 발명의 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다. 도 11의 실시예에서는 3개의 시점이 존재한다. 시점의 개수는 3개에 한정되지 않으며, 2 또는 4 이상일 수도 있다. 도 11의 실시예를 참조하면, 시점1의 영상에 대한 필터 정보는, 시점0, 시점2의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 view_id와 같은 시점 식별 정보에 따라 예측될 수도 있다.

필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 예를 들어, 필터 정보 후보(candidate) 리스트가 사용될 수 있고, 이 때 상기 리스트에서 어떤 필터 정보가 예측되는지를 지시하는 인덱스(index) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 또한, 각 필터 정보에 대해 필터 정보가 예측되는지 여부를 지시하는 플래그(flag) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 복호화기는 상기 인덱스 정보 및/또는 플래그 정보를 수신하여 필터 정보가 예측되는지 및/또는 어떤 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는 부호화 파라미터를 이용하여 얻어질 수도 있다. 이 때, 복호화기는 필터 정보를 예측하기 위해 사용되는 시점에서의 부호화 파라미터를 이용하여, 필터 정보가 예측되는지 또는 어떤 필터 정보가 예측되는지 여부에 대한 정보를 얻을 수 있다. 상기 부호화 파라미터는 부호화기에서 생성되어 복호화기로 전송될 수 있다.

복수의 시점들 중 어떤 시점으로부터 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 복호화기는 상기 정보를 수신하여 어떤 시점으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 시점들 중 어떤 시점으로부터 필터 정보가 예측되는지에 대한 정보는 부호화 파라미터를 이용하여 얻어질 수도 있다. 복호화기는 상기 부호화 파라미터를 이용하여 어떤 시점으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

대상 복원 영상의 필터 정보는 대상 계층 및/또는 다른 계층에 포함된 다른 필터 정보에 의해 예측될 수도 있다. 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 이 때, 복호화기는 상기 정보를 수신하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용해서 얻어질 수도 있다. 이 때, 복호화기는 상기 부호화 파라미터를 이용하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

복호화기는, 필터 정보 예측 지시자의 값에 기초하여, 대상 시점의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있고 다른 시점의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.

필터 정보 예측 지시자는 어떤 필터 정보가 예측되는지, 필터 정보가 어떤 시점에서 예측되는지 및/또는 예측된 값이 그대로 이용되는지 여부를 지시하는 지시자이다. 필터 정보 예측 지시자의 실시예로서, Filter_base_mode, Filter_use_filter_information, Filter_pred_filter_information 등이 있을 수 있다. 각 지시자의 의미는 도 5의 실시예에서 상술한 바와 유사하다.

Filter_base_mode는 다른 시점에서의 필터 정보가 영상의 공간적 및 시간적 해상도에 맞게 스케일링되어 필터 정보 예측 수행에 이용됨을 지시할 수 있다. Filter_use_filter_information은 다른 시점에서 필터 정보가 예측된 후 예측된 값이 그대로 대상 복원 영상의 필터 정보로 이용됨을 지시할 수 있다. Filter_pred_filter_information은 다른 시점에서 필터 정보가 예측된 후 예측된 필터 정보와 대상 복원 영상의 필터 정보의 차이값이 부호화기에서 복호화기로 전송됨을 지시할 수 있다. 필터 정보 예측 지시자는 상기의 실시예에 한정되는 것이 아니고, 대상 시점 및 다른 시점을 지시하는 방법, 예측 방법 등에 따라 다른 종류의 필터 정보 예측 지시자가 사용될 수도 있다. 복호화기는 상기 정보들을 수신한 후, 상기 정보에 기초하여 필터 정보 예측을 수행할 수 있다.

부호화기 및 복호화기는 대상 시점 및/또는 다른 시점의 정보를 이용하여 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수 있다.

도 12는 본 발명의 일 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다. 도 12를 참조하면, 필터 정보 예측기(1210)는 필터 정보 예측 지시자에 기초하여 대상 시점의 필터 정보 또는 다른 시점의 필터 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수 있다. 또한 필터 정보 예측기(1210)는 대상 시점의 필터 정보와 다른 시점의 필터 정보를 함께 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.

다시 도 10을 참조하면, 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 필터링을 수행한다(S1020). 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 영상 전체에 대한 필터링을 수행할 수 있다. 이 때, 필터링은 슬라이스, 유닛 또는 블록 등의 단위로 수행될 수 있다.

도 10 내지 도 12의 실시예를 참조하면, 다시점 영상 부호화/복호화 과정에서 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 사용되는 경우, 부호화기 및 복호화기는 다른 시점을 포함한 다양한 시점들 중 선택된 소정의 시점으로부터 필터 정보를 예측할 수 있고, 상기 필터 정보를 이용하여 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 시점 간으로 필터 정보를 예측할 수 있으므로, 부호화기에서 복호화기로 전송되는 필터 정보의 양이 감소될 수 있다. 또한 영상 부호화 효율이 향상될 수 있고, 부호화기와 복호화기의 계산 복잡도도 감소될 수 있다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims

부호화 대상 블록을 예측하여 예측 블록을 생성하는 예측부;
상기 부호화 대상 블록과 상기 예측 블록에 기초하여 상기 부호화 대상 블록에 대한 잔차 블록을 생성하는 감산기;
상기 잔차 블록을 부호화하는 부호화부;
상기 부호화된 잔차 블록을 복호화하는 복호화부;
상기 복호화된 잔차 블록과 상기 예측 블록에 기초하여 상기 부호화 대상 블록을 복원하는 가산기; 및
상기 복원된 부호화 대상 블록을 포함하는 복원 영상을 필터링하는 필터부를 포함하고,
상기 필터부는,
디블록킹 필터링 및 SAO(Sample Adaprive Offset) 필터링을 수행하고,
상기 디블록킹 필터링이 수행되는 경우, 상기 필터부는, 상기 디블록킹 필터링이 수행되는 대상 경계인 필터링 대상 경계의 주변 화소값을 이용한 계산식의 결과값을 이용하여 디블록킹 필터링에 사용될 필터 종류를 결정하고, 상기 결정된 필터 종류에 따라 상기 필터링 대상 경계를 디블록킹 필터링하는 영상 부호화 장치.
복호화 대상 블록을 예측하여 예측 블록을 생성하는 예측부;
상기 복호화 대상 블록에 대한 잔차 블록을 복호화하는 복호화부;
상기 복호화된 잔차 블록과 상기 예측 블록에 기초하여 상기 복호화 대상 블록을 복원하는 가산기; 및
상기 복원된 복호화 대상 블록을 포함하는 복원 영상을 필터링하는 필터부를 포함하고,
상기 필터부는,
디블록킹 필터링 및 SAO(Sample Adaprive Offset) 필터링을 수행하고,
상기 디블록킹 필터링이 수행되는 경우, 상기 필터부는, 상기 디블록킹 필터링이 수행되는 대상 경계인 필터링 대상 경계의 주변 화소값을 이용한 계산식의 결과값을 이용하여 디블록킹 필터링에 사용될 필터 종류를 결정하고, 상기 결정된 필터 종류에 따라 상기 필터링 대상 경계를 디블록킹 필터링하는 영상 복호화 장치.
영상 부호화 장치에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 장치는,
부호화 대상 블록을 예측하여 예측 블록을 생성하는 예측부;
상기 부호화 대상 블록과 상기 예측 블록에 기초하여 상기 부호화 대상 블록에 대한 잔차 블록을 생성하는 감산기;
상기 잔차 블록을 부호화하는 부호화부;
상기 부호화된 잔차 블록을 복호화하는 복호화부;
상기 복호화된 잔차 블록과 상기 예측 블록에 기초하여 상기 부호화 대상 블록을 복원하는 가산기; 및
상기 복원된 부호화 대상 블록을 포함하는 복원 영상을 필터링하는 필터부를 포함하고,
상기 필터부는,
디블록킹 필터링 및 SAO(Sample Adaprive Offset) 필터링을 수행하고,
상기 디블록킹 필터링이 수행되는 경우, 상기 필터부는, 상기 디블록킹 필터링이 수행되는 대상 경계인 필터링 대상 경계의 주변 화소값을 이용한 계산식의 결과값을 이용하여 디블록킹 필터링에 사용될 필터 종류를 결정하고, 상기 결정된 필터 종류에 따라 상기 필터링 대상 경계를 디블록킹 필터링하는 기록 매체.