KR20170059422A

KR20170059422A - 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치

Info

Publication number: KR20170059422A
Application number: KR1020160154386A
Authority: KR
Inventors: 강정원; 고현석; 임성창; 이진호; 전동산; 김휘용; 박광훈; 최진수; 김태현; 이대영; 허영수
Original assignee: 한국전자통신연구원; 경희대학교 산학협력단
Priority date: 2015-11-20
Filing date: 2016-11-18
Publication date: 2017-05-30
Also published as: US20180332279A1; CN108353165B; CN108353165A; US11412209B2; CN115118966A; CN115118969A; US20210227210A1; WO2017086747A1; CN115118968A; CN115118967A; US20230370585A1; CN115118965A; US11425370B2; US20220408083A1; US11758128B2

Abstract

본 발명은 기하 변환 픽처를 활용한 비디오 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명에 따른 영상의 부호화 방법은 참조 픽처를 기하 변환하여 기하 변환 픽처를 생성하는 기하 변환 픽처 생성 단계, 및 기하 변환 픽처를 참조한 화면 간 예측을 수행하여 현재 블록의 제1 예측 블록을 생성하는 제1 예측 블록 생성 단계를 포함할 수 있다.

Description

기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치{APPARATUS AND METHOD OF VIDEO ENCODING/DECODING USING GEOMETRICALLY MODIFIED PICTURE}

본 발명은 참조 픽처를 기하 변환(geometric modification)하여 생성되는 기하 변환 픽처(geometrically modified picture)를 이용한 영상의 부호화/복호화 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축 기술로 현재 픽처의 이전 또는 이후 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소값을 예측하는 화면 내 예측 기술, 잔여 신호의 에너지를 압축하기 위한 변환 및 양자화 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.

화면 간 예측 시 참조되는 참조 픽처에 전역(global) 움직임 등이 포함되는 경우, 참조 픽처와 현재 픽처 사이의 유사성이 저하된다. 픽처 간 유사성의 저하는 예측 효율의 저하를 초래한다. 또한, 화면 내 예측 시 현재 블록의 화면 내 예측 방향이 제한됨에 따라, 화면 내 예측의 효율이 저하될 수 있다. 따라서, 상기 문제점들을 해결하기 위한 개선안이 요구되고 있다.

본 발명에서는 영상을 효율적으로 부호화/복호화하는 방법 및 장치를 제공한다.

또한, 본 발명에서는 화면간 예측 및/또는 화면내 예측을 효율적으로 수행하는 방법 및 장치를 제공한다.

또한, 본 발명에서는 참조 픽처를 기하 변환하여 기하 변환 픽처를 생성하는 방법 및 장치를 제공한다.

또한, 본 발명에서는 기하 변환 픽처와 관련된 정보를 효율적으로 시그널링하는 방법 및 장치를 제공한다.

또한, 본 발명에서는 기하 변환 픽처를 참조하여 화면간 예측 및/또는 화면내 예측을 수행하는 방법 및 장치를 제공한다.

본 발명에 따른 영상의 부호화 방법은, 참조 픽처를 기하 변환하여 기하 변환 픽처를 생성하는 기하 변환 픽처 생성 단계, 및 기하 변환 픽처를 참조한 화면 간 예측을 수행하여 현재 블록의 제1 예측 블록을 생성하는 제1 예측 블록 생성 단계를 포함할 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 참조 픽처를 참조한 화면 간 예측을 수행하여 상기 현재 블록의 제2 예측 블록을 생성하는 제2 예측 블록 생성 단계, 및 상기 제1 예측 블록과 상기 제2 예측 블록 중에서, 상기 현재 블록의 움직임 보상에 이용될 최종 예측 블록을 선택하는 단계를 더 포함할 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 최종 예측 블록의 선택은 상기 제1 예측 블록과 상기 제2 예측 블록 중 상기 현재 블록과의 오차가 더 작은 블록을 선택함으로써 수행될 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 기하 변환 정보를 생성하는 기하 변환 정보 생성 단계를 더 포함하고, 상기 기하 변환 픽처 생성 단계는 상기 기하 변환 정보 및 상기 참조 픽처에 기초하여 수행될 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 기하 변환 정보를 부호화하는 기하 변환 정보 부호화 단계를 더 포함할 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 기하 변환 정보 부호화 단계는 상기 기하 변환 정보를 재구성하는 단계를 포함하고, 상기 기하 변환 정보의 재구성은 상기 기하 변환 정보의 간소화 또는 상기 기하 변환 정보의 예측을 포함할 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 기하 변환 정보는 상기 현재 블록을 포함하는 현재 픽처와 참조 픽처 사이의 화소 정보의 변화에 기초하여 생성될 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 기하 변환 정보 생성 단계는, 상기 현재 픽처와 상기 참조 픽처의 각각으로부터 추출된 특징점 사이의 매칭 정보에 기초하여 수행될 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 기하 변환 픽처 생성 단계는, 상기 기하 변환 픽처 내의 한 지점에 대응되는 상기 참조 픽처 내의 한 지점을 식별하는 단계, 및 상기 참조 픽처 내의 대응 지점의 화소 정보를 상기 기하 변환 픽처 내의 지점의 화소 정보로 설정하는 단계를 포함할 수 있다.

본 발명에 따른 영상의 부호화 방법에 있어서, 상기 기하 변환 픽처 내의 지점에 대응되는 지점이 상기 참조 픽처 내에 존재하지 않는 경우, 상기 대응되는 지점에 가장 인접한 상기 참조 픽처 내의 지점을 상기 대응되는 지점으로 식별할 수 있다.

본 발명에 따른 영상의 복호화 방법은, 참조 픽처를 기하 변환하여 기하 변환 픽처를 생성하는 기하 변환 픽처 생성 단계, 및 기하 변환 픽처를 참조한 화면 간 예측을 수행하여 현재 블록의 예측 블록을 생성하는 예측 블록 생성 단계를 포함할 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 움직임 보상 관련 정보를 수신하는 단계, 및 상기 움직임 보상 관련 정보에 기초하여, 상기 현재 블록의 움직임 보상에 상기 기하 변환 픽처가 참조되는지 여부를 판단하는 판단 단계를 더 구비하고, 상기 기하 변환 픽처 생성 단계 및 예측 블록 생성 단계는, 상기 판단 단계에서, 상기 현재 블록의 움직임 보상에 상기 기하 변환 픽처가 참조된 것으로 판단된 경우 수행될 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 판단 단계는 상기 움직임 보상 관련 정보가 기하 변환 정보에 관한 정보를 포함하는지 여부 또는 상기 움직임 보상 관련 정보에 포함된 기하 변환 픽처 참조 여부에 관한 정보에 기초하여 수행될 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 판단 단계에서, 상기 현재 블록의 움직임 보상에 상기 기하 변환 픽처가 참조된 것으로 판단되는 경우, 상기 움직임 보상 관련 정보에 포함된 기하 변환 정보에 관한 정보에 기초하여 상기 기하 변환 정보를 복원하는 단계를 더 포함하고, 상기 기하 변환 픽처 생성 단계는 상기 참조 픽처와 상기 복원된 기하 변환 정보에 기초해서 수행될 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 기하 변환 정보에 관한 정보는 차분 기하 변환 정보 또는 스케일링 계수를 포함하고, 상기 기하 변환 정보의 복원 단계는, 상기 차분 기하 변환 정보 또는 상기 스케일링 계수 중 적어도 하나와 기 저장된 기하 변환 정보에 기초하여 상기 기하 변환 정보를 복원할 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 움직임 보상 관련 정보는 상기 기 저장된 기하 변환 정보에 관한 정보를 포함하고, 상기 기 저장된 기하 변환 정보에 관한 정보는 하나 이상의 기 저장된 기하 변환 정보 중 하나를 식별하는 정보일 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 기하 변환 픽처 생성 단계는, 상기 기하 변환 픽처 내의 한 지점에 대응되는 상기 참조 픽처 내의 한 지점을 식별하는 단계, 및 상기 참조 픽처 내의 대응 지점의 화소 정보를 상기 기하 변환 픽처 내의 지점의 화소 정보로 설정하는 단계를 포함할 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 기하 변환 픽처 내의 지점에 대응되는 지점이 상기 참조 픽처 내에 존재하지 않는 경우, 상기 대응되는 지점에 가장 인접한 상기 참조 픽처 내의 지점을 상기 대응되는 지점으로 식별할 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 참조 픽처 내의 대응 지점이 실수 좌표를 갖는 경우, 상기 참조 픽처 내의 대응 지점의 주변으로부터 정수 좌표를 갖는 하나 이상의 지점을 식별하고, 상기 정수 좌표를 갖는 하나 이상의 지점의 화소 정보에 기초하여 상기 참조 픽처 내의 대응 지점의 화소 정보를 유도할 수 있다.

본 발명에 따른 영상의 복호화 방법에 있어서, 상기 기하 변환 픽처 생성 단계는, 픽처, 슬라이스, 타일, 코딩 유닛(Coding Unit) 및 예측 유닛(Prediction Unit)으로부터 선택된 하나 이상의 단위로 수행될 수 있다.

본 발명에 따르면, 영상을 효율적으로 부호화/복호화할 수 있다.

또한, 본 발명에 따르면, 화면간 예측 및/또는 화면내 예측을 효율적으로 수행할 수 있다.

또한, 본 발명에 따르면, 참조 픽처를 변환하여 기하 변환 픽처를 생성할 수 있다.

또한, 본 발명에 따르면, 기하 변환 픽처와 관련된 정보를 효율적으로 시그널링할 수 있다.

또한, 본 발명에 따르면, 기하 변환 픽처를 참조하여 화면간 예측 및/또는 화면내 예측을 수행할 수 있다.

도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 5는 부호화 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 6은 화면 내 예측 과정의 실시예를 설명하기 위한 도면이다.
도 7은 화면 간 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 이동 변환을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 크기 변형을 설명하기 위한 도면이다.
도 10은 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 회전 변형을 설명하기 위한 도면이다.
도 11은 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 어파인(Affine) 변환을 설명하기 위한 도면이다.
도 12는 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 투영(projective) 변환을 설명하기 위한 도면이다.
도 13은 본 발명에 따라, 호모그래피를 구현하는 방법의 일 예를 설명하기 위한 도면이다.
도 14는 본 발명에 따른, 두 영상 내의 대응되는 두 지점간의 관계식을 산출하는 방법의 일 예이다.
도 15는 본 발명에 따라 기하 변환 행렬과 원본 영상에 기초하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명에 따른, 역사상을 이용하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명에 따른, 기하 변환 행렬과 원본 영상에 기초하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다. 기하 변환 행렬은 기하 변환 정보에 대응될 수 있다.
도 18은, 본 발명의 일 실시예에 따라, 도 17을 참조하여 설명된 다양한 보간법 중, 양선형 보간법을 설명하기 위한 도면이다.
도 19는 본 발명에 따른, 비디오 부호화기에서 기하 변환 정보와 기하 변환 픽처를 생성하고, 참조 픽처와 기하 변환 픽처를 이용하여 움직임 예측을 수행하는 방법을 설명하기 위한 도면이다.
도 20은 본 발명이 적용되는 부호화기의 다른 실시예에 따른 구성을 나타내는 블록도이다.
도 21은 도 20에 도시된 부호화기의 일 실시예에 따른 기하 변환 픽처 생성부(2010)의 동작 및 구조를 설명하기 위한 도면이다.
도 22는 도 20에 도시된 부호화기의 일 실시예에 따른 기하 변환 픽처 예측부(2015)의 동작 및 구조를 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 움직임 예측을 설명하기 위한 순서도이다.
도 24는 본 발명의 일 실시예에 따른 기하 변환 픽처 생성 방법을 설명하기 위한 순서도이다.
도 25는 본 발명의 일 실시예에 따른 화면간 예측 방법을 설명하기 위한 순서도이다.
도 26은 본 발명의 일 실시예에 따른 기하 변환 정보 부호화 방법을 설명하기 위한 순서도이다.
도 27은 기하 변환 정보의 부호화에 필요한 비트량을 줄이기 위해 기하 변환 정보를 변형하는 다양한 실시 예를 도시한 도면이다.
도 28은 본 발명에 따라 비디오 복호화기에서 기하 변환 정보를 이용하여 참조 픽처로부터 기하 변환 픽처를 생성하고, 참조 픽처와 기하 변환 픽처를 이용하여 움직임 보상을 수행하는 방법을 설명하기 위한 도면이다.
도 29는 본 발명이 적용되는 복호화기의 다른 실시예에 따른 구성을 나타내는 블록도이다.
도 30은 도 29에 도시된 복호화기의 일 실시예에 따른 기하 변환 픽처 생성부(2970)의 동작 및 구조를 설명하기 위한 도면이다.
도 31은 도 29에 도시된 복호화기의 일 실시예에 따른 기하 변환 픽처 예측부(2960)의 동작 및 구조를 설명하기 위한 도면이다.
도 32는 본 발명의 일 실시예에 따른 복호화기에서의 움직임 보상을 설명하기 위한 순서도이다.
도 33은 본 발명의 일 실시예에 따른, 확장된 화면 내 예측을 설명하기 위한 개념도이다.
도 34는 본 발명에 일 실시예에 따른 확장된 화면 내 예측부의 동작 및 구조를 설명하기 위한 도면이다.
도 35는 본 발명의 일 실시예에 따른 확장된 화면 내 예측을 설명하기 위한 도면이다.
도 36은 본 발명에 따른 화면 내 예측 방향을 설명하기 위한 도면이다.
도 37은 본 발명에 따라 확장된 화면 내 예측이 수행되는 일 실시예를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

본 발명에서 "제1, 제2" 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한, 이하에서 영상은 동영상(video)을 구성하는 하나의 픽처를 의미할 수 있으며, 동영상 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "비디오의 부호화 및/또는 복호화"를 의미할 수 있으며, "비디오를 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다. 여기서, 픽처는 영상과 동일한 의미를 가질 수 있다.

부호화기(Encoder): 부호화를 수행하는 장치를 의미할 수 있다.

복호화기(Decoder): 복호화를 수행하는 장치를 의미할 수 있다.

파싱(Parsing): 엔트로피 복호화하여 구문 요소(Syntax Element)의 값을 결정하는 것을 의미하거나, 엔트로피 복호화 자체를 의미할 수 있다.

블록(Block): 샘플(Sample)의 MxN 배열이며, 여기서 M과 N은 양의 정수 값을 의미하며, 블록은 흔히 2차원 형태의 샘플 배열을 의미할 수 있다.

유닛(Unit): 영상 부호화 및 복호화의 단위를 의미할 수 있다. 영상의 부호화 및 복호화에 있어서, 유닛은 하나의 영상의 분할에 의해 생성된 영역일 수 있다. 또한, 유닛은 하나의 영상을 세분화 된 유닛으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 의미할 수 있다. 영상의 부호화 및 복호화에 있어서, 유닛 별로 기정의된 처리가 수행될 수 있다. 하나의 유닛은 유닛에 비해 더 작은 크기를 갖는 하위 유닛으로 더 분할될 수 있다. 기능에 따라서, 유닛은 블록(Block), 매크로블록(Macroblock), 부호화 트리 유닛(Coding Tree Unit), 부호화 트리 블록(Coding Tree Block), 부호화 유닛(Coding Unit), 부호화 블록(Coding Block), 예측 유닛(Prediction Unit), 예측 블록(Prediction Block), 변환 유닛(Transform Unit), 변환 블록(Transform Block) 등을 의미할 수 있다. 또한, 유닛은 블록과 구분하여 지칭하기 위해 휘도(Luma) 성분 블록과 그에 대응하는 색차(Chroma) 성분 블록 그리고 각 블록에 대한 구문 요소를 포함한 것을 의미할 수 있다. 유닛은 다양한 크기와 형태를 가질 수 있으며, 특히 유닛의 형태는 직사각형뿐만 아니라 정사각형, 사다리꼴, 삼각형, 오각형 등 2차원으로 표현할 수 있는 기하학적 도형을 포함할 수 있다. 또한, 유닛 정보에는 부호화 유닛, 예측 유닛, 변환 유닛 등을 가리키는 유닛의 타입, 유닛의 크기, 유닛의 깊이, 유닛의 부호화 및 복호화 순서 등 중 적어도 하나 이상을 포함할 수 있다.

복원된 주변 유닛(Reconstructed Neighbor Unit): 부호화/복호화 대상 유닛 주변에 공간적(Spatial)/시간적(Temporal)으로 이미 부호화 혹은 복호화되어 복원된 유닛을 의미할 수 있다.

유닛 깊이(Depth): 유닛이 분할된 정도를 의미하며, 트리 구조(Tree Structure)에서 루트 노드(Root Node)는 깊이가 가장 얕고, 리프 노드(Leaf Node)는 깊이가 가장 깊다고 할 수 있다.

심볼(Symbol): 부호화/복호화 대상 유닛 구문 요소 및 부호화 파라미터(coding parameter), 변환 계수(Transform Coefficient)의 값 등을 의미할 수 있다.

파라미터 세트(Parameter Set): 비트스트림 내의 구조 중 헤더 정보에 해당할 수 있으며, 비디오 파라미터 세트(video parameter set), 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set), 적응 파라미터 세트(adaptation parameter set) 중 적어도 하나 이상이 파라미터 세트에 포함될 수 있다. 또한, 파라미터 세트에는 슬라이스(slice) 헤더 및 타일(tile) 헤더 정보를 포함한 의미를 가질 수 있다.

비트스트림(Bitstream): 부호화된 영상 정보를 포함하는 비트의 열을 의미할 수 있다.

부호화 파라미터(Coding Parameter): 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미할 수 있다. 예를 들어, 화면 내 예측 모드, 화면 간 예측 모드, 화면 내 예측 방향, 움직임 정보, 움직임 벡터, 참조 영상 색인, 화면 간 예측 방향, 화면 간 예측 지시자, 참조 영상 리스트, 움직임 벡터 예측기, 움직임 병합 후보, 변환 종류, 변환 크기, 추가 변환 사용 유무, 루프 내 필터 정보, 잔여 신호 유무, 양자화 매개변수, 문맥 모델, 변환 계수, 변환 계수 레벨, 부호화 블록 패턴(Coded Block Pattern), 부호화 블록 플래그(Coded Block Flag), 영상 디스플레이/출력 순서, 슬라이스 정보, 타일 정보, 픽처 타입, 움직임 병합 모드 사용 유무, 스킵 모드 사용 유무, 블록 크기, 블록 깊이, 블록 분할 정보, 유닛 크기, 유닛 깊이, 유닛 분할 정보 등의 값 및/또는 통계 중 적어도 하나 이상이 부호화 파라미터에 포함될 수 있다.

예측 유닛(Prediction Unit): 화면 간 예측 또는 화면 내 예측 및 그에 대한 보상을 수행할 때의 기본 유닛이며, 예측 유닛은 복수의 파티션(Partition)으로 분할 될 수도 있다. 복수의 파티션 각각이 상기 예측 및 보상 수행 시의 기본 유닛이 되며, 예측 유닛이 분할된 파티션도 예측 유닛이라고 할 수 있다. 또한, 하나의 예측 유닛은 분할되어 크기가 작은 복수의 예측 유닛으로 분할될 수 있다. 예측 유닛은 다양한 크기와 형태를 가질 수 있으며, 특히 예측 유닛의 형태는 직사각형뿐만 아니라 정사각형, 사다리꼴, 삼각형, 오각형 등 2차원으로 표현할 수 있는 기하학적 도형을 포함할 수 있다.

예측 유닛 파티션(Prediction Unit Partition): 예측 유닛이 분할된 형태를 의미할 수 있다.

참조 영상 리스트(Reference Picture List): 화면 간 예측 혹은 움직임 보상에 사용되는 하나 이상의 참조 영상이 포함된 리스트를 의미할 수 있다. 참조 영상 리스트의 종류는 LC (List Combined), L0 (List 0), L1 (List 1), L2 (List 2), L3 (List 3) 등이 있을 수 있으며, 화면 간 예측에는 1개 이상의 참조 영상 리스트가 사용될 수 있다.

화면 간 예측 지시자(Inter Prediction Indicator): 화면 간 예측시에 부호화/복호화 대상 블록의 화면 간 예측 방향(단방향 예측, 쌍방향 예측 등)을 의미할 수 있으며, 부호화/복호화 대상 블록이 예측 블록을 생성할 때 사용하는 참조 영상 수를 의미할 수 있으며, 부호화/복호화 대상 블록이 화면 간 예측 혹은 움직임 보상을 수행할 때 사용하는 예측 블록의 수를 의미할 수 있다.

참조 영상 색인(Reference Picture Index): 참조 영상 리스트에서 특정 참조 영상에 대한 색인을 의미할 수 있다.

참조 영상(Reference Picture): 화면 간 예측 혹은 움직임 보상을 위해서 특정 유닛이 참조하는 영상을 의미할 수 있으며, 참조 영상을 참조 픽처라고도 지칭할 수 있다.

움직임 벡터(Motion Vector): 화면 간 예측 혹은 움직임 보상에 사용되는 2차원 벡터이며, 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 의미할 수 있다. 예를 들어, (mvX, mvY)는 움직임 벡터를 나타낼 수 있으며, mvX는 가로(horizontal) 성분, mvY는 세로(vertical) 성분을 나타낼 수 있다.

움직임 벡터 후보(Motion Vector Candidate): 움직임 벡터를 예측할 때 예측 후보가 되는 유닛 혹은 그 유닛의 움직임 벡터를 의미할 수 있다.

움직임 벡터 후보 리스트(Motion Vector Candidate List): 움직임 벡터 후보를 이용하여 구성된 리스트를 의미할 수 있다.

움직임 벡터 후보 색인(Motion Vector Candidate Index): 움직임 벡터 후보 리스트 내의 움직임 벡터 후보를 가리키는 지시자, 움직임 벡터 예측기(Motion Vector Predictor)의 색인(index)이라고도 할 수 있다.

움직임 정보(Motion Information): 움직임 벡터, 참조 영상 색인, 화면 간 예측 지시자(Inter Prediction Indicator) 뿐만 아니라 참조 영상 리스트 정보, 참조 영상, 움직임 벡터 후보, 움직임 벡터 후보 색인 등 중 적어도 하나 이상을 포함하는 정보를 의미할 수 있다.

변환 유닛(Transform Unit): 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화/복호화와 같이 잔여 신호(residual signal) 부호화/복호화를 수행할 때의 기본 유닛을 의미할 수 있으며, 하나의 변환 유닛은 분할되어 크기가 작은 복수의 변환 유닛으로 분할될 수 있다. 변환 유닛은 다양한 크기와 형태를 가질 수 있으며, 특히 변환 유닛의 형태는 직사각형뿐만 아니라 정사각형, 사다리꼴, 삼각형, 오각형 등 2차원으로 표현할 수 있는 기하학적 도형을 포함할 수 있다.

스케일링(Scaling): 변환 계수 레벨에 인수를 곱하는 과정을 의미할 수 있으며, 결과로 변환 계수를 생성할 수 있다. 스케일링을 역양자화(dequantization)라고도 부를 수 있다.

양자화 매개변수(Quantization Parameter): 양자화 및 역양자화에서 변환 계수 레벨(transform coefficient level)을 스케일링(scaling)할 때 사용하는 값을 의미할 수 있다. 이때, 양자화 매개변수는 양자화 스텝 크기(step size)에 매핑된 값일 수 있다.

잔여 양자화 매개변수(Delta Quantization Parameter): 예측된 양자화 매개변수와 부호화/복호화 대상 유닛의 양자화 매개변수의 차분된 값을 의미할 수 있다.

스캔(Scan): 블록 혹은 행렬 내 계수의 순서를 정렬하는 방법을 의미할 수 있으며, 예를 들어 2차원 배열을 1차원 배열 형태로 정렬하는 것을 스캔이라고 하며, 1차원 배열을 2차원 배열 형태로 정렬하는 것도 스캔 혹은 역 스캔(Inverse Scan)이라고 부를 수 있다.

변환 계수(Transform Coefficient): 변환을 수행하고 나서 생성된 계수 값, 본 발명에서는 변환 계수에 양자화를 적용한 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수의 의미에 포함될 수 있다.

넌제로 변환 계수(Non-zero Transform Coefficient): 변환 계수 값의 크기가 0이 아닌 변환 계수 혹은 값의 크기가 0이 아닌 변환 계수 레벨을 의미할 수 있다.

양자화 행렬(Quantization Matrix): 영상의 주관적 화질 혹은 객관적 화질을 향상시키기 위해서 양자화 혹은 역양자화 과정에서 이용하는 행렬을 의미할 수 있다. 양자화 행렬을 스케일링 리스트(scaling list)라고도 부를 수 있다.

양자화 행렬 계수(Quantization Matrix Coefficient): 양자화 행렬내의 각 원소(element)를 의미할 수 있다. 양자화 행렬 계수를 행렬 계수(matrix coefficient)라고도 할 수 있다.

기본 행렬(Default Matrix): 부호화기와 복호화기에서 미리 정의되어 있는 소정의 양자화 행렬을 의미할 수 있다.

비 기본 행렬(Non-default Matrix): 부호화기와 복호화기에서 미리 정의되지 않고, 사용자에 의해서 전송/수신되는 양자화 행렬을 의미할 수 있다.

도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

부호화 장치(100)는 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 비디오의 하나 이상의 영상들을 시간에 따라 순차적으로 부호화할 수 있다.

도 1을 참조하면, 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.

부호화 장치(100)는 입력 영상에 대해 인트라 모드 및/또는 인터 모드로 부호화를 수행할 수 있다. 또한, 부호화 장치(100)는 입력 영상에 대한 부호화를 통해 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 예측 모드로 인트라 모드가 사용되는 경우 스위치(115)는 인트라로 전환될 수 있고, 예측 모드로 인터 모드가 사용되는 경우 스위치(115)는 인터로 전환될 수 있다. 여기서 인트라 모드는 화면 내 예측 모드를 의미할 수 있으며, 인터 모드는 화면 간 예측 모드를 의미할 수 있다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 입력 블록 및 예측 블록의 차분(residual)을 부호화할 수 있다. 입력 영상은 현재 부호화의 대상인 현재 영상으로 칭해질 수 있다. 입력 블록은 현재 부호화의 대상인 현재 블록 혹은 부호화 대상 블록으로 칭해질 수 있다.

예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 현재 블록의 주변에 이미 부호화된 블록의 픽셀 값을 참조 화소로서 이용할 수 있다. 인트라 예측부(120)는 참조 화소를 이용하여 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 입력 블록에 대한 예측 샘플들을 생성할 수 있다. 여기서 인트라 예측은 화면 내 예측을 의미할 수 있다.

예측 모드가 인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상으로부터 입력 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 움직임 벡터를 도출할 수 있다. 참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있다.

움직임 보상부(112)는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터일 수 있다. 또한 움직임 벡터는 현재 영상 및 참조 영상 간의 오프셋(offset)을 나타낼 수 있다. 여기서 인터 예측은 화면 간 예측을 의미할 수 있다.

상기 움직임 예측부(111)과 움직임 보상부(112)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터(Interpolation Filter)를 적용하여 예측 블록을 생성할 수 있다. 화면 간 예측 혹은 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 예측 및 움직임 보상 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode) 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 화면 간 예측 혹은 움직임 보상을 수행할 수 있다.

감산기(125)는 입력 블록 및 예측 블록의 차분을 사용하여 잔여 블록(residual block)을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다.

변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 생성할 수 있고, 변환 계수를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.

변환 계수에 양자화를 적용함으로써 양자화된 변환 계수 레벨(transform coefficient level)이 생성될 수 있다. 이하, 실시예들에서는 양자화된 변환 계수 레벨도 변환 계수로 칭해질 수 있다.

양자화부(140)는 변환 계수를 양자화 매개변수에 따라 양자화함으로써 양자화된 변환 계수 레벨(transform coefficient level)을 생성할 수 있고, 양자화된 변환 계수 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터(Coding Parameter) 값들 등에 대하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있고, 비트스트림을 출력할 수 있다. 엔트로피 부호화부(150)는 영상의 픽셀의 정보 외에 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Lenghth Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 산술 부호화를 수행할 수도 있다.

엔트로피 부호화부(150)는 변환 계수 레벨을 부호화하기 위해 변환 계수 스캐닝(Transform Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 업라이트(up right) 스캐닝을 이용하여 블록의 계수를 스캔함으로써 1차원 벡터 형태로 변경시킬 수 있다. 변환 유닛의 크기 및 화면 내 예측 모드에 따라 업라이트 스캔 대신 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 유닛의 크기 및 화면 내 예측 모드에 따라 업라이트 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.

부호화 파라미터(Coding Parameter)는 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미할 수 있다. 예를 들어, 화면 내 예측 모드, 화면 간 예측 모드, 화면 내 예측 방향, 움직임 정보, 움직임 벡터, 참조 영상 색인, 화면 간 예측 방향, 화면 간 예측 지시자, 참조 영상 리스트, 움직임 벡터 예측기, 움직임 병합 후보, 변환 종류, 변환 크기, 추가 변환 사용 유무, 루프 내 필터 정보, 잔여 신호 유무, 양자화 매개변수, 문맥 모델, 변환 계수, 변환 계수 레벨, 부호화 블록 패턴(Coded Block Pattern), 부호화 블록 플래그(Coded Block Flag), 영상 디스플레이/출력 순서, 슬라이스 정보, 타일 정보, 픽처 타입, 움직임 병합 모드 사용 유무, 스킵 모드 사용 유무, 블록 크기, 블록 깊이, 블록 분할 정보, 유닛 크기, 유닛 깊이, 유닛 분할 정보 등의 값 및/또는 통계 중 적어도 하나 이상이 부호화 파라미터에 포함될 수 있다.

잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform) 함으로써 생성된 신호일 수 있다. 또는, 잔여 신호는 원 신호 및 예측 신호 간의 차이를 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위의 잔여 신호일 수 있다.

부호화 장치(100)가 인터 예측을 통한 부호화를 수행할 경우, 부호화된 현재 영상은 이후에 처리되는 다른 영상(들)에 대하여 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 현재 영상을 다시 복호화할 수 있고, 복호화된 영상을 참조 영상으로 저장할 수 있다. 복호화를 위해 부호화된 현재 영상에 대한 역양자화 및 역변환이 처리될 수 있다.

양자화된 계수는 역양자화부(160)에서 역양자화(dequantization)될 수 있고. 역변환부(170)에서 역변환(inverse transform)될 수 있다. 역양자화 및 역변환된 계수는 가산기(175)를 통해 예측 블록과 합해질 수 있다, 역양자화 및 역변환된 계수 및 예측 블록을 합함으로써 복원 블록(reconstructed block) 이 생성될 수 있다.

복원 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO), 적응적 루프 필터(Adaptive Loop Filter; ALF) 중 적어도 하나 이상을 복원 블록 또는 복원 영상에 적용할 수 있다. 필터부(180)는 인루프 필터(in-loop filter)로 칭해질 수도 있다.

디블록킹 필터는 블록들 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.

샘플 적응적 오프셋은 부호화 에러를 보상하기 위해 픽셀 값에 적정 오프셋(offset) 값을 더할 수 있다. 샘플 적응적 오프셋은 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽처에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.

적응적 루프 필터는 복원 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 유닛(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 적응적 루프 필터의 모양 및 필터 계수는 달라질 수 있다. 또한, 적용 대상 블록의 특성에 상관없이 동일한 형태(고정된 형태)의 적응적 루프 필터가 적용될 수도 있다.

필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

복호화 장치(200)는 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.

도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.

복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 비트스트림에 대하여 인트라 모드 또는 인터 모드로 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 복원 영상을 생성할 수 있고, 복원 영상을 출력할 수 있다.

복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

복호화 장치(200)는 입력된 비트스트림으로부터 복원된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다.

복원된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 복원된 잔여 블록과 및 예측 블록을 더함으로써 복호화 대상 블록인 복원 블록을 생성할 수 있다. 복호화 대상 블록은 현재 블록으로 칭해질 수 있다.

엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 따른 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 변환 계수 레벨(transform coefficient level) 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법과 유사할 수 있다. 예를 들면, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.

엔트로피 복호화부(210)는 변환 계수 레벨을 복호화하기 위해 변환 계수 스캐닝(Transform Coefficient Scanning) 방법을 통해 1차원의 벡터 형태 계수를 2차원의 블록 형태로 변경할 수 있다. 예를 들어, 업라이트(up right) 스캐닝을 이용하여 블록의 계수를 스캔함으로써 2차원 블록 형태로 변경시킬 수 있다. 변환 유닛의 크기 및 화면 내 예측 모드에 따라 업라이트 스캔 대신 수직 스캔, 수평 스캔이 사용될 수도 있다. 즉, 변환 유닛의 크기 및 화면 내 예측 모드에 따라 업 라이트 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.

양자화된 변환 계수 레벨은 역양자화부(220)에서 역양자화될 수 있고, 역변환부(230)에서 역변환될 수 있다. 양자화된 변환 계수 레벨이 역양자화 및 역변환 된 결과로서, 복원된 잔여 블록이 생성될 수 있다. 이때, 역양자화부(220)는 양자화된 변환 계수 레벨에 양자화 행렬을 적용할 수 있다.

인트라 모드가 사용되는 경우, 인트라 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용하는 공간적 예측을 수행함으로써 예측 블록을 생성할 수 있다.

인터 모드가 사용되는 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하는 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 상기 움직임 보상부(250)는 움직임 벡터의 값이 정수 값을 가지지 않을 경우에 참조 영상 내의 일부 영역에 대해 보간 필터(Interpolation Filter)를 적용하여 예측 블록을 생성할 수 있다. 움직임 보상을 수행하기 위해 부호화 유닛을 기준으로 해당 부호화 유닛에 포함된 예측 유닛의 움직임 보상 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode), 현재 픽처 참조 모드 중 어떠한 방법인지 여부를 판단할 수 있고, 각 모드에 따라 움직임 보상을 수행할 수 있다. 여기서, 현재 픽처 참조 모드는 복호화 대상 블록이 속한 현재 픽처 내의 기-복원된 영역을 이용한 예측 모드를 의미할 수 있다. 상기 기-복원된 영역은 복호화 대상 블록에 인접하지 않은 영역일 수 있다. 상기 기-복원된 영역을 특정하기 위해 현재 픽처 참조 모드를 위한 소정의 벡터가 이용될 수도 있다. 복호화 대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부를 나타내는 플래그 혹은 인덱스가 시그날링될 수도 있고, 복호화 대상 블록의 참조 영상 색인을 통해 유추될 수도 있다. 현재 픽처 참조 모드로 부호화된 블록인 경우, 현재 픽처는 복호화 대상 블록을 위한 참조 영상 리스트 내에서 고정된 위치(예를 들어, refIdx=0 인 위치 또는 가장 마지막 위치)에 존재할 수 있다. 또는, 참조 영상 리스트 내에 가변적으로 위치할 수도 있으며, 이를 위해 현재 픽처의 위치를 나타내는 별도의 참조 영상 색인이 시그날링될 수도 있다.

복원된 잔여 블록 및 예측 블록은 가산기(255)를 통해 더해질 수 있다. 복원된 잔여 블록 및 예측 블록이 더해짐에 따라 생성된 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, 샘플 적응적 오프셋 및 적응적 루프 필터 중 적어도 하나 이상을 복원 블록 또는 복원 영상에 적용할 수 있다. 필터부(260)는 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다. 도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타낸다.

영상을 효율적으로 분할하기 위해, 부호화 및 복호화에 있어서, 부호화 유닛(Coding Unit; CU)이 사용될 수 있다. 여기서 부호화 유닛은 코딩 유닛을 의미할 수 있다. 유닛은 1) 구문 요소(syntax element) 및 2) 영상 샘플들을 포함하는 블록을 합쳐서 지칭하는 용어일 수 있다. 예를 들면, "유닛의 분할"은 "유닛에 해당하는 블록의 분할"을 의미할 수 있다. 블록 분할 정보에는 유닛의 깊이(depth)에 관한 정보가 포함될 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.

도 3을 참조하면, 영상(300)은 최대 부호화 유닛(Largest Coding Unit; LCU) 단위로 순차적으로 분할되고, LCU 단위로 분할 구조가 결정된다. 여기서, LCU는 부호화 트리 유닛(Coding Tree Unit; CTU)과 동일한 의미로 사용될 수 있다. 하나의 유닛은 트리 구조(tree structure)를 기초로 깊이 정보(depth)를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 상기 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 상기 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.

분할 구조는 LCU(310) 내에서의 부호화 유닛(Coding Unit; CU)의 분포를 의미할 수 있다. CU는 영상을 효율적으로 부호화하기 위한 유닛일 수 있다. 이러한 분포는 하나의 CU를 복수(2, 4, 8, 16 등을 포함하는 2 이상의 양의 정수)의 CU들로 분할할지 여부에 따라 결정할 수 있다. 분할에 의해 생성된 CU의 가로 크기 및 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 및 세로 크기의 절반이거나, 분할된 개수에 따라 분할 전의 CU의 가로 크기보다 작은 크기 및 세로 크기보다 작은 크기를 가질 수 있다. 분할된 CU는 동일한 방식으로 가로 크기 및 세로 크기가 감소된 복수의 CU로 재귀적으로 분할될 수 있다.

이때, CU의 분할은 기정의된 깊이까지 재귀적으로 이루어질 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보일 수 있다. 깊이 정보는 각 CU마다 저장될 수 있다. 예컨대, LCU의 깊이는 0일 수 있고, 최소 부호화 유닛(Smallest Coding Unit; SCU)의 깊이는 기정의된 최대 깊이일 수 있다. 여기서, LCU는 상술된 것과 같이 최대의 부호화 유닛 크기를 가지는 부호화 유닛일 수 있고, SCU는 최소의 부호화 유닛 크기를 가지는 부호화 유닛일 수 있다.

LCU(310)로부터 분할이 시작되고, 분할에 의해 CU의 가로 크기 및 세로 크기가 줄어들 때마다 CU의 깊이는 1씩 증가한다. 각각의 깊이 별로, 분할되지 않는 CU는 2Nx2N 크기를 가질 수 있다. 분할되는 CU의 경우, 2Nx2N 크기의 CU가 NxN 크기를 가지는 복수의 CU들로 분할될 수 있다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소한다.

도 3을 참조하면, 깊이가 0인 LCU는 64x64 화소들일 수 있다. 0은 최소 깊이일 수 있다. 깊이가 3인 SCU는 8x8 화소들일 수 있다. 3은 최대 깊이일 수 있다. 이때, LCU인 64x64 화소들의 CU는 깊이 0으로 표현될 수 있다. 32x32 화소들의 CU는 깊이 1로 표현될 수 있다. 16x16 화소들의 CU는 깊이 2로 표현될 수 있다. SCU인 8x8 화소들의 CU는 깊이 3으로 표현될 수 있다.

또한, CU가 분할되는지 여부에 대한 정보는 CU의 분할 정보를 통해 표현될 수 있다. 분할 정보는 1비트의 정보일 수 있다. SCU를 제외한 모든 CU는 분할 정보를 포함할 수 있다. 예를 들면, 분할 정보의 값이 0이면, CU가 분할되지 않을 수 있고, 분할 정보의 값이 1이면, CU가 분할될 수 있다.

도 4는 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.

LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛(Prediction Unit; PU)들로 나뉘어질 수 있다. 이러한 처리 또한, 분할로 칭해질 수 있다.

PU는 예측에 대한 기본 단위일 수 있다. PU는 스킵(skip) 모드, 화면 간 모드 및 화면 내 모드 중 어느 하나로 부호화 및 복호화될 수 있다. PU는 모드에 따라서 다양한 형태로 분할될 수 있다.

도 4에서 도시된 것과 같이, 스킵 모드에서는, CU 내에 분할이 존재하지 않을 수 있다. 스킵 모드에서는 분할 없이 CU와 동일한 크기를 갖는 2Nx2N 모드(410)가 지원될 수 있다.

화면 간 모드에서는, CU 내에서 8가지로 분할된 형태들이 지원될 수 있다. 예를 들면, 화면 간 모드에서는 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440) 및 nRx2N 모드(445)가 지원될 수 있다. 화면 내 모드에서는, 2Nx2N 모드(410) 및 NxN 모드(425)가 지원될 수 있다.

도 5는 부호화 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.

변환 유닛(Transform Unit; TU)은 CU 내에서 변환, 양자화, 역변환 및 역양자화의 과정을 위해 사용되는 기본 단위일 수 있다. TU는 정사각형 형태 또는 직사각형 등의 형태를 가질 수 있다. TU는 CU의 크기 및/또는 형태에 의존적으로(dependnent) 결정될 수도 있다.

LCU로부터 분할된 CU 중, 더 이상 CU들로 분할되지 않는 CU는 하나 이상의 TU들로 분할될 수 있다. 이때, TU의 분할 구조는 쿼드트리(quad-tree) 구조일 수 있다. 예컨대, 도 5에서 도시된 것과 같이, 하나의 CU(510)가 쿼드트리 구조에 따라서 한 번 혹은 그 이상 분할될 수 있다. 분할을 통해, 하나의 CU(510)는 다양한 크기의 TU들로 구성될 수 있다. 또는, CU를 분할하는 Vertical line 및/또는 Horizontal line의 개수에 기초하여 하나 이상의 TU로 분할될 수도 있다. CU는 대칭형의 TU로 분할될 수도 있고, 비대칭형의 TU로 분할될 수도 있다. 비대칭형의 TU로의 분할을 위해 TU의 크기/형태에 관한 정보가 시그날링될 수도 있고, CU의 크기/형태에 관한 정보로부터 유도될 수도 있다.

변환 수행 시 잔여 블록을 기-정의된 복수의 변환 방법 중 적어도 하나를 사용하여 변환 시킬 수 있다. 일예로, 기-정의된 복수의 변환 방법으로 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform) 또는 KLT 등이 이용될 수 있다. 잔여 블록을 변환하기 위해 어떤 변환 방법이 적용되는지는 예측 유닛의 화면 간 예측 모드 정보, 화면 내 예측 모드 정보, 변환 블록의 크기/형태 중 적어도 하나 이상을 이용하여 결정될 수도 있고, 일정한 경우 변환 방법을 지시하는 정보가 시그날링될 수도 있다.

도 6은 화면 내 예측 과정의 실시예를 설명하기 위한 도면이다.

화면 내 예측 모드의 개수는 예측 유닛(PU)의 크기에 따라 가변적이거나, 또는 예측 유닛의 크기에 관계없이 N개로 고정될 수 있다. 이때, N개는 35, 67을 포함할 수 있으며, 1 이상의 양의 정수를 가질 수 있다. 일예로 부호화기/복호화기에 기-정의된 화면 내 예측 모드는 도 6에서 도시된 것과 같이 2개의 비방향성 모드들 및 65개의 방향성 모드들을 포함할 수 있다. 2개의 비방향성 모드들은 DC 모드 및 플래너(Planar) 모드를 포함할 수 있다.

화면 내 예측 모드의 개수는 색 성분(color component)의 타입에 따라 상이할 수 있다. 예를 들면, 색 성분이 휘도(luma) 신호인지 아니면 색차(chroma) 신호인지에 따라 화면 내 예측 모드의 개수가 다를 수 있다.

PU는 NxN의 크기 또는 2Nx2N의 크기를 갖는, 정사각형 형태를 가질 수 있다. NxN의 크기는 4x4, 8x8, 16x16, 32x32, 64x64, 128x128 등을 포함할 수 있다. 또한, PU는 MxN의 크기를 가질 수 있으며, 이때 M과 N은 2 이상의 양의 정수를 가질 수 있고, M과 N은 상이할 수 있다. PU의 단위는 CU, PU 및 TU 중 적어도 하나의 크기일 수 있다.

화면 내 부호화 및/또는 복호화는 주변의 복원된 유닛에 포함되는 샘플 값 또는 부호화 파라미터를 이용하여 수행될 수 있다.

화면 내 예측 시 화면 내 예측 모드 및 부호화/복호화 대상 블록의 크기 중 적어도 하나 이상을 이용하여 참조 화소에 참조 샘플 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 참조 샘플 필터의 종류는 상이할 수 있다. 일예로, 부호화/복호화 대상 블록의 화면 내 예측 모드, 부호화/복호화 대상 블록의 크기/형태 또는 참조 화소의 위치 등에 따라 참조 샘플 필터의 종류는 상이할 수 있다. 참조 샘플 필터의 종류가 상이하다라 함은, 참조 샘플 필터의 필터 계수, 필터 탭(tap)의 수, 필터 강도 또는 필터링의 횟수 중 적어도 하나가 상이한 경우를 의미할 수 있다.

화면 내 예측 방법을 수행하기 위해 현재 예측 유닛의 화면 내 예측 모드는 현재 예측 유닛의 주변에 존재하는 예측 유닛의 화면 내 예측 모드로부터 예측할 수 있다. 주변 화면 내 예측 모드로부터 예측된 모드 정보를 이용하여 현재 예측 유닛의 화면 내 예측 모드를 예측하는 경우, 현재 예측 유닛과 주변 예측 유닛의 화면 내 예측 모드가 동일하면 소정의 플래그 정보를 이용하여 현재 예측 유닛과 주변 예측 유닛의 화면 내 예측 모드가 동일하다는 정보를 전송할 수 있고, 만약 현재 예측 유닛과 주변 예측 유닛의 화면 내 예측 모드가 상이하면 엔트로피 부호화를 수행하여 부호화/복호화 대상 블록의 화면 내 예측 모드 정보를 부호화할 수 있다.

도 7은 화면 간 예측 과정의 실시예를 설명하기 위한 도면이다.

도 7에 도시된 사각형은 영상(또는, 픽처)를 나타낼 수 있다. 또한, 도 7에서 화살표는 예측 방향을 나타낼 수 있다. 즉, 영상은 예측 방향에 따라 부호화 및/또는 복호화될 수 있다. 각 영상은 부호화 타입에 따라 I 픽처(Intra Picture), P 픽처(Uni-predictive Picture), B 픽처(Bi-predictive Picture) 등으로 분류될 수 있다. 각 픽처는 각 픽처의 부호화 타입에 따라 부호화되고 복호화될 수 있다.

부호화의 대상인 영상이 I 픽처인 경우, 영상은 화면 간 예측 없이 영상 자체에 대해 화면 내 부호화될 수 있다. 부호화의 대상인 영상이 P 픽처인 경우, 영상은 순방향으로만 참조 영상을 이용하는 화면 간 예측 혹은 움직임 보상을 통해 부호화될 수 있다. 부호화의 대상인 영상이 B 픽처인 경우, 순방향 및 역방향의 양측으로 참조 픽처들을 이용하는 화면 간 예측 혹은 움직임 보상을 통해 부호화될 수 있으며, 순방향 및 역방향 중 하나의 방향으로 참조 픽처를 이용하는 화면 간 예측 혹은 움직임 보상을 통해 부호화될 수 있다. 여기서, 화면 간 예측 모드가 사용되는 경우, 부호화기에서는 화면 간 예측 혹은 움직임 보상을 수행할 수 있고, 복호화기에서는 그에 대응하는 움직임 보상을 수행할 수 있다. 참조 영상을 이용하여 부호화 및/또는 복호화되는 P 픽처 및 B 픽처의 영상은 화면 간 예측이 사용되는 영상으로 간주될 수 있다.

아래에서, 실시예에 따른 화면 간 예측에 대해 구체적으로 설명된다.

화면 간 예측 혹은 움직임 보상은 참조 픽처 및 움직임 정보를 이용하여 수행될 수 있다. 또한, 화면 간 예측은 상술된 스킵 모드를 이용할 수도 있다.

참조 픽처(reference picture)는 현재 픽처의 이전 픽처 또는 현재 픽처의 이후 픽처 중 적어도 하나일 수 있다. 이때, 화면 간 예측은 참조 픽처에 기반하여 현재 픽처의 블록에 대한 예측을 수행할 수 있다. 여기에서, 참조 픽처는 블록의 예측에 이용되는 영상을 의미할 수 있다. 이때, 참조 픽처 내의 영역은 참조 픽처를 지시하는 참조 영상 색인(reference picture index; refIdx) 및 후술될 움직임 벡터(motion vector) 등을 이용함으로써 특정될 수 있다.

화면 간 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택할 수 있고, 선택된 참조 블록을 사용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 현재 블록은 현재 픽처의 블록들 중 현재 부호화 또는 복호화의 대상인 블록일 수 있다.

움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 화면 간 예측 과정에서 도출될 수 있다. 또한, 도출된 움직임 정보는 화면 간 예측을 수행하는데 사용될 수 있다. 이때, 부호화 장치(100) 및 복호화 장치(200)는 복원된 주변 블록(reconstructed neighboring block)의 움직임 정보 및/또는 콜 블록(collocated block; col block)의 움직임 정보를 이용함으로써 부호화 및/또는 복호화 효율을 향상시킬 수 있다. 콜 블록은 이미 복원된 콜 픽처(collocated picture; col picture) 내에서 부호화/복호화 대상 블록의 공간적 위치에 대응하는 블록일 수 있다. 복원된 주변 블록은 현재 픽처 내의 블록이면서, 이미 부호화 및/또는 복호화를 통해 복원된 블록일 수 있다. 또한, 복원 블록은 부호화/복호화 대상 블록에 인접한 이웃 블록 및/또는 부호화/복호화 대상 블록의 외부 코너에 위치한 블록일 수 있다. 여기에서, 부호화/복호화 대상 블록의 외부 코너에 위치한 블록이란, 부호화/복호화 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 부호화/복호화 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다.

부호화 장치(100) 및 복호화 장치(200)의 각각은 콜 픽처 내에서 공간적으로 부호화/복호화 대상 블록에 대응하는 위치에 존재하는 블록을 결정할 수 있고, 결정된 블록을 기준으로 기정의된 상대적인 위치를 결정할 수 있다. 기정의된 상대적인 위치는 공간적으로 부호화/복호화 대상 블록에 대응하는 위치에 존재하는 블록의 내부 및/또는 외부의 위치일 수 있다. 또한, 부호화 장치(100) 및 복호화 장치(200)의 각각은 결정된 기정의된 상대적인 위치에 기반하여 콜 블록을 도출할 수 있다. 여기서, 콜 픽처는 참조 픽처 리스트에 포함된 적어도 하나의 참조 픽처 중에서 하나의 픽처일 수 있다.

움직임 정보의 도출 방식은 부호화/복호화 대상 블록의 예측 모드에 따라 변할 수 있다. 예를 들면, 화면 간 예측을 위해 적용되는 예측 모드로서, 향상된 움직임 벡터 예측(Advanced Motion Vector Prediction; AMVP) 및 머지 모드(merge mode) 등이 있을 수 있다. 여기서 머지 모드를 움직임 병합 모드(motion merge mode)라고 지칭할 수 있다.

예를 들면, 예측 모드로서, AMVP가 적용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터를 이용하여 움직임 벡터 후보 리스트(motion vector candidate list)를 생성할 수 있다. 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터는 움직임 벡터 후보로 사용될 수 있다. 여기서, 콜 블록의 움직임 벡터를 시간적 움직임 벡터 후보(temporal motion vector candidate)라 지칭할 수 있고, 복원된 주변 블록의 움직임 벡터를 공간적 움직임 벡터 후보(spatial motion vector candidate)라 지칭할 수 있다.

부호화 장치(100)에 의해 생성된 비트스트림은 움직임 벡터 후보 색인(motion vector candidate index)를 포함할 수 있다. 즉, 부호화 장치(100)은 움직임 벡터 후보 색인을 엔트로피 부호화하여 비트스트림을 생성할 수 있다. 움직임 벡터 후보 색인은 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중에서 선택된 최적의 움직임 벡터 후보를 지시할 수 있다. 움직임 벡터 후보 색인은 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다.

복호화 장치(200)는 움직임 벡터 후보 색인을 비트스트림으로부터 엔트로피 복호화하고, 엔트로피 복호화된 움직임 벡터 후보 색인을 이용하여 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중에서 복호화 대상 블록의 움직임 벡터 후보를 선택할 수 있다.

부호화 장치(100)는 부호화 대상 블록의 움직임 벡터 및 움직임 벡터 후보 간의 움직임 벡터 차분(MVD: Motion Vector Difference)을 계산할 수 있고, MVD를 엔트로피 부호화할 수 있다. 비트스트림은 엔트로피 부호화된 MVD를 포함할 수 있다. MVD는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 이 때, 복호화 장치(200)는 수신된 MVD를 비트스트림으로부터 엔트로피 복호화할 수 있다. 복호화 장치(200)는 복호화된 MVD 및 움직임 벡터 후보의 합을 통해 복호화 대상 블록의 움직임 벡터를 도출할 수 있다.

비트스트림은 참조 픽처를 지시하는 참조 영상 색인 등을 포함할 수 있다. 참조 픽처 색인은 엔트로피 부호화되어 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 복호화 장치(200)는 주변 블록의 움직임 정보들을 이용하여 복호화 대상 블록의 움직임 벡터를 예측할 수 있고, 예측된 움직임 벡터 및 움직임 벡터 차분을 이용하여 복호화 대상 블록의 움직임 벡터를 유도할 수 있다. 복호화 장치(200)는 유도된 움직임 벡터와 참조 영상 색인 정보에 기반하여 복호화 대상 블록에 대한 예측 블록을 생성할 수 있다.

움직임 정보의 도출 방식의 다른 예로, 머지 모드(merge mode)가 있다. 머지 모드란 복수의 블록들에 대한 움직임의 병합을 의미할 수 있다. 머지 모드는 하나의 블록의 움직임 정보를 다른 블록에도 함께 적용시키는 것을 의미할 수 있다. 머지 모드가 적용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여 머지 후보 리스트(merge candidate list)를 생성할 수 있다. 움직임 정보는 1) 움직임 벡터, 2) 참조 영상 색인, 및 3) 화면 간 예측 지시자 중 적어도 하나를 포함할 수 있다. 예측 지시자는 단방향 (L0 예측, L1 예측) 또는 쌍방향일 수 있다.

이때, 머지 모드는 CU 단위 또는 PU 단위로 적용될 수 있다. CU 단위 또는 PU 단위로 머지 모드가 수행되는 경우, 부호화 장치(100)는 기정의된 정보를 엔트로피 부호화하여 비트스트림을 생성한 후 복호화 장치(200)로 전송할 수 있다. 비트스트림은 기정의된 정보를 포함할 수 있다. 기정의된 정보는, 1) 블록 파티션(partition)별로 머지 모드를 수행할지 여부를 나타내는 정보인 머지 플래그(merge flag), 2) 부호화 대상 블록에 인접한 주변 블록들 중 어떤 블록과 머지를 할 것인가에 대한 정보인 머지 인덱스(merge index)를 포함할 수 있다. 예를 들면, 부호화 대상 블록의 주변 블록들은 부호화 대상 블록의 좌측 인접 블록, 부호화 대상 블록의 상단 인접 블록 및 부호화 대상 블록의 시간적(temporal) 인접 블록 등을 포함할 수 있다.

머지 후보 리스트는 움직임 정보들이 저장된 리스트를 나타낼 수 있다. 또한, 머지 후보 리스트는 머지 모드가 수행되기 전에 생성될 수 있다. 머지 후보 리스트에 저장되는 움직임 정보는, 부호화/복호화 대상 블록에 인접한 주변 블록의 움직임 정보 및 참조 영상에서 부호화/복호화 대상 블록에 대응되는(collocated) 블록의 움직임 정보, 이미 머지 후보 리스트에 존재하는 움직임 정보들의 조합에 의해 생성된 새로운 움직임 정보 및 제로 머지 후보 중 적어도 하나 이상일 수 있다. 여기서, 부호화/복호화 대상 블록에 인접한 주변 블록의 움직임 정보는 공간적 머지 후보(spatial merge candidate) 및 참조 영상에서 부호화/복호화 대상 블록에 대응되는(collocated) 블록의 움직임 정보는 시간적 머지 후보(temporal merge candidate)라 지칭할 수 있다.

스킵 모드는 주변 블록의 움직임 정보를 그대로 부호화/복호화 대상 블록에 적용하는 모드일 수 있다. 스킵 모드는 화면 간 예측에 이용되는 모드 중 하나일 수 있다. 스킵 모드가 사용되는 경우, 부호화 장치(100)는 어떤 블록의 움직임 정보를 부호화 대상 블록의 움직임 정보로서 이용할 것인지에 대한 정보를 엔트로피 부호화하여 비트스트림을 통해 복호화 장치(200)에 전송할 수 있다. 부호화 장치(100)는 다른 정보는 복호화 장치(200)에 전송하지 않을 수 있다. 예를 들면, 다른 정보는 구문 요소(syntax element) 정보일 수 있다. 구문 요소 정보는 움직임 벡터 차분 정보, 부호화 블록 플래그 및 변환 계수 레벨 중 적어도 하나 이상을 포함할 수 있다.

도 8 내지 도 18은 영상을 기하 변환하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다.

영상의 기하 변환은 영상이 담고 있는 빛 정보(light information)의 위치를 기하적으로 변형시키는 것을 의미한다. 빛 정보라 함은 영상의 각 지점이 가지고 있는 밝기(luminance), 색상(color) 또는 채도(chrominance) 등을 의미할 수 있다. 빛 정보는 디지털 영상에서는 화소 값(sample value)을 의미할 수 있다. 기하적 변형은 빛 정보를 갖는 영상 내의 각 지점의 평행 이동, 회전, 크기의 변화 등을 의미할 수 있다.

도 8 내지 도 12의 각각은 본 발명에 따른 영상의 기하적인 변환의 예를 설명하기 위한 도면이다. 각 도에서 (x, y)는 변환 전 원본 영상의 한 지점을 의미한다. (x', y’)는 변환 후 영상의 한 지점으로서, (x, y)에 대응되는 지점을 의미한다. 대응되는 지점이란 (x, y)의 빛 정보가 변환을 통해 이동된 지점을 의미한다.

도 8은 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 이동 변환을 설명하기 위한 도면이다.

도 8에서, tx는 영상 내의 각 지점이 x축으로 이동한 변위를 의미하며, ty는 영상 내의 각 지점이 y축으로 이동한 변위를 의미한다. 따라서 tx와 ty를 변환 전 영상 내의 지점 (x, y)에 더하는 것으로 변환 후 영상 내의 지점 (x’, y’)를 유도할 수 있다. 이동 변환은 도 8의 행렬식과 같이 나타낼 수 있다.

도 9는 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 크기 변환을 설명하기 위한 도면이다.

도 9에서, sx는 x축 방향의 크기 변환 배수, sy는 y축 방향의 크기 변환 배수를 의미한다. 크기 변환 배수는 변환 전 영상과 변환 후 영상의 크기 비율을 의미할 수 있다. 크기 변환 배수가 1 이면, 변환 전 영상과 변환 후 영상의 크기가 같음을 의미한다. 크기 변환 배수가 1 보다 크면, 변환에 의해 크기가 확대됨을 의미한다. 크기 변환 배수가 1 보다 작으면, 변환에 의해 크기가 축소됨을 의미한다. 크기 변환 배수는 항상 0보다 큰 값을 지닌다. 따라서 sx와 sy를 변환 전 영상 내의 지점 (x, y)에 곱하는 것으로 크기가 변환된 변환 후 영상 내의 지점 (x’, y’)을 유도할 수 있다. 크기 변환은 도 9의 행렬식과 같이 나타낼 수 있다.

도 10은 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 회전 변환을 설명하기 위한 도면이다.

도 10에서, θ는 영상의 회전 각도를 의미한다. 도 10의 예시는 변환 전 영상의 (0, 0) 지점을 회전의 중심으로 하고 있다. θ와 삼각 함수를 이용하여 회전 변환된 변환 후 영상 내의 지점 (x’, y’)을 유도할 수 있다. 회전 변환은 도 10의 행렬식과 같이 나타낼 수 있다.

도 11은 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 어파인(Affine) 변환을 설명하기 위한 도면이다.

어파인 변환은 이동 변환, 크기 변환, 회전 변환이 복합적으로 발생하는 경우를 의미한다. 이동 변환, 크기 변환 및/또는 회전 변환의 각각이 적용되는 순서에 따라 어파인 변환으로 인한 기하적 변환 형태가 달라질 수 있다. 어파인 변환을 구성하는 복수의 변환 사이의 적용 순서 및 각 변환의 복합에 따라 이동 변환, 크기 변환, 회전 변환뿐 아니라 영상이 기울어지는 형태의 변환도 이루어질 수 있다.

도 11에서, M_i은 이동 변환, 크기 변환 또는 회전 변환을 위한 3x3 행렬일 수 있다. 어파인 변환을 구성하는 복수의 변환의 적용 순서에 따라, 각 변환을 위한 행렬을 행렬 곱하여 하나의 3x3 행렬의 형태로 나타낼 수 있다. 도 11의 행렬 A는 행렬 M₁ 내지 행렬 M_n을 행렬 곱하여 얻어진 3x3 행렬에 대응될 수 있다. 행렬 A는 a1 내지 a6의 원소들로 구성될 수 있다. 행렬 p는 변환 전 영상 내의 한 지점을 행렬로 나타낸 것이다. 행렬 p’는 변환 후 영상 내의 한 지점이며, 변환 전 영상 내의 지점 p에 대응한다. 따라서, 어파인 변환은 p'=Ap의 행렬식으로 나타낼 수 있다.

도 12는 본 발명에 따른 영상의 기하학적 변환의 일 예로서, 투영(projective) 변환을 설명하기 위한 도면이다.

투영 변환은 어파인 변환에 원근에 의한 변환을 추가적으로 적용할 수 있는 확장된 어파인 변환일 수 있다. 3차원 공간상의 물체를 2차원 평면상에 투영할 때, 카메라 혹은 관측자의 시야각에 따라 원근 변형이 이루어질 수 있다. 멀리있는 물체는 작게, 가까이 있는 물체는 크게 나타나는 것 등이 원근 변형에 해당할 수 있다.

도 12에서, 투영 변환을 위해 행렬 H가 사용될 수 있다. 행렬 H를 구성하는 요소 h1 내지 h6의 값은 도 11의 어파인 변환을 위한 행렬 A를 구성하는 요소 a1 내지 a6에 대응될 수 있다. 그럼으로써, 투영 변환은 어파인 변환을 포함할 수 있다. 행렬 H를 구성하는 요소 h7과 h8은 원근에 의한 변환과 관련된 요소일 수 있다.

영상의 기하 변환은 영상을 특정한 형태로 변환시킬 때 사용되는 방법이다. 행렬식으로 표현된 영상의 기하 변환을 통해 변환 전 영상 내의 한 지점에 대응하는 변환 후 영상 내의 지점을 산출할 수 있다. 반대로 호모그래피(homography)는 서로 대응되는 지점들을 가지는 두 영상으로부터 상호간의 기하 변환 행렬을 역으로 도출해내는 방법을 말한다.

도 13은 본 발명에 따라, 호모그래피를 구현하는 방법의 일 예를 설명하기 위한 도면이다.

호모그래피는 두 영상에서 서로 대응되는 두 지점의 식별에 기초하여 두 영상 상호간의 기하 변환 관계를 도출할 수 있다. 이를 위해 특징점 매칭이 사용될 수 있다. 영상의 특징점은 영상 내에서 묘사할 수 있는 특성을 가진 지점을 의미한다.

단계 S1301, S1302에서는 원본 영상과 기하 변환 영상으로부터 각각 특징점을 추출할 수 있다. 영상의 특징점은 특징점 추출의 방법이나 사용 목적에 따라 서로 다르게 추출될 수 있다. 영상내 밝기 값이 급격히 변화하는 지점, 특정 형태를 가지는 영역의 중심 지점, 영상내 물체의 모서리 지점 등을 영상의 특징점으로서 사용할 수 있다. 영상의 특징점을 추출하는 알고리즘으로는 SIFT, SURF, Blob Detection 등이 사용될 수 있다.

단계 S1303에서는 원본 영상과 기하 변환 영상으로부터 추출된 특징점에 기초하여 특징점 매칭을 수행할 수 있다. 구체적으로, 추출된 각각의 특징점은 묘사될 수 있으며, 이러한 묘사 정보가 유사한 지점을 찾음으로써 두 영상 간 특징점을 매칭시킬 수 있다. 매칭된 특징점들은 원본 영상과 기하 변환 영상 간의 대응 지점으로 사용될 수 있다.

그러나 특징점 매칭은 실제로 대응되는 지점을 매칭시키지 않을 수도 있다. 따라서 단계 S1304에서는 도출된 여러 특징점 매칭들 중 유효 특징점 만을 선택할 수 있다. 유효 특징점을 선택하는 방법은 특징점 산출 알고리즘에 따라 달라질 수 있다. 예컨대, 특징점 추출에 의한 묘사 정보를 기준으로 기준치를 만족하지 못하는 특징점을 배제하는 방법, 매칭된 결과들의 분포를 통해 일치성이 떨어지는 매칭 결과를 배제하는 방법, RANSAC 알고리즘을 사용하는 방법 등이 사용될 수 있다. 단계 S1304는 단계 S1303에서의 특징점 매칭 결과에 따라 선택적으로 수행될 수 있다. 즉, 경우에 따라서는 단계 S1304는 수행되지 않을 수 있다. 또는 단계 S1303과 S1304는 병합하여 수행될 수도 있다. 또는 단계 S1303, S1304 대신에 유효 특징점에 대한 매칭이 수행될 수도 있다.

단계 S1305에서는 선택된 유효 특징점들을 사용하여 두 영상(원본 영상과 기하 변환 영상) 내의 두 지점간의 관계식을 산출할 수 있다. 산출된 관계식을 이용하여 단계 S1306에서 기하 변환 행렬을 산출할 수 있다. 또는 단계 S1306은 수행되지 않고, 단계 S1305에서 산출된 관계식에 관한 정보가 기하 변환 행렬 이외의 다른 형태로 출력될 수도 있다.

도 14는 본 발명에 따른, 두 영상 내의 대응되는 두 지점간의 관계식을 산출하는 방법의 일 예이다.

영상의 기하 변환은 3x3 행렬 H에 의해 수행될 수 있다. 따라서, 행렬 H의 요소 h1 내지 h9를 미지수로 포함하는 연립 방정식이 행렬식 p'= Hp로부터 도출될 수 있다. 여기서 p는 원본 영상 내의 한 지점을 의미하고, p에 대응되는 p’은 기하 변환 영상 내의 한 지점을 의미한다. 행렬 H의 모든 요소를 h9로 나누어 h9를 1로 고정함으로써 식의 계산을 더욱 간단히 할 수 있다. 또한 미지수의 수를 9개에서 8개로 줄일 수 있다.

도 14의 k1 내지 k8은 h1 내지 h8을 h9로 나눈 값에 해당한다. h9를 1로, h1 내지 h8을 각각 k1 내지 k8로 변경한 기하 변환 행렬 역시 동일한 기하 변환을 수행할 수 있다. 따라서, 8개의 미지수를 산출하는 과정이 필요할 수 있다. 도 14에서 하나의 대응 지점 쌍에 대해 최종적으로 정리된 식은 x’와 y’에 대한 두 가지 형태로 나타날 수 있다. 8개의 미지수를 산출해야 하기 때문에, 최소한 4개의 대응 지점 쌍이 필요할 수 있다. 그러나 대응 지점의 매칭은 앞서 언급한 것과 같이 일치하지 않는 경우를 포함할 수 있다. 또한, 대응 지점의 매칭은 다소간의 오차를 갖는 경우도 존재할 수 있다. 유효 특징점들 만을 선택했다고 하여도 이러한 오류는 남아있을 수 있다. 많은 대응 지점을 사용하여 기하 변환 행렬을 산출할 경우 이러한 오류의 영향을 줄일 수 있다. 따라서, 사용할 대응 지점의 수는 이를 고려하여 결정할 수 있다.

도 15는 본 발명에 따라 기하 변환 행렬과 원본 영상에 기초하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다.

기하 변환 영상의 생성은 도 15에서와 같이 원본 영상 내의 한 지점의 빛 정보를 이용하여 기하 변환 영상 내의 대응 지점의 빛 정보를 생성하는 것에 대응될 수 있다. 도 15의 (x0, y0), (x1, y1), (x2, y2)는 각각 원본 영상 내의 서로 다른 지점을 의미한다. 또한, (x’0, y’0), (x’1, y’1), (x’2, y’2)는 (x0, y0), (x1, y1), (x2, y2)에 각각 대응하는 기하 변환 영상 내의 지점을 의미한다. f 함수는 원본 영상 내의 한 지점 (x, y)와 기하 변환을 위해 필요한 추가 정보 α를 이용하여 기하 변환 영상 내의 대응되는 지점의 x축 좌표 x’를 산출하는 함수이다. g 함수는 원본 영상 내의 한 지점 (x, y)와 기하 변환을 위해 필요한 추가 정보 β를 이용하여 기하 변환 영상 내의 대응되는 지점의 y축 좌표 y’를 산출하는 함수이다. (x, y) 와 (x’, y’), f 함수와 g 함수의 관계를 행렬식으로 표현할 때 행렬 H가 기하 변환 방법을 의미할 수 있다. 따라서 행렬 H를 통해 원본 영상과 기하 변환 영상의 상호 대응되는 지점을 찾을 수 있다.

도 15를 참조하여 설명된 기하 변환 방법은 샘플링(Sampling) 되어있는 이산적(discrete) 영상 신호에서는 문제가 될 수 있다. 이산적 영상 신호는 정수 좌표의 위치만이 빛 정보를 가지고 있다. 따라서, 원본 영상 내의 한 지점에 대응되는 기하 변환 영상 내의 지점의 좌표가 정수가 아닌 실수 영역인 경우 가장 인접한 정수 좌표 위치에 빛 정보를 할당하게 된다. 그럼으로써 기하 변환 영상 내의 일부 정수 좌표 위치에는 빛 정보가 중복으로 할당되거나, 또는 빛 정보가 할당되지 않을 수 있다. 이러한 경우는 역사상(inverse mapping)을 이용할 수 있다.

도 16은 본 발명에 따른, 역사상을 이용하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다.

도 16의 점선으로 된 사각형 영역은 실제 우리가 관측하고 싶은 기하 변환 영상의 영역을 의미한다. 점선으로 된 사각형 영역 내의 각 지점에서 역으로 대응되는 원본 영상 내의 지점을 찾아갈 수 있다. 따라서, 기하 변환 영상 내의 모든 지점에 대하여 원본 영상의 빛 정보를 할당할 수 있게 된다. 하지만 도 16의 (x’3, y’3)과 같이 대응되는 지점 (x3, y3)이 원본 영상의 밖에 존재할 수 있다. 이러한 지점은 대응되는 원본 영상의 빛 정보가 없을 수 있다. 원본 영상의 빛 정보가 없는 지점에 대해서는 주변의 빛 정보를 할당할 수 있다. 즉, 가장 인접한 원본 영상 내의 빛 정보, 예컨대, 지점 (x4, y4)의 빛 정보가 할당될 수 있다.

도 17은 본 발명에 따른, 기하 변환 행렬과 원본 영상이 기초하여 기하 변환 영상을 생성하는 방법을 설명하기 위한 도면이다. 기하 변환 행렬은 기하 변환 정보에 대응될 수 있다.

단계 S1701은 원본 영상, 기하 변환 행렬 및/또는 기하 변환 영상의 현재 지점에 관한 정보를 입력받을 수 있다. 원본 영상과 기하 변환 행렬을 사용하여, 기하 변환 영상의 현재 지점에 대응하는 원본 영상의 대응 지점을 산출할 수 있다. 산출된 원본 영상의 대응 지점은 실수 좌표를 갖는 실수 대응 지점일 수 있다.

단계 S1702에서는, 산출된 대응 지점이 원본 영상의 내부인지에 대한 판단이 수행될 수 있다.

단계 S1702의 판단 결과가 "아니오"인 경우, 단계 S1703에서 산출된 대응 지점에 가장 가까운 원본 영상 내의 지점을 대응 지점으로 변경할 수 있다.

단계 S1702의 판단 결과가 "예"인 경우, 단계 S1704가 수행될 수 있다. 단계 S1703에서, 대응 지점이 변경된 경우에도 단계 S1704가 수행될 수 있다.

단계 S1704에서는, 대응 지점이 실수 좌표인 경우, 가장 인접한 정수 지점을 확인할 수 있다. 대응 지점이 정수 좌표인 경우 단계 S1704, S1705는 생략되고 단계 S1706으로 이동할 수 있다.

단계 S1705에서는, 확인된 정수 지점의 빛 정보(예컨대, 화소 값 등)를 보간하여 실수 대응 지점의 빛 정보를 생성할 수 있다. 보간 방법에는 양선형 보간법, 란조쉬(Lanczos) 보간법, S-Spline보간법, 바이큐빅(Bicubic) 보간법 등이 사용될 수 있다.

단계 S1706에서는, 기하 변환 영상 내의 모든 지점에 대하여 기하 변환이 완료되었는지 확인하고, 최종적으로 생성된 기하 변환 영상을 출력할 수 있다.

단계 S1706에서, 기하 변환이 완료되지 않은 것으로 판단되면, 단계 S1707에서 기하 변환 영상의 현재 지점을 다음 지점으로 변경하고, 전술한 단계 S1701 내지 S1706의 단계를 반복할 수 있다.

도 18은, 본 발명의 일 실시예에 따라, 도 17을 참조하여 설명된 다양한 보간법 중, 양선형 보간법을 설명하기 위한 도면이다.

도 18에서, 실수 좌표 (x, y)는 도 17의 단계 S1704에서 언급된 실수 대응 지점에 대응할 수 있다. 실수 좌표 (x, y)의 주변의 네 좌표 (i,j), (i,j+1), (i+1,j), (i+1,j+1)는 도 17의 단계 S1704에서 언급된 인접 정수 지점에 대응될 수 있다. I(x,y)는 (x,y) 지점의 빛 정보(예컨대, 밝기 등)를 의미할 수 있다. a는 i와 x사이의 x축 거리를, b는 j와 y사이의 y축 거리를 각각 의미한다. 1-a는 i+1과 x사이의 x축 거리를, 1-b는 j+1과 y사이의 거리를 각각 의미한다. x축으로는 a와 1-a의 비를 이용하고 y축으로는 b와 1-b의 비를 이용하여 주변 네 좌표 (i, j), (i, j+1), (i+1, j), (i+1, j+1)의 빛 정보로부터 (x, y) 지점의 빛 정보를 산출할 수 있다.

비디오 부호화기의 화면 간 예측기는 움직임 예측을 수행할 때, 참조 픽처를 참조하여 부호화 대상 픽처 내의 부호화 대상 영역을 예측할 수 있다. 이 때, 참조 픽처와 부호화 픽처 사이의 간격이 멀거나 화면의 회전(Rotation), 확대(Zoom-in), 축소(Zoom-out), 또는 물체의 원근 변경과 같은 전역(global) 움직임이 발생하는 경우, 두 픽처의 화소 간 유사성이 떨어진다. 따라서, 예측 정확도가 낮아지고, 압축 효율은 크게 저하될 수 있다. 이 경우, 비디오 부호화기는 부호화 픽처와 참조 픽처 간의 움직임 변화를 계산하여, 부호화 대상 픽처와 비슷한 형태를 가지도록 참조 픽처를 기하 변환할 수 있다. 참조 픽처의 기하 변환은 프레임, 슬라이스 및/또는 블록 단위로 수행될 수 있다. 참조 픽처를 기하 변환하여 생성되는 픽처는 기하 변환 픽처로 정의될 수 있다. 참조 픽처 대신 기하 변환 픽처를 참조함으로써, 움직임 예측의 정확도를 높일 수 있다.

본 명세서에 있어서, 참조 픽처 및/또는 기하 변환 픽처는 비디오의 한 프레임을 구성하는 프레임 또는 픽처의 크기로 제한되지 않는다. 본 명세서에서는 파라미터 세트에 정의된 픽처(프레임) 사이즈를 갖는 참조 픽처의 일부 영역도 참조 픽처로 지칭될 수 있다. 참조 픽처 또는 참조 픽처의 일부 영역을 변환하여 생성되는 기하 변환 픽처는 변환 전의 이미지의 사이즈에 대응되는 사이즈를 가질 수 있다. 즉, 기하 변환 전의 이미지가 픽처(프레임) 사이즈를 갖는 참조 픽처라면, 기하 변환 픽처도 픽처(프레임) 사이즈에 대응되는 사이즈를 가질 수 있다. 변환 전의 이미지가 픽처(프레임) 사이즈를 갖는 참조 픽처의 일부 영역이라면, 기하 변환 픽처도 그 일부 영역에 대응되는 사이즈를 가질 수 있다.

비디오 복호화기는 비디오 부호화기에서 기하 변환 픽처를 참조하여 부호화를 수행한 경우 기하 변환에 필요한 정보를 수신할 수 있다. 기하 변환에 필요한 정보는 기하 변환 정보로 정의될 수 있다. 비디오 복호화기는 수신한 기하 변환 정보에 기초하여 참조 픽처로부터 기하 변환 픽처를 생성할 수 있다. 비디오 복호화기는 생성된 기하 변환 픽처를 참조하여 화면 간 예측을 수행할 수 있다.

도 19는 본 발명에 따른, 비디오 부호화기에서 기하 변환 정보와 기하 변환 픽처를 생성하고, 참조 픽처와 기하 변환 픽처를 이용하여 움직임 예측을 수행하는 방법을 설명하기 위한 도면이다.

참조 픽처로부터 기하 변환 정보를 생성하고, 이를 이용하여 참조 픽처로부터 기하 변환 픽처를 생성하는 동작은 비디오 부호화기의 기하 변환 픽처 생성부에서 수행될 수 있다. 생성된 기하 변환 픽처는 기하 변환 픽처 예측부에서 참조 신호로 사용될 수 있도록 부호화기에 저장될 수 있다. 기하 변환 픽처는 부호화기의 복원 픽처 버퍼(DPB), 참조 픽처 리스트 및 기하 변환 픽처 버퍼 중 적어도 하나에 저장될 수 있다. 생성된 기하 변환 픽처 및/또는 참조 픽처를 이용한 화면 간 예측은 비디오 부호화기의 기하 변환 픽처 예측부에서 수행될 수 있다. 기하 변환 픽처 생성부, 기하 변환 픽처 버퍼 및/또는 기하 변환 픽처 예측부를 포함하는 부호화기의 구성에 대해서는 후술한다.

도 19에 도시된 바와 같이, 부호화 대상 픽처와 참조 픽처에 기초하여 기하 변환 정보를 생성할 수 있다. 참조 픽처는 이미 복호화된 복원 픽처들로 구성된 참조 픽처 리스트에 포함된 하나 이상의 참조 픽처들로부터 선택될 수 있다. 참조 픽처는 전역 움직임을 갖는 참조 픽처일 수 있다. 기하 변환 정보는 부호화 대상 픽처와 전역 움직임을 갖는 참조 픽처 간의 전역 움직임 정보를 반영하여 생성될 수 있다. 기하 변환 정보는 프레임, 슬라이스 또는 블록 등, 전체 영상 또는 부분 영역 단위로 생성되거나 구성될 수 있다. 기하 변환 정보의 생성 시, 전역 움직임 정보는 일부 또는 전부가 반영될 수 있다. 전역 움직임은 이동, 확대, 축소 또는 회전 등 전술한 영상의 기하학적 변환에 관한 움직임일 수 있다. 참조 픽처와 생성된 기하 변환 정보에 기초하여 기하 변환 픽처가 생성될 수 있다. 기하 변환 픽처는 전역 움직임이 반영된 기하 변환 픽처일 수 있다.

부호화 대상 픽처와 참조 픽처 간의 화소의 이동, 확대, 축소 또는 회전에 관한 기하 변환 정보를 구성하는 방법으로서, 도 13을 참조하여 설명된 호모그래피가 사용될 수 있다. 호모그래피는 평면 물체의 2-D(2-dimension) 기하 변환 관계를 설명하기 위해, 두 영상 간의 회전(Rotation), 크기 변화(Scaling), 이동(Transfer) 등을 반영한 기하 변환 정보를 제공할 수 있다.

기하 변환 정보를 통해 영상을 회전, 확대, 축소 또는 이전시켜, 도 19의 참조 픽처 내의 영상을 도 19의 기하 변환 픽처 내의 영상으로 기하 변환할 수 있다. 도 19의 참조 픽처와 기하 변환 픽처는 기하 변환에 의해 서로 다른 모양의 사각형 형태를 가질 수 있다. 도 19의 참조 픽처 내의 임의의 좌표 (a,b)는 도 14와 같이 산출된 관계식을 거쳐 (a’, b’)가 되고, 이는 도 19의 기하 변환 픽처 내의 좌표 (a’, b’)에 대응될 수 있다.

따라서 비디오 부호화기는 부호화 대상 픽처와 참조 픽처 간의 기하 변환 정보를 계산함으로써, 참조 픽처로부터 부호화 픽처와 유사한 영상을 생성할 수 있다. 구체적으로, 도 19의 기하 변환 픽처 내의 A 영역은 도 19의 부호화 대상 픽처 내의 B 영역과 시각적인 유사도가 매우 높다. 즉, A 영역과 B 영역 간의 화소 값의 유사도가 높기 때문에, 비디오 부호화기에서 움직임 예측 시 기하 변환 픽처를 참조함으로써 예측 정확도를 높일 수 있다.

전술한 바와 같이, 비디오 부호화기에 화면 간 예측을 수행할 때, 미리 복호화된 영상으로 구성된 참조 픽처가 참조될 수 있다. 그러나, 참조 픽처는 부호화 대상 픽처와 동일 시간 상의 영상이 아니기 때문에, 참조 픽처와 부호화 대상 픽처 간의 시간 차(time interval) 동안 화소 값에 변화가 발생할 가능성이 높다. 따라서, 참조 픽처와 부호화 픽처 간의 화소 값의 변화를 반영한 기하 변환 정보에 기초하여 생성된 기하 변환 픽처도 함께 참조하는 것이 바람직하다. 화소 값의 변화는 예컨대, 전역 움직임에 의해 발생한 것을 포함할 수 있다. 움직임 예측 시에는 참조 픽처와 기하 변환 픽처를 모두 참조함으로써 최적의 예측 신호를 생성할 수 있다.

구체적으로, 기하 변환 픽처는 부호화 대상 픽처와 참조 픽처 간의 화소 값의 변화를 반영한 영상이므로, 부호화 대상 픽처와 기하 변환 픽처는 화소 분포의 유사도가 높다. 그러나, 영상 내에 새로운 물체가 등장하는 등, 이전 영상에는 없던 새로운 화소가 발생하거나 기하 변환 정보의 오차가 큰 경우 등이 원인이 되어 기하 변환 픽처에 잡음이나 오류가 발생할 가능성이 있다. 이러한 경우에는 기하 변환 픽처를 참조하는 움직임 예측의 정확도가 저하될 수 있다. 따라서 움직임 예측 시, 참조 픽처와 기하 변환 픽처를 모두 참조하여 움직임 예측을 수행한 후, 움직임 예측의 정확도가 높은 정보를 최적의 예측 정보로 갱신한다. 그럼으로써, 기하 변환 픽처의 잡음이나 오류 등으로 인한 부호화 효율의 저하를 방지할 수 있다. 부호화기는 최적의 부호화 효율을 갖는 움직임 예측에 관한 정보를 비트스트림으로 부호화할 수 있다. 이 경우 기하 변환 픽처를 참조하지 않는 영역에 대해서는 기하 변환 정보를 부호화하지 않을 수 있다. 즉, 필요한 기하 변환 정보만을 부호화함으로써, 부호화 효율을 향상 시킬 수 있다.

도 20은 본 발명이 적용되는 부호화기의 다른 실시예에 따른 구성을 나타내는 블록도이다.

도 20에 도시된 부호화기는 기하 변환 픽처 생성부(2010), 기하 변환 픽처 예측부(2015), 확장된 화면 내 예측부(2020), 감산기(2025), 변환부(2030), 양자화부(2040), 엔트로피 부호화부(2050), 역양자화부(2060), 역변환부(2070), 가산기(2075), 디블록킹 필터부(2080) 및 샘플 적응적 오프셋부(2090)를 포함하여 구성될 수 있다.

기하 변환 픽처 생성부(2010)는 복원 픽처 버퍼(2013)로부터 구성된 참조 픽처 리스트의 참조 픽처와 부호화 대상 픽처(2011) 간의 화소 값의 변화를 반영한 정보인 기하 변환 정보를 계산하여 기하 변환 픽처(2012)를 생성할 수 있다. 생성된 기하 변환 픽처(2012)는 기하 변환 픽처 버퍼(2016)에 저장될 수 있다.

기하 변환 픽처 예측부(2015)는 기하 변환 픽처 버퍼(2016)와 화면 간 예측부(2017)를 포함할 수 있다. 기하 변환 픽처 버퍼(2016)는 기하 변환 픽처 생성부(2010)에서 생성된 기하 변환 픽처를 저장할 수 있다. 화면 간 예측부(2017)는 기하 변환 픽처 버퍼에 저장된 기하 변환 픽처와 복원 픽처 버퍼(2013)로부터 구성된 참조 픽처 리스트의 참조 픽처를 모두 참조 신호로 활용하여 움직임 예측을 수행할 수 있다. 움직임 예측 시 기하 변환 픽처가 참조되면, 기하 변환 픽처 생성에 사용된 기하 변환 정보는 엔트로피 부호화부(2050)로 전달되어 부호화될 수 있다.

기하 변환 픽처 생성부(2010)는 후술하는 기하 변환 정보의 재구성을 수행할 수 있다. 기하 변환 정보의 재구성은 기하 변환 픽처 생성 시 수행될 수 있다.

확장된 화면 내 예측부(2020)는 현재 픽처의 기 부호화/복호화된 신호 뿐만 아니라 기하 변환 픽처도 참조하여 확장된 화면 내 예측을 수행할 수 있다. 확장된 화면 내 예측에 대해서는 후술한다.

도 21은 도 20에 도시된 부호화기의 일 실시예에 따른 기하 변환 픽처 생성부(2010)의 동작 및 구조를 설명하기 위한 도면이다.

기하 변환 픽처 생성부(2010)는 기하 변환 픽처 예측부(2015)에서 참조 신호로 활용될 수 있는 기하 변환 픽처(2108)를 생성할 수 있다. 기하 변환 정보 구성부(2105)는 복원 픽처 버퍼(2101)로부터 구성된 참조 픽처 리스트(2102)의 참조 픽처(2103) 및 부호화 대상 픽처(2104)를 입력 받아 기하 변환 정보(2106)를 구성할 수 있다. 픽처 기하 변환 계산부(2107)는 기하 변환 정보(2106)를 바탕으로 참조 픽처(2103)를 변환하여 기하 변환 픽처(2108)를 생성할 수 있다.

기하 변환 정보 구성부(2105)는 참조 픽처(2103)와 부호화 대상 픽처(2104) 간의 화소 값의 변화, 특히, 전역 움직임 정보를 계산할 수 있다. 기하 변환 정보 구성부(2105)는 입력 받은 두 픽처 사이에 매칭이 가능한 특징점들을 찾아서 매칭점 간의 이동, 회전 및/또는 크기 변화를 계산하여 전역 움직임 정보를 계산할 수 있다. 기하 변환 정보 구성부(2105)는 계산된 전역 움직임 정보를 바탕으로 참조 픽처(2103)로부터 기하 변환 픽처(2108)를 생성할 수 있는 기하 변환 정보(2106)를 구성하여 출력할 수 있다.

픽처 기하 변환 계산부(2107)는 참조 픽처(2103)로부터 기하 변환 픽처(2108)를 생성하기 위해 참조 픽처(2103)와 기하 변환 정보(2106)를 입력 받을 수 있다. 픽처 기하 변환 계산부(2107)는 기하 변환 정보(2106)을 이용하여 참조 픽처(2103)로부터 기하 변환 픽처(2108)를 생성할 수 있다. 생성된 기하 변환 픽처(2108)는 기하 변환 픽처 버퍼(2016)에 저장된 후, 화면 간 예측부(2017)에서 화면 간 예측시 참조될 수 있다.

도 22는 도 20에 도시된 부호화기의 일 실시예에 따른 기하 변환 픽처 예측부(2015)의 동작 및 구조를 설명하기 위한 도면이다.

참조 픽처 리스트(2201)의 참조 픽처(2202)와 기하 변환 픽처 버퍼(2203)의 기하 변환 픽처(2204)는 화면 간 예측부(2205)에 입력되어 움직임 예측의 참조 신호로 사용될 수 있다.

화면 간 예측부(2205)는 움직임 예측 시 참조 픽처(2202)와 기하 변환 픽처(2204)를 모두 참조하여 최적의 움직임 예측 정보(2206)를 도출할 수 있다. 최적의 움직임 예측 정보(2206)는 움직임 예측에서 예측 정확도가 가장 높아 부호화 효율이 가장 좋은 경우의 움직임 예측 정보를 의미할 수 있다. 기하 변환 픽처(2204)를 참조하여 최적의 움직임 예측 정보(2206)를 도출한 경우, 기하 변환 정보가 부호화되어 비트스트림에 포함될 수 있다.

도 20 내지 도 22를 참조하여 설명된 부호화기의 구성은 본 발명의 다양한 실시예 중 하나에 불과하며, 본 발명의 범위가 이에 한정되지 않는다. 도 20 내지 도 22에 도시된 부호화기의 구성 중 일부는 다른 구성과 병합되거나 생략될 수 있다. 또는 추가적인 구성이 부가될 수도 있다. 또한, 기하 변환 픽처 생성부(2010) 및 기하 변환 픽처 예측부(2015)가 포함하는 복수의 구성 중 일부는 기하 변환 픽처 생성부(2010) 및 기하 변환 픽처 예측부(2015)와 독립적으로 구성될 수도 있으며, 다른 구성부의 하위 구성으로 포함되거나 다른 구성부와 병합될 수도 있다.

도 23은 본 발명의 일 실시예에 따른 움직임 예측을 설명하기 위한 순서도이다.

단계 S2301, S2302에서 부호화 대상 픽처와 참조 픽처가 특정될 수 있다. 참조 픽처는 참조 픽처 리스트로부터 선택될 수 있다.

단계 S2303에서, 부호화 대상 픽처와 참조 픽처에 기초하여 기하 변환 정보를 생성할 수 있다. 기하 변환 정보를 생성하는 방법은 전술한 방법이 적용될 수 있다.

단계 S2304에서, 생성된 기하 변환 정보에 기초하여, 참조 픽처로부터 기하 변환 픽처를 생성할 수 있다. 생성된 기하 변환 픽처는 기하 변환 픽처 버퍼에 저장될 수 있다.

단계 S2305에서, 참조 픽처 및/또는 기하 변환 픽처를 참조하여 움직임 예측을 수행할 수 있다.

단계 S2306에서, 최적의 부호화 효율을 갖는 참조 신호에 기초하여 최적 예측 정보를 저장 또는 갱신할 수 있다. 최적의 부호화 효율을 결정하기 위한 Cost 지표의 예로 RD Cost(Rate-distortion Cost) 등이 사용될 수 있다.

단계 S2307에서, 참조 픽처 리스트 내의 모든 참조 픽처에 대한 처리가 끝나지 않은 것으로 판단되면 단계 S2302로 이동하여 상기 단계들을 반복할 수 있다. 참조 픽처 리스트 내의 모든 참조 픽처에 대한 처리가 끝나면, 최종적으로 결정된 최적 움직임 예측 정보 및/또는 기하 변환 정보는 부호화될 수 있다(S2308). 기하 변환 정보는 움직임 예측 시 기하 변환 픽처가 사용되는 경우에만 부호화되어 전송될 수 있다.

도 24는 본 발명의 일 실시예에 따른 기하 변환 픽처 생성 방법을 설명하기 위한 순서도이다.

단계 S2401에서, 부호화 대상 픽처와 참조 픽처 리스트로부터 선택된 하나의 참조 픽처가 입력될 수 있다.

단계 S2402에서, 두 픽처로부터 특징점이 추출되고 추출된 특징점을 이용한 매칭이 수행될 수 있다. 추출된 특징점은 두 픽처 간의 화소 값의 변화, 특히, 전역 움직임 정보 등을 계산하기 위해 사용될 수 있다. 특징점은 전술한 바와 같이 주변과 구별될 수 있는 화소를 의미할 수 있다. 두 픽처의 추출된 특징점을 일치시키는 매칭 과정을 거쳐 두 픽처에서의 특징점의 회전, 확대 및/또는 이동을 반영한 기하 변환 정보를 계산할 수 있다(S2403). 기하 변환 정보의 계산은 다양한 알고리즘에 따라 수행될 수 있으며, 예컨대, 도 13의 호모그래피가 사용될 수 있다.

단계 S2404에서, 기하 변환 픽처를 생성할 수 있다. 기하 변환 픽처의 생성은, 참조 픽처의 각 화소에 기하 변환 정보를 적용하여 참조 픽처의 각 화소가 기하 변환 픽처의 어느 위치에 대응되는지를 도출함으로써 수행될 수 있다.

단계 S2405에서, 생성된 기하 변환 픽처는 저장될 수 있다. 생성된 기하 변환 픽처는 예컨대, 기하 변환 픽처 버퍼에 저장될 수 있다. 그러나, 기하 변환 픽처의 저장 위치는 이에 한정되지 않으며, 예컨대, 복원 픽처 버퍼 또는 참조 픽처 리스트 등에 저장될 수도 있다.

도 25는 본 발명의 일 실시예에 따른 화면간 예측 방법을 설명하기 위한 순서도이다.

단계 S2501, S2502에서, 참조 픽처를 참조한 움직임 예측과 기하 변환 픽처를 참조한 움직임 예측이 수행될 수 있다. 움직임 예측의 순서는 이에 한정되지 않는다. 즉, 기하 변환 픽처를 참조한 움직임 예측이 먼저 수행될 수도 있다. 또는 두 픽처를 참조한 움직임 예측이 동시에 수행될 수도 있다. 참조 픽처는 참조 픽처 리스트로부터 선택될 수 있다.

단계 S2503에서, 참조 픽처를 참조한 움직임 예측과 기하 변환 픽처를 참조한 움직임 예측 중 어느 쪽의 효율이 더 좋은지를 판단할 수 있다.

참조 픽처를 참조한 움직임 예측의 효율이 더 좋은 경우, 단계 S2504에서 최적 예측 정보로서 참조 픽처에 관한 정보를 저장 또는 갱신할 수 있다.

기하 변환 픽처를 참조한 움직임 예측의 효율이 더 좋은 경우, 단계 S2505에서 최적 예측 정보로서 기하 변환 픽처에 관한 정보를 저장 또는 갱신할 수 있다.

최적 예측 정보로서 최종적으로 기하 변환 픽처에 관한 정보를 부호화하는 경우, 기하 변환 정보를 부호화할 수 있다(S2506).

도 26, 도 27을 참조하여, 기하 변환 정보를 효율적으로 부호화 방법을 설명한다.

기하 변환 정보는 도 14의 행렬과 같이 복수 개의 인수들로 구성될 수 있다. 또한 각 인수들은 실수 타입일 수 있다. 실수 타입의 복수 개의 인수들로 구성된 행렬을 부호화하기 위해서는 많은 비트량이 소요되므로 압축 효율이 저하될 수 있다. 기하 변환 정보 전송에 소요되는 비트량을 감소시키기 위하여, 다양한 방법이 적용될 수 있다. 예컨대, 실수 타입의 인수들을 정수 타입의 인수들로 근사화시킬 수 있다. 또는 생성된 기하 변환 정보 중 일부를 제거하여 기하 변환 정보를 간소화시킬 수 있다. 또는 이전에 사용된 기하 변환 정보로부터 부호화 대상인 기하 변환 정보를 예측하고, 기하 변환 정보 간의 차분값 만을 전송할 수 있다. 전술한 방법 외에 비트량을 감소시키기 위한 다양한 방법이 적용될 수 있다. 또한, 전술한 방법들 중 하나 또는 그 이상이 함께 적용될 수 있다.

도 26은 본 발명의 일 실시예에 따른 기하 변환 정보 부호화 방법을 설명하기 위한 순서도이다.

단계 S2601에서 부호화 대상인 기하 변환 정보가 입력될 수 있다.

단계 S2602에서 기하 변환 정보의 간소화, 단계 S2603에서 기하 변환 정보의 예측이 수행될 수 있다. 기하 변환 정보의 간소화 및 기하 변환 정보의 예측의 처리 순서는 서로 바뀔 수 있다. 또는 두 과정 중 하나만을 선택적으로 사용할 수도 있다.

단계 S2602의 기하 변환 정보의 간소화에서는, 기하 변환 정보를 구성하는 실수 타입의 인수들을 근사화할 수 있다. 근사화를 통해 인수들을 표현하기 위한 비트수를 줄일 수 있다. 비트수를 줄이기 위해, 소정의 자리수를 기준으로 반올림, 올림, 반내림, 내림, 버림, 절삭 등의 다양한 연산이 적용될 수 있다. 근사화의 일 예로서, 정수화가 수행될 수 있다.

단계 S2603의 기하 변환 정보의 예측에서는, 부호화 대상인 기하 변환 정보를 이전에 사용된 기하 변환 정보로부터 예측하고, 두 기하 변환 정보 간의 차분 값을 전송할 수 있다. 이전에 사용된 기하 변환 정보는 직전에 사용된 기하 변환 정보거나, 이전에 부호화된 픽처의 기하 변환 정보일 수 있다. 부호화 대상인 기하 변환 정보의 예측을 위해 참조될 수 있는 기하 변환 정보가 복수 개 존재하는 경우, 참조되는 기하 변환 정보를 지시하기 위한 정보가 추가로 부호화될 수 있다. 이 경우, 복호화 장치에서는 참조되는 기하 변환 정보를 지시하는 정보에 기초하여 참조 기하 변환 정보를 결정하고, 이에 기초하여 복호화 대상인 기하 변환 정보를 복원할 수 있다. 특정 기하 변환 정보, 예컨대, 직전에 사용된 기하 변환 정보만이 참조 기하 변환 정보로 사용되는 경우에는 참조 기하 변환 정보를 지시하는 정보는 전송되지 않을 수 있다.

단계 S2604에서 기하 변환 정보를 복원하는데 필요한 정보가 부호화될 수 있다.

도 27은 기하 변환 정보의 부호화에 필요한 비트량을 줄이기 위해 기하 변환 정보를 변형하는 다양한 실시 예를 도시한 도면이다.

도 27의 (1)은 기하 변환 정보의 실수 타입 인자를 정수화한 예이다.

도 27의 (2)는 기하 변환 정보의 일부를 생략함으로써 간소화한 예이다. 삭제된 3개의 인수들 중, 왼쪽의 2 개의 인수인 0.1과 0.7은 도 12를 참조하여 설명된 투영 변환에 사용되는 인수이다. 투영 변환에 사용되는 인수는 통계적으로 0에 가까운 작은 값으로 발생한다. 기하 변환 픽처 생성 시 0에 가까운 인수는 작은 영향만을 미친다. 따라서 생략되더라도 기하 변환 픽처의 정확도에는 악영향을 미치지 않는다. 또한, 삭제한 3개의 인수들 중, 가장 오른쪽의 인수 1은 기하 변환 정보 생성 시 항상 1로 고정되기 때문에, 복호화기로 전송될 필요가 없다.

도 27의 (3)은 이미 존재하는 기하 변환 정보 A에 계수 2를 곱하여 기하 변환 정보 B를 구성하는 예이다. 기하 변환 정보 A와 기하 변환 정보 B를 모두 전달하는 대신에 기하 변환 정보 A와 계수 2만을 전달하여 기하 변환 정보 B를 복원할 수 있다.

도 27의 (4)는 기하 변환 정보 A를 참조 기하 변환 정보로 이용하여 기하 변환 정보 B를 구성하는 예이다. 부호화되는 정보는 기하 변환 정보 A와 차분 기하 변환 정보 B_d이다. B_d는 기하 변환 정보 A와 기하 변환 정보 B의 차이 값에 대응될 수 있다. 복호화 장치에서는 기하 변환 정보 A에 차분 기하 변환 정보 B_d를 더함으로써, 기하 변환 정보 B를 복원할 수 있다.

도 28은 본 발명에 따라 비디오 복호화기에서 기하 변환 정보를 이용하여 참조 픽처로부터 기하 변환 픽처를 생성하고, 참조 픽처와 기하 변환 픽처를 이용하여 움직임 보상을 수행하는 방법을 설명하기 위한 도면이다.

본 발명에 따른 비디오 복호화기는 비디오 부호화기에서 생성된 기하 변환 정보를 비트스트림을 통해 입력 받을 수 있다.

비디오 복호화기는 참조 픽처 리스트로부터 선택된 참조 픽처에 기하 변환 정보를 적용하여 기하 변환 픽처를 생성할 수 있다. 기하 변환 픽처의 생성은 후술하는 복호화기의 기하 변환 픽처 생성부에서 수행될 수 있다. 기하 변환 픽처 생성부에서 생성되는 기하 변환 픽처의 단위는 프레임, 슬라이스 또는 블록 등 비디오 부호화기에서 부호화 시에 결정된 다양한 영역의 단위가 될 수 있다.

참조 픽처에 기하 변환 정보를 적용하여 기하 변환 픽처를 생성하는 과정은 전술한 비디오 부호화기에서의 동작에 대응될 수 있다. 다만, 비디오 부호화기와는 달리 비디오 복호화기는 비트스트림을 통해 기하 변환 정보를 입력 받는다. 따라서, 비디오 복호화기의 복잡도는 크게 증가하지 않는다. 생성된 기하 변환 픽처는 후술하는 복호화기의 기하 변환 픽처 버퍼에 저장될 수 있다.

비디오 복호화기는 복호화 대상 픽처의 화면 간 예측을 위해, 참조 픽처 뿐만 아니라 기하 변환 픽처를 모두 참조할 수 있다. 참조 픽처 및/또는 기하 변환 픽처를 참조한 화면 간 예측은 후술하는 복호화기의 화면 간 예측부에서 수행될 수 있다. 화면 간 예측부는 후술하는 복호화기의 복원 픽처 버퍼(DPB)의 참조 픽처 및/또는 기하 변환 픽처 버퍼의 기하 변환 픽처를 참조 신호로 사용하여 화면 간 예측을 수행할 수 있다.

복호화 대상 픽처 또는 복호화 대상 영역의 화면 간 예측을 위해 참조 픽처를 사용할지 또는 기하 변환 픽처를 사용할지 또는 양쪽 모두를 사용할 지의 여부는 비트스트림을 통해 시그널링될 수 있다. 상기 시그널링은 별도의 신택스 요소에 의해 수행될 수 있다. 또는 상기 시그널링은 기하 변환 정보의 존재에 의해 수행될 수 있다.

비디오 복호화기는 복호화 대상 픽처 또는 복호화 대상 영역이 기하 변환 픽처를 참조하여 예측되었음을 나타내는 정보에 기초하여 기하 변환 정보의 수신, 기하 변환 픽처의 생성 및/또는 기하 변환 픽처를 참조한 화면 간 예측을 수행할 수 있다.

비디오 복호화기는 복호화 대상 픽처 또는 복호화 대상 영역이 참조 픽처를 참조하여 예측되었음을 나타내는 정보에 기초하여 기하 변환 정보의 수신, 기하 변환 픽처의 생성 및/또는 기하 변환 픽처를 참조한 화면 간 예측을 수행하지 않을 수 있다.

도 29는 본 발명이 적용되는 복호화기의 다른 실시예에 따른 구성을 나타내는 블록도이다.

도 29에 도시된 복호화기는 엔트로피 복호화부(2910), 역양자화부(2920), 역변환부(2930), 가산기(2935), 필터부(2940), 확장된 화면 내 예측부(2950), 기하 변환 픽처 예측부(2960), 기하 변환 픽처 생성부(2970)를 포함하여 구성될 수 있다. 복호화 장치는 비트스트림(2900)을 입력받아 복호화 픽처(2980)를 출력할 수 있다.

기하 변환 픽처 생성부(2970)는 복원 픽처 버퍼(2971)로부터 구성된 참조 픽처 리스트의 참조 픽처와 비트스트림으로부터 추출되어 엔트로피 복호화된 기하 변환 정보를 사용하여 기하 변환 픽처(2972)를 생성할 수 있다.

기하 변환 픽처 예측부(2960)는 기하 변환 픽처를 저장하기 위한 기하 변환 픽처 버퍼(2961)와 화면 간 예측부(2962)로 구성될 수 있다.

기하 변환 픽처 생성부(2970)에서 생성된 기하 변환 픽처(2972)는 기하 변환 픽처 버퍼(2961)에 저장될 수 있다. 기하 변환 픽처 버퍼(2961)에 저장된 기하 변환 픽처는 화면 간 예측부(2962)에서 참조 신호로서 참조될 수 있다.

화면 간 예측부(2962)는 부호화기에서 전송된 정보에 기초하여 참조 픽처 및/또는 기하 변환 픽처를 움직임 보상의 참조 신호로 사용하여 복호화 대상 픽처를 복원할 수 있다.

도 30은 도 29에 도시된 복호화기의 일 실시예에 따른 기하 변환 픽처 생성부(2970)의 동작 및 구조를 설명하기 위한 도면이다.

기하 변환 픽처 생성부(2970)의 픽처 기하 변환 계산부(3005)는 기하 변환 정보(3004)와 참조 픽처(3003)를 입력 받아 기하 변환 픽처(3006)를 생성한다. 참조 픽처(3003)는 복원 픽처 버퍼(3001)로부터 구성된 참조 픽처 리스트(3002)로부터 선택될 수 있다. 참조 픽처(3003)의 선택에 필요한 정보는 비트스트림에 포함되어 전송될 수 있다. 참조 픽처(3003)의 선택에 필요한 정보는 별개의 신택스 요소로 전송되거나, 기하 변환 정보에 명시적으로 또는 암묵적으로 포함되어 전송될 수 있다.

생성된 기하 변환 픽처(3006)는 전술한 바와 같이 기하 변환 픽처 버퍼(2961)로 출력될 수 있다.

도 31은 도 29에 도시된 복호화기의 일 실시예에 따른 기하 변환 픽처 예측부(2960)의 동작 및 구조를 설명하기 위한 도면이다.

기하 변환 픽처 예측부(2960)의 화면 간 예측부(3105)는 참조 픽처(3102) 및/또는 기하 변환 픽처(3104)를 참조하여 화면 간 예측을 수행하고, 예측 신호(3106)를 출력할 수 있다. 참조 픽처(3102)와 기하 변환 픽처(3104) 중 어느 픽처를 참조할지 또는 양쪽 모두를 참조할 지의 여부는 전술한 바와 같이, 비트스트림을 통해 별도의 신택스 요소로 시그널링되거나 기하 변환 정보의 존재에 기초하여 시그널링될 수도 있다.

참조 픽처(3102)는 참조 픽처 리스트(3101)로부터 선택될 수 있다. 기하 변환 픽처(3104)는 기하 변환 픽처 버퍼(3103)로부터 선택될 수 있다. 기하 변환 픽처(3104)는 화면 간 예측에 필요한 부분만 구성될 수도 있다.

도 29 내지 도 31을 참조하여 설명된 복호화기의 구성은 본 발명의 다양한 실시예 중 하나에 불과하며, 본 발명의 범위가 이에 한정되지 않는다. 도 29 내지 도 31에 도시된 복호화기의 구성 중 일부는 다른 구성과 병합되거나 생략될 수 있다. 또는 추가적인 구성이 부가될 수도 있다. 또한, 기하 변환 픽처 생성부(2970) 및 기하 변환 픽처 예측부(2960)가 포함하는 복수의 구성 중 일부는 기하 변환 픽처 생성부(2970) 및 기하 변환 픽처 예측부(2960)와 독립적으로 구성될 수도 있으며, 다른 구성부의 하위 구성으로 포함되거나 다른 구성부와 병합될 수도 있다.

도 32는 본 발명의 일 실시예에 따른 복호화기에서의 움직임 보상을 설명하기 위한 순서도이다.

복호화기는 비트스트림을 파싱하여 움직임 보상 관련 정보를 수신할 수 있다(S3201). 움직임 보상 관련 정보는 참조 픽처 정보, 기하 변환 정보 중 적어도 하나를 포함할 수 있다. 참조 픽처 정보는 참조 픽처 리스트에 포함된 복수의 참조 픽처 중 하나의 참조 픽처를 특정하기 위한 정보일 수 있다. 또는 참조 픽처 정보는 움직임 보상 시 참조되는 픽처가 참조 픽처인지 또는 기하 변환 픽처인지를 지시하기 위한 정보일 수 있다. 또는 참조 픽처 정보는 움직임 보상 시 참조 픽처와 기하 변환 픽처가 모두 사용되는지 여부를 지시하기 위한 정보일 수 있다. 또는 참조 픽처 정보는 전술한 정보를 둘 이상 포함하는 정보일 수 있다. 참조 픽처 정보는 하나의 신택스 요소에 의해 시그널링 될 수도 있고, 복수의 신택스 요소에 의해 시그널링 될 수도 있다. 또는 참조 픽처 정보는 복호화기와 부호화기 사이에 명시적 및/또는 암묵적으로 정의된 방법에 의해 시그널링 될 수도 있다. 움직임 보상 시 참조되는 픽처가 참조 픽처인지 또는 기하 변환 픽처인지의 여부는 기하 변환 정보의 존재에 의해서 시그널링 될 수도 있다.

단계 S3202에서, 움직임 보상 관련 정보에 기초하여, 움직임 보상 시 기하 변환 픽처가 참조되는지 여부를 판단할 수 있다. 단계 S3202에서의 판단은 전술한 바와 같이, 참조 픽처 정보 및/또는 기하 변환 정보의 존재에 기초하여 수행될 수 있다. 기하 변환 정보의 존재에 기초하여 수행되는 경우, 예컨대, 기하 변환 정보가 수신되면, 기하 변환 픽처를 참조하여 움직임 보상을 수행하는 것으로 결정될 수 있다.

단계 S3202의 판단 결과가 "예"인 경우, 단계 S3203에서 기하 변환 픽처가 생성될 수 있다. 기하 변환 픽처의 생성은 참조 픽처 리스트로부터 선택된 참조 픽처와 비트스트림으로부터 파싱된 기하 변환 정보에 기초하여 수행될 수 있다. 이 때, 움직임 보상에 필요한 기하 변환 픽처의 일부만이 생성될 수도 있다.

단계 S3204에서, 생성된 기하 변환 픽처를 참조하여 움직임 보상이 수행될 수 있다.

단계 S3202의 판단 결과가 "아니오"인 경우, 단계 S3205에서 참조 픽처 리스트로부터 선택된 참조 픽처를 참조하여 움직임 보상이 수행될 수 있다.

도 32를 참조하여 설명한 움직임 보상에서는 기하 변환 픽처의 참조 여부(S3202)에 기초하여 기하 변환 픽처를 생성(3203)한다. 그러나, 반드시 이에 한정되지 않으며, 기하 변환 정보가 수신되면, 기하 변환 픽처의 참조 여부에 관계없이, 기하 변환 픽처를 생성할 수도 있다.

전술한 바와 같이, 기하 변환 정보를 이용하여 참조 픽처로부터 기하 변환 픽처를 생성할 수 있다. 화면 간 예측 시 참조 픽처 및/또는 기하 변환 픽처를 참조함으로써, 화면 간 예측의 정확도를 향상시킬 수 있다.

기하 변환 픽처를 이용한 예측은 화면 간 예측에 국한되지 않는다. 예컨대, 기하 변환 픽처를 이용하여 화면 내 예측을 수행할 수 있다. 이하, 도 33 내지 도 37을 참조하여 본 발명의 일 실시예 따른, 기하 변환 픽처를 이용한 확장된 화면 내 예측에 대해 설명한다.

도 33은 본 발명의 일 실시예에 따른, 확장된 화면 내 예측을 설명하기 위한 개념도이다. 도 33에서 현재 블록은 복호화 대상 블록을 의미한다.

도 33의 (1)에 도시된 바와 같이, 현재 블록의 화면 내 예측을 위해, 현재 픽처의 기 복호화된 영역이 참조될 수 있다. 즉, 현재 블록의 좌즉, 상측, 좌상측 및/또는 우상측 영역이 참조될 수 있다. 그러나, 현재 블록의 우측, 하측, 좌하측 및/또는 우하측 영역은 아직 복호화되지 않았기 때문에, 현재 블록의 화면 내 예측을 위해 참조될 수 없다.

도 33의 (2)에 도시된 바와 같이, 참조할 수 없는 현재 블록의 우측, 하측, 좌하측 및/또는 우하측 영역에 대해서는, 현재 픽처에 상응하는 기 복호화된 픽처의 대응하는 신호 또는 기 복호화된 픽처를 기하 변환하여 생성되는 기하 변환 픽처의 대응하는 신호가 화면 내 예측의 참조 신호로서 참조될 수 있다. 기하 변환 픽처란, 전술한 바와 같이, 현재 픽처의 참조 픽처를 기하 변환 정보를 사용하여 현재 픽처와 유사하게 재구성한 기하 변환 픽처일 수 있다.

도 33의 (3)에 도시된 바와 같이, (1)과 (2)의 화면 내 예측의 참조 신호를 모두 사용함으로써, 현재 블록을 둘러싼 모든 영역에 화면 내 예측을 위한 참조 신호가 존재할 수 있다. 따라서, 현재 블록의 화면 내 예측은 모든 방향(좌즉, 상측, 좌상측, 우상측, 우측, 하측, 좌하측 및/또는 우하측)에 대해 가능해진다. 그럼으로써, 화면 내 예측의 효율을 향상시킬 수 있다.

도 34는 본 발명에 일 실시예에 따른 확장된 화면 내 예측부의 동작 및 구조를 설명하기 위한 도면이다.

도 34의 확장된 화면 내 예측부는 도 20에 도시된 부호화기의 확장된 화면 내 예측부에 대응될 수 있다.

확장된 화면 내 예측부는 참조 신호 선택부(3404)와 예측 실행부(3405)를 포함할 수 있다. 참조 신호 선택부(3404)는 복호화 대상인 현재 블록(3403)을 입력받을 수 있다. 또한, 참조 신호 선택부(3404)는 화면 내 예측의 참조 신호로 사용될 현재 픽처(3401) 및/또는 기하 변환 픽처(3402)를 입력받을 수 있다. 입력되는 현재 픽처(3401)는 현재 블록(3403)보다 먼저 부호화/복호화된 영역의 신호일 수 있다. 입력되는 기하 변환 픽처(3402)는 현재 픽처의 참조 픽처일 수 있다. 또는 입력되는 기하 변환 픽처(3402)는 현재 픽처의 참조 픽처를 기하 변환 정보에 의해 기하 변환하여 생성된 기하 변환 픽처일 수 있다. 참조 신호 선택부(3404)에 입력되는 현재 블록(3403)에 관한 정보는 현재 픽처 내에서의 현재 블록의 위치 및/또는 크기 등의 정보일 수 있다. 참조 신호 선택부(3404)는 현재 픽처(3401)와 기하 변환 픽처(3402)로부터 참조 신호를 선택할 수 있다. 또는 참조 신호 선택부(3404)는 현재 픽처(3401)와 기하 변환 픽처(3402) 중 하나의 픽처를 참조하기 위해 선택할 수 있다. 예컨대, 현재 블록의 우측 영역으로부터 예측을 수행하는 경우, 참조 신호 선택부(3404)는 기하 변환 픽처(3402)를 참조 픽처로서 선택할 수 있다.

참조 신호가 선택되면 예측 실행부(3405)는 참조 신호를 참조하여 화면 내 예측을 수행하고, 현재 블록의 예측 블록(예측 신호)을 생성할 수 있다. 또한, 복호화기에서 화면 내 예측을 수행하는데 필요한 정보를 화면 내 예측 정보로서 생성할 수 있다. 화면 내 예측 정보는 화면 내 예측 방향 또는 참조 신호 등에 관한 정보를 포함할 수 있다.

화면 내 예측은 모든 가용한 참조 신호에 대해 수행될 수 있으며, 최적의 효율을 나타내는 참조 신호가 결정될 수 있다.

복호화기의 확장된 화면 내 예측부는 부호화기로부터 전송된 화면 내 예측 정보에 기초하여 현재 픽처의 기 복호화된 영역 또는 기하 변환 픽처(또는 참조 픽처)를 선택적으로 참조할 수 있다. 예컨대, 화면 내 예측 정보가 지시하는 화면 내 예측 방향이 현재 블록의 우측이라면, 기하 변환 픽처를 이용하여 화면 내 예측을 수행할 수 있다. 복호화기는 기하 변환 픽처가 참조되는 경우에만 기하 변환 픽처를 생성할 수 있다. 기하 변환 픽처가 참조되는지의 여부는 전술한 바와 같이 화면 내 예측 방향으로부터 판단할 수 있다. 또는 기하 변환 픽처가 참조되는지의 여부는 기하 변환 정보의 존재에 기초하여 판단할 수 있다. 또는 기하 변환 픽처가 참조되는지의 여부는 별도의 하나 이상의 신택스 요소에 의해 시그널링될 수도 있고, 부호화기와 복호화기에서 명시적 및/또는 암묵적으로 정의된 규칙에 따라 시그널링될 수도 있다.

또한, 본 발명에 따른 화면 내 예측을 위해 참조되는 기하 변환 픽처의 생성 방법은 본 발명에 따른 화면 간 예측을 위해 참조되는 기하 변환 픽처의 생성 방법과 동일할 수 있다. 또한 기하 변환 정보를 구성하거나 이용하는 방법도 화면 간 예측에서 설명된 방법과 동일할 수 있다.

도 35는 본 발명의 일 실시예에 따른 확장된 화면 내 예측을 설명하기 위한 도면이다.

단계 S3501에서 화면 내 예측에 사용될 참조 영역을 선택한다. 참조 영역은 현재 블록 주변의 모든 방향으로부터 선택될 수 있다. 화면 내 예측 방향은 일정한 간격으로 세분화된 각도로 표현될 수 있으며, 각각을 인덱싱한 인덱스로 표현될 수도 있다. 또한, 그 밖의 가능한 모든 표현 방식이 이용될 수 있다. 부호화기에서는 순차적으로 또는 병렬적으로 모든 방향에 대해 화면 내 예측을 수행할 수 있다. 복호화기에서는 전송된 화면 내 예측 정보에 기초하여 하나의 화면 내 예측 방향이 특정될 수 있다.

단계 S3502에서 선택된 참조 영역, 즉, 화면 내 예측 방향이 지시하는 참조 영역이 현재 픽처 내에서 유효한지를 판단할 수 있다. 즉, 선택한 참조 영역이 현재 블록에 앞서 부호화/복호화된 영역에 속한다면 유효하며, 그렇지 않다면 유효하지 않다. 단계 S3502의 판단은 단계 S3501에서 참조 영역을 선택함으로써 판단될 수 있다. 예컨대, 선택된 참조 영역을 지시하는 각도, 인덱스 또는 방향 등으로부터 참조 영역이 현재 픽처에 유효한지 여부를 판단할 수 있다.

선택한 참조 영역이 현재 픽처에서 유효하면, 단계 S3504에서, 현재 픽처의 기 복호화된 신호를 참조하여 화면 내 예측을 수행할 수 있다. 선택한 참조 영역이 현재 픽처에서 유효하지 않다면, 단계 S3503에서, 기하 변환 픽처를 참조하여 화면 내 예측을 수행할 수 있다.

도 36은 본 발명에 따른 화면 내 예측 방향을 설명하기 위한 도면이다.

도 36에 있어서, 예측 모드 0과 1은 비방향성 모드(non-angular mode)에 속한다. 예측 모드 0은 플레이너(Intra_Planar) 모드, 예측 모드 1은 DC(Intra_DC) 모드를 의미한다. 도 36의 (1)에서, 예측 모드 2 내지 34는 방향성 모드(angular modes)를 의미한다. 도 36의 (2)에서, 예측 모드 2 내지 65는 방향성 모드를 의미한다. 도 36에서, 화살표는 현재 블록의 화면 내 예측의 참조 신호를 지시한다.

도 36의 (1)은 현재 픽처의 기 복호화된 신호만을 참조할 수 있는 경우의 화면 내 예측 방향을 도시한 도면이다. 도 36의 (1)에 도시된 바와 같이, 예측 모드 2 내지 34의 화면 내 예측은 현재 블록의 좌즉, 상측, 좌상측 및/또는 우상측에 위치하는 신호만을 참조할 수 있다.

도 36의 (2)는 현재 픽처의 기 복호화된 신호뿐만 아니라, 기 복호화된 픽처 또는 기 복호화된 픽처의 기하 변환 픽처를 참조할 수 있는 경우의 화면 내 예측 방향을 도시한 도면이다. 도 36의 (2)에 도시된 바와 같이, 예측 모드 2 내지 65의 화면 내 예측은 현재 블록의 좌측, 상측, 좌상측 및/또는 우상측 뿐만 아니라 현재 블록의 우측, 하측, 좌하측 및/또는 우하측 등 모든 방향에 위치하는 신호를 참조할 수 있다.

도 37은 본 발명에 따라 확장된 화면 내 예측이 수행되는 일 실시예를 설명하기 위한 도면이다.

도 37에 있어서, 현재 픽처 내 인접 화소는 화면 내 예측 시 참조할 수 있는 현재 픽처 내 화소를 의미한다. 기하 변환 픽처 내 인접 화소는 화면 내 예측 시 참조할 수 있는, 현재 픽처에 대응하는 기하 변환 픽처(또는 참조 픽처) 내 화소를 의미한다. 정보가 없는 영역은 현재 블록의 인접 화소들 중, 화면 내 예측 시 참조할 수 있는 화소 정보가 없는 영역을 의미한다. 실선의 화살표는 현재 픽처 내 인접 화소를 참조하여 화면 내 예측이 수행되는 경우의 화면 내 예측 방향을 나타낸다. 실선의 화살표가 나타내는 화면 내 예측 방향은 도 36의 예측 모드 2 내지 34의 예측 방향에 대응될 수 있다. 굵은 실선의 화살표는 현재 픽처에 대응하는 기하 변환 픽처(또는 참조 픽처) 내 인접 화소를 참조하여 화면 내 예측이 수행되는 경우의 화면 내 예측방향을 나타낸다. 굵은 실선의 화살표는 도 36의 예측 모드 35 내지 65의 예측 방향에 대응될 수 있다. 점선의 화살표는 참조 신호가 없기 때문에 화면 내 예측이 불가능한 방향을 나타낸다.

도 37의 (a) 및 (c)는 현재 픽처 내 인접 화소만을 참조하여 화면 내 예측을 수행하는 경우이다. (a)에 도시된 예측 방향에 대해서는 참조 신호가 존재하므로 화면 내 예측이 수행될 수 있다. 그러나 (c)에 도시된 예측 방향에 대해서는 참조 신호가 존재하지 않기 때문에 화면 내 예측을 수행할 수 없다.

도 37의 (b)와 (d)는 현재 픽처 내 인접 화소 뿐만 아니라 기하 변환 픽처(또는 참조 픽처) 내 인접 화소를 참조하여 화면 내 예측을 수행하는 경우이다. (b)에 도시된 예측 방향에 대해서는 현재 픽처 내 인접 화소를 참조하여 화면 내 예측을 수행할 수 있다. (d)에 도시된 예측 방향에 대해서는 기하 변환 픽처 내 인접 화소를 참조하여 화면 내 예측을 수행할 수 있다. (b), (d)와 같이, 현재 픽처 내 인접 화소 뿐만 아니라 기하 변환 픽처 내 인접 화소를 참조하여 화면 내 예측을 수행함으로써, 화면 내 예측의 정확도를 높여 부호화 효율을 높일 수 있다.

본 발명에 따라, 기하 변환 픽처를 생성할 때, 기하 변환 픽처는 코딩 유닛 단위(Coding Unit, CU), 예측 단위(Prediction Unit, PU), 슬라이스(Slice) 단위 또는 영상 프레임(Frame) 단위로 구성될 수 있다. 만약 영상 프레임이나 슬라이스 단위로 화소 값에 변화가 발생하는 경우, 각각의 CU나 PU 등의 작은 단위 영역에 대해 픽처 기하 변환을 수행하는 것보다 슬라이스나 프레임 등의 큰 단위 영역에 대해 픽처 기하 변환을 수행하는 것이 바람직할 수 있다. 그럼으로써, 작은 단위 영역에 대한 기하 변환 정보의 중복적인 생성을 방지할 수 있고, 복잡도 측면에서도 훨씬 효율적일 수 있다. 또한 프레임이나 슬라이스 영역 단위로 기하 변환 픽처를 참조하지 않는 경우, 프레임 또는 슬라이스 단위로 기하 변환 픽처 참조 여부에 관한 정보를 포함시킴으로써, 부호화기/복호화기에서 불필요한 기하 변환 정보를 구성하지 않도록 할 수 있다. 예컨대, 아래의 픽처 파라미터 세트(Picture Parameter Set, PPS), 슬라이스 헤더(Slice Header)의 신택스 구조 및 시맨틱스(Semantics)가 적용될 수 있다.

표 1과 표 2에서 “modification_image_generation_flag”는 움직임 정보 예측 시 참조 픽처로서 기하 변환 픽처의 사용 여부를 알려주는 정보일 수 있다. “modification_image_generation_flag”는 시퀀스 단위, 프레임 단위, 슬라이스 단위 등에 포함되어 각각의 단위에서의 기하 변환 픽처의 사용 여부를 시그널링할 수 있다. 각각의 단위에서 기하 변환 픽처가 참조 정보로서 사용되는 경우, “modification_image_generation_flag”는 '1’로 설정될 수 있다. 기하 변환 픽처가 참조 정보로서 사용되지 않는 경우, “modification_image_generation_flag”은 ‘0’으로 설정될 수 있다. 또는 각각의 경우에, 반대의 값을 갖도록 구성될 수도 있다. “modification_image_generation_flag”는 각각의 단위에서 기하 변환 픽처의 사용 여부를 나타내는 용도로 사용될 수 있으며, 전송된 비트스트림에 기하 변환 정보가 포함되는지 여부를 판단하는 용도로 사용될 수 있다.

표 1 및 표 2는 각각 PPS 및 슬라이스 헤더를 통해 시그널링하는 경우의 신택스 구조의 일 예이다.

pic_parameter_set_rbsp(){	Descriptor
pic_parameter_set_id	ue(v)
seq_parameter_set_id	ue(v)
entropy_coding_mode_flag	u(1)
...
for(i = 0; i <= num_ref_idx_l0_active_minus1; i++){
modification_image_generation_flag	u(1)
if(modification_image_generation_flag){
for(j = 0; j <= 8; j++)
image_modification_info[0][i][j]	ae(v)
}
}
if(slice_type == B){
for(i = 0; i <= num_ref_idx_l1_active_minus1; i++){
modification_image_generation_flag	u(1)
if(modification_image_generation_flag){
for(j = 0; j <= 8; j++)
image_modification_info[1][i][j]	ae(v)
}
}
}
...

slice_header(){	Descriptor
lightweight_slice_flag	u(1)
if(lightweight_slice_flag){
slice_type	ue(v)
pic_parameter_set_id	ue(v)
frame_num	u(v)
...
for(i = 0; i <= num_ref_idx_l0_active_minus1; i++){
modification_image_generation_flag	u(1)
if(modification_image_generation_flag){
for(j = 0; j <= 8; j++)
image_modification_info[0][i][j]	ae(v)
}
}
if(slice_type == B){
for(i = 0; i <= num_ref_idx_l1_active_minus1; i++){
modification_image_generation_flag	u(1)
if(modification_image_generation_flag){
for(j = 0; j <= 8; j++)
image_modification_info[1][i][j]	ae(v)
}
}
}
...

“image_modification_info”는 기하 변환 정보에 관한 신택스 요소로서, 매트릭스(matrix)나 비선형적 데이터들로 구성될 수 있다. “image_modification_info”는 프레임 또는 슬라이스 단위 등 각각의 단위에서 기하 변환 픽처를 참조하는 경우(혹은 “modification_image_generation_flag”가 '1'인 경우) 비트스트림에 존재하는 신택스 요소일 수 있다. 표 1 및 표 2에 도시된 예는 “image_modification_info”가 매트릭스 형태의 기하 변환 정보를 갖는 경우이다. 전술한 바와 같이, 기하 변환 정보 매트릭스는 9개의 계수를 포함하고, 이중 하나는 고정된 값이 사용될 수 있으므로, 8개의 계수를 전송할 수 있다. 전송할 매트릭스의 계수는 매트릭스 계수의 근사화 또는 예측 등을 통해 8개 이하로 줄어들 수 있다. 표 1 및 표 2에서, 매트릭스 계수는 "image_modification_info[x][y][z]"의 형태로 전송되며, x는 참조 픽처 리스트의 인덱스, y는 해당 참조 픽처 리스트 내의 참조 픽처의 인덱스, z는 매트릭스 계수의 인덱스를 의미할 수 있다. 따라서, 모든 참조 픽처는 각각 별개의 매트릭스를 가질 수 있다.

만약, 비디오 부호화기가 CU 및/또는 PU에서 기하 변환 픽처를 구성하여 참조하는 경우를 최적이라고 판단할 경우, 표 3 및 표 4와 같이, CU 및/또는 PU에 대한 신택스 요소로서, “modification_image_generation_flag” 와 “image_modification_info”가 포함될 수 있다. 표 3 및 표 4의 경우 CU는 자신이 참조하는 참조 프레임의 정보를 지니고 있으므로, 해당 참조 픽처의 기하 변환에 필요한 하나의 기하 변환 정보 매트릭스만을 필요로 할 수 있다. 따라서, 표 1 및 표 2의 경우와 달리, 매트릭스 계수가 "image_modification_info[z]"의 형태로 전송될 수 있다. 이때 z는 매트릭스 계수의 인덱스를 의미한다.

표 3 및 표 4는 각각 CU 및 PU를 통해 시그널링하는 경우의 신택스 구조의 일 예이다.

coding_unit(x0, y0, log2CbSize){	Descriptor
...
modification_image_generation_flag	ae(v)
if(modification_image_generation_flag){
for(i = 0; i <= 8; i++)
image_modification_info[i]	ae(v)
...

prediction_unit(x0, y0, nPbW, nPbH){	Descriptor
...
modification_image_generation_flag	ae(v)
if(modification_image_generation_flag){
for(i = 0; i <= 8; i++)
image_modification_info[i]	ae(v)
...

표 1 및 표 2와 같이 슬라이스 헤더 또는 PPS가 기하 변환 정보를 가지는 경우 CU나 PU 단위에서는 기하 변환 정보를 전송할 필요가 없다. 따라서, 표 5 및 표 6과 같이, CU, PU를 구성할 수 있다. 표 5 및 표 6에서 “modification_image_reference_flag”가 ‘1’이 되면 참조 신호로 기하 변환 픽처를 사용하고, “modification_image_reference_flag”가 ‘0’이 되면 참조 신호로 기하 변환 픽처를 사용하지 않는 것을 의미할 수 있다. 또는 그 반대로 정의될 수도 있다. CU나 PU단위에서 참조 정보로 기하 변환 픽처를 사용(혹은 “modification_image_reference_flag”가 '1'일 경우)하는 경우, CU와 PU는 참조에 필요한 정보 “reference_modification_info”를 시그널링할 수 있다. 참조에 필요한 정보는 참조 인덱스, 잔차 신호 등의 정보를 포함할 수 있다.

표 5 및 표 6은 각각 CU 및 PU를 통해 시그널링하는 경우의 신택스 구조의 일 예이다.

coding_unit(x0, y0, log2CbSize){	Descriptor
...
modification_image_reference_flag	ae(v)
if(modification_image_reference_flag){
reference_modification_info	ae(v)
...

prediction_unit(x0, y0, nPbW, nPbH){	Descriptor
...
modification_image_reference_flag	ae(v)
if(modification_image_reference_flag){
reference_modification_info	ae(v)
...

움직임 예측시 단방향 예측 및/또는 양방향 예측이 사용될 수 있다. 기하 변환 픽처를 참조하는 경우, CU와 PU 단위에서 표 7, 표 8의 신택스 구조를 통해 움직임 예측의 타입을 시그널링할 수 있다.

구체적으로, 슬라이스 헤더나 PPS와 같은 상위 레벨에서 시그널링되는 기하 변환 정보를 이용하여 기하 변환 픽처가 생성될 수 있다. 그리고, 각 CU나 PU 단위에서는 기하 변환 픽처를 이용한 양방향 예측, 기하 변환 픽처를 이용한 단방향 예측 또는 기하 변환 픽처를 이용하지 않는 예측 등에 대한 예측 타입을 시그널링할 수 있다. 또한, 각 방향에 대해 기하 변환 픽처를 이용하는지에 관한 정보를 예컨대, 플래그(flag) 정보로써 시그널링할 수 있다.

표 7 및 표 8에서 “modification_image_reference_type”은 기하 변환 픽처를 이용한 양방향 예측, 기하 변환 픽처를 이용한 단방향 예측, 기하 변환 픽처를 이용하지 않는 예측을 포함하는 복수의 예측 방법 중 하나를 나타내는 flag일 수 있다. “ref_0_modification_flag”는 현재 복호화중인 픽처가 참조할 수 있는 두 개의 참조 픽처 리스트 중 첫번째 참조 픽처 리스트의 참조 픽처의 기하 변환 픽처를 참조할지의 여부를 나타내는 플래그이다. “ref_1_modification_flag”는 두번째 참조 픽처 리스트의 참조 픽처의 기하 변환 픽처를 참조할지의 여부를 나타내는 플래그이다. “ref_X_modification_flag”(여기서, X는 0 또는 1)이 “참(true)(1)”으로 설정되면, 해당하는 참조 픽처의 기하 변환 픽처를 참조하여 예측을 수행할 수 있다. “ref_X_modification_flag”(여기서, X는 0 또는 1)이 “거짓(false)(0)”으로 설정되면, 해당하는 참조 픽처의 기하 변환 픽처를 참조하지 않고 예측을 수행할 수 있다.

CU나 PU에서 “modification_image_modification_type”이 “NONE_USE”일 경우 “ref_0_modification_flag”와 “ref_1_modification_flag”를 “false”로 설정하여 양방향 모두에 대해 참조 픽처의 기하 변환 픽처를 참조하지 않도록 할 수 있다.

“modification_image_reference_type”이 “REF_0_USE”일 경우 “ref_0_modification_flag”를 “true”로 설정하고, “ref_1_modification_flag”을 “false”로 설정하여 list 0 방향의 예측 시에만 기하 변환 픽처를 참조하도록 설정할 수 있다.

“modification_image_reference_type”이 “REF_1_USE”일 경우 “ref_0_modification_flag”를 “false”로 설정하고, “ref_1_modification_flag”을 “true”로 설정하여 list 1 방향의 예측 시에만 기하 변환 픽처를 참조하도록 설정할 수 있다.

“modification_image_reference_type”이 “BOTH_USE”일 경우 “ref_0_modification_flag”와 “ref_1_modification_flag”를 “true”로 설정하여 양방향 모두에 대해 기하 변환 픽처를 참조하여 예측을 수행하도록 설정할 수 있다.

표 7 및 표 8은 각각 CU 및 PU를 통해 시그널링하는 경우의 신택스 구조의 일 예이다.

coding_unit(x0, y0, log2CbSize){	Descriptor
...
modification_image_reference_type	ae(v)
if(modification_image_reference_type==NONE_USE){
ref_0_modification_flag = false
ref_1_modification_flag = false
}
if(modification_image_reference_type==REF_0_USE){
ref_0_modification_flag = true
ref_1_modification_flag = false
}
if(modification_image_reference_type==REF_1_USE){
ref_0_modification_flag = false
ref_1_modification_flag = true
}
if(modification_image_reference_type==BOTH_USE){
ref_0_modification_flag = true
ref_1_modification_flag = true
}
...

prediction_unit(x0, y0, nPbW, nPbH){	Descriptor
...
modification_image_reference_type	ae(v)
if(modification_image_reference_type==NONE_USE){
ref_0_modification_flag = false
ref_1_modification_flag = false
}
if(modification_image_reference_type==REF_0_USE){
ref_0_modification_flag = true
ref_1_modification_flag = false
}
if(modification_image_reference_type==REF_1_USE){
ref_0_modification_flag = false
ref_1_modification_flag = true
}
if(modification_image_reference_type==BOTH_USE){
ref_0_modification_flag = true
ref_1_modification_flag = true
}
...

본 발명의 응용 예로 슬라이스 헤더 또는 PPS등의 상위 레벨에서 기하 변환된 기하 변환 픽처 또는 상위 레벨에서 전송된 기하 변환 정보를 CU 및/또는 PU 레벨에서 보정하여 이용할 수도 있다. 표 9 및 표 10에서와 같이 CU, PU 레벨에서 신택스 요소로서 “modification_image_using_revision_flag” 와 “modification_revision_info”를 포함할 수 있다.

“modification_image_using_revision_flag”이 “1”일 경우 CU나 PU 레벨에서 보정할 정보가 있음을 의미할 수 있다. 이 경우, “modification_revision_info”를 추가적으로 시그널링할 수 있다.

“modification_image_using_revision_flag”이 “0”일 경우 CU나 PU 레벨에서 보정할 정보가 없음을 의미할 수 있다. 보정할 정보가 없으므로 “modification_revision_info”를 시그널링하지 않을 수 있다.

“modification_image_using_revision_flag” 와 “modification_revision_info”는 표 9 및 표 10의 일 예와 같이 신택스 요소로서 직접 시그널링될 수도 있고, 신택스 요소를 이용하지 않고 부호화기와 복호화기에서 미리 정의된 규칙에 따라 명시적 및/또는 암묵적으로 시그널링될 수도 있다.

표 9 및 표 10은 각각 CU 및 PU를 통해 시그널링하는 경우의 신택스 구조의 일 예이다.

coding_unit(x0, y0, log2CbSize){	Descriptor
...
modification_image_using_revision_flag	ae(v)
if(modification_image_using_revision_flag){
modification_revision_info	ae(v)
...

prediction_unit(x0, y0, nPbW, nPbH){	Descriptor
...
modification_image_using_revision_flag	ae(v)
if(modification_image_using_revision_flag){
modification_revision_info	ae(v)
...

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magnetooptical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

영상의 부호화 방법에 있어서,
참조 픽처를 기하 변환하여 기하 변환 픽처를 생성하는 기하 변환 픽처 생성 단계; 및
기하 변환 픽처를 참조한 화면 간 예측을 수행하여 현재 블록의 제1 예측 블록을 생성하는 제1 예측 블록 생성 단계를 포함하는 부호화 방법.
제1 항에 있어서,
상기 참조 픽처를 참조한 화면 간 예측을 수행하여 상기 현재 블록의 제2 예측 블록을 생성하는 제2 예측 블록 생성 단계; 및
상기 제1 예측 블록과 상기 제2 예측 블록 중에서, 상기 현재 블록의 움직임 보상에 이용될 최종 예측 블록을 선택하는 단계를 더 포함하는 부호화 방법.
제2 항에 있어서,
상기 최종 예측 블록의 선택은 상기 제1 예측 블록과 상기 제2 예측 블록 중 상기 현재 블록과의 오차가 더 작은 블록을 선택함으로써 수행되는 부호화 방법.
제1 항에 있어서,
기하 변환 정보를 생성하는 기하 변환 정보 생성 단계를 더 포함하고,
상기 기하 변환 픽처 생성 단계는 상기 기하 변환 정보 및 상기 참조 픽처에 기초하여 수행되는 부호화 방법.
제4 항에 있어서,
상기 기하 변환 정보를 부호화하는 기하 변환 정보 부호화 단계를 더 포함하는 부호화 방법.
제5 항에 있어서,
상기 기하 변환 정보 부호화 단계는 상기 기하 변환 정보를 재구성하는 단계를 포함하고,
상기 기하 변환 정보의 재구성은 상기 기하 변환 정보의 간소화 또는 상기 기하 변환 정보의 예측을 포함하는 부호화 방법.
제4 항에 있어서,
상기 기하 변환 정보는 상기 현재 블록을 포함하는 현재 픽처와 참조 픽처 사이의 화소 정보의 변화에 기초하여 생성되는 부호화 방법.
제7 항에 있어서,
상기 기하 변환 정보 생성 단계는,
상기 현재 픽처와 상기 참조 픽처의 각각으로부터 추출된 특징점 사이의 매칭 정보에 기초하여 수행되는 부호화 방법.
제1 항에 있어서,
상기 기하 변환 픽처 생성 단계는,
상기 기하 변환 픽처 내의 한 지점에 대응되는 상기 참조 픽처 내의 한 지점을 식별하는 단계; 및
상기 참조 픽처 내의 대응 지점의 화소 정보를 상기 기하 변환 픽처 내의 지점의 화소 정보로 설정하는 단계를 포함하는 부호화 방법.
제9 항에 있어서,
상기 기하 변환 픽처 내의 지점에 대응되는 지점이 상기 참조 픽처 내에 존재하지 않는 경우,
상기 대응되는 지점에 가장 인접한 상기 참조 픽처 내의 지점을 상기 대응되는 지점으로 식별하는 부호화 방법.
영상의 복호화 방법에 있어서,
참조 픽처를 변환하여 기하 변환 픽처를 생성하는 기하 변환 픽처 생성 단계; 및
기하 변환 픽처를 참조한 화면 간 예측을 수행하여 현재 블록의 예측 블록을 생성하는 예측 블록 생성 단계를 포함하는 복호화 방법.
제11 항에 있어서,
움직임 보상 관련 정보를 수신하는 단계; 및
상기 움직임 보상 관련 정보에 기초하여, 상기 현재 블록의 움직임 보상에 상기 기하 변환 픽처가 참조되는지 여부를 판단하는 판단 단계를 더 구비하고,
상기 기하 변환 픽처 생성 단계 및 예측 블록 생성 단계는,
상기 판단 단계에서, 상기 현재 블록의 움직임 보상에 상기 기하 변환 픽처가 참조된 것으로 판단된 경우 수행되는 복호화 방법.
제12 항에 있어서,
상기 판단 단계는 상기 움직임 보상 관련 정보가 기하 변환 정보에 관한 정보를 포함하는지 여부 또는 상기 움직임 보상 관련 정보에 포함된 기하 변환 픽처 참조 여부에 관한 정보에 기초하여 수행되는 복호화 방법.
제12 항에 있어서,
상기 판단 단계에서, 상기 현재 블록의 움직임 보상에 상기 기하 변환 픽처가 참조된 것으로 판단되는 경우,
상기 움직임 보상 관련 정보에 포함된 기하 변환 정보에 관한 정보에 기초하여 상기 기하 변환 정보를 복원하는 단계를 더 포함하고,
상기 기하 변환 픽처 생성 단계는 상기 참조 픽처와 상기 복원된 기하 변환 정보에 기초해서 수행되는 복호화 방법.
제14 항에 있어서,
상기 기하 변환 정보에 관한 정보는 차분 기하 변환 정보 또는 스케일링 계수를 포함하고,
상기 기하 변환 정보의 복원 단계는, 상기 차분 기하 변환 정보 또는 상기 스케일링 계수 중 적어도 하나와 기 저장된 기하 변환 정보에 기초하여 상기 기하 변환 정보를 복원하는 복호화 방법.
제15 항에 있어서,
상기 움직임 보상 관련 정보는 상기 기 저장된 기하 변환 정보에 관한 정보를 포함하고,
상기 기 저장된 기하 변환 정보에 관한 정보는 하나 이상의 기 저장된 기하 변환 정보 중 하나를 식별하는 정보인 복호화 방법.
제11 항에 있어서,
상기 기하 변환 픽처 생성 단계는,
상기 기하 변환 픽처 내의 한 지점에 대응되는 상기 참조 픽처 내의 한 지점을 식별하는 단계; 및
상기 참조 픽처 내의 대응 지점의 화소 정보를 상기 기하 변환 픽처 내의 지점의 화소 정보로 설정하는 단계를 포함하는 복호화 방법.
제17 항에 있어서,
상기 기하 변환 픽처 내의 지점에 대응되는 지점이 상기 참조 픽처 내에 존재하지 않는 경우,
상기 대응되는 지점에 가장 인접한 상기 참조 픽처 내의 지점을 상기 대응되는 지점으로 식별하는 복호화 방법.
제17 항에 있어서,
상기 참조 픽처 내의 대응 지점이 실수 좌표를 갖는 경우,
상기 참조 픽처 내의 대응 지점의 주변으로부터 정수 좌표를 갖는 하나 이상의 지점을 식별하고,
상기 정수 좌표를 갖는 하나 이상의 지점의 화소 정보에 기초하여 상기 참조 픽처 내의 대응 지점의 화소 정보를 유도하는 복호화 방법.
제11 항에 있어서,
상기 기하 변환 픽처 생성 단계는,
픽처, 슬라이스, 타일, 코딩 유닛(Coding Unit) 및 예측 유닛(Prediction Unit)으로부터 선택된 하나 이상의 단위로 수행되는 복호화 방법.