WO2019088435A1

WO2019088435A1 - 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

Info

Publication number: WO2019088435A1
Application number: PCT/KR2018/010126
Authority: WO
Inventors: 민정혜; 알쉰알렉산더; 알쉰엘레나
Original assignee: 삼성전자 주식회사
Priority date: 2017-11-02
Filing date: 2018-08-31
Publication date: 2019-05-09
Also published as: EP3672243A4; KR102323395B1; KR20200033339A; EP3672243A1; US20200296358A1

Abstract

영상의 복호화 방법에 있어서, 영상 내 로우-퀄리티 부호화 모드가 적용된 타겟 영역에 의해 참조되는 참조 영역을 결정하는 단계; 결정된 참조 영역으로부터 소정 종류의 정보를 추출하는 단계; 및 추출된 소정 종류의 정보에 기초하여 타겟 영역의 픽셀 값들을 변경하는 단계를 포함하는 것을 특징으로 하는 일 실시예에 따른 영상의 복호화 방법이 개시된다.

Description

로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

본 개시는 영상의 부호화 및 복호화 분야에 관한 것이다. 보다 구체적으로, 본 개시는 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치에 관한 것이다.

영상의 부호화 및 복호화 방법에서는 영상을 부호화하기 위해 하나의 픽처를 블록으로 분할하고, 인터 예측(inter prediction) 또는 인트라 예측(intraprediction)을 통해 각각의 블록을 예측 부호화할 수 있다.

인트라 예측은 픽처 내 공간적인 중복성을 제거하여 영상을 압축하는 방법이고, 인터 예측은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로 움직임 추정 부호화가 대표적인 예이다.

움직임 추정 부호화는 적어도 하나의 참조 픽처를 이용해 현재 픽처의 블록들을 예측한다. 소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 참조 블록을 소정의 검색 범위에서 검색할 수 있다.

인트라 예측 및 인터 예측에서는, 인접 픽셀 또는 참조 블록에 기초하여 현재 블록을 예측하고, 예측 결과 생성된 예측 블록을 현재 블록으로부터 감산하여 잔차 블록을 생성 및 부호화한다.

H.264 AVC(Advanced Video Coding) 및 HEVC(High Efficiency Video Coding)와 같은 코덱에서는, 인터 예측을 위한 현재 블록의 움직임 벡터를 예측하기 위해 현재 블록에 인접한 이전에 부호화된 블록들 또는 이전에 부호화된 픽처에 포함된 블록들의 움직임 벡터를 현재 블록의 예측 움직임 벡터(Prediction Motion Vector)로 이용한다. 현재 블록의 움직임 벡터와 예측 움직임 벡터 사이의 차이인 잔차 움직임 벡터(Differential Motion Vector)는 소정의 방식을 통해 디코더 측으로 시그널링된다.

일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는 영상을 낮은 비트레이트로 부호화 및 복호화하는 것을 기술적 과제로 한다.

일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는 영상을 낮은 비트레이트 대비 높은 퀄리티로 복호화하는 것을 기술적 과제로 한다.

본 개시의 일 실시예에 따른 영상의 복호화 방법은, 상기 영상 내 로우-퀄리티 부호화 모드가 적용된 타겟 영역에 의해 참조되는 참조 영역을 결정하는 단계; 상기 결정된 참조 영역으로부터 소정 종류의 정보를 추출하는 단계; 및 상기 추출된 소정 종류의 정보에 기초하여 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함할 수 있다.

일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는 영상을 낮은 비트레이트로 부호화 및 복호화할 수 있다.

일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치는 영상을 낮은 비트레이트 대비 높은 퀄리티로 복호화할 수 있다.

다만, 일 실시예에 따른 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 텍스처 영역을 포함하는 영상을 도시하는 도면이다.

도 2는 일 실시예에 따른 부호화 및 복호화 과정을 설명하기 위한 도면이다.

도 3은 일 실시예에 따른 영상의 복호화 방법을 설명하기 위한 순서도이다.

도 4는 영상 내 타겟 영역 및 참조 영역을 도시하는 도면이다.

도 5는 복원된 참조 영역과 복원된 타겟 영역을 포함하는 영상을 도시하는 도면이다.

도 6은 일 실시예에 따른 머신 러닝 모델의 구조를 도시하는 도면이다.

도 7은 일 실시예에 따른 영상 복호화 장치의 구성을 도시하는 블록도이다.

도 8은 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

도 9는 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다.

도 10은 원본 영상을 도시하는 도면이고, 도 11은 다운 샘플링된 타겟 영역을 포함하는 영상을 도시하는 도면이고, 도 12는 복원된 참조 영역과 복원되어 후처리된 타겟 영역을 포함하는 영상을 도시하는 도면이고, 도 13은 최종 복원 영상을 도시하는 도면이다.

도 14는 일 실시예에 따른 영상 부호화 및 복호화 시스템의 블록도를 나타낸 도면이다.

도 15는 일 실시예에 따른 원 영상과 로우-퀄리티 영상을 도시하는 도면이다.

일 실시예에서, 상기 소정 종류의 정보는, 소정 종류의 참조 텍스처 피처(reference texture feature)를 포함하고, 상기 타겟 영역의 픽셀 값들을 변경하는 단계는, 상기 타겟 영역의 소정 종류의 타겟 텍스처 피처(target texture feature)가 상기 참조 텍스처 피처와 동일 또는 유사해지도록 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함할 수 있다.

일 실시예에서, 상기 타겟 영역의 픽셀 값들을 변경하는 단계는, 상기 타겟 영역 및 상기 참조 영역을 머신 러닝 모델에 적용하여, 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함할 수 있다.

일 실시예에서, 상기 영상의 복호화 방법은, 상기 타겟 영역의 픽셀 값들을 변경하기 전에, 비트스트림으로부터 획득된 정보에 기초하여 로우-퀄리티로 부호화된 상기 타겟 영역을 복원하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 영상의 복호화 방법은, 상기 타겟 영역의 픽셀 값들을 변경하기 전에, 상기 복원된 타겟 영역을 후처리하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 후처리하는 단계는, 업 샘플링 및 하이패스 필터링 중 적어도 하나에 따라 상기 복원된 타겟 영역을 후처리하는 단계를 포함할 수 있다.

일 실시예에서, 상기 영상의 복호화 방법은, 원 영상에 포함된 참조 영역에 대한 부호화 결과 생성된 정보를 상기 비트스트림으로부터 획득하여 상기 참조 영역을 복원하는 단계; 및 상기 원 영상에 대응하는 로우-퀄리티 영상에 포함된 타겟 영역에 대한 부호화 결과 생성된 정보를 상기 비트스트림으로부터 획득하여 상기 타겟 영역을 복원하는 단계를 포함할 수 있다.

일 실시예에서, 상기 영상의 복호화 방법은, 상기 결정된 참조 영역의 개수가 복수인 경우, 복수의 참조 영역들 각각에서 추출될 참조 텍스처 피처의 종류들을 식별하는 단계를 더 포함하고, 상기 소정 종류의 참조 텍스처 피처를 추출하는 단계는, 상기 복수의 참조 영역들 각각으로부터 상기 식별된 종류들의 참조 텍스처 피처들을 추출하는 단계를 포함하고, 상기 타겟 영역의 픽셀 값들을 변경하는 단계는, 상기 식별된 참조 텍스처 피처의 종류들에 대응하는 상기 타겟 영역의 타겟 텍스처 피처들이 상기 추출된 참조 텍스처 피처들 각각과 동일 또는 유사해지도록 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따른 영상의 부호화 방법은,

제 1 영상 중 로우-퀄리티 부호화 모드가 적용될 타겟 영역이 참조하는 참조 영역을 결정하는 단계; 상기 타겟 영역을 로우-퀄리티로 부호화하는 단계; 및 상기 타겟 영역에 대한 부호화 결과 생성된 정보 및 상기 참조 영역을 나타내는 정보를 포함하는 비트스트림을 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 타겟 영역을 로우-퀄리티로 부호화하는 단계는, 다운 샘플링, 로우패스 필터링 및 픽셀 값 필터링 중 적어도 하나에 기초하여 상기 제 1 영상 내 타겟 영역을 전처리하는 단계; 및 상기 전처리된 타겟 영역을 인트라 모드, 인터 모드, 스킵 모드 및 머지 모드 중 적어도 하나에 따라 부호화하는 단계를 포함할 수 있다.

일 실시예에서, 상기 타겟 영역을 로우-퀄리티로 부호화하는 단계는, 상기 제 1 영상 중 상기 타겟 영역 및 상기 참조 영역 이외의 영역의 양자화 파라미터보다 큰 양자화 파라미터에 기초하여 상기 타겟 영역을 인트라 모드, 인터 모드 및 머지 모드 중 적어도 하나에 따라 부호화하는 단계를 포함할 수 있다.

일 실시예에서, 상기 타겟 영역을 로우-퀄리티로 부호화하는 단계는, 상기 제 1 영상 대비 로우-퀄리티의 제 2 영상을 획득하는 단계; 상기 제 1 영상의 타겟 영역에 해당하는 영역을 상기 제 2 영상에서 결정하는 단계; 및 상기 제 2 영상에서 결정된 영역을 부호화하는 단계를 포함할 수 있다.

일 실시예에서, 상기 영상의 부호화 방법은, 상기 참조 영역을 하이-퀄리티로 부호화하는 단계를 더 포함하되, 상기 비트스트림을 생성하는 단계는, 상기 참조 영역에 대한 부호화 결과 생성된 정보 및 상기 하이-퀄리티 부호화와 관련된 정보를 더 포함하는 비트스트림을 생성하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따른 영상 복호화 장치는,

프로세서; 및 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되, 상기 프로세서는 상기 적어도 하나의 인스트럭션에 기초하여, 영상 내 로우-퀄리티 부호화 모드가 적용된 타겟 영역에 의해 참조되는 참조 영역을 결정하고, 상기 결정된 참조 영역으로부터 소정 종류의 정보를 추출하고, 상기 추출된 소정 종류의 정보에 기초하여 상기 타겟 영역의 픽셀 값들을 변경할 수 있다.

본 개시의 일 실시예에 따른 영상 부호화 장치는,

프로세서; 및 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되, 상기 프로세서는 상기 적어도 하나의 인스트럭션에 기초하여, 제 1 영상 내 로우-퀄리티 부호화 모드가 적용될 타겟 영역이 참조하는 참조 영역을 결정하고, 상기 타겟 영역을 로우-퀄리티로 부호화하고, 상기 타겟 영역에 대한 부호화 결과 생성된 정보 및 상기 참조 영역을 나타내는 정보를 포함하는 비트스트림을 생성할 수 있다.

본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.

본 명세서에서, '영상(image)' 또는 '픽처'는 비디오의 정지영상이거나 동영상, 즉 비디오 그 자체를 나타낼 수 있다.

또한, 본 명세서에서, '로우-퀄리티 부호화 모드'란, 부호화 측에서는 로우-퀄리티로 부호화되고, 복호화 측에서는 복원된 후 적어도 하나의 참조 영역을 참조하여 텍스처 변경이 이루어지는 영역에 적용된 부호화 방법을 의미할 수 있다.

이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.

도 1은 텍스처 영역(11)을 포함하는 영상(10)을 도시하는 도면이다.

일반적으로 영상(10)은 공간적으로 픽셀 값의 변화량이 불규칙한 텍스처 영역(11)을 포함할 수 있다. 본 명세서에서, 텍스처 영역(11)은 픽셀들의 픽셀 값의 변화량이 크고, 무작위적이며 일반적인 부호화 방법에 따라 영상(10)을 부호화하는 경우 많은 수의 비트를 발생시키는 영역을 의미할 수 있다.

도 1에 도시된 바와 같이, 어떤 영상(10)은 수풀이 우거진 영역(11)을 포함할 수 있는데, 이러한 영역(11)을 종래의 코덱, 예를 들어, H.264 AVC 및 HEVC로 부호화하는 경우, 많은 비트가 이용될 수밖에 없다.

H.264 AVC 및 HEVC 등의 코덱은 시간적 중복성 및 공간적 중복성을 제거하는 방식으로 비트레이트를 감소시키지만, 텍스처 영역(11)의 비트레이트를 감소시키는 데에는 한계가 존재하므로, 텍스처 영역(11)을 효과적으로 부호화 및 복호화하기 위한 방안이 요구된다 할 것이다.

도 2를 참조하여, 일 실시예에 따른 부호화 및 복호화 과정을 개략적으로 설명하면, 부호화 측에서 영상에 포함된 타겟 영역과 참조 영역이 부호화되고, 그 결과 부호화 데이터를 포함하는 비트스트림이 생성된다. 타겟 영역은 로우-퀄리티(low-quality)로 부호화될 수 있다. 영상 내 타겟 영역과 참조 영역 이외의 영역들이 일반-퀄리티로 부호화된다고 하였을 때, 로우-퀄리티로 부호화된다는 것은 일반-퀄리티에 비해 낮은 퀄리티로 부호화된다는 것을 의미할 수 있으며, 반대로 하이-퀄리티로 부호화된다는 것은 일반-퀄리티에 비해 높은 퀄리티로 부호화된다는 것을 의미할 수 있다. 구현예에 따라서, 참조 영역은 일반-퀄리티 또는 하이-퀄리티로 부호화될 수 있다.

복호화 측은 비트스트림을 수신하고, 이에 기초하여 타겟 영역과 참조 영역을 복원한다. 타겟 영역은 로우-퀄리티로 부호화되었으므로, 복원 타겟 영역의 화질은 원본 영상 내 타겟 영역의 화질에 비해 열악하다. 복원 참조 영역으로부터 소정 정보가 추출되고, 추출된 정보에 따라 복원 타겟 영역이 변경된다. 예를 들어, 소정 정보가 소정의 텍스처 피처를 포함하는 경우, 복원 타겟 영역의 텍스처 피처가 복원 참조 영역에서 추출된 텍스처 피처와 동일 또는 유사해지도록 복원 타겟 영역의 픽셀 값들이 변경될 수 있다. 픽셀 값들의 변경 결과 원본 영상의 타겟 영역과 거의 유사한 최종 타겟 영역이 생성될 수 있다. 상기 소정 정보는 이미지 영역으로부터 획득 가능한 다양한 종류의 정보를 포함할 수 있다.

일 실시예에 따르면, 일반-퀄리티로 부호화하는 경우 많은 비트를 야기하는 타겟 영역을 로우-퀄리티로 부호화함으로써 비트 수를 감소시킬 수 있는 동시에 참조 영역으로부터 추출되는 소정 정보를 기반으로 복원된 타겟 영역을 원본 영상에 가깝게 변경시키므로 최종 복원된 영상의 화질이 우수해질 수 있는 것이다.

이하에서는, 도 3 이하를 참조하여 일 실시예에 따른 영상 복호화 및 영상 부호화에 대해 상세히 설명한다.

도 3은 일 실시예에 따른 영상의 복호화 방법을 설명하기 위한 순서도이며, 도 3에 도시된 각 단계는 도 7과 관련하여 후술하는 영상 복호화 장치(700)에 의해 수행될 수 있다.

S310 단계에서, 영상 복호화 장치(700)는 영상 내 로우-퀄리티 부호화 모드가 적용된 현재 영역에 의해 참조되는 참조 영역을 결정한다.

여기서, 현재 영역이란 현재 복호화의 대상이 되는 영상 내 일정 영역을 의미한다. HEVC 등의 코덱에서와 같이, 영상 복호화 장치(700)는 영상을 최대 부호화 단위, 부호화 단위, 예측 단위, 변환 단위 등의 블록 단위로 분할할 수 있는데, 현재 영역은 적어도 하나의 최대 부호화 단위, 적어도 하나의 부호화 단위, 적어도 하나의 예측 단위 또는 적어도 하나의 변환 단위에 대응할 수 있다.

전술한 바와 같이, 영상 내 타겟 영역은 부호화 장치 측에서 로우-퀄리티로 부호화되므로, 영상 복호화 장치(700)는 현재 복호화 대상인 현재 영역이 로우-퀄리티 부호화 모드가 적용된 타겟 영역에 해당하는지를 판단할 수 있다.

영상 복호화 장치(700)는 비트스트림으로부터 영상 내 타겟 영역의 위치, 타겟 영역의 크기, 참조 영역의 위치, 참조 영역의 크기 및 각 타겟 영역이 참조하는 참조 영역 중 적어도 하나에 대한 정보를 추출하여, 영상 내에 위치하는 타겟 영역과 참조 영역, 그리고 각 타겟 영역이 참조하는 참조 영역을 결정할 수 있다.

또한, 영상 복호화 장치(700)는 영상이 블록들로 분할되는 경우, 각 블록이 타겟 영역에 해당하는지, 참조 영역에 해당하는지 또는 그 이외의 영역에 해당하는지를 비트스트림으로부터 획득한 정보에 기초하여 각 블록별로 결정할 수도 있다. 예를 들어, 영상 내 제 1 블록 및 제 2 블록이 위치하는 경우, 영상 복호화 장치(700)는 비트스트림으로부터 제 1 블록에 대한 정보를 획득하여 제 1 블록이 참조 영역에 해당하는 것으로 결정할 수 있고, 제 2 블록에 대한 정보를 획득하여 제 2 블록이 타겟 영역이며, 제 1 블록을 참조하는 것으로 결정할 수 있다.

도 4를 참조하여 설명하면, 영상 복호화 장치(700)는 영상(400) 내에서 참조 영역(411)의 위치 및 크기와, 타겟 영역(413)의 위치 및 크기를 특정할 수 있다. 참조 영역(411)과 타겟 영역(413)은 텍스처 영역(410)에 포함될 수 있다.

일 실시예에서, 현재 영역에 대해 로우-퀄리티 부호화 모드가 적용되지 않은 경우, 영상 복호화 장치(700)는 현재 영역을 일반적인 방법으로 복원할 수 있다. 예를 들어, 영상 복호화 장치(700)는 현재 영역의 부호화 모드를 확인하여 현재 영역을 인트라 모드, 인터 모드, 머지 모드 및 스킵 모드 중 적어도 하나에 따라 복원할 수 있다.

다시 도 3을 참조하면, S320 단계에서, 현재 영역이 타겟 영역에 해당하고, 영상 내에서 현재 영역이 참조하는 참조 영역이 식별되면, 영상 복호화 장치(700)는 현재 영역에 의해 참조되는 참조 영역으로부터 소정 종류의 참조 텍스처 피처(reference texture feature)를 추출한다.

상기 참조 텍스처 피처는 참조 영역으로부터 추출 가능한 텍스처 피처들 중 타겟 영역의 텍스처 피처의 변경의 기준이 되는 적어도 하나의 텍스처 피처를 의미할 수 있다.

참조 영역으로부터 추출 가능한 텍스처 피처는, 예를 들어, 영상의 인텐시티(intensity)의 통계 값(예를 들어, mean, variance, 3th order moment, 4th order moment, statistics from histogram, 각 픽셀 페어들 사이의 관계를 나타내는 second order statistics, higher order statistics, gray level co-occurrence matrix 등), 컬러 분포, 그래디언트(gradient) 히스토그램, 그래디언트 통계, 주파수 영역의 변환 계수, 분포 파라미터(parameters for distributions)(예를 들어, type of distributions 등) 및 신경망(neural network) 모델에 기초하여 추출되는 텍스처 피처 등을 포함할 수 있으나, 이에 한정되는 것은 아니고 참조 영역으로부터 추출 가능한 다양한 종류의 정보를 포함할 수 있다. 여기서, 신경망(neural network) 모델에 기초하여 추출되는 텍스처 피처는 도 6을 참조하여 후술한다.

영상 복호화 장치(700)는 참조 영역으로부터 미리 결정된 소정 종류의 참조 텍스처 피처를 추출할 수도 있고, 또는, 비트스트림으로부터 추출하여야 할 참조 텍스처 피처의 종류를 확인하고, 확인된 종류의 참조 텍스처 피처를 참조 영역으로부터 추출할 수도 있다.

S330 단계에서, 영상 복호화 장치(700)는 현재 영역에서 추출되는 상기 소정 종류의 타겟 텍스처 피처(target texture feature)가 참조 텍스처 피처와 동일 또는 유사해지도록 현재 영역의 픽셀 값들을 변경한다.

일 실시예에서, 영상 복호화 장치(700)는 현재 영역 내에서 픽셀 값들을 어떠한 단위를 기준으로 변경해야 할 지의 정보, 예를 들어, 현재 영역 내 픽셀 값들을 부호화 단위, 예측 단위 및 변환 단위 중 어느 단위를 기준으로 변경해야 하는지의 정보를 비트스트림으로부터 획득하고, 확인된 기준 단위 별로 현재 영역 내 픽셀 값들을 변경할 수 있다.

참조 텍스처 피처의 종류가 신경망 모델에서 추출되는 텍스처 피처라면, 영상 복호화 장치(700)는 신경망 모델에서 추출되는 현재 영역의 텍스처 피처가 참조 텍스처 피처와 동일 또는 유사해지도록 현재 영역의 픽셀 값들을 변경할 수 있다.

영상 복호화 장치(700)는 현재 영역과 참조 영역을 머신 러닝 모델에 적용하여 타겟 텍스처 피처가 참조 텍스처 피처와 동일 또는 유사해지도록 현재 영역의 픽셀 값들을 변경할 수 있다. 상기 머신 러닝 모델은 예를 들어, CNN(convolution neural network)를 포함할 수 있다. CNN에 두 이미지를 적용하여 어느 하나의 이미지의 텍스처 피처를 중심으로 다른 하나의 이미지의 텍스처 피처를 변경하는 것은 'Texture synthesis Using Convolutional Neural Networks, NIPS 2015' 에 의해 참조될 수 있으며, 해당 참조 논문은 본 명세서에 포함된다.

일 실시예에서, 영상 복호화 장치(700)는 현재 영역의 픽셀 값들을 변경하기 전에, 비트스트림으로부터 획득된 정보(예를 들어, 현재 영역의 잔차와 관련된 정보 등)에 기초하여 현재 영역을 복원하고, 복원된 현재 영역의 픽셀 값들을 변경할 수 있다. 앞서 설명한 바와 같이, 부호화 측에서 현재 영역은 로우-퀄리티로 부호화될 수 있으므로, 영상 복호화 장치(700)에 의해 복원된 현재 영역은 원본 영상 내 현재 영역에 비해 저화질일 수 있다.

일 실시예에서, 타겟 영역 이외의 영역들은 원 영상에서 부호화될 수 있고, 타겟 영역은 로우-퀄리티의 영상에서 부호화될 수도 있다. 영상 복호화 장치(700)는 원 영상 내 참조 영역에 대한 부호화 결과 생성된 정보를 비트스트림으로부터 획득하여 참조 영역을 복원하고, 로우-퀄리티의 영상 내 타겟 영역에 대한 부호화 결과 생성된 정보를 비트스트림으로부터 획득하여 현재 영역을 복원할 수도 있다. 복원된 현재 영역에 대해 이하의 후처리가 더 적용될 수 있다.

영상 복호화 장치(700)는 현재 영역을 복원하는데 있어, 현재 영역에 적용된 부호화 모드를 비트스트림으로부터 확인하고, 확인된 부호화 모드에 따라 현재 영역을 복원할 수 있다. 여기서, 부호화 모드는 예를 들어, 인터 모드(inter mode), 인트라 모드(intra mode), 머지 모드(merge mode) 및 스킵 모드(skip mode) 중 적어도 하나를 포함할 수 있다. 인터 모드, 인트라 모드, 머지 모드 및 스킵 모드는 HEVC 등의 코덱에서 이용되고 있는 부호화/복호화 툴(tool)인 바, 본 명세서에서 상세한 설명은 생략한다.

도 5는 복원된 참조 영역(511)과 복원된 타겟 영역(513)을 포함하는 영상(500)을 도시하는 도면으로서, 도 5의 복원된 타겟 영역(513)은 로우 퀄리티로 부호화된 후 복원된 것이므로, 참조 영역(511)과 비교하여 그 화질이 열악하다는 것을 확인할 수 있다.

일 실시예에서, 영상 복호화 장치(700)는 현재 영역의 픽셀 값들을 변경하기 전에 복원된 현재 영역을 후처리할 수도 있다. 예를 들어, 영상 복호화 장치(700)는 복원된 현재 영역을 업 샘플링 및 하이패스 필터링 중 적어도 하나에 따라 후처리할 수 있다. 업 샘플링이란, 복원된 현재 영역의 픽셀의 개수를 증가시키는 처리를 의미할 수 있으며, 하이패스 필터링이란, 복원된 현재 영역의 고주파 특성을 향상시키는 처리를 의미할 수 있다.

부호화측에서 현재 영역을 부호화하기 전에 현재 영역에 대해 다운 샘플링 및 로우패스 필터링 중 적어도 하나의 전처리를 하거나, 로우-퀄리티 영상에 포함된 현재 영역을 부호화한 경우, 영상 복호화 장치(700)는 복원된 현재 영역을 후처리할 수 있다. 이 경우, 영상 복호화 장치(700)는 현재 영역에 대해 적용된 처리 방법에 대한 정보를 비트스트림으로부터 획득할 수 있다.

예를 들어, 현재 영역에 대해 다운 샘플링이 적용된 것으로 확인된 경우, 영상 복호화 장치(700)는 비트스트림으로부터 획득된, 원래의 현재 영역의 크기 정보에 따라, 복원 현재 영상(여기서, 복원 현재 영상은 다운 샘플링된 크기를 갖는다)을 업 샘플링할 수 있다. 일 실시예에서, 비트스트림은 영상 중 다운 샘플링된 현재 영역의 위치 정보를 더 포함할 수 있다. 현재 영역이 다운 샘플링되었다는 것은 원래 크기보다 축소되었다는 것을 의미하므로, 영상 부호화 장치(900)는 축소된 크기를 갖는 현재 영역이 영상 중 어디에 위치하는지의 정보를 비트스트림에 포함시킬 수 있다. 영상 복호화 장치(700)는 다운 샘플링된 현재 영역의 위치 정보를 참조하여 영상 중 다운 샘플링된 현재 영역의 부호화 데이터를 획득하고, 획득한 부호화 데이터에 기초하여 현재 영역을 복원하고, 업 샘플링할 수 있다.

또한, 예를 들어, 현재 영역에 대해 로우패스 필터링이 적용된 것으로 확인된 경우, 영상 복호화 장치(700)는 비트스트림으로부터 현재 영역에 대해 로우패스 필터링이 적용된 것을 확인하고, 복원된 현재 영상을 하이패스 필터링할 수 있다.

일 실시예에서, 복원 현재 영역의 후처리를 위해 하이패스 필터링과 업 샘플링이 모두 적용될 수도 있다.

일 실시예에서, 현재 영역이 로우-퀄리티 영상으로부터 부호화되었고, 원 영상에 다운 샘플링 및 로우패스 필터링 중 적어도 하나가 적용되어 로우-퀄리티 영상이 획득된 것이라면, 영상 복호화 장치(700)는 복원된 현재 영역에 대해 업 샘플링 및 하이패스 필터링 중 적어도 하나를 적용할 수도 있다.

또한, 일 실시예에서, 후술하는 바와 같이 로우-퀄리티 부호화는 타겟 영역의 부호화를 생략하는 것도 포함할 수 있는데, 이 경우 영상 복호화 장치(700)는 비트스트림으로부터 현재 영역의 부호화된 데이터를 획득할 수 없으므로 현재 영역의 복원 프로세스를 생략하고, 현재 영역의 텍스처 피처를 변경할 수도 있다. 다시 말하면, 영상 복호화 장치(700)는 현재 영역의 부호화가 생략된 경우, 현재 영역에 대해 인터 모드, 인트라 모드, 머지 모드 및 스킵 모드 등에 따른 복원 프로세스를 생략하고, 기 설정된 픽셀 값들을 현재 영역의 픽셀들에 할당한 후, 현재 영역과 참조 영역을 머신 러닝 모델에 적용하여, 현재 영역 내 픽셀의 픽셀 값들을 변경할 수 있는 것이다.

또한, 일 실시예에서, 영상 복호화 장치(700)는 참조 영역이 하이-퀄리티로 부호화되었다는 것을 확인한 경우, 비트스트림으로부터 획득된 참조 영역에 대한 정보(예를 들어, 참조 영역에 대한 부호화 결과 생성된 데이터 및 참조 영역의 하이-퀄리티 부호화 방법에 대한 정보)에 기초하여 참조 영역을 하이-퀄리티로 복원할 수도 있다. 하이-퀄리티 부호화/복호화로서, 낮은 값의 양자화 파라미터의 적용을 예로 들 수 있는데, 이에 대해서는 후술한다. 한편, 상기 참조 영역의 부호화 및 복호화는 타겟 영역의 부호화 및 복호화보다 먼저 이루어질 수 있다.

일 실시예에서, 어느 하나의 타겟 영역에 의해 참조되는 참조 영역의 개수가 복수 개일 수도 있다. 이 경우, 영상 복호화 장치(700)는 현재 영역(즉, 타겟 영역)이 참조하는 복수의 참조 영역 각각에서 추출되어야 하는 참조 텍스처 피처의 종류를 비트스트림에 기초하여 확인할 수 있다. 그리고, 영상 복호화 장치(700)는 복수의 참조 영역 각각에서 상기 확인된 종류의 참조 텍스처 피처들을 추출할 수 있다. 영상 복호화 장치(700)는 현재 영역의 타겟 텍스처 피처들 각각이 상기 추출된 참조 텍스처 피처들 각각과 동일 또는 유사해지도록 현재 영역의 픽셀 값들을 변경할 수 있다. 예를 들어 설명하면, 타겟 영역에 의해 참조되는 참조 영역이 제 1 참조 영역과 제 2 참조 영역을 포함하고, 제 1 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류가 A 텍스처 피처이고, 제 2 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류가 B 텍스처 피처인 경우를 가정한다. 이 경우, 영상 복호화 장치(700)는 타겟 영역의 A 텍스처 피처가 제 1 참조 영역에서 추출된 A 텍스처 피처와 동일 또는 유사해지도록, 그리고, 타겟 영역의 B 텍스처 피처가 제 2 참조 영역에서 추출된 B 텍스처 피처와 동일 또는 유사해지도록 타겟 영역의 픽셀 값들을 변경할 수 있다.

또한, 일 실시예에서, 하나의 참조 영역이 복수의 타겟 영역 각각에 의해 참조될 수도 있으며, 이 경우, 각 타겟 영역을 위해 하나의 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류는 각 타겟 영역별로 개별적으로 결정될 수 있다. 예를 들어, 제 1 타겟 영역을 위해 특정 참조 영역에서 A 텍스처 피처가 추출되고, 제 2 타겟 영역을 위해 동일한 참조 영역에서 B 텍스처 피처가 추출될 수 있는 것이다. 영상 복호화 장치(700)는 제 1 타겟 영역의 A 텍스처 피처가 참조 영역의 A 텍스처 피처와 동일 또는 유사해지도록 제 1 타겟 영역의 픽셀 값들을 변경하고, 제 2 타겟 영역의 B 텍스처 피처가 동일한 참조 영역의 B 텍스처 피처와 동일 또는 유사해지도록 제 2 타겟 영역의 픽셀 값들을 변경할 수 있다.

도 6에 도시된 머신 러닝 모델은 'Texture synthesis Using Convolutional Neural Networks, NIPS 2015'에서 논의되는 것으로서, 텍스터 피처의 추출을 위한 제 1 CNN(610) 및 타겟 영역(670)의 텍스처 피처 변경을 위한 제 2 CNN(630)을 포함할 수 있다. 제 1 CNN(610)은 각 레이어의 필터 리스판스(filter response)의 상관 관계(correlation)에 해당하는 그램 매트릭스(GRAM matrix)를 텍스처 피처로 추출할 수 있다. 제 1 CNN(610)은 VGG (Visual Geometry Group) 네트워크 모델에 해당할 수도 있다. 제 1 CNN(610)에는 참조 영역(650)이 입력되어 참조 영역(650)의 텍스처 피처가 추출되고, 제 2 CNN(630)에는 타겟 영역(670)과 참조 영역(650)이 입력되어 타겟 영역(670)의 텍스처 피처가 참조 영역(650)의 텍스처 피처와 동일 또는 유사해지도록 타겟 영역(670)의 픽셀 값들이 변경된다. 구체적으로, 제 2 CNN(630)은 타겟 영역(670)의 텍스처 피처와 참조 영역(650)의 텍스처 피처의 디스턴스(distance)가 최소화되도록 학습될 수 있으며, 이에 따라 타겟 영역(670)과 참조 영역(650)이 입력되면, 타겟 영역(670)의 텍스처 피처를 변경할 수 있다.

도 7은 일 실시예에 따른 영상 복호화 장치(700)의 구성을 도시하는 블록도이다.

도 7을 참조하면, 영상 복호화 장치(700)는 획득부(710) 및 복호화부(730)를 포함할 수 있다. 획득부(710) 및 복호화부(730)는 프로세서로 구현될 수 있으며, 프로세서는 메모리(미도시)에 저장된 적어도 하나의 인스트럭션에 따라 동작할 수 있다.

또한, 영상 복호화 장치(700)는, 획득부(710) 및 복호화부(730)의 입출력 데이터가 저장되는 하나 이상의 데이터 저장부(미도시)를 포함할 수 있다. 영상 복호화 장치(700)는, 데이터 저장부(미도시)의 데이터 입출력을 제어하는 메모리 제어부(미도시)를 포함할 수도 있다.

영상 복호화 장치(700)는, 영상 복호화를 통해 영상을 복원하기 위해, 내부에 탑재된 비디오 디코딩 프로세서 또는 외부 비디오 디코딩 프로세서를 통해 예측을 포함한 영상 복호화 동작을 수행할 수 있다.

획득부(710)는 비트스트림을 수신한다. 수신된 비트스트림은 영상 내 타겟 영역 정보 (예를 들어, 타겟 영역의 위치 정보, 타겟 영역의 크기 정보), 참조 영역 정보 (예를 들어, 참조 영역의 위치 정보, 참조 영역의 크기 정보), 각 타겟 영역이 참조하는 참조 영역 정보, 각 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류 정보, 각 타겟 영역의 로우-퀄리티 부호화 방법에 대한 정보 및 각 참조 영역의 하이-퀄리티 부호화 방법에 대한 정보 중 적어도 하나를 포함할 수 있다.

복호화부(730)는 비트스트림에 포함된 정보에 기초하여 영상을 복호화한다. 복호화부(730)는 영상 중 타겟 영역을 제외한 영역에 대해서는 일반 복호화 방법, 예를 들어, 인트라 모드, 인터 모드, 스킵 모드 및 머지 모드 중 적어도 하나로 복원할 수 있다.

복호화부(730)는 타겟 영역에 대해서는 로우-퀄리티 복호화 모드로 복호화할 수 있다. 구체적으로, 복호화부(730)는 영상 내 타겟 영역에 의해 참조되는 참조 영역을 결정하고, 참조 영역으로부터 소정 종류의 참조 텍스처 피처를 추출한다.

복호화부(730)는 비트스트림에 포함된 정보에 기초하여 인트라 모드, 인터 모드, 머지 모드 및 스킵 모드 중 적어도 하나에 따라 타겟 영역을 복원한 후, 복원된 타겟 영역의 소정 종류의 타겟 텍스처 피처가 참조 텍스처 피처와 동일 또는 유사해지도록 복원된 타겟 영역의 픽셀 값들을 변경할 수 있다.

일 실시예에서, 복호화부(730)는 복원된 타겟 영역을 후처리할 수 있다. 여기서, 후처리는 하이패스 필터링 및 업 샘플링 중 적어도 하나에 따른 타겟 영역의 처리를 의미할 수 있다.

일 실시예에서, 영상 부호화 장치(900)에 의해 타겟 영역의 부호화가 생략된 경우, 영상 복호화 장치(700)는 인트라 모드, 인터 모드, 머지 모드 및 스킵 모드 중 적어도 하나에 따른 복원 프로세스를 생략하고, 타겟 영역의 타겟 텍스처 피처가 참조 텍스처 피처와 동일 또는 유사해지도록 타겟 영역의 픽셀 값들을 변경할 수 있다.

일 실시예에서, 복호화부(730)는 타겟 영역의 픽셀 값들을 변경시키기 위해 타겟 영역과 참조 영역을 머신 러닝 모델에 입력할 수 있다. 여기서, 머신 러닝 모델은 CNN을 포함할 수 있으나 이에 한정되는 것은 아니다.

복호화부(730)는 타겟 영역에 의해 참조되는 참조 영역의 개수가 복수인 경우, 복수의 참조 영역들 각각에서 추출될 참조 텍스처 피처의 종류들을 식별하고, 복수의 참조 영역들 각각으로부터 상기 식별된 종류들의 참조 텍스처 피처들을 추출할 수 있다. 그리고, 복호화부(730)는 상기 식별된 참조 텍스처 피처의 종류들에 대응하는 타겟 영역의 타겟 텍스처 피처들이 상기 추출된 참조 텍스처 피처들 각각과 동일 또는 유사해지도록 타겟 영역의 픽셀 값들을 변경할 수도 있다.

도 8은 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도로서, 도 8에 도시된 각 단계는 도 9와 관련하여 설명할 영상 부호화 장치(900)에 의해 수행될 수 있다.

S810 단계에서, 영상 부호화 장치(900)는 로우-퀄리티 부호화 모드가 적용될 타겟 영역에 해당하는 현재 영역에 의해 참조되는 참조 영역을 결정한다.

여기서, 현재 영역이란 영상 중 현재 부호화 대상인 영역을 나타낸다. 영상 부호화 장치(900)는 영상을 최대 부호화 단위, 부호화 단위, 예측 단위, 변환 단위 등의 블록 단위로 분할할 수 있는데, 현재 영역은 적어도 하나의 최대 부호화 단위, 적어도 하나의 부호화 단위, 적어도 하나의 예측 단위 또는 적어도 하나의 변환 단위에 대응할 수 있다.

일 실시예에서, 영상 부호화 장치(900)는 부호화 대상인 영상 내에서 텍스처 영역을 결정하고, 텍스처 영역 내에서 적어도 하나의 참조 영역과 적어도 하나의 타겟 영역을 결정할 수 있다. 영상 부호화 장치(900)는 영상의 특징, 예를 들어, 영상 내 픽셀 값, 인텐시티 분산, 에지 방향, 에지 분포 등을 고려하여 영상 내에서 텍스처 영역을 결정할 수 있다. 상기 텍스처 영역은 유사한 특성을 갖는, 즉, 유사한 텍스처 피처를 갖는 영역을 의미할 수 있다.

영상 부호화 장치(900)는 영상 내에서 텍스처 영역이 결정되면, 결정된 텍스처 영역 내에서 적어도 하나의 참조 영역과 적어도 하나의 타겟 영역을 결정한다. 영상 부호화 장치(900)는 미리 결정된 기준에 따라 텍스처 영역 내에서 참조 영역과 타겟 영역을 결정할 수 있는데, 예를 들어, 텍스처 영역 중 최상단의 가장 좌측에 위치한 일정 크기의 영역을 참조 영역으로 결정하고, 그 이외의 영역을 타겟 영역으로 결정할 수 있다. 또한, 일 예에서, 영상 부호화 장치(900)는 영상 내 텍스처 영역의 피처(feature)를 고려하여 텍스처 영역을 복수의 영역으로 분할하고, 분할된 복수의 영역들 중에서 적어도 하나의 참조 영역과 적어도 하나의 타겟 영역을 선택할 수도 있다.

텍스처 영역 내에서 참조 영역과 타겟 영역이 결정되면, 영상 부호화 장치(900)는 각 타겟 영역별로 각 타겟 영역이 참조할 참조 영역과 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류를 결정할 수 있다. 영상 부호화 장치(900)는 참조 영역에서 추출 가능한 복수의 텍스처 피처 중 적어도 하나의 텍스처 피처를 타겟 영역을 위한 참조 텍스처 피처로 결정할 수 있다.

일 실시예에서, 텍스처 영역 내에서 하나의 참조 영역이 결정되면, 해당 텍스처 영역 내 타겟 영역은 자동적으로 상기 결정된 하나의 참조 영역을 참조하는 것으로 결정될 수 있다.

또한, 일 실시예에서, 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류를 미리 결정되어 있을 수도 있다.

S820 단계에서, 영상 부호화 장치(900)는 타겟 영역에 해당하는 현재 영역을 로우-퀄리티로 부호화할 수 있다.

영상 부호화 장치(900)는 여러 로우-퀄리티 부호화 방법 중 어느 하나의 방법으로 현재 영역을 부호화할 수 있는데, 이용 가능한 로우-퀄리티 부호화 방법은 다음과 같다.

일 예로서, 영상 부호화 장치(900)는 영상 내 현재 영역을 전처리한 후, 전처리된 현재 영역을 인터 모드, 인트라 모드, 머지 모드 및 스킵 모드 중 적어도 하나에 따라 부호화할 수 있다. 상기 전처리는 예를 들어, 현재 영역의 다운 샘플링, 로우패스 필터링 및 픽셀 값 필터링 중 적어도 하나에 기반한 처리를 포함할 수 있다.

다운 샘플링이란 원래의 현재 영역 내 포함된 픽셀들의 개수를 감소시키는 처리를 의미할 수 있고, 로우패스 필터링이란, 현재 영역에 포함된 고주파 특성을 감소시키는 처리를 의미할 수 있다. 또한, 픽셀 값 필터링이란, 현재 영역의 픽셀 값들 중 미리 결정된 값을 갖는 픽셀 이외의 픽셀들을 부호화 대상에서 제외시키거나, 해당 픽셀들을 디폴트 값, 예를 들어, 0으로 설정하는 처리를 의미할 수 있다. 예를 들어, 픽셀 값들 중 소정 픽셀 값을 갖는 픽셀들만을 대상으로 하여 부호화할 수도 있다. 전처리된 현재 영역을 소정 부호화 모드에 따라 부호화하는 경우, 전처리되지 않은 현재 영역을 부호화하는 것과 비교하여 비트 수가 감소될 수 있다.

영상 부호화 장치(900)가 현재 영역을 다운 샘플링한 뒤, 다운 샘플링된 현재 영역을 부호화한 경우, 영상 부호화 장치(900)는 다운 샘플링된 현재 영역의 부호화 데이터가 영상 중 어느 곳에 위치하는지의 정보 및 다운 샘플링되기 전의 현재 영역의 크기 정보를 비트스트림에 포함시킬 수 있다. 또한, 영상 부호화 장치(900)가 현재 영역을 로우패스 필터링한 뒤, 로우패스 필터링된 현재 영역을 부호화한 경우, 현재 영역이 로우패스 필터링되었다는 정보를 비트스트림에 포함시킬 수 있다

다른 예로서, 영상 부호화 장치(900)는 인터 모드, 인트라 모드 및 머지 모드 중 적어도 하나에 기반한 예측 및 주파수 변환을 현재 영역에 적용한 후, 적용 결과 생성되는 잔차 데이터를 소정 값의 양자화 파라미터로 양자화할 수도 있다. 상기 소정 값의 양자화 파라미터는, 영상 내 참조 영역과 타겟 영역 이외의 영역에 대해 적용되는 양자화 파라미터 값보다 큰 값을 가질 수 있다. 큰 양자화 파라미터로 잔차 데이터를 양자화함으로써, 비트스트림에 포함되는 비트 수가 감소될 수 있다.

또 다른 예로서, 영상 부호화 장치(900)는 부호화 대상이 되는 원 영상에 대해 다운 샘플링 및 로우패스 필터링 중 적어도 하나를 적용하여 로우-퀄리티 영상을 획득하고, 원 영상 내 타겟 영역에 대응하는 영역을 로우-퀄리티 영상 내에서 결정할 수 있다. 그리고, 영상 부호화 장치(900)는 로우-퀄리티 영상 내에서 결정된 영역을 부호화할 수 있다. 즉, 영상 부호화 장치(900)는 타겟 영역 이외의 영역들은 원 영상에 기초하여 부호화하고, 타겟 영역에 해당하는 영역은 로우-퀄리티 영상에 기초하여 부호화할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 영상 부호화 장치(900)는 원 영상(1210)을 다운 샘플링하여 로우-퀄리티 영상(1220)을 생성하고, 타겟 영역(1221)에 해당하는 부분은 로우-퀄리티 영상(1220)에 기초하여 부호화하고, 타겟 영역(1221) 이외의 영역(1211)에 해당하는 부분은 원 영상(1210)에 기초하여 부호화할 수 있다.

또 다른 예로서, 영상 부호화 장치(900)는 현재 영역에 대해 인터 모드, 인트라 모드, 머지 모드 및 스킵 모드에 따른 부호화를 생략하고, 현재 영역의 부호화가 생략되었다는 정보만을 비트스트림에 포함시킬 수도 있다.

S830 단계에서, 영상 부호화 장치(900)는 현재 영역에 대한 부호화 결과 생성된 정보, 현재 영역에 의해 참조되는 참조 영역을 나타내는 정보 및 현재 영역에 대해 전처리가 적용되었는지를 나타내는 정보, 현재 영역이 로우-퀄리티 영상에 기초하여 부호화되었는지 여부를 나타내는 정보, 로우-퀄리티 영상의 생성 방법을 나타내는 정보 중 적어도 하나를 포함하는 비트스트림을 생성할 수 있다. 텍스처 영역 내에서 하나의 참조 영역만이 결정된 경우, 각 타겟 영역이 참조하여야 하는 참조 영역의 정보를 비트스트림에 포함시키지 않을 수 있으나, 텍스처 영역 내에서 복수의 참조 영역이 결정된 경우에는, 영상 부호화 장치(900)는 각 타겟 영역에 의해 참조되는 참조 영역의 정보를 비트스트림에 더 포함시킬 수 있다.

추가로, 영상 부호화 장치(900)는 각 타겟 영역에 대한 로우-퀄리티 부호화 방법에 대한 정보, 참조 영역에서 추출되어야 하는 참조 텍스처 피처의 종류 정보를 비트스트림에 더 포함시킬 수도 있다.

한편, 영상 부호화 장치(900)는 참조 영역을 부호화하는데 있어 다른 일반 영역들과 마찬가지로 일반적인 부호화 모드로 부호화할 수도 있으나, 구현예에 따라 영상 부호화 장치(900)는 참조 영역을 하이-퀄리티 부호화할 수도 있다. 참조 영역은 타겟 영역에 의해 참조되는 영역이므로, 다른 일반 영역보다 높은 화질로 복호화될 수 있게 하는 것이다.

일 예로서, 영상 부호화 장치(900)는 영상 내 참조 영역과 타겟 영역 이외의 영역들에 대해 적용되는 양자화 파라미터보다 작은 값의 양자화 파라미터로 참조 영역을 부호화할 수 있다. 구체적으로, 영상 부호화 장치(900)는 인터 모드, 인트라 모드 및 머지 모드 중 적어도 하나에 기반한 예측 및 주파수 변환을 참조 영역에 적용한 후, 적용 결과 생성되는 잔차 데이터를 다른 영역에서 이용되는 양자화 파라미터보다 작은, 소정 값의 양자화 파라미터로 양자화할 수 있다. 이 경우, 영상 부호화 장치(900)는 참조 영역이 하이-퀄리티로 부호화되었다는 정보, 참조 영역에 대해 적용된 양자화 파라미터 값에 대한 정보를 더 포함하는 비트스트림을 생성할 수 있다.

한편, 일반적인 부호화 장치는 복호화 장치의 기능을 포함하므로, 일 실시예에 따른 영상 부호화 장치(900) 역시 영상 복호화 장치(700)의 일부 기능을 포함할 수 있다. 구체적으로, 영상 부호화 장치(900)는 로우-퀄리티 부호화 모드에 따라 부호화된 타겟 영역의 부호화 데이터, 예를 들어, 로우-퀄리티로 부호화되어 생성된 양자화된 주파수 계수를 역양자화 및 역변환을 하고, 예측 복원하여 로우-퀄리티로 부호화된 타겟 영역을 복원할 수 있다. 그리고, 영상 부호화 장치(900)는 복원된 타겟 영역의 타겟 텍스처 피처가 미리 복원된 참조 영역의 참조 텍스처 피처와 동일 또는 유사해지도록, 복원된 타겟 영역의 픽셀 값들을 변경할 수 있다. 그 결과 생성된 최종 타겟 영역은 구현예에 따라 디블로킹 필터링, SAO 필터링 등을 거칠 수 있다.

도 9는 일 실시예에 따른 영상 부호화 장치(900)의 구성을 도시하는 블록도이다.

도 9를 참조하면, 영상 부호화 장치(900)는 부호화부(910) 및 생성부(930)를 포함할 수 있다. 부호화부(910) 및 생성부(930)는 프로세서로 구현될 수 있으며, 프로세서는 메모리(미도시)에 저장된 적어도 하나의 인스트럭션에 기초하여 부호화 동작을 수행할 수 있다.

일 실시예에서, 영상 부호화 장치(900)는, 부호화부(910) 및 생성부(930)의 입출력 데이터가 저장되는 하나 이상의 데이터 저장부(미도시)를 포함할 수 있다. 영상 부호화 장치(900)는, 데이터 저장부(미도시)의 데이터 입출력을 제어하는 메모리 제어부(미도시)를 포함할 수도 있다.

영상 부호화 장치(900)는 내부에 탑재된 비디오 인코딩 프로세서 또는 외부 비디오 인코딩 프로세서를 통해 예측을 포함한 영상 부호화 동작을 수행할 수 있다.

부호화부(910)는 영상을 부호화하고, 생성부(930)는 부호화 결과 생성된 데이터 및 각종 파라미터 정보를 포함하는 비트스트림을 생성한다.

부호화부(910)는 영상 내에서 텍스처 영역을 결정하고, 텍스처 영역 내에서 참조 영역 및 타겟 영역을 결정할 수 있다.

부호화부(910)는 현재 영역이 타겟 영역에 해당하는 경우, 현재 영역에 의해 참조되는 참조 영역을 결정하고, 생성부(930)는 결정된 참조 영역을 나타내는 정보, 예를 들어, 참조 영역의 위치 정보를 포함하는 비트스트림을 생성한다. 영상 복호화 장치(700)는 비트스트림에 포함된 위치 정보에 기초하여 타겟 영역에 해당하는 현재 영역에 의해 참조될 참조 영역을 특정할 수 있다.

또한, 부호화부(910)는 현재 영역을 로우-퀄리티로 부호화하고, 생성부(930)는 부호화 결과 생성된 정보를 포함하는 비트스트림을 생성한다.

일 실시예에서, 현재 영역에 대해 로우-퀄리티 부호화 모드가 적용되지 않는 경우, 부호화부(910)는 일반적인 부호화 방법, 예를 들어, 인트라 모드, 인터 모드, 머지 모드 및 스킵 모드 중 적어도 하나에 따른 방법으로 현재 영역을 부호화할 수 있다.

도 10은 원본 영상을 도시하는 도면이고, 도 11은 다운 샘플링된 타겟 영역을 포함하는 영상을 도시하는 도면이고, 도 12는 복원된 참조 영역과 복원되어 업 샘플링된 타겟 영역을 포함하는 영상을 도시하는 도면이고, 도 13은 최종 복원 영상을 도시하는 도면이다.

영상 부호화 장치(900)는 도 10에 도시된 바와 같이, 원본 영상에서 텍스처 영역(1000)을 결정하고, 텍스처 영역(1000) 내에서 참조 영역(1010)과 타겟 영역(1030)을 결정할 수 있다. 도 11을 참조하면, 영상 부호화 장치(900)는 타겟 영역(1030)을 다운 샘플링하여 다운 샘플링된 타겟 영역(1040)을 생성하고, 다운 샘플링된 타겟 영역(1040)을 부호화할 수 있다.

도 12를 참조하면, 영상 복호화 장치(700)는 참조 영역(1010)을 복원하여 복원된 참조 영역(1020)을 생성하고, 부호화측에서 전처리된 타겟 영역(1040)을 복원한 후, 업 샘플링하여 업 샘플링된 타겟 영역(1050)을 생성할 수 있다.

다음으로, 도 13을 참조하면, 영상 복호화 장치(700)는 복원된 참조 영역(1020)의 참조 텍스처 피처에 기초하여 업 샘플링된 타겟 영역(1050)의 픽셀 값들을 변경하여 최종 타겟 영역(1060)을 생성할 수 있다.

도 12와 도 13을 비교하면, 업 샘플링된 타겟 영역(1050)에 비해 최종 타겟 영역(1060)의 화질이 매우 우수해진 것을 알 수 있다.

영상 부호화 및 복호화 시스템(2000)의 부호화단(2010)은 영상의 부호화된 비트스트림을 전송하고, 복호화단(2050)은 비트스트림을 수신하여 복호화함으로써 복원 영상을 출력한다. 여기서 부호화단(2010)은 전술한 영상 부호화 장치(900)에 유사한 구성일 수 있고, 복호화단(2050)은 영상 복호화 장치(700)에 유사한 구성일 수 있다.

부호화단(2010)에서, 예측 부호화부(2015)는 인터 예측 및 인트라 예측을 통해 예측 영상을 출력하고, 변환 및 양자화부(2020)는 예측 영상과 현재 입력 영상 간의 레지듀얼 데이터를 양자화된 변환 계수로 양자화하여 출력한다. 또한, 예측 부호화부(2015)는 로우-퀄리티 부호화 모드가 적용될 영역에 대해서는 로우-퀄리티로 부호화할 수 있다. 엔트로피 부호화부(2025)는 양자화된 변환 계수를 부호화하여 변환하고 비트스트림으로 출력한다. 양자화된 변환 계수는 역양자화 및 역변환부(2030)을 거쳐 공간 영역의 데이터로 복원되고, 복원된 공간 영역의 데이터는 디블로킹 필터링부(2035) 및 루프 필터링부(2040)를 거쳐 복원 영상으로 출력된다. 복원 영상은 예측 부호화부(2015)를 거쳐 다음 입력 영상의 참조 영상으로 사용될 수 있다.

일 실시예에서, 부호화단(2010)의 예측 부호화부(2015), 변환 및 양자화부(2020)는 영상 부호화 장치(900)의 부호화부(910)에 대응할 수 있고, 엔트로피 부호화부(2025)는 영상 부호화 장치(900)의 생성부(930)에 대응할 수 있다.

복호화단(2050)으로 수신된 비트스트림 중 부호화된 영상 데이터는, 엔트로피 복호화부(2055) 및 역양자화 및 역변환부(2060)를 거쳐 공간 영역의 레지듀얼 데이터로 복원된다. 예측 복호화부(2075)로부터 출력된 예측 영상 및 레지듀얼 데이터가 조합되어 공간 영역의 영상 데이터가 구성되고, 디블로킹 필터링부(2065) 및 루프 필터링부(2070)는 공간 영역의 영상 데이터에 대해 필터링을 수행하여 현재 원본 영상에 대한 복원 영상을 출력할 수 있다. 복원 영상은 예측 복호화부(2075)에 의해 다음 원본 영상에 대한 참조 영상으로서 이용될 수 있다.

일 실시예에서, 복호화단(2050)의 엔트로피 복호화부(2055)는 영상 복호화 장치(700)의 획득부(710)에 대응할 수 있고, 역양자화 및 역변환부(2060) 및 예측 복호화부(2075)는 복호화부(730)에 대응할 수 있다. 예측 복호화부(2075)는 로우 퀄리티로 부호화된 영역을 복원하고, 복원된 영역의 텍스처 피처를 변경할 수 있다.

부호화단(2010)의 루프 필터링부(2040)는 사용자 입력 또는 시스템 설정에 따라 입력된 필터 정보를 이용하여 루프 필터링을 수행한다. 루프 필터링부(2040)에 의해 사용된 필터 정보는 엔트로피 부호화부(2010)로 출력되어, 부호화된 영상 데이터와 함께 복호화단(2050)으로 전송된다. 복호화단(2050)의 루프 필터링부(2070)는 복호화단(2050)으로부터 입력된 필터 정보에 기초하여 루프 필터링을 수행할 수 있다.

한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.

매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.

Claims

영상의 복호화 방법에 있어서,

상기 영상 내 로우-퀄리티 부호화 모드가 적용된 타겟 영역에 의해 참조되는 참조 영역을 결정하는 단계;

상기 결정된 참조 영역으로부터 소정 종류의 정보를 추출하는 단계; 및

상기 추출된 소정 종류의 정보에 기초하여 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제1항에 있어서,

상기 소정 종류의 정보는, 소정 종류의 참조 텍스처 피처(reference texture feature)를 포함하고,

상기 타겟 영역의 픽셀 값들을 변경하는 단계는,

상기 타겟 영역의 소정 종류의 타겟 텍스처 피처(target texture feature)가 상기 참조 텍스처 피처와 동일 또는 유사해지도록 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제1항에 있어서,

상기 타겟 영역의 픽셀 값들을 변경하는 단계는,

상기 타겟 영역 및 상기 참조 영역을 머신 러닝 모델에 적용하여, 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제1항에 있어서,

상기 영상의 복호화 방법은,

상기 타겟 영역의 픽셀 값들을 변경하기 전에, 비트스트림으로부터 획득된 정보에 기초하여 로우-퀄리티로 부호화된 상기 타겟 영역을 복원하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제4항에 있어서,

상기 영상의 복호화 방법은,

상기 타겟 영역의 픽셀 값들을 변경하기 전에, 상기 복원된 타겟 영역을 후처리하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제5항에 있어서,

상기 후처리하는 단계는,

업 샘플링 및 하이패스 필터링 중 적어도 하나에 따라 상기 복원된 타겟 영역을 후처리하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제4항에 있어서,

상기 타겟 영역을 복원하는 단계는,

원 영상에 포함된 참조 영역에 대한 부호화 결과 생성된 정보를 상기 비트스트림으로부터 획득하여 상기 참조 영역을 복원하는 단계; 및

상기 원 영상에 대응하는 로우-퀄리티 영상에 포함된 타겟 영역에 대한 부호화 결과 생성된 정보를 상기 비트스트림으로부터 획득하여 상기 타겟 영역을 복원하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
제2항에 있어서,

상기 영상의 복호화 방법은,

상기 결정된 참조 영역의 개수가 복수인 경우, 복수의 참조 영역들 각각에서 추출될 참조 텍스처 피처의 종류들을 식별하는 단계를 더 포함하고,

상기 소정 종류의 참조 텍스처 피처를 추출하는 단계는,

상기 복수의 참조 영역들 각각으로부터 상기 식별된 종류들의 참조 텍스처 피처들을 추출하는 단계를 포함하고,

상기 타겟 영역의 픽셀 값들을 변경하는 단계는,

상기 식별된 참조 텍스처 피처의 종류들에 대응하는 상기 타겟 영역의 타겟 텍스처 피처들이 상기 추출된 참조 텍스처 피처들 각각과 동일 또는 유사해지도록 상기 타겟 영역의 픽셀 값들을 변경하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
영상의 부호화 방법에 있어서,

제 1 영상 중 로우-퀄리티 부호화 모드가 적용될 타겟 영역이 참조하는 참조 영역을 결정하는 단계;

상기 타겟 영역을 로우-퀄리티로 부호화하는 단계; 및

상기 타겟 영역에 대한 부호화 결과 생성된 정보 및 상기 참조 영역을 나타내는 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
제9항에 있어서,

상기 타겟 영역을 로우-퀄리티로 부호화하는 단계는,

다운 샘플링, 로우패스 필터링 및 픽셀 값 필터링 중 적어도 하나에 기초하여 상기 제 1 영상 내 타겟 영역을 전처리하는 단계; 및

상기 전처리된 타겟 영역을 인트라 모드, 인터 모드, 스킵 모드 및 머지 모드 중 적어도 하나에 따라 부호화하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
제9항에 있어서,

상기 타겟 영역을 로우-퀄리티로 부호화하는 단계는,

상기 제 1 영상 중 상기 타겟 영역 및 상기 참조 영역 이외의 영역의 양자화 파라미터보다 큰 양자화 파라미터에 기초하여 상기 타겟 영역을 인트라 모드, 인터 모드 및 머지 모드 중 적어도 하나에 따라 부호화하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
제9항에 있어서,

상기 타겟 영역을 로우-퀄리티로 부호화하는 단계는,

상기 제 1 영상 대비 로우-퀄리티의 제 2 영상을 획득하는 단계;

상기 제 1 영상의 타겟 영역에 해당하는 영역을 상기 제 2 영상에서 결정하는 단계; 및

상기 제 2 영상에서 결정된 영역을 부호화하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
제9항에 있어서,

상기 영상의 부호화 방법은,

상기 참조 영역을 하이-퀄리티로 부호화하는 단계를 더 포함하되,

상기 비트스트림을 생성하는 단계는,

상기 참조 영역에 대한 부호화 결과 생성된 정보 및 상기 하이-퀄리티 부호화 방법과 관련된 정보를 더 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상의 부호화 방법.
프로세서; 및

적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되,

상기 프로세서는 상기 적어도 하나의 인스트럭션에 기초하여,

영상 내 로우-퀄리티 부호화 모드가 적용된 타겟 영역에 의해 참조되는 참조 영역을 결정하고,

상기 결정된 참조 영역으로부터 소정 종류의 정보를 추출하고,

상기 추출된 소정 종류의 정보에 기초하여 상기 타겟 영역의 픽셀 값들을 변경하는 것을 특징으로 하는 영상 복호화 장치.
프로세서; 및

적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되,

상기 프로세서는 상기 적어도 하나의 인스트럭션에 기초하여,

제 1 영상 내 로우-퀄리티 부호화 모드가 적용될 타겟 영역이 참조하는 참조 영역을 결정하고,

상기 타겟 영역을 로우-퀄리티로 부호화하고,

상기 타겟 영역에 대한 부호화 결과 생성된 정보 및 상기 참조 영역을 나타내는 정보를 포함하는 비트스트림을 생성하는 것을 특징으로 하는 영상 부호화 장치.