KR20160148835A - 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 HDR 및 SDR 영상의 복호화에 있어, 참조 픽처에 대해 톤 매핑 처리 또는 소정의 필터 중 적어도 하나를 선택적으로 수행함으로써, HDR 및 SDR 영상 복호화를 효율적으로 수행한다.

Description

참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치{METHOD AND APPARATUS FOR DECODING A VIDEO SIGNAL WITH REFERENCE PICTURE FILTERING}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 영상의 부호화 정보를 이용하여, 영상을 복호화하는 기술에 관한 것이다.

최근 FHD (Full High Definition) 및 UHD (Ultra High Definition) 와 같은 고해상도의 영상 서비스 수요와 고품질의 영상 서비스 수요가 증가하였다.

본 발명의 일부 실시예는 영상의 부호화 정보를 통하여, 효과적으로 HDR(High Dynamic Range) 및 SDR (Standard Dynamic Range) 영상을 복호화 시키는 방법 및 장치를 제공하는 것을 그 목적으로 한다.

다만 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 복호화 장치는, 입력 값으로 들어오는 영상의 부호화 정보를 통하여, 영상의 복호화를 수행할 때, 기복호화된 복원 영상에 대해 화질 개선을 위한 소정의 필터를 적용한다. 소정의 필터가 적용된 복원 영상은 영상의 부호화 정보와 함께 복호화 대상 픽처의 참조 픽처 또는 참조 블록 중 일부로 사용될 수 있다. 소정의 필터가 적용되는 복원 영상은 복호화기의 구조에 따라 복원 영상을 입력으로 받는 톤 매핑 과정이 포함될 수 있다. 톤 매핑 과정을 통하여 복원 영상의 다이나믹 레인지를 조절할 수 있으며, 톤 매핑 과정에 필요한 정보는 복호화기의 입력으로 받는 부호화 정보를 통해 처리할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 복호화기에서 복원 영상의 화질을 개선하여 복호화기의 효율을 증가시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 계층적 비디오 복호화 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 장치를 도시한다.
도 3은 본 발명의 일 실시예에 따른 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 방법의 흐름도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 계층적 비디오 복호화 장치의 개략적인 블록도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 메타데이타 기반의 비디오 복호화 장치를 도시한다.
도 6은 본 발명의 일 실시예에 따른 메타데이타 기반의 비디오 복호화 방법의 흐름도를 도시한다.
도 7은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 블록도를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 으용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비 실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

스케일러블 비디오(Scalable Video)란, 임의의 비트율(bit rate)에서도 복호가 가능하도록 압축된 비트스트림을 계층적으로 구성한 비디오를 말한다. 단일 계층 복호화 장치는 하나의 비트율, 프레임율, 영상크기만을 지원하는 하나의 비트스트림만을 복호하는데 비하여, 다중 계층 비디오를 위한 복호화 장치는 다양한 비트율, 프레임율, 영상 크기에 대한 scalability를 지원할 수 있다.

스케일러블 비디오 코딩(SVC, Scalable Video Coding) 표준에서는 하나의 비트스트림을 여러 개의 비디오 계층으로 복호화하며, 각 계층은 각각의 비트율, 프레임율, 영상크기, 화질을 가진다. 즉, 하나의 비트스트림은 하위 계층(Base layer)과 계위적(scalable)인 상위 계층(Enhancement layer)들로 구성될 수 있다. 일반적으로 상위 계층은 이전의 하위 계층들로 만들어진 비디오보다 높은 화질을 갖도록 부호화할 수 있으며, 본 출원에 사용하는 용어로서 계층적 비디오 복호화 장치는 다중 계층 비디오 복호화 장치를 포함할 수 있다.

다이나믹 레인지(DR, Dynamic Range)의 일반적인 의미는 계측시스템에서 동시에 계측할 수 있는 최대, 최소의 신호의 차를 말한다. 영상 처리 및 비디오 압축 분야에서 다이나믹 레인지는 영상을 표현할 수 있는 밝기의 범위를 말할 수 있다.

스탠다드 다이나믹 레인지(SDR, Standard Dynamic Range)는 1,000:1의 명암비와 100nit의 최대 밝기를 가지며, 일반적으로 표준명암비라 불린다.

하이 다이나믹 레인지(HDR, High Dynamic Range)는 일반적으로 100,000:1 이상의 고명암비를 의미하며 4,000nits의 최대 밝기를 갖는다. 또한, 인간의 눈이 휘도 순응(Luminance adaptation) 없이 볼 수 있는 밝기 범위에 해당한다.

EDR(Enhanced Dynamic Range)은 SDR과 HDR 중간 수준의 명암비(1,000:1 이상 ~ 100,000:1 미만)를 의미하며, 최대 밝기 1,000nits를 갖는다.

또한, 본 출원에서 사용하는 HDR 영상이란 하이 다이나믹 레인지를 갖는 영상을 의미하며, SDR 영상과 대조되는 개념으로 HDR 및 EDR의 다이나믹 레인지를 갖는 영상을 포함할 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)들로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽처라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시 예에 따른 계층적 비디오 복호화 장치를 도시한다.

계층적 비디오 복호화 장치(100)는 SDR 영상의 복호화를 수행하는 기본 계층 복호화기와 HDR 영상의 복호화를 수행하는 적어도 하나의 향상 계층 복호화기로 구성될 수 있다. 또한, 계층적 비디오 복호화 장치(100)는 서로 다른 다이나믹 레인지를 갖는 복원 영상들을 생성할 수 있다. 서로 다른 다이나믹 레인지를 갖는 복원 영상들은 서로 독립적으로 또는 병렬적으로 복호될 수도 있고, 어느 하나의 복원 영상이 다른 하나의 복원 영상에 의존성(dependency)을 가지고 복호될 수도 있다. 예를 들어, HDR 복원 영상의 복호화를 위해 SDR 복원 영상의 정보를 이용할 수 있다. 또한, 향상 계층 복호화기의 효율 향상을 위해 SDR 복원 영상에 필터를 적용하여 HDR 영상 복원에 이용할 수 있다. SDR 복원 영상에 적용되는 필터는 화질 개선을 위한 것일 수 있다. 예를 들어, 샘플링을 위한 보간 필터(interpolation filter), 복원 영상의 화소값에 소정의 오프셋을 가산하거나 가중치를 주는 루프 필터 등이 있을 수 있다. 이하 계층적 비디오 복호화 장치(100)가 입력되는 영상의 부호화된 비디오 정보로부터 서로 다른 다이나믹 레인지를 갖는 복원 영상을 생성하는 과정을 상술한다.

일 실시예에 따른 계층적 비디오 복호화 장치(100)는 SDR 영상 복호화부(120), 복원 영상 필터부(130) 및 HDR 영상 복호화부(140)를 포함한다.

SDR 영상 복호화부(120)와 HDR 영상 복호화부(140)는 각각 SDR 비트스트림(110)과 HDR 비트스트림(115)을 입력 받을 수 있다. 이는 계층적 비디오 복호화기 구조에서 서로 다른 다이나믹 레인지를 갖는 비트스트림을 입력으로 받는 것을 의미하며, 또한, 입력되는 비트스트림은 하나의 비트열로 구성된 SDR 및 HDR 영상의 부호화 정보를 포함하고, 디멀티플렉서(Demultiplexer)를 이용하여 SDR 비트스트림 및 HDR 비트스트림으로 분리되어 SDR 영상 복호화부(120)와 HDR 영상 복호화부(140)에서 각각 복호화 될 수 있다.

SDR 영상 복호화부(120)는 SDR 비트스트림(110)을 입력 받고, 파싱, 엔트로피 복호화, 역양자화, 역변환, 인트라 예측/움직임 보상 등을 통해 SDR 복원 영상(150)을 생성할 수 있다. 이를 통해 생성된 SDR 복원 영상(150)은 HDR 영상 복호화부(140)의 HDR 영상 복호화 과정에서 참조 픽처로 사용될 수 있다. 이때 HDR 영상 복호화부(140)의 복호화 효율을 향상시키기 위해 복원 영상 필터부(130)에서 SDR 복원 영상(150)을 이용한 화질 개선 필터 과정이 수행된다.

HDR 영상 복호화부(140)는 HDR 비트스트림(115)을 입력 받고, 파싱, 엔트로피 복호화, 역 양자화, 역변환, 인트라 예측/움직임 보상 등을 통해 HDR 복원 영상(155)을 생성할 수 있다. 또한, HDR 비트스트림(115)은 HDR 영상의 부호화 과정에서 SDR 복원 영상을 이용하여 참조 픽처 또는 예측 블록으로 사용한 부호화 정보를 포함할 수 있다.

복원 영상 필터부(130)는 SDR 복원 영상의 전부 또는 일부에 필터를 적용한다. 필터는 복호화기에 기-설정된 필터 계수를 가진 것일 수도 있고, 부호화기로부터 전송된 필터 정보(예를 들어, 필터 계수, 필터 모양, 필터 탭 크기, 필터 타입, 필터 세기 등)에 기초하여 결정된 것일 수도 있다. 복호화기는 전송된 필터 정보를 이용하여 필터를 생성하고, 필터의 적용여부를 판단하거나 부호화기로부터 전송된 정보를 통해 필터를 적응적으로 적용할 수 있다. 필터는 각 픽셀의 칼라 콤포넌트, 픽셀, 특정 band, 코딩 유닛, 프레임, GOP, 시퀀스 등 다양한 레벨 단위에서 선택적으로 적용될 수 있다. 또한, 복호화기는 해당 정보를 SEI message 형태 또는 복호화하는 픽처의 다이나믹 레인지에 따른 비트스트림의 일부로 전송받을 수 있다.

이때, 필터 처리된 SDR 복원 영상은 HDR 영상 복호화부(140)에서 HDR 비트스트림(115)을 통해 복호되는 HDR 영상 복호화 정보와 함께 인트라 예측/움직임 보상부 등에서 참조 픽처, 예측 블록 또는 예측 신호로서 다양하게 HDR 복원 영상(155) 생성을 위해 사용될 수 있다. 또한, 본 실시예의 복원 영상 필터부(130)에서는 필터의 종류 및 방법을 제한하지 않는다.

또한, 필터 처리된 SDR 복원 영상은 HDR 영상 복호화부(140)에서 HDR 비트스트림(115)을 통해 복호되는 HDR 영상 복호화 정보와 함께 역양자화/역변환 과정, 인트라 예측/움직임 보상 과정 등에서 예측 정보 또는 참조 정보로서 HDR 복원 영상(155) 생성을 위해 사용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 장치를 도시한다.

톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 장치(200)는 SDR 영상의 복호화를 수행하는 기본 계층 복호화기와 HDR 영상의 복호화를 수행하는 향상 계층 복호화기로 구성될 수 있다. 또한, 기본 계층 복호화기는 SDR 영상 복호화를 통해 SDR 복원 영상을 생성하고, 생성한 복원 영상을 톤 매핑과 소정의 필터 중 적어도 하나를 적용하여, 향상 계층의 HDR 복원 영상을 위한 참조 정보 및/또는 예측 정보로 활용될 수 있다. 소정의 필터는 SDR 복원 영상의 화질 개선을 위해 적용되는 것일 수 있다. 또한, 톤 매핑 수행 및 소정의 필터에 사용되는 정보는 메타데이타를 통해 획득될 수 있다. 이하 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 장치(200)에서 메타데이타를 이용하여 톤 매핑 및 소정의 필터가 수행 되는 과정을 상술한다.

일 실시예에 따른 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 장치(200)는 SDR 영상 복호화부(230), 톤 매핑 수행부(240), 복원 영상 필터부(250) 및 HDR 영상 복호화부(260)를 포함한다.

SDR 영상 복호화부(230)는 도 1의 SDR 영상 복호화부(120)를 포함할 수 있으며, SDR 비트스트림(210)을 입력으로 하여 SDR 복원 영상을 생성한다. 이후, 생성된 SDR 복원 영상은 톤 매핑 수행부(240)를 통해 SDR 복원 영상에서 HDR 영상으로 변환하는 과정을 수행한다.

톤 매핑 수행부(240)는 전술한 바와 같이, SDR 복원 영상을 HDR 복원 영상으로 변환하는 과정을 수행하며, 이를 위한 방법으로 톤 매핑(Tone mapping)이 있을 수 있다. 톤 매핑 수행부(240)에서 수행되는 톤 매핑은 함수 형태로 사용될 수 있으며, SDR 복원 영상의 밝기 범위 내의 픽셀 값을 HDR 복원 영상의 밝기 범위 내의 픽셀 값으로 매핑해주는 역할을 수행한다. 또한, 톤 매핑 함수의 구조는 선형 함수(Linear function) 또는 비선형 함수(Non-linear function)로 구성될 수 있으며, 일반적으로 사람에게 민감한 부분에 더 많은 비트를 할당하여 주관적 화질을 향상시키기 위해 적응적 비선형 톤 매핑 함수(Adaptive non-linear tone mapping function) 구조로 구성될 수 있다. 또한, SDR 복원 영상에 톤 매핑 함수가 적용되는 단위는 블록 단위(예를 들어, 코딩 유닛, 예측 유닛, 변환 유닛 등), 픽처 분할 단위(예를 들어, 슬라이스, 슬라이스 세그먼트, 타일 등) 또는 픽처 단위 등이 될 수 있고, 부호화 및 복호화 효율을 향상시킬 수 있는 방법으로 적용될 수 있다. 또한, 톤 매핑 수행부(240)에서 수행될 때 필요한 톤 매핑 함수의 정보들은 메타데이타(220)를 이용하여 획득될 수 있다. 메타데이타(Metadata)에는 HDR 복원 영상(275)을 생성하기 위해 필요한 정보들이 포함되어 있으며, 톤 매핑 함수 정보, 톤 매핑 계수, 톤 매핑 적용 단위, 톤 메핑 테이블 및 복원 영상 필터부(250)의 수행에 필요한 필터 정보 등이 SEI 또는 VUI 정보와 같은 형태로 HDR 비트스트림(215)에 포함될 수 있다. 또한, 메타데이타(220)의 각 심볼(Symbol)들은 톤 매핑 함수, 필터 함수의 구조, 각 함수 또는 복호화가 적용되는 단위들의 특성을 고려하여 부호화 및 복호화 효율을 높일 수 있는 방법으로 구성될 수 있다.

또한, 본 실시예에 따른 메타데이타의 또 다른 구성은 톤 매핑 수행부(240) 및 복원 영상 필터부(250)에서 필요한 정보들 중 연속되는 값들에 대하여 이들의 차분 값을 계산하여 전달하는 방법이 있을 수 있다. 이때, 톤 매핑이 적용되는 유닛, 톤 매핑이 적용되는 함수 계수, 톤 매핑이 적용되는 유닛에 따른 함수 계수, 필터가 적용되는 유닛, 필터가 적용되는 유닛에 따른 필터 계수 등의 이전 값과 이후 값의 차를 계산하여 메타데이타로 부호화 및 복호화할 수 있다. 전술한 바와 같이, 톤 매핑 및 복원 영상에 대한 필터를 위해 전송하는 메타데이타의 구성은 다양한 방법의 구성이 있을 수 있으며, 부호화 및 복호화 효율을 향상시킬 수 있는 방법으로 메타데이타를 부호화 또는 복호화할 수 있다.

복원 영상 필터부(250)는 톤 매핑 처리된 SDR 복원 영상을 입력으로 받아 필터 처리를 수행한 후, HDR 복원 복호화기(260)에 전달하며, 이는 도 1의 복원 영상 필터부(130)을 포함할 수 있다. 또한, 복원 영상 필터부(250)는 필터 처리에 필요한 정보를 메타데이타(220)를 통해 전달받을 수 있다. 필터를 위한 정보는 필터가 적용되는 단위, 필터의 종류 및 필터의 계수 등이 포함될 수 있으며, 필터가 적용되는 단위는 블록 단위, 픽처 분할 단위, 픽처 단위 등을 포함할 수 있다. 또한, 필터의 종류는 전술한 도 1의 복원 영상 필터부(130)와 같이 화질 향상을 위한 필터가 적용될 수 있다.

HDR 영상 복호화부(260)는 도 1의 HDR 영상 복호화부(140)를 포함할 수 있으며, HDR 비트스트림(215) 및 메타데이타(220)를 입력으로 하여 HDR 복원 영상(275)을 생성한다. 또한, HDR 영상 복호화부(260)는 톤 매핑 수행부(240) 및 복원 영상 필터부(250)로부터 톤 매핑 또는 소정의 필터 중 적어도 하나가 수행된 SDR 복원 영상을 참조 정보 또는 예측 정보로 이용하여 HDR 복원 영상(275)을 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 방법의 흐름도를 도시한다.

도 3을 참조하면, 계층적 비디오 복호화 방법에 있어, 비트스트림으로부터 SDR 복원 영상을 생성할 수 있다(S300). SDR 복원 영상은 HDR 복원 영상과 독립적으로 생성될 수 있다. 또한, HDR 복원 영상 생성 과정에 있어, SDR 복원 영상은 톤 매핑 또는 소정의 필터 중 적어도 하나가 적용되어 HDR 복호화 과정에서 참조 정보 및 예측 정보로 이용될 수 있다.

상세하게는, 계층적 복호화기에 있어, 기본 계층의 SDR 영상에 대한 복호화 수행 후, 선택적으로 HDR 영상에 대한 복호화를 수행할 수 있다. 이때, 도 3을 참조하면, SDR 영상 복호화부(230)로부터 SDR 복원 영상(270)을 생성한 후, 계층적 복호화기는 HDR 복원 영상을 생성할지 또는 SDR 복원 영상만을 생성할지를 결정할 수 있다(S310) 또한, HDR 영상에 대한 복호화를 수행하지 않을 경우, 톤 매핑 처리, 소정의 필터링 및 HDR 영상 복호화를 수행하지 않는다. SDR 복원 영상을 생성한 이후, HDR 복원 영상을 생성할 경우(S310), 메타데이타를 이용하여 SDR 복원 영상을 이용하여 톤 매핑 처리를 수행할 수 있다(S320) 이때의 메타데이타를 이용한 톤 매핑 처리는 전술한 도 2의 톤 매핑 수행부(240)의 메타데이타를 이용한 톤 매핑 수행 방법을 이용하여 수행할 수 있다. SDR 복원 영상에 메타데이타를 이용하여 톤 매핑 처리를 수행하게 되면, 복원 영상에 소정의 필터를 적용할 수 있다(S330), 필터 방법은 전술한 도 2의 복원 영상 필터부(250)를 이용하여 수행할 수 있다. 메타데이타 기반의 톤 매핑 및 소정의 필터가 적용된 SDR 복원 영상을 참조 정보 또는 예측 정보로 이용하여 HDR 복원 영상을 생성할 수 있다(S340). 다만, 이는 시계열적 순서를 한정하는 것은 아니며, SDR 복원 영상에 소정의 필터를 적용한 이후에 톤 매핑 처리를 수행할 수도 있다.

본 실시예에 따른 또 다른 실시예로, 도 3의 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 방법의 흐름도는 도 1의 계층적 비디오 복호화 장치(100)에서 수행될 수 있다. 또한, HDR 복원 영상을 생성함에 있어 필요한 정보는 HDR 비트스트림(115) 내에 포함될 수 있으며, 톤 매핑 처리, 메타데이타를 이용한 톤 매핑 처리 또는 메타데이타를 이용한 복원 영상 필터 처리부가 HDR 영상 복호화부 내에 포함될 수 있다. 이때, 메타데이타 대신 톤 매핑 처리 및 화질 개선 필터 처리를 위해 필요한 정보는 HDR 비트스트림(115)을 통해 HDR 영상의 복호화를 수행하는 과정에서 정보를 획득하거나 정해진 방법 또는 정해진 함수에 의해 계산되어 획득될 수도 있다.

도 4는 본 발명의 일 실시예에 따른 계층적 비디오 복호화 장치의 개략적인 블록도를 도시한다.

도 4를 참조하면, 본 발명의 실시예에 따른 계층적 비디오 복호화 장치는 SDR 영상을 복원하는 기본 계층에 대한 복호화 장치(400)와 HDR 영상을 복원하는 향상 계층에 대한 복호화 장치(490)를 포함할 수 있다. 또한, SDR 복원 픽처 처리부(445) 및 복원 영상 필터 처리부(450)는 계층적 비디오 복호화 장치에 포함될 수도 있고, 향상 계층에 대한 복호화 장치(490)에 포함될 수도 있다. 또한, 복호화 방법에 있어 전술한 계층적 비디오 복호화 방법 또는 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 방법이 이용될 수 있다.

각각의 복호화 장치(400, 490)는 엔트로피 복호화부(410, 455), 역양자화부(415, 460), 역변환부(420, 465), 가산부(422, 467), 루프 필터부(435, 480), 복원 영상 저장부(440, 485), 인트라 예측부(425, 470), 및 움직임 보상부(430, 475)를 포함한다.

엔트로피 복호화부(410, 455)는 엔트로피 부호화하여 생성된 비트스트림을 부호화 장치로부터 수신하여 엔트로피 복호화할 수 있다. 여기서, 엔트로피 부호화는 양자화에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.

역양자화부(415, 460)는 양자화 결과값(예를 들어, 양자화된 잔차 계수)을 역양자화한다. 여기서, 양자화 결과값은 주파수 도메인의 값일 수도 있고, 공간 도메인의 값일 수도 있다.

양자화 결과값이 주파수 도메인의 값인 경우, 역변환부(420, 465)는 역양자화부(415, 460)으로부터 출력되는 역양자화된 결과값을 역변환하여 잔차 영상을 복원할 수 있다. 즉, 역변환부(420, 465)는 주파수 도메인의 값을 공간 도메인의 값으로 변환하는 기능을 수행할 수 있다.

가산부(422, 467)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역양자화부(415, 460) 및/또는 역변환부(420, 465)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 복원 영상 저장부(440, 485)에 저장할 수 있다.

루프 필터부(435, 480)는 복원 영상에 필터를 수행한다. 해당 루프 필터부(435, 480)는 디블로킹 필터링, 샘플 적응적 오프셋(SAO: Sample Adaptive Offset) 등을 수행할 수 있다. 여기서 디블로킹 필터링은 블록 간의 경계를 부드럽게 하여 부호화 또는 복호화된 화면의 화질을 향상시킬 수 있으며, SAO는 양자화 등의 부호화 과정을 통해 발생하는 원본 영상과 복원 영상 간의 왜곡에 따른 원본 영상의 화소와 복원 영상의 화소의 차분치를 이용하거나 그에 기반한 계수(SAO 계수)를 이용하는 필터를 통해 왜곡을 보상할 수 있다.

복원 영상 저장부(440)는 기본 계층에 대한 예측 부호화를 통하여 생성된 SDR 영상의 복원 픽처를 저장할 수 있다. 또한, 복원 영상 저장부(485)는 향상 계층에 대한 예측 부호화를 통하여 생성된 HDR 영상의 복원 픽처를 저장할 수 있다.

본 발명의 실시예에 따른 예측부는 향상 계층의 현재 픽처에 대한 부호화 및 복호화를 위하여 기본 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다. 여기서, 계층 간 예측은 기본 계층에 대한 부호화 또는 복호화에 있어서, 기본 계층의 복원 픽처를 참조하여 인트라 예측 또는 인터 예측을 수행하는 것을 의미할 수 있다.

특히, 본 발명의 실시예에 따른 예측부는 기본 계층의 복원 픽처에 대해, 톤 매핑을 수행하며, 복원 픽처에 대한 필터링을 수행할 수 있다. 또한, 기본 계층의 복원 픽처는 계층 간 예측에 활용될 수 있다. 도 2를 참조하면, 톤 매핑 및 메타데이타 기반의 계층적 비디오 복호화 장치(200)는 전술한 예측부의 구조에 따라 복호화를 수행할 수 있다. 이때, SDR 복원 픽처 처리부(445)는 메타데이타로부터 톤 매핑에 필요한 정보를 획득할 수 있으며, 이를 이용하여, SDR 복원 영상에 톤 매핑을 수행한다. 또한, 복원 영상 필터 처리부(450)는 톤 매핑된 SDR 복원 영상에 대해 필터링을 수행하며, HDR 영상 복호화를 위한 계층 간 예측에 활용될 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 예측부는 기본 계층의 복원 픽처에 대해, SDR 복원 픽처 처리부(445)에서 메타데이타를 이용하여 톤 매핑을 수행할 수 있으며, 선택적으로 복원 영상 필터 처리부(450)에서 복원 영상에 대한 필터를 수행 또는 복원 영상에 대한 필터를 수행하지 않고, HDR 영상 복호화를 위한 계층 간 예측에 활용될 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 예측부는 기본 계층의 복원 픽처에 대해, 톤 매핑을 수행하지 않고, 복원 픽처에 대한 필터링을 수행하여, 기본 계층의 복원 픽처를 계층 간 예측에 활용할 수 있다. 도 1을 참조하면, 계층적 비디오 복호화 장치(100)는 톤 매핑을 수행하지 않고, 복원 픽처에 대한 필터링을 수행하여, 기본 계층의 복원 픽처를 계층 간 예측에 활용할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 예측부는 도 1과 도 2의 계층적 복호화 장치를 포함할 수 있으며, 이를 참조하면, SDR 복원 픽처 처리부(445)는 SDR 복원 영상에 대해 톤 매핑의 수행 여부를 선택적으로 결정하여 수행할 수 있으며, 톤 매핑에 필요한 정보를 메타데이타 또는 HDR 비트스트림 내에서 정보를 파싱하여 SDR 복원 영상에 대한 톤 매핑 수행 여부 결정 및/또는 톤 매핑 처리를 수행할 수 있다. 이때, 복원 영상 필터 처리부(450)은 SDR 복원 픽처 처리부(445)에서 처리된 복원 영상에 대해 필터링을 수행한 후, 기본 계층의 복원 영상의 전부 또는 일부를 계층 간 예측에 활용할 수 있다.

도 5는 본 발명의 일 실시예에 따른 메타데이타 기반의 비디오 복호화 장치를 도시한다.

메타데이타 기반의 복호화 장치(500)는 비트스트림과 메타데이타를 입력으로 받고, 이로부터 특정 다이나믹 레인지를 갖는 복원 영상을 생성할 수 있다. 이때, 복원 영상에 톤 매핑 및 소정의 필터를 선택적으로 수행할 수 있으며, 복원 영상은 복호화 대상 픽쳐를 위한 참조 정보 또는 예측 정보로 활용될 수 있다. 또한, 메타데이타 기반의 복호화 방법은 도 4의 기본 계층에 대한 복호화 장치(400)의 복호화 방법, 향상 계층에 대한 복호화 장치(490)의 복호화 방법, 도 7의 비디오 복호화 장치(700)의 복호화 방법 또는 도 4의 계층적 비디오 복호화 장치의 복호화 방법을 포함할 수 있다. 이하 메타데이타 기반의 복호화 장치(500)의 메타데이타를 이용하여 톤 매핑 및 화질 개선 필터가 선택적으로 수행되는 과정을 상술한다.

일 실시예에 따른 메타데이타 기반의 복호화 장치(500)는 영상 복호화부(510), 톤 매핑 수행부(520), 복원 영상 필터부(530) 및 복원 영상 저장부(540)을 포함한다.

영상 복호화부(510)은 입력되는 비트스트림에 따라 복원 영상을 생성한다. 또한, 영상 복호화부(510)에 있어 영상 복호화 방법은 도 4의 기본 계층에 대한 복호화 장치(400)의 복호화 방법, 향상 계층에 대한 복호화 장치(490)의 복호화 방법 또는 도 7의 비디오 복호화 장치(700)의 복호화 방법을 이용하여 복호화를 수행할 수 있다.

톤 매핑 수행부(520)는 영상 복호화부(510)에서 최종적으로 생성하려는 복원 영상의 다이나믹 레인지에 따라, 선택적으로 톤 매핑 함수의 수행 여부를 결정할 수 있다. 이때, 톤 매핑을 수행할 경우, SDR 영상을 HDR 영상으로 톤 매핑 처리 또는 HDR 영상을 SDR 영상으로 역 톤 매핑할 수 있다. 또한, 톤 매핑을 수행할 경우, 톤 매핑에 필요한 정보를 메타데이타 또는 비트스트림으로부터 획득할 수 있다. 또한, 수행 여부는 비트스트림 또는 메타데이타에서 시그날링되는 정보에 따라 결정될 수도 있고, 복호화를 수행하는 장치 또는 영상을 출력하는 디스플레이 장치에 따라 결정할 수도 있다. 또한, 메타데이타의 구성 및 톤 매핑 방법은 전술한 도 2의 톤 매핑 수행부(240)의 톤 매핑 방법으로 수행할 수 있다.

또한, 본 발명의 실시예에 따른 또 다른 톤 매핑 수행부(520)는 영상 복호화부(510)로부터 복호화된 영상의 다이나믹 레인지가 SDR 복원 영상일 때, 최종적으로 SDR 복원 영상을 생성할 수 있다. 이때, 메타데이타 또는 비트스트림을 이용하여 다이나믹 레인지를 변화시키지 않고, 톤 매핑 수행부(520)를 통해 선택적으로 톤 매핑을 이용할 수 있다. 이때, 동일한 SDR 다이나믹 레인지 안에서의 톤 매핑을 선택적으로 수행함으로써, 복원 영상의 화질을 향상시킬 수 있으며, 부호화 및 복호화기의 효율을 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 또 다른 톤 매핑 수행부(520)는 영상 복호화부(510)로부터 복호화된 영상의 다이나믹 레인지가 SDR 복원 영상일 때, 최종적으로 HDR 복원 영상을 생성할 수 있다. 이때, 메타데이타 또는 비트스트림을 이용하여, SDR 복원 영상을 HDR 복원 영상으로 톤 매핑 처리할 수 있으며, HDR 복원 영상에 대해 필터 처리하여, 최종적으로 HDR 복원 영상을 생성할 수 있다.

또한, 본 발명의 실시예에 따른 또 다른 톤 매핑 수행부(520)는 영상 복호화부(510)로부터 복호화된 영상의 다이나믹 레인지가 HDR 복원 영상일 때, 최종적으로 SDR 복원 영상을 생성할 수 있다. 이때, 메타데이타 또는 비트스트림을 이용하여, 역 톤 매핑을 수행함으로써, HDR 복원 영상을 SDR 복원 영상으로 역 톤 매핑 처리할 수 있다.

또한, 본 발명의 실시예에 따른 또 다른 톤 매핑 수행부(520)는 영상 복호화부(510)로부터 복호화된 영상의 다이나믹 레인지가 HDR 복원 영상일 때, 최종적으로 HDR 복원 영상을 생성할 수 있다. 이때, 메타데이타 또는 비트스트림을 이용하여, 부호화 및 복호화 효율을 향상시키기 위해 HDR 복원 영상 내에 선택적으로 톤 매핑 처리를 수행할 수 있다. 동일한 HDR 다이나믹 레인지 안에서의 톤 매핑을 선택적으로 수행할 수 있다.

복원 영상 필터부(530)는 톤 매핑 처리 또는 톤 매핑 처리되지 않은 복원 영상에 대해 선택적으로 소정의 필터를 수행할 수 있다. 소정의 필터는 화질 개선을 위한 필터일 수 있다. 소정의 필터는 메타데이타 정보를 이용하여 전술한 도 2의 복원 영상 필터부(250) 또는 도 1의 복원 영상 필터부(130)에서 사용한 필터 방법을 이용하여 수행할 수 있다.

복원 영상 저장부(540)는 필터링 된 복원 영상이 복호화 대상 픽처의 참조 정보 또는 예측 정보로 활용되기 위해 복호화된 픽처를 저장한다.

또한, 본 발명의 실시예에 따른 또 다른 메타데이타 기반의 비디오 복호화 방법은 전술한 톤 매핑 수행부(520)을 이용하여, 도 4의 계층적 비디오 복호화 방법을 수행할 수 있다. 이때, HDR 비트스트림 및 메타데이타를 통해 생성한 HDR 복원 영상을 이용하여, 톤 매핑 수행부(520) 및/또는 복원 영상 필터부(530)를 통해, SDR 비트스트림 없이, SDR 복원 영상 및/또는 HDR 복원 영상을 생성할 수 있다.

도 6은 본 발명의 일 실시예에 따른 메타데이타 기반의 비디오 복호화 방법의 흐름도를 도시한다.

도 6을 참조하면, 메타데이타 기반의 비디오 복호화 방법에 있어, 최종적으로 특정 다이나믹 레인지의 복원 영상으로 비트스트림을 복호화할 수 있으며, 복호화 수행 과정에 있어 선택적으로 톤 매핑 및/또는 소정의 필터를 적용함으로써, 복호화 효율 및 복원 영상의 화질을 향상시킬 수 있다.

상세하게는 비디오 복호화기에 있어, 비트스트림을 통해 복호화기에서 부호화된 영상의 다이나믹 레인지를 판단한다(S610). 이때, 복호화기를 통해 비트스트림으로부터 복원한 영상은 SDR 복원 영상 또는 HDR 복원 영상이 될 수 있다. 이후, 비트스트림 및 메타데이타의 정보, 복호화 장치 및 방법 또는 복호화 영상을 디스플레이하는 장치 등에 따라 톤 매핑 처리에 대한 필요 여부를 판단한다(S620). 톤 매핑 처리가 필요한 경우, 메타데이타를 이용하여 톤 매핑을 수행하며(S630), 그렇지 않은 경우, 소정의 필터를 적용할 것인가에 대해 판단한다(S640). 또한, 톤 매핑 처리의 경우, 도 5의 톤 매핑 수행부(520)의 실시예에 따른 톤 매핑 방법들에 대해 선택적으로 수행할 수 있다. 또한, 소정의 필터가 적용되는 경우, 도 5의 복원 영상 필터부(530)에 따른 필터 방법들을 이용하여 수행할 수 있으며(S650), 전술한 바와 같이 비트스트림의 정보 또는 메타데이타의 정보, 복호화 장치 및 방법 또는 복호화 영상을 디스플레이하는 장치 등에 따라 필터 처리를 선택적으로 수행할 수 있다. 선택적 톤 매핑 또는 선택적 필터 처리가 수행 되면, 특정 다이나믹 레인지에 따른 복원 영상을 생성할 수 있다(S660).

도 7은 본 발명의 일 실시예에 따른 비디오 복호화 장치의 블록도를 도시한다.

비디오 복호화 장치(700)는 단일 계층 복호화 방법을 이용한 비디오 복호화를 수행한다. 또한, 비디오 복호화 장치(700)은 계층적 비디오 복호화 장치의 기본 계층 복호화 장치 또는 향상 계층 복호화 장치의 일부로 구성될 수 있다.

비디오 복호화 장치(700)는 파싱부(710), 엔트로피 복호화부(720), 역양자화부(730), 역변환부(740), 루프 필터부(750), 디블로킹부(760), 인트라 예측부(770) 및 움직임 보상부(780)를 포함한다. 또한, 비디오 복호화 장치는 파싱부(710)을 거쳐, 복호화 대상인 부호화된 영상 데이터 및 복호화를 위해 필요한 부호화에 관한 정보가 파싱된다. 부호화된 영상 데이터는 엔트로피 복호화부(720) 및 역양자화부(730)를 거쳐 역양자화된 데이터로 출력되고, 역변환부(740)를 거쳐 공간 영역의 영상 데이터가 복원된다.

공간 영역의 영상 데이터에 대해서, 인트라 예측부(770)는 인트라 모드의 부호화 단위에 대해 인트라 예측을 수행하고, 움직임 보상부(780)는 참조 픽처를 함께 이용하여 인터 모드의 부호화 단위에 대해 움직임 보상을 수행한다.

인트라 예측부(770) 및 움직임 보상부(780)를 거친 공간 영역의 데이터는 디블로킹부(760) 및 루프 필터링부(750)를 거쳐 후처리되어 복원 영상으로 출력될 수 있다. 또한, 디블로킹부(760) 및 루프 필터링부(750)를 거쳐 후처리된 데이터는 참조 픽쳐로서 출력될 수 있다.

또한, 본 발명의 실시예에 따른 비디오 복호화 장치(700)는 특정 다이나믹 레인지 영상의 복호화를 수행함에 있어서, 상기 톤 매핑 수행부(240)의 과정을 포함하여 복호화를 수행할 수 있다. 톤 매핑 수행부(240)로부터 톤 매핑/역 톤 매핑 함수 구성, 비트스트림의 신택스 구성 등 일련의 톤 매핑/역 톤 매핑 과정에 필요한 정보 및 수행 과정을 기반으로 비디오 복호화 장치(700)는 특정 다이나믹 레인지 영상으로 매핑하여 복원 영상에 대한 복호화를 수행할 수 있다. 이때, 특정 다이나믹 레인지 영상은 SDR 영상 및 HDR 영상을 포함할 수 있으며, 필요에 따라SDR 영상에 대한 정보를 비트스트림으로 입력받아, 이를 HDR 영상으로 톤 매핑하는 과정을 수행할 수 있다. 또한, HDR 영상에 대한 정보를 비트스트림으로 입력받아, 이를 SDR 영상으로 역 톤 매핑하는 과정을 수행할 수도 있다.

또한, 본 발명의 실시예에 따른 비디오 복호화 장치(700)는 특정 다이나믹 레인지 영상의 복호화를 수행함에 있어, 상기 복원 영상 필터부(130)를 포함하여 복호화를 수행할 수 있다. 복원 영상 필터부(130)의 형태는 독립적인 형태로 구성될 수 있다. 또는, 디블로킹부(760) 및 루프 필터부(750)의 일부로서 다른 필터부와 함께 수행될 수 있으며, 필터링된 복원 영상은 참조 픽처 또는 참조 영역, 참조 신호 등으로 사용되어 특정 영역의 다이나믹 레인지를 갖는 복원 영상에 대한 복호화를 수행할 수 있다.

또한, 본 발명의 실시예에 따른 비디오 복호화 장치(700)는 특정 다이나믹 레인지 영상의 복호화를 수행함에 있어, 상기 톤 매핑 수행부(240) 및 복원 영상 필터부(130)가 포함된 형태로 구성되어 복호화를 수행할 수 있다. 이때, 복호화 장치가 복호화를 수행하는 기기의 환경 및 소프트웨어에 따라 입력되는 영상의 다이나믹 레인지와 다른 다이나믹 레인지를 갖는 복원 영상으로 복호화를 수행할 수 있으며, 이때, 톤 매핑 수행부(240) 및 복원 영상 필터부(130)를 통해 복호화를 수행할 수 있다.

Claims (4)

1. 비디오 복호화 장치에 있어서.
   다이나믹레인지가 다른 영상의 부호화 비트스트림을 수신하는 비트스트림 수신부;
   상기 수신된 비트스트림을 SDR 비트스트림과 HDR 비트스트림으로 디멀티플렉싱하는 디멀티플렉서;
   상기 디멀티플렉싱 된 비트스트림을 엔트로피 복호화함으로써 참조 영상의 필터 정보를 추출하는 복호화부; 및
   상기 필터링 정보를 이용하여 참조영상에 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 장치.
2. 비디오 복호화 장치에 있어서.
   다이나믹레인지가 다른 영상의 부호화 비트스트림을 수신하는 비트스트림 수신부;
   상기 수신된 비트스트림을 디멀티플렉싱하는 단계;
   상기 수신된 비트스트림을 SDR 비트스트림과 HDR 비트스트림으로 디멀티플렉싱하는 디멀티플렉서;
   상기 디멀티플렉싱 된 비트스트림을 엔트로피 복호화함으로써 참조 영상의 역톤매핑 필터 정보를 추출하는 복호화부;
   상기 추출된 톤매핑 필터를 적용하는 역톤매핑 필터적용부;
   상기 디멀티플렉싱 된 비트스트림을 엔트로피 복호화함으로써 참조 영상의 필터링 정보를 추출 하는 장치; 및
   상기 필터링 정보를 이용하여 참조영상에 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 복호화 장치.
3. 제 2항에 있어서.
   추출된 참조영상에 대한 필터의 적용은
   엔트로피 복호화 된 필터 정보에서 적용여부 플래그를 통해 결정되는 비디오 복호화 장치.
4. 제 3항에 있어서,
   추출된 참조영상에 적용되는 필터는 기-정의된 고정된 필터 계수를 가지는 것을 특징으로 하는 비디오 복호화 장치.

Images