KR20140124040A - 깊이 정보를 이용한 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 영상 복호화 방법은 깊이 정보가 포함된 영상 데이터를 수신하는 단계; 상기 영상 데이터의 일부로부터 깊이 구성 정보를 생성하는 단계; 상기 깊이 구성 정보를 이용하여 객체 정보를 획득하는 단계; 상기 영상 데이터에 포함된 영상을 복호화하는 단계; 및 상기 객체 정보에 기초하여 상기 복호화된 영상의 일부에 디블록킹 필터를 적용하는 단계를 포함한다.

Description

깊이 정보를 이용한 부호화/복호화 방법 및 장치 {A method for encoding/decoding and an apparatus using it}

본 발명은 깊이 정보 영상을 이용하여 영상을 효율적으로 부호화 및 복호화하는 방법에 관한 것이다.

3차원 비디오는 3차원 입체 디스플레이 장치를 통해 사용자에게 실세계에서 보고 느끼는 것과 같은 입체감을 생생하게 제공한다. 이와 관련된 연구로써 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서 3차원 비디오 표준이 진행 중이다. 3차원 비디오 표준은 실제 영상과 그것의 깊이 정보 맵을 이용하여 스테레오스코픽 영상뿐만 아니라 오토 스테레오스코픽 영상의 재생 등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.

본 발명에서는 깊이 정보 영상을 이용하여 효율적인 디블록킹 필터링을 수행하는 방법을 제안한다.

본 발명의 실시 예에 따른 영상 복호화 방법은 깊이 정보가 포함된 영상 데이터를 수신하는 단계; 상기 영상 데이터의 일부로부터 깊이 구성 정보를 생성하는 단계; 상기 깊이 구성 정보를 이용하여 객체 정보를 획득하는 단계; 상기 영상 데이터에 포함된 영상을 복호화하는 단계; 및 상기 객체 정보에 기초하여 상기 복호화된 영상의 일부에 디블록킹 필터를 적용하는 단계를 포함한다.

본 발명은 일반 영상의 부호화 효율을 향상 시킬 수 있다. 깊이 정보를 이용하여 실제 영상을 부호화하는 방법에 이용하여, 실제 영상에 대한 부호화 효율을 증가시키고 복잡도를 감소시키는 효과가 있다.

도 1은 3차원 비디오 시스템의 기본 구조와 데이터 형식에 대한 일 예를 나타내는 도면이다.
도 2는 실제 영상과 깊이 정보 맵 영상에 대한 일 예를 나타내는 도면이다.
도 3은 영상 부호화 장치의 구성에 대한 일 예를 나타내는 블록도이다.
도 4는 3차원 비디오 부호화/복호화 장치의 구성에 대한 일 예를 나타내는 블록도이다.
도 5는 키넥트 입력 장치를 나타내며, (a) 키넥트, (b) 키넥트를 통한 깊이 정보 처리를 나타낸다.
도 6은 비트스트림의 구성에 대한 일실시예를 나타내는 도면이다.
도 7은 디블록킹 필터링을 수행하는 방법에 대한 일 예를 나타내는 흐름도이다.
도 8은 디블록킹 필터의 경계 강도를 판단하는 방법에 대한 일 예를 나타내는 흐름도이다.
도 9는 디블록킹 필터의 필터링 여부를 결정하는 방법에 대한 일 예를 나타내는 흐름도이다.
도 10은 필터링 on/off 결정 방법에 대한 수식을 나타낸다.
도 11은 Strong 필터 또는 Weak 필터를 선택하는 방법을 설명하기 위한 수식을 나타낸 것이다.
도 12는 경계가 수직으로 나누어진 상황에서 Weak 필터 결정 방법에 대한 일 예를 나타내는 흐름도이다.
도 13은 Weak 필터 결정 방법에 대한 수식을 나타낸 것이다.
도 14는 블록 경계와 객체 정보의 대응 예를 나타내는 도면이다.
도 15는 블록 경계의 좌우 화소를 조정하는 방법에 대한 일실시예를 나타내는 도면이다.
도 16은 본 발명의 일실시예에 따른 디블록킹 필터 수행 방법을 나타내는 흐름도이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

도 1는 3차원 비디오 시스템의 기본 구조와 데이터 형식에 대한 일 예를 도시한 것이다.

3차원 비디오 표준에서 고려하고 있는 기본적인 3차원 비디오 시스템은 도 1과 같고, 도 1에서 도시하듯 3차원 비디오 표준에서 사용 중인 깊이 정보 영상은 일반 영상과 함께 부호화되어 비트스트림으로 단말에 전송된다. 송신 측에서는 스테레오 카메라, 깊이 정보 카메라, 다시점 카메라, 2차원 영상을 3차원 영상으로 변환 등을 이용하여 N(N≥2) 시점의 영상 콘텐츠를 획득한다. 획득된 영상 콘텐츠에는 N 시점의 비디오 정보와 그것의 깊이 정보 맵(Depth-map) 정보 그리고 카메라 관련 부가정보 등이 포함될 수 있다. N 시점의 영상 콘텐츠는 다시점 비디오 부호화 방법을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해 단말로 전송된다. 수신 측에서는 전송받은 비트스트림을 다시점 비디오 복호화 방법을 사용하여 복호화하여 N 시점의 영상을 복원한다. 복원된 N 시점의 영상은 깊이 정보 맵 기반 랜더링(DIBR; Depth-Image-Based Rendering) 과정에 의해 N 시점 이상의 가상시점 영상들을 생성한다. 생성된 N 시점 이상의 가상시점 영상들은 다양한 입체 디스플레이 장치에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.

가상시점 영상을 생성하는데 사용되는 깊이 정보 맵은 실세계에서 카메라와 실제 사물(object) 간의 거리(실사 영상과 동일한 해상도로 각 화소에 해당하는 깊이 정보)를 일정한 비트수로 표현한 것이다. 깊이 정보 맵의 예로써, 도 2는 국제 표준화 기구인 MPEG의 3차원 비디오 부호화 표준에서 사용 중인 "balloons" 영상(도 2 (a))과 그것의 깊이 정보 맵(도 2 (b))을 보여주고 있다. 실제 도 2의 깊이 정보 맵은 화면에 보이는 깊이 정보를 화소당 8비트로 표현한 것이다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있다. HEVC의 부호화 구조도의 일 예는 도 3과 같다. 도 3에서와 같이 HEVC에는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다.

도 3은 영상 부호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, HEVC 코덱에 따른 부호화 장치의 구성을 나타낸 것이다.

실제 영상과 그것의 깊이 정보 맵을 부호화할 때, 서로 독립적으로 부호화/복호화할 수 있다. 또한 실제 영상과 깊이 정보 맵을 부호화할 때, 도 4와 같이 서로 의존적으로 부호화/복호화 할 수 있다. 일 실시 예로, 이미 부호화된/복호화된 깊이 정보맵을 이용하여 실제 영상을 부호화/복호화할 수 있으며, 반대로 이미 부호화된/복호화된 실제 영상을 이용하여 깊이 정보맵을 부호화/복호화할 수 있다.

도 4는 3차원 비디오 부호화/복호화 장치의 구성에 대한 일 예를 블록도로 도시한 것이다.

3차원 비디오 코덱에서는 실제 영상과 그것의 깊이 정보 영상의 부호화된 비트스트림을 하나의 비트스트림으로 다중화될 수 있다.

2010년 11월 마이크로소프트는 XBOX-360 게임 디바이스의 새로운 입력장치로 키넥트(Kinect) 센서를 출시하였는데, 이 장치는 사람의 동작을 인지하여 컴퓨터 시스템에 연결하는 장치로 도 3에서 보듯 RGB 카메라뿐 아니라 3D Depth 센서를 포함하여 이루어져 있다. 또한, 키넥트는 영상 장치로도 RGB 영상 및 최대 640x480 깊이 정보 맵(Depth Map)을 생성해 연결된 컴퓨터에 제공할 수 있다.

도 5는 키넥트 입력 장치를 나타낸다. (a) 키넥트, (b) 키넥트를 통한 깊이 정보 처리이다.

키넥트와 같은 영상 장비의 출현은 고가의 3차원 비디오 시스템보다 낮은 가격으로 2차원 및 3차원 게임이나 영상 서비스와 같은 다양한 응용 어플리케이션을 즐길 수 있게 되는 계기가 되었으며, 이로써 깊이 정보 카메라가 부착된 비디오 장치가 대중화가 될 것으로 예상된다.

이처럼 앞으로의 비디오 시스템이 2차원 일반 영상을 위한 서비스뿐 만 아니라 일반 영상 카메라에 Depth 카메라가 결합되어 2차원과 3차원 실감 영상 서비스가 기본적으로 제공되는 형태로 발전할 것으로 예상된다. 즉, 이러한 시스템 하에서 사용자는 3차원 실감 영상 서비스와 2차원 고화질 영상 서비스를 동시에 제공 받을 수 있는 형태가 될 것이다.

일반 카메라와 Depth 카메라가 기본적으로 결합된 비디오 시스템은 3차원 비디오 코덱에서 깊이 정보를 이용하는 것뿐 아니라, 2차원 비디오 코덱에서도 3차원 깊이 정보를 이용 할 수 있겠다.

도 6은 비트스트림의 구성에 대한 일실시예를 도시한 것이다.

도 6을 참조하면, 실제 영상과 그것의 깊이 정보 영상의 부호화된 비트스트림을 독립적으로 구성하여 하나의 비트스트림으로 다중화할 수 있다. 도 5에서 통합 헤더(Header) 정보에는 실제 영상과 그것의 깊이 정보 영상의 복호화 및 가상 시점 영상을 생성하는데 필요한 파라미터에 대한 정보가 포함될 수 있다. 깊이 정보 영상의 헤더(Header) 정보에는 깊이 정보 영상의 복호화 및 가상 시점 영상의 생성에 필요한 파라미터에 대한 정보가 포함될 수 있다. 실제 영상의 헤더(Header) 정보에는 일반 영상의 복호화에 필요한 파라미터에 대한 정보가 포함될 수 있다.

실제 영상과 그것의 깊이 정보 영상은 큰 상관성을 가지므로, 3차원 비디오 코덱에서 부호화기/복호화기 모두에서 이용할 수 있는 깊이 정보 영상을 고려한 알고리즘 개발을 제안할 수 있겠다.

3차원 비디오 코덱에서 깊이 정보 이용을 반영하지 않고 설계된 알고리즘들을 개선하여, 깊이 정보 영상을 이용한 3차원 비디오 코덱에서의 영상 부호화 방법을 제안한다. 본 발명의 기본 컨셉은, 3차원 비디오 코덱에서 부호화 효율을 극대화시키기 위해서, 깊이 정보 카메라에서 획득한 깊이 정보 영상을 활용하여 실제 영상을 부호화하는 데 활용하는데 있다.

일 실시 예로, 깊이 정보 영상을 활용하여 일반 영상의 객체들을 구분하여 부호화할 경우, 일반 영상에 대한 부호화 효율을 크게 증가시킬 수 있다. 여기서 객체들이란, 여러 개의 객체를 의미하여 배경 영상을 포함할 수 있으며, 블록기반 부호화 코덱에서 블록 내에는 여러 개의 객체가 존재할 수 있으며, 깊이 정보 영상으로 기반으로 해당 객체마다 각각 다른 부호화 방법들이 적용될 수 있다.

HEVC 부호화 과정에서 디블록킹 필터는 코딩 블록의 경계부분에서 발생한 블록화 현상으로 인한 주관적 화질 열화를 보완하고자 블록화 현상이 발생한 블록 경계면에 한해서 간단한 저통과 필터를 적용하여 블록화 현상을 완화시켜주는 기술이다.

도 7은 디블록킹 필터링을 수행하는 방법에 대한 일 예를 흐름도로 도시한 것이다.

HEVC 디블록킹 필터는 필터링을 수행할 에지(Edge) 경계를 선택하기 위하여 먼저, 모든 8x8 경계에 대해 TU, PU 경계인지의 여부를 판단한다. HEVC 디블록킹 필터의 적용 위치는 8x8 블록에 위치하는 TU, PU 경계 여부에 따라 결정되지만, 필터링의 적용 여부는 해당 위치에서의 경계 강도(Boundary Strength: BS, 이하 BS라 함) 값에 따라 결정된다. BS 값의 결정은 에지 경계를 기준으로 인접하는 두 블록의 DCT 계수 여부, 예측 블록 모드, 움직임 벡터, 참조 프레임의 인덱스 값에 따라 0~2의 값중 하나로 결정된다.

BS 값의 결정 과정은 휘도 성분에 대해서만 수행되며, 색차 성분의 BS 값은 대응하는 휘도 블록의 BS 값을 그래도 사용한다. 에지 경계에서 BS 값을 결정한 후에는 디블록킹 필터링에서 사용하는 두 임계치인 β와 tC 값을 결정한다. β와 tC 값은 인접하는 두 블록의 평균 Qp 값과 에지 경계에서의 BS 값에 따라서 테이블에 정의된 임계값으로 결정한다.

그 다음 과정으로 에지 경계가 수평 또는 수직으로 4행 또는 4열 단위로 필터링의 수행 여부를 결정하고 필터링 수행 조건을 만족하는 경우 다시 4줄의 행 또는 열에 대해서 Weak 필터 또는 Strong 필터 적용 여부를 판단한다. Strong 필터가 선택된 경우, 일괄적으로 Strong 필터를 적용하며 에지 경계를 기준으로 양쪽의 3픽셀이 필터링 된다.

Weak 필터가 선택된 경우에는 각 라인 단위에서 다시 임계값을 사용하여 필터링 적용 여부를 결정하게 되며, 임계 조건을 만족하여 필터링을 적용하는 경우에도 에지 경계를 기준으로 두 번째 픽셀에 대해서는 필터링 적용 여부를 한번 더 판단한다.

도 8은 디블록킹 필터의 경계 강도(BS)를 판단하는 방법에 대한 일 예를 흐름도로 도시한 것이다.

디블록킹 필터의 BS 결정 방법은 도 8에서와 같이 인접 위치에 있는 코딩 유닛(CU: Coding Unit, 이하 'CU')을 P, 현재 위치에 있는 CU를 Q로 에지 경계가 수직으로 나누어진 상태에서 블록 순서도의 각 상황을 만족할 경우 BS가 1또는 2로 설정되고 그렇지 않을 경우에는 BS가 0이 된다. 블록 순서도에서 "|MV_Ph - MV_Qh| >= 4 또는 |MV_Pv - MV_Qv| >=4" 과정은 P와 Q의 움직임 벡터의 차분 값이 가로 방향(MV_Ph - MV_Qh)으로 4 이상, 또는 세로 방향(MV_Pv - MV_Qv)으로 4 이상이 되었을 때 진행되는 과정을 나타내고 있다. 도 5에서 BS 값이 클수록 필터링의 강도는 높아지며, BS 값이 0이 될 경우에는 디블록킹 필터를 수행하지 않게 된다. 디블록킹 필터의 BS 결정 과정은 화면 간(Inter) 예측 부호화 또는 화면 내(Intra) 예측 부호화와 같은 블록 타입에 따른 적응적인 필터링의 강도를 조절하기 위한 과정이며, 또한 현재 블록 경계가 블록화 현상이 발생했는지 구분하기 위한 과정이라 볼 수 있다.

도 9는 디블록킹 필터의 필터링 여부를 결정하는 방법에 대한 일 예를 흐름도로 도시한 것이다.

HEVC 디블록킹 필터에서 BS 값과 필터링에 사용하는 두 임계치 β와 tC의 값을 P, Q 블록의 평균 Qp 값과 에지 경계에서의 BS 값에따라서 테이블에 정의된 임계값으로 결정을 마치면 도 9의 과정을 통하여 필터링 on/off를 결정한다.

한편, 경계가 수직으로 나누어진 상황에서 필터링 on/off 여부는 도 10에 도시된 바와 같은 수식에 의해 결정될 수 있다.

도 10의 수식은 HEVC 디블록킹 필터의 Strong 필터 또는 Weak 필터링 결정 방법을 위한 수식으로, 이전 CU를 P, 현재 CU를 Q로 에지 경계가 수직으로 나누어진 상태에서 4라인(Line) 단위로 필터링을 결정한다. 도 10에서 도시하듯 최상위 라인(dp[0], dq[0])과 최하위 라인(dp[3], dq[3])의 가중치 합을 계산하고 이를 이전 과정에서 결정된 임계치 β 값보다 크거나 같은 경우 해당 P, Q 블록의 4라인에 대해서 디블록킹 필터를 수행하지 않는다. 그리고, 임계치 β 값보다 작은 경우(수식 A를 만족하는 경우) 도 8의 수식 B를 통해 Strong 필터 또는 Weak 필터를 선택한다. 그리고, 도 10에서 P, Q 경계를 기준으로 좌우 3픽셀에 대해서만 수식의 계산에 이용한다.

도 11은 Strong 필터 또는 Weak 필터를 선택하는 방법을 설명하기 위한 수식을 나타낸 것이다.

도 11에서의 수식 B는 도 10에서와 같이 P, Q의 경계가 수직인 상황에서의 수식으로 수식에 사용된 dpq[i]는 도 9의 수식 A에서의 dpq[i]에서와 같이 경계 좌우 3픽셀을 이용하여 도출한다. 도 10의 수식 B는 수식 (1)~(3)을 구성되어 있고, (1)~(3)의 수식 모두를 만족하는 경우에는 Stong 필터를 그렇지 않은 경우에는 Weak 필터를 선택한다. (1)~(3)의 수식은 4라인 모두에 대해 1라인 단위로 수행한다. (1)의 수식은 수식 A와 값은 방법으로 P, Q의 가중치 합을 구해 결정한다. (2)의 수식은 P, Q 각각의 가장자리 두 화소값 p(0, i), p(3, i), q(0, i), q(3, i)의 차이의 합을 구해 결정한다. (3)의 수식은 경계면의 P, Q 화소에 대해 차를 구해 결정한다.

도 11의 방법을 통해 선택된 Stong 필터의 경우에는 P, Q블록 모두에 대해 필터를 수행하고 Weak 필터의 선택의 경우에는 도 12의 과정을 거쳐 P, Q블록에 대한 필터를 수행한다.

도 12은 경계가 수직으로 나누어진 상황에서 Weak 필터 결정 방법에 대한 일 예를 흐름도로 도시한 것이다.

도 12는 Weak 필터에서의 P, Q에(이전 CU를 P, 현재 CU를 Q) 대한 필터 수행 결정 방법을 나타내고 있으며, P, Q의 Weak 필터 수행 결정은 도 12의 수식 C에 의해 결정된다.

도 13은 Weak 필터 결정 방법에 대한 수식을 나타낸 것이다.

도 13에서 수식 (1)은 P블록에 대한 필터 수행 결정을 수식 (2)는 Q블록에 대한 필터 수행 결정을 수식으로 나타내고 있다. 도 13의 수식 C는 도 10의 수식 A에서와 같이 P, Q의 경계가 수직으로 나누어진 상황으로 수식에 사용된 dp[0], dp[3], dq[0], dq[3]는 도 10의 수식 A에서와 같이 경계 좌우 3픽셀을 이용하여 도출한다.

이상의 HEVC 디블록킹 필터는 경계 블록의 화소 값을 이용해 정해진 수식을 통해 필터링 on/off를 결정하고 적용 필터를 결정하며 화소 값을 필터에 따라 조정하여 수행한다.

하지만, 이러한 과정은 주변 블록에 대해 객체 정보를 고려하지 않고 있다.

이는 당연한데, 현재의 HEVC 경우, 디블록킹 필터링 방법에는 객체기반 코딩 방법이 전혀 탑재되어 있지 않기 때문이다.

하지만, Depth 카메라를 이용하여 객체정보를 고려할 수 있다면, 실제 영상 코딩을 위한 디블록킹 필터 적용을 다음과 같이 할 수 있다.

도 14는 블록 경계와 객체 정보의 대응 예를 도시한 것이다.

도 14에서 수직으로 나누어진 P, Q 블록의 경계와 객체 정보를 대응하여 나타내고 있다. 이 경우 P, Q 블록에 디블록킹 필터를 적용하는 경우 앞선 디블록킹 필터 과정에 따라 경계에 위치한 좌우 화소 값들을 이용하여 디블록킹 필터 적용을 결정하고 화소 값을 조정한다. 하지만, 도 13에서와 같이 P, Q 블록 경계에 객체 경계가 지나가는 경우를 객체 정보를 대응하여 보면, 실제 경계에 따른 화소 값이 디블록킹 필터를 적용하는 블록화 현상을 판단하는 화소 값에 이용된다. 실제 경계면의 화소들은 경계를 기준으로 화소 값의 차이가 크게 존재할 수 있어, 이는 디블록킹 필터 수행에 있어 현재 블록 경계면이 블록화 현상으로 인하여 발생한 경계면 인지를 판단하는 데에 영향을 미치게 된다.

깊이 정보를 이용한 디블록킹 필터 적용

따라서, 디블록킹 필터 적용에 있어서 이용되는 경계면의 화소들을 무조건 적으로 이용하기 보다는 객체 정보를 고려하여 동일 객체의 화소들만으로 계산하여 디블록킹 필터를 적용하는 객체 정보를 고려한 디블록킹 필터링 방법을 제안해 볼 수 있다. 이러한 방법은 객체 정보에 따라 디블록킹 필터를 수행함으로써 주관적 화질을 개선하는 디블록킹 필터의 성능을 높일 수 있겠다.

도 15는 블록 경계의 좌우 화소를 조정하는 방법에 대한 일실시예를 도시한 것이다.

제안하는 방법은 디블록킹 필터의 필터링 결정 및 필터 적용에 이용되는 화소들에 있어서 동일 객체의 화소들만을 이용하여 디블록킹 필터를 수행하는 방법이다.

도 15에서 디블록킹 필터 수행에 있어서 이용되는 화소들은 P, Q 블록을 경계를 중심으로 좌우 4 픽셀씩을 도시하였다. 이를 객체 정보를 기반으로 객체에 따라 화소를 나누고 이를 바탕으로 라인마다 하나의 객체 정보만을 갖도록 한다.

예를 들어, 라인마다 화소 수가 제일 많은 객체를 그 라인의 대표 객체로 하고, 대표 객체 이외의 객체의 화소를 인접하는 대표 객체의 화소 값으로 복사하는 방법이다. 이때, 경계를 중심으로 좌우 4픽셀이 정확히 객체 정보로 나뉜다면 이 라인에 대해서는 적용하지 않는다. 제안하는 방법을 통해 도 9의 디블록킹 필터의 필터링 on/off 결정 방법, 도 10의 Stong 필터 또는 Weak 필터 선택 방법, 도 12의 Weak 필터 적용 결정 방법에 이용한다.

도 15를 참조하여 설명한 바와 같은 방법을 통해 필터링을 결정 하고, 실제 Strong 필터 또는 Weak 필터 적용에 있어서는 객체 정보에 따라 조정되지 않은 화소들에 대해서만 필터를 거쳐 나온 조정된 화소 값을 적용한다. 도 12를 예로 한다면 P, Q의 첫번째 라인에서는 p(3, 0), p(2, 0), p(1, 0), p(0, 0), q(0, 0)에 대해서만 필터를 적용하여 조정할 수 있고, 마찬가지로 마지막 라인에서는 p(1, 3), p(0, 3), q(0, 3), q(1, 3), q(2, 3), q(3, 3)에 대해서만 필터를 적용하여 조정한다.

제안하는 디블록킹 필터 수행 방법은 아래의 과정과 같다.

(1) TU, PU 경계를 판단한다.

(2) (1)의 과정을 통해 판단된 경계 블록을 P와 Q라 하고, 12에서와 같이 깊이 정보를 기반으로 현재 P, Q의 객체 정보를 판별한다.

(3) 도 14에서와 같이 디블록킹 필터를 수용할 P, Q의 경계가 수직 또는 수평으로 나누어진 것에 따라 4라인 또는 4열의 경계 중심 화소들에 대해 단일 객체 정보를 갖도록 화소 값 복사를 4라인(또는 4열)에 대해 수행한다.

(4) BS 값 및 임계치 β와 tC의 값을 결정한다.

(5) 조정된 화소 값을 이용하여 필터링 on/off를 결정

(6) Stong 필터 또는 Weak 필터를 객체 정보에 따라 조정되지 않은 화소들에 대해서만 적용한다.

도 16는 본 발명의 일실시예에 따른 디블록킹 필터 수행 방법을 흐름도로 도시한 것이다.

도 16에서와 같이 제안하는 방법은 기존의 디블록킹 펄터 적용 방법과 비교하여 몇 가지의 차이를 갖으며 진행된다. 기존의 방법이 경계를 중심으로 3픽셀 또는 4픽셀을 이용하여 필터링 결정 및 필터를 적용하지만, 제안하는 방법은 해당 블록들의 객체 정보를 읽어들여 경계를 중심으로 이용하는 화소 값을 조정하고, 이를 통해 필터링 결정 및 필터를 적용한다. 그리고, 디블록킹 필터의 마지막 과정에서, 실제 필터를 적용하여 수정되는 화소는 객체 정보에 의해 조정되지 않은 화소들만이다.

상술한 방법들은 모두 블록 크기 혹은 CU 깊이 등에 따라 적용 범위를 달리할 수 있다. 이렇게 적용 범위를 결정하는 변수(즉, 크기 혹은 깊이 정보)는 부호화기 및 복호화기가 미리 정해진 값을 사용하도록 설정할 수도 있고, 프로파일 또는 레벨에 따라 정해진 값을 사용하도록 할 수 도 있고, 부호화기가 변수 값을 비트스트림에 기재하면 복호화기는 비트스트림으로부터 이 값을 구하여 사용할 수도 있다. CU 깊이에 따라 적용 범위를 달리하는 할 때는 아래 표에 예시한 바와 같이, 방식A) 주어진 깊이 이상의 깊이에만 적용하는 방식, 방식B) 주어진 깊이 이하에만 적용하는 방식, 방식C) 주어진 깊이에만 적용하는 방식이 있을 수 있다.

표 1은 주어진 CU 깊이가 2인 경우, 본 발명의 방법들을 적용하는 범위 결정 방식의 예를 나타낸다. (O: 해당 깊이에 적용, X: 해당 깊이에 적용하지 않음.)

적용범위를 나타내는 CU 깊이	방법A	방법B	방법C
0	X	O	X
1	X	O	X
2	O	O	O
3	O	X	X
4	O	X	X

모든 깊이에 대하여 본 발명의 방법들을 적용하지 않는 경우는 임의의 지시자(flag)를 사용하여 나타낼 수도 있고, CU 깊이의 최대값보다 하나 더 큰 값을 적용범위를 나타내는 CU 깊이 값으로 시그널링 함으로써 표현할 수도 있다.

또한 상술한 방법은 휘도 블록의 크기에 따라 색차 블록에 다르게 적용할 수 있으며, 또한, 휘도 신호영상 및 색차 영상에 다르게 적용할 수 있다.

휘도블록크기	색차블록크기	휘도 적용	색차 적용	방법들
4(4x4, 4x2, 2x4)	2(2x2)	O or X	O or X	가 1, 2, ..
	4(4x4, 4x2, 2x4)	O or X	O or X	나 1, 2, ..
	8(8x8, 8x4, 4x8, 2x8 등)	O or X	O or X	다 1, 2, ..
	16(16x16, 16x8, 4x16, 2x16 등)	O or X	O or X	라 1, 2, ..
	32(32x32)	O or X	O or X	마 1, 2, ..
8(8x8, 8x4, 2x8 등)	2(2x2)	O or X	O or X	바 1, 2, ..
	4(4x4, 4x2, 2x4)	O or X	O or X	사 1, 2, ..
	8(8x8, 8x4, 4x8, 2x8 등)	O or X	O or X	아 1, 2, ..
	16(16x16, 16x8, 4x16, 2x16 등)	O or X	O or X	자 1, 2, ..
	32(32x32)	O or X	O or X	카 1, 2, ..
16(16x16, 8x16, 4x16 등)	2(2x2)	O or X	O or X	타 1, 2, ..
	4(4x4, 4x2, 2x4)	O or X	O or X	파 1, 2, ..
	8(8x8, 8x4, 4x8, 2x8 등)	O or X	O or X	하 1, 2, ..
	16(16x16, 16x8, 4x16, 2x16 등)	O or X	O or X	개 1, 2, ..
	32(32x32)	O or X	O or X	내 1, 2, ..

표 2는 방법들의 조합의 일예를 나타낸다.

표 2의 변형된 방법들 중에서 방법 "사 1"을 살펴보면, 휘도블록의 크기가 8(8x8, 8x4, 2x8 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우에 명세서의 방법을 휘도 신호 및 색차 신호에 적용할 수 있다.

위의 변형된 방법들 중에서 방법 "파 2"을 살펴보면, 휘도블록의 크기가 16(16x16, 8x16, 4x16 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우에 명세서의 방법을 휘도 신호에 적용하고 색차 신호에는 적용하지 않을 수 있다.

또 다른 변형된 방법들로 휘도 신호에만 명세서의 방법이 적용되고 색차 신호에는 적용되지 않을 수 있다. 반대로 색차 신호에만 명세서의 방법이 적용되고 휘도 신호에는 적용되지 않을 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (10)

1. 깊이 정보가 포함된 영상 데이터를 수신하는 단계;
   상기 영상 데이터의 일부로부터 깊이 구성 정보를 생성하는 단계;
   상기 깊이 구성 정보를 이용하여 객체 정보를 획득하는 단계;
   상기 영상 데이터에 포함된 영상을 복호화하는 단계; 및
   상기 객체 정보에 기초하여 상기 복호화된 영상의 일부에 디블록킹 필터를 적용하는 단계를 포함하는 영상 복호화 방법.
2. 제1항에 있어서,
   상기 필터를 적용하는 단계는
   상기 객체 정보에 기초하여 상기 영상의 일부에 포함된 블록 경계의 좌우 화소를 조정하는 단계를 포함하는 영상 복호화 방법.
3. 제1항에 있어서,
   상기 필터를 적용하는 단계는
   상기 객체 정보에 따라 동일 객체의 화소들만을 이용하여 디블록킹 필터를 적용하는 단계를 포함하는 영상 복호화 방법.
4. 제1항에 있어서,
   상기 필터를 적용하는 단계는
   상기 영상의 라인마다 화소 수가 제일 많은 객체를 그 라인의 대표 객체로 하여, 상기 대표 객체 이외의 객체의 화소를 인접하는 상기 대표 객체의 화소 값으로 복사하는 단계를 포함하는 영상 복호화 방법.
5. 제1항에 있어서,
   상기 필터를 적용하는 단계는
   상기 객체 정보에 따라 상기 영상의 일부에 적용될 스트롱 필터 또는 위크 필터 중 어느 하나를 선택하는 단계를 포함하는 영상 복호화 방법.
6. 깊이 정보가 포함된 영상 데이터를 수신하는 수신부;
   상기 영상 데이터의 일부로부터 깊이 구성 정보를 생성하는 깊이 구성 정보 생성부;
   상기 깊이 구성 정보를 이용하여 객체 정보를 획득하는 객체 정보 처리부;
   상기 영상 데이터에 포함된 영상을 복호화하는 복호화부; 및
   상기 객체 정보에 기초하여 상기 복호화된 영상의 일부에 디블록킹 필터를 적용하는 필터부를 포함하는 영상 복호화 장치.
7. 제6항에 있어서,
   상기 필터부는 상기 객체 정보에 기초하여 상기 영상의 일부에 포함된 블록 경계의 좌우 화소를 조정하는 영상 복호화 장치.
8. 제6항에 있어서,
   상기 필터부는 상기 객체 정보에 따라 동일 객체의 화소들만을 이용하여 디블록킹 필터를 적용하는 영상 복호화 장치.
9. 제6항에 있어서,
   상기 필터부는 상기 영상의 라인마다 화소 수가 제일 많은 객체를 그 라인의 대표 객체로 하여, 상기 대표 객체 이외의 객체의 화소를 인접하는 상기 대표 객체의 화소 값으로 복사하는 영상 복호화 장치.
10. 제6항에 있어서,
    상기 필터부는 상기 객체 정보에 따라 상기 영상의 일부에 적용될 스트롱 필터 또는 위크 필터 중 어느 하나를 선택하는 영상 복호화 장치.

Images