KR20160126611A - 3차원 영상 부호화 및 복호화에 있어서 적응적 병합 후보 선택 장치 및 방법 - Google Patents

Abstract

본 발명에 따르면, 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한지 여부에 대해 결정하는 단계 및 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한 경우, 상기 주변 블록에서 사용된 상기 머지 후보를 상기 현재 블록의 머지 후보로 설정하는 단계를 포함하는 3차원 영상 복호화 방법을 제공한다.

Description

3차원 영상 부호화 및 복호화에 있어서 적응적 병합 후보 선택 장치 및 방법{Apparatus And Method For Adaptably Selecting Merging Candidates In 3 Dimensional Image Encoding And Decoding}

본 발명은 3차원 영상 부호화/복호화 장치 및 방법에 관한 것으로서, 보다 구체적으로는 적응적으로 병합 후보를 선택하는 3차원 영상 부호화/복호화 장치 및 방법에 관한 것이다.

방송 통신 산업의 발달은 HD(High Definition) 해상도를 가지는 방송 서비스의 세계적인 확산을 야기시켰으며, 이로 인해 많은 사용자들은 HD 영상에 익숙해지게 되었다. HD화질에 익숙해진 사용자들은 더욱 더 높은 화질과 높은 해상도를 가지는 영상을 원하게 되었으며, 사용자들의 수요를 충족시키기 위해 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하였다. 이로 인하여, 오늘날에는 FHD(Full HD) 및 UHD(Ultra High Definition)가 지원되는 영상을 접할 수 있게 되었으며, FHD 및 UHD가 지원되는 영상으로 인하여 사용자들은 고해상도의 영상을 접할 수 있게 되었다.

사용자들은 높은 화질과 높은 해상도를 가지는 영상뿐만 아니라, 입체감을 느낄 수 있는 3차원 영상을 원하게 되었다. 이로 인하여, 다양한 기관들은 사용자들의 수요를 충족시켜 주기 위한 3차원 영상을 개발하기에 이르렀다.

3차원 영상은 실제 영상(texture) 정보뿐만 아니라 깊이 맵(depth map) 정보를 필요로 한다. 3차원 영상은 기존의 2차원 영상에 비해 훨씬 많은 양의 정보를 필요로 하며, 2차원 영상에 대한 영상 부호화/복호화 장치 및 방법을 이용하여 3차원 영상에 대해 부호화/복호화를 수행하는 경우, 충분한 부호화/복호화 효율이 나오지 않은 문제점이 있었다.

본 발명이 해결하고자 하는 과제는 현재 블록의 이외에 위치한 움직임 정보를 이용하는 3차원 영상 부호화/복호화 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 현재 블록과 인접한 블록의 움직임 정보를 이용하는 3차원 영상 부호화/복호화 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 현재 블록과 공간적으로 인접한 블록의 움직임 정보를 이용하는 3차원 영상 부호화/복호화 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 현재 블록과 시간적으로 인접한 블록의 움직임 정보를 이용하는 3차원 영상 부호화/복호화 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 다른 시점에 존재하는 블록의 움직임 정보를 이용하는 3차원 영상 부호화/복호화 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 깊이 정보 맵에 존재하는 블록의 움직임 정보를 이용하는 3차원 영상 부호화/복호화 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따르면, 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한지 여부에 대해 결정하는 단계 및 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한 경우, 상기 주변 블록에서 사용된 상기 머지 후보를 상기 현재 블록의 머지 후보로 설정하는 단계를 포함하는 3차원 영상 복호화 방법을 제공한다.

본 발명의 다른 실시예에 따르면, 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한지 여부에 대해 결정하는 단계 및 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한 경우, 상기 주변 블록에서 사용된 상기 머지 후보를 상기 현재 블록의 머지 후보로 설정하는 단계를 포함하는 3차원 영상 부호화 방법을 제공한다.

본 발명의 또 다른 실시예에 따르면, 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한지 여부에 대해 결정하는 판단부 및 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한 경우, 상기 주변 블록에서 사용된 상기 머지 후보를 상기 현재 블록의 머지 후보로 설정하는 설정부를 포함하는 3차원 영상 복호화 장치를 제공한다.

본 발명의 또 다른 실시예에 따르면, 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한지 여부에 대해 결정하는 판단부 및 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한 경우, 상기 주변 블록에서 사용된 상기 머지 후보를 상기 현재 블록의 머지 후보로 설정하는 설정부를 포함하는 3차원 영상 부호화 장치를 제공한다.

본 발명에 따르면, 현재 블록의 이외에 위치한 움직임 정보를 이용할 수 있다.

본 발명에 따르면, 현재 블록과 인접한 블록의 움직임 정보를 이용할 수 있다.

본 발명에 따르면, 현재 블록과 공간적으로 인접한 블록의 움직임 정보를 이용할 수 있다.

본 발명에 따르면, 현재 블록과 시간적으로 인접한 블록의 움직임 정보를 이용할 수 있다.

본 발명에 따르면, 다른 시점에 존재하는 블록의 움직임 정보를 이용할 수 있다.

본 발명에 따르면, 깊이 정보 맵에 존재하는 블록의 움직임 정보를 이용할 수 있다.

도 1은 3차원 비디오 시스템의 기본 구조를 개략적으로 도시한 것이다.
도 2는 “balloons” 영상의 실제 영상과 깊이 정보 맵 영상의 일례를 나타내는 도면이다.
도 3은 영상을 부호화 및 복호화할 때 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 것이다.
도 5는 3차원 비디오 코덱(codec)에서 시점 간 예측(inter view prediction)의 구조를 나타내는 일례다.
도 6은 3차원 비디오 인코더 및/또는 디코더에서 실제 영상(texture view)과 깊이 정보 맵(depth view)을 부호화 및/또는 복호화하는 과정을 나타낸 일례다.
도 7은 비디오 인코더의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 8은 비디오 디코더의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 9는 3차원 비디오 코덱에 대한 예측 구조의 일례를 나타내는 도면이다.
도 10은 현재 블록에 대한 머지 후보 리스트(merge candidate list)를 구성하는 데 사용되는 주변 블록들을 나타낸 일례다.
도 11은 인터 예측에 있어서, 병합 움직임 후보 리스트를 구성하는 방법에 관한 순서도이다.
도 12는 본 발명의 일 실시예에 따른 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 방법에 관한 순서도이다.
도 13은 본 발명의 다른 실시예에 따른, 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 것을 3D-HEVC에 적용한 방법의 순서도이다.
도 14는 본 발명의 또 다른 실시예에 따른 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 장치에 관한 블록도이다.
도 15는 본 발명의 또 다른 실시예에 따른 3차원 영상 복호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 방법에 관한 순서도이다.
도 16은 본 발명의 또 다른 실시예에 따른 3차원 영상 복호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 장치에 관한 블록도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함 될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위 에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부 만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

3차원 비디오는 3차원 입체 디스플레이 장치를 통해 사용자에게 실 세계에서 보고 느끼는 것과 같은 입체감을 제공한다. 이와 관련하여, ISO/IEC의 MPEG(Moving Picture Experts Group)와 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서는 3차원 비디오 표준화가 진행 중이다.

도 1은 3차원 비디오 시스템의 기본 구조를 개략적으로 도시한 것이다.

도 1을 참조하면, 3차원 비디오(3D video; 3DV) 시스템은 송신측(sender) 및 수신측(receiver)을 포함할 수 있다. 이때, 도 1의 3차원 비디오 시스템은 3차원 비디오 표준에서 고려하고 있는 기본적인 3차원 비디오 시스템일 수 있으며, 3차원 비디오 표준은 실제 영상과 실제 영상에 대응되는 깊이 정보 맵을 이용하여, 스테레오스코픽 영상뿐만 아니라 오토스테레오스코픽(autostereoscopic) 영상의 재생을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함할 수 있다.

송신측은 다시점(multi-view)의 영상 콘텐츠를 생성할 수 있다. 구체적으로, 송신측에서는 스테레오 카메라 및 다시점 카메라를 이용하여 비디오 정보를 생성하고, 깊이 정보 카메라를 이용하여 깊이 정보 맵(depth map, 또는 depth view)을 생성할 수 있다. 또한, 송신측에서는 변환기를 이용하여 2차원 영상을 3차원 영상으로 변환할 수도 있다. 송신측에서는 생성된 비디오 정보와 깊이 정보 맵 등을 이용하여 N(N≥2) 시점(view)(즉, 다시점)의 영상 콘텐츠를 생성할 수 있다. 이때, N 시점의 영상 콘텐츠에는 N 시점의 비디오 정보와 그것의 깊이 정보 맵(Depth-map) 정보 그리고 카메라 관련 부가 정보 등이 포함될 수 있다. N 시점의 영상 콘텐츠는 3차원 비디오 인코더에서 다시점 비디오 부호화 방법을 사용하여 압축될 수 있으며, 압축된 영상 콘텐츠(비트스트림)는 네트워크를 통해 수신측의 단말로 전송될 수 있다.

수신측(receiver)은 송신측으로부터 수신된 영상 콘텐츠를 복호화하여 다시점(multi-view)의 영상을 제공할 수 있다. 구체적으로, 수신측에서는 비디오 디코더(예를 들어, 3차원 비디오 디코더, 스테레오 비디오 디코더, 2차원 비디오 디코더 등)에서 다시점 비디오 복호화 방법을 사용하여 전송 받은 비트스트림을 복호화함으로써 N 시점의 영상을 복원할 수 있다. 이때, 복원된 N 시점의 영상과 깊이 정보 맵 기반 랜더링(DIBR; Depth-Image-Based Rendering) 과정을 이용하여 N 시점 이상의 가상 시점 영상들이 생성될 수도 있다. 생성된 N 시점 이상의 가상 시점 영상들은 다양한 입체 디스플레이 장치(예를 들어, N-시점 디스플레이, 스테레오 디스플레이, 2차원 디스플레이 등)에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.

도 2는 “balloons” 영상의 실제 영상과 깊이 정보 맵 영상의 일례를 나타내는 도면이다.

도 2의 (a)는 국제 표준화 기구인 MPEG의 3차원 비디오 부호화 표준에서 사용 중인 “balloons” 영상을 나타낸 것이다. 도 2의 (b)는 도 2의 (a)에 도시된 “balloons” 영상에 대한 깊이 정보 맵 영상을 나타낸 것이다. 도 2의 (b)에 도시된 깊이 정보 맵 영상은 화면에 보이는 깊이 정보를 화소당 8비트로 표현한 것이다.

깊이 정보 맵(depth map)은 가상 시점 영상을 생성하는데 사용되며, 깊이 정보 맵은 실세계에서 카메라와 실제 사물(object) 간의 거리(실사 영상과 동일한 해상도로 각 화소에 해당하는 깊이 정보)를 일정한 비트수로 표현한 것이다. 이때, 깊이 정보 맵은 깊이 정보 맵 카메라를 이용하거나, 실제 일반 영상(Texture)을 이용하여 획득할 수 있다.

깊이 정보 맵 카메라를 이용하여 획득한 깊이 정보 맵은 주로 정지된 객체나 장면에서 신뢰성 높은 깊이 정보를 제공하나, 일정한 거리 이내에서만 깊이 정보 맵 카메라가 작동한다는 문제점이 있다. 이때, 깊이 정보 맵 카메라는 레이저(laser)나 구조화된 광선(structured light) 기법 또는 TFL(Time-of-Flight of Light)에 기초한 깊이 측정기법을 사용할 수 있다.

깊이 정보 맵은 실제 일반 영상(Texture)과 변이 벡터(Disparity Vector)를 이용하여 생성될 수도 있다. 변이 벡터는 두 일반 영상 간의 시점 차이를 나타내는 정보를 의미한다. 변이 벡터는 현재 시점에서의 임의의 한 화소를 다른 시점에서의 화소들과 비교하여 가장 유사한 화소를 찾았을 때, 현재 시점에서의 임의의 한 화소와 다른 시점에서의 화소(현재 시점에서의 임의의 한 화소와 가장 유사한 화소) 간의 거리를 통해 획득할 수 있다.

실제 영상과 그것의 깊이 정보 맵은 하나의 카메라뿐만 아니라 여러 개의 카메라에서 획득된 영상일 수 있다. 여러 개의 카메라에서 획득된 영상은 독립적으로 부호화될 수 있고, 일반적인 2차원 비디오 부호화/복호화 코덱을 사용하여 부호화/복호화될 수도 있다. 또한, 여러 개의 카메라에서 획득된 영상은 시점 간의 상관성이 존재하므로, 여러 개의 카메라에서 획득된 영상은 부호화 효율을 높이기 위하여 서로 다른 시점들 간의 예측을 사용하여 부호화될 수 있다.

도 3은 영상을 부호화 및 복호화할 때 영상의 분할 구조를 개략적으로 나타내는 도면이다.

영상을 효율적으로 분할하기 위해 부호화 유닛(Coding Unit: CU)별로 부호화 및 복호화를 수행할 수 있다. 유닛은 구문 요소(syntax element)와 영상 샘플들이 포함된 블록을 합쳐서 일컫는 말이다. 유닛이 분할된다는 것은 유닛에 해당하는 블록을 분할한다는 것을 의미할 수 있다.

도 3을 참조하면, 영상(300)을 최대 부호화 유닛(Largest Coding Unit; LCU)(이하, LCU라 함) 단위로 순차적으로 분할한 후, LCU 마다 분할 구조를 결정한다. 본 명세서에서, LCU는 코딩 트리 유닛(Coding Tree Unit, CTU)과 동일한 의미로 사용될 수 있다. 분할 구조는 LCU(310) 내에서 영상을 효율적으로 부호화하기 위한 부호화 유닛(이하, CU라 함)의 분포를 의미하며, 이러한 분포는 하나의 CU를 그 가로 크기 및 세로 크기의 절반으로 감소된 4개의 CU로 분할할지 여부에 따라 결정될 수 있다. 분할된 CU는 동일한 방식으로 분할된 CU에 대해서 그 가로 크기 및 세로 크기가 절반씩 감소된 4개의 CU로 재귀적으로 분할될 수 있다.

이때, CU의 분할은 미리 정의된 깊이까지 재귀적으로 분할될 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보로서, 각 CU마다 저장될 수 있. 예컨대, LCU의 깊이는 0이고, SCU(Smallest Coding Unit)의 깊이는 미리 정의된 최대 깊이일 수 있다. 여기서, LCU는 상술한 바와 같이 최대 크기를 가지는 부호화 유닛이며, SCU(Smallest Coding Unit)는 최소 크기를 가지는 부호화 유닛이다.

LCU(310)로부터 가로 및 세로 크기의 절반으로 분할을 수행할 때마다 CU의 깊이는 1씩 증가한다. 예를 들어, 특정 깊이 L에서 CU의 크기가 2Nx2N라면, 분할이 수행되지 않는 경우에 CU의 크기는 여전히 2Nx2N이며, 분할이 수행되는 경우에 CU의 크기는 NxN이 된다. 이때, NxN 크기 CU의 깊이는 깊이 L+1이 된다. 즉, CU의 크기에 대응하는 N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소한다.

도 3을 참조하면, 최소 깊이가 0인 LCU의 크기는 64x64 화소들이고, 최대 깊이가 3인 SCU의 크기는 8x8 화소들일 수 있다. 이때, 64x64 화소들의 CU(LCU)의 깊이는 0, 32x32 화소들의 CU의 깊이는 1, 16x16 화소들의 CU의 깊이는 2, 8x8 화소들의 CU(SCU)의 깊이는 3으로 표현될 수 있다.

또한, 특정 CU를 분할할지에 대한 정보는 CU마다 1비트의 분할 정보를 통해 표현될 수 있다. 이 분할 정보는 SCU를 제외한 모든 CU에 포함될 수 있으며, 예컨대 CU를 분할하지 않을 경우에는 분할 정보에 0을 저장할 수 있고, CU를 분할할 경우에는 분할 정보에 1을 저장할 수 있다.

도 4는 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 것이다.

LCU로부터 분할된 CU 중 더 이상 분할(split)되지 않는 CU는 하나 이상의 예측 유닛으로 분할 또는 파티셔닝(partitioning)될 수 있다.

예측 유닛(이하, PU라 함)은 예측을 수행하는 기본 단위로서, 스킵(skip) 모드, 인터(inter) 모드, 인트라(intra) 모드 중 어느 하나로 부호화 및 복호화되며, 각 모드에 따라서 다양한 형태로 파티션될 수 있다.

도 4를 참조하면, 스킵 모드의 경우, CU의 파티션 없이, CU와 동일한 크기를 갖는 2Nx2N 모드(410)를 지원할 수 있다.

인터 모드의 경우, CU에 대하여 8가지의 파티션된 형태, 예컨대 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440), nRx2N 모드(445)를 지원할 수 있다.

인트라 모드의 경우, CU에 대하여 2Nx2N 모드(410), NxN 모드(425)를 지원할 수 있다.

도 5는 3차원 비디오 코덱(codec)에서 시점 간 예측(inter view prediction)의 구조를 나타내는 일례다.

시점 1(View 1)과 시점 2(View 2)는 시점 0(View 0)을 참조 영상으로 사용하여 시점 간 예측을 수행할 수 있으며, 부호화 순서는 시점 1(View 1)과 시점 2(View 2)보다 시점 0(View 0)이 먼저 부호화되어야 한다.

이때, 시점 0(View 0)은 다른 시점과 상관없이 독립적으로 부호화될 수 있으므로 독립적인 시점(Independent View)이라고 한다. 반면, 시점 1(View 1)과 시점 2(View 2)는 시점 0(View 0)을 참조 영상으로 사용하여 부호화되므로 의존적인 시점(Dependent View)라고 한다. 독립적인 시점 영상은 일반적인 2차원 비디오 코덱을 사용하여 부호화 될 수 있다. 반면, 의존적인 시점 영상은 시점 간 예측을 수행하여야 하므로, 시점 간 예측 과정이 포함된 3차원 비디오 코덱을 사용하여 부호화될 수 있다.

또한, 시점 1(View 1)과 시점 2(View 2)의 부호화 효율을 증가시키기 위하여 시점 1(View 1)과 시점 2(View 2)는 깊이 정보 맵을 이용하여 부호화될 수 있다. 예를 들어, 실제 영상과 그것의 깊이 정보 맵을 부호화할 때, 실제 영상과 깊이 정보 맵은 서로 독립적으로 부호화 및/또는 복호화될 수 있다. 또는 실제 영상과 깊이 정보 맵을 부호화할 때, 실제 영상과 깊이 정보 맵은 도 6과 같이 서로 의존적으로 부호화 및/또는 복호화될 수 있다.

도 6은 3차원 비디오 인코더 및/또는 디코더에서 실제 영상(texture view)과 깊이 정보 맵(depth view)을 부호화 및/또는 복호화하는 과정을 나타낸 일례다.

도 6을 참조하면, 3차원 비디오 인코더는 실제 영상(texture view)을 부호화하는 실제 영상 인코더(texture encoder)와 깊이 정보 맵(depth view)을 부호화하는 깊이 정보 맵 인코더(depth encoder)를 포함할 수 있다.

이때, 실제 영상 인코더는 깊이 정보 맵 인코더에 의해 부호화된 깊이 정보 맵을 이용하여 실제 영상을 부호화할 수 있다. 반대로, 깊이 정보 맵 인코더는 실제 영상 인코더에 의해 부호화된 실제 영상을 이용하여 깊이 정보 맵을 부호화할 수 있다.

3차원 비디오 디코더는 실제 영상을 복호화하는 실제 영상 디코더(texture decoder)와 깊이 정보 맵을 복호화하는 깊이 정보 맵 디코더(depth decoder)를 포함할 수 있다.

이때, 실제 영상 디코더는 깊이 정보 맵 디코더에 의해 복호화된 깊이 정보 맵을 이용하여 실제 영상을 복호화할 수 있다. 반대로, 깊이 정보 맵 디코더는 실제 영상 디코더에 의해 복호화된 실제 영상을 이용하여 깊이 정보 맵을 복호화할 수 있다.

도 7은 비디오 인코더의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 7은 멀티 뷰 구조에 대해 적용 가능한 비디오 인코더의 일 실시예를 나타내며, 멀티 뷰 구조에 대한 비디오 인코더는 단일 뷰 구조에 대한 비디오 인코더를 확장(extension)하여 구현될 수 있다. 이때, 도 7의 비디오 인코더는 도 6의 실제 영상 인코더 및/또는 깊이 정보 맵 인코더에서 사용될 수 있으며, 인코더는 부호화 장치를 의미할 수 있다.

도 7을 참조하면, 비디오 인코더(700)는 인터 예측부(710), 인트라 예측부(720), 스위치(715), 감산기(725), 변환부(730), 양자화부(740), 엔트로피 부호화부(750), 역양자화부(760), 역변환부(770), 가산기(775), 필터부(780) 및 참조 픽처 버퍼(790)를 포함한다.

비디오 인코더(700)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다.

인트라 예측(intra prediction)은 화면 내 예측(intra picture prediction)을 의미하며, 인터 예측(inter prediction)은 화면 간 (inter picture) 예측 또는 뷰 간 (inter-view) 예측을 의미한다. 인트라 모드인 경우 스위치(715)가 인트라 모드로 전환되고, 인터 모드인 경우 스위치(715)가 인터 모드로 전환된다.

비디오 인코더(700)는 입력 픽처의 블록(현재 블록)에 대한 예측 블록을 생성한 후, 현재 블록과 예측 블록의 차분을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(720)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 참조 화소로 이용할 수 있다. 인트라 예측부(720)는 참조 화소를 이용하여 현재 블록에 대한 예측 샘플들을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(710)는, 참조 픽처 버퍼(790)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)에 대응하는 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(710)는 움직임 벡터와 참조 픽처 버퍼(790)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.

멀티 뷰 구조에서, 인터 모드에서 적용되는 인터 예측은 인터 뷰 예측을 포함할 수 있다. 인터 예측부(710)는 참조 뷰의 픽처를 샘플링하여 인터 뷰 참조 픽처를 구성할 수도 있다. 인터 예측부(710)는 인터 뷰 참조 픽처를 포함하는 참조 픽처 리스트를 이용하여 인터 뷰 예측을 수행할 수 있다. 뷰 간의 참조 관계는 뷰 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.

한편, 현재 뷰의 픽처와 참조 뷰의 픽처가 동일 사이즈인 경우에 상기 참조 뷰 픽처에 적용되는 샘플링은 참조 뷰 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 뷰 픽처와 참조 뷰 픽처의 해상도가 상이한 경우에 상기 참조 뷰 픽처에 적용되는 샘플링은 업샘플링 또는 다운샘플링을 의미할 수 있다. 예컨대, 뷰 간 해상도가 다른 경우에는 참조 뷰의 복원된 픽처를 업샘플링하여 인터 뷰 참조 픽처가 구성될 수도 있다.

어떤 뷰의 픽처를 이용하여 인터 뷰 참조 픽처를 구성할 것인지는 부호화 비용(coding cost) 등을 고려하여 결정될 수 있다. 인코더는 인터 뷰 참조 픽처로 사용될 픽처가 속하는 뷰(view)를 특정하는 정보를 복호화 장치로 전송할 수 있다.

또한, 인터 뷰 예측에 있어서 참조되는 뷰, 즉 참조 뷰 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 뷰 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.

감산기(725)는 현재 블록과 예측 블록의 차분에 의해 레지듀얼 블록(residual block, 레지듀얼 신호)을 생성할 수 있다.

변환부(730)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우에, 변환부(730)는 레지듀얼 블록에 대한 변환을 생략할 수도 있다.

양자화부(740)는 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(750)는, 양자화부(740)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림을 출력할 수 있다. 엔트로피 부호화부(750)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.

부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 인코더에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수도 있다.

레지듀얼 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 블록 단위에서, 레지듀얼 신호는 레지듀얼 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화를 위해 지수 골룸(exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(750)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(750)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

양자화된 계수는 역양자화부(760)에서 역양자화되고 역변환부(770)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(775)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(780)를 거치고, 필터부(780)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(780)를 거친 복원 블록은 참조 영상 버퍼(790)에 저장될 수 있다.

도 8은 비디오 디코더의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 8은 멀티 뷰 구조에 대해 적용 가능한 비디오 디코더의 일 실시예를 나타내며, 멀티 뷰 구조에 대한 비디오 디코더는 단일 뷰 구조에 대한 비디오 디코더를 확장(extension)하여 구현될 수 있다.

이때, 도 8의 비디오 디코더는 도 6의 실제 영상 디코더 및/또는 깊이 정보 맵 디코더에서 사용될 수 있다. 설명의 편의를 위해, 본 명세서에서는 ‘복호화’와 ‘디코딩’가 혼용되거나 ‘복호화 장치’와 ‘디코더’가 혼용될 수도 있다.

도 8을 참조하면, 상기 비디오 디코더(800)는 엔트로피 복호화부(810), 역양자화부(820), 역변환부(830), 인트라 예측부(840), 인터 예측부(850), 필터부(860) 및 참조 픽처 버퍼(870)를 포함한다.

비디오 디코더(800)는 인코더에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.

인트라 모드인 경우 스위치가 인트라 예측을 위해 전환되고, 인터 모드인 경우 스위치가 인터 예측을 위해 전환될 수 있다.

비디오 디코더(800)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(810)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.

양자화된 계수는 역양자화부(820)에서 역양자화되고 역변환부(830)에서 역변환 된다. 양자화된 계수를 역양자화/역변환하여, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(840)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(850)는 움직임 벡터 및 참조 픽처 버퍼(870)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.

멀티 뷰 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 뷰 예측을 포함할 수 있다. 인터 예측부(850)는 참조 뷰의 픽처를 샘플링하여 인터 뷰 참조 픽처를 구성할 수 있다. 인터 예측부(850)는 인터 뷰 참조 픽처를 포함하는 참조 픽처 리스트를 이용하여 인터 뷰 예측을 수행할 수 있다. 뷰 간의 참조 관계는 뷰 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.

한편, 현재 뷰 픽처(현재 픽처)와 참조 뷰 픽처가 동일 사이즈인 경우에 상기 참조 뷰 픽처에 적용되는 샘플링은 참조 뷰 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 뷰 픽처와 참조 뷰 픽처의 해상도가 상이한 경우에 상기 참조 뷰 픽처에 적용되는 샘플링은 업샘플링 또는 다운샘플링을 의미할 수 있다.

예컨대, 뷰 간 해상도가 다른 경우에 뷰 간에 인터 뷰 예측이 적용된다면, 참조 뷰의 복원된 픽처를 업샘플링하여 인터 뷰 참조 픽처가 구성될 수 있다.

이때, 인터 뷰 참조 픽처로 사용될 픽처가 속하는 뷰를 특정하는 정보는 인코더로부터 디코더로 전송될 수 있다.

또한, 인터 뷰 예측에 있어서 참조되는 뷰, 즉 참조 뷰 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 뷰 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.

복원된 레지듀얼 블록과 예측 블록은 가산기(855)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.

복원된 픽처는 필터부(860)에서 필터링 된다. 필터부(860)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(860)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(870)에 저장되어 인터 예측에 사용될 수 있다.

도 7과 도 8에서는 각각의 모듈들이 서로 다른 기능을 수행하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며, 하나의 모듈에서 둘 이상의 기능을 수행할 있다. 예컨대, 도 7과 도 8에서 인트라 예측부와 인터 예측부의 동작은 하나의 모듈(예측부)에서 수행될 수도 있다.

한편, 도 7 및 도 8에서는 하나의 인코더/디코더가 멀티 뷰에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 인코더/디코더는 뷰별로 구성될 수도 있다.

이 경우, 현재 뷰의 인코더/디코더는 다른 뷰의 정보를 이용하여 현재 뷰의 부호화/복호화를 수행할 수 있다. 예컨대, 현재 뷰의 예측부(인터 예측부)는 다른 뷰의 픽셀 정보 또는 복원된 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있다.

여기서는, 뷰 간의 예측만을 예로서 설명하였으나, 인코더/디코더는 뷰별로 구성되든, 하나의 장치가 멀티 뷰를 처리하든 상관없이, 다른 뷰의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.

본 발명에서 뷰에 관한 설명은 스케일러빌러티를 지원하는 레이어(layer)에 대해서도 동일하게 적용될 수 있다. 예컨대, 본 발명에서 뷰(view)는 레이어(layer)일 수도 있다.

도 9는 3차원 비디오 코덱에 대한 예측 구조의 일례를 나타내는 도면이다. 설명의 편의상 도 9에서는 3대의 카메라에서 획득한 실제 영상과 실제 영상에 대응되는 깊이 정보 맵을 부호화하기 위한 예측 구조를 나타낸다.

도 9에서는 3대의 카메라에서 획득된 3개의 실제 영상은 시점(view)에 따라 T0, T1, T2로 나타내었고, 실제 영상에 대응되는 3개의 깊이 정보 맵은 시점(view)에 따라 각각 D0, D1, D2로 나타내었다. 여기서, T0와 D0는 시점 0(View 0)에서 획득한 영상이고, T1와 D1는 시점 1(View 1)에서 획득한 영상이며, T2와 D2는 시점 2(View 2)에서 획득한 영상이다. 이때, 도 9에 도시된 사각형은 영상(픽처)를 나타낸다.

각 영상(픽처)는 부호화/복호화 타입에 따라 I 픽처(Intra Picture), P 픽처(Uni-prediction Picture), B 픽처(Bi-prediction Picture)로 나뉘어지며, 각 픽처는 각 픽처의 부호화/복호화 타입에 따라 부호화/복호화될 수 있다. I 픽처에서는 인터 예측 없이 영상 자체를 부호화하고, P 픽처에서는 단방향에 존재하는 참조 영상만을 이용하여 인터 예측을 하며, B 픽처에서는 양방향에 존재하는 참조 영상을 이용하여 인터 예측을 수행할 수 있다. 이때, 도 9의 화살표는 예측 방향을 나타낸다. 즉, 예측 방향에 따라 실제 영상과 그것의 깊이 정보 맵은 서로 의존적으로 부호화/복호화될 수 있다.

인터 예측을 통해 영상의 부호화/복호화를 수행하기 위해서는 현재 블록의 움직임 정보가 필요하다. 현재 불륵의 움직임 정보를 유추하는 방법으로는 현재 블록과 인접한 블록의 움직임 정보를 이용하는 방법, 동일한 시점 내에서 시간적 상관성을 이용하는 방법, 또는 인접한 시점에서 시점 간 상관성을 이용하는 방법이 있으며, 상술한 인터 예측 방법은 한 픽처에서 혼용되어 사용될 수 있다. 여기서, 현재 블록은 예측이 수행되는 블록을 말한다. 움직임 정보는 움직임 벡터, 참조 영상 번호 및/또는 예측 방향(예컨대, 단방향 예측인지 양방향 예측인지, 시간적 상관성을 이용하는지, 또는 시점 간 상관성을 이용하는지 여부 등)을 의미할 수도 있다.

이때, 예측 방향은 참조 픽쳐 목록(Reference Picture List: RefPicList)의 사용에 따라 크게 단방향 예측과 양방향 예측으로 나누어 질 수 있다. 단방향 예측은 순 방향 참조 픽쳐 목록 (LIST 0, L0)을 사용하는 순방향 예측(Pred_L0: Prediction L0)과 역 방향 참조 픽쳐 목록 (LIST 1, L1)을 사용하는 역방향 예측(Pred_L1: Prediction L1)으로 구분된다. 또한, 양방향 예측(Pred_BI: Prediction BI)은 순방향 참조 픽쳐 목록(LIST 0)과 역방향 참조 픽쳐 목록(LIST 1)을 모두 사용하여, 순방향 예측과 역방향 예측이 모두 존재하는 것을 말할 수 있으며, 순방향 참조 픽쳐 목록 (LIST 0)을 역방향 참조 픽쳐 목록 (LIST 1)에 복사하여 순방향 예측이 두 개 존재하는 경우도 양 방향 예측에 포함할 수 있다.

예측 방향 여부는 predFlagL0, predFlagL1를 사용하여 정의할 수 있다. 이때, predFlagL0는 순방향 참조 픽쳐 목록(List 0)의 사용 여부를 지시하는 지시자이며, predFlagL1는 역방향 참조 픽쳐 목록(List 1)의 사용 여부를 지시하는 지시자에 해당된다. 예컨대, 단방향 예측이고 순방향 예측일 경우에는 predFlagL0가 '1'이 되고 predFlagL1은 '0'이 될 수 있고, 단방향 예측이고 역방향 예측일 경우에는 predFlagL0가 '0'이 되고 predFlagL1이 '1'이 될 수 있으며, 양방향 예측일 경우에는 predFlagL0가 '1'이 되고 predFlagL1이 '1'이 될 수 있다.

도 10은 현재 블록에 대한 머지 후보 리스트(merge candidate list)를 구성하는 데 사용되는 주변 블록들을 나타낸 일례다.

머지 모드(merge mode)는 인터 예측을 수행하는 방법 중 하나이며, 머지 모드에서는 현재 블록의 움직임 정보(예를 들어, 움직임 벡터, 참조 픽처 리스트, 참조 픽처 인덱스 중 적어도 하나)로서 현재 블록의 주변 블록의 움직임 정보를 이용할 수 있다. 이때, 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 것을 머징(merging), 움직임 병합(motion merging) 또는 병합 움직임 (merging motion)이라고 한다.

머지 모드에서는 부호화 유닛(Coding Unit: CU, 이하 ‘CU’라 함) 단위의 병합 움직임(merging)과 예측 유닛(Prediction Unit: PU, 이하 ‘PU’라 함) 단위의 병합 움직임이 가능하다.

블록 단위(예컨대, CU 또는 PU)(이하, 설명의 편의를 위해 ‘블록’이라 함) 로 병합 움직임을 수행하는 경우에는, 블록 파티션(partition)별로 병합 움직임을 수행할지 여부에 관한 정보와 현재 블록에 인접한 주변 블록 중 어떤 블록과 병합 움직임을 할 것인지에 대한 정보가 필요하다.

병합 움직임을 수행하기 위해서 머지 후보 리스트(merging candidate list)를 구성할 수 있다.

머지 후보 리스트는 움직임 정보들의 리스트를 나타내며, 머지 모드가 수행되기 전에 생성될 수 있다. 여기서, 머지 후보 리스트의 움직임 정보는 현재 블록에 인접한 주변 블록의 움직임 정보이거나, 이미 머지 후보 리스트에 존재하는 움직임 정보들을 조합하여 만든 새로운 움직임 정보일 수도 있다. 주변 블록의 움직임 정보(예컨대, 움직임 벡터 및/또는 참조 픽처 인덱스)는 주변 블록에 의해 특정되는 혹은 주변 블록에 저장된(주변 블록의 디코딩에 사용된) 움직임 정보일 수 있다.

이때, 주변 블록은 도 10에 도시된 바와 같이, 현재 블록과 공간적(spatial)으로 인접하여 위치한 주변 블록(neighboring block)(A, B, C, D, E)과, 현재 블록과 시간적(temporal)으로 대응하는 동일 위치의 후보 블록(co-located block)(H 혹은 M)을 포함할 수 있다. 동일 위치의 후보 블록은 현재 블록을 포함하는 현재 픽처와 시간적으로 대응하는 동일 위치의 픽처(co-located picture) 내 대응 위치의 블록을 말한다. 동일 위치의 픽처 내 H 블록이 가용하면 H 블록을 동일 위치의 후보 블록으로 결정하고, H 블록이 가용하지 않으면 동일 위치의 픽처 내 M 블록을 동일 위치의 후보 블록으로 결정할 수 있다.

머지 후보 리스트의 구성시, 주변 블록(A, B, C, D, E) 및 동일 위치의 후보 블록(H 혹은 M)의 움직임 정보가 현재 블록의 머지 후보 리스트를 구성하는 머지 후보(merge candidate)로 이용될 수 있는지 여부가 판단된다. 즉, 현재 블록의 인터 예측에 이용 가능한 블록의 움직임 정보가 머지 후보로서 머지 후보 리스트에 추가될 수 있다.

예컨대, X 블록에 대한 머지 후보 리스트를 구성하는 방법으로, 1) 우선 주변 블록 A가 사용 가능한 경우, 주변 블록 A를 머지 후보 리스트에 포함한다. 2) 이후, 주변 블록 B의 움직임 정보가 주변 블록 A의 움직임 정보와 동일하지 않을 경우에만 주변 블록 B를 머지 후보 리스트에 포함한다. 3) 동일한 방법으로 주변 블록 C의 움직임 정보가 주변 블록 B의 움직임 정보와는 다를 경우에만 주변 블록 C를 머지 후보 리스트에 포함하고, 4) 주변 블록 D의 움직임 정보가 주변 블록 C의 움직임 정보와는 다를 경우에만 주변 블록 D를 머지 후보 리스트에 포함한다. 아울러, 5) 주변 블록 E의 움직임 정보가 주변 블록 D의 움직임 정보와 다를 경우에만 주변 블록 E를 머지 후보 리스트에 포함하고, 6) 마지막으로, 머지 후보 리스트에는 주변 블록 H(혹은 M)를 포함시킨다. 즉, 각각의 주변 블록은 A→B→C→D→E→H(혹은 M) 블록 순서로 머지 후보 리스트에 추가될 수 있다. 여기서, 동일한 움직임 정보는 동일한 움직임 벡터, 동일한 참조 픽쳐, 및 동일한 예측 방향(단방향, 양방향)을 사용하는 것을 의미할 수 있다.

여기서는, 주변 블록을 머지 후보로서 머지 후보 리스트에 추가한다는 표현과 주변 블록의 움직임 정보를 머지 후보로서 머지 후보 리스트에 추가한다는 표현을 혼용하였으나, 이는 설명의 편의를 위한 것으로서, 두 표현은 실질적으로 상이하지 않다. 예컨대, 머지 후보로서의 주변 블록은 해당 블록의 움직임 정보를 의미한다고 할 수 있다.

도 11은 인터 예측에 있어서, 병합 움직임 후보 리스트를 구성하는 방법에 관한 순서도이다.

도 11을 참조하면, 인터 예측부에서는 병합 움직임 후보 즉, 머지 후보를 유도한다(S1100). 머지 후보에는 상술한 바와 같이 비디오 부호화/복호화 대상 블록의 움직임 정보를 효율적으로 부호화 하기 위하여, 주변의 움직임 정보가 이용될 수 있다. 3차원 비디오 부호화/복호화에서, 주변의 움직임 정보는 모션 파라미터 상속(Motion Parameter Inheritance, MPI), 인터 뷰 머지 후보(inter-view merging candidate, IvMC), A1, B1, B0, 인터 뷰 변이 벡터 후보(inter-view disparity vector candidate, IvDC), 뷰 합성 예측(View synthesis prediction, VSP), A0, B2, 쉬프트 인터 뷰(ShiftIV), Col, Bi 및 Zero 후보일 수 있다.

이때, MPI는 상술한 실제 영상의 움직임 정보를 상속하는 움직임 정보를 의미하고, IvMC는 시점 간 머지를 이용하는 움직임 정보를 의미하며, A1은 상술한 바와 같이 예측 대상 블록의 좌측에 위치한 블록의 움직임 정보를 의미한다. 또한, B1은 상술한 바와 같이 예측 대상 블록의 상측에 위치한 블록의 움직임 정보를 의미하고, B0는 상술한 바와 같이 예측 대상 블록의 우상측에 위치한 블록의 움직임 정보를 의미하며, IvDC는 상술한 변이 벡터를 이용(즉, 시차를 이용)하여 유도된 움직임 정보를 의미한다. 아울러, VSP는 시점을 합성하여 유도한 움직임 정보를 의미하고, A0은 상술한 바와 같이 예측 대상 블록의 좌하측에 위치한 블록의 움직임 정보를 의미하며, B2는 상술한 바와 같이 예측 대상 블록의 좌상측에 위치한 블록의 움직임 정보를 의미하고, ShiftIV는 보정된 시차를 이용하여 유도된 움직임 정보를 의미한다. Col은 상술한 바와 같이 현재 블록을 포함하는 현재 픽처와 시간적으로 대응하는 동일 위치의 픽처(co-located picture) 내 대응 위치의 블록을 통해 유도된 움직임 정보이고, Bi는 양방향을 이용하여 유도된 움직임 후보를 의미하며, Zero는 영 벡터를 의미한다.

이후, 인터 예측부에서는 유도된 머지 후보들이 머지 후보 리스트에 삽입된다(S1110). 인터 예측부에서는 엔트로피 부호화 효율을 증가시키기 위하여, 유도된 병합 움직임 후보들 중에서 통계적으로 가장 선택이 많이 되는 순서대로 머지 후보들이 리스트에 추가된다. 즉, 통계적으로 가장 선택이 많이 되는 머지 후보가 머지 후보 리스트의 첫 번째 위치에 삽입되며, 통계적으로 두 번째로 선택이 많이 되는 머지 후보가 머지 후보 리스트의 두 번째 위치에 삽입되고, 이후에도 인터 예측부에서는 통계적 정보에 기반하여, 통계적으로 많이 선택되는 머지 후보를 순서대로 머지 후보 리스트에 추가시키는 과정을 수행한다.

예를 들어, 3차원 비디오 부호화/복호화에서, 인터 예측부에서는 머지 후보가 MPI, IvMC, A1, B1, B0, IvDC, VSP, A0, B2, ShiftIV, Col, Bi, Zero 후보의 순서대로 머지 후보 리스트에 삽입될 수 있다.

<표 1>

표 1은 텍스처에서 머지 후보가 선택되는 비율의 일 예이다. 표 1의 후보는 각각 상술한 MPI, IvMC, A1, B1, B0, IvDC, VSP, A0, B2, ShiftIV, Col, Bi, Zero 후보에 해당하며, 표 1에는 MPI, IvMC, A1, B1, B0, IvDC, VSP, A0, B2, ShiftIV, Col, Bi, Zero 후보 각각이 선택되는 비율과, 엔트로피 부호화시 MPI, IvMC, A1, B1, B0, IvDC, VSP, A0, B2, ShiftIV, Col, Bi, Zero 후보의 평균 값이 나타나 있다. 이때, 텍스처에서는 MPI 후보가 사용되지 않으므로 IvMC가 0번째 인덱스를 차지하며, IvMC가 가장 높은 비율로 선택된다.

예컨대 표 1에서와 같이 IvMC가 선택되는 확률은 78%일 때, 3차원 영상 부호화/복호화 시 IvMC를 0번째 인덱스로 설정하여 엔트로피 부호화/복호화 할 경우에는 가장 많이 선택되는 머지 후보에 가장 적은 비트를 할당하게 되므로, 부호화/복호화 효율이 좋아지게 된다. 이후, 대체적으로 A1, B1, B0, IvDC, VSP, A0, B2, ShiftIV, Col, Bi, Zero 후보의 순으로 엔트로피 부호화가 되며, 이는 대체적으로 각각의 머지 후보가 선택되는 비율 순으로 엔트로피 부호화를 수행하게 되어 부호화/복호화 효율이 향상되게 된다.

영상 부호화/복호화에서 머지 후보 리스트를 구성 할 때, 상술한 바와 같이 여러 종류의 후보들이 사용되며, 여러 종류의 후보들에 대한 내용은 상술한 바와 같다.

이때, 현재 블록이 선택하는 머지 후보는 주변 블록에서 선택되는 머지 후보와 유사성을 보인다. 즉, 현재 블록에서 최종적으로 선택되는 움직임 정보는 주변 블록에서 선택된 움직임 후보와 유사할 가능성이 매우 높으며, 주변 블록은 공간적인(spatial) 주변 블록 및 3차원 영상 부호화/복호화에서 생기는 주변 블록을 의미할 수 있다. 공간적인 주변 블록은 A0, A1, B0, B1, B2, Col 등을 의미할 수 있으며, 공간적인 주변 블록의 구체적인 내용은 상술한 바와 같다. 3차원 영상 부호화/복호화에서 생기는 주변 블록은 MPI, IvMC, IvDC, VSP, ShiftIV, Col, Bi, Zero 후보를 의미할 수 있으며, 3차원 영상 부호화/복호화에서 생기는 주변 블록의 구체적인 내용은 상술한 바와 같다.

이하, 본 발명에서는 주변 블록이 특정 후보를 사용하는 경우, 주변 블록의 머지 후보를 현재 블록의 머지 후보로 설정하는 장치 및 방법을 제안한다. 즉, 본 발명에서는 3차원 영상 부호화/복호화 장치가 현재 블록의 부호화/복호화 시, 주변 블록에서 사용된 움직임 후보를 현재 블록의 움직임 후보로 사용하는 방법을 제안한다.

도 12는 본 발명의 일 실시예에 따른 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 방법에 관한 순서도이다.

도 12를 참조하면, 3차원 영상 부호화 장치는 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용할 수 있는지에 대해 결정한다(S1210). 이때, 현재 블록의 주변에 위치한 블록은 상술한 바와 같이 현재 블록의 공간적 주변 블록을 의미할 수 있고, 상술한 바와 같이 3차원 영상 부호화에서 생기는 주변 블록을 의미할 수도 있다.

현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용될 수 있는 경우, 3차원 영상 부호화 장치는 주변 블록에서 사용했던 움직임 후보를 현재 블록의 움직임 후보로 설정한다(S1230). 여기서, 주변 블록에서 사용했던 움직임 후보는 주변 블록에서 사용된 움직임 정보를 의미할 수 있으며, 현재 블록의 움직임 후보는 현재 블록의 움직임 정보를 의미할 수도 있다. 이때, 움직임 정보는 움직임 벡터, 참조 정보(참조 방향, 참조 픽처, 참조 블록 등) 등을 포함할 수 있으며, 움직임 벡터는 인터 예측 시 참조되는 블록의 위치를 특정하는 방향 정보를 포함할 수 있다.

이때, 3차원 영상 부호화 장치는 현재 블록을 부호화/복호화 할 때, 현재 블록의 머지 후보 리스트에서 움직임 정보로 사용될 후보의 인덱스를 부호화하지 않을 수 있다.

만약, 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용할 수 없는 경우, 3차원 영상 부호화 장치는 움직임 후보 인덱스를 생성하여 3차원 부호화/복호화 장치에 전송한다(S1220). 이때, 움직임 후보 인덱스는 머지 후보 리스트에 삽입되는 머지 후보들에 관한 정보를 의미할 수 있다.

도 13은 본 발명의 다른 실시예에 따른, 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 것을 3D-HEVC에 적용한 방법의 순서도이다.

도 13을 참조하면, 3차원 영상 부호화 장치는 아래 조건(1, 2) 중 어느 하나를 만족한다면, 머지 후보를 부호화 하지 않는다.

1. 현재 픽처가 깊이 맵이 아니고, 현재 시점과 동일한 이전 픽처 내의 동일위치 블록이 시점 간 움직임 후보(IVMC, Inter-view merging candidate)를 사용했으며, 현재블록에서 시점 간 움직임 후보를 사용 가능할 경우.

2. 현재 픽처가 깊이 맵이고, 현재 픽처에 상응하는 텍스처 내의 동일 위치 블록이 움직임 상속 후보(MPI, Motion Parameter Inheritance)를 사용했으며, 현재 블록에서 움직임 상속 후보를 사용 가능한 경우.

상술한 조건에 따라, 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 것을 3D-HEVC에 적용하는 방법의 보다 구체적인 내용은 아래와 같다.

3차원 부호화 장치는 layerID가 0이 아닌지에 대해 결정한다(S1310).

만약, layerID가 0이 아닌 경우, 3차원 부호화 장치는 VpsDepthFlag[layerID]를 판단한다(S1320).

VpsDepthFlag[layerID]가 존재하는 경우, 3차원 부호화 장치는 mpi_flag[nuh_layer_id]가 존재하고, colMergType이 T를 만족하며, T가 사용 가능한지에 대해 판단한다(S1330).

만약, mpi_flag[nuh_layer_id]가 존재하고, colMergType이 T를 만족하며, T가 사용 가능한 경우, 3차원 부호화 장치는 머지 인덱스를 0으로 설정한다(S1340).

단계 S1320에서, VpsDepthFlag[layerID]가 존재하지 않는 경우, 3차원 영상 부호화 장치는 iv_mv_pred_flag[nuh_layer_id]가 존재하고, colMergType가 IvMC이며, IvMC가 사용 가능한지에 대해 판단한다(S1350).

만약, 1) 단계 S1310에서 layerID가 0이 아니지 않을 경우 즉, layerID가 0일 경우, 2) 단계 S1330에서 mpi_flag[nuh_layer_id]가 존재하지 않거나, colMergType이 T를 만족하지 않거나, T가 사용 가능하지 않는 경우, 3) 단계 S1350에서 iv_mv_pred_flag[nuh_layer_id]가 존재하지 않거나, colMergType가 IvMC가 아니거나, IvMC가 사용 가능하지 않는 경우에는, 3차원 부호화 장치가 머지 인덱스를 복호화 한다(S1360).

도 14는 본 발명의 또 다른 실시예에 따른 3차원 영상 부호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 장치에 관한 블록도이다.

도 14를 참조하면, 인터 예측부(1400)는 판단부(1410), 설정부(1420) 및 인덱스 생성부(1430)을 포함한다. 여기서 인터 예측부는 상술한 영상 부호화 장치에 포함될 수 있다.

판단부(1410)는 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용할 수 있는지에 대해 결정한다. 이때, 판단부(1410)에서 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용할 수 있는지에 대해 결정하는 구체적인 내용은 상술한 바와 같다.

설정부(1420)는 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용될 수 있는 경우, 설정부(1420)는 주변 블록에서 사용했던 움직임 후보를 현재 블록의 움직임 후보로 설정할 수 있다. 이때, 설정부(1420)에서 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용될 수 있는 경우, 3차원 영상 부호화 장치는 주변 블록에서 사용했던 움직임 후보를 현재 블록의 움직임 후보로 설정하는 구체적인 내용은 상술한 바와 같다.

인덱스 생성부(1430)는 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용할 수 없는 경우, 움직임 후보 인덱스를 생성하여 3차원 부호화/복호화 장치에 전송할 수 있다. 이때, 인덱스 생성부가 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용할 수 없는 경우, 움직임 후보 인덱스를 생성하여 3차원 부호화/복호화 장치에 전송하는 구체적인 내용은 상술한 바와 같다.

도 15는 본 발명의 또 다른 실시예에 따른 3차원 영상 복호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 방법에 관한 순서도이다.

도 15를 참조하면, 3차원 영상 복호화 장치는 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용할 수 있는지에 대해 결정한다(S1510). 이때, 현재 블록의 주변에 위치한 블록은 상술한 바와 같이 현재 블록의 공간적 주변 블록을 의미할 수 있고, 상술한 바와 같이 3차원 영상 부호화에서 생기는 주변 블록을 의미할 수도 있다.

현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용될 수 있는 경우, 3차원 영상 복호화 장치는 주변 블록에서 사용했던 움직임 후보를 현재 블록의 움직임 후보로 설정한다(S1520). 여기서, 주변 블록에서 사용했던 움직임 후보는 주변 블록에서 사용된 움직임 정보를 의미할 수 있으며, 현재 블록의 움직임 후보는 현재 블록의 움직임 정보를 의미할 수도 있다. 아울러, 움직임 후보의 구체적인 내용은 상술한 바와 같다.

3차원 영상 복호화 장치가 현재 블록을 부호화/복호화 할 때, 현재 블록의 머지 후보 리스트에서 움직임 정보로 사용될 후보의 인덱스를 복호화하지 않을 수 있다.

만약, 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용할 수 없는 경우, 3차원 영상 복호화 장치는 움직임 후보 인덱스를 수신한다(S1530). 이때, 움직임 후보 인덱스는 머지 후보 리스트에 삽입되는 머지 후보들에 관한 정보를 의미할 수 있다.

도 16은 본 발명의 또 다른 실시예에 따른 3차원 영상 복호화시 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용하는 장치에 관한 블록도이다.

도 16을 참조하면, 인터 예측부(1600)는 판단부(1610), 인덱스 수신부(1620) 및 설정부(1630)를 포함할 수 있다. 이때, 인터 예측부는 상술한 영상 부호화 장치 및/또는 복호화 장치에 포함될 수 있다.

판단부(1610)는 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용할 수 있는지에 대해 결정한다. 이때, 판단부(1610)에서 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용할 수 있는지에 대해 결정하는 구체적인 내용은 상술한 바와 같다.

인덱스 수신부(1620)는 움직임 후보 인덱스를 수신한다. 움직임 후보 인덱스는 주변 블록에서 사용했던 움직임 후보를 현재 블록에서 사용할 수 없는 경우, 현재 블록에서 머지 후보를 생성할 때 사용되며, 움직임 후보 인덱스의 구체적인 내용은 상술한 바와 같다.

설정부(1630)는 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용될 수 있는 경우, 설정부(1630)는 주변 블록에서 사용했던 움직임 후보를 현재 블록의 움직임 후보로 설정할 수 있다. 이때, 설정부(1630)에서 현재 블록의 주변에 위치한 블록에서 사용된 움직임 후보가 현재 블록의 움직임 후보로 사용될 수 있는 경우, 설정부(1630)가 주변 블록에서 사용했던 움직임 후보를 현재 블록의 움직임 후보로 설정하는 구체적인 내용은 상술한 바와 같다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안 될 것이다.

Claims (1)

1. 주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한지 여부에 대해 결정하는 단계; 및
   주변 블록에서 사용된 머지 후보가 현재 블록에서도 사용 가능한 경우, 상기 주변 블록에서 사용된 상기 머지 후보를 상기 현재 블록의 머지 후보로 설정하는 단계
   를 포함하는 3차원 영상 복호화 방법.
   

Images