KR102011428B1 - 영상 병렬 처리 방법 및 장치 - Google Patents

Abstract

본 개시는 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부/복호화 방법 및 장치에 관한 것이다. 본 개시에 따르는 영상의 부호화 방법은 서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계, 상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하는 단계, 및 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하는 단계를 포함할 수 있다.

Description

영상 병렬 처리 방법 및 장치{METHOD AND APPARATUS FOR PARALLEL PROCESSING IMAGE}

본 개시는 영상의 부/복호화 방법 및 장치에 관한 것이다.

구체적으로, 본 개시는 가상 현실 영상의 부/복호화 방법 및 장치에 관한 것이며, 보다 구체적으로, 가상 현실 영상의 부/복호화의 병렬 처리 방법 및 장치에 관한 것이다.

최근 HD(High Definition), UHD(Ultra High Definition) 해상도(1920x1080 혹은 3840x2160)를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되고 있다. 사용자들은 고해상도, 고화질의 영상에 익숙해지고 있으며 그에 발맞춰서 많은 기관에서는 차세대 영상기기에 대한 개발에 박차를 가하고 있다.

현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 공동으로 차세대 비디오 코덱인 HEVC(High Efficiency Video Coding)의 표준화를 완료하였다. 이에 따르면, UHD 영상을 포함한 영상에 대한 압축 효율은 H.264/AVC 대비 2배의 압축 효율을 보인다. 영상의 해상도가 높아지고 기술이 개발됨에 따라 기존에 2D영상 뿐 아니라 스테레오스코픽 영상이나 전방향(360도) 비디오와 같은 실감형 영상에 대한 관심이 높아지고 있다. 이에 따라 많은 기업에서 헤드 마운트 디스플레이나 실감형 영상을 재생할 수 있는 장치가 출시되고 있다.

본 개시의 기술적 과제는 영상의 부/복호화 효율을 향상시키는 방법 및 장치를 제공하는 것이다.

본 개시의 다른 기술적 과제는 가상 현실 영상의 부/복호화 효율을 향상시키는 방법 및 장치를 제공하는 것이다.

본 개시의 또 다른 기술적 과제는 가상 현실 영상의 부/복호화를 병렬 처리하기 위한 방법 및 장치를 제공하는 것이다.

본 개시의 또 다른 기술적 과제는 다면체 360도 VR 영상과 같이, 복수의 퍼스펙티브(perspective)를 가진 영상의 부/복호화 속도를 향상시키는 방법 및 장치를 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시에 따른, 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부호화 방법은, 서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계, 상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하는 단계, 및 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하는 단계를 포함할 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제3 퍼스펙티브에 대한 부호화는, 상기 제1 및 제2 퍼스펙티브 영상의 부호화에 따라 의존성이 해결된 두 개의 블록으로부터 시작될 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제3 퍼스펙티브의 부호화가 시작되는 두 개의 블록의 각각의 위치는, 상기 제1 및 제2 퍼스펙티브 영상의 부호화가 시작되는 각각의 위치에 기초하여 결정될 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제3 퍼스펙티브의 부호화가 시작되는 두 개의 블록의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 부호화가 시작되는 각각의 위치에 인접한 블록일 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 부호화 진행 방향의 각각은, 기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각에 기초하여 결정될 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 부호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각의 수직 방향일 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각은 상하 방향 또는 좌우 방향 중 하나의 방향으로 서로 반대일 수 있다.

본 개시에 따른 영상의 부호화 방법에 있어서, 상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각은 상하 방향 및 좌우 방향의 모든 방향으로 서로 반대일 수 있다.

본 개시에 따른, 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 복호화 방법은, 서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계, 상기 제1 및 제2 퍼스펙티브 영상에 대한 복호화를 시작하는 단계, 및 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 복호화를 시작하는 단계를 포함할 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제3 퍼스펙티브에 대한 복호화는, 상기 제1 및 제2 퍼스펙티브 영상의 복호화에 따라 의존성이 해결된 두 개의 블록으로부터 시작될 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제3 퍼스펙티브의 복호화가 시작되는 두 개의 블록의 각각의 위치는, 상기 제1 및 제2 퍼스펙티브 영상의 복호화가 시작되는 각각의 위치에 기초하여 결정될 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제3 퍼스펙티브의 복호화가 시작되는 두 개의 블록의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 복호화가 시작되는 각각의 위치에 인접한 블록일 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 복호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각에 기초하여 결정될 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 복호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각의 수직 방향일 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각은 상하 방향 또는 좌우 방향 중 하나의 방향으로 서로 반대일 수 있다.

본 개시에 따른 영상의 복호화 방법에 있어서, 상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각은 상하 방향 및 좌우 방향의 모든 방향으로 서로 반대일 수 있다.

본 개시에 따른, 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부호화 장치는, 서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하고, 상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하고, 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하도록 구성될 수 있다.

본 개시에 따른, 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 복호화 장치는, 서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하고, 상기 제1 및 제2 퍼스펙티브 영상에 대한 복호화를 시작하고, 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 복호화를 시작하도록 구성될 수 있다.

본 개시에 따른, 비트스트림을 저장한 기록 매체는, 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부호화 방법에 의해 생성된 비트스트림을 저장할 수 있다. 상기 영상의 부호화 방법은, 서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계, 상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하는 단계, 및 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하는 단계를 포함할 수 있다.

본 개시에 따르면, 영상의 부/복호화 효율을 향상시키는 방법 및 장치를 제공할 수 있다.

또한, 본 개시에 따르면, 가상 현실 영상의 부/복호화 효율을 향상시키는 방법 및 장치를 제공할 수 있다.

또한, 본 개시에 따르면, 가상 현실 영상의 부/복호화를 병렬 처리하는 방법 및 장치를 제공할 수 있다.

또한, 본 개시에 따르면, 다면체 360도 VR 영상과 같이, 복수의 퍼스펙티브(perspective)를 가진 영상의 부/복호화 속도를 향상시키는 방법 및 장치를 제공할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 360도 비디오를 촬영하기 위한 다양한 종류의 카메라를 예시한 도면이다.
도 2는 360도 비디오를 3차원 공간상에 투영시킨 영상을 예시적으로 도시한 도면이다.
도 3은 본 개시에 따른 영상 부호화 장치의 구조를 예시한 도면이다.
도 4는 본 개시에 따른 영상 복호화 장치의 구조를 예시한 도면이다.
도 5는 다이버전트 카메라 영상 및 컨버전트 카메라 영상을 예시적으로 설명하기 위한 도면이다.
도 6은 영상의 분할을 설명하기 위한 예시도이다.
도 7은 영상 내에서 WPP 처리 순서를 설명하기 위한 도면이다.
도 8은 타일 기반 병렬 처리를 설명하기 위한 도면이다.
도 9는 360도 전방향 비디오를 부/복호화하기 위한 전개도를 예시한 도면이다.
도 10은 360도 전방향 영상을 정육면체에 투영한 경우의 전개도를 설명하기 위한 도면이다.
도 11은 정육면체에 투영되는 전방향 영상을 2차원으로 전개하기 위한 다양한 방식을 설명하기 위한 도면이다.
도 12는 인접한 퍼스펙티브에 속하는 CTU 사이의 의존성을 설명하기 위한 예시도이다.
도 13은 전개 방식에 따른 부/복호화 종료 시점을 설명하기 위한 도면이다.
도 14는 전개도에 따른 영상 처리 시간의 차이를 설명하기 위한 도면이다.
도 15는본 개시에 따른 영상 병렬 처리를 설명하기 위한 개념도이다.
도 16은 본 개시에 따른 영상 병렬 처리를 설명하기 위한 흐름도이다.
도 17은 정육면체 상에서의 전방향 영상의 처리 순서를 예시한 도면이다.
도 18은 도 17의 전방향 영상을 전개한 전개도를 예시한 도면이다.
도 19는 정육면체 전개도 형태의 360도 VR 영상의 일 예이다.
도 20은 도 19의 비디오를 병렬적으로 부/복호화하는 단계(스텝 1)를 설명하기 위한 도면이다.
도 21은 도 19의 비디오를 병렬적으로 부/복호화하는 단계(스텝 2)를 설명하기 위한 도면이다.
도 22는 도 19의 비디오를 병렬적으로 부/복호화하는 단계(스텝 3)를 설명하기 위한 도면이다.
도 23은 퍼스펙티브의 부/복호화 방향을 설명하기 위한 예시도이다.
도 24는 정육면체 전방향 영상에 있어서, 이웃하지 않는 두 개의 퍼스펙티브에 대한 부/복호화 순서를 설명하기 위한 도면이다.
도 25는 정육면체 전방향 영상에 있어서, 마주보는 두 개의 퍼스펙티브의 부/복호화 순서를 설명하기 위한 도면이다.
도 26은 도 25의 (a) 및 (b)에 따른 차이를 설명하기 위한 도면이다.
도 27은 도 25의 (b)에 따른 부/복호화를 설명하기 위한 도면이다.
도 28은 둘 이상의 퍼스펙티브를 참조할 수 있는 퍼스펙티브의 부/복호화를 설명하기 위한 도면이다.
도 29는 하나의 퍼스펙티브를 두 개의 영역으로 분할하고, 각각의 영역을 부/복호화하는 방법을 설명하기 위한 도면이다.
도 30은 둘 이상의 퍼스펙티브를 참조하는 경우의 부/복호화 처리 순서를 설명하기 위한 도면이다.
도 31은 정육면체 전방향 영상의 부/복호화 순서를 설명하기 위한 예시도이다.
도 32는 본 개시에 따른 부호화 장치의 구성을 예시한 도면이다.
도 33은 본 개시에 따른 복호화 장치의 구성을 예시한 도면이다.
도 34는 퍼스펙티브의 처리 순서를 변환하는 방법을 설명하기 위한 예시도이다.
도 35는 33가지 공간적 예측 모드를 예시한 도면이다.
도 36은 이웃 퍼스펙티브의 예측 모드를 참조한 현재 퍼스펙티브의 공간적 예측을 설명하기 위한 예시도이다.
도 37은 현재 블록과 참조 블록의 예측 모드의 차이를 설명하기 위한 도면이다.
도 38은 참조 블록의 방향성 예측 모드의 해석 방법을 설명하기 위한 도면이다.
도 39는 퍼스펙티브의 전개 방식에 따른 방향성 예측 모드의 8 가지 경우를 예시한 도면이다.
도 40은 정육면체 전방향 영상의 공간적 예측에 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 41은 정육면체 전방향 영상을 전개도상에의 연속성을 활용하여 병렬 처리하는 방법을 설명하기 위한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

본 개시는 영상의 병렬 처리에 관한 것이다. 구체적으로, 본 개시는 다양한 시점을 가진 영상을 병렬적으로 부/복호화함으로써 처리 속도를 높이는 장치에 관한 것이다. 다양한 시점을 가진 영상은 예컨대, 360도 동영상, 전방향 비디오, 다면체 360도 VR 영상 등일 수 있다. 본 개시에 따른 영상의 부/복호화에 있어서, 영상 내 또는 영상 간의 여러 방향으로의 참조가 가능하다는 점이 이용될 수 있다. 본 개시에서, 퍼스펙티브(perspective, 또는 시점)란 비디오를 촬영하는 카메라의 위치 또는 카메라의 방향을 의미할 수 있다.

기존의 2D 비디오는 고정된 시점을 갖는다. 그러나, 전방향 비디오 또는 360도 비디오는 사용자가 원하는 시점으로 볼 수 있는 비디오를 의미한다. 전방향 비디오 또는 360도 비디오는 여러 대의 카메라, 어안 렌즈 또는 반사경을 이용하여 한 지점으로부터 360도의 모든 방향을 촬영한 뒤 3차원 공간상의 다면체 또는 구에 투영시킴으로써 획득될 수 있다. 전방향 비디오 또는 360도 비디오는 전체 영역 중 사용자가 바라보는 시점에 대응하는 영역만 재생될 수 있다.

도 1은 360도 비디오를 촬영하기 위한 다양한 종류의 카메라를 예시한 도면이다.

도 1의 (a)는 여러 대의 카메라를 예시한 것이고, 도 1의 (b)는 어안 렌즈를 예시한 것이다. 도 1의 (c)는 반사경을 예시한 것이다.

도 2는 360도 비디오를 3차원 공간상에 투영시킨 영상을 예시적으로 도시한 도면이다.

도 2의 (a)는 360도 영상을 3차원 공간의 다면체에 투영시킨 예를 나타낸다. 도 2의 (b)는 360도 영상을 3차원 공간의 구에 투영시킨 예를 나타낸다. 도 2의 예에서, 음영으로 표시된 부분은 360도 영상 중 재생되는 위치를 가리킨다. 즉, 도 2의 음영 부분은 사용자가 바라보는 시점에 대응하는 영역일 수 있다.

전방향 비디오(360도 비디오)를 압축 부호화하기 위해, 2D 비디오를 압축 부호화하기 위한 방법 및 장치가 사용될 수 있다.

도 3 및 4는 본 개시에 따른 영상 부호화 장치 및 복호화 장치의 구조를 예시한 도면이다.

도 3의 영상 부호화 장치는 입력 영상을 수신하여 부호화함으로써 비트스트림을 생성할 수 있다. 영상 부호화 장치는 복원 픽쳐 버퍼(301), 화면 간 예측부(302), 화면 내 예측부(303), 스위치(304), 감산기(305), 변환부(306), 양자화부(307), 부호화부(308), 역양자화부(309), 역변환부(310) 및/또는 가산기(311)를 포함할 수 있다.

입력 영상은 블록 단위로 부호화될 수 있다. 현재 블록은 이미 부/복호화된 영상에 기초하여 화면 내 예측 또는 화면 간 예측될 수 있다.

현재 블록이 화면 내 예측되는 경우, 스위치(304)는 화면 내 예측부(303)로 전환될 수 있다. 화면 내 예측부(303)는 현재 픽쳐 내의 이미 부/복호화된 영역을 참조하여 현재 블록을 예측할 수 있다. 현재 블록이 화면 간 예측되는 경우, 스위치(304)는 화면 간 예측부(302)로 전환될 수 있다. 화면 간 예측부(302)는 이미 부/복호화되어 복원 픽쳐 버퍼(301)에 저장된 적어도 하나의 픽쳐를 참조하여 현재 블록을 예측할 수 있다.

화면 내 예측 또는 화면 간 예측에 의해 생성된 현재 블록의 예측 블록은 감산기(305)로 전송될 수 있다. 감산기(305)는 현재 블록과 현재 블록의 예측 블록 간의 차분 블록을 생성할 수 있다. 생성된 차분 블록에 대해 변환부(306)에서의 변환 및/또는 양자화부(307)에서의 양자화가 수행될 수 있다. 변환 및/또는 양자화를 거친 차분 계수(residual coefficient)는 부호화부(308)에서 부호화될 수 있다. 부호화부(308)는 예컨대, 심볼의 발생 확률에 기초한 엔트로피 부호화를 수행할 수 있다.

변환 및/또는 양자화된 차분 블록에 대해 역양자화부(309)에서의 역양자화 및/또는 역변환부(310)에서의 역변환이 수행될 수 있다. 역양자화 및/또는 역변환된 차분 블록은 가산기(311)로 전송될 수 있다. 가산기(311)는 전송받은 차분 블록을 현재 블록의 예측 블록과 가산하여 현재 블록을 복원할 수 있다. 복원된 블록을 포함하는 복원 픽쳐는 복원 픽쳐 버퍼(301)에 저장될 수 있다.

도 4의 영상 복호화 장치는 비트스트림을 수신하여 복호화함으로써 복원 영상을 생성할 수 있다. 영상 복호화 장치는 복호화부(401), 역양자화부(402), 역변환부(403), 가산기(404), 화면 간 예측부(405), 화면 내 예측부(406), 스위치(407) 및/또는 복원 픽쳐 버퍼(408)를 포함할 수 있다.

복호화부(401)는 비트스트림을 복호화하여 현재 블록의 차분 블록을 생성할 수 있다. 복호화부(401)는 예컨대, 심볼의 발생 확률에 기초한 엔트로피 복호화를 수행할 수 있다. 차분 블록은 변환 및/또는 양자화된 차분 계수를 포함할 수 있다.

변환 및/또는 양자화된 차분 계수를 포함하는 차분 블록에 대해 역양자화부(402)에서의 역양자화 및/또는 역변환부(403)에서의 역변환이 수행될 수 있다. 역양자화 및/또는 역변환된 차분 블록은 가산기(404)로 전송될 수 있다. 가산기(404)는 전송받은 차분 블록을 현재 블록의 예측 블록과 가산하여 현재 블록을 복원할 수 있다. 복원된 블록을 포함하는 복원 픽쳐는 복원 픽쳐 버퍼(408)에 저장될 수 있다.

가산기(404)로 입력되는 현재 블록의 예측 블록은 이미 복호화된 영상에 기초하여 생성될 수 있다. 현재 블록이 화면 내 예측되는 경우, 스위치(407)는 화면 내 예측부(406)로 전환될 수 있다. 화면 내 예측부(406)는 현재 픽쳐 내의 이미 부/복호화된 영역을 참조하여 현재 블록을 예측할 수 있다. 현재 블록이 화면 간 예측되는 경우, 스위치(407)는 화면 간 예측부(405)로 전환될 수 있다. 화면 간 예측부(405)는 이미 부/복호화되어 복원 픽쳐 버퍼(408)에 저장된 적어도 하나의 픽쳐를 참조하여 현재 블록을 예측할 수 있다.

본 개시에 따른 부/복호화 방법은 전방향(360도) 비디오 외에도 실감 미디어 영상에 적용될 수 있다. 실감 미디어 영상은 다이버전트(Divergent) 카메라 영상, 컨버전트(Convergent) 카메라 영상 등을 포함할 수 있다.

도 5는 다이버전트 카메라 영상 및 컨버전트 카메라 영상을 예시적으로 설명하기 위한 도면이다.

다이버전트 카메라 영상은 여러 대의 카메라(C1, C2, C3)를 이용하여 획득한 다양한 방향의 영상(W1, W2, W3)을 포함할 수 있다. 컨버전트 카메라 영상은 여러 대의 카메라(C1 내지 C4)를 이용하여 획득한 특정 방향의 영상(W, W2, W3, W4)을 포함할 수 있다.

동영상 부호화 장치는 정지 영상 또는 동영상을 압축할 수 있다. 동영상 부호화 장치는 영상 전체를 하나의 처리 단위로 압축하는 프레임(Frame) 기반 압축 또는 영상을 특정 블록 단위로 나누어서 처리하는 블록(Block) 기반 압축 등을 수행할 수 있다. 프레임 기반 압축을 수행하는 영상 부/복호화 장치는 예측 기술을 적용하기 어렵고, 많은 메모리와 계산량을 요구하는 문제점이 있다. 따라서, 대부분의 영상 부/복호화 장치들은 블록 기반 압축을 수행하고 있다.

블록 기반 압축은 예컨대, 영상을 큰 블록 단위인 부호화 트리 유닛(Coding Tree Unit, CTU)으로 분할하여 수행할 될 수 있다. CTU들은 순차 주사 순서로 부/복호화될 수 있다. 순차 주사 순서는 래스터 스캔 순서 또는 Z 스캔 순서일 수 있다. 예컨대, CTU는 보다 작은 블록 단위인 코딩 유닛(Coding Unit, CU)로 분할된 후 부/복호화될 수 있다. 이러한 방식은 영상의 특성에 따라 블록의 크기를 보다 정밀하게 조정할 수 있으므로, 압축 효율면에서 유리하다.

도 6은 영상의 분할을 설명하기 위한 예시도이다.

도 6의 (a)는 한 영상을 CTU 단위로 나눈 모습을 나타낸다. 도 6의 (a)를 참조하면, 각각의 CTU는 순차 주사 순서에 따라, CTU A에서 CTU K의 순서로 부/복호화될 수 있다.

블록 기반 동영상 압축 장치는 영상 내의 이웃 블록 간 상관도를 이용하여 중복되는 정보를 없앰으로써, 전송할 정보의 양을 줄여, 압축 효율을 높일 수 있다. 도 6의 (a)를 참조하면, CTU F의 부/복호화가 시작되는 시점에서는 이웃 CTU인 B, C, D, E의 부/복호화가 완료되어 있다. 따라서 이웃 CTU의 정보들을 이용하여 CTU F의 압축 효율을 높일 수 있다. 이는 CTU F를 복호화하기 위해서는 CTU B, C, D, E의 복호화가 완료되어 있어야함을 의미할 수도 있다.

도 6의 (b)는 CTU를 재귀적으로 분할하는 예를 나타낸다. 전술한 바와 같이, CTU는 복수의 CU들로 분할될 수 있고, 이 때, 재귀적인 분할이 적용될 수 있다. 재귀적인 분할을 위해 예컨대, 쿼드 트리 분할이 이용될 수 있다. 도 6의 (b)에 도시된 예에서와 같이, CTU F는 4개의 CU로 분할될 수 있다. 이 때, CTU F의 분할 여부를 지시하는 분할 플래그는 1일 수 있다. 분할된 각 CU는 Z 스캔 순서로 부/복호화될 수 있다. 또한, 각 CU는 다시 4개의 CU로 분할될 수 있다. 또는 각 CU는 해당 깊이에서 분할이 중단될 수 있다. 각 CU의 분할 플래그는 해당 CU의 분할 여부를 나타낼 수 있다. 이와 같은, 재귀적 분할은 분할 플래그 값 또는 영상에서 명시된 분할 허용 최대 깊이에 이르러 중단될 수 있다. 도 6의 (b)에 도시된 바와 같이, CTU F는 4개의 CU로 분할되고 Z스캔 순으로 첫번째, 두번째 및 세번째 CU는 분할되지 않을 수 있다. 또한, 4번째 CU F1은 다시 4개의 CU로 분할될 수 있다. CU F1을 분할하여 생성된 4개의 CU 중 Z스캔 순서로 첫번째, 두번째 및 세번째 CU는 분할되지 않을 수 있다. 또한, 네번째 CU F2는 다시 4개의 CU로 분할될 수 있다. 도 6의 (b)에 예시된 분할 구조를 통해 영상 안에서 예측 블록의 크기를 조정할 수 있게 되어 예측의 효율을 향상시킬 수 있다.

영상의 부/복호화 속도를 향상시키기 위해 WPP(Wavefront Parallel Processing) 및/또는 타일(Tile) 기반 부/복호화가 이용될 수 있다. Wavefront 기술은 픽셀 정보에 대한 의존성이 해결될 경우 병렬 처리를 시작하는 기술이다. 도 6의 (a)를 참조하면, CTU D는 상단 행의 CTU인 B의 부/복호화가 완료되면 픽셀 정보 대한 의존성이 해결될 수 있다. 따라서, CTU B의 정보를 이용한 예측 알고리즘을 적용할 수 있다. 마찬가지로 CTU H는 상단 행의 CTU E의 부/복호화가 완료되면 픽셀 정보에 대한 의존성이 해결될 수 있다. 따라서, CTU E의 정보를 이용한 예측 알고리즘을 적용할 수 있다. 하지만 픽셀 정보 의존성을 고려하여 영상을 병렬적으로 부/복호화 하더라도 엔트로피 코딩은 병렬적으로 진행하지 못하고 순차 주사 순서로 실행이 된다. 따라서, 엔트로피 코딩이 부/복호화시 병렬 처리의 병목 지점이 되고 있다. 이러한 문제점은 WPP의 적용에 의해 해결될 수 있다. WPP는 추가적으로 엔트로피 코딩에 대해서도 병렬적인 부/복호화를 지원할 수 있다. 이를 위하여 각 CTU의 행 단위로 서브 비트스트림을 생성하고 해당 서브 비트스트림들의 위치를 슬라이스 헤더에 전송해 줌으로써 각 서브 비트스트림에 대해서 병렬적인 엔트로피 코딩을 가능하게 해준다. 즉 WPP를 통해 각 행마다 엔트로피 코딩을 독립적으로 사용할 수 있다.

WPP에서는 엔트로피 코딩의 부호화 효율 저하를 최소화하는 동시에 병렬 부/복호화를 지원하기 위해, 하단 행은 상단 행의 2번째 블록이 완성될 시점에서 엔트로피 문맥 모델을 획득하고 부/복호화를 시작한다. 현재 블록과 이웃 블록은 상관도가 높다. 따라서, 각 행에서 완전히 초기화된 문맥 모델을 사용하는 것보다 업데이트된 문맥 정보를 이웃 블록으로부터 획득하여, 현재 행의 문맥 모델을 초기화하는 것이 부/복호화기의 압축 효율을 높이는데 더 유리하다.

도 7은 영상 내에서 WPP 처리 순서를 설명하기 위한 도면이다.

도 7의 영상내 블록은 CTU를 의미한다. 블록 내 숫자는 각 CTU의 처리 순서를 의미한다. 도 7의 화살표는 상단 행의 문맥 정보를 획득하여 현재 행의 문맥 모델을 초기화는 것을 나타낸다.

도 7에 있어서, 음영처리된 CTU는 부호화 및/또는 복호화가 완료된 CTU를 나타낸다. 또한, 음영처리되지 않은 CTU는 아직 부호화 및/또는 복호화가 시작되지 않은 CTU를 나타낸다.

도 8은 타일 기반 병렬 처리를 설명하기 위한 도면이다.

도 8에 도시된 바와 같이, 한 픽쳐는 직사각형 모양을 갖는 여러 개의 타일(예컨대, 6개의 타일)로 분할될 수 있다. 각각의 타일은 서로 독립적인 영역으로 부/복호화될 수 있다. 각각의 타일에 포함된 CTU 들은 순차 주사 순서대로 부/복호화가 수행될 수 있다. 즉, 타일 기반 병렬 처리의 경우, 타일의 경계에 위치하는 블록들은 이웃하는 타일에 속하는 블록의 픽셀 값이나 움직임 벡터와 같은 정보를 사용하지 않고 부호화 또는 복호화될 수 있다. 따라서, 타일을 이용할 경우, 슬라이스의 경우와 유사하게, 각 타일 영역을 동시에 인코딩하거나 디코딩할 수 있다.

타일 분할 정보는 예컨대, 픽쳐 파라미터 셋(Picture Parameter Set, PPS)을 통해 시그널링될 수 있다. 타일 분할 정보는 각 타일의 시작점에 관한 정보를 포함할 수 있다. 또는 타일 분할 정보는 픽쳐를 분할하는 하나 이상의 수직 경계선 및/또는 하나 이상의 수평 경계선에 관한 정보를 포함할 수 있다. 또는 타일 분할 정보는 픽쳐를 균등한 크기의 타일로 분할할 지에 관한 정보를 포함할 수 있다.

도 9는 360도 전방향 비디오를 부/복호화하기 위한 전개도를 예시한 도면이다.

360도 전방향 비디오의 영상은 도 9에 도시된 바와 같이, 다면체의 전개도, 또는 구를 펼친 등장방형(Equirectangular) 형태로 투영되어 처리될 수 있다. 영상을 재생할 때는 해당 영상이 다면체, 또는 구에 투영되고 사용자는 다면체 또는 구의 중심에서 영상을 시청하는 형태로 재생될 수 있다. 예컨대, 도 2에 도시된 바와 같이, 사용자의 시점은 다면체 또는 구의 중심에 있는 것으로 가정할 수 있다.

도 10은 360도 전방향 영상을 정육면체에 투영한 경우의 전개도를 설명하기 위한 도면이다.

도 10에 도시된 예에서와 같이, 360도 전방향 영상이 정육면체에 투영될 경우, 영상의 정보는 6개의 면 P1, P2, P3, P4, P5 및 P6 별로 저장될 수 있다. 또한, 영상이 재생이 될 때는 도 10의 (a)에 도시된 예에서와 같이, 6개 면의 각각의 영상을 3차원 공간의 정육면체에 투영시켜 재생할 수 있다. 여기서 시청자의 위치는 정육면체의 중심에 있으며, 각 면들은 눈이 바라보는 시점의 위치 및/또는 방향(퍼스펙티브, Perspective)이 될 수 있다. 예를 들어, 도 10에 도시된 예에서, 퍼스펙티브 P4가 정육면체의 정면, 퍼스펙티브 P1이 정육면체의 위쪽이라고 한다면 퍼스펙티브 P2는 정육면체의 뒤쪽, 퍼스펙티브 P3는 정육면체의 왼쪽, 퍼스펙티브 P5는 정육면체의 오른쪽, 퍼스펙티브 P6는 정육면체의 아래쪽에 해당될 수 있다.

다면체에 투영되는 전방향 영상은 다면체를 어떻게 전개하느냐에 따라 다양한 전개도로 표현될 수 있다. 도 11은 정육면체에 투영되는 전방향 영상을 2차원으로 전개하기 위한 다양한 방식을 설명하기 위한 도면이다.

예컨대, 도 11에 도시된 예에서와 같이, 11가지 전개 방식이 존재할 수 있다. 또는 도 11에 도시된 전개도를 상/하/좌/우로 대칭시켜 얻어진 전개도를 다른 형태의 전개도로 취급할 수도 있다.

각 퍼스펙티브를 독립적으로 부/복호화하는 경우, 도 11에 도시된 전개도는 영상이 어디에 위치하는지에 대한 정보 이외에 별다른 의미가 없을 수 있다. 하지만, 퍼스펙티브간 영상 정보의 연속성을 이용하여 순차 주사 순으로 부/복호화를 처리하게 되면 전개도의 형태에 따라 부/복호화 속도에 차이가 발생할 수 있다.

이하에서, 전개도에 따른 부/복호화 속도의 차이에 대해 상세히 설명한다.

도 12는 인접한 퍼스펙티브에 속하는 CTU 사이의 의존성을 설명하기 위한 예시도이다. 도 12에서, A, B, C, D, E, F의 각각은 전개도 상에 전개되는 퍼스펙티브들의 위치를 나타내고 굵은 선은 퍼스펙티브간의 경계를 나타낸다. 각 퍼스펙티브 내부의 작은 사각형은 영상 처리의 단위가 되는 블록(예컨대, CTU)를 나타낸다.

WPP 병렬 처리를 통해서 해당 영상을 부/복호화 할 경우, 퍼스펙티브 E의 CTU e1은 퍼스펙티브 B의 CTU b1 및 퍼스펙티브 D의 CTU d2에 대해 의존성을 갖는다. 따라서, 퍼스펙티브 B의 CTU b1 및 퍼스펙티브 D의 CTU d2의 부/복호화가 완료되어야 퍼스펙티브 E의 CTU e1의 부/복호화가 가능해진다. 마찬가지 이유로 퍼스펙티브 C의 CTU c1 및 퍼스펙티브 E의 CTU e2의 부/복호화가 완료되어야 퍼스펙티브 F의 CTU f1의 부/복호화가 가능하진다.

전방향 영상의 경우 전개도에 따라서 영상의 특정 위치에 정보가 존재하지 않을 수 있다. 예를 들어, 전개도에 따라 도 12에 도시된 퍼스펙티브 D의 영상 존재하지 않을 수 있다. 하지만 기존 WPP 병렬 처리 방식으로는 퍼스펙티브 D의 영상이 존재하지 않더라도 퍼스펙티브 E의 부/복호화는 퍼스펙티브 B의 CTU b1의 부/복호화가 완료된 후 시작될 수 있다. 따라서, 전체 영상의 부/복호화 처리 시간은 퍼스펙티브 D의 영상가 존재할 때와 차이가 없다. 하지만, 전개도 상으로 퍼스펙티브 F의 영상이 없을 경우 퍼스펙티브 E의 영상의 부/복호화 처리가 끝나면 전체 영상의 부/복호화가 완료될 수 있다.

도 13은 전개 방식에 따른 부/복호화 종료 시점을 설명하기 위한 도면이다.

도 13의 (a)는 부/복호화 순서상 마지막 퍼스펙티브가 도 12의 D 위치에 있는 경우를 도시한 도면이다. 도 13의 (b)는 마지막 퍼스펙티브가 도 12의 E 위치에 있는 경우를 도시한 도면이다. 도 13의 (a) 및 (b)에 있어서, 굵은 선은 퍼스펙티브 사이의 경계를 나타낸다. 또한, 각 퍼스펙티브 내의 작은 사각형은 CTU를 나타낸다. 또한, 각 CTU 내부의 숫자는 해당 CTU의 부/복호화 순서를 나타낸다.

각 CTU의 부/복호화 처리 시간이 동일하다고 가정할 때, 도 13의 (a)의 경우 23번째 CTU를 처리할 때 전체 영상의 부/복호화가 완료됨을 알 수 있다. 또한, 도 13의 (b) 경우 28번째 CTU를 처리할 때 전체 영상의 부/복호화가 완료됨을 확인할 수 있다. 전술한 바와 같이, 좌상단에서 우하단의 순서로 부/복호화를 수행하는 WPP 방식을 이용하면, 영상에 포함된 퍼스펙티브의 개수가 동일하더라도 전체 영상의 부/복호화가 완료되는 시점이 다름을 알 수 있다. 즉, 퍼스펙티브의 위치(또는 전개 방식)가 부/복호화 처리 속도에 영향을 줄 수 있다.

WPP를 이용한 부/복호화 처리 순서는 영상 정보 의존성에 의해 결정될 수 있다. 즉, CTU의 처리는 위쪽 행의 2개의 CTU가 처리되어야 시작될 수 있다. 각 CTU의 부/복호화 처리 시간이 동일하다고 가정하면, 위와 같은 의존성으로 인해 행(row)당 지연은 2개의 CTU를 처리하는 시간이 된다. 또한, CTU의 처리는 좌측에 인접한 1개의 CTU가 처리되어야 시작될 수 있으므로, 열(column)당 지연은 1개의 CTU를 처리하는 시간이 된다.

도 14는 전개도에 따른 영상 처리 시간의 차이를 설명하기 위한 도면이다.

도 14의 (a)를 참조하면, 각 시점(퍼스펙티브)은 5×5개의 CTU를 가진다. 마지막 시점은 4번째 행 3번째 열에 위치하고, 마지막 CTU는 20번째 행, 15번째 열에 위치한다. 전술한 바와 같이, 행당 2개의 CTU, 열 당 1개의 CTU 지연이 발생한다. 따라서, 마지막 CTU는 (2 × 20(행) - 1) + (1 × 15(열) - 1)번째에 처리된다. 결국, 도 14의 (a)에서, 마지막 CTU는 53번째에 완료됨을 확인할 수 있다. 따라서, 1개의 CTU의 처리 시간을 t(CTU)라고 하면, 도 14의 (a)의 전개도에 따른 전체 영상의 처리에 소요되는 시간은 53*t(CTU)가 된다.

도 14의 (b)는 시점당 5×5개의 CTU를 가진 전방향 영상의 또 다른 전개도를 예시한 도면이다. 도 14의 (b)를 참조하면, 전개도의 오른쪽 하단에 위치한 CTU는 15번째 행, 5번째 열 및 10번째 행, 20번째 열의 2군데에 존재한다. 각각의 경우에 대해서 처리 시간을 계산해보면 15번째 행, 5번째 열의 CTU는 (2 × 15(행) - 1) + (1 × 5(열) -1) = 33번째에 처리된다. 10번째 행, 20번째 열의 CTU는 (2 × 10(행) - 1) + (1 × 20(열) -1) = 38번째에 처리된다. 따라서, 전체 영상의 처리에 소요되는 시간은 38*t(CTU)가 된다. 전술한 바와 같이, 같은 크기의 정육면체의 전개도지만 어떻게 전개되느냐에 따라서 WPP의 처리 속도에 차이가 있음을 알 수 있다.

인접한 CTU 사이의 의존성에 의해 발생하는 처리 시간의 지연은, 타일 기반 기술을 적용하여 완화시킬 수 있다. 즉, 각각의 면(즉, 서로 다른 퍼스펙티브를 갖는 영역)을 독립적 타일로 취급하여 병렬적으로 부/복호화하는 것이다. 각 퍼스펙티브를 독립적 타일로 병렬 처리하는 경우, 전체 영상의 처리 시간은 하나의 퍼스펙티브를 처리하는 시간(예컨대, 도 14의 예에서는 25*t(CTU))으로 단축될 수 있다. 타일 기반의 병렬 부/복호화는 사용자가 일정 거리를 두고 시청하게 되는 영상에 유용하게 적용될 수 있다. 하지만, 360도 VR 영상과 같은 실감형 영상의 경우, 사용자는 영상의 일부를 매우 근접한 위치에서 시청할 수 있으므로, 기존 영상들 보다 훨씬 큰 해상도를 가져야 한다. 특히, 360도 VR 영상의 경우, 몰입도가 매우 중요하므로, 영상 재생시 픽셀이 보이지 않을 정도의 고화질이 요구된다.

타일 기반 기술을 사용하면, 각 타일이 독립적으로 처리되므로, 예측에 활용할 수 있는 참조 영역이 줄어들고, 압축 효율이 낮아지게 된다. 따라서, 압축 효율이 크게 요구되는 360도 전방향 영상에는 타일 기반 기술을 그대로 적용하는 것이 적합하지 않을 수 있다.

따라서, 360도 VR 영상의 병렬 처리를 위해서는 퍼스펙티브간의 의존성을 이용한 부/복호화가 중요하다. 도 13 및 도 14를 참조하여, 360도 VR 영상의 처리를 위해 다양한 전개 방식이 적용될 수 있고, 각 전개도상에서 인접한 퍼스펙티브간 의존성을 이용하여 병렬 처리를 수행할 수 있음을 설명하였다. 그러나, 전개도상에서의 퍼스펙티브간 연속성만을 고려하게 되면, 전체 영상 처리 시간을 단축하는 것은 한계가 있다. 예컨대, 360도 VR 영상의 전개도는 도 10에 도시된 바와 같이, 3차원으로 연결된 퍼스펙티브들을 펴서 만들어진 것이다. 따라서, 다면체상에서는 퍼스펙티브의 변의 개수만큼 인접한 퍼스펙티브가 존재한다. 즉, 전개도 상에서 이용할 수 있는 인접 퍼스펙티브의 수보다 다면체 상에서 이용할 수 있는 인접 퍼스펙티브의 수가 더 많다.

이하에서는 360도 VR 영상의 특성을 고려한, 영상의 병렬 부/복호화 방법 및 장치를 설명한다. 구체적으로, 본 개시에 따르면, 360도 비디오(전방향 비디오)와 같은 복수의 퍼스펙티브를 가진 영상에서 각 퍼스펙티브간의 연속성이 하나 이상 존재함을 이용하여 부/복호화의 병렬적 처리를 보다 효율적으로 처리할 수 있다.

도 10의 (a)에 도시된 예에서와 같이, 360도 전방향 영상은 정육면체와 같은 여러 퍼스펙티브를 가진 다면체의 전개도에 저장이 된다. 전개도상에서는, 도 10의 (c)에 도시된 예에서와 같이, 퍼스펙티브 P1은하나의 퍼스펙티브와 인접하고 있다. 그러나, 실제로는 도 10의 (a)에 도시된 예에서와 같이, 각 퍼스펙티브는 좌우상하 방향으로 네 개의 퍼스펙티브와 인접하고 있다. 이는 기존의 왼쪽 상단에서 오른쪽 하단의 순차 주사 방향과 다른 방향으로 영상 정보의 부/복호화가 진행될 수 있음을 의미한다. 또한, 3차원 공간상에서 이웃하지 않는 퍼스펙티브간에는 영상간 연속성이 없기 때문에 의존성이 존재하지 않는다. 즉, 이웃하지 않는 퍼스펙티브들은 서로 참조하지 않기 때문에, 병렬적으로 부/복호화를 진행해도 예측 효율이 떨어지지 않는다. 연속되는 퍼스펙티브가 여러 방향으로 존재하여 부/복호화 방향이 여러 방향으로 가능하다는 점과, 영상간 연관성이 서로 없는 퍼스펙티브가 하나 이상 존재한다는 특성을 활용하여 부/복호화 병렬 처리를 진행함으로써, 압축 효율의 손실을 최소화 하면서 처리 속도를 높일 수 있다.

도 15는본 개시에 따른 영상 병렬 처리를 설명하기 위한 개념도이다.

도 16은 본 개시에 따른 영상 병렬 처리를 설명하기 위한 흐름도이다.

도 17은 정육면체 상에서의 전방향 영상의 처리 순서를 예시한 도면이다.

도 18은 도 17의 전방향 영상을 전개한 전개도를 예시한 도면이다.

도 15, 도 17 및 도 18에서 같은 알파벳이 기재된 면들은 서로 참조하지 않는 시점들을 의미한다. 예를 들어 A와 A'는 서로 참조하지 않는 시점들을 나타낸다. B와 B'는 A, A' 시점을 제외한 나머지 시점들 중 서로 참조하지 않는 시점들을 나타낸다. C, C'는 위의 시점들을 제외한 시점들 중 서로 참조하지 않는 시점들을 나타낸다. 서로 참조하지 않는 시점들은 병렬적으로 부/복호화될 수 있다.

도 15에서, 시점과 시점을 연결하는 화살표는 시점간 참조 관계를 나타낸다. 예를 들어 시점 A와 시점 B를 연결한 화살표는 시점 B의 부/복호화시 시점 A를 참조한다는 것을 의미한다. 스레드의 개수는 병렬적으로 부/복호화할 수 있는 시점의 개수에 의해 결정될 수 있다. 예를 들어 병렬적으로 부/복호화할 수 있는 시점의 개수가 N개라면 N개 이상의 스레드가 사용될 수 있다.

도 15를 참조하여, 본 개시에 따른 부/복호화 방법을 설명한다. 도 15의 (a)를 참조하면, 먼저 시점 A 및 시점 A와 동시에 부/복호화할 수 있는 하나 이상의 시점들을 병렬로 부/복호화할 수 있다. 예컨대, 시점 A와 시점 A'는 연속성이 없으므로, 병렬 처리될 수 있다. 도 15의 (b)를 참조하면, 도 15의 (a)에서 처리되는 시점들(A, A')의 일부 또는 전부가 부/복호화된 후, 이 시점들(A. A')을 참조하는 시점 B 및 시점 B와 동시에 부/복호화할 수 있는 하나 이상의 시점들을 병렬로 부/복호화할 수 있다. 예컨대, 시점 B와 시점 B'는 연속성이 없으므로, 병렬 처리될 수 있다. 도 15의 (c)를 참조하면, 같은 방식으로 시점 C 및 시점 C와 동시에 부/복호화할 수 있는 하나 이상의 시점들을 병렬로 부/복호화할 수 있다. 이와 같은 방식으로 나머지 시점들도 병렬로 부/복호화가 가능한 시점들끼리 묶어 부/복호화할 수 있다.

도 15를 참조하여 설명한 방법은 도 16의 흐름도로 나타낼 수 있다.

도 16의 단계 S1610에서, 하나의 퍼스펙티브 또는 이웃하지 않는 둘 이상의 퍼스펙티브에 대한 부/복호화를 시작할 수 있다.

단계 S1620에서, 부/복호화가 시작된 퍼스펙티브에 대한 부/복호화가 진행될 수 있다. 부/복호화는 각 퍼스펙티브에 포함된 부호화 단위(예컨대, CTU 단위)로 진행될 수 있다.

단계 S1630에서, 모든 퍼스펙티브에 대한 부/복호화가 완료되었는지 판단할 수 있다. 모든 퍼스펙티브에 대한 부/복호화가 완료되었으면(단계 S1630에서 Yes), 영상 부/복호화를 종료할 수 있다.

모든 퍼스펙티브에 대한 부/복호화가 완료되지 않았으면(단계 S1630에서 No), 단계 S1640에서, 부/복호화가 진행중인 또는 완료된 퍼스펙티브에 의해 의존성이 해결된 이웃 퍼스펙티브가 존재하는지 여부를 판단할 수 있다. 의존성이 해결된 이웃 퍼스펙티브가 존재하지 않는다면(단계 S1640에서, No), 단계 S1620에서, 부/복호화가 진행중인 퍼스펙티브에 대한 부/복호화를 계속 진행할 수 있다.

의존성이 해결된 이웃 퍼스펙티브가 존재한다면(단계 S1640에서, Yes), 단계 S1650에서, 상기 이웃 퍼스펙티브에 대한 부/복호화를 시작할 수 있다.

이후, 단계 S1620에서, 부/복호화가 시작된 복수의 퍼스펙티브에 대한 부/복호화가 계속 진행될 수 있다. 상기 단계 S1620 내지 S1650은 모든 퍼스펙티브들에 대한 부/복호화가 완료될 때까지 반복될 수 있다.

도 19는 정육면체 전개도 형태의 360도 VR 영상의 일 예이다.

도 20 내지 도 22는 도 19의 비디오를 병렬적으로 부/복호화하는 단계를 설명하기 위한 도면이다. 도 20 내지 도 22를 참조하는 이하의 설명에 있어서, 각 퍼스펙티브를 나타내는 기호는 도 18에 도시된 해당 퍼스펙티브의 기호와 같다. 도 21 및 도 22에 도시된 화살표는 퍼스펙티브간의 참조 관계를 나타낸다.

먼저, 도 20에 도시된 바와 같이, 서로 이웃하지 않는 퍼스펙티브 A 및/또는 A'는 병렬적으로 부/복호화될 수 있다.

그 후, 도 21에 도시된 바와 같이, 퍼스펙티브 A 및/또는 A'를 참조하여 퍼스펙티브 B 및/또는 B'를 병렬적으로 부/복호화할 수 있다. 퍼스펙티브 B 및/또는 B'의 부/복호화는 퍼스펙티브 A 및/또는 A'와의 의존성이 해결되면 시작될 수 있다. 즉, 퍼스펙티브 A 및/또는 A'의 부/복호화가 일부 또는 전부 수행되었을 때 퍼스펙티브 B 및/또는 B'의 부/복호화가 시작될 수 있다. 도 21에 도시된 바와 같이, 퍼스펙티브 B 및/또는 B'는 퍼스펙티브 A 및/또는 A'를 참조하여 부/복호화될 수 있다. 퍼스펙티브 B 및/또는 B'는 각각 퍼스펙티브 A 및/또는 A'와 인접한 경계 부분에서, 퍼스펙티브 A 및/또는 A'의 부/복호화에 따라 의존성이 해결된 부분부터 부/복호화될 수 있다.

예컨대, 퍼스펙티브 B의 상단 경계는 퍼스펙티브 A의 좌측 경계와 인접한다. 따라서, 퍼스펙티브 A의 두번째 행, 첫번째 열의 블록이 부/복호화되면, 퍼스펙티브 B의 첫번째 행, 첫번째 열의 블록에 대한 부/복호화가 시작될 수 있다. 이 경우, 퍼스펙티브 A를 참조하는 퍼스펙티브 B의 부/복호화는 래스터 스캔 순서에 따라 수행될 수 있다.

또한, 예컨대, 퍼스펙티브 B의 하단 경계는 퍼스펙티브 A'의 좌측 경계와 인접한다. 따라서, 퍼스펙티브 A'의 두번째 행, 첫번째 열의 블록이 부/복호화되면, 퍼스펙티브 B의 마지막 행, 마지막 열의 블록에 대한 부/복호화가 시작될 수 있다. 이 경우, 퍼스펙티브 A'를 참조하는 퍼스펙티브 B의 부/복호화는 역래스터 스캔 순서(예컨대, 우하단에서 좌상단의 순서)에 따라 수행될 수 있다.

퍼스펙티브 A 및/또는 A'를 참조하여 퍼스펙티브 B 및/또는 B'를 부/복호화할 경우, 참조되는 블록의 정보는 그대로 이용될 수도 있고, 현재 부/복호화가 진행중인 시점에 따라 적절한 변형을 거친 후 이용될 수도 있다.

그 후, 도 22에 도시된 바와 같이, 일부 또는 전부에 대해 부/복호화가 완료된 퍼스펙티브 A, A', B 및/또는 B'를 참조하여 퍼스펙티브 C 및/또는 C'를 부/복호화할 수 있다. 도 22에서는 퍼스펙티브 A 및/또는 A'를 참조하여 퍼스펙티브 C 및/또는 C'를 부/복호화하는 경우가 도시되었다. 그러나 이에 한정되지 않으며, 예컨대, 퍼스펙티브 B 및/또는 B'를 참조하여 퍼스펙티브 C 및/또는 C'를 부/복호화할 수도 있다. 또는 퍼스펙티브 C 및/또는 C'는 퍼스펙티브 A, A', B 및 B' 중 하나 이상의 퍼스펙티브를 참조하여 부/복호화될 수 있다. 이 경우, 참조되는 블록은 현재 부/복호화가 진행중인 시점에 따라 적절히 변형된 후 참조될 수 있다.

정육면체의 경우는 도 20 내지 도 22에 도시된 3단계로 360도 VR 영상의 부/복호화가 종료될 수 있다. 그러나, 정팔면체나 정이십면체의 경우는 아직 부/복호화가 완료되지 않은 퍼스펙티브가 존재할 수 있다. 따라서 모든 퍼스펙티브의 부/복호화가 완료될 때까지 상기 과정을 반복할 수 있다.

전술한 바와 같이, 전방향 영상의 각 퍼스펙티브는 복수의 퍼스펙티브와 연속성을 가지고 있다. 또한 각 퍼스펙티브는 적어도 하나의 퍼스펙티브와 연속성을 갖지 않을 수 있다. 본 개시는 이를 이용하여 전방향 영상의 퍼스펙티브들을 병렬적으로 부/복호화할 수 있다.

또한, 전술한 방법에 더하여, 각 퍼스펙티브마다 WPP 기반 기술을 적용하면, 높은 압축 효율을 유지하면서 병렬적으로 더욱 빠르게 처리할 수 있다. 그러나, 도 7을 참조하여 설명한 바와 같이, 각 퍼스펙티브의 왼쪽 상단 블록으로부터 오른쪽 하단 블록의 방향으로 각 행을 병렬적으로 처리하면, 각 퍼스펙티브의 왼쪽 상단 블록의 의존성이 해결될 때까지 해당 퍼스펙티브의 부/복호화는 시작될 수 없다.

도 23은 퍼스펙티브의 부/복호화 방향을 설명하기 위한 예시도이다.

도 23을 참조하면, 정육면체 전방향 영상에서 퍼스펙티브 P2와 P4를 WPP 기반 기술을 이용하여 병렬적으로 부/복호화를 진행해도 퍼스펙티브 P6의 WPP 기반 부/복호화를 시작하려면 퍼스펙티브 P4의 부/복호화가 거의 완료되야 한다. 즉, 퍼스펙티브 P4의 마지막 행의 CTU 2개가 부/복호화되어야 퍼스펙티브 P6의 부/복호화를 시작할 수 있다.

그러나, 전방향 영상에서는 각 퍼스펙티브의 모든 변이 다른 퍼스펙티브와 연결되어 있다. 따라서, 퍼스펙티브 P6의 부/복호화 순서를 조정하면, 보다 빨리 퍼스펙티브 P6의 부/복호화를 시작할 수 있다. 예컨대, 도 23에 도시된 예에서와 같이 퍼스펙티브 P2의 부/복호화를 우하단 블록에서 좌상단 블록으로 진행할 경우 퍼스펙티브 P6의 왼쪽 하단 CTU의 의존성은 퍼스펙티브 P2의 2개의 CTU 만 부/복호화되면 해결될 수 있다. 퍼스펙티브 P6의 좌하단 CTU의 의존성이 해결되면, 퍼스펙티브 P6에 대한 WPP는 좌하단 블록에서 우상단 블록으로 진행될 수 있다.

WPP 기반 부/복호화를 진행할 때, 이웃 퍼스펙티브의 픽셀 정보를 활용할 수 있고, 또한, 이웃 퍼스펙티브에서 업데이트된 엔트로피 문맥을 가져와서 엔트로피 문맥 모델을 초기화할 수도 있다.도 23에 도시된 예에서 실선 화살표는 엔트로피 문맥을 가져와 초기화하는 방향을 나타낸다. 도 23에 도시된 바와 같이, 이웃한 퍼스펙시브 간에 정보의 참조가 가능하다.

이하에서, 도 23을 참조하여, 본 개시에 따른 부/복호화 방법을 보다 구체적으로 설명한다.

먼저, 하나의 퍼스펙티브 또는 이웃하지 않는 둘 이상의 퍼스펙티브에 대한 부/복호화를 시작할 수 있다. 각 퍼스펙티브 내에서는 도 7을 참조하여 설명한 순서로 부/복호화가 수행될 수 있다. 예컨대, 퍼스펙티브 P2 및 P4는 서로 이웃하지 않으므로, 병렬적으로 부/복호화가 시작될 수 있다. 이 때, 보다 효율적인 부/복호화를 위해, 퍼스펙티브 P2와 P4는 각각 다른 순서로 부/복호화될 수 있다.

도 24는 정육면체 전방향 영상에 있어서, 이웃하지 않는 두 개의 퍼스펙티브에 대한 부/복호화 순서를 설명하기 위한 도면이다. 도 24의 (b) 및 (c)에서 작은 블록들은 퍼스펙티브 P4와 P2를 구성하는 영상 블록(예컨대, CTU)들을 의미하며 블록안의 숫자는 해당 블록의 처리 순서를 나타낸다. 또한, 점선 화살표는 각 퍼스펙티브에서 한 행의 처리 방향을 보여주며 각 블록(CTU)은 동일 행의 이전 열의 엔트로피 컨텍스트를 업데이트하여 사용할 수 있다.

도 24의 (a)에 도시된 바와 같이, 퍼스펙티브 P2와 P4는 서로 이웃하지 않으므로, 서로 참조하지 않는다. 따라서, 퍼스펙티브 P2와 P4는 독립적으로 부/복호화될 수 있다.

도 24의 (b)에 도시된 바와 같이, 예를 들어, 퍼스펙티브 P4에 대해서는 통상의 래스터 스캔 순서에 따라 좌상단에서 우하단의 순서로 부/복호화가 진행될 수 있다. 이 때, 퍼스펙티브 P2에 대해서도 통상의 래스터 스캔 순서가 적용될 수 있다. 또는 도 24의 (c)에 도시된 바와 같이, 퍼스펙티브 P2에 대해서는 우하단에서 좌상단의 순서로 부/복호화가 진행될 수 있다.

이 후, 퍼스펙티브 P2 및/또는 P4의 부/복호화가 일부 또는 전부 수행되면, 의존성이 해결된 이웃 퍼스펙티브의 부/복호화를 시작할 수 있다. 이 때, 이웃 퍼스펙티브의 WPP 처리 방향은 참조 퍼스펙티브에 적용된 WPP 처리 방향에 기초하여 결정될 수 있다. 예컨대, 도 23에 있어서, 퍼스펙티브 P4의 첫번째 행, 두번째 열의 블록의 부/복호화가 완료되면, 퍼스펙티브 P1의 마지막 행, 첫번째 열의 블록의 부/복호화가 시작될 수 있다. 이 때, 퍼스펙티브 P1의 부/복호화는 좌하단에서 우상단의 순서로 진행될 수 있다.

또한, 퍼스펙티브 P2의 마지막 행, 마지막 두번째 열의 블록의 부/복호화가 완료되면, 퍼스펙티브 P6의 마지막 행, 첫번째 열의 블록의 부/복호화가 시작될 수 있다. 이 때, 퍼스펙티브 P6의 부/복호화는 좌하단에서 우상단의 순서로 진행될 수 있다.

계속해서, 현재까지 부/복호화가 진행된 퍼스펙티브(들)와의 의존성이 해결된 이웃 퍼스펙티브에 대한 부/복호화가 시작될 수 있다. 이 때, WPP의 진행 방향은 하나 이상의 참조 퍼스펙티브들 중 의존성이 더 빠르게 해결되는 퍼스펙티브에 맞추어 결정될 수 있다. 두 개 이상의 참조 퍼스펙티브들의 의존성이 동시에 해결되면, 현재 퍼스펙티브의 부/복호화는 여러 변에서 동시에 진행될 수 있다. 이 경우, 현재 퍼스펙티브를 분할하여 처리할 수 있다.

도 23을 참조하면, 퍼스펙티브 P2의 마지막 두번째 열, 마지막 행의 블록의 부/복호화가 완료되면, 퍼스펙티브 P3의 마지막 행, 첫번째 열의 블록의 부/복호화가 시작될 수 있다. 또한, 퍼스펙티브 P4의 두번째 행, 첫번째 열의 블록의 부/복호화가 완료되면, 퍼스펙티브 P3의 첫번째 행, 마지막 열의 블록의 부/복호화가 시작될 수 있다. 즉, 퍼스펙티브 P3의 부/복호화는 복수의 퍼스펙티브를 참조하여 여러 변에서 동시에 진행될 수 있다. 이 때, 퍼스펙티브 P3의 부/복호화 순서는 이웃 퍼스펙티브들(P1, P2, P4, P6) 중 적어도 하나를 고려하여 결정될 수 있다. 이 때, 가장 빨리 부/복호화가 완료될 수 있는 방향으로 퍼스펙티브 P3의 부/복호화 순서가 결정될 수 있다.

도 23 및 24를 참조하여 설명한 방법은 모든 시점들의 부/복호화가 완료될 때까지 반복될 수 있다.

도 24에 도시된 예에서 퍼스펙티브 P4의 부/복호화는 전개도 상에서 좌상단에서 우하단으로 진행되고, 퍼스펙티브 P2의 부/복호화는 우하단에서 좌상단으로 진행된다. 이는 보다 효율적인 병렬리를 위해 병렬 처리되는 데이터의 양을 잘 분배하기 위함이다.

도 25는 정육면체 전방향 영상에 있어서, 마주보는 두 개의 퍼스펙티브의 부/복호화 순서를 설명하기 위한 도면이다.

3차원 공간에서 서로 마주보는 위치의 두 개의 퍼스펙티브의 부/복호화 순서는 도 25의 (a)에 도시된 바와 같이, 상하좌우 모두 서로 역방향으로 설정될 수 있다. 또는 도 25의 (b)에 도시된 바와 같이, 좌우로 동일한 방향으로 설정될 수도 있다.

도 26은 도 25의 (a) 및 (b)에 따른 차이를 설명하기 위한 도면이다.

도 25의 (a)에 도시된 바와 같이 퍼스펙티브 P4와 P2의 부/복호화가 상하좌우 대칭의 위치에서 시작되면, 도 26의 (b)에 도시된 바와 같이, 퍼스펙티브 P2와 P1의 CTU 열 처리 순서는 퍼스펙티브 P2와 P1이 만나는 변에서 서로 반대 방향이 된다. 이는 퍼스펙티브 P6과 P4가 만나는 변에서도 마찬가지이다. 두 개의 퍼스펙티브가 인접하는 변에서 각 퍼스펙티브의 처리 방향이 반대가 되면, 이웃한 퍼스펙티브의 정보를 효율적으로 활용할 없다. 즉, 이웃 퍼스펙티브와의 처리 순서가 반대가 되므로, 이웃 퍼스펙티브의 참조 행에 대한 부/복호화가 완료될 때까지 지연이 발생하게 된다.

도 25의 (b)에 도시된 바와 같이 퍼스펙티브 P4와 P2의 부/복호화가 좌우로 동일한 방향으로 진행되면, 도 26의 (c)에 도시된 바와 같이, 퍼스펙티브 P2와 P1이 만나는 변에서 퍼스펙티브 P2와 P1의 CTU 열 처리 방향은 같아진다. 이는 퍼스펙티브 P6와 P4가 만나는 변에서도 마찬가지이다. 따라서, 퍼스펙티브 P1 및 P6의 마지막 행의 부/복호화가 시작되는 시점과 참조 영역으로 사용될 퍼스펙티브 P4 및 P2의 마지막 행 CTU 2개가 완료되는 시점이 서로 맞아 떨어지므로 지연이 발생하지 않게 된다. 도 27은 도 25의 (b)에 따른 부/복호화를 설명하기 위한 도면이다.

전술한 바와 같이, 퍼스펙티브 P2와 P4의 각각에서 2개의 CTU가 처리되면 이웃 퍼스펙티브의 WPP를 통한 부/복호화가 가능하다. 퍼스펙티브 P1은 퍼스펙티브 P4와 연속성을 가지고 있으므로 도 27의 (b)에 도시된 바와 같이, 퍼스펙티브 P4의 첫 행 두번째 CTU의 부/복호화가 완료되면 퍼스펙티브 P1의 첫 CTU의 의존성이 해결된다. 따라서 퍼스펙티브 P4로부터 엔트로피 컨텍스트를 가져와 초기화하여 사용할 수 있다.

마찬가지로, 퍼스펙티브 P6도 퍼스펙티브 P2의 2번째 CTU가 부/복호화 완료된 시점에서 부/복호화가 시작될 수 있다. 도 27의 (c)에 도시된 바와 같이 퍼스펙티브 P2가 처리되는 방향에 맞추어서 퍼스펙티브 P6에 대해서도 WPP가 진행될 수 있다. 도 27의 (b) 및 (c)에 있어서, 실선 화살표는 엔트로피 문맥을 가져와 초기화하는 방향을 나타낸다. 점선 화살표는 각 행에서의 CTU의 처리 방향을 나타낸다.

도 27의 (b) 및 (c)에 도시된 바와 같이, 다른 퍼스펙티브로부터 엔트로피 문맥을 가져올 수 있다. 엔트로피 문맥의 참조는 도 32 및 도 33을 참조하여 후술할 문맥추출기를 통해 수행될 수 있다.

도 28은 둘 이상의 퍼스펙티브를 참조할 수 있는 퍼스펙티브의 부/복호화를 설명하기 위한 도면이다.

도 27에 도시된 바와 같이, 퍼스펙티브 P3 및 P5의 경우 이웃하는 퍼스펙티브들이 모두 부/복호화되고 있다. 따라서 이웃 퍼스펙티브들을 모두 활용하여 병렬 처리를 수행함으로써 부/복호화 효율을 향상시킬 수 있다.

도 28에 도시된 바와 같이, 퍼스펙티브 P3 및 P5는 이웃하는 퍼스펙티브 P1, P2, P4 및/또는 P6의 정보를 활용할 수 있다. 도 28에 사용된 실선 화살표 및 점선 화살표는 도 27에 사용된 실선 화살표 및 점선 화살표와 같은 의미로 사용된다. 즉, 실선 화살표는 엔트로피 정보(예컨대, 엔트로피 문맥, 엔트로피 컨텍스트 테이블 등)를 가져오는 방향을 의미한다. 또한, 점선 화살표는 각 퍼스펙티브에서의 WPP를 통한 행단위 처리 방향을 의미한다. 각 퍼스펙티브 안의 CTU 블록 내의 숫자는 부/복호화 처리 순서를 의미한다.

도 28에 도시된 바와 같이, 퍼스펙티브 P3 또는 퍼스펙티브 P5의 경우 이웃 퍼스펙티브의 부/복호화에 따라, 둘 이상의 방향으로 동시에 의존성이 해결될 수 있다. 부/복호화 순서에 따르면, 퍼스펙티브 P2 및 P4가 퍼스펙티브 P1 및 P6보다 부/복호화가 먼저 시작된다. 따라서, 퍼스펙티브 P3 및 P5의 부/복호화에 필요한 의존성이 퍼스펙티브 P2 및 P4에 의해 먼저 해결될 수 있다. 따라서 퍼스펙티브 P3 및/또는 P5는 퍼스펙티브 P2 및 P4 중 하나를 선택하여 WPP 처리 방향을 결정할 수 있다. 또는, 두 개의 퍼스펙티브를 모두 활용하기 위하여 퍼스펙티브 P3 및/또는 P5를 두 개의 영역으로 분할하고, 분할된 각각의 영역에 대해 퍼스펙티브 P2 및 P4에 따른 WPP 처리 방향을 결정할 수 있다.

도 29는 하나의 퍼스펙티브를 두 개의 영역으로 분할하고, 각각의 영역을 부/복호화하는 방법을 설명하기 위한 도면이다.

도 29의 (a)는 하나의 퍼스펙티브를 A와 B의 영역으로 나눈 것을 나타내며, 도 29의 (b)는 퍼스펙티브를 동일한 크기의 영역으로 나눈 후 WPP 처리하는 것을 나타낸다. 도 29의 (c)는 퍼스펙티브를 각각 다른 크기의 영역으로 나눈 후 WPP 처리하는 것을 나타낸다. 도 29의 실선 화살표 및 점선 화살표의 의미는 도 27 및 도 28을 참조하여 설명한 바와 동일하다.

퍼스펙티브 P3 및/또는 P5와 연속성을 가진 이웃 CTU들은 퍼스펙티브 P2 및/또는 P6에서 열이 아닌 하나의 행에 포함될 수 있다. 전술한 바와 같이, WPP 처리할 경우 하단 행의 부/복호화는 상단 행의 CTU 2열의 부/복호화가 완료되어야 시작될 수 있으므로, 2*t(CTU)씩 행당 지연이 발생한다. 참조 퍼스펙티브의 부/복호화 지연이 행당 2*t(CTU)씩 발생하므로, 도 28의 (a)에 도시된 바와 같이, 퍼스펙티브 P3에 대해서도, 각 열당 1*t(CTU)가 아닌 2*t(CTU)의 지연이 발생한다.

도 30은 둘 이상의 퍼스펙티브를 참조하는 경우의 부/복호화 처리 순서를 설명하기 위한 도면이다.

전술한 바와 같이, 퍼스펙티브 P3의 첫 행의 부/복호화 처리에 열당 지연이 2*t(CTU)씩 발생한다. 따라서, 도 30의 (a)에 도시된 바와 같이, 퍼스펙티브 P3의 왼쪽 최하단 CTU(4)의 부/복호화가 완료된다 하더라도 그 다음 열의 CTU(6)를 바로 부/복호화할 수가 없다. 열당 2*t(CTU)의 지연이 발생하므로, 퍼스펙티브 P3의 각각의 CTU의 의존성이 해결될 때마다 부/복호화를 시작할 경우, 퍼스펙티브 P3의 처리 순서상 첫 행의 마지막 CTU는 11번째로 부/복호화될 수 있다.

이 경우, 도 30의 (b)에 도시된 바와 같이, 퍼스펙티브 P3의 첫 행의 마지막 CTU가 11번째로 부/복호화되는 점을 고려하여, 퍼스펙티브 P3의 첫 행의 첫 번째 CTU의 부/복호화 시작 시점을 7번째로 결정할 수 있다. 도 30의 (b)와 같이, 퍼스펙티브 P3의 첫번째 CTU의 부/복호화 시작 시점을 늦추더라도, 첫 행의 마지막 CTU의 부/복호화 시작 시점은 변경되지 않으므로, 전체 영상의 병렬 처리 시간에는 영향을 주지 않을 수 있다.

또한, 도 30의 (b)에 도시된 순서에 따라 퍼스펙티브 P3를 처리할 경우, 참조할 수 있는 이웃 CTU가 많아진다는 장점이 있다. 즉, 퍼스펙티브 P3의 첫번째 CTU의 부/복호화에 있어서, 퍼스펙티브 P6의 두번째 행의 CTU(5, 빗금친 부분)의 픽셀 정보는 물론 엔트로피 컨텍스트도 이용할 수 있게 된다.

또한, 도 30의 (c)에 도시된 바와 같이, 퍼스펙티브 P3의 부/복호화를 1*t(CTU)만큼 더 지연시키면, 이웃 퍼스펙티브 P1의 CTU(11, 빗금친 영역)도 참조할 수 있다. 이는 퍼스펙티브 P1과 P2의 CTU처리 시간이 단지 2*t(CTU)만큼 차이나기 때문이다. 따라서, 퍼스펙티브 P3의 경우, 도 30의 (c)에 도시된 예에서와 같이 퍼스펙티브 P3의 부/복호화 시작 시점을 첫 행의 마지막 CTU의 오른쪽 CTU(이웃 퍼스펙티브에 속한)의 처리 시점을 기준으로 결정할 수 있다.

도 30의 (c)는 도 30의 (b)의 경우보다 약간의 지연이 더 발생할 수 있다. 그러나, 보다 많은 영역을 참조할 수 있게 되므로, 부/복호화 효율이 향상될 수 있다.

본 개시에 있어서, 인접한 블록, CTU 및/또는 퍼스펙티브로부터 참조할 수 있는 정보는 픽셀 정보, 엔트로피 문맥, 엔트로피 컨텍스트 테이블 등으로 기재하고 있다. 그러나, 이에 한정되지 않으며, 인접한 영역의 부/복호화 정보를 모두 참조할 수 있다. 예컨대, 참조할 수 있는 정보는 단순히 영상에 존재하는 픽셀 정보 외에도 공간적 예측에 활용한 예측 모드, 시간적 예측에 활용한 움직임 벡터, 머지 인덱스, 양자화 파라미터 정보, 인루프 필터 정보, 필터 계수 정보 등 부/복호화 과정에서 생성되거나 사용되는 모든 정보를 포함한다.

정육면체가 아닌, 정팔면체나 정이십면체 영상의 경우에 대해서, 정육면체를 고려하여 설명한 상기 단계들이 반복적으로 수행될 수 있음은 전술한 바와 같다.

도 31은 정육면체 전방향 영상의 부/복호화 순서를 설명하기 위한 예시도이다.

도 23 내지 도 30을 참조하여 설명한 순서에 따라 정육면체 전방향 영상의 부/복호화를 수행하는 경우, 도 31에 도시된 순서에 따라 부/복호화가 진행될 수 있다.

도 31의 (a)는 전개도 상에서의 부/복호화 순서를 예시한 도면이다. 도 31의 (a)에 사용된 실선 및 점선 화살표는 도 27 등에 사용된 실선 및 점선 화살표와 동일한 의미를 가진다.

도 31의 (b) 및 (c)는 정육면체 상에서, 부/복호화가 진행되는 순서를 예시적으로 나타낸다. 도 31의 (b) 및 (c)의 작은 블록은 부호화 단위 블록(예컨대, CTU)을 의미하고, 숫자는 해당 블록이 처리되는 순서를 의미한다. 음영처리된 블록은 부/복호화가 완료된 블록을 의미하고, 음영처리되지 않은 블록은 아직 부/복호화가 시작되지 않은 블록을 의미한다.

전술한 바와 같이, 본 개시에 따라 전방향 영상의 부/복호화를 수행할 때, 퍼스펙티브마다 WPP 처리 순서가 달라질 수 있다. 또는 하나의 퍼스펙티브에 대해 동시에 여러 방향에서 부/복호화가 시작될 수도 있다. 하나의 전방향 영상에 포함된 복수의 퍼스펙티브의 각각의 처리 방향이 달라지면, 동일한 구성의 장치로 모든 퍼스펙티브를 부/복호화하지 못하고 각각의 퍼스펙티브의 부/복호화 방향을 고려하여, 별도의 부/복호화 장치를 따로 제공해 주어야 한다는 문제점이 발생할 수 있다.

도 32는 본 개시에 따른 부호화 장치의 구성을 예시한 도면이다.

도 33은 본 개시에 따른 복호화 장치의 구성을 예시한 도면이다.

도 32의 부호화 장치는 변환 및 분배기(3201), 영상 정보 변환기(3202), 문맥 정보 추출기(3203) 및 복수의 부호화기를 포함하여 구성될 수 있다. 도 32의 부호화 장치는 입력 영상을 부호화함으로써 비트스트림을 생성할 수 있다. 입력 영상은 전방향 영상일 수 있으며, 각각의 부호화기는 전방향 영상을 구성하는 복수의 퍼스펙티브 중 하나의 퍼스펙티브를 부호화할 수 있다. 부호화기의 각각은 부호화 처리기, 복원픽쳐 버퍼 및/또는 엔트로피 부호기를 포함하며, 도 3의 부호화 장치에 해당할 수 있다.

도 33의 복호화 장치는 영상 정보 변환기(3301), 문맥 정보 추출기(3302), 변환 및 통합기(303) 및 복수의 복호화기를 포함하여 구성될 수 있다. 도 33의 복호화 장치는 비트스트림을 복호화함으로써 영상을 출력할 수 있다. 출력 영상은 전방향 영상일 수 있으며, 각각의 복호화기는 전방향 영상을 구성하는 복수의 퍼스펙티브 중 하나의 퍼스펙티브를 복호화할 수 있다. 복호화기의 각각은 복호화 처리기, 엔트로피 복호기 및/또는 복원픽쳐 버퍼를 포함하며, 도 4의 복호화 장치에 해당할 수 있다.

만약, 각각의 퍼스펙티브의 부/복호화 방향에 따라, 별도의 부/복호화기가 필요하다면, 도 32 및 도 33의 복수의 부호화기 및 복수의 복호화기의 각각은 서로 다른 구성을 갖게 되므로, 장치 구성의 복잡도가 증가하게 된다. 따라서, 각각의 퍼스펙티브의 처리 방향이 다르더라도 동일한 구성의 부호화기 또는 복호화기에 의해 처리될 수 있도록 추가적인 구성이 필요하다. 이를 위해, 본 개시에 따른 부호화기는 변환 및 분배기(3201) 및/또는 영상 정보 변환기(3202)를 더 포함할 수 있다. 또한, 본 개시에 따른 복호화기는 영상 정보 변환기(3301) 및/또는 변환 및 통합기(3302)를 더 포함할 수 있다.

전방향 영상을 구성하는 각각의 퍼스펙티브를 병렬 처리하기 위해서, 도 32의 변환 및 분배기(3201)는 각 퍼스펙티브의 영상 정보를 하나 이상의 부호화 처리기로 전송할 수 있다. 영상 정보의 전송 전에 각 퍼스펙티브의 처리 방향이 소정의 처리 방향과 일치하도록 영상 정보를 수정할 수 있다. 소정의 처리 방향은 예컨대, 래스터 스캔 순서일 수 있으나, 이에 한정되지 않으며, 모든 퍼스펙티브에 공통으로 적용되는 처리 방향으로서 미리 결정된 것이거나 시그널링되는 것일 수 있다.

변환 및 분배기(3201)는 아래와 같이 동작할 수 있다.

먼저, 입력 영상이 복수의 퍼스펙티브를 통합된 형태로 포함하고 있으면, 입력 영상을 각 퍼스펙티브 별로 분할한다(스텝 1). 전방향 영상은 각각의 퍼스펙티브 별로 따로 저장되거나 하나의 전개도 형태로 통합되어 저장될 수 있다. 이때, 하나의 전개도 형태로 저장되어 있을 경우 병렬 처리를 위해 퍼스펙티브 별로 분할한다. 각각의 퍼스펙티브들은 각각의 부호화 처리기로 전송될 수 있다.

다음으로, 퍼스펙티브 내의 CTU 처리 순서가 반시계 방향일 경우 시계 방향이 되도록 대칭 영상을 생성한다(스텝 2). 도 34는 퍼스펙티브의 처리 순서를 변환하는 방법을 설명하기 위한 예시도이다. 도 34의 (a), (b) 및 (c)의 각각은 CTU의 처리 순서가 반시계 방향인 퍼스펙티브 P6의 처리 순서를 시계 방향이 되도록 변환하는 실시예를 도시한다.

도 34의 (a)에서는 스테이지(stage) 1의 퍼스펙티브 P6을 좌우로 대칭하여, 스테이지 2의 대칭 퍼스펙티브를 생성할 수 있다. 도 34의 (b)에서는 스테이지 1의 퍼스펙티브 P6을 상하로 대칭시킴으로써, 스테이지 2의 대칭 퍼스펙티브를 생성할 수 있다. 또한, 도 34의 (c)에서는 스테이지 1의 퍼스펙티브 P6을 대각으로 대칭시킴으로써, 스테이지 2의 대칭 퍼스펙티브를 생성할 수 있다. 도 34의 (a), (b) 및 (c)의 각각에 있어서, 스테이지 2의 대칭 퍼스펙티브의 CTU의 처리 순서는 시계 방향으로 변환됨을 알 수 있다.

마지막으로, 스테이지 2의 대칭 퍼스펙티브의 부/복호화 시작 위치가 좌측 상단에 오도록 퍼스펙티브의 중앙을 기준으로 영상을 회전시킨다(스텝 3). 도 34의 (a)의 경우, 부/복호화 시작 위치가 우하단에 위치하므로, 스테이지 2의 대칭 퍼스펙티브를 180도 회전시킬 수 있다. 도 34의 (b)의 경우, 부/복호화 시작 위치가 좌상단에 위치하므로 스테이지 2의 대칭 퍼스펙티브를 회전시킬 필요가 없다. 도 34의 (c)의 경우, 부/복화화 시작 위치가 좌하단에 위치하므로, 스테이지 2의 대칭 퍼스펙티브를 시계방향으로 90도 회전시킬 수 있다. 스테이지 2의 대칭 퍼스펙티브의 회전에 의해 스테이지 3의 퍼스펙티브가 생성될 수 있다.

만약 스테이지 1의 퍼스펙티브 내의 CTU의 처리 순서가 시계 방향일 경우, 상기 대칭은 수행되지 않을 수 있으며, 예컨대, 회전만이 수행될 수 있다. 전술한 바와 같이, 퍼스펙티브를 대칭 및/또는 회전시킴으로써, 퍼스펙티브의 부/복호화 처리 순서를 소정의 순서로 일치시킬 수 있다. 도 34를 참조하여 설명한 위의 예시는 각 퍼스펙티브의 부/복호화가 왼쪽 상단에서 시작할 수 있도록 만든 방법의 예이다. 또한, 상기 대칭 및/또는 회전은 매트릭스로 표현될 수 있다. 또한, 상기 대칭 및 회전은 매트릭스 곱의 형태로 표현되어 한번의 연산으로 수행될 수도 있다.

전술한 바와 같이, 퍼스펙티브에 포함된 블록을 처리할 때, 이웃 퍼스펙티브에 포함된 블록의 영상 정보를 참조할 수 있다. 여기서 영상 정보란, 전술한 바와 같이, 단순히 영상에 존재하는 픽셀 정보 외에도 공간적 예측에 활용한 예측 모드, 시간적 예측에 활용한 움직임 벡터, 머지 인덱스, 양자화 파라미터 정보, 인루프 필터 정보, 필터 계수 정보 등 부/복호화 과정에서 생성되거나 사용되는 모든 정보를 포함할 수 있다.

그러나, 3차원 공간상의 영상을 전개도상에 표현하는 과정에서 퍼스펙티브 간의 위치 및 방향에 차이가 발생한다. 따라서, 서로 다른 퍼스펙티브간 예측에 활용할 수 있는 영상 정보를 공유하기 위해서는 각 퍼스펙티브의 전개도상의 방향에 맞게 영상 정보를 변환하는 과정이 필요하다. 또한, 도 34를 참조하여 설명한 바와 같이, 퍼스펙티브의 부/복호화 처리 순서를 좌상단에서 우하단으로 일치시키기 위한 대칭 및/또는 회전 변환을 수행함에 따라 영상 정보를 변환할 필요가 있다.

복호화기는 부호화기가 사용한 전개도에 관한 정보 및/또는 각각의 퍼스펙티브에 적용된 변환에 관한 정보 등에 기초하여 참조하게 될 영상 정보의 변환 방법을 결정할 수 있다. 부/복호화기는 전개도에 관한 정보, 각 퍼스펙티브의 전개도 상에서의 위치에 관한 정보 및/또는 각 퍼스펙티브에 적용된 변환에 관한 정보를 사전에 약속할 수 있다. 또는 상기 정보의 전부 또는 일부는 비트스트림을 통해 명시적으로 또는 암묵적으로 시그널링될 수 있다. 또는 복호화기는 부/복호화에 관한 다른 신택스 또는 변수에 기초하여 상기 정보의 일부 또는 전부를 유도할 수도 있다.

전술한 영상 정보의 변환은 도 32의 영상 정보 변환기(3202) 및 도 33의 영상 정보 변환기(3301)에 의해 수행될 수 있다.

부/복호화기가 서로 약속한 한가지 방식을 사용할 수 있는 경우, 비디오 파라미터 셋(Video Parameter Set, VPS) 또는 시퀀스 파라미터 셋(Sequence Parameter Set, SPS)과 같은 영상 헤더에 플래그 정보를 포함시켜 약속한 방식의 사용 여부를 시그널링할 수 있다.

부호화기가 복수의 전개도 중 어떤 전개도를 이용할지 또는 변환 및 분배기(3201)에서 처리되는 퍼스펙티브의 처리 순서가 가변적인 경우, 부호화시 사용된 전개도의 종류 또는 퍼스펙티브의 처리 순서에 관한 정보는 복호기로 명시적으로 시그널링될 수 있다. 또는 부/복호화기가 상기 정보 등에 대한 룩업 테이블을 공유하는 경우, 룩업 테이블의 인덱스를 시그널링할 수도 있다.

도 33의 변환 및 통합기(3303)는 도 32의 변환 및 분배기(3201)의 과정을 반대로 수행할 수 있다. 보다 구체적으로 아래의 과정을 수행할 수 있다.

먼저, 부호화 장치에서 해당 퍼스펙티브 영상에 대해 회전을 적용했을 경우, 부호화 장치에서 회전된 각도만큼 영상을 반대 방향으로 회전시킬 수 있다(스텝 1).

다음으로, 부호화 장치에서 해당 퍼스펙티브 영상에 대해 대칭을 적용했을 경우 부호화 장치에서 사용했던 중앙선을 기준으로 대칭 영상을 생성할 수 있다(스텝 2).

다음으로, 복수의 퍼스펙티브가 합쳐진 하나의 전개도를 생성할 경우 스텝 1 및/또는 스텝 2를 거친 퍼스펙티브 영상들을 전개도에 맞게 하나로 통합할 수 있다.

스텝 1 및 스텝 2는 부호화 장치의 변환 및 분배기(3201)가 사용한 연산을 역으로 적용함으로서 수행될 수 있다. 복호화 장치의 사용자가 복수의 퍼스펙티브를 합친 하나의 전개도를 요구할 경우 스텝 3이 수행될 수 있다.

전술한 바와 같이, 퍼스펙티브 간 예측에 활용할 수 있는 픽셀 정보를 공유하기 위해서는 3차원 공간의 영상을 전개도상에 표현하면서 발생하는 퍼스펙티브 간의 위치 차이 및/또는 퍼스펙티브의 부/복호화 처리 순서를 소정의 순서로 일치시키기 위한 변환을 고려하여, 픽셀 정보를 보정할 수 있다.

또한, 예측에 사용되는 인접 퍼스펙티브의 영상 정보를 원활히 참조하기 위해서는, 인접 퍼스펙티브의 영상 정보를 수정(modify)할 필요가 있다.

예컨대, 시간적 예측에 사용하는 움직임 벡터의 경우, 전개도 상에서의 퍼스펙티브 간의 위치 차이 및/또는 부/복호화 처리 순서를 소정의 순서로 일치시키지 위한 변환을 고려한 보정과 마찬가지로, 대칭 및/또는 회전 변환을 수행하여 수정될 수 있다.

그러나, 공간적 예측 모드의 수정은 상기 방법으로는 해결되지 않을 수 있다. 그 이유에 대해서는 후술한다. 화면내 예측을 수행하기 위해, 예컨대, 현재 블록의 좌하단, 좌단, 상단, 우상단의 인접 픽셀 정보를 이용할 수 있다. 또한, 방향성 예측 모드로서, 도 35에 도시된 바와 같이, 33가지의 예측 모드가 이용될 수 있다. 또는, 보다 세밀한 방향성을 지원하기 위해, 더 많은 방향성 예측 모드가 이용될 수도 있다.

영상의 부/복호화를 좌상단에서 우하단으로 진행하면, 특정 방향에만 픽셀 정보가 존재한다. 따라서, 참조할 수 있는 방향성 예측 모드는 좌하단, 좌단, 상단 및/또는 우상단의 예측 모드일 수 있다. 또한, 움직임 벡터와 다르게 공간적 예측의 방향에 따른 모드 번호가 저장이 된다. 따라서, 모드 번호가 실제 공간적 예측의 방향과 매칭이 안될 수도 있다. 따라서 퍼스펙티브가 대칭이나 회전으로 변환될 경우 이웃 블록의 예측 정보를 그대로 활용할 수 없다.

도 36은 이웃 퍼스펙티브의 예측 모드를 참조한 현재 퍼스펙티브의 공간적 예측을 설명하기 위한 예시도이다.

도 36의 (a)는 정육면체 전방향 영상의 전개도 상에서, 퍼스펙티브 P2의 블록 A, 퍼스펙티브 P6의 블록 B의 위치를 나타낸다. 도 36의 (b)는 전개도 상에서의 위치 차이를 고려하여, 퍼스펙티브 P2 및 퍼스펙티브 P6의 위치를 보정한 후의 블록 A와 B의 위치를 나타낸다. 도 36의 (c)는 퍼스펙티브 P6의 의 부/복호화 처리 순서를 소정의 방향, 예컨대, 좌상단에서 우하단으로 일치시키는 보정 후의 블록 A와 B의 위치를 나타낸다.

도 36의 (c)의 퍼스펙티브 P6은 도 32의 변환 및 분배기(3201)를 통해 좌상단에서 우하단의 순서로 부호화될 수 있다. 따라서, 블록 B는 도 35에 예시한 화면 내 예측 모드를 이용하여 예측될 수 있다. 하지만, 도 36의 (c)의 블록 A의 부호화 완료된 픽셀 정보는 블록 B가 참조할 수 있도록 변환된 것이다. 그러나, 픽셀 정보 외의 다른 영상 정보들은 변환 전의 것이므로, 블록 B가 그대로 이용할 수 없다. 따라서 다른 영상 정보들에 대해서도, 픽셀 정보를 변환한 것에 대응되는 변환 과정을 수행할 필요가 있다. 이때, 픽셀 정보의 변환은 예컨대, 도 34를 참조하여 설명한 바와 같다.

그러나, 화면 내 예측의 경우, 방향성에 관해 모드 번호가 사용되기 때문에 변환 과정을 거친 후에는, 방향성에 관한 모드 번호가 동일하지 않거나 존재하지 않는 경우가 발생할 수 있다.

현재 블록(예컨대, 도 36의 블록 B)과 참조 블록(예컨대, 도 36의 블록 A)에 가용한 공간적 예측의 방향성이 동일하면, 변환에 의해 변경된 모드 번호의 수정만 필요할 수 있다. 하지만, 현재 블록의 예측 모드에 대응되는 모드가 참조 블록에 대해서는 존재하지 않을 수도 있다.

도 37은 현재 블록과 참조 블록의 예측 모드의 차이를 설명하기 위한 도면이다.

도 37의 (a)는 도 36의 (c)에 도시된 블록 A 및 블록 B에 가용한 방향성 예측 모드를 예시적으로 나타낸다. 도 37의 (a)에 도시된 바와 같이, 블록 B의 변환에 따라 블록 A가 변환되면서, 모드 번호 26외에는 블록 B가 예측에 활용할 수 있는 모드가 블록 A에 대해 없음을 알 수 있다. 하지만, 블록 A의 예측 방향 자체는 블록 B의 예측 방향의 부/복호화에 유용할 수 있다. 따라서 블록 A의 모드 번호를 블록 B가 사용할 수 있도록 해석하면, Most Probable Mode(MPM)등의 예측 기술의 효율을 향상시킬 수 있다.

방향성 예측 모드의 해석은 다음과 같이 수행될 있다. 참조 블록의 예측 방향이 소정의 처리 순서(예컨대, 순차 주사 순서)에 따른 방향성 모드(예컨대, 도 35를 참조하여 설명한 방향성 모드)중에 존재하는 경우, 참조 블록의 방향성 예측 모드는 참조 블록의 예측 방향에 할당된 모드 번호로 해석할 수 있다. 예컨대, 도 37의 (a)에서, 참조 블록 A의 예측 방향이 우상단 방향인 경우, 우상단 방향은 도 35에 도시된 방향성 모드 중에 포함된다. 따라서, 이 경우, 참조 블록 A의 방향성 예측 모드는 '34'로 해석될 수 있다.

만약, 참조 블록의 예측 방향이 소정의 처리 순서(예컨대, 순차 주사 순서)에 따른 방향성 모드 중에 존재하지 않는 경우, 즉, 아래쪽 방향 또는 오른쪽 방향일 경우, 참조 블록의 예측 방향에 180도 대칭되는 예측 방향에 할당된 모드 번호로 해석할 수 있다. 예컨대, 도 37의 (a)에서, 참조 블록 A의 예측 방향이 오른쪽 방향인 경우, 오른쪽 방향은 도 35에 도시된 방향성 모드 중에 포함되지 않는다. 따라서, 이 경우, 참조 블록 A의 방향성 예측 모드는, 오른쪽 방향에 180도 대칭되는 왼쪽 방향에 할당된 모드 번호인 '10'으로 해석될 수 있다.

도 37의 (b)는 도 37의 (a)의 하단 방향성(실선 화살표)을 상단 방향성(점선 화살표)으로 해석하는 예를 나타낸다. 도 37의 (b)의 방향성 모드 중 2번 모드는 기존 방향성 모드 중에 포함된다. 따라서, 180도 대칭해서 해석되지 않을 수 있다.

도 37의 (c)는 도 37의 (a)의 오른쪽 방향성(실선 화살표)을 왼쪽 방향성(점선 화살표)으로 해석하는 예를 나타낸다. 도 37의 (c)의 방향성 모드 중 34번 모드는 기존 방향성 모드 중에 포함된다. 따라서, 180도 대칭해서 해석되지 않을 수 있다.

도 38은 참조 블록의 방향성 예측 모드의 해석 방법을 설명하기 위한 도면이다.

단계 S3810에서, 참조 블록의 영상 정보를 변환할 수 있다. 참조 블록의 영상 정보의 변환은 현재 블록에 맞추어 수행될 수 있다. 예컨대, 현재 블록의 변환을 고려하여, 또는 현재 블록과 참조 블록이 포함되는 퍼스펙티브의 차이를 고려하여 수행될 수 있다.

단계 S3820에서, 해석되지 않은 참조 블록의 방향성 예측 모드가 현재 블록에 대해 가용한지 판단할 수 있다. 예컨대, 현재 블록에 대해 가용한 방향성 예측 모드 중에 상기 해석되지 않은 참조 블록의 방향성 예측 모드가 포함되면, 참조 블록의 해당 방향성 예측 모드는 현재 블록에 대해 가용한 것으로 판단할 수 있다.

참조 블록의 방향성 예측 모드가 현재 블록에 대해 가용하지 않다면(단계 S3820에서 No), 단계 S3830에서, 참조 블록의 해당 방향성 예측 모드에 180도 대칭되는 모드를 생성할 수 있다. 이후, 단계 S3840에서, 참조 블록의 방향성 예측 모드를 해석할 수 있다. 예컨대, 참조 블록의 방향성 예측 모드는, 단계 S3830에서 생성된 참조 블록의 방향성 예측 모드와 같은 방향성을 갖는 현재 블록의 모드로 해석될 수 있다.

참조 블록의 방향성 예측 모드가 현재 블록에 대해 가용하다면(단계 S3820에서 Yes), 단계 S3840에서, 참조 블록의 방향성 예측 모드는, 참조 블록의 방향성 예측 모드와 같은 방향성을 갖는 현재 블록의 모드로 해석될 수 있다.

단계 S3850에서, 참조 블록의 모든 방향성 예측 모드가 해석되었는지 판단할 수 있다. 참조 블록의 방향성 예측 모드 중 해석되지 않은 모드가 있으면, 단계 S3820으로 이동하여 상기 과정이 반복될 수 있다.

도 35에 도시된 예측 모드를 가정하면, 정육면체 전방향 영상의 각 퍼스펙티브가 어떤 전개도를 이용하여 전개되느냐에 따라, 참조 블록의 방향성 예측 모드는 예컨대, 도 39에 도시된 8가지의 경우 중 하나일 수 있다.

도 39에 도시된 8가지 경우 중, 현재 블록과 같은 경우(예컨대, 도 39의 (a)의 경우)를 제외하고는, 참조 블록의 방향성 모드를 현재 블록에 맞춰 해석할 필요가 있다. 참조 블록의 방향성 모드의 해석은 도 37을 참조하여 설명한 바와 같이 수행될 수 있다. 또는 부/복호화 장치가 공유하는 룩업 테이블(해석 테이블)을 참조함으로써 참조 블록의 방향성 모드를 해석할 수 있다. 테이블을 참조하는 경우, 참조 블록이 도 39의 8가지 경우 중 어디에 해당하는지를 결정할 필요가 있다. 이는 비트스트림을 통해 시그널링될 수 있다. 또는 사용된 전개도에 관한 정보, 기타 부/복호화 정보에 기초하여 유도될 수도 있다.

아래의 표 1은 방향성 모드 해석 테이블의 일례이다. 표 1은 33개의 방향성에 대한 테이블이다. 그러나, 방향성의 개수는 이에 한정되지 않는다.

해석 모드(a)	(b)	(c)	(d)	(e)	(f)	(g)	(h)
2	18	18	34	*	*	34	2
3	19	17	33	19	17	3	33
4	20	16	32	20	16	4	32
5	21	15	31	21	15	5	31
6	22	14	30	22	14	6	30
7	23	13	29	23	13	7	29
8	24	12	28	24	12	8	28
9	25	11	27	25	11	9	27
10	26	10	26	26	10	10	26
11	27	9	25	27	9	11	25
12	28	8	24	28	8	12	24
13	29	7	23	29	7	13	23
14	30	6	22	30	6	14	22
15	31	5	21	31	5	15	21
16	32	4	20	32	4	16	20
17	33	3	19	33	3	17	19
18	2, 34	2, 34	18	2, 34	2, 34	18	18
19	3	33	17	3	33	19	17
20	4	32	16	4	32	20	16
21	5	31	15	5	31	21	15
22	6	30	14	6	30	22	14
23	7	29	13	7	29	23	13
24	8	28	12	8	28	24	12
25	9	27	11	9	27	25	11
26	10	26	10	10	26	26	10
27	11	25	9	11	25	27	9
28	12	24	8	12	24	28	8
29	13	23	7	13	23	29	7
30	14	22	6	14	22	30	6
31	15	21	5	15	21	31	5
32	16	20	4	16	20	32	4
33	17	19	3	17	19	33	3
34	*	*	2	*	18	2	34

또한, 공간적 예측시 퍼스펙티브의 차이를 고려하여, 영상 정보를 보정할 필요가 있다. 도 40은 정육면체 전방향 영상의 공간적 예측에 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다. 도 40에서 점선 박스는 각 CTU(블록 A, B 및 C)의 공간적 예측에 사용되는 참조 샘플의 위치를 나타낸다. 도 40의 (a)에 도시된 바와 같이, 정육면체 전방향 영상의 공간적 예측을 수행할 때, 전개도 상에서 참조 샘플의 존재하지 않는 경우가 있다. 예컨대, 도 40의 (a)에 도시된 좌상단 CTU(블록 A)의 경우, 좌상단 참조 샘플(X)이 존재하지 않는다. 또한, 우단 CTU(블록 B)와 하단 CTU(블록 C)의 경우, 퍼스펙티브 간의 차이에 의해, 올바른 참조 샘플이 선택되지 않을 수 있다. 전술한 바와 같이, 참조 샘플이 존재하지 않는 경우 및/또는 퍼스펙티브 간의 차이로 인해 픽셀 정보의 보정이 필요한 경우, 공간적 예측을 수행할 때, 이웃 퍼스펙티브의 샘플 값을 이용하여, 존재하지 않는 샘플 값을 유도하거나, 또는 현재 퍼스펙티브에 맞게 이웃 퍼스펙티브를 변환해서 참조 샘플을 결정할 수 있다.

예컨대, 도 40의 (a)의 블록 A의 참조 샘플(X)는 퍼스펙티브 P1과 P2의 영상 정보를 보간함으로써 생성할 수 있다. 또한, 퍼스펙티브 P3와 시점이 서로 다른 퍼스펙티브 P4 및/또는 P6의 경우, 시점 보정을 통하여 올바른 참조 샘플을 생성할 수 있다.

도 41은 정육면체 전방향 영상을 전개도상에의 연속성을 활용하여 병렬 처리하는 방법을 설명하기 위한 도면이다.

도 41에 사용된 두 개의 정육면체 전개도는 도 11의 (a) 및 (e)와 같다. 도 41에 도시된 예에서, 각 퍼스펙티브는 5x5 CTU를 포함하며, 각 CTU 내의 숫자는 WPP 처리 순서를 나타낸다. 부/복호화의 처리는 도 41의 (a)의 빗금친 블록 a1 및 a2로부터 시작될 수 있다. 3 차원이 아닌 단순 전개도상에서는 퍼스펙티브 A와 B는 서로 참조하지 않을 수 있다. 도 41의 (a)의 블록 a1 과 a2의 위치에서 동시에 부/복호화가 시작되어도, 블록 a2가 속한 행의 처리가 블록 a1이 속한 열에 다다랐을 때는 의존성이 해결된 상태이기 때문에 의존성에 의한 지연이 발생하지 않는다.

마찬가지로, 도 41의 (b)의 경우에도, 블록 b1과 b2의 위치에서 동시에 부/복호화가 시작되어도, 블록 b2가 속한 행의 처리가 블록 b1이 속한 열에 다다랐을 때는 의존성이 해결된 상태이므로, 의존성에 의한 지연이 발생하지 않는다.

도 41에 도시된 예에서는, 부호화기는 전개도상에서 둘 이상의 위치에서 부/복호화를 개시하게 된다. 따라서, 예컨대, 부호화기는 블록 a1 및 a2에 대한 두 개의 엔트로피 정보(예컨대, 엔트로피 문맥 테이블)를 사용할 수 있다. 복호화기는 부호화기에서 사용된 방식을 알아야 복호화를 수행할 수 있다. 따라서, 부호화기에서 사용한 엔트로피 정보, 부호화 개시 시점 및/또는 전개도에 관한 정보 등은 비트스트림을 통해 시그널링될 수 있다. 또는 룩업 테이블을 참조함으로써 수행될 수 있다. 또는 다른 부호화 파라미터 및/또는 내부 변수에 기초하여 유도할 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (19)

1. 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부호화 방법에 있어서,
   서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계;
   상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하는 단계; 및
   상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하는 단계를 포함하되,
   상기 복수의 퍼스펙티브 영상은 360도 전방향 영상을 N면체에 투영시켜 획득한 N개의 영상인 영상의 부호화 방법.
2. 제1항에 있어서,
   상기 제3 퍼스펙티브에 대한 부호화는, 상기 제1 및 제2 퍼스펙티브 영상의 부호화에 따라 의존성이 해결된 두 개의 블록으로부터 시작되는 영상의 부호화 방법.
3. 제2항에 있어서,
   상기 제3 퍼스펙티브의 부호화가 시작되는 두 개의 블록의 각각의 위치는, 상기 제1 및 제2 퍼스펙티브 영상의 부호화가 시작되는 각각의 위치에 기초하여 결정되는 영상의 부호화 방법.
4. 제3항에 있어서,
   상기 제3 퍼스펙티브의 부호화가 시작되는 두 개의 블록의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 부호화가 시작되는 각각의 위치에 인접한 블록인 영상의 부호화 방법.
5. 제2항에 있어서,
   상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 부호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각에 기초하여 결정되는 영상의 부호화 방법.
6. 제5항에 있어서,
   상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 부호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각의 수직 방향인 영상의 부호화 방법.
7. 제5항에 있어서,
   상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각은 상하 방향 또는 좌우 방향 중 하나의 방향으로 서로 반대인 영상의 부호화 방법.
8. 제5항에 있어서,
   상기 제1 및 제2 퍼스펙티브 영상의 부호화 진행 방향의 각각은 상하 방향 및 좌우 방향의 모든 방향으로 서로 반대인 영상의 부호화 방법.
9. 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 복호화 방법에 있어서,
   서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계;
   상기 제1 및 제2 퍼스펙티브 영상에 대한 복호화를 시작하는 단계; 및
   상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 복호화를 시작하는 단계를 포함하되,
   상기 복수의 퍼스펙티브 영상은 360도 전방향 영상을 N면체에 투영시켜 획득한 N개의 영상인 영상의 복호화 방법.
10. 제9항에 있어서,
    상기 제3 퍼스펙티브에 대한 복호화는, 상기 제1 및 제2 퍼스펙티브 영상의 복호화에 따라 의존성이 해결된 두 개의 블록으로부터 시작되는 영상의 복호화 방법.
11. 제10항에 있어서,
    상기 제3 퍼스펙티브의 복호화가 시작되는 두 개의 블록의 각각의 위치는, 상기 제1 및 제2 퍼스펙티브 영상의 복호화가 시작되는 각각의 위치에 기초하여 결정되는 영상의 복호화 방법.
12. 제11항에 있어서,
    상기 제3 퍼스펙티브의 복호화가 시작되는 두 개의 블록의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 복호화가 시작되는 각각의 위치에 인접한 블록인 영상의 복호화 방법.
13. 제10항에 있어서,
    상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 복호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각에 기초하여 결정되는 영상의 복호화 방법.
14. 제13항에 있어서,
    상기 제3 퍼스펙티브의 두 개의 블록을 시작으로 하는 상기 제3 퍼스펙티브의 복호화 진행 방향의 각각은, 상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각의 수직 방향인 영상의 복호화 방법.
15. 제13항에 있어서,
    상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각은 상하 방향 또는 좌우 방향 중 하나의 방향으로 서로 반대인 영상의 복호화 방법.
16. 제13항에 있어서,
    상기 제1 및 제2 퍼스펙티브 영상의 복호화 진행 방향의 각각은 상하 방향 및 좌우 방향의 모든 방향으로 서로 반대인 영상의 복호화 방법.
17. 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부호화 장치로서,
    서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하고, 상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하고, 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하도록 구성되되,
    상기 복수의 퍼스펙티브 영상은 360도 전방향 영상을 N면체에 투영시켜 획득한 N개의 영상인 영상의 부호화 장치.
18. 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 복호화 장치로서,
    서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하고, 상기 제1 및 제2 퍼스펙티브 영상에 대한 복호화를 시작하고, 상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 복호화를 시작하도록 구성되되,
    상기 복수의 퍼스펙티브 영상은 360도 전방향 영상을 N면체에 투영시켜 획득한 N개의 영상인 영상의 복호화 장치.
19. 복수의 퍼스펙티브(perspective) 영상을 포함하는 영상의 부호화 방법에 의해 생성된 비트스트림을 저장한 기록 매체로서,
    상기 영상의 부호화 방법은,
    서로 이웃하지 않는 제1 퍼스펙티브 영상 및 제2 퍼스펙티브 영상을 선택하는 단계;
    상기 제1 및 제2 퍼스펙티브 영상에 대한 부호화를 시작하는 단계; 및
    상기 제1 및 제2 퍼스펙티브 영상에 모두 인접한 제3 퍼스펙티브에 대한 부호화를 시작하는 단계를 포함하되,
    상기 복수의 퍼스펙티브 영상은 360도 전방향 영상을 N면체에 투영시켜 획득한 N개의 영상인,
    비트스트림을 저장한 기록 매체.

Images