KR20190020083A

KR20190020083A - 인코딩 방법 및 장치 및 디코딩 방법 및 장치

Info

Publication number: KR20190020083A
Application number: KR1020197001684A
Authority: KR
Inventors: 시앙 마; 하이타오 양
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2016-06-27
Filing date: 2017-06-26
Publication date: 2019-02-27
Also published as: EP3468199A1; EP3468199A4; EP3934255A1; US10805606B2; WO2018001208A1; CN107547907B; CN107547907A; EP3468199B1; US20190158825A1; KR102243120B1

Abstract

본 발명은 비디오 처리 분야에 적용되는 디코딩 방법을 제공한다. 상기 디코딩 방법은 2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계와; 상기 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계인지 여부를 결정하기 위해, 2 차원 파노라마 화상의 인코딩된 비트스트림을 파싱하는 단계와; 만일 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여, 2 차원 파노라마 화상의 인코딩된 비트스트림을 디코딩하는 단계를 포함한다.

Description

인코딩 및 디코딩 방법 및 장치

본 발명은 비디오 인코딩, 디코딩 및 압축 분야에 관한 것으로, 특히, 파노라마 화상의 인코딩 및 디코딩에 적용 가능한 인코딩 방법 및 장치와 디코딩 방법 및 장치에 관한 것이다.

디지털 비디오 기능은 디지털 텔레비전, 디지털 라이브 시스템, 무선 방송 시스템, PDA(personal digital assistants), 랩톱 또는 데스크톱 컴퓨터, 태블릿 컴퓨터, 전자 북 판독기, 디지털 카메라, 디지털 기록 장치, 디지털 미디어 플레이어, 비디오 게임 장치, 비디오 게임 콘솔, 셀룰러 또는 위성 라디오 전화, 화상 회의 장치, 비디오 스트림 장치 등을 포함한 광범위한 장치에 통합될 수 있다. 디지털 비디오 장치는 비디오 압축 기술, 예를 들어, MPEG-2, MPEG-4, ITU-TH.263, ITU-TH.264/MPEG-4 Part 10: AVC(Advanced Video Coding) 및 ITU-TH.265: 고효율 비디오 코딩(HEVC) 표준 및 표준의 확장 부분에 의해 정의된 표준에 기술된 비디오 압축 기술을 구현하여, 디지털 비디오 정보를 보다 효율적으로 송신 및 수신한다. 비디오 장치는 이러한 비디오 인코딩 및 디코딩 기술을 구현함으로써, 디지털 비디오 정보를 보다 효율적으로 송신, 수신, 인코딩, 디코딩 및/또는 저장할 수 있다.

비디오 인코딩 및 디코딩 분야에서, 프레임은 전체 화상을 지칭한다. 특정 순서 및 프레임 레이트에 따라 프레임 단위의 비디오 포맷으로 형성된 후에, 화상이 재생될 수 있다. 프레임 레이트가 특정 레이트에 도달한 후, 두 프레임 간의 시간 간격은 사람의 눈의 해상도 한계보다 작아 일시적인 시각적 지속성이 발생하므로, 화상이 스크린상에 동적으로 나타나는 것처럼 보인다. 단일 프레임 디지털 화상의 압축 코딩은 비디오 파일 압축을 구현하기 위한 토대가 된다. 디지털화된 화상은 가외성 정보(redundant information)라고 하는 반복적으로 표시되는 많은 정보를 갖는다. 화상의 프레임은 대개 동일하거나 유사한 공간 구조를 갖는 다수의 섹션을 갖는다. 예를 들어, 동일한 물체 또는 배경의 샘플링 포인트들의 컬러는 서로 밀접하게 연관되고 유사하다. 멀티 프레임 화상 그룹에서, 한 프레임의 화상은 화상 프레임들 중 이전 프레임 또는 후속 프레임과 높은 상관 관계가 있으며, 설명 정보의 화소 값들에서는 차이가 미세하다. 이들은 압축될 수 있는 부분이 된다. 유사하게, 비디오 파일은 공간적으로 중복되는 정보뿐만 아니라 대량의 시간적으로 중복되는 정보를 포함한다. 이것은 비디오의 구성 구조에 의해 유발된다. 예를 들어, 비디오 샘플링의 프레임 레이트는 일반적으로 초당 25 프레임 내지 초당 30 프레임이며, 특별한 경우 초당 60 프레임이 될 수 있다. 즉, 2 개의 이웃하는 프레임 간의 샘플링 시간 간격은 적어도 1/30 초 내지 1/25 초이다. 이러한 짧은 시간 내에 샘플링을 통해 얻은 화상은 기본적으로 방대한 양의 유사한 정보를 가지고 있으며 그 화상은 상당한 상관 관계를 갖는다. 그러나, 오리지널 디지털 비디오 기록 시스템에는 독립적인 레코드가 존재하며, 일관되고 유사한 기능이 고려되거나 사용되지 않아 막대한 양의 반복되고 중복되는 데이터를 유발한다. 또한, 연구에 따르면, 생리적 특징인 인간의 눈의 시각 감도의 관점에서, 비디오 정보는 압축될 수 있는 부분, 즉 시각적 가외성(visual redundancy)을 가지고 있다는 것이다. 시각적 가외성이란, 인간의 눈이 색차 변화보다 휘도 변화에 더 민감하다는 시각적 특징을 사용하여 비디오 비트스트림을 적절히 압축하는 것을 의미한다. 고휘도 영역에서, 휘도 변화에 대한 사람의 시력 감도는 하강 경향을 나타낸다. 인간의 시력은 내부 영역보다는 대상의 가장자리 부분에 더 민감하게 변하고, 내부 세부 사항의 변화보다는 전체 구조에 더 민감하게 변한다. 비디오 화상 정보의 최종 서비스 목표는 인간 그룹이다. 따라서, 인간의 눈의 그러한 특징을 충분히 이용함으로써, 오리지널 비디오 화상 정보에 대해 압축 처리가 수행되어 더 나은 압축 효과를 달성할 수 있다. 위에서 언급한 공간 가외성, 시간 가외성 및 시각적 가외성 외에도, 비디오 화상 정보는 정보 엔트로피 가외성, 구조적 가외성, 지식 가외성 및 중요도 가외성과 같은 일련의 가외성 정보를 갖는다. 비디오 압축 코딩의 목적은 다양한 기술적 방법을 사용하여 비디오 시퀀스에서 가외성 정보를 제거하여 저장 공간을 줄이고 전송 대역폭을 절감하는 데 있다.

현재의 기술 개발 상황의 측면에서, 비디오 압축 처리 기술은 주로 인트라 프레임 예측, 인터 프레임 예측, 변환 및 양자화, 엔트로피 인코딩, 디블로킹 필터링 처리 등을 포함한다. 기존의 국제 비디오 압축 코딩 표준에서는 기존의 비디오 압축 코딩 표준에 주로 사용되는 4 가지 유형의 주류 압축 코딩 방식인 색차 샘플링(chrominance sampling), 예측 코딩, 변환 코딩 및 양자화 코딩이 있다.

색차 샘플링: 이 방식은 인간의 눈의 시각적, 생리적 특성을 최대한 활용하고, 최하위 계층 데이터 표현에서 단일 요소에 의해 기술된 데이터 볼륨을 최대로 줄이기 위한 시도를 시작한다. 텔레비전 시스템에서, 휘도-색차-색차(YUV) 컬러 코딩이 주로 사용되며, 유럽 텔레비전 시스템에서 널리 사용되는 표준이다. YUV 컬러 공간은 휘도 신호(Y) 및 2 개의 색차 신호(U 및 V)를 포함한다. 세 가지 구성 요소는 서로 독립적이다. YUV 컬러 모드가 서로 분리되어 있는 표현 방식은 보다 융통성이 있으며, 소량의 전송 대역폭을 차지하며, 종래의 적색 녹색 청색(RGB) 컬러 모델보다 유리하다. 예를 들어, YUV 4:2:0 형식은 2 개의 색차 성분(U 및 V)이 함께 수평 및 수직 방향 모두에서 휘도 성분(Y)의 절반만을 차지하는 것을 나타내며, 즉, 4 개의 샘플링 화소 포인트는 4 개의 휘도 성분(Y) 및 단 하나의 색차 성분(U)과 하나의 색차 성분(V)을 갖는다. 이러한 표현은 데이터 볼륨을 오리지널 데이터 볼륨의 약 33 %로 더 감소시킨다. 현재 널리 사용되는 비디오 데이터 압축 방식 중 하나는 인간의 눈의 생리적 및 시각적 특징을 사용하여 색차 샘플링을 통해 비디오 압축을 구현하는 것이다.

예측 코딩: 현재 인코딩될 프레임은 이전에 인코딩된 프레임의 데이터 정보를 이용하여 예측된다. 예측자(predictor)는 예측을 통해 얻어지며, 실제 값과 정확하게 동일한 것은 아니다. 예측자와 실제 값 사이에는 잔차 값(residual value)이 존재한다. 보다 적절한 예측은 실제 값에 더 가까운 예측자를 나타내고, 더 작은 잔차 값을 나타낸다. 이러한 방식에서, 잔차 값을 인코딩함으로써, 데이터 볼륨을 상당히 감소시킬 수 있다. 초기 화상은, 디코더 측에서 수행되는 디코딩 동안, 잔차 값을 예측자에 부가함으로써 복원되거나 재구성된다. 이것은 예측 코딩의 기본 개념적 방법이다. 주류 코딩 표준에서, 예측 코딩은 인트라 예측과 인터 예측의 두 가지 기본 유형으로 분류된다.

변환 코딩: 오리지널 공간 도메인 정보는 바로 인코딩되지 않고, 대신, 샘플링된 정보의 값이 변환 함수의 형식에 따라 현재의 도메인으로부터 사람이 정의한 다른 도메인(보통 변환 도메인이라고 함)으로 변환되며, 그 후 변환 도메인에서 상기 정보의 분포 특징에 따라 압축 코딩이 수행된다. 변환 코딩을 사용하는 이유는, 비디오 이미지 데이터가 대개 공간 도메인에서 큰 데이터 상관 관계를 가지기 때문에, 엄청난 가외성 정보를 초래하고 직접 인코딩을 위해 대량의 비트를 필요로 하기 때문이다. 변환 도메인에서는 데이터 상관 관계가 크게 감소되므로, 인코딩 시 가외성 정보가 줄어들고, 그에 따라 인코딩에 필요한 데이터 볼륨이 크게 감소된다. 이러한 방식, 비교적 높은 압축비가 얻어질 수 있고, 비교적 양호한 압축 효과가 달성될 수 있다. 전형적인 변환 코딩은 Karhunen-Loeve(K-L) 변환, 푸리에 변환 등을 포함한다. 정수 이산 코사인 변환(DCT)은 많은 국제 표준에서 통상적으로 사용되는 변환 코딩 방식이다.

양자화 인코딩: 데이터는 위에서 언급한 변환 코딩에서 압축되지 않으며, 양자화 처리는 데이터 압축을 위한 효과적인 수단이며 손실성 압축에서 데이터 "손실"의 주요 원인이 된다. 양자화 처리는 상대적으로 큰 동적 범위를 갖는 입력 값을 상대적으로 작은 동적 범위를 갖는 출력 값으로 강제적으로 계획하는 처리이다. 양자화된 입력 값은 비교적 큰 범위를 가지며 표시를 위해 상대적으로 많은 양의 비트를 필요로 한다. "강제 계획" 이후의 출력 값은 비교적 작은 범위를 가지므로 표시를 위한 소량의 비트만 필요로 한다. 각각의 양자화된 입력은 양자화된 출력으로 정규화되며, 즉, 크기의 차수로 양자화된다. 이러한 크기의 차수는 일반적으로 양적 수준(일반적으로 인코더에 의해 지정됨)으로 지칭된다.

하이브리드 코딩 아키텍처에 기초한 코딩 알고리즘에서, 전술한 압축 코딩 방식들이 혼합되어 사용된다. 인코더 제어 모듈은 비디오 프레임 내의 상이한 화상 블록의 국부적 특징에 따라, 화상 블록에 대해 사용되는 인코딩 모드를 선택한다. 인트라 예측 코딩이 수행되는 블록에 대하여 주파수 도메인 예측 또는 공간 도메인 예측이 수행되고, 인터 예측 코딩이 수행되는 블록에 대해 움직임 보상 예측이 수행된다. 그 후, 예측된 잔차에 대해 변환 및 양자화 처리가 수행되어, 잔차 계수를 형성한다. 마지막으로, 엔트로피 인코더를 사용하여 최종 비트스트림을 생성한다. 예측 오차의 누적을 피하기 위해, 인코더 측의 디코딩 모듈을 사용하여 인트라 예측 또는 인터 예측의 참조 신호를 얻는다. 역 양자화 및 역 변환은 변환 및 양자화 후에 얻어진 잔차 계수에 대해 수행되어 잔차 신호를 재구성한다. 잔차 신호는, 그 후, 재구성된 화상을 얻기 위해 예측의 참조 신호에 부가된다. 화소 보정은 재구성된 화상의 인코딩 품질을 향상시키기 위해 루프 필터링을 통해 재구성된 화상에 대해 수행된다.

전술한 기본 코딩 기술 및 인코딩 프레임에서, 상이한 시나리오에 대한 복수의 인코딩 기술, 예를 들어, 파노라마 인코딩(Panorama Encoding) 기술이 유도된다. 3 차원 공간에서 360 도 전방위 시각 정보는 인코딩 기술을 사용하여 인코딩되어 수신단으로 송신될 수 있다. 수신단은 수신된 인코딩된 데이터를 디코딩하고, 전용 디스플레이 디바이스를 사용하여 360 도 전방위 시각 콘텐츠를 다시 디스플레이하여 사용자에게 몰입감있는 시각적 느낌을 제공한다. 이 기술의 적용은 Oculus Rift, Gear VR 및 HTC Vive와 같은 일련의 가상 현실(virtual reality, VR) 제품의 출현, 적용 및 신속한 대중화를 가능하게 한다. 따라서, 인코딩 기술에 대한 요구가 보다 높아진다.

본 발명은 인코딩 및 디코딩 효율을 향상시킬 수 있는 인코딩 및 디코딩 방법을 제공한다. 이 인코딩 및 디코딩 방법은 2 차원 파노라마 화상의 인코딩에 적용 가능하며, 특히, 2 차원 파노라마 화상이 복수의 서브 화상을 포함하고, 복수의 서브 화상 간의 공간적 위치 관계가 전체 인코딩 효율에 비교적 큰 영향을 미치는 경우에 적용 가능하다.

본 발명의 제 1 양태에 따르면, 인코딩 방법이 제공된다. 상기 인코딩 방법은 인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 결정하는 단계와; 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계와; 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한 경우, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상이 디폴트 공간 위치 관계를 사용하는 것을 나타내는 데 사용되는 표시 정보를 인코딩하고, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상 내의 서브 화상을 인코딩하여 인코딩된 비트스트림을 생성하는 단계를 포함한다.

상기 인코딩 방법에서, 2 차원 파노라마 화상의 적용 가능한 공간 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계가 도입된다. 일반적으로, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 상대적으로 고정되어 있다. 따라서, 디폴트 공간 위치 관계를 사용하는 이러한 방식은, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 하나씩 인코딩하는 것과 비교하여, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 명확하게 기술하는 데 하나의 표시 정보만을 필요로 하며, 그 결과, 코드 워드의 코딩의 비교적 높은 오버 헤드가 감소되고 인코딩 효율이 개선된다.

본 발명의 제 1 양태에 따른 인코딩 방법에 기초하여, 코드 워드 코딩의 오버헤드를 더욱 감소시키는 것을 고려하면, 인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는 도출(derivation)을 통해 구현될 수 있으며, 구체적으로는, 2 차원 파노라마 화상의 폭 및 높이를 획득하는 것과, 2 차원 파노라마 화상의 종횡비 및 종횡비와 공간 레이아웃 포맷 간의 사전설정된 대응 테이블에 기초하여, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 것에 의해 구현될 수 있다. 물론, 인코딩 복잡성, 대기 시간 및 네트워크 상황을 고려하여, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷은 대안으로 인덱스를 사용하여 비트스트림 내로 인코딩될 수 있고, 디코더 측은 인덱스에 기초하여, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 바로 결정할 수 있다.

본 발명의 제 1 양태에 따른 인코딩 방법에 기초하여, 이 솔루션의 유연성을 고려하면, 하나 초과의 디폴트 공간 위치 관계가 존재할 수 있으며, 즉, 2 차원 파노라마 화상의 서브 화상에 의해 사용될 복수의 디폴트 공간 위치 관계가 존재할 수 있다. 이에 대응하여, 인코딩 방법은 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계의 인덱스를 인코딩하는 단계를 더 포함하며, 디폴트 공간 위치 관계의 인덱스는 복수의 상이한 디폴트 공간 위치 관계 중 하나를 고유하게 표시하기 위해 사용된다. 이 솔루션은 다음과 같은 이점을 갖는다: 상이한 애플리케이션 시나리오, 즉, 2 차원 파노라마 화상에 의해 커버되는 콘텐츠에 대해, 서브 화상들은 상이한 최적의 디폴트 공간 위치 관계를 갖는다. 따라서, 이 경우, 인코딩 효율을 향상시키기 위한 복수의 디폴트 공간 위치 관계가 본 발명에서의 선택을 위해 설정되어 있다.

본 발명의 제 1 양태에 따른 인코딩 방법에 기초하여, 이 인코딩 솔루션의 단순성을 고려하면, 대안으로 2 차원 파노라마 화상의 디폴트 공간 레이아웃 포맷을 도입하는 것이 고려될 수도 있다. 이에 대응하여, 상기 인코딩 방법은 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷과 동일한지 여부를 결정하는 단계를 포함하며, 이에 대응하여, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계는 또한 적응적으로 변경될 필요가 있다. 구체적으로, 상기 단계는 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷과 동일한지 여부에 따라, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인 경우에, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라는 것을 결정하도록 변경된다. 이 방법에서, 2 차원 파노라마 화상의 공간 레이아웃 포맷과 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 조합으로 고려되어, 인코딩 오버헤드를 더욱 감소시킨다. 또한, 인코딩 유연성이 고려되어, 즉, 2 차원 파노라마 화상의 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷이 아닌 경우, 여전히 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하도록 허용되어, 인코딩 유연성을 향상시킨다. 이는 또한 인코딩 효율을 향상시키는 방식이기도 하다. 구체적으로, 상기 처리는, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷과 상이한 경우에, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계일 수 있다.

본 발명의 제 1 양태에 따른 인코딩 방법에 기초하여, 실제 사용 시, 2 차원 파노라마 화상 내의 서브 화상 간의 사용된 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일한 것이 아니라면, 사용된 공간 위치 관계는 디폴트 설정에서의 것과 부분적으로 동일할 수 있다고 간주된다. 예를 들어, 서브 화상의 디폴트 배열 순서는 좌측 → 정면 → 우측 → 상단 → 후면 → 하단이다. 그러나, 실제로 사용된 순서는 하단 → 후면 → 좌측 → 전면 → 우측 → 상단이다. 마지막 4 개의 서브 화상만의 배열 순서는 디폴트 설정의 배열 순서와 동일하다. 실제로, 적용 가능한 공간 레이아웃 포맷의 제 3 서브 공간으로부터 시작하는 이 경우에, 다른 후속하는 서브 공간에 대응하는 서브 화상의 배열 순서를 결정할 필요는 없지만, 단지, 소정 위치로부터 시작하는 서브 화상의 디폴트 배열 순서가 여전히 사용되고 있음을 디코더 측에 통지하고, 동일한 배열 순서를 사용하는 서브 공간의 길이를 디코더 측에 통지할 필요가 있다. 이에 대응하여, 상기 인코딩 방법은: 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 상이한 경우, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 부분적으로 동일한지 여부를 결정하는 단계와; 만일 공간 위치 관계가 디폴트 공간 위치 관계와 부분적으로 동일하다면, 디폴트 공간 위치 관계를 사용하는 인코딩 방식으로, 현재 처리되는 서브 화상으로부터 시작하는 특정 범위 내의 서브 화상을 인코딩하는 단계를 포함할 수 있다. 이러한 처리 방식은 특히, 2 차원 파노라마 화상의 공간 레이아웃 포맷이 복수의 서브 공간, 예를 들어, 12 또는 20 개의 서브 공간을 포함하고, 2 차원 파노라마 화상 내의 대응 서브 화상이 대응하는 양의 서브 화상을 포함하는 경우에 적용 가능하다. 물론, 상기 인코딩 방법은: 예를 들어, 2 차원 파노라마 화상에서 디폴트 공간 위치 관계와 동일한 공간 위치 관계를 갖는 서브 화상의 범위를 결정하여, 예를 들어, 제 4 내지 제 11 서브 화상을 동일한 디폴트 공간 위치 관계를 사용하는 인코딩 방식으로 인코딩하는 단계를 더 포함할 수 있다.

본 발명의 제 1 양태에 따른 인코딩 방법 및 다양한 확장된 솔루션에서, 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는: 파노라마 화상 내의 서브 화상의 배열 순서; 파노라마 화상 내의 서브 화상의 회전 각도; 또는 파노라마 화상 내의 서브 화상의 배열 순서 및 회전 각도를 포함한다.

본 발명의 제 2 양태에 따르면, 디코딩 방법이 제공된다. 상기 디코딩 방법은 2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계와; 상기 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계인지 여부를 결정하기 위해, 2 차원 파노라마 화상의 인코딩된 비트스트림을 파싱하는 단계와; 만일 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여, 2 차원 파노라마 화상의 인코딩된 비트스트림을 디코딩하는 단계를 포함한다.

상기 디코딩 방법에서, 2 차원 파노라마 화상의 적용 가능한 공간 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계가 도입된다. 일반적으로, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 상대적으로 고정되어 있다. 따라서, 디폴트 공간 위치 관계를 사용하는 이러한 방식은, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 하나씩 디코딩하는 것과 비교하여, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 획득하기 위해 디코딩될 하나의 표시 정보만을 필요로 하며, 그 결과, 디코딩 복잡성이 감소되고, 디코딩 시간이 감소되고, 그리고 디코딩 처리에서 버퍼 공간에 대한 요구 사항이 감소된다.

본 발명의 제 2 양태에 따른 디코딩 방법에 기초하여, 코드 워드 코딩의 오버헤드 및 코딩 유연성을 고려하면, 인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는, 도출을 통해 구현될 수 있으며, 구체적으로는, 2 차원 파노라마 화상의 폭 및 높이를 획득하는 것과, 2 차원 파노라마 화상의 종횡비 및 종횡비와 공간 레이아웃 포맷 간의 사전설정된 대응 테이블에 기초하여, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 것일 수 있다. 인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는 도출을 통해 구현될 수도 있거나, 또는 비트스트림을 파싱함으로써 바로 획득될 수도 있다. 구체적으로는, 상기 단계는: 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷의 인덱스를 획득하기 위해, 2 차원 파노라마 화상의 인코딩된 비트스트림을 파싱하는 것과, 공간 레이아웃 포맷의 인덱스에 기초하여, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 것일 수 있다.

본 발명의 제 2 양태에 따른 디코딩 방법에 기초하여, 이 솔루션의 유연성을 고려하면, 하나 초과의 디폴트 공간 위치 관계가 존재할 수 있으며, 즉, 2 차원 파노라마 화상의 서브 화상에 의해 사용될 복수의 디폴트 공간 위치 관계가 존재할 수 있다. 이에 대응하여, 디코딩 방법은: 만일 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 디폴트 공간 위치 관계의 인덱스를 획득하기 위해, 2 차원 파노라마 화상의 인코딩된 비트스트림을 파싱하는 단계와; 디폴트 공간 위치 관계의 인덱스에 기초한 복수의 디폴트 공간 위치 관계로부터, 인덱스에 대응하고 2 차원 파노라마 화상 내의 서브 화상과 관련된 디폴트 공간 위치 관계를 획득하는 단계와; 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상의 인코딩된 비트스트림을 디코딩하는 단계를 더 포함한다.

본 발명의 제 2 양태에 따른 디코딩 방법에 기초하여, 인코딩 솔루션의 단순성을 고려하면, 대안으로 2 차원 파노라마 화상의 디폴트 공간 레이아웃 포맷을 도입하는 것이 고려될 수도 있다. 이에 대응하여, 상기 디코딩 방법은, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인지 여부를 결정하기 위해, 2 차원 파노라마 화상의 인코딩된 비트스트림을 파싱하는 단계를 포함하며, 이에 대응하여, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계인지의 여부를 결정하는 단계는 또한 적응적으로 변경될 필요가 있다. 구체적으로, 상기 단계는, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인지 여부에 따라, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인 경우에, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라는 것을 결정하도록 변경된다. 또한, 디코더 측의 복잡성, 즉, 2 차원 파노라마 화상의 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷이 아닌 경우, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 하나씩 디코딩될 필요가 없으며, 대신에, 디폴트 위치 관계를 사용하여 서브 화상을 디코딩할지 여부를 결정하기 위해, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하여, 디코딩 하드웨어의 오버헤드 및 디코딩 복잡성을 감소시킨다. 구체적으로는, 이 솔루션은: 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷이 아닌 경우, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치인지 여부를 결정하는 단계와; 만일 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 2 차원 파노라마 화상의 인코딩된 비트스트림을 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 디코딩하는 단계일 수 있다.

본 발명의 제 2 양태에 따른 디코딩 방법에 기초하여, 실제 사용 시, 만일 2 차원 파노라마 화상 내의 서브 화상 간의 사용된 공간 위치 관계가 디폴트 설정에서의 공간 위치 관계와 완전히 동일한 것이 아니라면, 사용된 공간 위치 관계는 디폴트 설정에서의 것과 부분적으로 동일할 수 있다고 간주된다. 예를 들어, 서브 화상의 디폴트 배열 순서는 좌측 → 정면 → 우측 → 상단 → 후면 → 하단이다. 그러나, 실제로 사용된 순서는 하단 → 후면 → 좌측 → 전면 → 우측 → 상단이다. 마지막 4 개의 서브 화상만의 배열 순서는 디폴트 설정의 배열 순서와 동일하다. 실제로, 적용 가능한 공간 레이아웃 포맷의 제 3 서브 공간으로부터 시작하는 이 경우에, 다른 후속하는 서브 공간에 대응하는 서브 화상의 배열 순서를 결정할 필요는 없지만, 단지, 소정 위치로부터 시작하는 서브 화상의 디폴트 배열 순서가 여전히 사용되고 있음을 디코더 측에 통지하고, 동일한 배열 순서를 사용하는 서브 공간의 길이를 디코더 측에 통지할 필요가 있다. 이에 대응하여, 상기 디코딩 방법은: 비트스트림을 파싱하는 것에 의해 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 상이하다고 결정되는 경우, 비트스트림을 파싱하여, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 부분적으로 동일한지 여부를 결정하는 단계와; 만일 공간 위치 관계가 디폴트 공간 위치 관계와 부분적으로 동일하다면, 디폴트 공간 위치 관계를 사용하는 디코딩 방식으로, 현재 처리되는 서브 화상으로부터 시작하는 범위 내의 서브 화상을 디코딩하는 단계를 포함할 수 있다. 이러한 처리 방식은, 특히, 2 차원 파노라마 화상의 공간 레이아웃 포맷이 복수의 서브 공간, 예를 들어, 12 또는 20 개의 서브 공간을 포함하고, 2 차원 파노라마 화상 내의 대응 서브 화상이 대응하는 양의 서브 화상을 포함하는 경우에 적용 가능하다. 물론, 상기 디코딩 방법은: 예를 들어, 2 차원 파노라마 화상에서 디폴트 공간 위치 관계와 동일한 공간 위치 관계를 갖는 서브 화상의 범위를 결정하기 위해, 비트스트림을 파싱하고, 예를 들어, 제 4 내지 제 11 서브 화상을 동일한 디폴트 공간 위치 관계를 사용하는 디코딩 방식으로 디코딩하는 단계를 더 포함할 수 있다.

본 발명의 제 2 양태에 따른 디코딩 방법 및 다양한 확장된 솔루션에서, 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는: 파노라마 화상 내의 서브 화상의 배열 순서; 파노라마 화상 내의 서브 화상의 회전 각도; 또는 파노라마 화상 내의 서브 화상의 배열 순서 및 회전 각도를 포함한다.

본 발명의 제 3 양태에 따르면, 본 발명의 제 1 양태에 따른 인코딩 방법을 구현하기 위한 장치가 제공된다. 상기 인코딩 장치는, 인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 결정하도록 구성되는 공간 레이아웃 포맷 및 공간 위치 관계 결정 유닛과; 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하도록 구성되는 판단 유닛과; 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한 경우, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상이 디폴트 공간 위치 관계를 사용하는 것을 나타내는 데 사용되는 표시 정보를 인코딩하고, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상 내의 서브 화상을 인코딩하여 인코딩된 비트스트림을 생성하도록 구성되는 인코딩 유닛을 포함한다.

상기 인코딩 장치에서, 2 차원 파노라마 화상의 적용 가능한 공간 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계가 도입된다. 일반적으로, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 상대적으로 고정되어 있다. 따라서, 디폴트 공간 위치 관계를 사용하는 이러한 방식은, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 하나씩 인코딩하는 것과 비교하여, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 명확하게 기술하는 데 하나의 표시 정보만을 필요로 하며, 그 결과, 코드 워드 코딩의 비교적 높은 오버 헤드가 감소되고 인코딩 효율이 개선된다.

본 발명의 제 4 양태에 따르면, 본 발명의 제 2 양태에 따른 디코딩 방법을 구현하기 위한 장치가 제공된다. 상기 디코딩 장치는: 2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하도록 구성되는 공간 레이아웃 포맷 결정 유닛과; 상기 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계인지 여부를 결정하기 위해, 비트스트림을 파싱하도록 구성되는 공간 위치 관계 결정 유닛과; 만일 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여, 2 차원 파노라마 화상의 인코딩된 비트스트림을 디코딩하도록 구성되는 디코딩 유닛을 포함한다.

상기 디코딩 장치에서, 2 차원 파노라마 화상의 적용 가능한 공간 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계가 도입된다. 일반적으로, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 상대적으로 고정되어 있다. 따라서, 디폴트 공간 위치 관계를 사용하는 이러한 방식은, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 하나씩 디코딩하는 것과 비교하여, 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 획득하기 위해 디코딩될 하나의 표시 정보만을 필요로 하며, 그 결과, 디코딩 복잡성이 감소되고, 디코딩 시간이 감소되며, 그리고 디코딩 처리에서 버퍼 공간에 대한 요구 사항이 감소된다.

본 발명의 제 5 양태에 따르면, 본 발명의 제 1 양태에 따른 인코딩 방법을 구현하기 위한 장치가 제공된다. 상기 장치는 비휘발성 저장 매체 및 중앙 처리 유닛을 포함한다. 비휘발성 저장 매체는 실행 가능 프로그램을 저장하고, 중앙 처리 유닛은 비휘발성 저장 매체에 연결되고, 실행 가능 프로그램을 실행하여 본 발명의 제 1 양태 및 그 확장된 내용에 따른 인코딩 방법을 구현한다.

본 발명의 제 6 양태에 따르면, 본 발명의 제 2 양태에 따른 디코딩 방법을 구현하기 위한 장치가 제공된다. 상기 장치는 비휘발성 저장 매체 및 중앙 처리 유닛을 포함한다. 비휘발성 저장 매체는 실행 가능 프로그램을 저장하고, 중앙 처리 유닛은 비휘발성 저장 매체에 연결되고, 실행 가능 프로그램을 실행하여 본 발명의 제 2 양태 및 그 확장된 내용에 따른 인코딩 방법을 구현한다.

본 발명의 제 7 양태에 따르면, 인코딩 및 디코딩 시스템이 제공된다. 상기 시스템은 본 발명의 제 3 양태에 따른 인코딩 장치 및 본 발명의 제 4 양태에 따른 디코딩 장치를 포함한다. 디코딩 장치는 인코딩 장치로부터의 인코딩된 비트스트림을 디코딩하도록 구성된다.

본 발명의 실시예에서의 기술적 솔루션을 보다 명확하게 설명하기 위해, 다음은 실시예 또는 종래 기술을 설명하기 위해 요구되는 첨부 도면을 간단히 설명한다. 명백하게, 다음의 설명에서 첨부 도면은 단지 본 발명의 일부 실시예를 도시하는 것에 불과하고, 당업자는 창조적인 노력없이 이들 첨부 도면으로부터 다른 도면을 여전히 도출할 수 있다.
도 1은 본 발명의 일 실시예를 적용하는 VR 디바이스의 시스템 프레임워크의 도면이다.
도 2는 파노라마 화상의 지형도이다.
도 3은 다면체 포맷의 2 차원 파노라마 뷰이다.
도 4는 본 발명의 일 실시예를 적용하는 뷰 화상 캡처 장치(view picture capture apparatus)의 개략도이다.
도 5는 본 발명의 일 실시예를 적용하는 화상 인코더의 개략도이다.
도 6은 본 발명의 일 실시예를 적용하는 VR 디스플레이 장치의 개략도이다.
도 7은 2 차원 파노라마 화상의 상이한 공간 레이아웃 포맷 간의 비교를 나타내는 개략도이다.
도 8은 육면체 공간 레이아웃 포맷의 서브 공간의 위치 마킹의 개략도이다.
도 9는 2 차원 파노라마 화상 내의 서브 화상의 명칭을 나타내는 개략도이다.
도 10은 육면체 공간 레이아웃 포맷의 2 차원 파노라마 화상의 인코딩 처리의 일 예를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 인코딩 방법의 흐름 블록도이다.
도 12는 본 발명의 일 실시예에 따른 디코딩 방법의 흐름 블록도이다.
도 13은 본 발명의 일 실시예에 따른 인코딩 장치의 블록도이다.
도 14는 본 발명의 일 실시예에 따른 디코딩 장치의 블록도이다.

본 발명의 실시예의 기술적 솔루션은, 일 예로서, 가상 현실(Virtual Reality, VR) 시나리오에 적용된 파노라마 인코딩 기술을 사용함으로써, 첨부 도면을 참조하여 아래에서 명확하고 완벽하게 설명된다. 명백하게, 설명된 실시예는 일부 실시예에 불과할 뿐이며, 본 발명의 실시예의 모두인 것은 아니다. 창의적인 노력없이 본 발명의 실시예에 기초하여 당업자에 의해 획득되는 다른 모든 실시예는 본 발명의 보호 범위 내에 속하게 된다.

도 1은 본 발명의 일 실시예를 적용하는 VR 디바이스(100)의 시스템 프레임워크의 도면이다. VR 디바이스(100)는 전송 장치(130)를 사용하여 VR 디스플레이 장치(150)에 접속된 화상 캡처 장치(110)를 갖는다. 전송 장치(130)는 근거리 통신망(local area network, LAN), 무선 근거리 통신망(wireless local area network, WLAN), 인터넷, LTE 네트워크 등을 포함할 수 있다.

화상 캡처 장치(110)는 N 개의 카메라를 포함한다. N 개의 카메라는 파노라마 화상을 생성할 필요가 있는 영역에 배치되고, N 개의 카메라 각각에 대응하는 뷰포인트(viewpoints)의 화상을 획득하도록 구성된다. 뷰포인트의 화상들은 3 차원 공간에서 상하 좌우의 360 도 방향의 전방향성 정보를 갖는 구형 파노라마(spherical panorama)로 스플라이싱된다(spliced). 구형 파노라마는 화상 캡처 장치(120)를 대략 중심으로 하는 구형 포맷(spherical format)의 화상으로 이해될 수 있다. 그러나, 구형 포맷의 화상은 쉽게 표시, 저장 및 인덱싱될 수 없다. 따라서, 종래 기술에서, 구형 파노라마는 2 차원 평면 파노라마를 획득하기 위해 확장되고, 그 후, 압축, 처리, 저장, 전송과 같은 동작이 2 차원 평면 파노라마에 대해 수행된다. 3 차원 구면 파노라마를 2 차원 평면 파노라마로 확대하는 동작은 매핑(mapping)이라고 지칭된다. 현재, 복수의 매핑 방법이 존재하며, 이에 대응하여, 복수의 2 차원 평면 파노라마 포맷이 획득된다. 가장 일반적인 파노라마 포맷은 지형도(geographic map)로 지칭된다. 도 2의 지형도에 도시된 바와 같이, 신장을 통해 얻어진 북극 및 남극에 인접한 영역의 화상은 심하게 왜곡되어 데이터 가외성을 갖는다.

지형도에 존재하는 단점을 극복하기 위해, 도 3(a)에 도시된 바와 같이, 구형 파노라마의 콘텐츠는 다면체에 매핑될 수 있으며, 일반적으로 다면체는 입방체(육면체)일 수 있다. 따라서, 구형 파노라마는 다면체의 복수면을 이용하여 복수의 파노라마 화상으로 표시된다. 입방체를 일 예로 사용하면, 구형 파노라마는 복수의 입방체의 6 개의 동일한 크기의 사분면을 사용하여 표시된다. 입방체의 6 개의 면에 매핑된 화상이 공간 이웃 관계에 따라 다이렉트로 확장된 후에, 도 3(b)에 도시된 바와 같은 2 차원 십자형 화상이 획득될 수 있다. 이러한 포맷의 화상은 육면체 포맷의 2 차원 화상으로 지칭될 수도 있다. 압축과 같은 화상 처리 동안, 도 3(b)에 도시된 십자형 화상은 다이렉트로(directly) 처리될 수 있다. 대안으로, 가장 작은 영역을 가지며 십자형 화상을 둘러싸는 직사각형 영역이 처리 대상으로서 선택될 수 있다. 만일 십자형 화상의 모든 콘텐츠를 수용한 후에도 직사각형 영역이 여전히 가외성을 갖는다면, 즉, 십자형 화상이 직사각형 영역의 전체 공간을 정확히 덮을 수 없다면, 직사각형 영역 내의 가외성 부분은 디폴트 콘텐츠로, 예를 들어, 모두 검정색으로 또는 모두 흰색으로 채워질 수 있거나, 또는 십자형 화상 내의 화소 값이 패딩용으로 사용된다. 육면체 포맷의 2 차원 화상의 면적을 줄이기 위해, 육면체의 6 개의 면이 분해되어, 즉, 십자형 화상이 분해되고, 그 후, 재배치된다. 즉, 6 개의 면이, 도 3(c)에 도시된 바와 같이, 1×6, 2×3, 3×2 또는 6×1과 같은 소정의 기하학적 위치에 기초한 직사각형 영역으로 결합된다. 본 명세서에서의 기하학적 위치는 공간 레이아웃 포맷으로 지칭된다. 도 3(d)는 3×2 배열의 육면체 공간 레이아웃 포맷이다.

전술한 다양한 매핑 방식 또는 본 명세서에 열거되지 않은 다른 매핑 방식을 이용하여 3 차원 구형 파노라마를 2 차원 평면 파노라마 화상으로 매핑한 후, 화상 캡처 장치(110)는 파노라마 화상에 대해 추가의 화상 인코딩(압축 및 사후 처리)을 수행하고, 전송 장치(130)를 사용하여 파노라마 화상을 VR 디스플레이 장치(150)에 송신한다. 또한, 3 차원 구형 파노라마로부터 2 차원 평면 파노라마로의 전술한 화상의 맵핑 시에 사용될 필요가 있는 N 개의 카메라(111-1 내지 111-N)의 일부 관련 파라미터 정보는 전송 장치(130)를 사용하여 VR 디스플레이 장치(150)에 송신될 필요가 있다는 것에 주목해야 한다. 상기 관련 파라미터 정보는 초점 길이, 화상 깊이, 왜곡, 카메라의 틸트 각(tilt angles), 카메라 간의 거리 및 시야각(viewing angle)에 의해 커버되는 각도와 같은 정보를 포함하지만, 이에 한정되는 것은 아니다.

VR 디스플레이 장치(150)는 화상 캡처 장치(110)로부터 전송된 압축된 데이터, 즉, 인코딩된 파노라마 화상을 수신하고, 압축된 데이터를 디코딩하여 파노라마 화상의 파노라마 화상 데이터를 재구성하고, 파노라마 화상 데이터에 기초하여, 파노라마 화상을 디스플레이 장치(150)의 디스플레이 스크린상에 디스플레이하도록 구성된다.

도 4는 화상 캡처 장치(110)의 시스템 프레임워크의 도면이다. 화상 캡처 장치(110)는 N 개의 카메라(111-1 내지 111-N)를 포함한 카메라부(111), 화상 처리부(113) 및 데이터 전송부(115)를 포함한다.

카메라부(111)의 N 개의 카메라(111-1 내지 111-N)는 파노라마 화상을 생성할 필요가 있는 영역에 배치되어 스플라싱을 통해 파노라마 영상을 얻기 위해 필요한 서브 화상을 얻는다. 서브 화상은 파노라마 화상과 관련된 것이고, 파노라마 화상은 바람직하게는 3 차원 공간에서 상하 좌우의 360 도에서의 화상 정보를 갖는 구형 파노라마이다. 카메라(111-1)는 촬상 장치(imager)(111-1a)와 신호 프로세서(111-1b)를 갖는다. 촬상 장치(111-1a)는 촬상 렌즈 어셈블리와 화상 감지 장치(도시하지 않음)를 포함한다. 촬상 렌즈 어셈블리는 하나 이상의 동축 렌즈 그룹을 포함하는 프라임 또는 줌 광 조절 장치이다. 화상 감지 장치는 전하 결합 디바이스(charge-coupled device, CCD), 상보형 금속 산화물 반도체(complementary metal oxide semiconductor, CMOS) 등을 포함할 수 있다. 신호 프로세서(111-1b)는 촬상 장치(111-1a)로부터 출력되는 아날로그 화상 신호에 대하여 샘플링, 이득 제어, 아날로그 신호의 디지털 신호 변환, 화이트 밸런스 조정 및 감마 보정을 행하여 디지털 화상을 생성한다.

화상 처리부(113)는 화상 스플라이서(1132), 화상 매퍼(1134) 및 화상 인코더(1136)를 포함한다.

화상 스플라이서(1132)는 카메라부(111)의 N 개의 카메라(111-1 내지 111-N)로부터 N 개의 디지털 화상을 스플라이싱한다. 스플라이싱 처리는, N 개의 카메라의 공간 위치 관계에 기초하여, N 개의 디지털 화상의 공간 위치 관계를 결정한 다음, 인접한 디지털 화상에 대해 특징 매칭(feature matching)을 수행하고, 특징 매칭의 결과에 기초하여, 인접한 디지털 화상에 대해 보정 및 좌표 정렬을 수행하여, N 개의 디지털 화상을 3 차원 파노라마 화상으로 스플라이싱하는 것으로 간단히 이해될 수 있다.

화상 매퍼(1134)는 화상 스플라이서에 의해 생성된 3 차원 파노라마 화상을 2 차원 파노라마 화상으로 매핑하도록 구성된다. 3 차원 파노라마 화상의 매핑 처리는 전술한 바와 같다. 매핑 후에 얻어진 2 차원 파노라마 화상은 지형도 포맷 또는 다면체 포맷일 수 있고, 육면체 포맷과 같은 다면체 포맷은 화상의 왜곡을 비교적 작게 보장할 수 있다.

화상 인코더(1136)는 화상 매퍼(picture mapper)(1134)에 의해 수행된 매핑을 통해 생성된 2 차원 파노라마 화상을 인코딩하고 그 2 차원 파노라마 화상을 데이터 전송부로 출력하도록 구성된다. 화상 인코더(1136)는 비디오 압축 표준(예를 들어, 고효율 비디오 코딩 H.265 표준)에 따른 동작을 수행할 수 있고, HEVC 테스트 모델(HM)을 따를 수 있다. H.265 표준의 ITU-TH.265(V3)(04/2015)의 텍스트 설명은 2015 년 4 월 29 일에 릴리스되었으며, http://handle.itu.int/11.1002/1000/12455에서 다운로드할 수 있다. 이 파일은 그 전체가 본 명세서에 참고로 포함된다. 대안으로, 화상 인코더(1136)는 다른 전용 또는 산업 표준에 따른 동작을 수행할 수 있다. 상기 표준은 ITU-TH.261, ISO/IECMPEG-1Visual, ITU-TH.262, ISO/IECMPEG-2Visual, ITU-TH.263, ISO/IECMPEG-4Visual 또는 ITU-TH.264(이는 ISO/IECMPEG-4AVC로 지칭되기도 함)를 포함하며, 스케일러블 비디오 코딩(Scalable Video Coding, SVC) 확장 및 멀티뷰 비디오 코딩(Multiview Video Coding, MVC) 확장을 포함한다. 본 발명의 기술은 임의의 특정 인코딩 및 디코딩 표준 또는 기술에 제한되지 않는다는 것을 이해해야 한다.

화상 인코더(1136)는 복수의 처리 회로, 예를 들어, 하나 이상의 마이크로프로세서, DSP(Digital Signal Processor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array), 이산 로직, 하드웨어, 또는 이들의 임의의 조합 등을 사용하여 구현될 수 있다. 그 기술의 일부 또는 전부가 소프트웨어를 사용하여 구현된다면, 장치는 그 소프트웨어의 명령어를 적당한 비일시적 컴퓨터 판독 가능한 저장 매체에 저장할 수 있고, 하나 이상의 프로세서를 이용하여 하드웨어에서 그 명령어를 실행함으로써 본 발명의 기술을 실행할 수 있다. 전술한 것(하드웨어, 소프트웨어, 하드웨어 및 소프트웨어의 조합 등을 포함함) 중 하나는 하나 이상의 프로세서로 간주될 수 있다.

화상 인코더(1136)는 2 차원 파노라마 화상을 인코딩한다. 시간적으로 연속된 복수의 2 차원 파노라마 화상의 프레임은 파노라마 비디오를 형성한다. 파노라마 비디오는 파노라마 비디오 비트스트림을 형성하기 위해 화상 인코더(1136)에 의해 인코딩된다. 비트스트림은 파노라마 비디오 데이터의 인코딩 정보를 비트스트림의 형태로 포함한다. 인코딩 정보는 인코딩된 화상 데이터 및 관련 데이터를 포함할 수 있다. 관련 데이터는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및 다른 구문 구조(syntactic structure)를 포함할 수 있다. SPS는 하나 또는 복수의 시퀀스에 적용되는 파라미터를 포함할 수 있다. PPS는 0 또는 복수의 화상에 적용되는 파라미터를 포함할 수 있다. 구문 구조는 비트스트림 내에서 지정된 순서로 배열된 0 또는 복수의 구문 요소의 세트를 지칭한다.

인코딩 처리에서, 화상 인코더(1136)는 인코딩될 화상을 CTB(Code Tree Block)의 그리드(grid)로 분할할 수 있다. 일부 예에서, CTB는 "트리 블록(tree block)", "LCU(Largest Coding Unit)" 또는 "코딩 트리 유닛(coding tree unit)"으로 지칭될 수 있다. CTB는 특정 크기로 제한되지 않으며, 하나 이상의 코딩 유닛(CU)을 포함할 수 있다. 각각의 CTB는 화상 내의 동일 크기의 화소 블록과 관련될 수 있다. 각각의 화소는 하나의 휘도(휘도 또는 루마) 샘플 및 2 개의 색차 (색차 또는 크로마) 샘플에 대응할 수 있다. 따라서, 각 CTB는 하나의 휘도 샘플 블록 및 두 개의 색차 샘플 블록과 관련될 수 있다. 화상의 CTB는 하나 이상의 슬라이스로 분할될 수 있다. 일부 예에서, 각각의 슬라이스는 CTB들의 적분량(integral quantity)을 포함한다. 화상 인코딩의 일부로서, 화상 인코더(1136)는 화상의 각 슬라이스의 인코딩 정보를 생성할 수 있다. 즉, 슬라이스 내의 CTB를 인코딩할 수 있다. CTB를 인코딩하기 위해, 화상 인코더(1136)는 CTB와 관련된 화소 블록에 대해 쿼드트리(quadtree) 분할을 재귀적으로 수행하여, 화소 블록을 점점 더 작은 크기의 화소 블록들로 분할할 수 있다. 더 작은 화소 블록은 CU와 관련될 수 있다.

도 5는 본 발명의 일 실시예에 따른 화상 인코더(1136)의 개략적인 블록도이다. 화상 인코더(1136)는 인코더 측 예측 모듈(1361), 변환 및 양자화 모듈(1362), 엔트로피 인코딩 모듈(1363), 인코딩 및 재구성 모듈(1364) 및 인코더 측 필터링 모듈(1365)을 포함한다.

구체적으로, 인코더 측 예측 모듈(1361)은 예측 데이터를 생성하도록 구성된다. 인코더 측 예측 모듈(1361)은 더 이상 분할되지 않을 각 CU의 하나 이상의 예측 유닛(predicting unit, PU)을 생성할 수 있다. CU의 PU는 CU의 화소 블록 내의 상이한 서브 화소 블록과 관련될 수 있다. 인코더 측 예측 모듈(1361)은 CU의 각 PU에 대한 예측 화소 블록을 생성할 수 있다. 인코더 측 예측 모듈(1361)은 인트라 프레임 예측 또는 인터 프레임 예측을 통해 PU에 대한 예측 화소 블록을 생성할 수 있다. 인트라 프레임 예측을 통해 PU에 대한 예측 화소 블록을 생성하는 경우, 인코더 측 예측 모듈(1361)은 디코딩 후에 획득된, PU와 관련된 화상의 화소에 기초하여 PU에 대한 예측 화소 블록을 생성할 수 있다. 인터 프레임 예측을 통해 PU에 대한 예측 화소 블록을 생성하는 경우, 인코더 측 예측 모듈(1361)은 디코딩 후에 획득된, PU와 관련된 화상과는 상이한 하나 이상의 화상의 화소에 기초하여 PU에 대한 예측 화소 블록을 생성할 수 있다. 인코더 측 예측 모듈(1361)은 CU의 PU에 대한 예측 화소 블록에 기초하여 CU에 대한 잔차 화소 블록을 생성할 수 있다. CU에 대한 잔차 화소 블록은 CU의 PU에 대한 예측 화소 블록 내의 샘플 값과 CU의 초기 화소 블록 내의 대응하는 샘플 값 간의 차이를 나타낼 수 있다.

변환 및 양자화 모듈(1362)은 예측을 통해 획득된 잔차 데이터를 처리하도록 구성된다. 화상 인코더(1136)는 CU에 대한 잔차 화소 블록에 대해 재귀적 쿼드트리 분할을 수행하여, CU에 대한 잔차 화소 블록을, CU의 변환 유닛(TU)과 관련된 하나 이상의 더 작은 잔차 화소 블록으로 분할할 수 있다. TU와 관련된 화소 블록 내의 화소는 각각 하나의 휘도 샘플 및 두 개의 색차 샘플에 대응한다. 따라서, 각 CTB는 하나의 휘도 잔차 샘플 블록 및 두 개의 색차 잔차 샘플 블록과 관련될 수 있다. 화상 인코더(1136)는 계수 블록(즉, 계수의 블록)을 생성하기 위해, TU와 관련된 잔차 샘플 블록에 하나 이상의 변환을 적용할 수 있다. 변환은 DCT 변환 또는 그 변형일 수 있다. 2 차원 변환은 DCT 변환 행렬을 사용하고 수평 및 수직 방향으로 1 차원 변환을 적용함으로써 계산되어, 계수 블록을 획득한다. 화상 인코더(1136)는 계수 블록 내의 각 계수에 대해 양자화 절차를 수행할 수 있다. 양자화는 일반적으로 추가 압축을 위해, 계수를 나타내는 데 사용되는 데이터 볼륨을 줄이도록 계수를 양자화하는 처리를 지칭한다.

화상 인코더(1136)는 양자화된 계수 블록 내의 계수를 나타내는 구문 요소 세트를 생성할 수 있다. 화상 인코더(1136)는 엔트로피 인코딩 모듈(1363)을 이용하여, 엔트로피 인코딩 동작(예를 들어, 문맥 적응 이진 산술 코딩(context-adaptive binary arithmetic coding, CABAC) 동작)을 전술한 구문 요소의 일부 또는 전부에 적용할 수 있다. 구문 요소에 CABAC 인코딩을 적용하기 위해, 엔트로피 인코딩 모듈(1363)은 구문 요소를 이진화하여, 하나 이상의 비트("이진 비트"라고 함)를 포함하는 이진 시퀀스를 형성할 수 있다. 엔트로피 인코딩 모듈(1363)은 정규(regular) 인코딩을 통해 이진 비트 중 일부를 인코딩할 수 있고, 바이패스(bypass) 인코딩을 통해 나머지 이진 비트를 인코딩할 수 있다.

계수 블록의 구문 요소에 대해 엔트로피 인코딩을 수행하는 것 외에, 화상 인코더(1136)는 인코딩 및 재구성 모듈(1364)을 이용하는 것에 의해, 변환된 계수 블록에 대해 역 양자화 및 역 변환을 수행하여, 변환된 계수 블록을 사용하는 것에 의해 잔차 샘플 블록을 재구성할 수 있다. 화상 인코더(1136)는 재구성된 잔차 샘플 블록을 하나 이상의 예측 샘플 블록에 대응하는 샘플 블록에 부가하여, 재구성된 샘플 블록을 생성할 수 있다. 화상 인코더(1136)는 각 컬러 성분의 샘플 블록을 재구성함으로써, TU와 관련된 화소 블록을 재구성할 수 있다. CU의 각 TU의 화소 블록은 CU의 전체 화소 블록이 재구성될 때까지 이러한 방식으로 재구성된다.

화상 인코더(1136)가 CU의 화소 블록을 재구성한 후, 화상 인코더(1136)는 인코더 측 필터링 모듈(1365)을 사용하는 것에 의해 디블로킹 필터링 동작(deblocking filtering operation)을 수행하여, CU와 관련된 화소 블록의 블로킹 효과를 감소시킨다. 디블로킹 필터링 동작을 수행한 후에, 화상 인코더(1136)는 샘플 적응성 오프셋(sample adaptive offset, SAO)을 이용하여 화상의 CTB의 재구성된 화소 블록을 수정할 수 있다. 이러한 동작을 수행한 후에, 화상 인코더(1136)는 CU의 재구성된 화소 블록을 디코딩된 화상 버퍼에 저장하여, 다른 CU에 대한 예측 화소 블록을 생성할 수 있다.

화상 인코더(1136)가 화상 매퍼(1134)에 의해 수행된 매핑을 통해 생성된 2 차원 파노라마 화상을 인코딩한 후, 데이터 전송부(115)는 전송 장치(130)를 이용하여 인코딩된 데이터 및 비트스트림을 VR 디스플레이 장치(150)에 송신하는 것을 담당한다. 데이터 전송부(115)는 무선 인터페이스 회로일 수 있다. 무선 인터페이스 회로는 제어기에 접속되며, 예를 들어, 셀룰러 통신 네트워크, 무선 통신 시스템 또는 무선 근거리 통신망과 통신하는 데 사용되는 무선 통신 신호를 생성하는 데 적합하다. 무선 통신 신호는 무선 인터페이스 회로에 접속된 안테나를 사용하여 (복수의) 다른 장치로 전송된다.

VR 디스플레이 장치(150)는 통상적으로 헤드 장착형 뷰잉 디바이스(head-mounted viewing device)이며, 그리고 통상적으로 한 쌍의 안경이다. VR 디스플레이 장치(150)에 내장된 발광 스크린은 비디오 화상을 디스플레이하기 위해 사용된다. 그 장치에는 위치 및 방향 감지 시스템이 제공되며, 이 위치 및 방향 감지 시스템은 사용자 헤드의 다양한 움직임을 추적하고, 해당 위치 및 방향의 비디오 화상 콘텐츠를 스크린상에 디스플레이할 수 있다. 따라서, 도 6에 도시하는 바와 같이, VR 디스플레이 장치(150)는 적어도 데이터 수신부(151), 데이터 처리부(153) 및 데이터 디스플레이부(155)를 포함한다. 물론, VR 단말 디바이스는 사용자 시선 추적 시스템과 같은 개선된 상호 작용 기능 모듈을 더 포함할 수 있고, 스크린상에 사용자의 관심 영역을 디스플레이할 수 있다.

데이터 수신부(151)는 전송 장치(130)를 이용하여 화상 캡처 장치(110)에 의해 송신되는 데이터 및 비트스트림을 수신하고, 데이터 수신부(151)에 의해 수신되는 데이터를 데이터 처리부(153)에 송신하도록 구성된다. 데이터 수신부(151)는 안테나 및 무선 인터페이스 회로를 포함할 수 있다. 안테나는 셀룰러 통신 네트워크, 무선 통신 시스템 또는 무선 근거리 통신망과의 통신을 통해 다른 데이터 전송 장치에 의해 전송된 장치를 수신하여 무선 인터페이스 회로에 송신하도록 구성된다. 무선 인터페이스 회로는 장치를 데이터 처리부(153)에 전송한다.

화상 처리부(153)는 적어도 화상 디코더(1532) 및 메모리(1534)를 포함한다. 디코더(1532)는 데이터 수신부(151)로부터의 비트스트림을 디코딩하도록 구성된다. 비트스트림은, 비트스트림 형태로, 화상 인코더(1136)에 의해 인코딩된 비디오 데이터의 인코딩 정보를 포함한다. 메모리(1534)는 디코딩 후에 획득된 디스플레이될 화상을 저장하도록 구성된다.

화상 디코더(1532)는 엔트로피 디코딩 모듈(1532a), 디코딩 및 재구성 모듈(1532b), 및 디코딩 및 필터링 모듈(1532c)을 포함한다.

엔트로피 디코딩 모듈(1532a)은 비트스트림으로부터 구문 요소를 추출하기 위해 비트스트림을 파싱한다. CABAC 디코딩을 수행할 때, 화상 디코더(1532)는 일부 이진 비트에 대해 정규 디코딩을 수행하고 나머지 이진 비트에 대해 바이패스 디코딩을 수행할 수 있다. 비트스트림 내의 이진 비트는 구문 요소와의 매핑 관계를 가지며, 구문 요소는 이진 비트를 파싱하여 획득된다.

디코딩 및 재구성 모듈(1532b)은 비트스트림으로부터 추출된 구문 요소에 기초하여 비디오 데이터의 화상을 재구성할 수 있다. 구문 요소에 기초하여 비디오 데이터를 재구성하는 처리는 기본적으로 화상 인코더(1136)에 의해 수행되는 구문 요소를 생성하는 처리의 역이다. 예를 들어, 화상 디코더(1532)는 CU와 관련된 구문 요소에 기초하여 CU의 PU에 대한 예측 화소 블록을 생성할 수 있다. 또한, 화상 디코더(1532)는 CU의 TU와 관련된 계수 블록에 대해 역 양자화를 수행할 수 있다. 화상 디코더(1532)는 역 양자화된 계수에 대해 역 변환을 수행하여, CU의 TU와 관련된 잔차 화소 블록을 재구성할 수 있다. 화상 디코더(1532)는 예측 화소 블록 및 잔차 화소 블록에 기초하여 CU의 화소 블록을 재구성할 수 있다.

디코딩 및 재구성 모듈(1532b)이 CU의 화소 블록을 재구성한 후, 디코딩 및 필터링 모듈(1532c)은 디블로킹 필터링 동작을 수행하여, CU와 관련된 화소 블록의 블로킹 효과를 감소시킨다. 또한, 화상 디코더(1532)는, 하나 이상의 SAO 구문 요소에 기초하여, 화상 인코더(1136)에 의해 수행된 것과 동일한 SAO 동작을 수행할 수 있다. 이러한 동작을 수행한 후에, 화상 디코더(1532)는 CU의 화소 블록을 디코딩된 화상 버퍼, 즉 메모리(1534)에 저장할 수 있다. 디코딩된 화상 버퍼는 후속하는 움직임 보상, 인트라 프레임 예측 및 디스플레이 장치에 의한 프리젠테이션에 사용되는 참조 화상을 제공할 수 있다.

디스플레이부(155)는 메모리(1534)에 저장된, 디코딩 후에 획득된 화상을 판독하고, 그 화상을 디스플레이 스크린을 사용하여 디스플레이하도록 구성된다. 디스플레이 스크린은 LCD(Liquid Crystal Display), 플라즈마, 플라즈마 디스플레이 패널, TFT(Thin-Film Transistor) 디스플레이, OLED(Organic Light-Emitting Diode) 디스플레이, SED(Surface-conduction Electron-emitter Display), 레이저 비디오 디스플레이(Laser Video Display), 탄소 나노튜브(Carbon nanotubes) 디스플레이, 양자점 디스플레이(Quantum dot display) 또는 IMOD(Interferometric Modulator Display)일 수 있다.

화상 캡처 장치(110)에 의한 인코딩을 수행하고, VR 디스플레이 장치(150)에 의한 디코딩을 수행하는 전술한 처리에서, 예측을 통한 화상의 인코딩 또는 디코딩의 처리는 매우 중요하다. 이 처리는 전체 인코딩 및 디코딩 처리의 핵심 기술 중 하나이다. 비디오 신호의 경우, 화상 내의 이웃 화소들은 비교적 강한 공간 상관 관계를 가지며, 이웃 화상들은 매우 강한 시간 상관 관계를 갖는다. 공간 상관 관계 및 시간 상관 관계는 예측 기술을 사용하여 제거될 수 있으므로, 인코딩 및 디코딩 효율이 크게 향상될 수 있다.

예를 들어, 화상 캡처 장치(110)의 인코더 측 예측 모듈(1361)이 화상 매퍼(1134)에 의해 수행된 매핑을 통해 생성된 2 차원 파노라마 화상 내의 인코딩될 화상 블록에 대해 예측 코딩을 수행하는 경우, 인코딩될 화상 블록의 예측자는 화상 블록 근처의 인접 위치에 있는 화소의 재구성을 통해 생성된다. 명백하게, 인코딩될 화상 블록의 화소에 대해 더 가까운 예측 정보는, 인코딩될 화상 블록의 화소 값, 더 작은 잔차 및 더 작은 대응하는 인코딩 비트 레이트에 더 가깝게 획득된 예측자를 나타낸다. 따라서, 인코딩될 화상 블록의 근처의 재구성된 화소의 값과 인코딩될 화상 블록의 화소 값 간의 상관 관계는 인코딩 효율에 직접적인 영향을 미친다. 인터 프레임 인코딩의 경우, 움직임 추정 동안, 다면체의 면에 매핑된 화상들이 이상적으로 연결되어 있지 않으면, 인코딩 효율은 또한 움직임 추정 처리에서 경계(이웃하는 화상들 간의 경계)가 교차하는지에 영향을 받는다.

육면체 포맷의 전술한 2 차원 파노라마 화상을 일 예로 사용하면, 2 차원 파노라마 화상을 형성하는 총 6 개의 서브 화상이 존재한다. 일반적으로, 6 개의 서브 화상은 4 개의 공간 레이아웃 포맷, 즉, 도 3(d)에 도시된 공간 레이아웃 포맷을 갖는다. 임의의 공간 레이아웃 포맷에 대해, 6 개의 서브 화상은 임의의 순서로 배열될 수 있고, 서브 화상은 소정의 각도로 더 회전할 수 있다. 그러나, 서브 화상 간의 공간 상관 관계를 최대한으로 유지하여 예측 인코딩의 효율을 향상시키기 위해, 서브 화상들의 배열 순서는 특정한 경우에 기초하여 설정될 수 있다. 예를 들어, 도 7(a) 및 도 7(b)에 대하여, 동일한 3×2 레이아웃 포맷에서, 도 7(b)의 면들은 자연스럽게 연결되고, 면 간의 공간 상관 관계는 비교적 바람직하게 유지된다. 그러나, 도 7(a)의 경우, 면들이 연결되는 위치에서의 화소 점프가 상대적으로 크기 때문에, 상대적으로 바람직한 공간 상관 관계가 유지될 수 없고, 인코딩 효율이 영향을 받는다. 따라서, 인코딩 효율을 향상시키기 위해서는, 2 차원 파노라마 화상 내의 서브 화상의 레이아웃 포맷 및 서브 화상의 배열 순서에 관한 정보가 매우 중요하며, 서브 화상의 레이아웃 포맷 및 서브 화상의 배열 순서를 반영하는 정보가 인코딩 처리에서 특정한 방식으로 인코딩되어 디코더 측에 송신된다.

육면체 포맷의 전술한 2 차원 파노라마 화상을 일 예로서 계속 사용하면, 육면체 포맷의 2 차원 파노라마 화상 내의 6 개의 서브 화상은 통상적으로 4 개의 유형(Type_idx : 0 내지 3)의 공간 레이아웃 포맷을 갖는다. 먼저, 공간 레이아웃 포맷에서 육면체 포맷의 2 차원 파노라마 화상 내의 서브 화상의 배열 순서를 나타내기 위해, 상이한 공간 레이아웃 포맷이 육면체 포맷의 2 차원 파노라마 화상 내의 서브 화상의 크기와 유사하거나 동일한 서브 공간으로 분할될 필요가 있으며, 그 분할을 통해 획득된 서브 공간은 사전 설정된 순서, 예를 들어, 0 내지 5로 번호가 매겨진다. 상기 처리는 또한 아래의 도 8에 도시된 바와 같이, 공간 레이아웃 포맷의 공간 위치를 상응하게 인덱싱하는 것으로 이해될 수 있으며, 이에 대응하여 0 내지 5는 상이한 위치의 인덱스 값이 된다. 본 명세서에서의 위치는 대안으로 또 다른 마킹 형태로 표시될 수 있음에 주목해야 한다. 예를 들어, 1×6 공간 레이아웃 포맷의 경우, 위치는 하단에서 상단으로 또는 다른 마킹 형태로 마킹될 수 있다. 이에 대응하여, 육면체 포맷의 3 차원 파노라마 화상 내의 서브 화상을 구별하고 식별하기 위해, 육면체 포맷의 3 차원 파노라마 화상이 육면체 포맷의 십자형 2 차원 파노라마 화상으로 확장된 후에, 도 9에 도시된 방식으로 각각 6 개의 서브 화상이 좌측, 정면, 우측, 후면, 상단 및 하단으로 명명될 수 있다.

전술한 6 개의 서브 화상의 식별자는 어레이 FaceArray = {left, front, right, rear, top, bottom}을 사용하여 정의될 수 있다. FaceArray 내의 요소는 배열 순서, 예를 들어, {좌측 → 0, 정면 → 1, 우측 → 2, 후면 → 3, 상단 → 4, 하단 → 5}로 공간 레이아웃 포맷의 서브 공간에 순차적으로 배치되므로, 재배열된 2 차원 파노라마 화상으로도 지칭되는, 특정 공간 레이아웃 포맷의 특정 배열 순서의 2 차원 파노라마 화상이 획득될 수 있다.

전술한 정의를 전제로 하여, 육면체 포맷의 2 차원 파노라마 화상의 인코딩 효율을 향상시키기 위해, 육면체 포맷의 2 차원 파노라마 화상 내의 서브 화상은 임의의 순서로 배열되어, 육면체 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 상관 관계를 최대한으로 향상시킬 수 있다. 따라서, 이러한 자유로운 배열 순서는 인코딩/디코딩 구문 디자인에서 지원될 필요가 있다. 구문 디자인의 일 예가 아래의 표 1에 표시된다:

num_of_layout_face_minus1: 여기서, num_of_layout_face_minus1에 1을 더한 값은 다면체의 면의 수이고, 여기서는 육면체의 면의 수이다.

layout_face[i]: 이는 현재 레이아웃 포맷의 i 번째 위치의 서브 공간에 배치된 서브 화상의 표시 정보를 기술한다. 여기서, FaceArray 어레이 내의 나머지 면에서 오직 하나의 현재 면의 인덱스 값이 식별될 필요가 있고, 단지 이전의 5 개의 면의 표시 정보가 식별될 필요가 있음에 주목해야 한다(나머지 최종 면은 최종 위치의 서브 공간에 배치된다).

layout_rotation[i]: 이는 i 번째 위치의 서브 공간에서 서브 화상의 회전 각도를 기술한다. 회전 각도 표시 정보와 실제 회전 각도 사이의 대응은 아래의 표 2에 표시될 수 있다. 실제 사용 동안, 또 다른 대응이 인코더 측 및 디코더 측 모두에 의해 합의된다면, 상기 또 다른 대응이 대안으로 사용될 수 있다.

특히, 아래의 표 1의 구문(syntax)에 기초한 인코딩 예가 도 10에 도시되어 있다. FaceArray의 요소의 수가 계속해서 감소하지만, 나머지 서브 화상의 상대적인 순서는 변경되지 않고 유지된다.

그러나, 이 구문 구조는 실제로, 공통 파노라마 화상에 대해, 상이한 공간 포맷에 대응하는 서브 화상의 자유로운 배열 순서 및 자유로운 회전 각도를 구현할 수 있지만, 서브 화상 간의 상대 위치가 결정되므로, 서브 화상 간의 공간 상관을 최대한으로 유지하기 위해 공간 레이아웃 포맷의 서브 화상을 배열 및 회전시키는 방법이 또한 결정된다. 따라서, 특정의 공간 레이아웃 포맷에서는, 서브 화상의 배열 순서 및 회전 각도를 매번 인코딩할 필요가 없으므로, 현재의 기술을 사용하여 파노라마 화상 내의 서브 화상의 배열 순서를 인코딩하는 인코딩 효율이 낮아지게 된다.

이러한 측면에서, 본 발명은 인코딩 및 디코딩 효율을 향상시키기 위한 인코딩 방법을 제공한다. 도 11에 도시된 바와 같이, 인코딩 방법(110)은 주로 다음의 단계를 포함한다.

S112: 인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 결정한다.

전술한 결정 처리는 레이트 왜곡 최적화 또는 예측 분석과 같은 방식을 사용함으로써 구현될 수 있다. 구체적으로, 결정 처리는 여전히 육각형 포맷의 전술한 2 차원 파노라마 화상을 일 예로서 사용하여 설명된다. "적용 가능한"은 일반적으로 2 차원 파노라마 화상의 최적의 공간 레이아웃 포맷 및 최적의 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 최적의 공간 위치 관계를 지칭하는 것임에 주목해야 한다. 그러나, 일부 특수한 경우, 인코더 및 디코더의 인코딩 복잡성, 대기 시간, 인코딩 및 디코딩 기능을 고려하여, 선택된 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 최적일 수는 없지만, 인코딩 및 디코딩 요구 사항을 가장 잘 만족시킬 수 있다. 이 경우도 본 발명에서 허용된다.

단계 1: 4 가지 공간 레이아웃 포맷 중 특정 공간 레이아웃 포맷을 학습한 후, 4 가지 공간 레이아웃 포맷 중 그 특정 공간 레이아웃 포맷을 결정한다. 상기 결정 처리에서, 특정 공간 레이아웃 포맷은 2 차원 파노라마 화상의 종횡비를 사용하여 결정될 수 있다. 예를 들어,

육면체의 면의 높이/폭 비율은 vertical_size 및 horizontal_size의 최대 공약수이다.

이러한 방식으로 도 3(d)의 Type_idx에서 0 내지 3 중 하나에 대응하는 육면체 공간 레이아웃 포맷이 획득될 수 있다.

단계 2: 공간 레이아웃 포맷을 결정한 후에, 육면체 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 결정한다.

num_of_layout_face_minus1이 파싱되어, 육면체 포맷의 파노라마 화상 내의 서브 화상의 양이 획득된다. 서브 화상의 표기 정보, 즉, layout_face[i] 및 layout_rotation[i]는 공간 레이아웃 포맷의 서브 공간 간의 배열 순서와 같은 공간 위치에 기초하여 순차적으로 파싱되고, 파싱을 통해 얻어진 표시 정보는 서브 화상(좌측, 정면, 우측, 후면, 상단 및 하단)에 매핑된다. 인코더 측과 디코더 측은 서브 화상의 표시 정보를 서브 화상에 매핑하는 방법에 합의하며, 파싱을 통해 획득된 회전 각도 표시 정보에 기초하여 특정의 회전 각도를 결정한다. 인코더 측 및 디코더 측은 표시 정보를 회전 각도에 매핑하는 방법에 합의한다.

S114 : 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정한다.

여기서 디폴트 설정은 인코더 측 및 디코더 측이 함께 합의를 준수함을 의미한다. 디코더 측이 일부 파라미터의 설정이 디폴트 설정인 것을 알게 되면, 디코더 측은 특정 구문 요소 정보를 파싱할 필요는 없지만, 합의에 기초하여 파라미터를 디폴트 설정에 대응하는 파라미터로 바로 설정한다. 공간 위치 관계는 서브 화상의 공간 배열 순서, 서브 화상의 회전 각도, 또는 공간 배열 순서 및 회전 각도를 지칭할 수 있다. 도 8의 3×2 레이아웃 포맷을 일 예로서 사용하면, 2 차원 파노라마 화상 내의 서브 화상은 통상적으로 좌측, 정면, 우측, 상단, 후면 및 하단의 순서로 배열되고, 각각 0, 0, 0, -90°, 90° 및 -90°의 회전 각도로 회전한다. 서브 화상 간의 상관 관계는 바람직하게 유지될 수 있다. 따라서, 그러한 특정된 공간 레이아웃 포맷의 서브 화상 간의 공간 위치 관계가 디폴트 설정으로서 설정될 수 있다. 특정 인코딩 동안, 서브 화상의 실제 사용된 배열 순서 및/또는 대응하는 회전 각도 정보가 디폴트 설정에서의 것과 동일하다면, 인코더 측, 예를 들어, 화상 캡처 장치(110) 내의 화상 인코더(1136)는 서브 화상의 배열 순서 및 서브 화상의 회전 각도를 인코딩할 필요가 없다. 디코더 측, 예를 들어, VR 디스플레이 장치(150) 내의 화상 디코더(1532)는, 현재 사용되는 파라미터가 디폴트 설정인 것을 알게 될 때, 서브 화상의 배열 순서 및/또는 회전 각도와 같은 대응하는 파라미터를 디폴트 설정에 대응하는 파라미터로 바로 설정할 수 있다.

전술한 것은, 3×2 공간 레이아웃 포맷의 서브 화상의 배열 순서 및/또는 서브 화상의 회전 각도의 디폴트 설정을 일 예로서 사용하여 기술한 것에 불과하다는 것에 주목해야 한다. 실제 적용 중에, 유사한 개념에 기초하여, 전술한 디폴트 설정이 또한 공간 레이아웃 포맷, 서브 화상의 배열 순서, 서브 화상의 회전 각도, 다면체 포맷의 서브 화상의 수와 같은 파라미터의 일부 또는 모두에 유사하게 적용될 수 있다. 또한, 전술한 설명에서는, 이해를 용이하게 하기 위해, 도 8의 Type_idx = 0 내지 3에 대응하는 4 개의 공통 공간 레이아웃 포맷이 제공된다. 공간 레이아웃 포맷은 또한 기술 개발을 기반으로 한 다양한 애플리케이션 시나리오에서 다양한 변경 및 확장을 가질 수 있거나, 또한 열거된 공간 레이아웃 포맷 중 일부, 예를 들어, 3×2 공간 레이아웃 포맷만을 포함하는 것으로 제한될 수 있다. 이것은 이에 제한되지 않는다.

S116: 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한 경우, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상이 디폴트 공간 위치 관계를 사용하고 있음을 나타내는 데 사용되는 표시 정보를 인코딩하고, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상 내의 서브 화상을 인코딩하여, 인코딩된 비트스트림을 생성한다.

실제 상황을 고려하여, 헤더 정보의 코딩 비트량을 감소시키고, 구문 요소의 디자인 가외성을 제거하기 위해, 디폴트 설정의 서브 화상의 배열 순서 및/또는 서브 화상의 회전 각도의 개념이 주로 본 발명에 도입된다. 서브 화상의 실제로 사용되는 배열 순서 및/또는 서브 화상의 회전 각도가 디폴트 설정의 것과 다른 경우에만, 서브 화상의 실제로 사용되는 배열 순서 및/또는 서브 화상의 회전 각도와 같은 정보가 추가로 인코딩된다. 전술한 방법에 따른 본 발명에서, 2 차원 파노라마 화상 내의 서브 화상의 공간 위치 정보를 나타내기 위해 필요한 비트의 양을 효과적으로 줄일 수 있어, 인코딩 효율을 향상시킬 수 있다. 물론, 단계(S114)에 대응하여, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 다른 경우, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 인코딩된다.

상술한 인코딩 방법에 기초하여, 본 발명은 또한 디코딩 방법을 제공한다. 도 12에 도시된 바와 같이, 디코딩 방법은 주로 다음의 단계를 포함한다.

S122: 2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정한다.

S124: 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하기 위해 비트스트림을 파싱한다.

S126: 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상의 인코딩된 비트스트림을 디코딩한다.

본 발명의 디코딩 방법에서, 비트스트림이 디폴트 공간 레이아웃 포맷과 공간 위치 관계를 사용하여 디코딩되어, 디코딩 처리 시에 요구되는 시간과 버퍼 공간을 효과적으로 줄일 수 있어 디코딩 효율이 향상될 수 있다.

본 발명의 몇 개의 예의 실시예는 아래에서 육면체 포맷의 2 차원 파노라마 화상을 일 예로서 사용하여 설명된다. 그러나, 전술한 바와 같이, 본 발명은 육면체 포맷을 사용하여 구현되는 것으로 제한되지 않는다. 임의의 양의 면을 갖는 다른 다면체 포맷, 예를 들어, 사면체, 오면체, 팔면체, 12 면체 또는 20 면체가 본 발명에서 대안으로 사용될 수 있다. 또한, 이하의 실시예에서 생성되는 인코딩 정보는 인코딩된 비트스트림 내의 시퀀스 레벨의 헤더 정보, 화상 레벨의 헤더 정보, SEI(Supplemental Enhancement Information)와 같은 위치에 설정될 수 있다.

실시예 1:

이 실시예에서, 육면체 포맷의 2 차원 파노라마 화상의 공간 레이아웃 포맷은 종횡비를 사용하여 도출된다. 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계, 예를 들어, 배열 순서 및 서브 화상이 회전하는지의 여부는 레이트 왜곡 최적화 또는 예측 분석을 통해 획득된다. 또한, 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계는 인코더 측, 예를 들어, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136) 상에 설정된다. 공지된 포맷의 2 차원 파노라마 화상에 대해, 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계를 설정하는 동안, 2 차원 파노라마 화상 내의 서브 화상의 양은 이미 고정되어 있다. 따라서, 구문 요소는 수량을 나타내도록 추가로 디자인될 필요는 없다. 물론, 특정 디자인 동안, 다양한 상이한 애플리케이션 시나리오에 적용 가능하도록, 구문 요소는 대안으로 소정 포맷의 2 차원 파노라마 화상 내의 서브 화상의 양을 나타내도록 디자인될 수 있다. 또한, 2 차원 파노라마 화상 내의 서브 화상의 특정 회전 각도가 표시되어 있지 않을 때, 2 차원 파노라마 화상 내의 모든 서브 화상이 회전하지 않거나, 인코더 측 및 디코더 측 모두가 동일한 방식으로 서브 화상을 회전시킨다고 디폴트로 간주될 수 있다는 것이 인코더 측 및 디코더 측에서 미리 지정될 수 있다. 이러한 방식으로, 서브 화상의 회전 정보의 변수는 비트스트림에서 생략될 수 있다. 표 3은 본 발명의 실시예 1에서의 구문 요소 디자인을 나타낸다.

default_order_flag는 디폴트 공간 위치 관계가 사용되는지 여부를 기술한다.

layout_face[i]는 현재 레이아웃 포맷의 i 번째 위치의 서브 공간에 배치된 서브 화상의 표시 정보를 기술한다. 후속하는 실시예에서, 동일한 구문 요소는 달리 나타내지 않는 한, 이 실시예에서 설명된 내용과 동일한 것으로 간주될 수 있음을 주목해야 한다. 간결성을 위해 설명은 반복되지 않는다.

실시예 1에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: 적용 가능한 공간 레이아웃 포맷과 서브 화상 간의 공간 위치 관계를 선택한다.

최적의 공간 레이아웃 포맷과 2 차원 파노라마 화상 내의 서브 화상 간의 대응하는 최적의 공간 위치 관계는 레이트 왜곡 최적화 또는 사전 분석과 같은 동작을 통해 선택된다. 최적의 공간 위치 관계는 배열 순서 및/또는 서브 화상이 회전하는지 여부를 포함하지만, 이에 한정되는 것은 아니다.

단계 2: default_order_flag를 인코딩한다.

특정 공간 레이아웃 포맷에서, 공간 레이아웃 포맷이 이미 결정되어 있기 때문에, 화상의 폭 및 높이는 이미 결정될 수 있다. 따라서, 통상적으로, 서브 화상 간의 특정 공간 위치 관계가 최적일 수 있다. 즉, 가장 정확한 예측 결과가 획득될 수 있다. 이러한 특정 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 공간 위치 관계는 디폴트 설정으로서, 즉, 디폴트 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 공간 위치 관계로서, 인코더 측 및 디코더 측 상에 설정될 수 있다. 이 단계에서, 현재의 공간 레이아웃 포맷의 서브 화상 간의 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 동일한 공간 레이아웃 포맷의 서브 화상 간의 공간 위치 관계와 동일한지 여부를 먼저 결정할 필요가 있다. 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일하다면, default_order_flag는 1로 설정된다. 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일한 것이 아니라면, default_order_flag는 0으로 설정된다. 최종으로, default_order_flag가 인코딩된다.

단계 3: default_order_flag에 기초하여, layout_face[i]를 인코딩할지 여부를 결정한다.

default_order_flag가 1이면, 서브 화상 간의 공간 위치 관계, 예를 들어, 배열 orderlayout_face[i]의 인코딩은 스킵된다. 그렇지 않으면, layout_face[i]가 인코딩된다. 특정 인코딩 방법은 엔트로피 인코딩(entropy encoding), 가변 길이 코딩(variable-length coding), 고정 길이 코딩(fixed-length coding) 또는 다른 인코딩 방법을 포함하지만, 이에 한정되는 것은 아니며, 후속 실시예에서 구문 요소의 인코딩에 적용 가능하다.

실시예 1에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 default_order_flag를 파싱하고, default_order_flag에 기초하여 layout_face[i]를 파싱할지 여부를 결정하는 것일 수 있다.

구문 요소 default_order_flag가 파싱된다. default_order_flag가 1이면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용함을 나타낸다. 따라서, 서브 화상의 공간 레이아웃 포맷 및 표 3의 공간 레이아웃 포맷에 대응하는 공간 위치 관계에 관련되는 구문 요소는 디코딩될 필요는 없다. 즉, 상기 관련된 구문 요소는 디코딩될 필요가 없다. 공간 위치 관계는 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상에 의해 사용되는 배열 순서일 수 있다. 디폴트 설정을 사용하면, 그 배열 순서와 관련된 후속의 구문 요소인 layout_face[i]는 파싱될 필요가 없고, 대신, 서브 화상의 배열 순서를 디폴트 순서로 바로 설정하고, 그 디폴트 순서로 디코딩을 수행한다. default_order_flag가 0이면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용하지 않고, 디코더가 layout_face[i]을 추가로 파싱, 즉, 관련된 구문 요소를 디코딩할 필요가 있음을 나타낸다.

물론, 2 차원 파노라마 화상의 공간 레이아웃 포맷이 디폴트 설정으로 설정되지 않고, 다양한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 설정으로 설정된다면, 디코더는 전술한 단계를 수행하기 전에, 2 차원 파노라마 화상의 공간 레이아웃 포맷을 획득할 필요가 있다. 획득 방식은 2 차원 파노라마 화상의 종횡비에 기초하여 2 차원 파노라마 화상의 공간 레이아웃 포맷을 획득하는 것일 수 있다. 특정의 획득 방식은: 현재의 2 차원 파노라마 화상의 높이 및 폭을 획득하고, 종횡비를 계산하고, 종횡비에 기초하여 특정의 공간 레이아웃 포맷을 결정하는 것일 수 있다. 예를 들어, 종횡비 1 : 6은 1×6 레이아웃 포맷에 대응하며, 종횡비 3 : 2는 3×2 레이아웃 포맷에 대응한다. 다른 사례가 유추에 의해 추론될 수 있다.

실시예 2:

이 실시예에서, 2 차원 파노라마 화상의 공간 레이아웃 포맷은 종횡비를 사용하여 추론되지는 않지만, 특정 레이아웃 포맷 표시 정보를 인코딩함으로써 획득된다. 복수의 상이한 레이아웃 포맷의 경우, 통상적으로, 서브 화상 간의 특정 공간 위치 관계가 최적일 수 있다. 즉, 가장 정확한 예측 결과가 획득될 수 있다. 이러한 특정 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 공간 위치 관계는 인코더 측 및 디코더 측 상에서 디폴트 설정으로서 설정될 수 있다. 공간 위치 관계는 2 차원 파노라마 화상 내의 서브 화상의 배열 순서를 포함하지만, 이에 한정되는 것은 아니다. 표 4은 본 발명의 실시예 2에 대응하는 구문 요소 표이다.

layout_type_index는 현재의 2 차원 파노라마 화상의 공간 레이아웃 포맷의 인덱스를 기술하고, 그 인덱스에 기초하여 특정한 공간 레이아웃 포맷이 획득될 수 있다.

실시예 2에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 2: layout_type_index를 인코딩한다.

이 단계에서, 적용 가능한 공간 레이아웃 포맷에 대응하는 표시 정보, 즉, layout_type_index가 인코딩된다.

단계 3: default_order_flag를 인코딩한다.

이 단계는 실시예 1의 단계 2와 동일하므로, 실시예 1의 단계 2를 참조함으로써 특정의 실시예의 처리를 알 수 있다.

단계 4: default_order_flag에 기초하여 layout_face[i]를 인코딩할지 여부를 결정한다.

default_order_flag가 1이면, 서브 화상 간의 공간 위치 관계, 예를 들어, 배열 orderlayout_face[i]의 인코딩은 스킵된다. 그렇지 않으면, layout_face[i]가 인코딩된다.

실시예 2에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: layout_type_index를 파싱하여 공간 레이아웃 포맷을 획득한다.

구문 요소 layout_type_index가 파싱되고, 특정 공간 레이아웃 포맷은 파싱을 통해 얻어진 데이터, 즉, 공간 레이아웃 포맷의 인덱스 값에 기초하여 획득된다. 특정 매핑 방식은 인코더 측 및 디코더 측 양자에 의해 합의되고, 대응하는 공간 레이아웃 포맷은 실제로 사용되는 현재 포맷으로 설정된다. 구체적으로, 대응하는 공간 레이아웃 포맷은 레이아웃 포맷의 인덱스 값에 기초한 테이블 룩업(table lookup)을 통해 획득될 수 있다.

단계 2: default_order_flag를 파싱하고, default_order_flag에 기초하여 layout_face[i]를 파싱할지 여부를 결정한다.

구문 요소 default_order_flag가 파싱된다. default_order_flag가 1이라면, 결정된 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 설정을 사용함을 나타낸다. 따라서, 표 3에서의 서브 화상 간의 공간 위치 관계에 관련되는 구문 요소는 디코딩될 필요가 없다. 즉, 상기 관련된 구문 요소는 디코딩될 필요가 없다. 공간 위치 관계는 결정된 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상에 의해 사용되는 배열 순서일 수 있다. 디폴트 설정을 사용하면, 그 배열 순서와 관련된 후속의 구문 요소인 layout_face[i]는 파싱될 필요가 없고, 대신, 서브 화상의 배열 순서를 디폴트 순서로 바로 설정하고, 그 디폴트 순서에 기초하여 비트스트림을 디코딩한다. default_order_flag가 0이면, 결정된 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계는 디폴트 설정을 사용하지 않고, 디코더가 layout_face[i]을 추가로 파싱, 즉, 관련된 구문 요소를 디코딩할 필요가 있음을 나타낸다.

실시예 3:

이 실시예에서, 2 차원 파노라마 화상의 최적의 공간 레이아웃 포맷 및 최적의 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상의 최적 공간 위치 정보가 디폴트 설정으로서 설정된다. 표 5는 본 발명의 실시예 3에 대응하는 구문 요소 디자인을 나타낸다.

default_layout_order_flag는 현재의 2 차원 파노라마 화상이 디폴트 공간 레이아웃 포맷과 디폴트 공간 위치 관계를 사용하는지의 여부를 기술한다.

실시예 3에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 2: default_layout_order_flag를 인코딩한다.

현재 적용 가능한 공간 레이아웃 포맷 및 서브 화상 간의 공간 위치 관계, 예를 들어, 배열 순서가 디폴트 설정에서의 것과 동일한지 여부가 결정된다. 현재 적용 가능한 공간 레이아웃 포맷 및 공간 위치 관계가 디폴트 설정의 것과 동일하다면, default_layout_order_flag는 1이며, 그렇지 않으면, default_layout_order_flag는 0이다. 최종으로, default_layout_order_flag가 인코딩된다.

단계 3: default_layout_order_flag에 기초하여 layout_type_index 및 layout_face[i]를 인코딩할지 여부를 결정한다.

default_layout_order_flag가 1로 설정되면, 후속하는 layout_type_index 및 layout_face[i]의 인코딩은 스킵된다. 그렇지 않으면, 후속하는 layout_type_index 및 layout_face[i]가 인코딩된다.

실시예 3에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: default_layout_order_flag를 파싱한다.

단계 2: default_layout_order_flag에 기초하여, layout_type_index 및 layout_face[i]를 파싱할지 여부를 결정한다.

default_layout_order_flag가 1이라면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용하고, layout_type_index 및 layout_face[i]가 추가로 파싱될 필요가 없다는 것을 나타낸다. default_layout_order_flag가 0이라면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용하지 않고, 구문 요소인 layout_type_index 및 layout_face[i]가 추가로 파싱될 필요가 있고, 파싱을 통해 획득된 데이터에 기초하여 비트스트림을 디코딩한다는 것을 나타낸다.

실시예 4:

인코딩 유연성을 개선하기 위해, 2 차원 파노라마 화상의 디폴트 공간 레이아웃 포맷 및 2 차원 파노라마 화상 내의 서브 화상 간의 디폴트 공간 위치 관계가 개별적으로 설정될 수 있다. 특정 구문 요소 디자인이 표 6에 나타난다.

실시예 4에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: 적용 가능한 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 적용 가능한 공간 위치 관계를 선택한다.

단계 2: default_layout_order_flag를 인코딩한다.

현재 적용 가능한 공간 레이아웃 포맷 및 서브 화상 간의 공간 위치 관계가 디폴트 설정에서의 것과 동일한지 여부가 결정된다. 현재 적용 가능한 공간 레이아웃 포맷 및 공간 위치 관계가 디폴트 설정에서의 것과 동일하다면, default_layout_order_flag는 1이다. 그렇지 않은 경우 default_layout_order_flag는 0이다. 최종으로, default_layout_order_flag가 인코딩된다. default_layout_order_flag가 1이라면, 구문 요소인 layout_type_index, default_order_flag 및 layout_face[i]를 인코딩하는 후속 단계는 스킵된다는 것에 주목해야 한다. 그렇지 않으면, 구문 요소인 layout_type_index, default_order_flag 및 layout_face[i]를 인코딩하는 후속 단계가 수행될 필요가 있다.

단계 3: layout_type_index를 인코딩한다.

이 단계의 실행은 단계 2에 따라 달라진다. default_layout_order_flag가 0이라면, 이 단계가 수행된다. 그렇지 않으면, 이 단계는 스킵된다.

단계 4: default_order_flag를 인코딩한다.

현재의 공간 레이아웃 포맷의 2 차원 파노라마 화상의 적용 가능한 공간 위치 관계, 예를 들어, 배열 순서가 디폴트 공간 위치 관계와 동일한지 여부가 결정된다. 적용 가능한 공간 위치 관계가 디폴트 공간 위치 관계와 동일하다면, default_order_flag는 1이다. 그렇지 않은 경우, default_order_flag는 0이다. 최종으로, default_order_flag가 인코딩된다.

단계 5: default_order_flag에 기초하여 layout_face[i]를 인코딩할지 여부를 결정한다.

default_order_flag가 1로 설정되면, 서브 화상의 배열 orderlayout_face[i]의 인코딩은 스킵된다. 그렇지 않으면, layout_face[i]가 인코딩된다.

실시예 4에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: default_layout_order_flag를 파싱한다.

먼저, default_layout_order_flag가 파싱된다. default_layout_order_flag가 1이라면, 2 차원 파노라마 화상은 실제로 디폴트 공간 레이아웃 포맷을 사용하고, 2 차원 파노라마 화상 내의 서브 화상 간의 간의 공간 위치 관계는 또한 디폴트 설정을 사용하고, 그리고 layout_type_index, default_order_flag 및 layout_face[i]를 파싱하는 후속 단계는 스킵된다. 그렇지 않으면, layout_type_index, default_order_flag 및 layout_face[i]를 파싱하는 후속 단계가 수행된다.

단계 2: layout_type_index를 파싱한다.

단계 3: default_order_flag를 파싱하고, default_order_flag에 기초하여, layout_face[i]를 파싱할지 여부를 결정한다.

구문 요소 default_order_flag가 파싱된다. default_order_flag가 1이라면, 현재의 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 설정을 사용한다는 것, 즉, 서브 화상 간의 공간 위치 관계가 디폴트 설정에서의 것과 동일하다는 것을 나타낸다. 따라서, 서브 화상 간의 공간 위치 관계의 후속 구문 요소, 가령, layout_face[i]는 파싱될 필요가 없고, 대신에, 서브 화상 간의 공간 위치 관계는 디폴트 공간 위치 관계로서 바로 설정되며, 인코더 측 및 디코더 측은 디폴트 공간 위치 관계에 합의한다. default_order_flag가 0이라면, 현재의 공간 레이아웃 포맷의 서브 화상 간의 공간 위치 관계가 디폴트 설정에서의 것과는 실제로 다르며, layout_face[i]가 추가로 파싱될 필요가 있고, 비트스트림은 특정 파싱 결과에 기초하여 파싱된다.

실시예 5:

3 차원 파노라마 화상의 매핑 시 다면체의 면 수를 인코딩 처리에서 기술할 필요가 있고, 특정 공간 레이아웃 포맷에서의 매핑을 통해 획득된 2 차원 파노라마 화상 내의 서브 화상의 공간 위치 정보가 배열 순서 및 회전 각도를 포함하는 것으로 정의되는 경우, 다면체의 면 수와 2 차원 파노라마 화상 내의 서브 화상의 회전 각도를 나타내기 위해 구문 요소 num_of_layout_face_minus1 및 layout_rotation[i]가 추가될 필요가 있다. 전술한 실시예 1 내지 실시예 4(각각 A, B, C 및 D로 표시됨)는 구문 요소 num_of_layout_face_minus1 및 layout_rotation[i]가 디자인될 필요가 있는지 여부에 따라 4 개의 경우로 각각 분류될 수 있다. A/B/C/D의 각각은 4 가지 경우를 갖는다. 따라서, 총 4×4 = 16 개의 경우가 존재한다. 이들 경우는 M-m으로 표시될 수 있는데, M = A, B, C 및 D이고; m = 0, 1, 2 및 3이다. 구문 요소의 조합, 즉 다면체의 면의 수와 2 차원 파노라마 화상 내의 서브 화상의 회전 각도는 표 7에 표시될 수 있다.

실제로, 배열 순서의 세트는 일반적으로 회전 각도의 세트에 대응한다. 디폴트 설정의 세트에서, 2 차원 파노라마 화상 내의 서브 화상의 배열 순서 및 회전 각도는 동시에 디자인될 수 있다. 일 예로서 D-0을 사용하면, 즉, 실시예 4에 기초하여, 육면체의 면의 수가 지정되고, 2 차원 파노라마 화상 내의 서브 화상은 회전할 수 있다. 특정 회전 방식은 위의 표 2의 방식 또는 인코더 측 및 디코더 측 양자에 의해 합의된 다른 방식일 수 있다. 이러한 방식에서, 본 발명의 실시예 5에 대응하는 구문 요소 디자인이 표 8에 표시될 수 있다.

default_layout_order_rotation_flag는 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 2 차원 파노라마 화상 내의 서브 화상의 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일한지 여부를 기술한다.

default_order_rotation_flag는 2 차원 파노라마 화상 내의 서브 화상의 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일한지 여부를 기술한다.

실시예 5에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: 적용 가능한 레이아웃 포맷 및 서브 화상의 적용 가능한 배열 순서 및 적용 가능한 회전 각도를 선택한다.

단계 2: num_of_layout_face_minus1을 인코딩한다.

num_of_layout_face_minus1+1은 육면체의 면의 수이다.

단계 3: default_layout_order_rotation_flag를 인코딩한다.

2 차원 파노라마 화상의 현재 적용 가능한 공간 레이아웃 포맷 및 2 차원 파노라마 화상 내의 서브 화상의 적용 가능한 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일한지 여부를 결정한다. 현재 적용 가능한 공간 레이아웃 포맷 및 복수의 서브 화상의 적용 가능한 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일하다면, default_layout_order_rotation_flag는 1로 설정된다. 현재 적용 가능한 공간 레이아웃 포맷 및 복수의 서브 화상의 적용 가능한 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 상이하다면, default_layout_order_rotation_flag는 0으로 설정된다. 최종으로, default_layout_order_rotation_flag가 인코딩된다. default_layout_order_rotation_flag가 1이라면, layout_type_index 및 layout_rotation[num_of_layout_face_minus1]을 인코딩하는 후속 단계는 스킵될 수 있다. 그렇지 않으면, layout_type_index 및 layout_rotation[num_of_layout_face_minus1]를 인코딩하는 후속 단계가 수행된다.

단계 4: layout_type_index를 인코딩한다.

단계 5: default_order_rotation_flag를 인코딩한다.

현재의 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상의 적용 가능한 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일한지 여부가 결정된다. 적용 가능한 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일하다면, default_order_rotation_flag는 1이 된다. 그렇지 않으면, default_order_rotation_flag는 0이다. 최종으로, default_order_rotation_flag가 인코딩된다. default_order_rotation_flag가 1이라면, 구문 요소인 layout_face[i] tolayout_rotation [num_of_layout_face_minus1]을 인코딩하는 후속 단계는 스킵된다. 그렇지 않으면, 전술한 구문 요소의 인코딩, 즉, 다음의 단계 6이 수행된다:

단계 6: 나머지 구문 요소인 layout_face[i], layout_rotation[i] 및 layout_rotation[num_of_layout_face_minus1]을 인코딩한다.

실시예 5에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: num_of_layout_face_minus1을 파싱하여, 면의 수를 획득한다.

num_of_layout_face_minus1 plus1은 육면체의 면의 특정 수이다.

단계 2: default_layout_order_rotation_flag를 파싱한다.

Default_layout_order_rotation_flag가 1이라면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 2 차원 파노라마 화상에 의해 사용되는 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일하다는 것을 나타낸다. 이 경우, 디코더는 나머지 layout_type_indextolayout_rotation[num_of_layout_face_minus1]을 파싱하는 단계를 스킵한다. 그렇지 않으면, 구문 요소를 파싱하는 후속의 단계가 수행된다.

단계 3: layout_type_index를 파싱하여, 2 차원 파노라마 화상의 현재 공간 레이아웃 포맷을 획득한다.

단계 4: default_order_rotation_flag를 파싱한다.

default_order_rotation_flag가 1이라면, 현재의 공간 레이아웃 포맷에서, 2 차원 파노라마 화상 내의 서브 화상에 의해 실제로 사용되는 배열 순서 및 회전 각도가 디폴트 설정에서의 것과 동일함을 나타낸다. 이 경우, 디코더는 layout_face[i], layout_rotation[i], 및 layout_rotation[num_of_layout_face_minus1]을 파싱하는 단계를 스킵한다. 그렇지 않으면, 디코더는 후속 구문 요소를 파싱하는 단계를 계속 수행한다.

단계 5: 구문 요소인 layout_face[i], layout_rotation[i], 및 layout_rotation[num_of_layout_face_minus1]을 파싱한다.

실시예 6:

실제 적용 중에, 2 차원 파노라마 화상 내의 서브 화상의 사용된 배열 순서는 디폴트 설정에서의 것과 완전히 동일한 것이 아니지만, 디폴트 설정에서의 것과 부분적으로 동일할 수 있다. 예를 들어, 서브 화상의 디폴트 배열 순서는 좌측 → 정면 → 우측 → 상단 → 후면 → 하단이다. 그러나, 실제로 사용된 순서는 하단 → 후면 → 좌측 → 전면 → 우측 → 상단이다. 마지막 4 개의 서브 화상만의 배열 순서가 디폴트 설정의 배열 순서와 동일하다. 실제로, 적용 가능한 공간 레이아웃 포맷의 제 3 서브 공간으로부터 시작하는 이 경우에, 다른 후속하는 서브 공간에 대응하는 서브 화상의 배열 순서를 결정할 필요는 없지만, 단지, 소정 위치로부터 시작하는 서브 화상의 디폴트 배열 순서가 여전히 사용되고 있음을 디코더 측에 통지하고, 동일한 배열 순서를 사용하는 서브 공간의 길이를 디코더 측에 통지할 필요가 있다.

표 9는 구문 디자인의 특정 예를 나타낸다. 설명을 용이하게 하기 위해서, 이 예에서는, 1×6 또는 6×1의 공간 레이아웃 포맷만이 고려되고, 정확히 4 개의 연속적인 서브 화상의 배열 순서가 디폴트 설정의 배열 순서와 동일하고 동일한 순서 세그먼트가 좌측에서부터 시작되는 경우만이 고려된다:

partial_default_order_flag는 2 차원 파노라마 화상 내의 서브 화상 중 일부의 배열 순서가 디폴트 배열 순서와 동일한지 여부를 기술한다.

실시예 6에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

최적의 공간 레이아웃 포맷 및 2 차원 파노라마 화상 내의 서브 화상 간의 대응하는 최적의 공간 위치 관계는 레이트 왜곡 최적화 또는 사전 분석과 같은 동작을 통해 선택된다. 최적의 공간 위치 관계는 배열 순서 및/또는 서브 화상이 회전하는지의 여부를 포함하지만, 이에 한정되는 것은 아니다.

단계 2: default_order_flag를 인코딩한다.

특정 공간 레이아웃 포맷에서, 공간 레이아웃 포맷이 이미 결정되어 있기 때문에, 화상의 폭 및 높이는 이미 결정될 수 있다. 따라서, 통상적으로, 서브 화상 간의 특정 공간 위치 관계가 최적일 수 있다. 즉, 가장 정확한 예측 결과가 획득될 수 있다. 이러한 특정 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 공간 위치 관계는 디폴트 설정으로서, 즉, 디폴트 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 공간 위치 관계로서, 인코더 측 및 디코더 측 상에 설정될 수 있다. 이 단계에서, 현재의 공간 레이아웃 포맷의 서브 화상 간의 현재 적용 가능한 공간 위치 관계가, 디폴트 설정의 동일한 공간 레이아웃 포맷의 서브 화상 간의 공간 위치 관계와 동일한지 여부를 먼저 결정할 필요가 있다. 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일하다면, default_order_flag는 1로 설정된다. 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일한 것이 아니라면, default_order_flag는 0으로 설정된다. 최종으로, default_order_flag가 인코딩된다.

단계 3: default_order_flag에 기초하여, partial_default_order_flag 및 layout_face[i]를 인코딩할지 여부를 결정한다.

default_order_flag가 1이라면, partial_default_order_flag 및 layout_face[i]의 인코딩은 스킵된다. Default_order_flag가 0이라면, 공간 위치 관계, 예를 들어, 2 차원 파노라마 화상 내의 서브 화상 간의 배열 순서 및/또는 회전 각도가 디폴트 설정에서의 것과 완전히 동일한 것이 아니라는 것을 나타낸다. 그러나, 순서의 일부는 디폴트 설정에서의 것과 동일할 수 있다. 따라서, 현재 남아있는 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계와 비교된다. 공간 위치 관계의 일부가 디폴트 설정에서의 공간 위치 관계의 일부와 동일하다면, partial_default_order_flag는 1이다. 그렇지 않으면, partial_default_order_flag는 0이다. 최종적으로, partial_default_order_flag가 인코딩된다. 인코더 측 및 디코더 측은 순서의 일부가 디폴트 설정에서의 것과 동일하다는 것을 결정하는 방법에 동의할 필요가 있다. 예를 들어, 이 실시예의 경우, 현재의 공간 레이아웃 포맷이 1×6 또는 6×1이라면, 좌측의 위치는 0, 1 또는 2의 위치의 서브 공간에 위치되고, 좌측 옆의 정확히 3 개의 연속된 면의 배열 순서는 디폴트 설정에서의 좌측 옆의 3 개의 연속된 면의 순서와 같기 때문에, 현재 면의 배열 순서가 디폴트 설정의 배열 순서와 부분적으로 동일하다고 간주된다.

단계 3: partial_default_order_flag에 기초하여 layout_face[i]를 인코딩하는 방법을 결정한다.

partial_default_order_flag가 0이라면, layout_face[i]는 순차적으로 인코딩되고, 어떠한 처리도 스킵되지 않는다. partial_default_order_flag가 1이고 현재의 서브 공간 위치 i≤2이고, 현재의 서브 공간 위치에서 인코딩된 면이 좌측인 경우, 후속하는 2 또는 3 개의 연속하는 서브 공간 위치에서의 서브 화상의 표시 정보의 인코딩은 스킵된다. 현재 위치가 2인 경우, 후속하는 2 개의 연속적인 서브 공간 위치에서의 서브 화상의 표시 정보의 인코딩은 스킵되는데, 그 이유는 최종 서브 공간 위치의 특정 면의 표시 정보가 인코딩될 필요가 없기 때문이다. 그렇지 않으면, 후속하는 3 개의 연속적인 서브 공간 위치에서의 서브 화상의 표시 정보의 인코딩은 스킵된다.

실시예 6에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: default_order_flag를 파싱하고, default_order_flag에 기초하여 partial_default_order_flag 및 layout_face[i]를 파싱할지 여부를 결정한다.

구문 요소 default_order_flag가 파싱된다. default_order_flag가 1이면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용함을 나타낸다. 따라서, partial_default_order_flag는 파싱될 필요가 없으며, 서브 화상의 공간 레이아웃 포맷 및 표 3의 공간 레이아웃 포맷에 대응하는 공간 위치 관계에 관련되는 구문 요소는 디코딩될 필요는 없다. 즉, 상기 관련된 구문 요소는 디코딩될 필요가 없다. 공간 위치 관계는 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상에 의해 사용되는 배열 순서일 수 있다. 디폴트 설정을 사용하면, 그 배열 순서와 관련된 후속의 구문 요소인 layout_face[i]는 파싱될 필요가 없고, 대신, 서브 화상의 배열 순서를 디폴트 순서로 바로 설정하고, 그 디폴트 순서로 디코딩을 수행한다. default_order_flag가 0이라면, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용하지 않고, 디코더가 partial_default_order_flag 및 layout_face[i]를 추가로 파싱하고, 특정 파싱 결과에 기초하여 서브 화상의 배열 순서를 설정할 필요가 있음을 나타낸다.

단계 3: partial_default_order_flag를 파싱하고, partial_default_order_flag에 기초하여 layout_face[i]를 파싱하는 방법을 결정한다.

구문 요소 partial_default_order_flag가 파싱된다. partial_default_order_flag가 0이라면, 후속하는 layout_face[i]가 순차적으로 파싱된다. partial_default_order_flag가 1이라면, 현재의 공간 레이아웃 포맷은 1×6 또는 6×1이고, 현재의 서브 공간 위치는 i≤2이고, 현재 파싱된 서브 화상은 좌측이고, 후속하는 2 개 또는 3 개의 연속적인 서브 공간 위치에 대응하는 서브 화상의 표시 정보의 파싱을 스킵한다. 현재 위치가 2라면, 후속하는 2 개의 연속적인 서브 공간 위치에 대응하는 서브 화상의 표시 정보의 파싱은 스킵되는데, 그 이유는 최종 서브 공간 위치의 면의 특정 표시 정보가 파싱될 필요가 없기 때문이다. 그렇지 않으면, 후속하는 3 개의 연속적인 서브 공간 위치에 대응하는 서브 화상의 표시 정보의 파싱은 스킵된다.

이 실시예에서, 공간 레이아웃 포맷은 디폴트로 종횡비를 사용함으로써 추론된다는 것에 주목해야 한다. 실제 사용 중에, 사용된 공간 레이아웃 포맷의 유형이 대안으로 바로 인코딩될 수 있다. 이 실시예에서, 육면체의 면의 수 및 면의 회전 각도의 인코딩은 고려되지 않는다. 실제로 사용 중에, 두 가지 요인의 영향이 대안으로 고려될 수 있다. 이 실시예에서, 단지 2 가지 유형의 공간 레이아웃 포맷(layout_6×1 및 layout_1×6)이 고려된다. 실제 사용 중에, 이 실시예는 또한 유사한 방법을 사용함으로써 또 다른 공간 레이아웃 포맷으로 확장될 수 있다. 이 실시예에서, 인코더 측과 디코더 측은 동일한 순서 세그먼트가 좌측으로부터 시작한다는 것에 합의한다. 실제 사용 중에, 동일한 순서 세그먼트가 대안으로 중간 면으로부터 시작할 수 있다. 대안으로, 시작 면의 표시 정보가 바로 인코딩된다. 이 실시예에서, 동일한 순서 세그먼트는 4의 길이를 가지며, 실제 사용 중에 또 다른 양의 길이를 가질 수 있다. 대안으로, 동일한 순서 세그먼트의 길이가 바로 인코딩된다. 이 실시예에서, 부분적으로 매칭된 배열 순서의 시작 서브 공간 위치(i)는 2보다 작거나 같다고 결정된다. 실제 사용 중에, 시작 서브 공간 위치는 대안으로 다른 값으로 설정될 수 있다. 또한, 이후에 생략되는 서브 공간 위치의 양도 또한 수정될 수 있다. 이것은 동일한 순서 세그먼트의 길이에 의해 영향을 받는다.

실시예 7:

실제 사용 시, 서브 화상이, 예를 들어, 6×1 공간 레이아웃 포맷에 대해, 좌측 → 정면 → 우측 → 상단 → 후면 → 하단 및 후면 → 하단 → 좌측 → 정면 → 우측 → 상단을 가질 수 있는 디폴트 배열 순서와 같은 복수의 디폴트 공간 위치 관계의 경우, 유연성을 향상시키기 위해, 이들 모두 서브 화상의 디폴트 배열 순서로 설정될 수 있다. 인코더 측에 의해 선택된 서브 화상의 배열 순서가 디폴트 배열 순서들 중 하나라고 하면, 이 경우, 서브 화상의 현재 사용되는 배열 순서가 디폴트 설정임을 나타내는 것에 더하여, 인코더 측은 추가로 서브 화상의 특정한 디폴트 배열 순서를 디코더 측에 통지할 필요가 있다. 표 10은 이 경우의 구문 요소 디자인을 나타낸다.

default_order_index는 서브 화상 간의 디폴트 공간 위치 관계의 인덱스를 기술한다.

실시예 7에서, 화상 획득 및 캡처 장치(110) 내의 화상 인코더(1136)와 같은 인코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 2: default_order_flag를 인코딩한다.

특정 공간 레이아웃 포맷에서, 공간 레이아웃 포맷이 이미 결정되어 있기 때문에, 화상의 폭 및 높이는 이미 결정될 수 있다. 따라서, 통상적으로, 서브 화상 간의 특정 공간 위치 관계가 최적일 수 있다. 즉, 가장 정확한 예측 결과가 획득될 수 있다. 이러한 특정 공간 레이아웃 포맷 및 서브 화상 간의 대응하는 공간 위치 관계는 디폴트 설정으로서, 즉, 디폴트 공간 레이아웃 포맷 및 서브 화상 간의 공간 위치 관계로서, 인코더 측 및 디코더 측 상에 설정될 수 있다. 이 단계에서, 현재의 공간 레이아웃 포맷의 서브 화상 간의 현재 적용 가능한 공간 위치 관계가, 디폴트 설정의 동일한 공간 레이아웃 포맷의 서브 화상 간의 공간 위치 관계와 동일한지 여부를 먼저 결정할 필요가 있다. 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일하다면, default_order_flag는 1로 설정된다. 현재 적용 가능한 공간 위치 관계가 디폴트 설정의 공간 위치 관계와 완전히 동일한 것이 아니라면, default_order_flag는 0으로 설정된다. 최종으로, default_order_flag가 인코딩된다.

단계 3: default_order_flag에 기초하여 default_order_index 및 layout_face[i]를 인코딩할지 여부를 결정한다.

default_order_flag가 1이라면, 현재 사용되는 서브 화상의 디폴트 배열 순서의 표시 정보가 추가로 인코딩될 필요가 있다. 인코더 측과 디코더 측은 표시 정보를 복수의 서브 화상의 배열 순서로 매핑하는 방식을 함께 결정할 필요가 있고, 서브 화상의 배열 orderlayout_face[i]의 인코딩은 스킵된다. 그렇지 않으면, layout_face[i]가 인코딩된다.

실시예 7에서, VR 디스플레이 장치(150) 내의 화상 디코더(1532)와 같은 디코더를 사용하여 수행되는 특정 실시예의 처리는 다음과 같을 수 있다:

단계 1: default_order_flag를 파싱하고, default_order_flag에 기초하여 default_order_index 및 layout_face[i]를 파싱할지 여부를 결정한다.

구문 요소 default_order_flag가 파싱된다. default_order_flag가 1이라면, 이는 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용하며, default_order_index는 현재의 공간 레이아웃 포맷에서 구체적으로 사용되는 서브 화상 간의 디폴트 공간 위치 관계를 획득하도록 추가로 파싱될 필요가 있으며, 배열 순서와 관련된 후속 구문 요소인 layout_face[i]는 파싱될 필요가 없다는 것을 나타낸다. 공간 위치 관계는 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상에 의해 사용되는 배열 순서일 수 있다. 디폴트 설정을 사용하면, 그 배열 순서와 관련된 후속의 구문 요소인 layout_face[i]는 파싱될 필요가 없고, 대신, 서브 화상의 배열 순서를 디폴트 순서로 바로 설정하고, 그 디폴트 순서에 기초하여 디코딩을 수행한다. default_order_flag가 0이라면, 이는, 2 차원 파노라마 화상의 공간 레이아웃 포맷 및 대응하는 공간 위치 관계가 디폴트 설정을 사용하지 않고, 디코더가 layout_face[i]을 추가로 파싱, 즉, 관련된 구문 요소를 디코딩할 필요가 있음을 나타낸다.

이 실시예에서, 2 개의 구문 요소는 서브 화상의 디폴트 배열 순서(default_order_flag)가 사용되는지의 여부 및 사용되는 서브 화상의 특정 디폴트 배열 순서(default_order_index)를 각각 나타내는 데 사용된다는 것에 주목해야 한다. 사실, default_order_index는 분석 및 결정을 위해 바로 사용될 수 있다. 예를 들어, default_order_index가 0인 경우, 서브 화상의 디폴트 배열 순서는 사용되지 않는 것으로 간주된다. default_order_index가 0이 아닌 경우, 표 11에 나타낸 바와 같이, 서브 화상의 특정 디폴트 배열 순서는 (인코더 측과 디코더 측이 매핑 방식에 합의한 경우) default_order_index의 특정 값에 기초하여 결정된다.

이 실시예에서, 공간 레이아웃 포맷은 디폴트로 종횡비를 사용함으로써 추론된다는 것에 주목해야 한다. 실제 사용 중에, 사용된 공간 레이아웃 포맷의 유형이 대안으로 바로 인코딩될 수 있다. 이 실시예에서, 육면체의 면의 수 및 면의 회전 각도의 인코딩은 고려되지 않는다. 실제로 사용 중에, 두 가지 요인의 영향이 대안으로 고려될 수 있다. 이 실시예에서, 서브 영상의 복수의 디폴트 배열 순서는 각각의 공간 레이아웃 포맷에 대해서만 규정된다. 실제 사용 시, 이 실시예는 또한 (공간 레이아웃 포맷이 인코딩을 위한 종횡비 대신에, 공간 레이아웃 포맷 표시 정보를 사용함으로써 추론될 때) 복수의 디폴트 공간 레이아웃 포맷 및 서브 화상의 복수의 배열 순서를 규정하는 데 사용될 수 있다. 대안으로, 이 실시예는 복수의 디폴트 공간 레이아웃 포맷 및 서브 화상의 복수의 배열 순서를 규정할 때, 각 공간 레이아웃 포맷에 대한 서브 화상의 복수의 디폴트 배열 순서를 부가적으로 규정하는 데 사용된다. 또한, 전술한 경우는 회전 각도와 관련된 사용에도 확장될 수 있다.

본 발명에서, 전술한 구문 요소의 명칭, 구문 요소의 인코딩 방법 및 구문 요소의 논리 결정 처리는 서로 다른 요구 사항에 따라 디자인 및 조정될 수 있으며, 전술한 예에 제공되는 형태에 한정되는 것이 아니다.

전술한 모든 실시예는 하드웨어의 형태로 구현될 수 있다. 예를 들어, 인코딩 방법(110)은 하드웨어 장치, 예를 들어, 하드웨어 형태 또는 대응하는 기능을 갖는 인코딩 장치를 사용하여 구현될 수 있다. 도 13은 본 발명에서 상술한 모든 가능한 인코딩 방법을 구현하도록 구성된 인코딩 장치(1300)를 도시한다. 상기 인코딩 장치는:

인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계를 결정하도록 구성되는, 공간 레이아웃 포맷 및 공간 위치 관계 결정 유닛(1301)과;

적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하도록 구성되는 판단 유닛(1303)과;

적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가, 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한 경우, 적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상이 디폴트 공간 위치 관계를 사용하고 있음을 나타내는 데 사용되는 표시 정보를 인코딩하고, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상 내의 서브 화상을 인코딩하여, 인코딩된 비트스트림을 생성하도록 구성되는 인코딩 유닛(1305)을 포함한다.

전술한 장치에 따른 본 발명에서, 2 차원 파노라마 화상 내의 서브 화상의 공간 위치 정보를 나타내기 위해 필요한 비트의 양을 효과적으로 줄일 수 있어, 인코딩 효율을 향상시킬 수 있다. 인코딩 장치(1300)의 유닛은 기능 유닛일 수 있고, 범용 하드웨어 또는 특수 목적 하드웨어를 사용함으로써 구현된다.

유사하게, 디코딩 방법(120)은 하드웨어 장치, 예를 들어, 하드웨어 형태 또는 대응하는 기능을 갖는 디코딩 장치를 사용하여 구현될 수 있다. 도 14는 본 발명에서 상술한 모든 가능한 디코딩 방법을 구현하도록 구성된 디코딩 장치(1400)를 도시한다. 상기 디코딩 장치는:

2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하도록 구성되는 공간 레이아웃 포맷 결정 유닛(1401)과;

적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하기 위해, 비트스트림을 파싱하도록 구성되는 공간 위치 관계 결정 유닛(1403)과;

적용 가능한 공간 레이아웃 포맷의 2 차원 파노라마 화상 내의 서브 화상 간의 공간 위치 관계가 디폴트 공간 위치 관계라면, 적용 가능한 공간 레이아웃 포맷 및 디폴트 공간 위치 관계에 기초하여 2 차원 파노라마 화상의 인코딩된 비트스트림을 디코딩하도록 구성되는 디코딩 유닛(1405)을 포함한다.

디코딩 장치(1400)의 유닛은 기능 유닛일 수 있고, 범용 하드웨어 또는 특수 목적 하드웨어를 사용함으로써 구현된다.

본 발명의 디코딩 장치에서, 비트스트림이 디폴트 공간 레이아웃 포맷과 공간 위치 관계를 사용하여 디코딩되어, 디코딩 처리 시에 요구되는 시간과 버퍼 공간을 효과적으로 줄일 수 있어 디코딩 효율이 향상될 수 있다.

하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다. 기능이 소프트웨어에 의해 구현되는 경우, 기능은 하나 이상의 명령어 또는 코드로서 컴퓨터 판독 가능 매체에 저장될 수 있거나 또는 컴퓨터 판독 가능 매체에 의해 전송될 수 있고, 하드웨어에 기초한 프로세싱 유닛에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체(데이터 저장 매체와 같은 유형적인 매체에 대응함) 또는 통신 매체를 포함할 수 있으며, 통신 매체는, 예를 들어, 통신 프로토콜에 따라 컴퓨터 프로그램을 사용하여 한 장소로부터 다른 장소로 데이터의 전송을 촉진하는 임의의 매체를 포함한다. 이러한 방식에서, 컴퓨터 판독 가능 매체는 (1) 비 일시적 유형의 컴퓨터 판독 가능 저장 매체, 또는 (2) 신호 또는 캐리어와 같은 통신 매체에 일반적으로 대응할 수 있다. 데이터 저장 매체는 본 발명에서 설명된 기술에서 임의의 이용 가능한 매체를 구현하기 위한 명령어, 코드 및/또는 데이터 구조를 리트리브(retrieve)하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.

제한이 아닌 예로서, 일부의 컴퓨터 판독 가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM, 다른 광 디스크 저장 장치 또는 자기 디스크 저장 장치, 다른 자기 저장 장치, 플래시 메모리 또는 명령어 또는 데이터 구조의 형태로 필요한 프로그램을 저장할 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독 가능 매체로 적절히 지칭될 수 있다. 예를 들어, 동축 케이블, 광 케이블, 연선, 디지털 가입자 회선(DSL) 또는 무선 기술(예를 들어, 적외선, 무선 또는 마이크로웨이브)을 사용하여, 웹사이트, 서버 또는 다른 원격 소스로부터 명령어가 전송되면, 동축 케이블, 광 케이블, 연선, DSL 또는 무선 기술(예를 들어, 적외선, 무선 또는 마이크로웨이브)은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독 가능 저장 매체 및 데이터 저장 매체는 접속, 캐리어, 신호 또는 다른 일시적인 매체를 포함하지 않을 수 있지만, 비 일시적인 유형의 저장 매체인 것으로 이해되어야 한다. 본 명세서에서 사용된 디스크 및 광 디스크는 CD(Compact Disc), 레이저 디스크, 광 디스크, DVD(Digital Versatile Disc), 플로피 디스크 및 블루레이 디스크를 포함한다. 자기 디스크는 일반적으로 데이터를 자기적으로 복사하고, 광 디스크는 레이저를 사용하여 데이터를 광학적으로 복사한다. 전술한 목적의 조합은 컴퓨터 판독 가능 매체의 범위 내에 더 포함될 것이다.

명령어는 하나 이상의 디지털 신호 프로세서(DSP), 범용 마이크로프로세서, 주문형 집적 회로(ASIC), 필드 프로그래머블 로직 어레이(FPGA), 또는 다른 동등한 집적 회로 또는 이산 회로와 같은 하나 이상의 프로세서에 의해 실행될 수 있다. 따라서, 본 명세서에 사용된 "프로세서"라는 용어는 전술한 구조 또는 본 명세서에 설명된 기술을 구현하기 위해 적용 가능한 임의의 다른 구조를 지칭할 수 있다. 또한, 일부 양태에서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성된 특수 목적 하드웨어 및/또는 소프트웨어 모듈에 제공될 수 있거나, 결합된 코더-디코더에 통합될 수 있다. 또한, 이들 기술은 하나 이상의 회로 또는 논리 요소에서 완벽하게 구현될 수 있다.

본 발명의 기술은 복수의 장치 또는 디바이스에 의해 광범위하게 구현될 수 있다. 장치 또는 디바이스는 무선 핸드셋, 집적 회로(IC) 또는 IC 세트(예를 들어, 칩 세트)를 포함한다. 본 발명에서, 개시된 기술을 구현하도록 구성된 장치의 기능적 양태를 강조하기 위해 다양한 컴포넌트, 모듈 및 유닛이 기술되며, 기능적 양태는 반드시 상이한 하드웨어 유닛에 의해 구현될 필요는 없다. 정확하게, 상술한 바와 같이, 다양한 유닛은 코더-디코더 하드웨어 유닛 내에 결합될 수 있거나, 적절한 소프트웨어 및/또는 펌웨어의 조합을 가진 상호 운용 가능한 하드웨어 유닛(전술한 하나 이상의 프로세서를 포함함)의 세트에 의해 제공될 수 있다.

전체 명세서에서 언급된 "일 실시예"또는 "실시예"는 실시예와 관련된 특정의 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하는 것으로 이해해야 한다. 따라서, 명세서 전체에 걸쳐 나타나는 "일 실시예에서" 또는 "실시예에서"는 반드시 동일한 실시예를 의미하지는 않는다. 또한, 특정의 특징, 구조 또는 특성은 임의의 적절한 방식으로 하나 이상의 실시예로 결합될 수 있다.

전술한 처리의 시퀀스 번호는 본 발명의 다양한 실시예에서 실행 시퀀스를 의미하는 것이 아니라는 것을 이해해야 한다. 처리의 실행 순서는 처리의 기능 및 내부 로직에 따라 결정되어야 하며, 본 발명의 실시예의 처리를 제한하는 것으로 해석되지 않아야 한다.

또한, "시스템" 및 "네트워크"라는 용어는 본 명세서에서 상호 교환 가능하게 사용될 수 있다. 본 명세서의 "및/또는"이라는 용어는 관련 객체를 설명하는 연관 관계일 뿐이며, 세 가지 관계가 존재할 수 있음을 나타낸다는 것을 이해해야 한다. 예를 들어, A 및/또는 B는 다음의 세 가지 경우, 즉, A만 존재, A와 B 모두 존재 및 B만 존재하는 경우를 나타낼 수 있다. 또한, 본 명세서에서 문자 "/"는 일반적으로 관련 객체 간의 "또는" 관계를 나타낸다.

본 출원에 제공된 실시예에서, "A에 대응하는 B"는 B가 A와 관련되고 B는 A에 따라 결정될 수 있음을 이해해야 한다. 그러나, A에 따라 B를 결정한다는 것은 B가 A에 따라서만 결정된다는 것을 의미하는 것은 아니며; 즉, B는 A 및/또는 다른 정보에 따라 결정될 수도 있다는 것을 추가로 이해해야 한다.

당업자라면, 본 명세서에서 개시된 실시예를 참조하여 설명된 예에서의 유닛 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들의 조합에 의해 구현될 수 있음을 인식할 수 있다. 하드웨어와 소프트웨어 간의 상호 교환 가능성을 명확하게 설명하기 위해, 각 예에 대한 구성 및 단계가 전술한 설명에서 기능에 따라 일반적으로 설명되었다. 기능이 하드웨어 또는 소프트웨어로 수행되는지 여부는 기술적 솔루션의 특정 애플리케이션 및 디자인 제약 조건에 따라 달라진다. 당업자는 각각의 특정 애플리케이션에 대해 설명된 기능을 구현하기 위해 상이한 방법을 사용할 수 있지만, 이 실시예가 본 발명의 범위를 넘어서는 것으로 간주되지는 않아야 한다.

시스템, 장치 및 유닛의 상세한 작업 처리에 대해, 편리하고 간단한 설명을 목적으로, 방법 실시예에서의 대응하는 처리를 참조하는 것이 당업자에 의해 명백하게 이해될 수 있다. 세부 사항은 본 명세서에 더 이상 기술되지 않는다.

본 출원에 제공된 몇몇 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 설명된 장치 실시예는 단지 일 예에 불과할 뿐이다. 예를 들어, 유닛 분할은 단지 논리적 기능의 분할에 불과하고, 실제 실시예에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 다른 시스템 내에 결합 또는 통합될 수 있거나, 일부 특징이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 접속은 일부 인터페이스를 사용하여 구현될 수 있다. 장치 또는 유닛 간의 간접 결합 또는 통신 접속은 전기적, 기계적 또는 다른 형태로 구현될 수 있다.

분리된 부분으로 기술된 유닛은 물리적으로 분리될 수도 있고 그렇지 않을 수도 있으며, 유닛으로서 디스플레이된 부분은 물리적 유닛일 수도 있고 그렇지 아닐 수도 있으며, 한 위치에 위치될 수도 있고, 또는 복수의 네트워크 유닛 상에 분포될 수도 있다. 일부 또는 모든 유닛은 실시예의 솔루션의 목적을 달성하기 위해 실제 요구에 따라 선택될 수 있다.

또한, 본 발명의 실시예에서의 기능 유닛은 하나의 처리 유닛에 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수도 있고, 2 이상의 유닛이 하나의 유닛으로 통합되기도 한다.

설명은 단지 본 발명의 특정 실시예에 불과할 뿐이지만, 본 출원의 보호 범위를 제한하려는 것이 아니다. 본 발명에 개시된 기술적 범위 내에서 당업자에 의해 용이하게 이해되는 임의의 변형 또는 치환은 본 발명의 보호 범위 내에 속한다. 따라서, 본 발명의 보호 범위는 청구범위의 보호 범위를 따라야 한다.

Claims

디코딩 방법으로서,
2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 상기 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계와,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하기 위해, 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계와,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계라면, 상기 적용 가능한 공간 레이아웃 포맷 및 상기 디폴트 공간 위치 관계에 기초하여 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 디코딩하는 단계를 포함하는
디코딩 방법.
제 1 항에 있어서,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하기 위해, 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계는,
디폴트 공간 위치 관계 표시 식별자를 획득하기 위해 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하고, 상기 디폴트 공간 위치 관계 표시 식별자가 제 1 값일 때, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계라고 결정하는 단계를 포함하는
디코딩 방법.
제 1 항 또는 제 2 항에 있어서,
상기 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는,
상기 2 차원 파노라마 화상의 폭 및 높이를 획득하기 위해, 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하고, 상기 2 차원 파노라마 화상의 종횡비 및 종횡비와 공간 레이아웃 포맷 간의 사전 설정된 대응 테이블에 기초하여 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷을 결정하는 단계, 또는
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷의 인덱스를 획득하기 위해, 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하고, 상기 공간 레이아웃 포맷의 상기 인덱스에 기초하여 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷을 결정하는 단계를 포함하는
디코딩 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 디폴트 공간 위치 관계는 복수의 상이한 디폴트 공간 위치 관계를 포함하며, 이에 대응하여, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계라면, 상기 적용 가능한 공간 레이아웃 포맷 및 상기 디폴트 공간 위치 관계에 기초하여 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 디코딩하는 단계는,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 디폴트 공간 위치 관계라면, 상기 디폴트 공간 위치 관계의 인덱스를 획득하기 위해 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계와, 상기 디폴트 공간 위치 관계의 상기 인덱스에 기초한 상기 복수의 디폴트 공간 위치 관계로부터, 상기 인덱스에 대응하고 상기 2 차원 파노라마 화상 내의 서브 화상들과 관련된 디폴트 공간 위치 관계를 획득하는 단계와, 상기 적용 가능한 공간 레이아웃 포맷 및 상기 디폴트 공간 위치 관계에 기초하여 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 디코딩하는 단계를 포함하는
디코딩 방법.
제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
상기 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인지의 여부를 결정하기 위해 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계를 포함하고,
이에 대응하여, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하는 단계는,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷인지의 여부에 따라, 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷인 경우에, 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계라는 것을 결정하는 단계를 포함하는
디코딩 방법.
제 5 항에 있어서,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인지의 여부를 결정하기 위해 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계는,
디폴트 공간 레이아웃 포맷 표시 식별자를 획득하기 위해 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계와, 상기 디폴트 공간 레이아웃 포맷 표시 식별자가 제 1 값일 때, 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷이라고 결정하는 단계를 포함하는
디코딩 방법.
제 1 항, 제 2 항, 제 4 항 또는 제 5 항 중 어느 한 항에 있어서,
상기 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷인지의 여부를 결정하기 위해, 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 파싱하는 단계를 포함하며,
이에 대응하여, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하는 단계는,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷이 아닌 경우, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계인지의 여부를 결정하는 단계를 포함하는
디코딩 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 파노라마 화상 내의 상기 서브 화상들 간의 공간 위치 관계는, 상기 파노라마 화상 내의 서브 화상들의 배열 순서, 상기 파노라마 화상 내의 서브 화상들의 회전 각도, 또는 상기 파노라마 화상 내의 서브 화상들의 배열 순서 및 회전 각도를 포함하는
디코딩 방법.
인코딩 방법으로서,
인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계를 결정하는 단계와,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계와,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 상기 디폴트 공간 위치 관계와 동일한 경우, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들이 상기 디폴트 공간 위치 관계를 사용하고 있음을 나타내는 데 사용되는 표시 정보를 인코딩하고, 상기 적용 가능한 공간 레이아웃 포맷 및 상기 디폴트 공간 위치 관계에 기초하여 상기 2 차원 파노라마 화상 내의 상기 서브 화상들을 인코딩하여 인코딩된 비트스트림을 생성하는 단계를 포함하는
인코딩 방법.
제 9 항에 있어서,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 상기 디폴트 공간 위치 관계와 동일한 경우, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들이 상기 디폴트 공간 위치 관계를 사용하고 있음을 나타내는 데 사용되는 표시 정보를 인코딩하는 것은, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 상기 디폴트 공간 위치 관계와 동일한 경우, 디폴트 공간 위치 관계 표시 식별자를 제 1 값으로 설정하는 것과, 상기 제 1 값으로 설정된 상기 디폴트 공간 위치 관계 표시 식별자를 인코딩하는 것을 포함하는
인코딩 방법.
제 9 항 또는 제 10 항에 있어서,
인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하는 단계는,
상기 2 차원 파노라마 화상의 폭 및 높이를 획득하는 단계와, 상기 2 차원 파노라마 화상의 종횡비 및 종횡비와 공간 레이아웃 포맷 간의 사전 설정된 대응 테이블에 기초하여 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷을 결정하는 단계를 포함하는
인코딩 방법.
제 11 항에 있어서,
상기 방법은 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷의 인덱스를 획득하는 단계와, 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷의 인덱스를 인코딩하는 단계를 더 포함하는
인코딩 방법.
제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 디폴트 공간 위치 관계는 복수의 상이한 디폴트 공간 위치 관계를 포함하고, 이에 대응하여, 상기 인코딩 방법은, 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 디폴트 공간 위치 관계의 인덱스를 인코딩하는 단계를 더 포함하며, 상기 디폴트 공간 위치의 인덱스는, 상기 복수의 상이한 디폴트 공간 위치 관계 중 하나를 고유하게 나타내기 위해 사용되는
인코딩 방법.
제 9 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 인코딩 방법은, 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷과 동일한지 여부를 결정하는 단계를 더 포함하고,
이에 대응하여, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계는,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷과 동일한지 여부에 따라, 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷인 경우에, 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계라는 것을 결정하는 단계를 포함하는
인코딩 방법.
제 9 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 인코딩 방법은, 상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 디폴트 공간 레이아웃 포맷과 동일한지 여부를 결정하는 단계를 더 포함하고,
이에 대응하여, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계는,
상기 2 차원 파노라마 화상의 상기 적용 가능한 공간 레이아웃 포맷이 상기 디폴트 공간 레이아웃 포맷과 상이한 경우에, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 상기 디폴트 공간 위치 관계와 동일한지 여부를 결정하는 단계를 포함하는
인코딩 방법.
제 9 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 파노라마 화상 내의 상기 서브 화상들 간의 공간 위치 관계는, 상기 파노라마 화상 내의 서브 화상들의 배열 순서, 상기 파노라마 화상 내의 서브 화상들의 회전 각도, 또는 상기 파노라마 화상 내의 서브 화상들의 배열 순서 및 회전 각도를 포함하는
인코딩 방법.
디코딩 장치로서,
2 차원 파노라마 화상의 인코딩된 비트스트림을 수신하고, 상기 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷을 결정하도록 구성되는 공간 레이아웃 포맷 결정 유닛과,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계가 디폴트 공간 위치 관계인지의 여부를 결정하기 위해, 상기 비트스트림을 파싱하도록 구성되는 공간 위치 관계 결정 유닛과,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 디폴트 공간 위치 관계라면, 상기 적용 가능한 공간 레이아웃 포맷 및 상기 디폴트 공간 위치 관계에 기초하여 상기 2 차원 파노라마 화상의 상기 인코딩된 비트스트림을 디코딩하도록 구성되는 디코딩 유닛을 포함하는
디코딩 장치.
인코딩 장치로서,
인코딩될 2 차원 파노라마 화상의 적용 가능한 공간 레이아웃 포맷 및 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 서브 화상들 간의 공간 위치 관계를 결정하도록 구성되는 공간 레이아웃 포맷 및 공간 위치 관계 결정 유닛과,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 디폴트 공간 위치 관계와 동일한지 여부를 결정하도록 구성되는 판단 유닛과,
상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들 간의 상기 공간 위치 관계가 상기 적용 가능한 공간 레이아웃 포맷의 상기 디폴트 공간 위치 관계와 동일한 경우, 상기 적용 가능한 공간 레이아웃 포맷의 상기 2 차원 파노라마 화상 내의 상기 서브 화상들이 상기 디폴트 공간 위치 관계를 사용하고 있음을 나타내는 데 사용되는 표시 정보를 인코딩하고, 상기 적용 가능한 공간 레이아웃 포맷 및 상기 디폴트 공간 위치 관계에 기초하여 상기 2 차원 파노라마 화상 내의 상기 서브 화상들을 인코딩하여 인코딩된 비트스트림을 생성하도록 구성되는 인코딩 유닛을 포함하는
인코딩 장치.