KR102397574B1

KR102397574B1 - 3차원 이미지에 관한 데이터를 전송하기 위한 방법

Info

Publication number: KR102397574B1
Application number: KR1020170151519A
Authority: KR
Inventors: 에릭 입; 최병두; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2016-12-16
Filing date: 2017-11-14
Publication date: 2022-05-13
Also published as: CN110073657B; CN110073657A; WO2018110839A1; KR20180070460A

Abstract

디바이스에 의해 3D(3 dimensional) 이미지를 디스플레이하기 위한 방법이 제공된다. 상기 방법은, 상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하는 과정, 상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하는 과정, 및 상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하는 과정을 포함하고, 상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.

Description

3차원 이미지에 관한 데이터를 전송하기 위한 방법{METHOD AND APPARATUS FOR TRANSMITTING DATA RELATED TO 3 DIMENSIONAL IMAGE}

본 발명은 3-차원(3-dimensional, 3D) 이미지에 관한 데이터를 전송하기 위한 방법 및 장치에 관한 것으로서, 특히 3D 이미지의 특정한 일부의 영역에 대한 데이터를 선택적으로 전송하기 위한 방법 및 장치에 관한 것이다.

가상 현실(virtual reality: VR) 또는 증강 현실(augmented reality: AR)과 관련된 기술의 발달에 따라, VR 또는 AR을 제공할 수 있는 디바이스에서 디스플레이하기 위한 3D 이미지(또는 전방향(omnidirectional) 이미지)의 프로세싱 및 전송과 관련된 기술들 또한 향상되고 있다.

VR 디바이스 착용자에게 모든 방향들의 이미지를 제공하기 위해, 모든 방향들의 이미지에 관한 데이터를 포함하는 3D 이미지에 관한 데이터의 크기는 매우 클 수 있다. 따라서, 3D 이미지에 관한 데이터를 전송하는 것은 데이터의 크기로 인하여 전송 시스템에 대한 부하(load)를 가중시킬 수 있다. 특히, 3D 이미지에 관한 데이터의 크기는 실시간으로 3D 이미지를 제공하고자 하는 데 있어 큰 제약이 될 수 있다.

3D 이미지와 관련된 데이터의 전송량을 감소시키기 위해, 3D 이미지의 전부가 아니라 VR 디바이스에서 현재 디스플레이되고있는 영역 또는 디스플레이할 영역(즉, 뷰포트(viewport)에 관련된 3D 이미지의 일부 영역에 대한 데이터만을 전송하는 것이 고려될 수 있다. 그러나, 3D 이미지에 관한 데이터의 전송은 3D 이미지로부터 프로젝션된(projected) 2D 이미지에 기반하여 이루어지므로, 3D 이미지 상에서 식별되는 뷰포트에 대응하는 영역을 전송을 위한 2D 이미지 상에서 식별하고, 전송하기 위한 2D 이미지의 영역을 식별하는 것은 VR 시스템에 추가적인 부담을 제공할 수 있다.

이에 본 발명이 해결하고자 하는 과제는, 효율적으로 3D 이미지에 관한 데이터를 전송 또는 수신하기 위한 방법 및 장치를 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 3D 이미지로부터의 프로젝션에 기반한 2D 이미지 상에서 선택적으로 전송될 적어도 하나의 영역을 용이하게 식별하기 위한 방법 및 장치를 제공하고자 하는 것이다.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 디바이스에 의해 3D(3 dimensional) 이미지를 디스플레이하기 위한 방법은, 상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하는 과정, 상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하는 과정, 및 상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하는 과정을 포함하고, 상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.

본 발명의 다른 실시예에 따른 3D(3 dimensional) 이미지를 디스플레이하기 위한 디바이스는, 통신 인터페이스, 및 상기 통신 인터페이스와 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하고, 상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하고, 그리고 상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하도록 구성되고, 상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.

본 발명의 또 다른 실시예에 따른 서버에 의해 3D(3 dimensional) 이미지에 관한 데이터를 전송하기 위한 방법은, 디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하는 과정, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역을 식별하는 과정, 및 상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하는 과정을 포함하고, 상기 패킹된 2D 이미지는 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.

본 발명의 또 다른 실시예에 따른 3D(3 dimensional) 이미지에 관한 데이터를 전송하기 위한 서버는, 통신 인터페이스, 및 상기 통신 인터페이스에 연결된 프로세서를 포함하고, 상기 프로세서는, 디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하고, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역을 식별하고 그리고 상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하도록 구성되고, 상기 패킹된 2D 이미지는 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.

즉, 3D 이미지에 관한 데이터를 효율적으로 전송할 수 있다.

또한, 3D 이미지로부터의 프로젝션에 기반한 2D 이미지 상에서 선택적으로 전송될 적어도 하나의 영역을 용이하게 식별할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 전송하기 위한 송신기의 시스템을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 3D 이미지를 2이미지로 프로젝션하고, 프로젝션된 2D 이미지를 패킹하는 것을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신기의 시스템을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 복수의 영역들로 분할되는 3D 이미지 상의 뷰포트를 나타낸다.
도 5는 도 4의 3D 이미지로부터 ERP(equirectangular projection) 방식으로 프로젝션된 2D 이미지를 나타낸다.
도 6은 도 5의 ERP 2D 이미지로부터 패킹된(packed) 2D 이미지를 나타낸다.
도 7은 도 4의 3D 이미지로부터의 OHP(octahedron projection) 2D 이미지를 나타낸다.
도 8은 도 7의 OHP 프로젝션된 2D 이미지로부터 패킹된 2D 이미지를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 3D 이미지의 복수의 영역들의 그룹들을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 수신기의 동작을 나타낸 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다.
도 14는 구 형상의 3D 이미지 상의 특정 지점의 좌표를 나타내는 방법을 예시한다.
도 15는 본 발명의 일 실시예에 따른 수신기의 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.

도 1은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 전송하기 위한 송신기의 시스템을 나타낸다.

도 1은 본 발명의 일 실시예에 따른 송신기의 시스템을 도시한다. 송신기는 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다. 여기서 3D 이미지는 동적 이미지 및 정적 이미지 모두를 지칭할 수 있다. 송신기는 3D 이미지를 생성하거나 또는 수신할 수 있다 (110). 송신기는 여러 방향에서 촬영된 다수의 카메라들로부터의 이미지들을 이어붙여(stitching) 3D 이미지를 생성할 수 있다. 송신기는 이미 만들어진 3D 이미지에 관한 데이터를 외부로부터 수신할 수도 있다. 3D 이미지는 구(sphere), 육면체(cube), 원통, 또는 8면체(octahedron) 중 어느 하나의 형태로 렌더링될 수 있으나, 서술된 3D 이미지의 형태는 예시적인 것이 불과하며, 해당 기술분야에서 이용가능한 다양한 형태의 3D 이미지가 생성 또는 수신될 수 있다.

송신기는 3D 이미지를 2D 이미지로 프로젝션 할 수 있다 (120). 3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP(equirectangular projection), OHP(octahedron projection), 실린더 프로젝션, 큐브 프로젝션 및 해당 기술분야에서 이용가능한 다양한 프로젝션 방법들 중 어느 하나가 이용될 수 있다.

송신기는 프로젝션된 2D 이미지를 패킹(packing)할 수 있다(130). 패킹은 프로젝션된 2D 이미지를 구성하는 복수의 영역들 중 적어도 일부를, 변형 및/또는 재배치하여, 새로운 2D 이미지(즉, 패킹된 2D 이미지)를 생성하는 것을 의미할 수 있다. 여기서, 영역의 변형은 영역의 리사이징(resize), 형태 변환(transforming), 회전 및/또는 재-샘플링(re-sampling)(예를 들어, 업샘플링, 다운샘플링, 영역 내의 위치에 따른 차등 샘플링)등을 의미할 수 있다.

이하 도 2를 참고하여, 프로젝션(120) 및 패킹(130)에 대하여 보다 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른 3D 이미지를 2이미지로 프로젝션하고, 프로젝션된 2D 이미지를 패킹하는 것을 나타낸다. 도 2 에서 예시적인 3D 이미지(210)는 구 형상을 가질 수 있다. 3D 이미지(210)를 예시적인 ERP 방식에 의해 프로젝션하여, 프로젝션된 2D 이미지(220)가 생성될 수 있다. 프로젝션된 2D 이미지(220)는 복수의 영역들(221, 222, 223, 224)로 분할될 수 있다. 프로젝션된 2D 이미지(220)를 분할하는 방법은 실시예들에 따라 다양하게 변경될 수 있다.

프로젝션된 2D 이미지(220)로부터 패킹된 2D 이미지(230)가 생성될 수 있다. 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)을 변형 및 또는 재배치하는 것에 의해 패킹된 2D 이미지(230)가 생성될 수 있다. 패킹된 2D 이미지(230)의 복수의 영역들(231, 232, 233, 234) 각각은 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)에 순차적으로 대응될 수 있다. 도 2에 도시된 패킹된 2D 이미지(230)의 복수의 영역들(231, 232, 233, 234)에 대한 변형 및 재배치는 예시적인 것에 불과하며, 실시예들에 따라 다양한 변형 및 재배치가 수행될 수 있다.

다시 도 1을 참고하면, 송신기는 패킹된 2D 이미지를 인코딩할 수 있다 (240). 패킹된 2D 이미지는 복수의 영역들로 분할될 수 있다. 패킹된 2D 이미지의 복수의 영역들에 대하여 개별적으로 인코딩이 수행될 수 있다. 몇몇 실시예들에서, 패킹된 2D 이미지의 복수의 영역들 중 전송될 하나 이상의 영역에 대하여만 인코딩이 수행될 수도 있다. 몇몇 실시예들에서, 패킹된 2D 이미지의 복수의 영역들 중 둘 이상의 영역들에 대한 그룹 이미지에 대하여 인코딩이 수행될 수 있다. 몇몇 실시예들에서, 패킹된 2D 이미지 전체에 대하여 인코딩이 수행될 수 있다. 인코딩은 기존에 알려진 2D 이미지에 대한 인코딩 방식을 이용하여 수행될 수 있다.

송신기는 인코딩된 데이터를 캡슐화(encapsulation)할 수 있다 (150). 캡슐화는 인코딩된 데이터를 분할하고, 분할물들에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공하는 것을 의미할 수 있다. 송신기는 캡슐화된 데이터를 전송할 수 있다.

이하, 도 3을 참고하여 수신기에 대하여 설명하도록 한다. 도 3은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신기의 시스템을 나타낸다. 수신기는 VR 디바이스 또는 AR 디바이스일 수 있다. 수신기는 이외에도 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 지칭할 수 있다.

수신기는 송신기로부터 전송된 3D 이미지에 관한 데이터를 수신할 수 있다. 수신기는 수신된 데이터에 대하여 캡슐화 해제(decapsulation)를 수행할 수 있다 (310). 캡슐화 해제(310)를 통하여, 도 1에서의 인코딩(140)을 통해 생성된 인코딩된 데이터가 획득될 수 있다.

수신기는 캡슐화 해제(310)된 데이터에 대하여 디코딩을 수행할 수 있다 (320). 디코딩(320)을 통해 패킹된 2D 이미지가 복원될 수 있다.

수신기는 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대하여 패킹해제(unpacking)를 수행할 수 있다 (330). 패킹해제를 통해 도 1에서의 프로젝션(120)을 통해 생성된 2D 이미지가 복원될 수 있다. 패킹해제를 수행하는 것은 도 1에서의 패킹(130)에서 수행된 프로젝션된 2D 이미지의 복수의 영역에 대한 변형 및/또는 재배치의 역변환이 수행될 수 있다. 이를 위해 패킹(130)의 방법에 대하여 수신기는 알고 있을 필요가 있다. 패킹(130)의 방법은 수신기와 송신기 사이에 미리 정해져 있을 수 있다. 몇몇 실시예들에 의하면 송신기는 패킹(130)의 방법에 관한 정보를 메타데이터와 같은 별도의 메시지를 통해 수신기에 전달할 수 있다. 몇몇 실시예들에 의하면, 캡슐화(150)를 통해 생성된 전송 데이터는, 예를 들어 헤더 내부에, 패킹(130)의 방법에 관한 정보를 포함할 수도 있다.

수신기는 패킹해제된 2D 이미지를 3D 이미지로 프로젝션할 수 있다 (340). 수신기는 2D 이미지를 3D 이미지로 프로젝션하기 위해 도 1에서 2D 이미지로 프로젝션(120)하기 위해 사용된 프로젝션의 역의 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신기는 패킹해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.

수신기는 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이할 수 있다(350). 예를 들어, 수신기는 3D 이미지 중, 현재의 FOV(field of view)에 대응하는 데이터만을 추출하여 렌더링할 수 있다.

몇몇 실시예들에서, 3D 이미지에 관한 데이터의 전송에 대한 부담를 감소시키기 위하여 3D 이미지에 관한 데이터 중 3D 이미지의 일부에 대한 데이터만이 전송될 수 있다. 예를 들어, 송신기는 패킹된 2D 이미지를 복수의 영역들로 구분하고, 패킹된 2D 이미지의 복수의 영역들 중 수신기의 뷰포트(viewport)에 대한 데이터를 포함하는 하나 이상의 영역만을 전송할 수 있다. 여기서, 전송을 위해 구분되는 패킹된 2D 이미지의 복수의 영역들은, 패킹을 위해 구분되는 프로젝션된 2D 이미지의 복수의 영역들과는 무관하게 설정될 수 있다. 이러한 경우, 전송을 위해 구분되는 패킹된 2D 이미지의 복수의 영역들 중 3D 이미지 상의 뷰포트에 대응되는 영역을 식별하는 것은 수신기의 프로세서에 연산의 부담을 증가시킬 수 있으므로, 간편하게 뷰포트에 대응하는 3D 이미지 상의 영역을 식별하는 방법이 요구된다. 이하, 도 4 내지 도 6을 참고하여, 본 발명의 일 실시예에 따른 뷰포트에 대응하는 3D 이미지 상의 영역을 식별하는 방법에 대하여 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 복수의 영역들로 분할되는 3D 이미지 상의 뷰포트를 나타낸다. 예시적인 3D 이미지(400)는 구의 형태로 렌더링될 수 있다. 3D 이미지(400)는 복수의 영역들로 분할될 수 있다. 3D 이미지(400)의 복수의 영역들은 각각이 일정한 위도 각 범위와 일정한 경도 각 범위를 갖도록 분할될 수 있으나, 반드시 이에 한정되는 것은 아니다. 도 4의 예시에서 3D 이미지(400)의 복수의 영역들은 각각 45°의 경도 각 범위와, 30°의 위도 각 범위를 갖도록 설정되었다. 3D 이미지(400)의 복수의 영역들 각각에 대하여 인덱스가 설정될 수 있다. 복수의 영역들 각각에 대한 인덱스는 영역들에 의해 형성되는 매트릭스 내의 해당 영역의 행(x)과 열(y)에 따라 [x, y]와 같은 형태로 표시될 수 있으나 반드시 이에 한정되는 것은 아니다. 뷰포트(420)는 3D 이미지(400)의 복수의 영역들 중 제 1 영역 내지 제 6 영역(411, 412, 413, 414, 415, 416) 내에 위치할 수 있다. 3D 이미지(400)의 제 1 내지 제 6 영역의 인덱스는 순서대로 [0, 1], [1, 1], [2, 1], [0, 2], [1, 2], [2, 2]일 수 있다.

도 5는 도 4의 3D 이미지로부터의 ERP(equirectangular projection) 방식으로 프로젝션된 2D 이미지를 나타낸다. 프로젝션된 2D 이미지(500)는 3D 이미지(400)의 복수의 영역들에 대응되는 복수의 영역들로 구분될 수 있다. 도 4에서 설명한 바와 같이 3D 이미지(400)의 복수의 영역들이 동일한 위도 각 범위와 동일한 경도 각 범위를 갖는 경우, 3D 이미지(400)의 복수의 영역들에 대응하는 ERP 방식으로 프로젝션된 2D 이미지(500)의 복수의 영역들은 동일한 크기의 직사각형들일 수 있다. 프로젝션된 2D 이미지(500) 상의 뷰포트에 대응되는 영역(517)을 포함하는 복수의 영역들 중의 영역들(511, 512, 513, 514, 515, 516)은 3D 이미지(400)의 제 1 영역 내지 제 6 영역(411, 412, 413, 414, 415, 416)에 대응될 수 있다.

도 6은 도 5의 ERP 2D 이미지로부터 패킹된(packed) 2D 이미지를 나타낸다. 패킹된 2D 이미지(600)는 프로젝션된 2D 이미지(500)로부터 임의의 패킹 방식을 통해 생성될 수 있다. 패킹을 위해 구분되는 프로젝션된 2D 이미지(500)의 영역들이 도 5에 도시된 프로젝션된 2D 이미지(500)의 복수의 영역들과 동일할 필요는 없다. 패킹된 2D 이미지(600)는 전송을 위해 복수의 영역들로 분할될 수 있으며, 도 6에서는 패킹된 2D 이미지(600)가 8개의 영역들로 분할된 것이 예시되어 있다. 패킹된 2D 이미지(600)의 영역들 각각에는 인덱스가 할당될 수 있으며, 도 6의 예시에서는 영역들에 대하여 1 내지 8의 인덱스가 할당된다. 3D 이미지(400)의 뷰포트(420)를 포함하는 영역들(411, 412, 413, 414, 415, 416)에 대응하는 (즉, 프로젝션된 2D 이미지(500)의 영역들(511, 512, 513, 514, 515, 516)에 대응하는) 패킹된 2D 이미지(600)내의 영역들(611, 612, 613, 614, 615, 616)은 전송을 위해 분할된 영역들 중 인덱스 2, 7, 8을 갖는 영역들 (631, 632, 633) 내에 포함될 수 있다. 뷰포트(420)에 대응하는 패킹된 2D 이미지(600) 내의 영역들(620a, 620b) 또한 전송을 위해 분할된 영역들 중 인덱스 2, 7, 8을 갖는 영역들(631, 632, 633) 내에 포함될 수 있다. 따라서, 송신기는 패킹된 2D 이미지(600)의 복수의 영역들 중 인덱스 2, 7, 8을 갖는 영역들(631, 632, 633)에 대한 데이터를 전송함으로써, 수신기가 뷰포트(420)를 디스플레이하기 위해 필요한 데이터를 전송할 수 있다. 송신기 또는 수신기는 3D 이미지(400)의 복수의 영역들과 패킹된 2D 이미지(600)의 복수의 영역들 간의 관계에 대하여 알고 있을 수 있다. 이를 통해, 송신기 또는 수신기는 3D 이미지(400)의 복수의 영역의 각각 인덱스로부터 이에 대응하는 패킹된 2D 이미지(600)의 복수의 영역들 중의 영역을 복잡한 연산 없이 식별할 수 있다. 예를 들어, 표 1과 같은 룩-업 테이블(LUT)가 3D 이미지(400)의 영역에 대응되는 패킹된 2D 이미지(600)의 영역을 식별하기 위해 사용될 수 있다.

패킹된 2D 이미지(600)의 영역의 인덱스	3D 이미지의 영역의 인덱스
1	[4,0] [5,0] [6,0] [7,0], [4,1] [5,1] [6,1] [7,1]
2	[0,0] [1,0] [2,0] [3,0], [0,1] [1,1] [2,1] [3,1]
3	[4,4] [5,4] [6,4] [7,4], [4,5] [5,5] [6,5] [7,5]
4	[0,4] [1,4] [2,4] [3,4], [0,5] [1,5] [2,5] [3,5]
5	[4,2] [5,2] [4,3] [5,3]
6	[6,2] [7,2] [6,3] [7,3]
7	[0,2] [1,2] [0,3] [1,3]
8	[2,2] [3,2] [2,3] [3,3]

위와 같은 LUT를 통해, [0, 1], [1, 1], [2, 1], [0, 2], [1, 2], [2, 2]의 인덱스들을 갖는 3D 이미지(400) 상의 영역들(411, 412, 413, 414, 415, 416)에 대응되는 2, 7, 8의 인덱스들을 갖는 패킹된 2D 이미지(600) 상의 영역들(631, 632, 633)이 용이하게 식별될 수 있다.

이와 같이 인덱스를 이용하여 3D 이미지 상의 영역에 대응되는 패킹된 2D 이미지 상의 영역을 식별하는 것은 ERP 방식에 의해 3D 이미지가 2D 이미지로 프로젝션된 경우 뿐만 아니라, 다른 방식에 의해 프로젝션된 경우에도 유사하게 적용될 수 있다. 이하 도 7 및 도 8을 참고하여, OHP(octahedron projection) 방식을 이용하여 3D 이미지를 2D 이미지로 프로젝션한 경우의 실시예에 대하여 설명한다.

도 7은 도 4의 3D 이미지로부터의 OHP(octahedron projection) 2D 이미지를 나타낸다. OHP 프로젝션된 2D 이미지(700) 내의 영역들(711, 712, 713, 714, 715, 716)은 3D 이미지(400)의 뷰포트(420)를 포함하는 영역들(411, 412, 413, 414, 415, 416)에 대응될 수 있다. OHP 프로젝션된 2D 이미지(700) 내에 뷰포트(420)에 대응되는 영역(720a, 720b)은 OHP 프로젝션된 2D 이미지(700) 내의 영역들(711, 712, 713, 714, 715, 716)에 포함될 수 있다.

도 8은 도 7의 OHP 프로젝션된 2D 이미지로부터 패킹된 2D 이미지를 나타낸다. 패킹된 2D 이미지(800)는 도 7의 프로젝션된 2D 이미지(700)로부터 임의의 방식의 패킹을 통해 생성될 수 있다. 패킹된 2D 이미지(800)는 전송을 위해 복수의 영역들로 분할될 수 있으며, 예를 들어, 1 내지 4의 인덱스를 갖는 4개의 영역들로 분할될 수 있다. 패킹된 2D 이미지(800)의 영역들 중 2의 인덱스를 갖는 영역(831) 및 3의 인덱스를 갖는 영역(832) 내에 도 7의 프로젝션된 2D 이미지(700)의 영역들(711, 712, 713, 714, 715, 716)이 포함될 수 있다. 뷰포트(420)에 대응되는 영역은 패킹된 2D 이미지(800)의 영역들 중 2의 인덱스를 갖는 영역(831) 및 3의 인덱스를 갖는 영역(832) 내에 배치될 수 있다. 따라서, 송신기가 뷰포트(420)에 관한 데이터를 전송하기 위해 패킹된 2D 이미지(800)의 영역들 중 2의 인덱스를 갖는 영역(831) 및 3의 인덱스를 갖는 영역(832)에 대한 데이터를 전송할 수 있다. 앞서, 도 5 및 도 6에서와 유사하게, 송신기 또는 수신기는 3D 이미지(400)의 복수의 영역들과 패킹된 2D 이미지(800)의 영역들 간의 관계에 대하여 알고 있을 수 있으며, 이를 통해, 3D 이미지(400)의 영역의 인덱스로부터, 대응하는 패킹된 2D 이미지(800)의 영역을 식별할 수 있다. 표 1과 유사한 LUT가 3D 이미지(400)의 복수의 영역들과 패킹된 2D 이미지(800)의 영역들 간의 관계를 용이하게 식별하기 위해 이용될 수 있다.

몇몇 실시예들에서, 수신기는 3D 이미지의 복수의 영역들이 분할되는 방식에 대하여 알고 있을 필요가 있다. 송신기는 3D 이미지의 복수의 영역들의 분할 방법에 대하여 사전에 통지할 수 있다. 몇몇 실시예들에서, 3D 이미지의 복수의 영역들의 분할 방법에 대한 정보는 메타데이터로서 전송될 수 있다. 송신기는 다음과 같은 표 2의 예시적인 신택스(syntax)를 통하여 3D 이미지의 복수의 영역들을 분할하는 방법을 전송할 수 있다.

aligned(8) class SphericalTileCoordinatesSample(){

unsigned in(16) spherical_tile_groups;
for(i=1; i<= spherical_tile_groups; i++) {
unsigned int(16) spherical_tile_group_id
unsigned int(16) hor_active_range_start;
unsigned int(16) hor_active_range_end;
unsigned int(16) vert_active_range_start;
unsigned int(16) vert_active_range_end;
unsigned int(1) spherical_tiles_enabled_flag;
if( spherical_tiles_enabled_flag ) {
unsigned int(16) num_spherical_tile_columns;
unsigned int(16) num_spherical_tile_rows;
unsigned int(1) uniform_spacing_flag;
if( !uniform_spacing_flag ){
for(i=1; i<= num_spherical_tile_columns; i++) {
unsigned int(16) column_width_angle;
} for(i=1; i<= num_spherical_tile_rows; i++) {
unsigned int(16) row_height_angle;
}
}
}

표 2의 신택스에 대한 시맨틱스(semantics)는 다음과 같다.

spherical_tile_groups - 구(즉, 구 형상의 3D 이미지)의 표면이 분할되는 비디오 데이터를 포함하는 구 타일(tile)들(즉, 3D 이미지의 복수의 영역들)을 그룹화하는 그룹들의 수를 정의하는 파라미터

spherical_tile_group_id - 구의 표면이 분할되는 비디오 데이터를 포함하는 구 타일들을 그룹화하는 그룹의 식별자(ID)를 정의하는 파라미터

hor_active_range_start/end - θ(즉, 경도)에 의해 정의되는 방향에서, 시작(start) 및 종료(end) 각들에 의해 주어지는 구 타일들의 그룹의 수평 범위를 나타내는 파라미터

vert_active_range_start/end - φ(즉, 위도)에 의해 정의되는 방향에서, 시작(start) 및 종료(end) 각들에 의해 주어지는 구 타일들의 그룹의 수직 범위 범위를 나타내는 파라미터

spherical_tiles_enabled_flag - 시선 방향(view direction)이 구 타일들의 배열(arrangement)로 추가적으로 분할되는지 여부를 나타내는 플래그

num_spherical_tile_columns - 구 타일들의 그룹 내의 구 타일 열(column)들의 수를 특정하는 파라미터

num_spherical_tile_rows - 구 타일들의 그룹 내의 구 타일 행(row)들의 수를 특정하는 파라미터

uniform_spacing_flag - 1인 경우, 구 타일 행 경계들 및 구 타일 열 경계들이 화상(picture)에 걸쳐 균일하게 분포됨을 나타내고, 0인 경우, 구 타일 경계들이 column_width_angle 및 row_height_angle에 의해 정의됨을 나타내는 플래그

column_width_angle[i] - 구 타일들의 그룹에서 i-번째 구 타일 행의 폭(width)을, 도(degree)의 단위로서, θ(즉, 경도)에 의해 정의되는 방향에서 특정하는 파라미터

row_height_angle[i] - 구 타일들의 그룹에서 i-번째 구 타일 열의 높이(width)를, 도(degree)의 단위로서, φ(즉, 위도)에 의해 정의되는 방향에서 특정하는 파라미터

표 2의 신택스는 3D 이미지가 구의 형상인 경우의 예시이다. 또한, 표 2의 신택스는 3D 이미지의 영역들을 그룹화하여 통지되는 것을 예시한다. 도 9를 참고하여, 3D 이미지의 영역들을 그룹화하는 것에 대하여 설명하도록 한다. 도 9는 본 발명의 일 실시예에 따른 3D 이미지의 복수의 영역들의 그룹들을 나타낸다. 도 9를 참고하면, 3D 이미지(900) 상의 복수의 영역들은 4개의 그룹들(910, 920, 930, 940)로 구분될 수 있다. 3D 이미지(900)의 그룹(910, 920, 930, 940)들 각각에 대응하는 영역은 180도의 경도 각 범위와, 90도의 위도 각 범위를 갖도록 설정될 수 있다. 도 4의 3D 이미지(400)와 같은 방식으로 3D 이미지(400)가 복수의 영역들로 분할되는 경우, . 3D 이미지(900)의 그룹(910, 920, 930, 940)들 각각에는 12개의 영역들이 포함될 수 있다.

몇몇 실시예들에서, 3D 이미지의 복수의 영역들을 분할하는 방법은 복수의 영역들을 그룹화하지 않고, 복수의 영역들 각각에 대한 정보들의 집합으로서 표현될 수도 있다.

도 10은 본 발명의 일 실시예에 따른 수신기의 동작을 나타낸 흐름도이다. 도 10을 참고하면, 수신기는 뷰포트에 관한 정보를 서버로 전송할 수 있다 (1010). 뷰포트에 관한 정보는 3D 이미지 상의 뷰포트의 배치를 직접적으로 나타내는 정보, 3D 이미지의 복수의 영역들 중 뷰포트를 포함하는 적어도 하나의 영역 각각의 인덱스를 포함하는 정보, 또는 패킹된 2D 이미지의 복수의 영역들 중 3D 이미지의 복수의 영역들 중 뷰포트를 포함하는 적어도 하나의 영역에 대응하는 패킹된 2D 이미지의 적어도 하나의 영역 각각의 인덱스를 포함하는 정보일 수 있다.

수신기는 서버로부터 패킹된 2D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 영역에 대응하는 데이터를 수신할 수 있다 (1020).

수신기는 수신된 데이터에 기초하여 3D 이미지를 디스플레이 할 수 있다 (1030). 수신기는 3D 이미지 중 뷰포트에 대응하는 영역만을 디스플레이 할 수 있다.

이하 도 11 내지 13을 참고하여, 다양한 실시예들에 따른 수신기와 송신기의 동작에 대하여 설명하도록 한다.

도 11은 본 발명의 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다. 디바이스(1110) 및 서버(1120)는 앞서 언급된 수신기 및 송신기에 각각 대응될 수 있다. 도 11의 실시예에서, 디바이스(1110)는 3D 이미지의 복수의 영역들의 인덱스들과 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 대한 정보를 알고 있을 수 있다.

서버(1120)는 디바이스(1110)로 영역 분할 정보를 전송할 수 있다 (1130). 영역 분할 정보는 3D 이미지의 복수의 영역들이 분할되는 방법 및 복수의 영역들에 대한 인덱스들에 대한 정보를 포함할 수 있다. 영역 분할 정보는 표 2에서의 신택스와 같은 형태로 전송될 수 있다.

서버(1120)는 디바이스(1110)로 3D 이미지의 복수의 영역들의 인덱스들과 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 대한 정보를 포함하는 LUT를 전송할 수 있다 (1140). 몇몇 실시예들에 의하면, 3D 이미지의 복수의 영역들의 인덱스들과 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 대한 정보는 LUT 이외의 형태로 전송될 수도 있다. 몇몇 실시예들에 의하면, 디바이스(1110)는 서버(1120) 이외의 다른 서버 또는 다른 디바이스로부터 LUT를 수신할 수도 있다. LUT에 대한 정보는 메타데이터로서 전달될 수 있다. LUT에 대한 정보는 표 3에 나타난 예시적인 신택스로 표현될 수 있다.

unsigned int(16) num_hevc_tiles;
for(i=1; i<= num_hevc_tiles; i++) {
unsigned int(16) hevc_tile_column_index;
unsigned int(16) hevc_tile_row_index;
unsigned int(16) num_spherical_tiles;
for(i=1; i<=num_spherical_tiles; i++) {
unsigned int(16) spherical_tile_column_index;
unsigned int(16) spherical_tile_row_index;
}
}

표 3의 신택스의 파라미터들에 대한 시맨틱스는 다음과 같다.

num_hevc_tiles - 화상이 인코딩되는 HEVC(high efficiency video coding) 타일들(즉, 프로젝션된 2D 이미지의 복수의 영역들)의 수를 나타내는 파라미터

hevc_tile_column_index - 특정한 HEVC 타일의 행의 인덱스를 나타내는 파라미터

hevc_tile_row_index - 특정한 HEVC 타일의 열의 인댁스를 나타내는 파라미터

num_spehrical_tiles - HEVC 타일 내의 비디오 데이터에 기여하는 구(spherical) 타일들의 수를 특정하는 파라미터 (즉, 특정한 HEVC 타일과 연관되는 구 타일들의 수를 특정하는 파라미터)

spherical_tile_column_index - HEVC 타일과 연관되는 특정한 구 타일의 행의 인덱스를 나타내는 파라미터

spherical_tile_row_index - HEVC 타일과 연관되는 특정한 구 타일의 열의 인덱스를 나타내는 파라미터

디바이스(1110)는 3D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 제 1 영역을 식별할 수 있다 (1140). 도 4의 예시의 경우, 적어도 하나의 제 1 영역으로서 영역들(411, 412, 413, 414, 415, 416)이 식별될 수 있다.

디바이스(1110)는 LUT에 기초하여 패킹된 2D 이미지의 복수의 영역들 중 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 2 영역 각각의 인덱스를 식별할 수 있다 (1145). 도 6의 예시의 경우, 적어도 하나의 제 2 영역 각각의 인덱스로서, 2, 7, 8이 식별될 수 있다.

디바이스(1110)는 적어도 하나의 제 2 영역 각각의 인덱스를 포함하는 뷰포트에 관한 정보를 서버(1120)로 전송할 수 있다.

서버(1120)는 적어도 하나의 제 2 영역 각각의 인덱스에 기초하여 적어도 하나의 제 2 영역을 식별할 수 있다. 그에 따라 서버(1120) 적어도 하나의 제 2 영역에 대한 데이터를 디바이스(1110)로 전송할 수 있다.

디바이스(1110)는 수신된 적어도 하나의 제 2 영역에 대한 데이터에 기초하여, 3D 이미지의 적어도 일부(즉, 뷰포트)를 디스플레이할 수 있다.

도 12는 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다. 도 12의 실시예에서 디바이스(1210)는 3D 이미지의 복수의 영역들이 분할되는 방법 및 복수의 영역들에 대한 인덱스들에 대한 정보를 알고 있을 수 있다.

서버(1220)는 디바이스(1210)로 영역 분할 정보(1230)를 전송할 수 있다. 영역 분할 정보는 3D 이미지의 복수의 영역들이 분할되는 방법 및 복수의 영역들에 대한 인덱스들에 대한 정보를 포함할 수 있다. 영역 분할 정보는 표 2에서의 신택스와 같은 형태로 전송될 수 있다.

디바이스(1210)는 3D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 제 1 영역을 식별할 수 있다 (1235).

디바이스(1210)는 적어도 하나의 제 1 영역 각각의 인덱스를 포함하는 뷰포트에 관한 정보를 서버(1220)로 전송할 수 있다. 적어도 하나의 제 1 영역 각각의 인덱스는 영역 분할 정보에 기초하여 식별될 수 있다.

서버(1220)는 LUT에 기초하여 적어도 하나의 제 1 영역 각각의 인덱스로부터, 패킹된 2D 이미지의 복수의 영역들 중 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 2 영역을 식별할 수 있다 (1245). 여기서, LUT는 3D 이미지의 복수의 영역들의 인덱스들와 패킹된 2D 이미지의 인덱스들과의 관계를 나타내는 정보의 일 형태이며, 몇몇 실시예들에서 이러한 정보가 LUT의 형태를 갖지 않을 수도 있다.

서버(1220)는 식별된 적어도 하나의 제 2 영역에 대한 데이터를 디바이스(1210)로 전송할 수 있다(1250).

디바이스(1210)는 수신된 데이터에 기초하여 3D 이미지를 디스플레이할 수 있다(1255).

도 13은 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다. 도 13의 실시예에서, 디바이스(1310)는 영역 분할 정보 및 LUT에 대한 정보를 획득하지 못할 수 있다.

디바이스(1310)는 3D 이미지 상의 뷰포트의 배치에 관한 정보를 서버(1320)로 전송할 수 있다. 뷰포트의 배치에 관한 정보는 3D 이미지 상에서 뷰포트가 배치되는 위치 및 영역을 직접적으로 나타낼 수 있다. 예를 들어, 3D 이미지가 구의 형태를 갖는 경우, 구의 표면상의 좌표를 이용하여 뷰포트의 배치에 관한 정보가 표현될 수 있다. 구 형상의 3D 이미지 상의 특정 지점의 좌표를 나타내는 방법을 예시하는 도 14를 참고하면, 3차원 좌표계에서 구 표면 상의 점(P)의 위치는 구의 반지름(r), 위도(θ), 및 경도(φ)의 값들로 표현될 수 있다. 구 형태의 3D 이미지의 반지름(r)은 서버(1320)와 디바이스(1310) 사이에 이미 알려져 있으므로, 디바이스(1310)는 위도(θ) 및 경도(φ)의 값들을 통하여 3D 이미지의 상의 특정한 지점을 서버에게 통지할 수 있다. 디바이스(1310)는 뷰포트의 배치를 표현하기 위해 다양한 방법들을 사용할 수 있다. 몇몇 실시예들에서, 디바이스(1310)는 뷰포트의 모서리들의 좌표들을 통해 뷰포트의 배치를 표현할 수 있다. 몇몇 실시예들에서, 디바이스(1310)는 뷰포트의 모서리들의 좌표들과 뷰포트의 모서리들 사이의 뷰포트의 경계 상의 지점들의 좌표들을 이용하여 뷰포트의 배치를 표현할 수 있다. 몇몇 실시예들에서, 디바이스(1310)는 뷰포트의 중심의 좌표와 뷰포트의 중심을 기반으로 한 뷰표트의 회전을 나타내는 값과, 구의 중심으로부터의 뷰포트의 각 범위들(예를 들어, 뷰포트의 회전을 나타내는 값에 기초한 수직 각 범위 및 수평 각 범위)을 나타내는 값들을 이용하여 뷰포트의 배치를 표현할 수 있다. 상술한 뷰포트의 배치를 표현하는 방법들은 예시적인 것에 불과하며, 디바이스(1310)는 다양한 방법들을 이용하여 3D 이미지 상의 뷰포트의 배치를 표현할 수 있다.

다시 도 13을 참고하면, 서버(1320)는 뷰포트의 배치에 관한 정보에 기초하여, 3D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 제 1 영역을 식별할 수 있다 (1330). 서버는 적어도 하나의 제 1 영역을 식별하기 위해 앞서 도 11 및 도 12와 관련하여 설명된 영역 분할 정보를 이용할 수 있다.

서버(1320)는 LUT에 기초하여 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 2 영역을 식별할 수 있다 (1335). 즉, 서버(1320)는 적어도 하나의 제 1 영역 각각의 식별자에 대응하는 적어도 하나의 제 2 영역 각각의 식별자를 LUT로부터 획득하는 것에 의해, 적어도 하나의 제 2 영역을 식별할 수 있다.

서버(1320)는 식별된 적어도 하나의 제 2 영역에 대한 데이터를 디바이스(1310)로 전송할 수 있다 (1340).

디바이스(1310)는 수신된 데이터에 기초하여 3D 이미지를 디스플레이할 수 있다(1345).

이하 도 15를 참고하여, 수신기의 구조에 대하여 설명하도록 한다. 도 15는 본 발명의 일 실시예에 따른 수신기의 블록도이다. 수신기(1500)는 메모리, 통신 인터페이스(1520) 및 프로세서(1530)를 포함할 수 있다. 수신기(1500)는 앞서 실시예들을 통해 설명된 수신기(즉, 디바이스)의 동작들을 수행하도록 구성될 수 있다. 프로세서(1530)는 메모리(1510) 및 통신 인터페이스(1520)에 통신 가능하게, 그리고 전기적으로 연결될 수 있다. 통신 인터페이스(1520)를 통해 수신기(1500)는 데이터를 송신하고 그리고 수신할 수 있다. 메모리(1510)에는 수신기(1500)의 동작을 위한 정보들이 저장될 수 있다. 프로세서(1530)를 제어하기 위한 명령들 또는 코드들이 메모리(1510)에 저장될 수 있다. 추가적으로, 프로세서(1530)의 연산을 위해 필요한 일시적 또는 지속적 데이터들이 메모리(1510)에 저장될 수 있다. 프로세서(1530)는 하나의 프로세서일 수 있으며, 몇몇 실시예들에 따르면, 기능들에 따라 구분된 복수의 프로세서들의 집합을 의미할 수도 있다. 프로세서(1530)는 수신기(1500)의 동작을 제어하도록 구성될 수 있다. 앞서 설명된 수신기(1500)의 동작들은 실질적으로 프로세서(3530)에 의해 처리되고 실행될 수 있다. 비록 데이터를 송신하고 수신하는 것이 통신 인테페이스(1520)를 통해 이루어지고, 데이터 및 명령들을 저장하는 것이 메모리(1510)에 의해 수행되더라도, 통신 인터페이스(1520) 및 메모리(1510)의 동작들은 프로세서(1530)에 의해 제어될 수 있으므로, 데이터를 송신 및 수신하는 것 및 명령들을 저장하는 것 또한 프로세서(1530)에 의해 수행되는 것으로 간주될 수 있다. 도시되지는 않았으나, 수신기(1530)는 3D 이미지를 디스플레이하기 위한 디스플레이 장치를 더 포함할 수 있다.

송신기 또한, 수신기(1530)과 유사하게 메모리, 통신 인터페이스 및 프로세서를 포함할 수 있다 송신기의 메모리, 통신 인터페이스 및 프로세서에 대한 설명은 수신기(1530)의 대응하는 엘리먼트들에 대한 설명과 유사하다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims

디바이스에 의해 3D(3-dimensional) 이미지를 디스플레이하기 위한 방법으로서,
서버로부터, 패킹된 2D(2-dimensional) 이미지의 복수의 영역들의 인덱스들과 상기 3D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 대한 정보를 수신하는 단계;
상기 3D 이미지의 복수의 영역들 중 상기 디바이스의 뷰포트에 대응하는 적어도 하나의 제 1 영역에 대응하는 상기 패킹된 2D 이미지의 복수의 영역들 중 적어도 하나의 제 2 영역 각각의 인덱스를, 상기 적어도 하나의 제 1 영역 각각의 인덱스, 및 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들과 상기 3D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 대한 정보에 기초하여 식별하는 단계;
상기 적어도 하나의 제 2 영역 각각의 인덱스를 포함하는 상기 디바이스의 뷰포트에 관한 정보를 상기 서버로 전송하는 단계;
상기 뷰포트에 관한 정보를 전송하는 것에 응답하여, 상기 서버로부터, 상기 패킹된 2D 이미지 중 상기 적어도 하나의 제 2 영역에 대한 데이터를 수신하는 단계; 및
상기 수신된 데이터에 기초하여 상기 3D 이미지를 디스플레이하는 단계를 포함하고,
상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되는,
디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 3D 이미지의 복수의 영역들의 인덱스들과 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 관한 정보는 룩-업 테이블(LUT)의 형식을 갖는,
디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
제 2 항에 있어서,
상기 3D 이미지의 복수의 영역들 중 상기 적어도 하나의 제 1영역을 식별하는 단계; 및
상기 LUT에 기초하여 상기 적어도 하나의 제 1 영역 각각의 인덱스에 대응하는 상기 적어도 하나의 제 2 영역 각각의 인덱스를 식별하는 단계를 더 포함하는,
디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
3D(3-dimensional) 이미지를 디스플레이하기 위한 디바이스로서,
통신 인터페이스; 및
상기 통신 인터페이스와 연결된 프로세서를 포함하고,
상기 프로세서는:
서버로부터, 패킹된 2D(2-dimensional) 이미지의 복수의 영역들의 인덱스들과 상기 3D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 대한 정보를 수신하고;
상기 3D 이미지의 복수의 영역들 중 상기 디바이스의 뷰포트에 대응하는 적어도 하나의 제 1 영역에 대응하는 상기 패킹된 2D 이미지의 복수의 영역들 중 적어도 하나의 제 2 영역 각각의 인덱스를, 상기 적어도 하나의 제 1 영역 각각의 인덱스, 및 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들과 상기 3D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 대한 정보에 기초하여 식별하고;
상기 적어도 하나의 제 2 영역 각각의 인덱스를 포함하는 상기 디바이스의 뷰포트에 관한 정보를 상기 서버로 전송하고;
상기 뷰포트에 관한 정보를 전송하는 것에 응답하여, 상기 패킹된 2D 이미지 중 상기 적어도 하나의 제 2 영역에 대한 데이터를 수신하고; 그리고
상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하도록 구성되고,
상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되는,
3D 이미지를 디스플레이하기 위한 디바이스.
제 4 항에 있어서,
상기 3D 이미지의 복수의 영역들의 인덱스들과 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 관한 정보는 룩-업 테이블(LUT)의 형식을 갖는,
3D 이미지를 디스플레이하기 위한 디바이스.
제 5 항에 있어서,
상기 프로세서는:
상기 3D 이미지의 복수의 영역들 중 상기 적어도 하나의 제 1영역을 식별하고; 그리고
상기 LUT에 기초하여 상기 적어도 하나의 제 1 영역 각각의 인덱스에 대응하는 상기 적어도 하나의 제 2 영역 각각의 인덱스를 식별하도록 추가로 구성되는,
3D 이미지를 디스플레이하기 위한 디바이스.
서버에 의해 3D(3-dimensional) 이미지에 관한 데이터를 전송하기 위한 방법으로서,
상기 3D 이미지를 프로젝션하여 2D(2-dimensional) 이미지를 생성하는 단계;
상기 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하여 패킹된 2D 이미지를 생성하는 단계;
디바이스로, 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들과 상기 3D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 대한 정보를 전송하는 단계;
상기 디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하는 단계 ― 상기 뷰포트에 관한 정보는 상기 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역 각각의 인덱스를 포함함 ― ; 및
상기 패킹된 2D 이미지 중 상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하는 단계를 포함하고,
상기 적어도 하나의 제 2 영역 각각의 인덱스는, 상기 디바이스에 의해, 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스, 및 상기 3D 이미지의 복수의 영역들의 인덱스들과 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 관한 정보에 기초하여 식별되는,
서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
제 7 항에 있어서,
상기 3D 이미지의 복수의 영역들의 인덱스들과 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 관한 정보는 룩-업 테이블(LUT)의 형식을 갖는,
서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
3D(3-dimensional) 이미지에 관한 데이터를 전송하기 위한 서버로서,
통신 인터페이스; 및
상기 통신 인터페이스에 연결된 프로세서를 포함하고,
상기 프로세서는:
상기 3D 이미지를 프로젝션하여 2D(2-dimensional) 이미지를 생성하고;
상기 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하여 패킹된 2D 이미지를 생성하고;
디바이스로, 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들과 상기 3D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 대한 정보를 전송하고;
상기 디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하고 ― 상기 뷰포트에 관한 정보는 상기 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역 각각의 인덱스를 포함함 ― ; 그리고
상기 패킹된 2D 이미지 중 상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하도록 구성되고,
상기 적어도 하나의 제 2 영역 각각의 인덱스는, 상기 디바이스에 의해, 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스, 및 상기 3D 이미지의 복수의 영역들의 인덱스들과 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 관한 정보에 기초하여 식별되는,
3D 이미지에 관한 데이터를 전송하기 위한 서버.
제 9 항에 있어서,
상기 3D 이미지의 복수의 영역들의 인덱스들과 상기 패킹된 2D 이미지의 복수의 영역들의 인덱스들 사이의 관계에 관한 정보는 룩-업 테이블(LUT)의 형식을 갖는,
3D 이미지에 관한 데이터를 전송하기 위한 서버.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제