KR102538939B1

KR102538939B1 - 텍스처 맵들 및 메시들에 기초한 3d 이미지 정보의 처리

Info

Publication number: KR102538939B1
Application number: KR1020207002012A
Authority: KR
Inventors: 크리스티안 바레캄프; 바르트 크룬; 파트릭크 루크 엘스 반데발레
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2017-06-23
Filing date: 2018-06-19
Publication date: 2023-06-01
Also published as: US11189079B2; EP3419286A1; CN110999285A; TW201921921A; JP7181233B2; CN110999285B; WO2018234258A1; EP3643059A1; TWI800513B; RU2764187C2; KR20200020879A; JP2020524851A; RU2020102462A3; EP3643059B1; US20210150802A1; BR112019027116A2; RU2020102462A

Abstract

장치가 상이한 시점들로부터의 장면을 표현하는 3D 이미지들을 포함하는 이미지 신호를 수신하는 수신기(201)를 포함한다. 각각의 3D 이미지는 메시 및 텍스처 맵을 포함한다. 신호는 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하는 잔차 데이터 텍스처 맵을 추가로 포함한다. 메시 프로세서(203)가 제1 시점에 대한 제1 메시를 생성하고 제1 텍스처 프로세서(205)가 제1 시점으로의 참조 텍스처 맵의 시점 변환에 응답하여 중간 텍스처 맵을 생성한다. 제2 텍스처 프로세서(207)가 중간 텍스처 맵과 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 텍스처 맵을 생성하고, 이미지 생성기(209)가 제1 텍스처 맵 및 제1 메시로부터 제2 시점에 대한 이미지를 생성한다.

Description

텍스처 맵들 및 메시들에 기초한 3D 이미지 정보의 처리

본 발명은 텍스처 맵들(texture maps) 및 메시들(meshes)을 사용한 3차원 이미지 데이터/정보의 표현에 관한 것으로, 특히, 텍스처 맵 및 메시에 의해 각각 표현된 다수의 3차원 이미지들을 포함하는 이미지 신호의 생성, 인코딩, 및 처리에 관한 것이지만, 이에 한정되지는 않는다.

전통적으로, 이미지들의 기술적 처리 및 사용은 2차원 이미징에 기초했지만, 점점 더 이미지 처리에서 3차원이 명백하게 고려되고 있다.

예를 들어, 관찰되는 장면의 상이한 뷰들(views)을 관찰자의 두 눈에 제공함으로써 관찰 경험에 제3 차원을 추가하는 3차원(3D) 디스플레이들이 개발되었다. 이는 표시되는 2개의 뷰를 분리하기 위한 안경을 사용자가 착용하게 함으로써 달성될 수 있다. 그러나, 이는 사용자에게 불편한 것으로 간주될 수 있기 때문에, (렌티큘러 렌즈들(lenticular lenses) 또는 배리어들(barriers)과 같은) 디스플레이에 있는 수단을 사용하여 뷰들을 분리하고, 그들이 개별적으로 사용자의 눈들에 도달할 수 있는 상이한 방향들로 그들을 전송하는 무안경 입체 디스플레이들(autostereoscopic displays)을 사용하는 것이 많은 시나리오에서 바람직하다. 입체 디스플레이들의 경우 2개의 뷰가 요구되는 반면, 무안경 입체 디스플레이들은 전형적으로 더 많은 뷰(이를테면 예를 들어 9개의 뷰)를 필요로 한다.

일부 상황 및 시스템에서는, 3D 장면들을 표현하기 위해 3D 모델들이 사용되는데, 이 모델들은 적절한 뷰 이미지들을 생성하기 위해 평가된다. 전통적인 3D 모델들의 대안으로서 또는 3D 모델들에 대한 추가로서 장면의 깊이 표현을 갖는 다중-뷰(multi-view)가 사용될 수 있다. 이 포맷은 전형적으로 다수의 스테레오 카메라로 장면을 캡처한 것에 기인한다. 상이한 위치들에서 촬영된 관련된 깊이 맵들을 갖는 다수의 카메라 이미지가 주어지면, 깊이 이미지 기반 렌더링을 사용하여 새로운 가상 뷰 이미지가 합성될 수 있다. 이는 관찰자가 자신의 시점(viewpoint)을 어느 정도까지 변경할 수 있는 캡처된 이미지들 또는 비디오의 가상 현실 재생을 가능하게 한다.

3차원 장면들에 기초한 그래픽 애플리케이션들이 구체적으로 컴퓨터 그래픽 애플리케이션들과 같은 많은 애플리케이션에서 널리 퍼지게 되었다. 고속 3차원 그래픽 처리를 지원하기 위해, 다수의 표준과 사양이 개발되었다. 이는 시점 시프트(viewpoint shifting)와 같은 많은 표준 동작을 위한 표준화된 기능들 및 루틴들을 제공할 수 있기 때문에 더 빠른 설계 및 구현을 제공할 뿐만 아니라, 전용 하드웨어 그래픽 엔진들이 개발되고 이러한 루틴들에 최적화될 수 있게 한다. 실제로, 많은 컴퓨터의 경우, 그래픽 처리 유닛(GPU)은 요즘에는 종종 적어도 중앙 처리 유닛(CPU)만큼 강력하고 중요할 수 있다.

고속 그래픽 처리를 지원하기 위한 표준의 예는 그래픽 처리를 지원하는 다수의 기능을 가진 애플리컨트 프로그래밍 인터페이스(API)를 제공하는 OpenGL 사양이다. 이 사양은 전형적으로 특정 루틴들이 GPU 형태의 전용 가속 하드웨어에 의해 구현되는 하드웨어 가속 그래픽 처리를 제공하는 데 사용된다.

대부분의 그러한 그래픽 사양에서, 장면의 표현은 텍스처 맵과 3차원 메시의 조합에 의한다. 실제로, 많은 시나리오에서 특히 효과적인 접근법은 다각형들의 세트가 3차원 위치들에 의해 주어진 다각형들의 공통 에지들 또는 코너들(정점들(vertices))에 의해 연결되는 다각형 메시에 의해 이미지 객체들을 또는 실제로 장면 전체를 표현하는 것이다. 조합된 3차원 다각형 메시는 이에 따라, 아마도 전체 이미지의 3차원 설명을 포함한 3차원 객체들의 효과적인 모델을 제공한다. 다각형 메시는 종종 3D 공간에 주어진 공통 코너들을 갖는 삼각형들에 의해 형성되는 삼각형 메시이다.

실제로, 깊이 맵들이 이에 따라 종종 3D 메시로 변환된다. 3D 메시는 대부분의 하드웨어 드라이버들에 의해 지원되는(예를 들어, OpenGL에 기초) 잘 알려진 그래픽 포맷이다.

예로서, 스테레오 카메라는 주어진 시점으로부터 장면의 이미지를 녹화할 수 있다. 각각의 픽셀에 대해, 픽셀에 의해 표현된 객체까지의 거리를 추정하기 위해 디스패리티 추정(disparity estimation)이 수행될 수 있다. 이는 각각의 픽셀에 대해 수행되며 이에 의해 각각의 픽셀에 대한 x, y, z의 3차원 위치를 제공할 수 있다. 이러한 위치들은 이어서 2x2 픽셀들의 각각의 그룹에 대해 2개의 삼각형이 형성되는 삼각형 메시에 대한 정점들로서 사용될 수 있다. 이는 많은 수의 삼각형을 야기할 수 있기 때문에, 프로세스는 일부 초기 삼각형들을 더 큰 삼각형들로(또는 일부 시나리오에서는 더 일반적으로 더 큰 다각형들로) 조합하는 것을 포함할 수 있다. 이는 삼각형들의 수를 감소시키지만 또한 메시의 공간 해상도를 감소시킬 것이다. 따라서, 메시의 입도는 전형적으로 깊이 변화들에 의존하고 더 평평한 영역들에서는 더 큰 다각형들이 주로 발생한다.

각각의 정점은 추가로 텍스처 맵의 광 강도 값과 관련된다. 텍스처 맵은 본질적으로 정점에 대한 픽셀 위치에서의 객체에 대한 장면에서 광/컬러 강도를 제공한다. 전형적으로, 광 강도 이미지/텍스처 맵이 메시와 함께 제공되며, 각각의 정점은 그 정점의 x, y, z 위치를 표현하는 데이터 및 텍스처 맵 내의 링크된 위치를 식별하는 u,v 데이터를 포함하는데, 즉 그것은 텍스처 맵에서 캡처된 바와 같은 x, y, z 위치에서의 광 강도를 가리킨다.

그러한 표현들에서, 다각형 메시는 객체들의 3차원 기하학적 구조의 정보를 제공하는 데 사용되는 반면, 텍스처는 전형적으로 별도의 데이터 구조로서 제공된다. 구체적으로, 텍스처는 종종 처리 알고리즘에 의해 3차원 기하학적 구조 상에 오버레이될 수 있는 별도의 2차원 맵으로서 제공된다.

삼각형 메시들의 사용은 컴퓨터 그래픽 알고리즘들에 의한 처리 및 조작에 특히 적합하며, 많은 효율적인 소프트웨어 및 하드웨어 솔루션이 개발되었으며 시장에서 입수 가능하다. 각각의 다각형을 개별적으로 처리하기보다는 복수의 다각형에 대해 공통적으로 개별 정점들을 처리하는 알고리즘에 의해 많은 시스템에서 상당한 계산 효율이 달성된다. 예를 들어, 전형적인 삼각형 메시의 경우, 개별 정점은 종종 여러 개(종종 3개 내지 8개)의 삼각형에 공통이다. 단일 정점의 처리는 이에 따라 비교적 많은 수의 삼각형에 적용 가능할 수 있으며, 이에 의해 처리되는 이미지 또는 다른 객체 내의 점들의 수를 상당히 감소시킬 수 있다.

특정 예로서, 많은 현재의 시스템 온 칩(SoC)은 3D 그래픽의 처리에 고도로 최적화된 GPU를 포함한다. 예를 들어, 3D 객체 기하학적 구조 및 3D 객체 텍스처의 처리는 소위 OpenGL 렌더링 파이프라인(또는 DirectX와 같은 많은 다른 API)에서 2개의 크게 분리된 경로를 사용하여 수행된다. SoC 상의 GPU의 하드웨어는 3D 소스가 (전형적으로 삼각형들의) 정점들 및 텍스처들의 형태로 GPU에 제공되는 한 3D 그래픽을 효율적으로 처리할 수 있다. 이어서, OpenGL 애플리케이션 인터페이스는 3D 객체들이 2D 스크린 상에 투영될 때 어떻게 보이는지를 결정하는 가상 원근 카메라의 설정 및 제어를 가능하게 한다. OpenGL은 3D 객체들을 입력으로서 사용하지만, 출력은 전형적으로 통상의 2D 디스플레이에 적합한 2D 이미지이다.

그러나, 그러한 접근법들은 다각형 메시 및 관련된 텍스처 정보에 의해 3차원 정보가 제공될 것을 요구한다. 이는 예를 들어 완전히 컴퓨터로 생성된 가상 장면들 및 환경들에 기초한 게임들과 같은 일부 애플리케이션들에서는 제공하기가 비교적 용이할 수 있지만, 그것은 다른 실시예에서는 덜 용이할 수 있다. 특히, 실제 장면들을 캡처하는 것에 기초하는 애플리케이션들에서는, 그것은 이들이 텍스처 및 메시 표현으로 변환될 것을 요구한다. 이는, 앞서 언급된 바와 같이, 스테레오 이미지들에 또는 장면의 이미지 및 깊이 표현에 기초할 수 있다.

그래픽 처리에서 공통의 동작은 입력 텍스처 맵 및 메시의 시점과는 상이한 시점에 대해 이미지가 생성되는 시점 변화들이다. 그래픽 API는 전형적으로 그러한 시점 변환들(viewpoint transformations)을 효율적으로 수행하기 위한 기능들을 갖는다. 그러나, 입력 메시는 전형적으로 완벽하지 않기 때문에, 그러한 시점 변환들은 시프트가 너무 현저한 경우 품질 저하를 야기할 수 있다. 또한, 시점으로부터의 장면의 표현은 전형적으로 전경 객체가 그것 뒤에 있는 요소들을 차폐하는 다수의 차폐된 요소를 포함할 것이다. 이러한 요소들은 새로운 방향으로부터는 보일 수 있는데, 즉 시점 변화가 탈차폐(de-occlusion)를 야기할 수 있다. 그러나, 입력 텍스처 맵 및 메시는 그러한 경우 이러한 탈차폐된 부분들에 대한 어떠한 정보도 포함하지 않을 것이다. 따라서, 필요한 정보가 이용 가능하지 않기 때문에 그들은 최적으로 표현될 수 없다. 새로운 시프트의 거리가 증가함에 따라 뷰-합성 오류들 및 부정확성이 증가하는 경향이 있다.

많은 애플리케이션에서, 장면의 3D 정보가 소스로부터 목적지로, 이를테면 예를 들어 서버로부터 클라이언트 디바이스로 전달된다. 그러한 상황의 예는 장면 또는 환경의 3D 모델 또는 표현이 서버에 저장되는 가상 현실 애플리케이션이다. 이 가상 현실 서버는 가상 현실 서버로부터 3D 정보를 수신할 수 있고 이 정보에 기초하여 특정 시점에 대응하는 로컬 뷰 이미지를 생성할 수 있는 하나 이상의 클라이언트 가상 현실 디바이스를 지원할 수 있다. 가상 현실 서버로부터의 3D 정보는 특정 시점들에 대응하는 다수의 3D 이미지 또는 표현을 포함하는 데이터 신호 또는 스트림의 형태로 제공될 수 있는데, 여기서 각각의 3D 이미지는 매칭하는 텍스처 맵 및 메시에 의해 표현될 수 있다. 이러한 3D 이미지들은 앵커 이미지들 또는 뷰들(또는 단지 앵커들)로 지칭될 수 있다.

그러나, 뷰 변환의 거리가 증가할수록 시점 변환 품질이 감소하는 경향이 있으므로, 실제로는 충분히 정확한 뷰-합성을 달성하기 위해 높은 공간 밀도의 앵커 뷰들이 요구되고, 사실 전형적으로 필요하다. 결과적으로, 예를 들어 가상 현실 서버로부터 클라이언트 VR 디바이스로 스트리밍될 필요가 있는 데이터의 양이 높은 경향이 있을 것이다. 일반적으로, 앵커 이미지들을 포함하는 수신된 데이터 스트림에 기초한 뷰 변환으로부터 결과 이미지들의 높은 정확도 및 품질을 달성하기 위해서는, 높은 데이터 레이트 데이터 스트림이 요구된다. 그러나, 이는 데이터 스트림의 분배, 저장, 인코딩/디코딩 및 처리를 복잡하게 한다.

따라서, 개선된 접근법이 유리할 것이고 특히 텍스처 맵들 및 메시들에 기초한 목적지 최종 뷰 생성 및 시프트를 지원하는 3차원 이미지 데이터를 전달하기 위한 개선된 접근법이 바람직할 것이다. 특히, 증가된 유연성, 증가된 정확도, 감소된 복잡성, 개선된 계산 효율, 기존 그래픽 처리 접근법들과의 개선된 호환성, 개선된 이미지 품질, 감소된 데이터 레이트, 및/또는 개선된 성능을 가능하게 하는 접근법이 유리할 것이다.

따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 일 태양에 따르면, 이미지를 생성하기 위한 장치로서, 상이한 시점들로부터의 장면을 표현하는 다수의 3차원 이미지들을 포함하는 이미지 신호를 수신하기 위한 수신기로서, 각각의 3차원 이미지는 메시 및 텍스처 맵을 포함하고, 신호는 다수의 3차원 이미지들의 상이한 시점들과 상이한 제1 시점에 대한 복수의 잔차 데이터 텍스처 맵들(residual data texture maps)을 추가로 포함하고, 복수의 잔차 텍스처 맵들 중 제1 잔차 데이터 텍스처 맵이 다수의 3차원 이미지들 중 제1 3차원 이미지의 텍스처 맵인 제1 참조 텍스처 맵(reference texture map)의 제1 시점으로의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하고 복수의 잔차 텍스처 맵들 중 제2 잔차 데이터 텍스처 맵이 다수의 3차원 이미지들 중 제2 3차원 이미지의 텍스처 맵인 제2 참조 텍스처 맵의 제1 시점으로의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하고, 이미지 신호는 제1 시점에 대한 완전 텍스처 맵(full texture map)을 포함하지 않는, 수신기; 복수의 3차원 이미지들 중 제1 3차원 이미지의 메시인 제1 참조 메시(reference mesh)로부터 제1 시점에 대한 제1 메시를 생성하고 복수의 3차원 이미지들 중 제2 3차원 이미지의 메시인 제2 참조 메시로부터 제1 시점에 대한 제2 메시를 생성하기 위한 메시 프로세서; 제1 3차원 이미지의 시점으로부터 제1 시점으로의 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을 그리고 제2 3차원 이미지의 시점으로부터 제1 시점으로의 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하기 위한 제1 텍스처 프로세서; 제1 중간 텍스처 맵과 제1 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 시점에 대한 제1 텍스처 맵을 생성하고, 제2 중간 텍스처 맵과 제2 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 시점에 대한 제2 텍스처 맵을 생성하기 위한 제2 텍스처 프로세서; 및 제1 텍스처 맵, 제1 메시, 제2 텍스처 맵, 및 제2 메시로부터 제2 시점에 대한 2차원 이미지를 생성하기 위한 이미지 생성기로서, 제2 시점은 제1 시점과 그리고 다수의 3차원 이미지들의 상이한 시점들과 상이한, 이미지 생성기를 포함하는, 장치가 제공된다.

본 발명은 많은 시나리오에서 3차원 이미지 정보의 개선된 분배를 제공할 수 있다. 많은 실시예에서, 개선된 인코딩이 달성될 수 있고 특히 개선된 품질 대 데이터 레이트가 달성될 수 있다. 이 접근법은 많은 실시예에서 수신된 3D 정보로부터 개선된 이미지가 수신될 수 있게 한다. 또한, 이는 전형적으로 비교적 낮은 복잡성과 높은 정도의 계산 효율을 유지하면서 달성될 수 있다. 특히, 이 접근법은 전형적으로 예를 들어 전용의, 표준화된, 그리고 최적화된 하드웨어의 효율적인 사용을 지원할 수 있다. 예를 들어, 컴퓨터 그래픽 처리를 위해 개발된 많은 플랫폼들이 처리의 단계들을 지원하기 위해 사용될 수 있다.

이 접근법의 특정한 이점은 그것이 많은 실시예에서 표준 그래픽 루틴들에 의해 면밀하게 지원될 수 있다는 것이다. 예를 들어, 시점 변환들은 많은 실시예에서 표준화된, 전용의, 그리고 최적화된 그래픽 처리 하드웨어에 의해 수행될 수 있다. 예를 들어, 이 접근법은 표준화된 그래픽 프로세스들과 호환 가능할 수 있고, 이들을 효율적으로 이용할 수 있다. 실제로, 이 접근법은 비-표준 접근법들을 사용자 적응을 가능하게 하는 렌더링/처리 파이프라인의 부분들로 제한함으로써, 예를 들어 OpenGL 사양과 같은, 그러한 표준화된 접근법들과 호환 가능할 수 있다. 예를 들어 조합은 OpenGL 렌더링 파이프라인의 프래그먼트 셰이더 스테이지(fragment shader stage)의 일부로서 수행될 수 있다.

처리의 자원 집약적 요소들에 대해 표준화된 하드웨어 가속 처리를 사용하는 가능성은 예를 들어 시스템의 속도 또는 용량을 상당히 증가시킬 수 있다. 그것은 많은 실시예에서 복잡성 및/또는 자원 요건들을 감소시킬 수 있다.

메시는 각각의 정점이 3차원 위치와 관련되는(3차원 위치를 갖는) 3차원 메시일 수 있다. 각각의 정점은 구체적으로 적어도 3차원 공간 위치 x, y, z에 의해 표현될 수 있다. 메시의 각각의 정점은 추가로 대응하는 텍스처 맵 내의 위치와 링크될 수 있다. 예를 들어, 각각의 정점에 대해, 공간 위치 x, y, z에 대응하는 텍스처 맵 내의 위치 u,v가 저장될 수 있다.

메시는 표현된 객체들의 깊이들에 관한 정보를 포함할 수 있지만 그것으로 제한되지 않는다(예를 들어, 설명된 바와 같이, 정점들은 단지 깊이 좌표에 의해서보다는 3차원 좌표들에 의해 표현될 수 있다).

메시는 3D 메시 또는 깊이 메시로도 지칭될 수 있다.

제1 메시는 일부 실시예에서 직접적으로 이미지 신호로부터 추출된 제1 시점에 대한 메시일 수 있다. 일부 실시예에서, 제1 메시는 예를 들어 제1 3차원 이미지에 대한 메시인 참조 메시일 수 있다. 따라서, 일부 실시예에서, 참조 시점에 대한 수신된 참조 메시는 제1 시점에 대한 메시의 적합한 근사치 또는 추정치로서 간주될 수 있다.

많은 실시예에서, 메시 프로세서는 제1 3차원 이미지의 메시인 참조 메시로부터 제1 메시를 생성하도록 구성될 수 있다. 특히, 많은 실시예에서, 메시 프로세서는 참조 메시의 시점 변환이 제1 3차원 이미지의 메시인 것에 응답하여 제1 메시를 생성하도록 구성될 수 있다.

잔차 데이터는 제1 시점에 대한 텍스처 맵과 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵 간의 차이를 나타내는 임의의 데이터일 수 있다. 제1 잔차 데이터 텍스처 맵은 제1 3차원 이미지의 시점으로부터 제1 시점으로의 제1 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공할 수 있다. 유사하게, 제2 잔차 데이터 텍스처 맵은 제2 3차원 이미지의 시점으로부터 제1 시점으로의 제2 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공할 수 있다.

많은 실시예에서, 이미지 생성기는 제1 텍스처 맵, 제1 메시, 제2 텍스처 맵, 및 제2 메시에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 이미지를 생성하도록 구성된다.

이미지 신호에 포함된 다수의 3차원 이미지들은 1개일 수 있지만 많은 실시예에서 2개, 3개 또는 5개 이상의 이미지들과 같은 복수의 3차원 이미지들이다.

본 발명의 선택적 특징에 따르면, 이미지 신호는 제1 참조 메시에 관련하여 제1 시점에 대한 메시에 대한 메시 잔차 데이터를 추가로 포함하고, 메시 프로세서는 메시 잔차 데이터 및 제1 참조 메시에 응답하여 제1 메시를 생성하도록 구성된다.

이는 생성된 이미지의 개선된 품질을 제공하면서도 낮은 복잡성과 효율적인 처리 및 이미지 신호 분배를 가능하게 하는 경향이 있을 수 있다.

많은 실시예에서, 제1 시점에 대한 메시에 대한 메시 잔차 데이터는 참조 메시로부터 도출된 메시에 관련한 것이다.

일부 실시예에서, 메시 잔차 데이터는 참조 메시의 시점 변환으로 인한 중간 메시에 관련한 제1 시점에 대한 메시에 대한 잔차 데이터를 포함한다.

본 발명의 선택적 특징에 따르면, 메시 잔차 데이터는 제1 시점에 대한 메시의 정점들의 서브세트만에 대한 잔차 데이터를 포함한다.

이는 많은 실시예에서 이미지 신호의 감소된 데이터 레이트를 가능하게 하면서도 충분히 높은 품질을 유지할 수 있다.

본 발명의 선택적 특징에 따르면, 이미지 신호는 제1 시점에 대한 메시 데이터를 포함하지 않는다.

이는 많은 실시예에서 이미지 신호의 감소된 데이터 레이트를 가능하게 하면서도 충분히 높은 품질을 유지할 수 있다. 특히, 그것은 잔차 텍스처 맵에 의해서만 표현되는 상대적으로 인코딩된 이미지와 조합된 메시 정보와 텍스처 정보 양쪽 모두에 의해 표현되는 완전히 인코딩된 참조 3D 이미지를 사용하는 것에 기초하여 뷰 합성/변환의 매우 효율적인 조합을 가능하게 할 수 있다. 이 접근법은 3D 이미지들의 상이한 요소들에 대한 상대적 인코딩 요건들, 시각 심리적 영향, 및 추정과 처리 효율에 대한 통찰력을 활용할 수 있다.

본 발명의 선택적 특징에 따르면, 이미지 신호는 메시 생성 제어 데이터를 포함하고; 메시 프로세서는 메시 생성 제어 데이터에 응답하여 제1 메시를 생성하도록 구성된다.

이는 개선되고 적응된 메시 생성/변환을 가능하게 하여 전형적으로 생성된 이미지의 개선된 품질을 야기할 수 있다.

본 발명의 선택적 특징에 따르면, 이미지 신호는 복수의 잔차 데이터 텍스처 맵들 및 잔차 데이터 텍스처 맵들에 링크된 3차원 이미지들을 나타내는 메타 데이터를 포함한다.

이는 효율적인 동작을 가능하게 할 수 있다. 복수의 잔차 데이터 텍스처 맵의 각각의 잔차 데이터 텍스처 맵은 다수의 3차원 이미지들의 상이한 시점들과 상이한 주어진 시점에 대한 것일 수 있고, 주어진 시점에 대한 잔차 데이터 텍스처 맵은 다수의 3차원 이미지들 중 제1 3차원 이미지의 텍스처 맵인 주어진 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 주어진 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공한다.

본 발명의 선택적 특징에 따르면, 이미지 생성기는 제1 텍스처 맵 및 제1 메시에 응답하여 제2 시점에 대한 제1 중간 이미지를 생성하고, 추가적인 시점에 대한 추가적인 텍스처 맵 및 추가적인 메시에 응답하여 제2 시점에 대한 제2 중간 이미지를 생성하도록; 그리고 제1 중간 이미지와 제2 중간 이미지를 조합함으로써 이미지를 생성하도록 구성된다.

이는 특히 효율적이고 유연한 접근법을 제공할 수 있고 많은 실시예에서 개선된 이미지 생성을 야기할 수 있다.

많은 실시예에서, 추가적인 텍스처 맵 및 추가적인 메시는 다수의 3차원 이미지들 중 3차원 이미지의 텍스처 맵 및 메시이다.

많은 실시예에서, 제1 텍스처 프로세서는 추가적인 참조 텍스처 맵의 시점으로부터 추가적인 시점으로의 추가적인 참조 텍스처 맵의 시점 변환에 응답하여 추가적인 중간 텍스처 맵을 생성하도록 구성되고, 추가적인 참조 텍스처 맵은 다수의 3차원 이미지들 중 제2 3차원 이미지의 텍스처 맵이고; 제2 텍스처 프로세서는 추가적인 시점에 대한 추가적인 잔차 데이터 텍스처 맵과 추가적인 중간 텍스처 맵의 조합에 응답하여 추가적인 텍스처 맵을 생성하도록 구성되고, 추가적인 잔차 데이터 텍스처 맵은 제2 3차원 이미지에 대한 것이다.

많은 실시예에서, 메시 프로세서는 추가적인 참조 텍스처 맵의 시점으로부터 추가적인 시점으로의 제2 3차원 이미지의 메시의 시점 변환에 응답하여 추가적인 메시를 생성하도록 구성된다.

본 발명의 선택적 특징에 따르면, 이미지 생성기는 제1 텍스처 맵 및 제1 메시에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 제2 시점에 대한 제1 중간 이미지를, 제2 텍스처 맵 및 제2 메시에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 제2 시점에 대한 제2 중간 이미지를 생성하도록; 그리고 제1 중간 이미지와 제2 중간 이미지를 조합함으로써 이미지를 생성하도록 구성된다.

본 발명의 선택적 특징에 따르면, 이미지 생성기는 제1 3차원 이미지 및 제2 3차원 이미지 중 적어도 하나의 시점과 관련된 차폐 데이터(occlusion data)에 응답하여 제1 중간 이미지와 제2 중간 이미지를 조합하도록 구성된다.

많은 실시예에서, 이미지 생성기는 제1 시점으로부터 제2 시점으로의 시점 시프트의 방향에 관련한 제1 3차원 이미지 및 제2 3차원 이미지 각각의 시점들로부터 제1 시점으로의 시점 시프트들의 방향에 응답하여 제1 중간 이미지와 제2 중간 이미지를 조합하도록 구성된다.

본 발명의 선택적 특징에 따르면, 이미지 생성기는 제1 텍스처 맵과 제2 텍스처 맵을 제1 시점에 대한 제3 텍스처 맵으로 조합하도록, 그리고 제1 메시와 제2 메시를 제1 시점에 대한 제3 메시로 조합하도록; 그리고 제3 텍스처 메시 및 제3 메시에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 이미지를 생성하도록 구성된다.

일부 실시예에서, 메시 프로세서는 제1 메시를 필터링하도록 구성될 수 있다.

본 발명의 일 태양에 따르면, 이미지 신호를 생성하기 위한 장치로서, 상이한 시점들로부터의 장면을 표현하는, 각각 메시 및 텍스처 맵을 포함하는 다수의 3차원 이미지들을 수신하기 위한, 그리고 3차원 이미지들의 상이한 시점들과 상이한 제1 시점에 대한 제1 텍스처 맵을 수신하기 위한 수신기; 다수의 3차원 이미지들 중 제1 3차원 이미지로부터 제1 시점으로의 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을, 그리고 다수의 3차원 이미지들 중 제2 3차원 이미지로부터 제1 시점으로의 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하기 위한 뷰 시프트 프로세서(view shift processor); 제1 중간 텍스처 맵과 제1 텍스처 맵의 비교에 응답하여 제1 잔차 데이터 텍스처 맵을 그리고 제2 중간 텍스처 맵과 제1 텍스처 맵의 비교에 응답하여 제2 잔차 데이터 텍스처 맵을 생성하도록 구성되는 잔차 프로세서로서, 제1 잔차 데이터 텍스처 맵은 제1 중간 텍스처 맵과 제1 텍스처 맵 간의 차이를 나타내고 제2 잔차 데이터 텍스처 맵은 제2 중간 텍스처 맵과 제1 텍스처 맵 간의 차이를 나타내는, 잔차 프로세서; 및 다수의 3차원 이미지들, 제1 잔차 데이터 텍스처 맵, 및 제2 잔차 데이터 텍스처 맵을 포함하지만 제1 텍스처 맵은 포함하지 않도록 이미지 신호를 생성하기 위한 신호 생성기를 포함하는, 장치가 제공된다.

본 발명의 일 태양에 따르면, 이미지를 생성하는 방법으로서, 상이한 시점들로부터의 장면을 표현하는 다수의 3차원 이미지들을 포함하는 이미지 신호를 수신하는 단계로서, 각각의 3차원 이미지는 메시 및 텍스처 맵을 포함하고, 신호는 다수의 3차원 이미지들의 상이한 시점들과 상이한 제1 시점에 대한 복수의 잔차 데이터 텍스처 맵들을 추가로 포함하고, 복수의 잔차 텍스처 맵들 중 제1 잔차 데이터 텍스처 맵이 다수의 3차원 이미지들 중 제1 3차원 이미지의 텍스처 맵인 제1 참조 텍스처 맵의 제1 시점으로의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하고 복수의 잔차 텍스처 맵들 중 제2 잔차 데이터 텍스처 맵이 다수의 3차원 이미지들 중 제2 3차원 이미지의 텍스처 맵인 제2 참조 텍스처 맵의 제1 시점으로의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하고, 이미지 신호는 제1 시점에 대한 완전 텍스처 맵을 포함하지 않는, 이미지 신호를 수신하는 단계; 복수의 3차원 이미지들 중 제1 3차원 이미지의 메시인 제1 참조 메시로부터 제1 시점에 대한 제1 메시를 생성하고 복수의 3차원 이미지들 중 제2 3차원 이미지의 메시인 제2 참조 메시로부터 제1 시점에 대한 제2 메시를 생성하는 단계; 제1 3차원 이미지의 시점으로부터 제1 시점으로의 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을 그리고 제2 3차원 이미지의 시점으로부터 제1 시점으로의 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하는 단계; 제1 중간 텍스처 맵과 제1 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 시점에 대한 제1 텍스처 맵을 생성하고, 제2 중간 텍스처 맵과 제2 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 시점에 대한 제2 텍스처 맵을 생성하는 단계; 및 제1 텍스처 맵, 제1 메시, 제2 텍스처 맵, 및 제2 메시로부터 제2 시점에 대한 2차원 이미지를 생성하는 단계로서, 제2 시점은 제1 시점과 그리고 다수의 3차원 이미지들의 상이한 시점들과 상이한, 2차원 이미지를 생성하는 단계를 포함하는, 방법이 제공된다.

본 발명의 일 태양에 따르면, 이미지 신호를 생성하는 방법으로서, 상이한 시점들로부터의 장면을 표현하는, 각각 메시 및 텍스처 맵을 포함하는 다수의 3차원 이미지들을 수신하고, 3차원 이미지들의 상이한 시점들과 상이한 제1 시점에 대한 제1 텍스처 맵을 수신하는 단계; 다수의 3차원 이미지들 중 제1 3차원 이미지로부터 제1 시점으로의 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을, 그리고 다수의 3차원 이미지들 중 제2 3차원 이미지로부터 제1 시점으로의 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하는 단계; 제1 중간 텍스처 맵과 제1 텍스처 맵의 비교에 응답하여 제1 잔차 데이터 텍스처 맵을 그리고 제2 중간 텍스처 맵과 제1 텍스처 맵의 비교에 응답하여 제2 잔차 데이터 텍스처 맵을 생성하는 단계로서, 제1 잔차 데이터 텍스처 맵은 제1 중간 텍스처 맵과 제1 텍스처 맵 간의 차이를 나타내고 제2 잔차 데이터 텍스처 맵은 제2 중간 텍스처 맵과 제1 텍스처 맵 간의 차이를 나타내는, 제1 잔차 데이터 텍스처 맵 및 제2 잔차 데이터 텍스처 맵을 생성하는 단계; 및 다수의 3차원 이미지들, 제1 잔차 데이터 텍스처 맵, 및 제2 잔차 데이터 텍스처 맵을 포함하지만 제1 텍스처 맵은 포함하지 않도록 이미지 신호를 생성하는 단계를 포함하는, 방법이 제공된다.

본 발명의 일 태양에 따르면, 상이한 시점들로부터의 장면을 표현하는 다수의 3차원 이미지들을 포함하는 이미지 신호로서, 각각의 3차원 이미지는 메시 및 텍스처 맵을 포함하고, 신호는 다수의 3차원 이미지들의 상이한 시점들과 상이한 제1 시점에 대한 제1 잔차 데이터 텍스처 맵 및 제2 잔차 데이터 텍스처 맵을 추가로 포함하고, 제1 잔차 데이터 텍스처 맵은 다수의 3차원 이미지들 중 제1 3차원 이미지의 텍스처 맵인 제1 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하고 제2 잔차 데이터 텍스처 맵은 다수의 3차원 이미지들 중 제2 3차원 이미지의 텍스처 맵인 제2 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하는, 이미지 신호가 제공된다.

본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.

본 발명의 실시예는 도면을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 일부 실시예에 따른 이미지 신호를 생성하기 위한 장치의 요소들의 예를 예시한다.
도 2는 본 발명의 일부 실시예에 따른 이미지를 생성하기 위한 장치의 요소들의 예를 예시한다.
도 3은 이미지 신호에 대한 시점들의 예를 예시한다.
도 4는 이미지 신호에 대한 시점들의 예를 예시한다.
도 5는 메시 및 텍스처 맵 데이터에 기초한 이미지의 생성의 예를 예시한다.
도 6은 메시의 생성의 예를 예시한다.
도 7은 메시 및 텍스처 맵 데이터에 기초한 이미지의 생성의 예를 예시한다.
도 8은 메시 및 텍스처 맵 데이터에 기초한 이미지의 생성의 예를 예시한다.
도 9는 메시 및 텍스처 맵 데이터에 기초한 이미지의 생성의 예를 예시한다.

도 1은 3D 이미지 신호를 생성하기 위한 장치의 예를 예시한다. 장치, 및 실제로 생성된 이미지 신호는 텍스처 맵 및 관련된 깊이 맵에 의해 3D 정보를 표현하는 것에 기초한다. 장치는 구체적으로 장면에 대한 3D 정보를 갖는 이미지 신호를 제공할 수 있는 가상 현실 서버의 일부일 수 있다. (전형적으로 원격인) 가상 현실 클라이언트는 가상 현실 서버에 액세스할 수 있고 이에 응답하여 이미지 신호를 제공받을 수 있고 이로부터 그것은 장면의 적합한 이미지들을 로컬로 생성하여 가상 현실 경험을 제공할 수 있다. 구체적으로, 가상 현실 클라이언트 디바이스는 전형적으로 가상 현실 서버로부터 수신된 정보에 기초하여 주어진 원하는 시점에 대한 이미지들을 생성하도록 구성될 수 있다. 따라서, 도 1의 장치는 이후 인코더로, 구체적으로 가상 현실 서버의 인코더로 지칭될 것이지만, 그것은 장치의 설명의 해석 또는 이해의 일반성에 대한 제한을 암시하도록 의도되지 않는다는 것을 알 것이다.

인코더는 상이한 시점들로부터 장면을 표현하는 다수, 전형적으로 복수의 3차원 이미지를 수신하도록 구성되는 인코더 수신기(101)를 포함한다. 3D 이미지들 각각은 메시 및 적어도 제1 텍스처 맵을 포함하는데, 즉 링크된 메시들 및 텍스처 맵들의 잘 알려진 접근법을 사용하여 각각의 이미지에 대해 3차원 정보가 제공된다.

일부 실시예에서, 단일 3D 이미지만이 제공될 수 있지만 전형적으로 복수의 상이한 3D 이미지가 제공되고 이들 각각은 장면에 대한 상이한 시점을 표현한다. 예를 들어, 시점들의 라인에 대응하는 3개 내지 10개의 3D 이미지가 수신될 수 있다.

인코더 수신기(101)는 임의의 내부 또는 외부 소스로부터 3D 이미지들을 수신할 수 있다는 것을 알 것이다. 예를 들어, 일부 실시예에서, 가상 현실 서버는 장면의 3D 모델뿐만 아니라 원하는 시점들에 대해 모델을 평가함으로써 메시들 및 텍스처 맵들의 형태로 3D 이미지들을 생성하도록 구성되는 모델 평가기를 포함할 수 있다. 다른 실시예에서, 3D 이미지들은 상이한 위치들에 있는 카메라들로부터의 캡처된 이미지들로부터, 이를테면 예를 들어 캡처된 스테레오 이미지들로부터 생성될 수 있다. 예를 들어, 캡처된 스테레오 이미지로부터, 고밀도의 깊이 맵이 추정될 수 있고(예를 들어, 디스패리티 추정에 기초하여) 스테레오 이미지들 중 하나 및 깊이 맵으로부터, 메시 및 텍스처 맵이 계산될 수 있다. 다른 예는 이미지 및 관련된 깊이 맵을 직접 제공할 수 있는(예를 들어 내장된 거리 측정 기능을 사용하여) 깊이 카메라의 사용이다. 그러한 경우에, 깊이 카메라에 의해 직접 제공되는 깊이 맵으로부터 메시가 생성될 수 있다.

많은 3D 이미지(비디오 포함) 처리 알고리즘 및 프로세스가 삼각형 메시들의 사용에 기초하는데 그 이유는 이것이 많은 실시예에서 높은 계산 효율을 제공할 수 있기 때문이다. 3차원 정보를 관련된 텍스처 맵과 함께 제공하는 메시들이 많은 그래픽 처리 시스템에서, 예를 들어 구체적으로 컴퓨터 그래픽에서 널리 사용된다. 메시는 깊이 정보를 포함하는 기하학적 구조의 정보를 제공할 수 있다(그러나 물론 깊이 정보만을 제공하는 것으로 제한되는 것은 아니고, 예를 들어 그것은 전형적으로 각각의 정점에 대한 3차원 좌표를 제공할 수 있다). 간결성을 위해, 메시와 그의 관련된 텍스처 맵의 조합은 3D 이미지로도 지칭될 것이다.

이 접근법은 장면을 렌더링할 때 뷰 방향들을 유연하게 수정하는 데 매우 적합하고, 시점이 엄격한 수평선에서의 움직임으로 제한되지 않고 오히려 시점의 자유로운 움직임이 요구되는 시나리오에 특히 적합하다. 새로운 시점을 생성하는 알려진 효율적인 방법은 상이한 시점들로부터 비롯된 메시들을 단일 세계 좌표계로 변환하고 이어서 새로운 카메라 평면 상에 원근 투영을 수행하는 것이다. 이러한 단계들은 OpenGL 표준에 기초한 하드웨어와 같은 표준 최적화된 그래픽 하드웨어를 사용하여 매우 효율적으로 행해질 수 있다. 그러나, 예를 들어 시점 변환들에 의해 탈차폐되고 있는 영역들에 대해 추가적인 정보를 제공하고 품질을 최적화하기 위해, 새로운 시점으로부터의 렌더링 이미지의 생성은 바람직하게는 복수의 상이한 시점에 대해 제공되는 텍스처 맵들 및 메시들에 기초한다.

클라이언트 측에 다양한 시점에 대한 고품질 이미지들을 생성하기에 충분한 정보를 제공하기 위해, 생성된 이미지 신호에 다수의 3D 이미지를 포함시키는 것이 바람직하다. 그러나, 이는 매우 큰 대역폭을 필요로 하고 시스템에서의 분배, 통신, 처리, 및 저장을 복잡하게 한다. 따라서, 품질과 효율에 대한 상충되는 요건들 사이에 어려운 트레이드 오프가 존재한다.

예를 들어 뷰 변환들을 수행하기 위해 클라이언트 측에 의해 사용될 수 있는 3D 이미지들의 세트는 간결성을 위해 앵커 이미지들, 또는 때때로 단지 앵커들로 지칭될 수 있다. 따라서, 품질을 최대화하기 위해 인코더에 의해 생성된 이미지 신호가 가능한 많은 앵커 이미지를 이미지 신호에 포함시키는 것이 바람직하지만 동시에 예를 들어 이미지 신호의 데이터 레이트를 최소화하기 위해 가능한 적은 앵커 이미지를 포함시키는 것이 바람직하다. 도 1의 인코더는 그러한 상충되는 요건들 사이에 개선된 트레이드-오프를 제공하도록 구성될 수 있다.

인코더는 이미지 신호를 생성하도록 구성되는 신호 생성기(103)를 포함한다. 신호 생성기(103)는 인코더 수신기(101)에 결합되고 이로부터 그것은 3D 이미지들, 즉 텍스처 맵들 및 대응하는 메시들을 수신한다. 신호 생성기(103)는 이러한 3D 이미지들을 포함하도록, 구체적으로 이미지들에 대한 메시들 및 텍스처 맵들 양쪽 모두를 포함하도록 이미지 신호를 생성하도록 구성된다. 신호 생성기(103)는 이에 따라 인코더 수신기(101)에 의해 제공되는 3D 이미지들의 형태로 앵커 이미지들을 포함하도록 이미지 신호를 생성한다. 이러한 완전히 인코딩된 앵커 이미지들은 참조 이미지들로도 지칭된다.

또한, 인코더는 추가적인 앵커 이미지들을 포함하도록 이미지 신호를 생성하도록 구성된다. 그러나, 이러한 이미지들은 완전 텍스처 맵 및 완전 메시에 의해 표현되는 것이 아니라 잔차 데이터 텍스처 맵에 의해 표현되고 여기서 잔차 데이터 텍스처 맵은 이미지 신호에 포함된 3D 이미지들 중 하나의 텍스처 맵에 관련하여, 즉 참조 이미지들 중 하나에 관련하여 추가적인 시점에 대한 텍스처 맵을 기술하는 데이터를 제공한다. 따라서, 추가적인 위치에서의 텍스처 맵은 상대적 텍스처 맵으로서 제공되고 이에 따라 다른 텍스처 맵에 의존한다.

구체적으로, 인코더 수신기(101)는, 이미지 신호에 직접 포함되는 참조 3D 이미지들 외에, 참조 텍스처 맵에 관련하여 인코딩되는 하나 이상의 텍스처 맵도 수신할 수 있다. 이러한 텍스처 맵들은 개별 텍스처 맵들로서 수신될 수 있지만 전형적으로 3D 이미지들의 텍스처 맵들로서, 즉 대응하는 메시와 함께 수신된다. 이미지 신호에 직접 포함되는 3D 이미지들의 세트는 참조 3D 이미지들로 지칭되고, 유사하게 대응하는 시점들, 텍스처 맵들, 앵커들, 및 메시들은 참조 시점들, 텍스처 맵들, 앵커들, 및 메시들로 지칭될 것이다. 텍스처 맵의 상대적 인코딩이 적용되는 3D 이미지들, 텍스처 맵들, 메시들, 앵커들, 및 시점들은 상대적 또는 예측된 3D 이미지들, 텍스처 맵들, 메시들, 앵커들, 및 시점들로 지칭될 것이다.

많은 실시예에서, 인코더 수신기(101)는 텍스처 맵들 및 관련된 메시들에 의해 표현된 3D 이미지들의 세트를 수신할 것이고 이들은 참조 3D 이미지들 시점들을 포함하는 참조 3D 이미지들의 세트(완전히 인트라 코딩될 것들) 및 상대적 3D 이미지들/시점들을 포함하는 상대적 3D 이미지들의 세트(다른 텍스처 맵들에 관련하여 코딩될 것들)로 분할될 것임을 알 것이다. 일부 실시예에서, 분할은 2개보다 많은 카테고리로 행해질 수 있는데, 예를 들어 분할은 또한 단순히 폐기되는 이미지들의 세트와 같은 다른 세트들로 행해질 수 있다.

인코더는 상대적 시점들에 대한 잔차 데이터 텍스처 맵들을 생성하도록 구성되는 뷰 시프트 프로세서(105) 및 잔차 프로세서(107)를 포함한다.

구체적으로, 상대적 시점으로 지정되는 시점에 대한 텍스처 맵이 수신될 수 있다. 이 텍스처 맵은 제1 상대적 텍스처 맵으로 지칭될 것이다.

뷰 시프트 프로세서(105)에는 참조 3D 이미지, 즉 참조 텍스처 맵 및 참조 메시가 공급된다. 또한, 그것에는 제1 상대적 시점으로 지칭되는, 제1 상대적 텍스처 맵의 시점 및 대응하는 참조 시점을 정의하는 정보가 공급된다. 뷰 시프트 프로세서(105)는 이어서 제1 상대적 시점으로 제1 참조 텍스처 맵의 시점 변환을 수행함으로써 중간 텍스처 맵을 생성하도록 진행한다. 시점 변환은 참조 메시 및 텍스처 맵에 기초한다.

텍스처 맵 시점 변환 또는 시프트에 대한 임의의 적합한 접근법이 사용될 수 있다는 것을 알 것이다. 접근법의 예로서, 텍스처를 워핑하기(warp) 위해 삼각형 메시가 사용될 수 있다. 이 표준 텍스처 매핑 접근법에서는, 삼각형들이 시프트 및 변형되고 텍스처가 선형적으로(아핀(affine)) 변형되어 새로운 텍스처를 형성한다. 뷰 시프트는 예를 들어 메시를 오프-스크린 OpenGL 버퍼로 렌더링함으로써 수행될 수 있다.

중간 텍스처 맵은 잔차 프로세서(107)로 공급되고 잔차 프로세서는 또한 제1 상대적 텍스처 맵을 수신한다. 잔차 프로세서(107)는 중간 텍스처 맵과 제1 상대적 텍스처 맵의 비교에 기초하여 잔차 데이터 텍스처 맵을 생성하도록 진행한다. 이러한 방식으로, 잔차 데이터 텍스처 맵은 중간 텍스처 맵과 제1 상대적 텍스처 맵 간의 차이를 나타내도록 생성된다.

많은 실시예에서, 잔차 데이터 텍스처 맵은 단순히 중간 텍스처 맵과 제1 상대적 텍스처 맵 간의 픽셀별 차이로서 결정될 수 있다. 일부 실시예에서, 잔차는 아마도 콘트라스트 감도 및 공간 주파수들의 마스킹과 같은 지각 메트릭들을 사용하여 손실 압축될 수 있다.

시프트 프로세서(105) 및 잔차 프로세서(107)는 추가로 상이한 참조 시점에 대응하는 추가적인/제2 참조 이미지에 대한 프로세스를 반복하도록 구성된다. 따라서, 도 1의 장치는 상이한 참조 이미지들/시점들에 기초하여 제1 상대적 시점에 대해 (적어도) 2개의 잔차 데이터 텍스처 맵을 생성하도록 구성된다. 따라서, 장치는 제1 참조 이미지/참조 텍스처 맵에 기초하여 제1 상대적 시점에 대한 제1 잔차 데이터 텍스처 맵, 및 제2 참조 이미지/참조 텍스처 맵에 기초하여 제1 상대적 시점에 대한 제2 잔차 데이터 텍스처 맵을 생성할 수 있다. 이는 공간 표현들을 위해 장면의 개선된 표현을 제공하여, 예를 들어 장면에 대한 이용 가능한 데이터를 제한하는 잠재적인 차폐의 문제를 해결할 수 있다.

잔차 프로세서(107)는 잔차 데이터 텍스처 맵들이 공급되는 신호 생성기(103)에 결합된다. 그것은 이어서 제1 상대적 시점에 대한 잔차 데이터 텍스처 맵들을 이미지 신호에 포함시키도록 진행한다. 따라서, 이미지 신호는, 참조 시점들의 세트에 대한 완전히 (인트라) 코딩된 참조 3D 이미지들의 세트 외에, 적어도 하나의 추가적인 (상대적) 시점에 대한 하나 이상의 잔차 데이터 텍스처 맵을 포함하도록 이미지 신호를 생성하도록 생성된다. 적어도 하나의 상대적 시점에 대해, 동일한 텍스처 맵에 대한 그러나 상이한 참조 이미지들로부터의 잔차 데이터를 제공하는 적어도 2개의 잔차 데이터 텍스처 맵이 제공된다. 이 잔차 데이터 텍스처 맵들은 전형적으로 대응하는 텍스처 맵들보다 훨씬 더 작은 값들을 포함할 것이고 이에 따라 훨씬 더 높은 효율로 인코딩될 수 있다. 따라서, 이 접근법에서 주어진 수신된 앵커 이미지들의 세트는 2개의 세트로 분할될 수 있는데 여기서 제1 세트는 완전히 인코딩되는 참조 앵커 이미지들을 포함하고 제2 세트는 참조 앵커 이미지들에 관련하여 코딩되는 상대적 참조 앵커 이미지들을 포함한다. 제2 세트에 대해 요구되는 데이터 레이트는 제1 세트에 대한 것보다 실질적으로 더 낮지만, 디코더가 대응하는 앵커 이미지를 재생성할 수 있게 한다.

따라서, 주어진 데이터 레이트에 대해 더 많은 수의 정확하게 표현된 앵커 이미지들이 전달될 수 있다(또는 주어진 수의 앵커 이미지들이 전달되도록 더 낮은 데이터 레이트가 달성될 수 있다). 또한, 동일한 상대적 시점에 대해 다수의 잔차 데이터 텍스처 맵을 포함시킴으로써 3차원 장면을 특징짓기/표현하기에 특히 적합한 개선된 정보가 달성될 수 있다.

수신된 앵커 이미지들 중 어느 것을 완전히 인코딩할지, 그리고 어느 것에 상대적 또는 예측 인코딩을 적용할지에 대한 정확한 결정은 상이한 실시예 및 시나리오에서 상이할 수 있다. 예를 들어, 일부 실시예에서, 시점들의 라인에 대응하는 3D 이미지들은 2개의 세트 사이에서 교번될 수 있다. 다른 실시예에서, 그 결정은 예를 들어 시점들 간의 거리에 기초할 수 있다. 예를 들어 주어진 시점으로부터 가장 가까운 완전히 인코딩된 참조 시점까지의 거리가 주어진 값을 초과하면 해당 시점은 참조 시점으로서 지정되고 그렇지 않다면 상대적 시점으로서 지정된다.

많은 실시예에서, 잔차 데이터 텍스처 맵, 즉 상대적 앵커에 대한 메시는 또한 신호 생성기(103)에 공급될 수 있고 이미지 신호에 포함될 수 있다. 실제로, 많은 실시예에서, 제1 상대적 메시로 지칭되는 이 메시는 완전히 인코딩되어 이미지 신호에 포함될 수 있다. 메시를 표현하기 위해 요구되는 데이터는 종종 텍스처 맵을 표현하기 위해 요구되는 데이터의 양보다 한 자릿수 가량 적기 때문에, 이는 여전히 필요한 데이터의 양의 상당한 감소를 야기할 수 있다. 상대적 텍스처 맵들에 대한 접근법과 유사하게, 신호 생성기는 또한 제2 잔차 데이터 텍스처 맵들과 관련되는 제2 메시를 포함할 수 있다.

일부 실시예에서, 제1 상대적 시점/3D 이미지에 대한 어떤 메시 데이터도 이미지 신호에 포함되지 않을 수 있다. 그러한 경우에, 예를 들어 수신된 참조 메시들에 기초하여 디코더에 의해 제1 상대적 시점에 대한 메시 데이터가 생성될 수 있다.

일부 실시예에서, 제1 상대적 시점에 대해 (단지) 상대적 메시 데이터가 제공된다. 이는 많은 시나리오에서 데이터 레이트와 품질/정확도 사이의 개선된 트레이드-오프를 제공할 수 있다.

따라서, 많은 실시예에서, 인코더는 상이한 시점들로부터의 장면을 표현하는 다수의 3차원 이미지를 포함하는 이미지 신호를 생성할 수 있고, 각각의 3차원 이미지는 메시 및 텍스처 맵을 포함하고, 이 신호는 다수의 3차원 이미지의 상이한 시점들과 상이한 제1 시점에 대한 잔차 데이터 텍스처 맵들을 추가로 포함하고, 잔차 데이터 텍스처 맵들은 다수의 3차원 이미지 중 제1, 및 각각 제2, 3차원 이미지의 텍스처 맵인 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공한다.

도 2는 그러한 이미지 신호로부터 이미지를 생성하기 위한 장치의 예를 예시한다. 이 장치는 구체적으로 수신된 신호에 의해 표현되지 않는 시점에 대응하도록 이미지를 생성할 수 있는데, 즉 그것은 이미지 신호의 앵커 시점들/이미지들 중 하나가 아니다(참조 시점이든 또는 상대적 시점이든). 이 장치는 구체적으로 장면에서 움직이는 캐릭터의 시점들에 대응하는 이미지를 연속적으로 생성하도록 구성되는 가상 현실 클라이언트 디바이스의 일부일 수 있다. 이 장치는 간결성을 위해 디코더로 지칭될 것이고 이 용어의 사용에 의해 어떠한 일반성의 손실도 없다.

디코더는 디코더/가상 현실 서버로부터 이미지 신호를 수신하는 수신기(201)를 포함한다. 처리는 주어진 제1 (상대적) 시점에 대해 단일 잔차 데이터 텍스처 맵이 제공되는 시나리오에 대해 먼저 설명된다.

디코더는 수신된 앵커 이미지들에 기초하여 원하는 시점에 대한 이미지를 생성하도록 구성될 수 있다. 일부 상황에서, 구체적으로 일부 시점들에 대해, 이미지의 생성은 2 단계 접근법에 기초할 수 있는데 이 접근법에서는 상대적 시점에 대해 적어도 하나의 참조 3D 이미지 및 해당 상대적 시점에 대한 잔차 데이터 텍스처 맵에 기초하여 중간 3D 이미지가 먼저 생성된다. 후속하여, 이 중간 3D 이미지로부터 원하는 시점에 대한 이미지가 이어서 생성된다. 이 접근법은 상대적 앵커 이미지에 대응하는 상대적 시점이 제1 시점으로 지칭되는 이하에서 더 상세하게 설명될 것이다.

디코더는 제1 시점에 대한 제1 메시를 생성하도록 구성되는 메시 프로세서(203)를 포함한다. 일부 실시예에서, 수신된 이미지 신호는 제1 시점에 대한 메시를 포함할 수 있고 이것은 직접 사용될 수 있다.

많은 실시예에서, 메시 프로세서(203)는 적절한 3D 이미지의 메시인 참조 메시로부터 제1 시점에 대한 제1 메시를 생성하도록 구성된다. 일부 실시예에서, 참조 메시는 제1 메시로서 직접 사용될 수 있지만 가장 전형적인 실시예에서 제1 메시는 참조 시점으로부터 제1 시점으로 참조 메시를 워핑 또는 시점 시프트/변환함으로써 생성될 수 있다.

참조 메시를 제1 메시로 워핑/변환하기 위한, 즉 참조 시점의 메시로부터 제1 시점에 대한 메시를 생성하기 위한 임의의 적합한 접근법이 사용될 수 있음을 알 것이다. 예를 들어, 간단한 접근법은 3D 좌표들을 사용하는 것인데 그 이유는 그들이 텍스처를 워핑하기 위해 사용된 후의 정점 프로세서의 출력이기 때문이다. 예를 들어, 메시의 각각의 2D 정점이 그의 디스패리티 값과 함께 3D 공간으로 투영될 수 있다. 이어서 이 3D 점이 가상 시점의 이미지 평면에 재투영될 수 있다. 이 동작을 모든 정점들에 적용함으로써, 메시가 변환된다. (이 (재)투영 동작들은 매우 효율적인 소형 행렬 동작들로 압축될 수 있다. GPU들은 구체적으로 그러한 동작들을 효율적으로 수행하도록 설계되는데 그 이유는 그들이 그래픽 처리에서 많이 발생하기 때문이다.)

디코더는 참조 시점으로부터 제1 시점으로의 참조 텍스처 맵의 시점 변환에 응답하여 중간 텍스처 맵을 생성하기 위한 제1 텍스처 프로세서(205)를 추가로 포함한다. 참조 텍스처 맵을 참조 시점으로부터 제1 시점으로 워핑/변환하기 위한 임의의 적합한 접근법이 사용될 수 있음을 알 것이다. 예를 들어, 주어진 메시를 사용한 텍스처 매핑이 수행될 수 있다. 뷰 시프트는 예를 들어 메시를 오프-스크린 OpenGL 버퍼로 렌더링함으로써 수행될 수 있다.

중간 텍스처 맵은 따라서 참조 앵커 이미지에 기초한 제1 시점에서의 예측된 또는 추정된 텍스처 맵에 대응한다. 중간 텍스처 맵은 구체적으로 인코더의 뷰 시프트 프로세서(105)에 의해 사용된 것과 동일한 알고리즘을 사용하여 생성될 수 있다. 따라서, 중간 텍스처 맵은 인코더의 뷰 시프트 프로세서(105)에 의해 생성된 중간 텍스처 맵에 직접 대응할 수 있다. 따라서, 인코더에 의해 생성되고 디코더에 의해 수신된 잔차 데이터 텍스처 맵은 제1 텍스처 프로세서(205)에 의해 생성된 중간 텍스처 맵과 인코더에서 수신된 원래 텍스처 맵 간의 차이들의 정확한 표시를 제공할 수 있다.

디코더는 중간 텍스처 맵이 공급되는 그리고 중간 텍스처 맵과 잔차 데이터 텍스처 맵을 조합함으로써 제1 텍스처 맵을 생성하도록 구성되는 제2 텍스처 프로세서(207)를 추가로 포함한다. 구체적으로, 많은 실시예에서, 제1 텍스처 맵은 중간 텍스처 맵과 수신된 잔차 데이터 텍스처 맵을 더함으로써 생성될 수 있다.

제2 텍스처 프로세서(207)는 이에 따라 제1 시점에 대해 인코더에 제공된 상대적 텍스처 맵에 매우 밀접하게 대응하는(그리고 종종 실질적으로 동일한) 제1 텍스처 맵을 생성할 수 있다. 따라서, 제1 위치에 대해 정확한 앵커 텍스처 맵이 생성된다. 유사하게, 메시 프로세서(203)는 제1 시점에 대한 정확한 메시를 생성할 수 있다(또는 실제로는 이것을 수신된 이미지 신호로부터 직접 검색할 수 있다).

디코더는 제1 텍스처 맵 및 제1 메시가 공급되는, 즉 제1 시점에 대한 생성된 3D 이미지가 공급되는 이미지 생성기(209)를 추가로 포함한다. 이 3D 이미지는 잔차 데이터 텍스처 맵에 기초하기 때문에, 그것은 인코더가 제1 시점에 대해 수신한 원래 3D 이미지의 매우 정확한 반영을 제공하고 이에 따라 이 제1 3D 이미지는 제1 시점에 제공된 앵커 이미지로서 사용될 수 있다.

이미지 생성기(209)는 이에 따라 제1 3D 이미지로부터, 즉 제1 텍스처 맵 및 제1 메시로부터, 원하는 시점, 제2 시점에 대한 출력 이미지를 생성하도록 구성된다. 구체적으로, 이미지 생성기(209)는 제1 3D 이미지에 뷰 변환/시프트 프로세스를 적용하여 제2 시점에 대응하는 출력 이미지를 생성하도록, 즉 제1 이미지로부터 제2 이미지로의 시점 시프트가 생성되도록 구성될 수 있다.

이 접근법은 제2 시점이 제1 시점에는 가깝지만 참조 시점들까지는 더 먼 거리에 있는 시나리오에서 실질적으로 개선된 뷰의 품질을 가능하게 할 수 있다. 그러나, 이는 참조 이미지들의 전체 세트를 제공함으로써 요구되는 데이터 레이트, 복잡성 등의 측면에서 대응하는 페널티 없이 달성된다. 따라서, 훨씬 개선된 데이터 레이트 대 품질 트레이드-오프가 달성될 수 있다.

제1 상대적 시점에 대해 제공된 2개의 잔차 데이터 텍스처 맵이 존재하는 시나리오에 대해, 시스템은 먼저 설명된 동작들을 수행하여 제1 잔차 데이터 텍스처 맵(및 제1 참조 이미지)에 기초하여 제1 메시 및 제1 중간 텍스처 맵을 생성할 수 있다. 그것은 이어서 동일한 동작들을 수행하여 제2 잔차 데이터 텍스처 맵(및 제2 참조 이미지)에 기초하여 제2 중간 메시 및 제2 중간 텍스처 맵을 생성하도록 진행할 수 있다. 따라서, 동일한 상대적 앵커 시점에 대해, 즉 제1 시점에 대해 2개의 중간 텍스처 맵, 및 전형적으로 2개의 메시가 생성된다(일부 시나리오 및 실시예에서 제1 시점에 대한 2개의 메시는 동일할 수 있는데, 즉 제1 및 제2 텍스처 맵들은 양쪽 모두 동일한 메시와 관련될 수 있다).

이미지 생성기(209)는 양쪽 중간 텍스처 맵, 및 전형적으로 또한 양쪽 중간 메시에 기초하여 출력 이미지를 생성하도록 진행할 수 있다. 나중에 더 상세하게 설명되겠지만, 중간 텍스처 맵들 및 메시들을 예를 들어 조합되어 단일 조합된 중간 텍스처 맵 및 단일 메시를 생성할 수 있고, 이미지 생성기는 이에 기초하여 제2 시점에 대한 이미지를 렌더링할 수 있다. 다른 실시예에서, 제1 중간 텍스처 맵 및 메시로부터 제2 시점에 대한 제1 이미지가 생성될 수 있고, 제2 중간 텍스처 맵 및 메시로부터 제2 시점에 대한 제2 이미지가 생성될 수 있다. 이러한 2개의 이미지는 이어서 조합/병합될 수 있다(예를 들어, 중간 텍스처 맵들에 대한 상대적 차폐를 반영하는 가중치를 사용하여).

특히 유리한 접근법은 제1 시점에 대한, 그리고 실제로는 종종 모든 상대적 시점에 대한 메시가 이미지 신호에서 완전히 표현되지 않는 경우, 즉 이미지 신호가 제1 메시에 대한 부분적인 데이터만을 포함하거나 아무 데이터도 포함하지 않을 수 있는 실시예에서 있을 수 있다.

그러한 접근법에서, 인코더는 앵커 이미지들의 세트를 참조 앵커 이미지들 및 상대적 앵커 이미지들로 분할할 수 있다. 이어서 참조 앵커 이미지들 및 그들의 관련된 메시들로부터 상대적 앵커 이미지들이 예측될 수 있고 원래 앵커 이미지와 예측된 앵커 이미지 간의 차이가 차동적으로 코딩될 수 있다.

그러나, 그러한 접근법은 새로운 문제를 제기하는데 그 이유는 상이한 시점들에 대해 새로운 이미지들을 생성하기 위해 상대적 앵커 이미지(들)가 사용되지만 상대적 시점에 대해 메시가 이용 가능하지 않기 때문이다. 많은 실시예에서, 이는 상대적 앵커로부터의 뷰 합성에 적합하도록 메시를 기하학적으로 수정함으로써 참조 앵커들로부터 그러한 메시를 재사용/재활용함으로써 해결될 수 있다.

이하에서는, 더 상세한 예를 고려하여 접근법이 예시될 것이다.

도 3은 메시 기반 렌더링(적합한 이미지들의 생성)을 위한 접근법의 예를 예시할 수 있다. 이 예에서, 각각의 채워진 원은 공간 앵커 시점/위치를 표현한다. 비어 있는 원은 합성할 뷰의 위치를 표현하는데, 즉 그것은 제2 시점(예를 들어, 관찰자의 왼쪽 눈 위치 또는 오른쪽 눈 위치에 대응)을 표현한다. 각각의 앵커

는 텍스처

및 깊이/3D 메시

로 구성된다. 모든

앵커를 저장, 분배, 및/또는 처리하는 것은 대역폭, 계산 복잡성 등의 측면에서 매우 비싸다. 주어진 원하는 시점에 대해 이미지가 생성되는 뷰-합성은 전형적으로 공간적으로 가장 가까운 앵커(

)로부터의 텍스처가 관련된 메시(

)를 사용하여 원하는 시점으로 워핑되는 것에 기초하는 것이 바람직할 수 있다.

도 4는 앵커들 중 일부에 대한 데이터가 이제 근처의 앵커들로부터 예측되는 설명된 접근법의 특정 사용을 반영하는 예를 예시한다. 이러한 예측된/상대적 앵커 이미지들에 대한 텍스처 맵들은 차이 이미지만을 저장함으로써(예를 들어, JPG 파일로서) 차동적으로 인코딩된다. 상대적 앵커에 대한 메시는 직접 제공될 수 있지만, 많은 실시예에서, 그것은 완전히 인트라 코딩된 참조 이미지들로부터 생성될 수도 있다.

도 4의 예에서는, 앵커 1 및 앵커 5만이 인트라 코딩되는데, 즉 참조 앵커들이다. 앵커 2는 이 예에서 앵커 1 및/또는 앵커 5(양쪽 모두)로부터 예측된다. 앵커 2에 대한 텍스처 및 메시 변수들 위의 물결표 (~)는 이들이 재구성되었음을 나타낸다. 텍스처

는 차동 코딩을 사용하여, 즉 잔차 데이터 텍스처 맵에 기초하여 재구성된다. 메시

는 예를 들어 참조 메시(들)로부터 생성된다. 예를 들어 가장 가까운 앵커(

)로부터의 메시는 기하학적 변환 후에 재활용/재사용된다.

상대적 앵커가 생성되면, 텍스처

및 메시

에 기초한 시점 시프트 알고리즘을 사용하여 원하는 시점에 대한 이미지 I가 계산될 수 있다.

많은 실시예에서, 가장 가까운 앵커는 제1 메시 및 제1 텍스처 맵을 생성하는 데 사용될 수 있다. 도 4에서, 예측된/상대적 앵커 2에 가장 가까이 있는 참조 앵커는 앵커 1이다. 따라서 앵커 1의 메시는 두 번 사용된다: 그것은 먼저 상대적 앵커 2에 대한 텍스처 맵을 합성하는 데 사용되고, 그 후 그것은 '재활용'되고 - 이는 그것이 기하학적으로 수정된다는 것을 의미함 -, 이어서 최종 이미지

를 합성하는 데 사용된다. 인코더(압축할 차동 이미지를 추출하기 위해) 및 디코더 양쪽 모두에서 텍스처 맵

으로부터 텍스처 맵

의 예측을 수행하여 앵커 텍스처

를 재구성한다.

동작은 먼저 메시 좌표들이 카메라 좌표계로 회전 및 변환되고 이어서 원근 투영을 사용하여 투영됨으로써 수행될 수 있다. 이 표준 동작은 전형적으로 모델 뷰 투영 행렬로 불리는 4x4 행렬을 사용하여 동차 좌표들로 표현된다:

[수학식 1]

여기서

는 점

의 투영에 대한 결과 이미지 좌표들이고

는 앵커 2에 대한 카메라 뷰 행렬이다. 수학식 1에서

은 입력 좌표들을 일반 세계 좌표들로 변환하는 변환을 표현하고(그것은 로컬에서 글로벌 객체 좌표들로 변환하기 위한 모델 행렬을 나타냄),

는 세계 좌표들을 앵커 2의 시점에 대한 카메라 좌표들로 변환하고,

는 투영 변환을 수행한다.

수학식 1에서의 연산은 전형적으로 GPU에서 실행되는 소위 버텍스 셰이더 프로그램(vertex shader program)에서 수행된다.

수학식 1에 대한 입력은 메시의 정점들의 3D 점들의 세트뿐만 아니라 대응하는 텍스처 좌표들

및 점들이 어떻게 삼각형들을 형성하는지를 기술하는 인덱스들의 벡터를 포함하는 메시이다. 버텍스 셰이더가 수학식 1에 주어진 바와 같이 수행하는 기하학적 연산은 메시

을 사용하여 텍스처

을 앵커 2로 워핑할 때 그래픽 하드웨어가 수행하는 많은 연산 중 하나일 뿐이다. 간단하게 하기 위해, 이 표준 텍스처 매핑/시점 시프트/변환 동작을 다음과 같이 작성한다:

[수학식 2]

텍스처 매핑은 그래픽 기능을 갖는 대부분의 디바이스에서 이용 가능한 표준 동작이다. OpenGL, Vulkan 및 DirectX와 같은 API들이 이를 지원한다.

텍스처 매핑 동작 후에, 잔차 데이터 텍스처 맵

를 사용하여 생성된 중간 텍스처 맵

에서 원래 텍스처

를 재구성할 수 있다:

[수학식 3]

수학식 3에서의 연산들은 유리하게는 소위 프래그먼트 셰이더 프로그램(fragment shader program)을 사용하여 GPU 상에서 수행될 수 있다. 이는 결과 텍스처

가 GPU 메모리에 유지된다고 하는 이점 - 이는 최종 눈-이미지

를 생성하기 위해 제2 (최종) 렌더 단계를 수행할 때 요구됨 - 을 갖는다.

상이한 시점(제2 시점)에 대한 이미지를 생성하기 위해, 추가적인 뷰-합성 패스를 수행하여 출력 이미지

를 생성한다. 이 단계를 위해, 제1 합성 단계에서 사용된 메시를 재활용한다.

이 제2 뷰-합성 단계를 위해 3D 메시 좌표들에 대해 다음과 같은 기하학적 변환을 수행하는 버텍스 셰이더 프로그램이 사용될 수 있다:

[수학식 4]

.

동일한 점 좌표들:

가 텍스처 맵

의 예측을 위한 수학식 1에서와 같이 버텍스 셰이더에 들어간다는 점에 유의한다. 따라서 수학식 4의 연산을 수행하는 오버헤드는 제한되는데 그 이유는 동일한 좌표들에 대한 이전 뷰 합성 단계로 인해 메시 점들이 GPU 메모리에 이미 존재하기 때문이다. 앵커 2에 대한 카메라 뷰 행렬

는 이제 출력 이미지의 카메라 뷰에 대응하는 뷰 행렬

로 대체되었는데, 즉 그것은 제2 시점에 대응한다. 이제 텍스처 매핑 동작에서 텍스처

와 관련된 텍스처 좌표들

가 필요하다.

제2 텍스처 매핑 동작은 최종 출력 이미지를 생성한다:

[수학식 5]

.

이 프로세스는 추가로 도 5에 의해 예시된다. 이 예에서, 메시

을 사용하여 텍스처

를 예측하기 위해 텍스처

이 워핑된다. 동시에,

자체를 변형시켜

를 생성한다. 잔차 이미지

는 재구성된 텍스처

를 계산하는 데 사용된다. 출력 이미지는 재활용된(변형된) 메시

를 사용하여 재구성

를 워핑함으로써 합성된다.

언급된 바와 같이, 상대적 앵커들에 대한 메시 정보를 전달하기 위해 상이한 접근법들이 사용될 수 있다. 일부 실시예에서, 상대적 앵커에 대한 전용 메시 데이터가 이미지 신호에 포함되어 있지 않고, 따라서 이미지 신호는 상대적 앵커(들)에(만) 구체적으로 관련된 메시 정보를 포함하지 않는다. 그러나, 상대적 앵커 3D 이미지에 대한 메시가 원하는 시점에 대한 이미지 합성을 수행하기 위해 사용되므로, 메시는 수신된 이미지 신호 데이터로부터 생성되어야 한다.

그러한 경우에, 메시 프로세서(203)는 참조 앵커로부터의 메시 데이터로부터 상대적 앵커에 대한 메시를 생성하도록 구성된다. 따라서, 위에 설명된 특정 예에서, 메시 프로세서(203)는 참조 메시로부터 제1 상대적 메시를 생성하도록 구성될 수 있는데, 즉 제1 (상대적) 시점에 대한 메시가 참조 시점의 메시로부터 생성된다.

일부 실시예에서, 메시 프로세서(203)는 단순히 참조 메시를 카피함으로써 제1 상대적 메시를 생성하도록 구성될 수 있다. 이는 특히 상대적 시점과 참조 시점이 서로 매우 가까운 많은 시나리오에서 충분히 정확한 깊이 정보를 가능하게 할 수 있다.

그러나, 다른 실시예에서, 메시 프로세서(203)는 참조 메시에 시점 변환 또는 워핑을 적용하여 이를 참조 시점 위치로부터 상대적 시점 위치로 워핑함으로써 제1 상대적 메시를 생성하도록 구성될 수 있다.

그러한 워핑을 위한 다양한 기법들이 당업자에게 알려져 있고 임의의 적합한 접근법이 사용될 수 있음을 알 것이다.

많은 실시예에서, 이미지 신호는 상대적 앵커 이미지에 대한 전용 메시 데이터를 포함할 수 있다. 따라서, 이미지 신호는 제1 시점에 대해 구체적으로 메시 데이터를 포함할 수 있다. 실제로, 일부 실시예에서, 이미지 신호는 제1 시점에서 상대적 메시의 완전한 인코딩을 포함할 수 있고 메시 프로세서(203)는 단순히 제1 상대적 메시를 디코딩된 수신된 상대적 메시로서 생성할 수 있다. 메시는 전형적으로 텍스처 맵보다 훨씬 적은 데이터를 필요로 하므로, 이 접근법은 여전히 상당한 데이터 레이트 감소를 제공할 것이다.

많은 실시예에서, 이미지 신호는 제1 시점에 대한 메시에 대한 메시 잔차 데이터를 포함할 수 있는데, 즉 그것은 제1 시점에 대한 잔차 메시 데이터를 포함할 수 있다. 잔차 데이터는 제1 시점에 대한 잔차 데이터 텍스처 맵과 동일한 참조 시점에 대한 메시에 관련한 것일 수 있다.

일부 실시예에서, 잔차 메시 데이터는 이것이 이미지 신호에서 수신될 때 참조 메시에 관련하여 제공될 수 있다. 그러나, 많은 실시예에서, 잔차 메시 데이터는 참조 위치로부터 상대적 시점으로의 시점 변환/워핑으로 인한 메시에 관련한 것이다.

따라서, 그러한 실시예에서, 메시 프로세서(203)는 수신된 참조 메시에 시점 변환을 적용함으로써 중간 메시를 생성하도록 구성될 수 있다. 따라서, 중간 메시는 참조 시점으로부터 제1 시점으로의 참조 메시의 워핑으로부터 생성된다. 시점 변환은 잔차 메시 데이터가 생성되는 중간 메시를 생성하기 위해 인코더에 의해 사용되는 것에 대응할 수 있다. 잔차 메시 데이터는 이에 따라 중간 메시를 수정하여 제1 상대적 메시를 생성하는 데 사용될 수 있다.

일부 실시예에서, 잔차 메시 데이터는 예를 들어 전형적으로 메시에서의 정점들의 서브세트의 수정 또는 변경을 나타내는 정보일 수 있다. 예를 들어, 인코더에 의해 중요한 것으로 검출되고/되거나 생성된 중간 메시에서의 위치와 앵커 (상대적) 메시 간의 차이가 너무 큰 정점들에 대해 오프셋 또는 시프트 벡터가 제공될 수 있다. 이에 따라 수신된 시프트 벡터들을 메시에 적용하여 이들을 정확한 위치로 시프트시킬 수 있다.

따라서, 많은 실시예에서, 잔차 메시 데이터는 메시의 정점들의 서브세트에 대한 잔차 데이터만을 포함할 수 있다(워핑은 전형적으로 참조 메시의 정점을 유지하므로, 이미지 신호는 예를 들어 오프셋 정점 벡터들을 어느 한쪽 메시의 정점들에 링크시킬 수 있다). 정점들은 구체적으로 중간 메시와 상대적 메시 간의 비교에 기초하여 인코더에서 선택될 수 있다. 그러한 접근법은 전형적으로 결과 품질에 무시해도 될 정도의 영향을 미치면서 데이터 레이트를 추가로 감소시킬 수 있다.

그러한 접근법의 예가 도 6에 예시된다. 이 예에서는, 예측된/상대적 앵커의 각각의 메시에 대해 소량의 데이터를 전달하여 (송신되지 않은) 원래 메시가 근처의 참조 앵커로부터 워핑되는 메시로부터 재구성될 수 있도록 한다. 전형적으로, 이러한 보정 벡터들은 차폐/탈차폐 영역들에서만 필요할 것이고 따라서 보정 벡터들의 수는 적은 경향이 있을 것이다.

메시 잔차 데이터는 메시 자체에서의 좌표들 (x, y, z) 좌표들에 대한 참조로서 또는 텍스처 맵에서의 대응하는 좌표들 (u,v)에 관련하여 제공될 수 있다는, 즉 메시 데이터는 양쪽 좌표들의 세트들을 포함하는 것으로 간주된다(실제로 정점들은 대응하는 x,y,z 및 u,v 좌표들 양쪽 모두를 포함하는 데이터 벡터들에 의해 표현된다)는 것을 알 것이다.

이전의 설명은 제2 시점(원하는 시점)에 대한 이미지가 상대적 앵커로부터 생성되는 시나리오에 초점을 맞추었고, 이 상대적 앵커는 하나의 참조 앵커에 기초하여 생성된다(그리고 잔차 데이터는 이 참조 앵커에 관련한 것임). 그러나, 일부 실시예에서, 출력 이미지는 프로세스의 일부로서 사용되는 하나 이상의 상대적 앵커 이미지를 통해 복수의 참조 앵커 이미지에 기초하여 생성될 수 있다.

또한 원하는 시점이 참조 앵커에 가장 가까운 경우와 같은 특별한 경우에, 도 1의 장치는 어떠한 상대적 앵커에도 의존하지 않고 이미지를 생성할 수 있다는 점, 예를 들어 그것은 가장 가까운 참조 앵커만을 사용할 수 있다는 점에도 유의해야 한다.

일부 실시예에서, 설명된 접근법은 제2 시점에 대한 다수의 이미지를 생성하는 데 사용될 수 있고 출력 이미지는 이러한 이미지들로부터 생성될 수 있다. 예를 들어, 출력 이미지는 생성된 이미지들의 가중 조합에 의해 생성될 수 있고, 예를 들어, 가중치들은 개별 이미지들에 대한 차폐 정보에 의존한다.

일부 실시예에서, 이미지 생성기(209)는 이에 따라 제1 텍스처 맵 및 제1 메시에 응답하여, 즉 제1 상대적 앵커/3D 이미지에 응답하여 제2 시점에 대한 제1 중간 이미지를 생성하도록 구성될 수 있다. 그것은 추가적인 시점에 대한 추가적인 메시 및 추가적인 텍스처 맵에 응답하여 제2 시점에 대한 제2 중간 이미지를 추가로 생성할 수 있는데, 즉 상이한 앵커 이미지에 기초하여 제2 중간 이미지가 생성된다. 제2 중간 이미지를 생성하기 위한 접근법은 제1 중간 이미지를 생성하기 위한 것과 동일하지만 상이한 앵커 이미지에 기초할 수 있다.

이 상이한 앵커 이미지는 예를 들어 참조 앵커 이미지일 수 있다. 따라서, 일부 실시예에서, 추가적인 텍스처 맵 및 추가적인 메시는 참조 3D 이미지의 텍스처 맵 및 메시일 수 있다.

다른 실시예 또는 시나리오에서, 이 상이한 앵커 이미지는 상대적 앵커 이미지일 수 있다. 따라서, 일부 실시예에서, 추가적인 중간 이미지는 제1 중간 이미지에 대한 것과 정확히 동일한 접근법을 사용하여 생성될 수 있지만 상이한 잔차 데이터 텍스처 맵 및 종종 상이한 참조 이미지를 사용하여 생성된 상이한 상대적 앵커를 사용하여 생성될 수 있다.

따라서, 일부 실시예에서, 제1 텍스처 프로세서(205)는 추가적인 참조 텍스처 맵의 시점으로부터 추가적인 시점으로의 추가적인 참조 텍스처 맵의 시점 변환에 응답하여 추가적인 중간 텍스처 맵을 생성하도록 구성되고 여기서 추가적인 참조 텍스처 맵은 제2 참조 3D 이미지의 텍스처 맵이다. 제2 텍스처 프로세서(207)는 그러한 실시예에서 추가적인 시점에 대한 추가적인 잔차 데이터 텍스처 맵 및 추가적인 중간 텍스처 맵의 조합에 응답하여 추가적인 텍스처 맵을 생성하도록 구성될 수 있다.

유사하게, 메시 프로세서(203)는 추가적인 참조 텍스처 맵의 시점으로부터 추가적인 시점으로의 제2 참조 3D 이미지의 메시의 시점 변환에 응답하여 추가적인 메시를 생성하도록 구성될 수 있다.

이어서 이미지 생성기(209)는 결과의 추가적인 텍스처 맵 및 추가적인 메시로부터 제2 중간 이미지를 생성할 수 있다.

도 1 및 도 2의 접근법들에서는, 제1 상대적 시점에 대한 앵커 이미지 정보를 생성하기 위해 복수의 참조 이미지가 사용된다.

이 접근법에서, 이미지 신호는 제1 시점에 대한 복수의 잔차 데이터 텍스처 맵을 포함한다. 잔차 데이터 텍스처 맵들 각각은 상이한 참조 시점들에 관한, 즉 상이한 참조 텍스처 맵들에 관련한 제1 시점의 텍스처 맵에 대한 잔차 데이터를 제공한다. 이 접근법에서는, 상이한 참조 이미지들 및 잔차 데이터 텍스처 맵들을 사용하여 제1 시점에 대해 복수의 대안적인 상대적 텍스처 맵 및 메시가 생성될 수 있다.

그러한 실시예에서, 메시 프로세서(203)는 제1 상대적 시점에 대한 복수의 메시를 생성하도록 구성될 수 있다. 예를 들어, 위에 설명된 바와 같이 제1 참조 시점으로부터 메시를 생성하는 것 외에, 그것은 추가적인 참조 시점으로부터 제1 시점에 대한 추가적인/제2 메시를 생성할 수도 있다. 예를 들어, 도 3에서는,

으로부터 메시가 생성되고

로부터 추가적인 메시가 생성된다.

구체적으로, 메시 프로세서(203)는 출력 이미지를 생성하는 데 사용된 각각의 참조 시점에 대한 상대적 메시를 생성할 수 있다. 이러한 상대적 메시들 각각은 앞서 설명된 바와 같이 결정될 수 있는데, 즉 전형적으로 고려되는 각각의 참조 시점에 대해 워핑에 이어서 메시 잔차 데이터에 기초한 선택적 보정이 수행될 수 있다.

유사하게, 제1 텍스처 프로세서(205) 및 제2 텍스처 프로세서(207)는 제1 상대적 시점에 대한 복수의 텍스처 맵을 생성하도록 구성될 수 있다. 예를 들어, 위에 설명된 바와 같이 제1 참조 시점으로부터 제1 텍스처 맵을 생성하는 것 외에, 그것은 추가적인 참조 시점으로부터 제1 시점에 대한 추가적인/제2 텍스처 맵을 생성할 수도 있다. 예를 들어, 도 3에서는,

으로부터 텍스처 맵이 생성되고

로부터 추가적인 텍스처 맵이 생성된다. 이러한 텍스처 맵들 각각은 뷰 시프트에 이어서 관련 참조 시점으로부터 적절한 잔차 데이터 텍스처 맵과의 조합에 의해 생성된다.

구체적으로, 제1 텍스처 프로세서(205) 및 제2 텍스처 프로세서(207)는 출력 이미지를 생성하는 데 사용된 각각의 참조 시점에 대한 상대적 텍스처 맵을 생성할 수 있다.

이러한 상대적 텍스처 맵들 각각은 앞서 설명된 바와 같이 결정될 수 있는데, 즉 전형적으로 고려되는 각각의 참조 시점에 대해 워핑에 이어서 잔차 데이터 텍스처 맵에 기초한 보정이 수행될 수 있다. 따라서, 구체적으로, 제1 텍스처 프로세서(205)는 개별 참조 시점의 위치로부터 제1 시점 위치로 개별 참조 시점의 텍스처 맵의 시점 변환을 수행함으로써 각각의 고려되는 참조 시점에 대한 중간 텍스처 맵을 생성할 수 있다. 이어서 제2 텍스처 프로세서(207)는 생성된 중간 텍스처 맵들 각각에 대해 중간 텍스처 맵과 적절한 잔차 데이터 텍스처 맵을 조합함으로써 제1 시점에 대한 텍스처 맵을 생성할 수 있다.

이어서 이미지 생성기(209)는 제1 시점에 대한 복수의 상대적 3D 이미지에 응답하여, 즉 상이한 참조 앵커들로부터 생성된 제1 시점에 대한 텍스처 맵들 및 메시들에 응답하여 출력 이미지를 생성하도록 구성될 수 있다.

이는 상이한 실시예에서 상이한 방식으로 수행될 수 있다. 일부 실시예에서, 제2 시점으로의 시점 변환 전에, 즉 출력 이미지에 대한 이미지 합성 전에 제1 시점에 대해, 즉 상대적 3D 이미지들에 대해 상이한 상대적 3D 이미지들의 병합 또는 조합이 수행될 수 있다. 다른 실시예에서는, 제1 시점에 대한 복수의 상대적 3D 이미지에 시점 변환이 개별적으로 적용되고 이어서 제2 시점에 대한 결과 이미지들이 병합(예를 들어 평균)된다. 상이한 참조 앵커들이 상이한 동적 범위를 갖는 이미지들에 대응하는 경우, 병합 프로세스 동안 특정 높은 동적 범위 처리 단계가 사용될 수 있다는 점에 유의한다.

구체적으로, 일부 실시예에서, 이미지 생성기(209)는 제1 참조 3D 이미지로부터 제1 시점에 대해 생성된 제1 메시 및 제1 텍스처 맵에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 제2 시점에 대한 제1 중간 이미지를 생성하도록 구성될 수 있다. 유사하게, 이미지 생성기(209)는 제2 참조 3D 이미지로부터 제1 시점에 대해 생성된 제2 메시 및 제2 텍스처 맵에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 제2 시점에 대한 제2 중간 이미지를 생성하도록 구성될 수 있다. 따라서, 이 경우에 대안적인 중간 출력 이미지들이 생성된다. 이어서 이러한 출력 이미지들을 이미지 생성기(209)에 의해 조합/병합하여 제2 시점에 대한 최종 출력 이미지를 생성한다.

이 접근법은 이에 따라 다수의 상이한 앵커가 제2 시점에 대한 중간 이미지들을 생성하는 데 사용되지만 이러한 앵커 3D 이미지들 중 일부가 동일한 시점에 대한 것이라는 특정 요건을 갖는 접근법에 대응할 수 있다.

대안적인 중간 출력 이미지들의 조합에 대한 상이한 접근법들이 적용될 수 있다는 것을 알 것이다. 많은 실시예에서, 이 조합은 참조 시점들에 대한 차폐 정보를 표현하는 차폐 데이터에 응답하여 이루어질 수 있다. 예를 들어, 뷰 변환의 일부로서, 탈차폐되는 영역들이 식별될 수 있다. 이러한 영역들은 전형적으로 상이한 시점들에 대해 상이한 영역들일 것이다. 따라서, 이미지 생성기(209)는 가중 조합을 수행함으로써 중간 이미지들을 조합할 때 그렇게 할 수 있으며, 가중치들은 대응하는 픽셀이 탈차폐된 픽셀인지 여부를 반영하도록 설정된다. 이러한 방식으로, 탈차폐 처리에 기인하지 않는 픽셀들에 대한 가중치들은 탈차폐 처리에 기인하는 픽셀들보다 더 높게 가중된다. 간단한 예로서, 탈차폐된 픽셀에 대한 가중치는 다른 중간 이미지 내의 대응하는 픽셀이 탈차폐된 픽셀이 아니면 0으로 설정될 수 있다.

일부 실시예에서, 이미지 생성기(209)는 제1 시점으로부터 제2 시점으로의 시점 시프트의 방향에 관련한 대응하는 참조 시점들로부터 제1 시점으로의 시점 시프트들의 방향에 의존하여 중간 이미지들을 조합하도록 구성될 수 있다. 구체적으로, 동일한 방향에 있는 2개의 시점 시프트에 기인하는 중간 이미지들의 픽셀들에 대한 가중치들은 상이한, 또는 심지어 반대 방향들에 있는 2개의 시점 시프트에 기인하는 중간 이미지들의 픽셀들보다 더 높게 가중될 수 있다.

이는 개선된 결과들을 제공하는 경향이 있을 수 있고 특히 이것이 탈차폐 오류들을 야기할 가능성이 적다는 것을 반영할 수 있는데, 즉 동일한 방향으로의 시프트들은 반대 방향들로의 시프트들보다 더 적은 전체 탈차폐된 영역들을 야기하는 경향이 있을 것이다.

제2 시점 단계에서 조합하는 접근법의 특정한 이점은 그것이 제1 시점에 대한 새로운 조합된 메시의 어떠한 결정도 회피할 수 있다는 것이다. 오히려, 참조 메시들로부터의 수신된 또는 쉽게 도출된 메시들이 시점 변환에서 직접 사용될 수 있다. 다수의 시점 변환이 필요할 수 있지만, 이들은 종종 표준화되고 고도로 (하드웨어) 최적화된 프로세스들이고 따라서 상이한 메시들을 병합/조합하는 동작보다 계산상 덜 문제가 있는 경향이 있다.

일부 실시예에서, 디코더는 언급된 바와 같이 제2 시점으로의 임의의 뷰 변환이 수행되기 전에 제1 시점에 대한 다수의 상대적 3D 이미지를 조합하도록 구성될 수 있다. 예를 들어, 이미지 생성기(209)는 제1 참조 앵커로부터 도출된 제1 텍스처 맵과 제2 참조 앵커로부터 도출된 제2 텍스처 맵을 제1 시점에 대한 제3 텍스처 맵으로 조합할 수 있다. 이 조합은 예를 들어 개별 픽셀들이 탈차폐 처리에 기인하는지 여부에 따라 가중치들이 설정되는 가중 조합일 수 있다.

또한, 이미지 생성기(209)는 제1 참조 앵커로부터 도출된 제1 메시와 제2 참조 앵커로부터 도출된 제2 메시를 제1 시점에 대한 제3 메시로 조합할 수 있다.

메시들을 조합하기 위해 상이한 접근법들이 사용될 수 있지만 전형적으로 그러한 동작들은 텍스처 맵들을 조합하는 것보다 더 복잡한 경향이 있다. 하나의 옵션은 제1 메시로부터의 어느 삼각형들이 제2 메시의 탈차폐 영역에서 매핑되고 반대로 제2 메시로부터의 어느 삼각형들이 제1 메시의 탈차폐 영역에서 매핑되는지를 검출하는 것이다. 이러한 삼각형들은 이어서 탈차폐 영역의 삼각형들을 대체할 수 있다. 따라서, 메시들 중 하나는 탈차폐로 인한 영역들이 다른 메시로부터의 대응하는 영역들로 대체되어 참조로서 사용될 수 있다.

일부 실시예에서, 잔차 메시 데이터는 메시들이 어떻게 병합/조합되는지에 대한 정보를 포함할 수 있다. 예를 들어, 점들이 이동, 병합, 삭제되거나, 새로운 삼각형들이 형성되거나 등등일 수 있다.

이러한 방식으로, 이미지 생성기(209)는 이에 따라 상대적 앵커 3D 이미지를 생성할 수 있고 그것은 이어서 제2 시점으로의 시점 변환에 사용될 수 있다. 따라서, 이미지 생성기(209)는 제3 텍스처 메시 및 제3 메시에 기초하여 제1 시점으로부터 제2 시점으로의 시점 변환에 응답하여 출력 이미지를 생성하도록 구성될 수 있다.

이하에서는 병합이 제2 시점 데이터를 사용하여 수행되는 경우에 다수의 참조 앵커가 사용되는 예에 대한 더 상세한 설명이 제공될 것이다. 이 접근법에서는, 텍스처 블렌딩(blending)을 최종 렌더링, 즉 제2 시점 단계로 연기함으로써 메시들의 블렌딩이 회피될 수 있다.

1. 메시들 M _i , 및 텍스처들 T _i 를 갖는 다수의 참조 앵커가 개별적으로 제1 시점에 대응하는 예측된 앵커 j 상에 워핑되어, 텍스처들 P _i,j 및 메시들 M _i,j 를 야기한다.

2. 임의의 잔차 데이터 텍스처 맵들 E _i,j 가 텍스처들을 리파인하여(refine) T _i,j = P _i,j + E _i,j 를 야기한다.

3. 최종 워핑은 구체적으로 왼쪽 눈 이미지 T _i,j,L 또는 오른쪽 눈 이미지 T _i,j,R 일 수 있는 제2 시점에 대한 중간 출력 이미지들을 생성할 수 있다. 또한, 그것은 신뢰, 디스패리티, 깊이 또는 스트레칭의 양 등을 정량화하는 맵들과 같은 보조 정보를 생성할 수 있다.

4. 이어서 중간 이미지들을 병합하여 최종 출력 이미지에 도달할 수 있고, 이는 다시 왼쪽 눈 이미지 T _L 또는 오른쪽 눈 이미지 T _R 일 수 있다.

일부 실시예에서, 출력 이미지는 다수의 참조 앵커에 기초할 수 있지만 이들 중 복수가 모두 동일한 상대적 시점을 사용한다. 따라서, 이 예에서는, 각각의 예측된 앵커가 다수의 참조 앵커에 기초하므로 텍스처들 및 메시들의 세트가 예측된 앵커와 관련된다. 예측된 앵커와 참조 앵커 간의 관계가 규칙적인 패턴에 의해 결정될 수 있고/있거나 참조 앵커가 참조 앵커들의 식별자들을 인코딩한다. 이 예가 도 7에 예시된다.

다른 실시예에서, 출력 이미지는 다수의 참조 앵커에 기초할 수 있지만 상이한 상대적 앵커들을 통한 것일 수 있다. 그러한 실시예에서는, 다수의 참조 앵커에 기초하여 다수의 예측된/상대적 앵커 j가 생성될 수 있다. 많은 그러한 실시예에서, 단일 참조 앵커만으로부터 각각의 상대적 앵커가 생성되는데 그 이유는 이것이 복잡성의 감소를 야기할 수 있기 때문이다. 그러한 예가 도 8에 예시된다.

물론, 더 일반적으로, 각각의 상대적 앵커를 생성하기 위해 하나 이상의 참조 앵커를 사용하는 것과 출력 이미지를 생성하기 위해 하나 이상의 상대적 앵커(뿐만 아니라 선택적으로 참조 앵커)를 사용하는 것의 임의의 조합이 사용될 수 있다. 그러한 예가 도 8에 예시된다.

메시들을 조합/교차시키는 것의 이점은 그것이 더 거친 메시들이 사용되게 할 수 있고 그에 의해 이들을 전달하는 데 필요한 데이터 레이트를 감소시킬 수 있다는 점이다. 실제로, 메시들이 적당히 거친 한, 그것은 전형적인 구현들에서 전체 복잡성을 결정하는 프래그먼트 셰이더보다는 버텍스 셰이더이다. 이 고려에 기초하여 일부 시나리오에서는 메시들을 교차시키는 것이 매력적일 수 있다; 코딩 및 처리가 거의 또는 전혀 없이 더 큰 메시를 형성하는 것.

예를 들어, 다음의 접근법에 따라 디코더에 의해 상대적 앵커가 생성될 수 있다:

1. 다수의 참조 앵커들 (T _i , M _i )를 예측된 앵커 j (T _i,j , M _i,j )로 워핑하고,

2. 텍스처들을 병합하여 텍스처 예측 P _j 를 형성하고

3. 잔차를 추가하여 텍스처 T _j = P _j + E _j 를 형성하고

4. 일부 시나리오에서, 입력 메시들의 신뢰-기반 블렌딩에 기초하여 고밀도 깊이 맵 D _j 가 또한 존재할 수 있고 선택적으로 잔차 F _j 로 보정될 수 있고

5. 메시들을 교차시켜 하나의 메시 M _j = intersect_i(M _i,j )를 형성한다. 메시들에만 기초하는 교차 방법을 사용하는 것이 유익하지만 일반적으로 그것은 텍스처들에 의존할 수도 있고, 그 경우 메시는 프래그먼트 셰이딩 후에만 이용 가능하다.

메시 교차는 이 알고리즘에 따라 구현될 수 있다:

1. 하나의 디스조인트 그래프(disjoint graph)로서 모든 메시들로 시작하고

2. 선택적으로 정규 메시를 추가하여 전체 뷰포트 (T)가 커버되도록 한다. 경우에 따라서는, 이 메시의 깊이 값들은 다른 메시들로부터 결정되어야 하고, 그 경우 먼저 다른 메시들을 교차시키고, 이어서 그 결과를 정규 메시와 교차시키는 것이 이치에 맞을 수 있다.

3. 2-D 의미로 교차하는 각각의 쌍의 교차하는 에지 e ₁₂ 및 에지 e ₃₄ 에 대해,

a. 교차에서 정점 v ₅ 를 추가한다. 깊이(또는 디스패리티) 컴포넌트를 결정하는 다수의 방법이 존재한다:

i. 가장 짧은 에지(를 형성하는 정점들)로부터 보간하고

ii. 선호: 가장 신뢰하는 에지로부터 보간하고 - 여기서 신뢰는 예를 들어 워핑된 에지가 원래보다 더 길게 스트레칭될 때 더 낮을 수 있음 -

iii. 양쪽 에지들의 평균

iv. 고밀도 깊이 맵 D _j 로부터 값을 페치한다.

b. 에지 e ₁₂ 및 에지 e ₃₄ 를 제거하고

c. 1 내지 4까지 i에 대해 에지들 e _i5 를 추가하고

4. 메시 교차 알고리즘은 결정론적이기 때문에 앞에서 설명된 바와 같이 잔차를 추가하는 것이 가능하다. 예를 들어, 정점 인덱스들 및 값들의 테이블을 사용하여 일부 깊이 값들을 보정하는 것이 가능하다.

일부 실시예에서, 메시 프로세서(203)는 제1 시점에 대해 생성된 메시, 즉 상대적 메시를 필터링하도록 구성될 수 있다.

실제로, 깊이 점프들에서, 메시들이 텍스처 정보와 완벽하게 정렬될 때, 합성 시점을 렌더링할 때 가시적인 스트레칭이 발생할 수 있다. 이는 메시들을 전경 객체들 주위에 더 느슨하게 맞추는 것에 의해 회피될 수 있다. 고밀도 깊이 맵들로 작업할 때, 이 동작은 형태학적 동작에 의해 수행된다. 메시들에 대해, 이는 깊이 필드의 그라디언트(gradient)의 방향으로(가상 카메라 위치로부터 증가되는 거리를 향해) 정점들을 이동시킴으로써 수행될 수 있다.

필터링의 양이 중요한데 그 이유는 너무 많은 필터링이 적용되면 배경이 전경과 혼합되어, 결국 잠재적으로 이것이, 특히 배경 모션에 따라, 후광으로 보이는 경향이 있을 것이기 때문이다.

일부 실시예에서, 이미지 신호는 적용될 필터링을 나타내는 메타데이터를 포함하도록 구성될 수 있다. 예를 들어, 이미지 신호는 얼마나 많은 필터링이 적용되어야 하는지를 특정할 수 있다(파일, 스트림, 메시 및/또는 정점마다). 이 값은 공간 단위들(예를 들어, 픽셀들)일 수 있고 이 경우 깊이 그라디언트의 방향만이 고려되거나, 또는 그것은 깊이 또는 디스패리티 단위들일 수 있고 이 경우 깊이 그라디언트의 크기도 고려된다.

이 필터링은 바람직하게는 임의의 메시 잔차를 추가하기 전에(즉 상대적 메시 및 대응하는 메시 잔차 데이터를 조합하기 전에) 적용되어 잔차가 워핑 및 필터링 양쪽 모두에 대한 보정의 역할을 하게 된다.

이미지 신호는 전형적으로 이미지 신호의 처리를 용이하게 할 수 있는 메타데이터(즉, 이미지 신호의 다른 데이터에 관한 데이터)를 포함할 수 있다. 구체적으로, 이미지 신호는 앞서 설명된 바와 같이 참조 시점들 및 잔차 시점들의 상이한 쌍들에 대한 복수의 잔차 데이터 텍스처 맵을 포함할 수 있다. 이미지 신호는 이미지 신호의 어느 3D 이미지들이 이미지 신호의 어느 잔차 데이터 텍스처 맵들에 링크되는지를 나타내는 메타데이터를 추가로 포함할 수 있다. 디코더는 이 메타데이터를 추출하고 주어진 상대적 앵커에 대한 텍스처 맵을 생성할 때 적절한 잔차 데이터 텍스처 맵들 및 참조 이미지들을 선택하도록 진행할 수 있다.

많은 실시예에서, 이미지 신호는 추가적으로 또는 대안적으로 메시 생성 제어 데이터를 포함할 수 있고 메시 프로세서(203)는 메시 생성 제어 데이터에 응답하여 상대적 메시(들)를 생성하도록 구성될 수 있다.

예를 들어, 위에 설명된 바와 같이 메시 생성 제어 데이터는 생성된 중간 메시에 적용되어야 하는 필터링을 특정하는 데이터를 포함할 수 있다. 이는 인코더가 이것이 실제 이미지 속성들에 기초하여 적응될 수 있도록 필터링을 제어할 수 있게 하고, 실제로 이러한 고려는 예를 들어 주어진 상대적 시점에 대해 수신되었을 수 있는 원래 메시와의 비교들에 기초하여 이루어질 수 있다.

이 접근법은 또한 메시 생성 제어 데이터가 상이한 상대적 시점들 및/또는 상이한 참조 시점들에 대해 상이한 제어 데이터를 제공하는 것을 가능하게 할 수 있다. 따라서, 그것은 다른 앵커들이 상이하게 취급되는 것을 가능하게 할 수 있다. 예를 들어, 다음을 포함하는 메시 생성 제어 데이터가 제공될 수 있다:

각각의 예측된 앵커에 대해 메시가 어떻게 형성되어야 하는지를 나타내는 필드,

다수의 이용 가능한 선택 중에서 선택, 예를 들어:

정규 메시

가장 가까운 앵커로부터의 메시

앵커 i로부터의 메시

메시 교차

기타 등등.

예측된 앵커마다 몇 개의 그리고 어느 참조 앵커들이 사용되어야 하는지를 나타내는 필드들.

도 2의 장치는 이에 따라 상이한 시점들로부터의 장면을 표현하는 다수의 3차원 이미지를 포함하는 이미지 신호를 수신하기 위한 수신기(201)로서, 각각의 3차원 이미지는 메시 및 텍스처 맵을 포함하고, 이 신호는 다수의 3차원 이미지의 상이한 시점들과 상이한 제1 시점에 대한 잔차 데이터 텍스처 맵을 추가로 포함하고, 잔차 데이터 텍스처 맵은 다수의 3차원 이미지 중 제1 3차원 이미지의 텍스처 맵인 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하는, 수신기; 제1 시점에 대한 제1 메시를 생성하기 위한 메시 프로세서(203); 제1 3차원 이미지의 시점으로부터 제1 시점으로의 참조 텍스처 맵의 시점 변환에 응답하여 중간 텍스처 맵을 생성하기 위한 제1 텍스처 프로세서(205); 중간 텍스처 맵과 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 텍스처 맵을 생성하기 위한 제2 텍스처 프로세서(207); 및 제1 텍스처 맵 및 제1 메시로부터 제2 시점에 대한 이미지를 생성하기 위한 이미지 생성기(209)를 포함할 수 있다.

또한, 이미지 신호는 구체적으로 제1 시점에 대한 복수의 잔차 데이터 텍스처 맵을 포함할 수 있고, 복수의 잔차 데이터 텍스처 맵은 제1 시점에 대한 잔차 데이터 텍스처 맵을 포함하고; 메시 프로세서(203)는 복수의 3차원 이미지 중 제2 3차원 이미지의 메시인 추가적인 참조 메시로부터 제1 시점에 대한 제2 메시를 추가로 생성하도록 구성될 수 있고; 제1 텍스처 프로세서(205)는 제2 3차원 이미지의 시점으로부터 제1 시점으로의 추가적인 참조 텍스처 맵의 시점 변환에 응답하여 추가적인 중간 텍스처 맵을 생성하도록 구성될 수 있고, 추가적인 참조 텍스처 맵은 제2 3차원 이미지의 텍스처 맵이고; 제2 텍스처 프로세서(207)는 제1 시점에 대한 추가적인 잔차 데이터 텍스처 맵과 추가적인 중간 텍스처 맵의 조합에 응답하여 제2 텍스처 맵을 생성하도록 구성될 수 있고, 추가적인 잔차 데이터 텍스처 맵은 제2 3차원 이미지에 대한 것이고; 이미지 생성기(209)는 제2 텍스처 맵 및 제2 메시로부터 제2 시점에 대한 이미지를 추가로 생성하도록 구성될 수 있다.

이 특정 접근법이 사용될 수 있는 시점들은 개별 실시예의 요건들 및 선호도들에 의존할 것이다. 많은 실시예에서, 이 접근법은 예를 들어 사용자 입력 또는 움직임에 기초하여 로컬로 결정되는 장면에서 가상 시점들에 대한 이미지들을 생성하기 위해 사용될 것이다(예를 들어 가상 현실 경험을 제공하기 위해).

그러나, 이 접근법은 그러한 실시예로 제한되지 않고 예를 들어 장면 데이터와 동일한 신호에 포함되어 있는 시점 정보에 기초한 실제 구현들이 사용될 수 있다는 점을 정중히 제안한다. 예를 들어, 신호는 설명된 장면 데이터 외에 선호되는, 필수적인, 또는 제안된 시점들의 표시들을 포함할 수 있고 이 장치는 정의된 접근법을 사용하여 이러한 시점들에 대한 이미지들을 생성할 수 있다.

실제로, 예로서, 다른 참조 시점 및 상대적 시점에 기초하여 하나의 참조 시점에 대한 이미지를 로컬로 생성하기 위해 이 접근법이 사용될 수 있는 것도 생각할 수 있다. 그러한 이미지는 예를 들어 제1 참조 시점의 메시 및 텍스처로부터 직접 생성된 대응하는 이미지와 비교될 수 있다. 차이가 주어진 양보다 작다면, 시스템은 제1 참조 시점에 대한 메시 및 텍스처 맵이 폐기될 수 있고 이 정보 없이 새로운 신호가 생성될 수 있다고 결정할 수 있다. 따라서, 이 장치는 정의된 접근법을 사용하여 트랜스코딩/데이터 레이트 감소를 수행할 수 있다.

전형적으로 제2 시점은 원래 참조 시점보다 제1 시점에 더 가까울 것이고, 이는 결코 필수는 아니다. 예를 들어, 원래 참조 시점은 큰 배경 섹션을 차폐하는 전경 객체의 바로 오른쪽에 있을 수 있다. 원하는 시점(제2 시점)은 이 전경 객체의 바로 왼쪽에 있을 수 있고 따라서 참조 시점에 대한 메시 및 텍스처 맵은 차폐된 배경 섹션에 대한 충분한(또는 임의의) 정보를 제공하지 않을 수 있다. 그러나, 전경 객체의 실질적으로 왼쪽에 있는 그리고 참조 시점보다 제2(원하는) 시점으로부터 실질적으로 더 멀리 떨어져 있을 수 있는 제1/상대적 시점에 대한 잔차 텍스처 맵이 제공될 수 있다. 그러나, 이 제1/상대적 시점에 대한 텍스처 맵 및 메시를 생성하는 것은 제2 시점에 대한 이미지를 생성하는 데 사용될 수 있는 훨씬 더 양호한 정보를 야기할 수 있다(그것은 참조 시점으로부터 차폐되는 큰 배경 섹션에 대한 정보를 가질 것이다). 잔차 텍스처 맵은 참조 시점으로부터 전경 객체에 의해 차폐된 배경 섹션에 대한 정보를 포함할 것이기 때문에 이는 제1/상대적 시점 데이터가 참조 시점에 기초하는 경우에도 해당될 것이라는 점에 유의한다.

많은 상이한 예가 구상될 수 있고 바람직한 접근법 및 구현은 개별 실시예의 개별 요건들 및 선호도들(예를 들어, 장면의 세부 사항, 데이터 레이트 등을 포함함)에 의존할 것임을 알 것이다.

위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예를 설명하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분배가 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 참조들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 참조들로 간주되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분배될 수 있다.

본 발명이 일부 실시예와 관련하여 설명되었지만, 본 발명은 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구범위에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예와 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구범위에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서, 단수형 표현("a", "an"), "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구범위에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구범위의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims

이미지를 생성하기 위한 장치로서,
이미지 신호를 수신하도록 배열되는 수신기
- 상기 이미지 신호는 복수의 3차원 이미지들 및 제1 시점(viewpoint)에 대한 복수의 잔차 데이터 텍스처 맵들(residual data texture maps)을 포함하고,
상기 복수의 3차원 이미지들은 복수의 시점들로부터의 장면(scene)을 포함하고,
각각의 3차원 이미지는 참조 메시(reference mesh) 및 참조 텍스처 맵(referece texture map)을 포함하고,
상기 복수의 3차원 이미지들은 제1 3차원 이미지 및 제2 3차원 이미지를 포함하고,
상기 제1 3차원 이미지는 제1 참조 메시 및 제1 참조 텍스처 맵을 포함하고,
상기 제2 3차원 이미지는 제2 참조 메시 및 제2 참조 텍스처 맵을 포함하고,
상기 제1 시점은 상기 복수의 시점들과 상이하고,
상기 복수의 잔차 데이터 텍스처 맵들 중 제1 잔차 데이터 텍스처 맵은 제1 시점 시프트 텍스처 맵(viewpoint shift texture map)에 관련한 제1 시점 텍스처 맵(viewpoint texture map)에 대한 잔차 데이터(residual data)를 제공하고,
상기 제1 시점 시프트 텍스처 맵은 상기 제1 참조 텍스처 맵의 시점 시프트(viewpoint shift)에 의해 야기되고,
상기 복수의 잔차 데이터 텍스처 맵들 중 제2 잔차 데이터 텍스처 맵은 제2 시점 시프트 텍스처 맵에 관련한 상기 제1 시점 텍스처 맵에 대한 잔차 데이터를 제공하고,
상기 제2 시점 시프트 텍스처 맵은 상기 제2 참조 텍스처 맵의 시점 시프트에 의해 야기됨 - ;
상기 제1 시점에 대한 제1 메시를 생성하고, 상기 제2 참조 메시로부터 상기 제1 시점에 대한 제2 메시를 생성하도록 배열되는, 메시 프로세서;
상기 제1 3차원 이미지의 시점으로부터 상기 제1 시점으로의 상기 제1 참조 텍스처 맵의 시점 변환(viewpoint transformation)에 응답하여 제1 중간 텍스처 맵(intermediate texture map)을 생성하고, 상기 제2 3차원 이미지의 시점으로부터 상기 제1 시점으로의 상기 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성도록 배열되는 제1 텍스처 프로세서;
상기 제1 중간 텍스처 맵과 상기 제1 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 텍스처 맵을 생성하고, 상기 제2 중간 텍스처 맵과 상기 제2 잔차 데이터 텍스처 맵의 조합에 응답하여 제2 텍스처 맵을 생성하도록 배열되는, 제2 텍스처 프로세서; 및
상기 제1 텍스처 맵, 상기 제1 메시, 상기 제2 텍스처 맵 및 상기 제2 메시로부터 제2 시점에 대한 이미지를 생성하도록 배열되는 이미지 생성기;를 포함하는, 이미지를 생성하기 위한 장치.
제1항에 있어서,
상기 이미지 신호는 참조 메시에 관련하여 상기 제1 시점에 대한 메시에 대한 메시 잔차 데이터(mesh residual data)를 추가로 포함하고,
상기 참조 메시는 상기 제1 3차원 이미지의 메시이고,
상기 메시 프로세서는 상기 메시 잔차 데이터 및 상기 참조 메시에 응답하여 상기 제1 메시를 생성하도록 배열되는, 이미지를 생성하기 위한 장치.
제2항에 있어서,
상기 메시 잔차 데이터는 상기 제1 메시의 정점들(vertices)의 서브세트에 대해서만 잔차 데이터를 포함하는, 이미지를 생성하기 위한 장치.
제1항에 있어서,
상기 이미지 신호는 상기 제1 시점에 대한 메시 데이터를 포함하지 않는, 이미지를 생성하기 위한 장치.
제1항에 있어서,
상기 이미지 신호는 메시 생성 제어 데이터(mesh generation control data)를 포함하고,
상기 메시 프로세서는 상기 메시 생성 제어 데이터에 응답하여 상기 제1 메시를 생성하도록 배열되는, 이미지를 생성하기 위한 장치.
제1항에 있어서,
상기 이미지 신호는 상기 복수의 잔차 데이터 텍스처 맵들에 링크된 3차원 이미지들을 나타내는 메타데이터를 포함하는, 이미지를 생성하기 위한 장치.
제1항에 있어서, 상기 이미지 생성기는,
상기 제1 텍스처 맵 및 상기 제1 메시에 응답하여 상기 제2 시점에 대한 제1 중간 이미지(intermediate image)를 생성하고,
추가적인 시점(additional viewpoint)에 대한 추가적인 텍스처 맵 및 추가적인 메시에 응답하여 상기 제2 시점에 대한 제2 중간 이미지를 생성하고,
상기 제1 중간 이미지와 상기 제2 중간 이미지를 조합함으로써 상기 이미지를 생성하도록 배열되는, 이미지를 생성하기 위한 장치.
제1항에 있어서, 상기 이미지 생성기는,
상기 제1 텍스처 맵 및 상기 제1 메시에 기초하여 상기 제1 시점으로부터 상기 제2 시점으로의 시점 변환에 응답하여 상기 제2 시점에 대한 제1 중간 이미지를 생성하고,
상기 제2 텍스처 맵 및 상기 제2 메시에 기초하여 상기 제1 시점으로부터 상기 제2 시점으로의 시점 변환에 응답하여 상기 제2 시점에 대한 제2 중간 이미지를 생성하고,
상기 제1 중간 이미지와 상기 제2 중간 이미지를 조합함으로써 상기 이미지를 생성하도록 배열되는, 이미지를 생성하기 위한 장치.
제8항에 있어서, 상기 이미지 생성기는,
적어도 상기 제1 3차원 이미지의 시점과 관련된 차폐 데이터(occlusion data)에 응답하여 상기 제1 중간 이미지와 상기 제2 중간 이미지를 조합하도록 배열되는, 이미지를 생성하기 위한 장치.
제8항에 있어서, 상기 이미지 생성기는,
적어도 상기 제2 3차원 이미지의 시점과 관련된 차폐 데이터에 응답하여 상기 제1 중간 이미지와 상기 제2 중간 이미지를 조합하도록 배열되는, 이미지를 생성하기 위한 장치.
제1항에 있어서, 상기 이미지 생성기는,
상기 제1 텍스처 맵와 상기 제2 텍스처 맵을 상기 제1 시점에 대한 제3 텍스처 맵으로 조합하고,
상기 제1 메시와 상기 제2 메시를 상기 제1 시점에 대한 제3 메시로 조합하고,
상기 제3 텍스처 맵 및 상기 제3 메시에 기초하여 상기 제1 시점으로부터 상기 제2 시점으로의 시점 변환에 응답하여 상기 이미지를 생성하도록 배열되는, 이미지를 생성하기 위한 장치.
이미지 신호를 생성하기 위한 장치로서,
복수의 3차원 이미지들을 수신하도록 배열되는 수신기
- 상기 복수의 3차원 이미지들은 복수의 시점들로부터의 장면을 표현하고,
각각의 3차원 이미지는 참조 메시 및 참조 텍스처 맵을 포함하고,
상기 복수의 3차원 이미지들은 제1 3차원 이미지 및 제2 3차원 이미지를 포함하고,
상기 제1 3차원 이미지는 제1 참조 메시 및 제1 참조 텍스처 맵을 포함하고,
상기 제2 3차원 이미지는 제2 참조 메시 및 제2 참조 텍스처 맵을 포함하고,
상기 수신기는 제1 시점에 대한 제1 텍스처 맵을 수신하도록 배열되고,
상기 제1 시점은 상기 복수의 시점들과 상이함 - ;
상기 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을 생성하고, 상기 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하도록 배열되는, 뷰 시프트 프로세서(view shift processor);
상기 제1 중간 텍스처 맵과 상기 제1 텍스처 맵의 비교에 응답하여 제1 잔차 데이터 텍스처 맵을 생성하고, 상기 제2 중간 텍스처 맵과 상기 제1 텍스처 맵의 비교에 응답하여 제2 잔차 데이터 텍스처 맵을 생성하도록 배열되는 잔차 프로세서 - 상기 제1 잔차 데이터 텍스처 맵은 상기 제1 중간 텍스처 맵과 상기 제1 텍스처 맵 간의 차이를 나타내고, 상기 제2 잔차 데이터 텍스처 맵은 상기 제2 중간 텍스처 맵과 상기 제1 텍스처 맵 간의 차이를 나타냄 - ; 및
상기 복수의 3차원 이미지들, 상기 제1 잔차 데이터 텍스처 맵 및 상기 제2 잔차 데이터 텍스처 맵을 포함하도록 이미지 신호를 생성하도록 배열되는 신호 생성기;를 포함하는, 이미지 신호를 생성하기 위한 장치.
이미지를 생성하는 방법으로서,
이미지 신호를 수신하는 단계
- 상기 이미지 신호는 복수의 3차원 이미지들, 제1 시점에 대한 복수의 잔차 데이터 텍스처 맵들, 상기 복수의 잔차 데이터 텍스처 맵들 중 제1 잔차 데이터 텍스처 맵 및 상기 복수의 잔차 데이터 텍스처 맵들 중 제2 잔차 데이터 텍스처 맵을 포함하고,
상기 복수의 3차원 이미지들은 상기 복수의 시점들로부터의 장면을 표현하고,
각각의 3차원 이미지는 참조 메시 및 참조 텍스처 맵을 포함하고,
상기 복수의 3차원 이미지들은 제1 3차원 이미지 및 제2 3차원 이미지를 포함하고,
상기 제1 3차원 이미지는 제1 참조 메시 및 제1 참조 텍스처 맵을 포함하고,
상기 제2 3차원 이미지는 제2 참조 메시 및 제2 참조 텍스처 맵을 포함하고,
상기 제1 시점은 상기 복수의 시점들과 상이하고,
상기 복수의 잔차 데이터 텍스처 맵들 중 상기 제1 잔차 데이터 텍스처 맵은 상기 제1 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 상기 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공하고,
상기 복수의 잔차 데이터 텍스처 맵들 중 상기 제2 잔차 데이터 텍스처 맵은 상기 제2 참조 텍스처 맵의 시점 시프트로 인한 텍스처 맵에 관련한 상기 제1 시점에 대한 텍스처 맵에 대한 잔차 데이터를 제공함 - ;
상기 제1 시점에 대한 제1 메시를 생성하는 단계;
상기 제2 참조 메시로부터 상기 제1 시점에 대한 제2 메시를 생성하는 단계;
상기 제1 3차원 이미지의 시점으로부터 상기 제1 시점으로의 상기 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을 생성하는 단계;
상기 제2 3차원 이미지의 시점으로부터 상기 제1 시점으로의 상기 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하는 단계;
상기 제1 중간 텍스처 맵과 상기 제1 잔차 데이터 텍스처 맵의 조합에 응답하여 제1 텍스처 맵을 생성하는 단계;
상기 제2 중간 텍스처 맵과 상기 제2 잔차 데이터 텍스처 맵의 조합에 응답하여 제2 텍스처 맵을 생성하는 단계; 및
상기 제1 텍스처 맵, 상기 제1 메시, 상기 제2 텍스처 맵 및 상기 제2 메시로부터 제2 시점에 대한 이미지를 생성하는 단계;를 포함하는, 이미지를 생성하는 방법.
제13항에 있어서,
상기 이미지 신호는 참조 메시에 관련하여 상기 제1 시점에 대한 메시에 대한 메시 잔차 데이터를 추가로 포함하고,
상기 참조 메시는 상기 제1 3차원 이미지의 메시이고,
상기 제1 메시는 상기 메시 잔차 데이터 및 상기 참조 메시에 응답하여 생성되는, 이미지를 생성하는 방법.
제14항에 있어서,
상기 메시 잔차 데이터는 상기 제1 메시의 정점들의 서브세트에 대해서만 잔차 데이터를 포함하는, 이미지를 생성하는 방법.
제13항에 있어서,
상기 이미지 신호는 상기 제1 시점에 대한 메시 데이터를 포함하지 않는, 이미지를 생성하는 방법.
제13항에 있어서,
상기 이미지 신호는 상기 복수의 잔차 데이터 텍스처 맵들에 링크된 3차원 이미지들을 나타내는 메타데이터를 포함하는, 이미지를 생성하는 방법.
이미지 신호를 생성하는 방법으로서,
복수의 3차원 이미지들 및 제1 텍스처 맵을 수신하는 단계
- 상기 복수의 3차원 이미지들은 복수의 시점들로부터의 장면을 표현하고, 각각의 3차원 이미지는 참조 텍스처 맵을 포함하고, 상기 복수의 3차원 이미지들은 제1 3차원 이미지 및 제2 3차원 이미지를 포함하고, 상기 제1 3차원 이미지는 제1 참조 메시 및 제1 참조 텍스처 맵을 포함하고, 상기 제2 3차원 이미지는 제2 참조 메시 및 제2 참조 텍스처 맵을 포함하고, 상기 제1 텍스처 맵은 제1 시점에 대한 것이고, 상기 제1 시점은 상기 3차원 이미지들의 복수의 시점들과 상이함 - ;
상기 복수의 3차원 이미지들 중 상기 제1 3차원 이미지로부터 상기 제1 시점으로의 상기 제1 참조 텍스처 맵의 시점 변환에 응답하여 제1 중간 텍스처 맵을 생성하는 단계;
상기 복수의 3차원 이미지들 중 상기 제2 3차원 이미지로부터 상기 제1 시점으로의 상기 제2 참조 텍스처 맵의 시점 변환에 응답하여 제2 중간 텍스처 맵을 생성하는 단계;
상기 제1 중간 텍스처 맵과 상기 제1 텍스처 맵의 비교에 응답하여 제1 잔차 데이터 텍스처 맵을 생성하는 단계;
상기 제2 중간 텍스처 맵과 상기 제1 텍스처 맵의 비교에 응답하여 제2 잔차 데이터 텍스처 맵을 생성하는 단계 - 상기 제1 잔차 데이터 텍스처 맵은 상기 제1 중간 텍스처 맵과 상기 제1 텍스처 맵 간의 차이를 나타내고, 상기 제2 잔차 데이터 텍스처 맵은 상기 제2 중간 텍스처 맵과 상기 제1 텍스처 맵 간의 차이를 나타냄 - ; 및
상기 복수의 3차원 이미지들, 상기 제1 잔차 데이터 텍스처 맵 및 상기 제2 잔차 데이터 텍스처 맵을 포함하도록 이미지 신호를 생성하는 단계;를 포함하는, 이미지 신호를 생성하는 방법.