KR20210059775A - 이미지 합성 - Google Patents

Abstract

이미지 합성 장치는 이미지 소스로부터 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 이미지 부분들 및 연관된 깊이 데이터를 수신하기 위한 수신기(301)를 포함한다. 저장소(311)는 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 저장하며, 여기서 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타낸다. 결정기(305)는 렌더링 뷰 포즈를 결정하고 이미지 합성기(303)는 수신 이미지 부분으로부터 적어도 하나의 이미지를 합성한다. 선택기는 깊이 전이 메트릭에 응답하여 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하도록 배열되고 검색기(309)는 이미지 소스로부터 제1 이미지 부분을 검색한다. 렌더링 뷰 포즈에 대한 이미지 부분의 합성은 제1 이미지 부분에 기초한다.

Description

이미지 합성

본 발명은 이미지 합성 및 이를 위한 이미지 데이터 스트림의 생성에 관한 것이며, 특히, 그러나 비배타적으로, 예를 들어 가상 현실 애플리케이션들 및 서비스들을 위한 이미지들의 이미지 부분들에 기초한 이미지 합성에 관한 것이다.

이미지 및 비디오 애플리케이션들의 다양성 및 범위는 최근 수년간 대폭적으로 증가했으며, 비디오를 이용하고 소비하는 새로운 서비스들 및 방식들이 계속해서 개발되고 도입되고 있다.

예를 들어, 점점 더 인기가 있는 하나의 서비스는 관찰자(viewer)가 렌더링의 파라미터들을 변경하기 위해 시스템과 능동적으로 그리고 동적으로 상호작용할 수 있는 방식으로 이미지 시퀀스들을 제공하는 것이다. 많은 애플리케이션에서의 매우 매력적인 특징은, 예를 들어 관찰자가 제시되는 장면(scene)에서 움직이고 "둘러보는" 것을 가능하게 하는 것과 같은, 관찰자의 유효 관찰 위치 및 관찰 방향(관찰 포즈)을 변경하는 능력이다.

그러한 특징은 구체적으로 가상 현실 경험이 사용자에게 제공되는 것을 가능하게 할 수 있다. 이것은 사용자가 가상 환경에서 (비교적) 자유롭게 돌아다니고 그의 위치 및 그가 보고 있는 곳을 동적으로 변경하는 것을 가능하게 할 수 있다. 전형적으로, 그러한 가상 현실 애플리케이션들은 장면의 3차원 모델에 기초하며, 이러한 모델은 특정한 요청된 뷰(view)를 제공하기 위해 동적으로 평가된다. 이러한 접근법은 예를 들어 컴퓨터 및 콘솔용 게임 애플리케이션들로부터, 예컨대 1인칭 슈터들의 게임 카테고리에서 잘 알려져 있다.

특히 가상 현실 애플리케이션들에 대해, 제시되는 이미지가 3차원 이미지인 것이 또한 바람직하다. 실제로, 관찰자의 몰입을 최적화하기 위해, 전형적으로 사용자가 제시된 장면을 3차원 장면으로서 경험하는 것이 바람직하다. 실제로, 가상 현실 경험은 바람직하게는 사용자가 가상 세계에 대한 그/그녀 자신의 위치, 카메라 뷰 포인트(camera viewpoint), 및 시간적 순간을 선택할 수 있게 하여야 한다.

특히 장면의 3차원 표현들에 기초하여 다양한 서비스를 지원함에 있어서의 주요 문제는 다량의 데이터가 요구된다는 것이다. 이것은 큰 저장 리소스들에 대한 필요성과 같은, 높은 리소스 요건들을 유발한다. 그러나, 많은 시나리오에서, 가장 큰 제약은 저장 또는 처리 요건들이 아니라 통신 요건들이다. 장면을 표현하는 데이터가 대역폭 제한된 통신 채널(내부이든지 또는 외부이든지 간에)을 통해 통신되어야 하는 것이 요구되는 경우, 통신될 필요가 있는 데이터의 양을 감소시키려고 시도하는 것이 매우 바람직하다.

예를 들어, 많은 시나리오에서 그리고 많은 애플리케이션에 대해, 클라이언트 서버 접근법이 사용될 수 있으며, 여기서 예를 들어 가상 현실 애플리케이션을 실행하는 원격 클라이언트는 대역폭 제한된 링크를 통해 요구되는 장면 데이터를 제공하는 중앙 서비스에 결합된다. 그러나 멀티-뷰 표현이 전형적으로 높은 비트레이트와 연관될 것이다(깊이 정보가 없어도, 높은 비트레이트가 요구되고, 실제로 이것은 종종 이러한 경우에 훨씬 더 높을 수 있는데, 이는 더 많은 뷰가 필요할 것이기 때문이다). 예를 들어, 모션 자유도(motion freedom)를 갖는 가상 현실 재생은 관찰자가 3D 공간을 통해 움직이고 있는 속도로 장면의 상이한 뷰들을 요구할 것이다. 그러한 통신 채널을 통해 충분한 데이터를 제공하는 과제는 실제로는 처리하기가 매우 어렵다.

대역폭 제한된 통신 채널들을 통한 3D 기하 구조 및 텍스처 정보(texture information)의 효율적인 스트리밍을 위해, 그리고 특히 인터넷과 같은 네트워크들과 함께 사용하기 위해 여러 포맷들이 제안되었다. 예를 들어, MPEG OMAF(Omnidirectional MediA Format) 표준은 MPEG DASH(Dynamic Adaptive Streaming over HTTP)를 사용하는 360 비디오(3 자유도(DoF))의 타일형 스트리밍(tiled streaming)을 포함할 것이다. OMAF의 미래 버전은 제한된 모션 시차(motion parallax)(3DoF+)를 지원할 것으로 예상된다.

전술한 바와 같이, 실제로는, 깊이 코딩을 갖는 멀티-뷰에서의 가장 시급한 문제는 종종 저장 요건이 아니라 오히려 전송 대역폭 및 레이턴시(latency)이다. 매끄러운 경험을 갖기 위해, 이미지들은 헤드셋에 제시간에 도달해야 한다. 그러나, 개발된 포맷들 및 인코딩들은 데이터 레이트를 감소시키고자 하지만, 이것은 여전히 전형적으로 클라이언트 측에서 달성될 수 있는 품질 및 사용자 경험에 대한 주요 제한이다.

또한, 생성된 이미지들의 충분히 높은 품질을 유지하기 위해, 적절한 데이터가 뷰 합성에 이용 가능한 것이 중요하다. 특히, 상이한 뷰포인트로부터의 이미지의 합성은 객체의 깊이에 의존하는 시차 시프트(parallax shift)를 야기한다. 따라서, 시프트는 다른 뷰포인트들로부터의 데이터에 의해 또는 하지만 최적이 아닌 경향이 있는 외삽에 의해 채워져야 하는 이미지 내의 구멍들을 드러낼 수 있는 역폐색(de-occlusion)을 야기할 수 있다. 따라서, 요구되는 데이터 레이트와 합성기에 제공되는 데이터의 양 사이에 중대한 트레이드-오프가 존재한다.

따라서, 이미지 데이터 스트림들을 생성하고 사용하기 위한 개선된 접근법이 유리할 것이다. 특히, 개선된 동작, 용이한 동작, 장면의 개선된 표현, 증가된 유연성, 용이한 구현, 용이한 동작, 감소된 데이터 레이트, 감소된 데이터 저장, 분배, 및/또는 처리 리소스 요건들, 개선된 적응성, 개선된 이미지 품질, 및/또는 개선된 성능을 허용하는 접근법이 유리할 것이다.

따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 태양에 따르면, 이미지 합성 장치가 제공되며, 이미지 합성 장치는 이미지 소스로부터, 수신 이미지 부분들 및 연관된 깊이 데이터를 수신하기 위한 수신기로서, 이미지 부분들은 상이한 뷰 포즈(view pose)들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 수신기; 렌더링 뷰 포즈(rendering view pose)를 결정하기 위한 결정기; 수신 이미지 부분들의 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭(depth transition metric)을 포함하는 저장소로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 저장소; 렌더링 뷰 포즈 및 깊이 전이 메트릭에 응답하여 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하기 위한 선택기; 및 이미지 소스로부터 제1 이미지 부분을 검색하기 위한 검색기; 제1 이미지 부분을 포함하는 수신 이미지 부분들로부터 적어도 하나의 이미지를 합성하기 위한 이미지 합성기를 포함한다.

본 발명은, 이를테면 예를 들어 자유 뷰포인트 비디오 시스템에서, 이미지 합성 및 분배 시스템에 대한 개선된 동작 및/또는 성능을 제공할 수 있다. 이 접근법은 뷰들이 적응되는 가상/인공/증강 현실 경험에 대한 특히 유리한 성능을 제공할 수 있다. 이 접근법은 많은 시나리오에서 감소된 복잡도를 제공할 수 있다. 이것은 많은 시나리오에서 비트스트림에 대한 상당히 감소된 데이터 레이트 및/또는 개선된 품질을 제공할 수 있다. 개선된 품질/데이터 레이트 트레이드-오프가 많은 시나리오에서 달성될 수 있다.

많은 실시예에서, 이 접근법은 특히 이미지 합성으로부터 발생하는 역폐색 에러 및 아티팩트(artefact)를 감소시키거나 완화시킬 수 있다.

이미지 부분에 대한 연관된 깊이 데이터는 이미지 부분에 대한 뷰 포인트로부터 이미지 부분 내의 객체들까지의 거리들을 나타내는 깊이 데이터일 수 있다.

이미지 합성기는 제1 이미지 부분으로부터 합성된 이미지의 이미지 영역/부분을 합성하도록 배열될 수 있다. 합성은 제1 이미지 부분의 뷰 포즈로부터 렌더링 뷰 포즈로의 뷰 포즈 시프트를 포함할 수 있다.

이미지 부분에 대한 깊이 전이 메트릭은, 구체적으로 이미지 부분/이미지 부분의 이미지의 이미지 평면(또는 평행 평면)일 수 있는, 이미지 평면에서의 깊이 전이의 방향을 나타낼 수 있다. 방향은 더 전방으로부터 더 후방으로의(전경으로부터 배경을 향하는) 전이의 이미지 평면 방향일 수 있거나, 예를 들어 더 후방으로부터 더 전방으로의(배경으로부터 전경을 향하는) 전이의 이미지 평면 방향일 수 있다.

이미지 소스는 원격 서버와 같은 원격 소스일 수 있다. 뷰 포즈에 대한 이미지는 전형적으로 복수의 이미지 부분으로 분할될 수 있지만 하나 이상의 이미지가 단일 이미지 부분으로 분할될 수 있는데, 즉 이미지 부분이 뷰 포즈에 대한 전체 이미지에 대응할 수 있다.

이미지 부분들의 세트는 수신기에 의해 수신된 이미지 부분들의 세트이고 완전한 세트 또는 그의 서브세트일 수 있다.

스텝 전이는 이미지 부분에서의 지배적인 또는 가장 큰 깊이의 전이일 수 있다.

몇몇 실시예들에서, 선택기는 타겟 뷰 포즈(target view pose)에 대한 이미지 부분들의 세트에 대한 가시성 척도(visibility measure)에 응답하여 이미지 부분들의 제2 서브세트를 선택하도록 추가로 배열될 수 있다.

몇몇 실시예들에서, 이미지 부분들은 사전-인코딩된 이미지 부분들이다.

몇몇 실시예들에서, 이미지 부분들의 세트는 상이한 뷰 포즈들에 대한 장면의 다면체 투영(polyhedral projection)들의 면들을 포함한다.

몇몇 실시예들에서, 이미지 부분들은 이미지들의 사전 결정된 파티셔닝(partitioning)에 대응한다.

몇몇 실시예들에서, 장치는 이미지들의 픽셀 값들 및 이미지들에 대한 깊이 값들 중 적어도 하나에 기초한 이미지들의 파티셔닝에 응답하여 이미지 부분들의 세트 중의 적어도 몇몇 이미지 부분들을 생성하기 위한 파티셔너(partitioner)를 추가로 포함한다. 몇몇 실시예들에서, 적어도 몇몇 이미지 부분들은 중첩된다.

본 발명의 선택적인 특징에 따르면, 깊이 전이 메트릭은 깊이 전이의 크기를 나타낸다.

이것은 많은 실시예에서 개선된 성능을 제공할 수 있다. 깊이 전이의 크기는 예를 들어 깊이 스텝의 절대값, 또는 깊이 기울기 또는 깊이 기울기 벡터의 크기일 수 있다.

본 발명의 선택적인 특징에 따르면, 선택기는 이미지 부분들의 세트 중의 이미지 부분들의 뷰 포즈와 렌더링 뷰 포즈 사이의 차이들에 응답하여 제1 이미지 부분을 추가로 선택하도록 배열된다.

이것은 성능을 더욱 개선할 수 있고 예를 들어 큰 뷰 시프트 동작들로부터 기인하는 에러들 또는 아티팩트들을 감소시킬 수 있다.

본 발명의 선택적인 특징에 따르면, 선택기는 이미지 부분들의 세트에 속하는 임의의 이미지 부분의 뷰 포즈와 렌더링 뷰 포즈 사이의 차이가 임계치 아래라는 제약을 조건으로 이미지 부분들의 세트를 결정하도록 배열된다.

이것은 낮은 복잡도 및 리소스 요건을 유지하면서 성능을 더욱 개선할 수 있다.

본 발명의 선택적인 특징에 따르면, 선택기는 이미지 합성기에 의해 합성될 이미지의 이미지 섹션과 동일한 장면의 영역을 표현하는 이미지 부분들로서 이미지 부분들의 세트를 결정하도록 배열되며, 이미지 부분들의 세트 중의 이미지 부분들은 상이한 뷰 포즈들로부터의 이미지 영역을 표현한다.

이 접근법은 개선된 이미지들의 합성을 제공할 수 있고 특히 많은 시나리오에서 역폐색으로부터 발생하는 에러 및 아티팩트를 감소시킬 수 있다.

본 발명의 선택적인 특징에 따르면, 이미지 부분들의 세트는 상이한 뷰 포즈들로부터의, 그리고 합성될 이미지의 동일한 부분에 대응하는 이미지 부분들을 포함한다.

이 접근법은 개선된 이미지들의 합성을 제공할 수 있고 특히 많은 시나리오에서 역폐색으로부터 발생하는 에러 및 아티팩트를 감소시킬 수 있다.

본 발명의 선택적인 특징에 따르면, 선택기는 깊이 전이의 앞으로부터 뒤로의 깊이 전이가 이미지 부분에 대한 뷰 포즈로부터 렌더링 뷰 포즈로의 방향과 반대인 방향에 있는 이미지 부분을 향해 제1 이미지 부분의 선택을 바이어싱(biasing)하도록 배열된다.

이것은 특히 효율적인 성능을 제공할 수 있고 많은 시나리오에서 뷰 포즈 시프트를 수행할 때 역폐색으로부터 발생하는 에러 및 아티팩트를 감소시키기 위한 특히 효율적인 접근법을 제공할 수 있다.

방향들은 이미지 평면 방향들일 수 있고 구체적으로 이미지 부분/이미지 부분의 이미지의 이미지 평면(또는 평행 평면)에서의 이미지 평면 방향일 수 있다. 이미지 부분의 앞으로부터 뒤로의 깊이 전이의 방향은 더 전경의 객체/영역/픽셀로부터 더 배경의 객체/영역/픽셀로의 전이의 이미지 평면에서의 방향일 수 있다. 이미지 부분에 대한 뷰 포즈로부터 렌더링 뷰 포즈로의 방향은 이미지 부분/이미지의 이미지 평면에서의 방향일 수 있다. 그것은 이미지 평면에 직교하는 방향을 따른 이미지 평면으로의 뷰 포즈의 투영으로부터, 이미지 평면에 직교하는 방향을 따른 이미지 평면으로의 렌더링 뷰 포즈의 투영으로의 방향일 수 있다. 바이어스는 이미지 평면에서의 방향들 사이의 상관 관계/정렬의 정도에 의존할 수 있다.

바이어스를 수행하기 위해 이미지 평면에서의 방향들 및 포인트들이 명시적으로 계산되거나 결정될 필요가 없다는 것이 인식될 것이다.

선택기는 (예를 들어, 이미지 평면에서의) 뷰 포즈 대 렌더링 뷰 포즈 차이의, 그리고 앞으로부터 뒤로의 전이의 방향들 사이의 증가하는 정렬에 대한 증가하는 값을 갖는 비용 함수에 응답하여 선택을 수행함으로써 선택을 바이어싱하도록 배열될 수 있다.

본 발명의 선택적인 특징에 따르면, 적어도 하나의 이미지의 합성은 제1 이미지 부분으로부터 적어도 하나의 이미지의 이미지 부분을 합성하는 것을 포함한다.

이 접근법은 상이한 렌더링 뷰 포즈들에 대한 개선된 이미지들의 합성을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 전이 메트릭은 임계치를 초과하는 깊이 기울기들의 평균을 나타낸다.

이것은 많은 실시예에서 특히 유리한 성능을 제공할 수 있다.

본 발명의 태양에 따르면, 이미지 데이터 스트림을 생성하기 위한 장치가 제공되며, 이 장치는 원격 소스로부터 이미지 부분 요청을 수신하기 위한 수신기; 이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하기 위한 저장소로서, 이미지 부분들은 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 저장소; 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 제공하기 위한 메트릭 생성기로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 메트릭 생성기; 이미지 부분 요청 및 깊이 전이 메트릭들에 응답하여 이미지 부분들의 세트로부터 이미지 부분들을 선택하기 위한 선택기; 및 선택된 이미지 부분들 및 연관된 깊이를 원격 소스로 전송하기 위한 전송기를 포함한다.

본 발명의 선택적인 특징에 따르면, 전송기는 이미지 부분들의 세트에 대한 깊이 전이 메트릭들을 원격 소스로 전송하도록 배열된다.

본 발명의 선택적인 특징에 따르면, 이미지 부분 요청은 뷰 포즈 표시를 포함하고, 선택기는 깊이 전이 메트릭들 및 뷰 포즈 표시에 응답하여 이미지 부분들을 선택하도록 배열된다.

본 발명의 태양에 따르면, 이미지를 합성하는 방법이 제공되며, 이 방법은 이미지 소스로부터, 수신 이미지 부분들 및 연관된 깊이 데이터를 수신하는 단계로서, 이미지 부분들은 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 수신 이미지 부분들 및 연관된 깊이 데이터를 수신하는 단계; 렌더링 뷰 포즈를 결정하는 단계; 수신 이미지 부분들의 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 저장하는 단계로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 깊이 전이 메트릭을 저장하는 단계; 렌더링 뷰 포즈 및 깊이 전이 메트릭에 응답하여 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하는 단계; 이미지 소스로부터 제1 이미지 부분을 검색하는 단계; 및 제1 이미지 부분을 포함하는 수신 이미지 부분들로부터 적어도 하나의 이미지를 합성하는 단계를 포함한다.

본 발명의 태양에 따르면, 이미지 데이터 스트림을 생성하는 방법이 제공되며, 이 방법은 원격 소스로부터 이미지 부분 요청을 수신하는 단계; 이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하는 단계로서, 이미지 부분들은 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하는 단계; 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 제공하는 단계로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 깊이 전이 메트릭을 제공하는 단계; 이미지 부분 요청 및 깊이 전이 메트릭들에 응답하여 이미지 부분들의 세트로부터 이미지 부분들을 선택하는 단계; 및 선택된 이미지 부분들 및 연관된 깊이를 원격 소스로 전송하는 단계를 포함한다.

본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.

본 발명의 실시예가 도면을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 시스템의 요소들의 예를 예시한다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 데이터 스트림 생성 장치의 요소들의 예를 예시한다.
도 3은 장면들 및 연관된 예측 품질 특성들의 예를 예시한다.
도 4는 참조/앵커 이미지들 및 연관된 깊이 맵들의 예를 예시한다.
도 5는 참조/앵커 이미지들 및 합성된 이미지의 예를 예시한다.
도 6은 참조/앵커 이미지들 및 합성된 이미지의 예를 예시한다.
도 7은 참조/앵커 이미지들 및 합성된 이미지의 예를 예시한다.
도 8은 합성된 이미지의 예를 예시한다.
도 9는 참조/앵커 이미지들 및 합성된 이미지의 예를 예시한다.

하기 설명은 가상 현실 애플리케이션을 위한 이미지 합성 및 이미지 데이터 스트림의 생성에 적용 가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이러한 애플리케이션으로 제한되는 것이 아니라, 예를 들어 많은 상이한 이미지 처리 및 렌더링 애플리케이션들에서 적용될 수 있다는 것이 인식될 것이다.

도 1은 본 발명의 개념의 실시예들의 예들 및 변형들을 구현할 수 있는 시스템의 예를 예시한다.

이 예에서, 이미지 합성 장치(101)의 형태의 클라이언트가 상이한 뷰포인트들로부터의 장면을 표현하는 이미지들을 생성하도록 배열되는데, 즉 장면의 상이한 뷰 포즈들에 대한 상이한 뷰포트(viewport)들에 대응하는 이미지들이 생성될 수 있다. 이미지 합성 장치(101)는 이미지 부분들뿐만 아니라 연관된 깊이를 포함하는 이미지 데이터 스트림을 수신하여서 장면의 부분 3차원 이미지 표현을 제공하도록 배열된다. 그것은 이어서, 수신된 데이터에 기초하여, 주어진 뷰포트 및 포즈에 대응하는 적절한 이미지들을 생성할 수 있다. 이 예에서, 이미지 데이터 스트림은 원격 서버로서 동작하는 이미지 데이터 스트림 생성 장치(103)로부터 수신된다. 이미지 데이터 스트림 생성 장치(103)는 예를 들어 인터넷일 수 있는 네트워크(105)를 통해 이미지 데이터 스트림을 제공하도록 배열된다. 이 배열은 클라이언트 서버 배열에 대응할 수 있으며 따라서 이미지 합성 장치(101)는 또한 클라이언트로 지칭될 것이고 데이터 스트림 생성 장치(103)는 또한 서버로 지칭될 것이다.

특정 예에서, 이미지 데이터 스트림 생성 장치(103)는 이미지 합성 장치(101)가 예를 들어 환경 내에서의 가상 사용자의 움직임에 대응하는 뷰들을 생성하도록 3차원 환경을 표현하는 3차원 이미지 데이터를 제공하는 가상 현실 서버이다.

이 분야에서, 용어들 '배치' 또는 '포즈'는 위치 및/또는 방향/배향에 대한 공통 용어로서 사용되고, 예를 들어 객체, 카메라 또는 뷰의 위치와 방향/배향의 조합은 실제로 전형적으로 포즈 또는 배치로 지칭된다. 따라서, 배치 또는 포즈 표시는 6개의 값/성분/자유도를 포함할 수 있으며, 각각의 값/성분은 전형적으로 대응하는 객체의 위치/로케이션 또는 배향/방향의 개별 특성을 기술한다. 물론, 많은 상황에서, 예를 들어 하나 이상의 성분이 고정되거나 무관한 것으로 고려되는 경우, 배치 또는 포즈가 더 적은 성분들을 갖는 것으로 고려되거나 더 적은 성분들로 표현될 될 수 있다(예를 들어, 모든 객체가 동일한 높이에 있고 수평 배향을 갖는 것으로 고려되는 경우, 4개의 성분이 객체의 포즈의 완전한 표현을 제공할 수 있다). 하기에서, 용어 '포즈'는 (최대 가능한 자유도에 대응하는) 1 내지 6개의 값에 의해 표현될 수 있는 위치 및/또는 배향을 지칭하는 데 사용된다. 본 설명은 포즈가 최대 자유도를 갖는, 즉 위치 및 배향 각각의 3 자유도가 총 6 자유도(6DoF)를 유발하는 실시예들 및 예들에 초점을 맞출 것이다. 따라서 포즈는 6 자유도를 표현하는 6개의 값의 세트 또는 벡터에 의해 표현될 수 있고, 따라서 포즈 벡터는 3차원 위치 및/또는 3차원 방향 표시를 제공할 수 있다. 그러나, 다른 실시예들에서, 포즈는 더 적은 값들에 의해 표현될 수 있다는 것이 인식될 것이다.

많은 애플리케이션에서, 서버에 존재하는 장면의 3차원 이미지 표현은 예를 들어 깊이 감지 카메라들을 사용하는 실세계 장면 또는 환경의 캡처로부터 생성될 수 있다. 이것은 시각적 특성들이 3차원 정보와 함께 캡처될 수 있게 한다. 장면을 충분히 캡처하기 위해, 상이한 뷰 포즈들에 대응하는 종종 매우 많은 수의 캡처의 사용이 채택된다. 몇몇 애플리케이션들에서, (연관된 깊이 정보를 갖는) 수백 개의 또는 심지어 수천 개의 이미지가 상이한 뷰 포즈들로부터 전체 장면의 정확하고 상세한 표현을 제공하기 위해 사용될 수 있다.

장면의 가상 데이터 표현은 유리한 사용자 경험을 제공하는 데 중요한 인자이다. 장면을 기술하는 데이터가 시각적 특성들뿐만 아니라 공간적 특성들 둘 모두의 정확한 표현을 제공하는 것이 요구된다. 동시에, 장면을 표현하는 데 필요한 데이터의 양을 감소시키는 것이 중요한데, 그 이유는 이것이 많은 애플리케이션에서 달성될 수 있는 품질에 대한 제한 인자인 경향이 있기 때문이다.

특히, 당업자에게 알려질 바와 같이 예를 들어 뷰 포인트 시프팅을 수행함으로써 이미지 합성 장치(101)가 원하는 뷰 포즈들에 대응하는 적합한 이미지들을 국지적으로 생성할 수 있게 하도록 충분한 정보가 이미지 합성 장치에 제공되는 것이 요구된다. 그러나, 동시에, 전송되는 데이터의 양이 낮게 유지되고 레이턴시가 가능한 한 최소로 유지되는 것이 요구된다. 많은 시나리오에서, 제한된 통신 대역폭은 높은 품질 및 낮은 레이턴시를 갖는 고품질 사용자 경험을 제공하려고 함에 있어서의 제한 인자이다.

또한, 깊이 감지 카메라들의 캡처들로부터 환경/장면의 데이터 표현으로의 변환은 종종 매우 어렵고 에러 또는 아티팩트를 도입할 수 있다. 예를 들어, 몇몇 애플리케이션들에서, 캡처된 데이터는 실세계 장면의 3차원 모델을 개발하는 데 사용될 수 있다. 이어서 특정 뷰포인트로부터 모델을 평가함으로써 3차원 가상 현실 경험을 제공받는 사용자에 대한 뷰 이미지들이 생성될 수 있다. 다른 애플리케이션들에서, 예를 들어 가장 가까운 캡처된 이미지들 중 하나 이상을 선택하고 원하는 뷰포인트에 대응하도록 뷰포인트 시프팅을 수행함으로써, 또는 몇몇 경우들에서 캡처된 이미지들을 직접 사용함으로써, 특정 뷰포트들 또는 뷰포인트들에 대한 이미지들이 캡처된 이미지들 및 깊이 정보로부터 직접 생성될 수 있다.

본 경우에, 장면은 깊이 데이터와 함께 이미지들의 세트에 의해 이미지 도메인에서 표현된다. 많은 실시예에서, 이미지들은 주어진 뷰 포즈의 뷰를 반영하는 시각적 정보를 제공할 수 있고, 깊이 데이터는 이미지 내의 픽셀들 또는 객체들의 깊이를 표현할 수 있다. 구체적으로, 기술자에게 알려질 바와 같이 각각의 이미지는 동반 깊이 맵인 깊이 데이터를 갖는 장면에 대한 주어진 뷰 포즈에 대한 주어진 캡처에 대응할 수 있다. 몇몇 실시예들에서, 나중에 더 상세히 설명될 바와 같이, 이미지들은 예를 들어 텍스처 아틀라스 이미지들 또는 텍스처 맵들일 수 있고, 깊이 데이터는 장면의 메시 및 텍스처 표현을 제공하는 메시들일 수 있다.

그에 따라 이미지 데이터 스트림 생성 장치(103)는 뷰 포즈들의 세트로부터의 장면을 표현하는 이미지들 및 연관된 깊이 데이터를 포함할 수 있고, 구체적으로 이미지들 및 깊이 데이터는 캡처된 데이터일 수 있다. 그에 따라 이미지 데이터 스트림 생성 장치(103)는 3D 장면의 표현을 뷰 포즈들의 별개의 세트에 대한 깊이를 갖는 이미지들의 세트에 의해 저장한다. 그러한 이미지들이 이용 가능한 뷰 포즈들은 또한 참조 또는 앵커 뷰 포즈들로 지칭될 것이고 이미지들은 참조 또는 앵커 뷰 이미지들로 지칭될 것이다. 장면이 별개의 참조 뷰포인트들/위치들/포즈들에 대해 저장된 뷰 데이터에 의해 기술/참조되는 시스템들에서, 이들은 이 분야에서 앵커 뷰포인트들/위치들/포즈들로도 지칭되고 하기에서 용어들 '참조'와 '앵커'는 동등한/동일한 것으로서 사용될 것이다. 전형적으로, 현실 세계 환경이 상이한 포인트들/위치들/포즈들로부터 이미지들을 캡처함으로써 캡처되었을 때, 이러한 캡처 포인트들/위치들/포즈들은 또한 참조/앵커 포인트들/위치들/포즈들이다.

참조/앵커 뷰 이미지들은 몇몇 실시예들에서 예를 들어 360° 방위각 범위 및 180° 앙각 범위를 커버하는 예를 들어 완전한 반구형 이미지들일 수 있다. 다른 실시예들에서, 앵커 이미지들은 예를 들어 예컨대 360° 또는 180° 방위각 범위와 40° 앙각 범위와 같은 더 작은 시야각들을 커버할 수 있다.

앵커 이미지들은 이미지 부분들로 추가로 분할될 수 있고, 전형적으로 이미지 데이터 스트림 생성 장치(103)는 앵커 포즈들에 대한 그러한 앵커 이미지 부분들의 큰 세트를 저장할 수 있다. 몇몇 실시예들에서, 이미지 부분들은 앵커 이미지들을 (능동적으로) 세그먼트화하거나 분할함으로써 생성될 수 있다. 다른 실시예들에서, 이미지 부분은 예를 들어 주어진 앵커 포즈에 대해 이용 가능한 모든 데이터를 포함할 수 있는데, 즉 이미지 부분은 주어진 앵커 포즈에 대한 전체 이미지일 수 있다. 이미지 부분들은 구체적으로 앵커 뷰 이미지들의 타일링(tiling)에 의해 생성될 수 있다. 대안적으로, 중첩하는 이미지 부분들이 사용될 수 있다.

이미지 부분들은 종종 여전히 비교적 클 수 있고 예를 들어 앵커 이미지들은 4개 내지 20개의 더 작은 이미지 부분들/타일들로 분할될 수 있다. 예를 들어, 각각의 이미지 부분은 60° 방위각 및 22.5° 앙각을 가질 수 있다.

그에 따라 이미지 데이터 스트림 생성 장치(103)는 이미지 부분들의 세트 및 연관된 깊이 맵들에 의해 장면의 (잠재적으로 부분적인 그러나 종종 실질적으로 완전한) 3차원 이미지 표현을 포함한다. 이미지 데이터 스트림 생성 장치(103)는 관련 데이터를 이미지 합성 장치(101)에 제공하여 이것이 전형적으로 앵커/참조 뷰 포즈와는 상이할 수 있는 원하는 렌더링 뷰 포즈로부터 이미지들을 국지적으로 합성하도록 허용할 수 있다. 또한, 시스템은 관련 이미지 데이터가 이미지 합성 장치(101)에 계속해서 전송되어 그것이 합성을 수행할 수 있게 하는 유연하고 동적인 동작을 지원할 수 있다. 따라서, 이미지 데이터 스트림 생성 장치(103)는 단지 모든 저장된 데이터를 처리를 위해 이미지 합성 장치(101)로 전송하지는 않는다. 그러한 접근법은 비실용적일 것인데, 왜냐하면 그것은 대부분의 애플리케이션들에서 실현 가능하지 않은, 극도로 많은 양의 데이터가 통신되고 저장될 것을 요구할 것이기 때문이다. 그것은 또한 장면이 변경될 수 있는 동적 장면들에 적합하지 않을 것이다.

이미지 데이터 스트림 생성 장치(103)는 구체적으로, 예를 들어 이미지 합성 장치(101)가 수행될 합성에 대한 뷰 포즈 표시를 제공하는 형태로, 이미지 합성 장치(101)로부터 데이터에 대한 요청을 수신할 수 있다 예를 들어 사용자가 둘러보기 위해 그의 머리를 움직이는 것으로 인해, 요청이 변경됨에 따라, 새로운 이미지 데이터가 요구되고 이것은 이미지 데이터 스트림 생성 장치(103)로부터 이미지 합성 장치(101)로 전송되어 이것이 요구되는 뷰들을 합성할 수 있게 한다. 따라서 연속적인 이미지 데이터 스트림이 이미지 데이터 스트림 생성 장치(103)에 의해 생성되고 이미지 합성 장치(101)로 전송될 수 있다.

그러나, 전체 앵커 이미지들을 전송하기보다는, 도 1의 접근법은 데이터 스트림이 이미지 부분들의 스트림인 것에 기초한다. 구체적으로, 이미지 데이터 스트림 생성 장치(103)는 합성을 위해 요구될 때 적절한 이미지 부분들을 이미지 합성 장치(101)로 전송할 수 있다. 이 접근법은 요구되는 이미지 부분들만 전송될 필요가 있기 때문에 데이터 레이트 요건을 감소시킬 수 있다. 동시에, 이미지 부분들은 효율적인 관리 및 코딩 등을 제공하기에 충분히 클 수 있다.

그러나, 그러한 시스템에 대한 중요한 문제는 어느 이미지 부분들이 이미지 데이터 스트림 생성 장치(103)로부터 이미지 합성 장치(101)로 전송되는지를 선택하고 우선순위화하는 것이다.

각각의 광 강도/텍스처 이미지 부분에 대해, 이미지 데이터 스트림 생성 장치(103)는 광 강도/텍스처 이미지 부분들의 픽셀들에 대한 깊이 정보를 제공하는 연관된 깊이 맵을 저장한다. 깊이 맵은 전형적으로 깊이 값의 위치에 대응하는 관찰 방향에서 주어진 뷰 위치로부터 객체까지의 거리를 나타내는 깊이 값들을 포함할 수 있다. 깊이 값은 예를 들어 뷰포인트로부터 객체까지의 증가하는 거리에 대해 증가하는 값을 가질 수 있거나 뷰포인트로부터 객체까지의 증가하는 거리에 대해 감소하는 값을 가질 수 있다. 깊이 값들은 많은 실시예에서 디스패리티 값들(disparity values)로서 제공될 수 있다.

깊이 및 이미지(텍스처) 정보 둘 모두의 제공은 이미지 합성 장치(101)에 의한 개선된 처리를 허용하는 추가적인 정보를 제공할 수 있다. 특히, 그것은 앵커 뷰 포즈들과는 다른 뷰 포즈들에 대한 뷰 이미지들의 생성을 허용하거나, 용이하게 하거나, 개선할 수 있다.

그러한 처리를 용이하게 하기 위해, 뷰 포즈들 사이의 거리가 가능한 한 작은 것이 요구된다. 구체적으로, 앵커 포즈들 사이의 큰 간격은 가시적인 역폐색 영역들을 유발하고 중간 뷰들의 합성을 위해 매우 정확한 깊이 맵들 또는 메시 모델들을 요구한다. 렌더 유닛은 다수의 앵커를 조합함으로써 역폐색 영역들을 채울 수 있지만, 이것은 전송, 디코딩 및 렌더링을 위한 더 많은 리소스들을 요구하며 품질을 감소시키는 경향이 있다.

그러나, 앵커들 사이의 작은 간격은 전형적으로 자유 움직임을 허용하는 가상 현실 애플리케이션들과 같은 애플리케이션들에 대해 특히 높은 비트레이트에 있어서의 증가를 유발한다. 이것에 대한 이유는 (정상 비디오와는 대조적으로) 깊이를 갖는 광 필드가 3개의 공간 차원의 함수로서 변하기 때문이다. 이것은 데이터의 고-차원성으로 인해 고정 요소들(잔차가 아님)의 코딩 비용이 높다는 것을 의미한다.

하기에서는 많은 시나리오에서 개선된 성능을 제공할 수 있고, 구체적으로 낮은 데이터 레이트와 복잡도를 여전히 유지하면서 폐색 에러 및 아티팩트를 완화시키거나 감소시킬 수 있는 접근법이 설명될 것이다. 그것은 유연하고 효율적인 시스템을 구현할 수 있다. 이 접근법은 어느 이미지 부분들이 이미지 합성 장치(101)로 전송되고 합성을 위해 사용되어야 하는지를 결정할 때 특정 깊이 태양들을 고려하는 것에 기초한다. 구체적으로, 본 발명자는 방향을 나타내는 깊이 전이 메트릭과 전형적으로 이미지 부분에서의 깊이 전이의 크기를 고려함으로써, 많은 시나리오에서 개선된 성능과 이미지 품질을 제공할 수 있고, 구체적으로 역폐색에 의해 야기되는 아티팩트를 개선하고 감소시킬 수 있는 개선된 선택을 제공하는 것이 가능하다는 것을 깨달았다.

이미지 부분에 대한 깊이 전이 메트릭은, 구체적으로 이미지 부분/이미지 부분의 이미지의 이미지 평면(또는 평행 평면)일 수 있는, 이미지 평면에서의 깊이 전이의 방향을 나타낼 수 있다.

이 접근법은 먼저 어느 이미지 부분(들)을 전송할지에 대한 결정의 대다수가 이미지 합성 장치(101)에 의해 이루어진다는 점에서 이미지 데이터 스트림 생성 장치(103)가 비교적 낮은 복잡도 및 "덤(dumb)" 서버일 수 있는 실시예에 관하여 설명될 것이다. 구체적으로, 이미지 합성 장치(101)는 단순히 특정 이미지 부분들을 (반복하여) 요청할 수 있고 이미지 데이터 스트림 생성 장치(103)는 단순히 요청된 이미지 부분을 제공할 수 있다.

그러한 실시예에서 이미지 데이터 스트림 생성 장치(103)는 이미지 부분들(앵커 또는 참조 이미지 부분들로도 지칭됨)의 세트 및 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 연관된 깊이 데이터를 저장하도록 배열되는 저장소(201)를 포함할 수 있다. 예를 들어, 저장소(201)는 상이한 앵커 포즈들에 대한 다수의 상이한 앵커 이미지들의 타일들을 포함할 수 있다.

이미지 데이터 스트림 생성 장치(103)는 특정 예에서 이미지 합성 장치(101)인 원격 소스로부터 이미지 부분 요청을 수신하도록 배열된 요청 수신기(203)를 추가로 포함할 수 있다. 이 예에서, 각각의 수신된 이미지 부분 요청은 특정 이미지 부분이 이미지 합성 장치(101)로 전송될 것을 요청할 수 있다. 예를 들어, 이미지 부분 요청은 특정 앵커 이미지의 특정 타일을 식별할 수 있다.

요청 수신기(203)는 선택기(205)에 결합되고 이 선택기는 추가로 저장소(201)에 결합된다. 선택기(205)는 이미지 부분 요청에 응답하여 대응하는 이미지 부분을 선택하고 그것을 저장소(201)로부터 검색할 수 있다. 예를 들어, 선택기(209)는 이미지 부분 요청의 식별을 저장소(201) 내의 적절한 로케이션으로 변환하는 룩업 테이블을 포함할 수 있고 그것은 이어서 그 로케이션에서 데이터를 검색할 수 있다.

선택기(205)는 검색된 이미지 부분을 공급받는 전송기(207)에 추가로 결합된다. 전송기(207)는 검색된 이미지 부분을 이미지 합성 장치(101)로 전송하도록 배열된다. 따라서, 특정 이미지 부분을 요청하는 이미지 부분 요청을 수신하는 것에 응답하여, 이미지 데이터 스트림 생성 장치(103)는 요청된 이미지 부분을 검색하고 그것을 다시 이미지 데이터 스트림 생성 장치(103)로 전송한다. 이미지 부분의 전송은 이미지 부분에 대한 연관된 깊이 데이터의 전송을 추가로 포함한다.

또한, 이미지 데이터 스트림 생성 장치(103)는 저장소(201)에 저장된 이미지 부분들에 대한 깊이 전이 메트릭들을 생성하도록 배열된 메트릭 프로세서(209)를 포함한다. 따라서, 이미지 부분들(반드시는 아니지만 전형적으로 저장된 이미지 부분들 모두를 포함함)의 세트 중의 각각의 이미지 부분에 대해, 깊이 전이 메트릭이 결정된다. 이미지 부분에 대한 깊이 전이 메트릭은 적어도 이미지 부분에서의 깊이 전이의 방향을, 그리고 전형적으로 또한 깊이 전이의 크기를 나타내는 메트릭이다. 깊이 전이는 전형적으로 이미지에서 발생하는 가장 큰 깊이 전이일 수 있다.

예를 들어, 깊이 전이 메트릭은, 이미지 부분에 대해, 앞으로부터 뒤로의 가장 큰 깊이 전이의 방향을 나타내도록 생성될 수 있다. 깊이 전이 메트릭은 구체적으로 이것이 오른쪽으로부터 왼쪽으로의 방향으로 또는 왼쪽으로부터 오른쪽으로의 방향으로 발생하는지를 나타낼 수 있다. 따라서, 많은 실시예에서, 깊이 전이 메트릭의 방향 표시는 1차원 방향일 수 있고, 구체적으로 수평 방향일 수 있다. 이것은 대부분의 실시예들에서 뷰 시프팅이 (인간의 눈들의 수평 구성을 반영하고 뷰 높이가 전형적으로 변경되지 않는) 수평 방향으로이기 때문에 많은 실시예에서 특히 유리한 접근법일 것이다.

많은 실시예에서, 메트릭 프로세서(209)는 또한 깊이 전이의 크기를 결정하고 구체적으로 스텝에 대한 깊이 기울기를 결정할 수 있다.

특정 예로서, 메트릭 프로세서(209)는, 이미지 부분에 대한 깊이 맵에 기초하여, 이미지 부분을 실질적으로 동일한 깊이 값들을 갖는 상이한 세그먼트들로 분할할 수 있다. 몇몇 실시예들에서, 이러한 세그먼트화는, 예를 들어 세그먼트 경계들이 세그먼트 내의 영역들이 실질적으로 동일한 시각적 특성들(예를 들어, 동일한 텍스처 또는 컬러)을 갖는 것을 보장하도록 결정되는 것에 의해, 시각적 고려들을 추가로 고려할 수 있다.

이어서 메트릭 프로세서(209)는, 2개의 세그먼트 사이의 경계의 각각의 포인트(예를 들어, 픽셀)에 대해, 기울기의 크기 및 방향 둘 모두를 포함한 깊이 기울기를 결정할 수 있다. 예를 들어, 경계의 왼쪽에 있는 픽셀들의 소그룹 및 경계의 오른쪽에 있는 픽셀들의 소그룹에 대한 깊이 평균 사이의 깊이 스텝이 결정되고 방향을 나타내는 부호를 가진 깊이 기울기로서 사용될 수 있다. 이어서 결과적인 깊이 기울기들은 적합한 공간 저역 통과 필터에 의해 저역 통과 필터링될 수 있고 최대 필터링된 깊이 기울기가 식별되고 그 이미지 부분에 대한 깊이 전이 메트릭으로서 사용될 수 있다. 따라서, 이미지 부분에서의 깊이 전이의 특성을 나타내는 단일 값이 생성된다. 몇몇 실시예들에서, 깊이 전이 메트릭은 수평 방향에 있어서의 깊이 전이 메트릭의 방향을 나타내는 단일 비트일 수 있다. 예를 들어 결정된 부호 비트만이 사용될 수 있다.

많은 실시예에서, 깊이 전이 메트릭은 이미지 부분에 대한 깊이 맵에 존재하는 가장 지배적인 깊이 스텝을 나타내는 기울기 벡터를 반영하도록 결정될 수 있다.

예로서, 깊이 전이 메트릭은 임계치를 초과하는 깊이 기울기들의 평균을 나타내도록 결정될 수 있다. 깊이 전이 메트릭은 깊이 기울기 크기가 주어진 임계치를 초과하는 픽셀들의 서브세트의 평균을 결정함으로써 결정될 수 있다. 예를 들어, 메트릭 프로세서(209)는, 이미지 부분 내의 모든 픽셀에 대해, 예를 들어 현재 픽셀의 왼쪽에 있는 픽셀들의 그룹의 깊이 값 - 현재 픽셀의 오른쪽에 있는 픽셀들의 그룹의 깊이 값으로서 깊이 기울기를 결정할 수 있다. 그것은 그 다음에 (아마도 공간 저역 통과 필터링 후에) 이어서 주어진 임계치 아래의 모든 기울기 값을 거부하고 나머지 기울기 값들의 평균으로서 깊이 전이 메트릭을 결정할 수 있다.

삼각형 메시 표현이 사용되는 경우, 깊이 전이 메트릭은 삼각형 메시에서의 인접한 정점들 사이의 3D 위치에서의 차이를 분석함으로써 결정될 수 있다. 적합한 깊이 전이 메트릭은 메시에서의 임의의 2개의 연결된 정점 사이에 발생하는 최대 3D 거리일 수 있다.

메트릭 프로세서(209)는 임의의 적합한 시간에, 예컨대 구체적으로 앵커 이미지들이 수신될 때 깊이 전이 메트릭을 결정할 수 있다는 것이 인식될 것이다. 몇몇 실시예들에서, 메트릭 프로세서(209)는 깊이 전이 메트릭들을 원격 소스로부터 (능동적으로 또는 수동적으로) 검색함으로써 그들을 결정하도록 배열될 수 있다는 것이 또한 인식될 것이다. 예를 들어, 깊이 전이 메트릭들은 콘텐츠 생성 동안 결정되고 앵커 이미지들과 함께 이미지 데이터 스트림 생성 장치(103)에 제공될 수 있다.

이 예에서, 이미지 데이터 스트림 생성 장치(103)는 어느 이미지 부분을 검색할지를 결정할 때 데이터를 사용하도록 배열된 이미지 합성 장치(101)로 깊이 전이 메트릭들을 전송하도록 배열된다. 더 상세히 설명될 바와 같이, 몇몇 실시예들에서, 깊이 전이 메트릭들은 이미지 합성 장치(101)로 전송되는 것이 아니라, 이미지 데이터 스트림 생성 장치(103)에 의해 어느 이미지 부분들을 이미지 합성 장치(101)로 전송할지를 국지적으로 결정하는 데 사용될 수 있다.

깊이 전이 메트릭들이 이미지 합성 장치(101)로 전송되는 예에서, 이것은 임의의 적합한 시간에 그리고 임의의 적합한 포맷으로 행해질 수 있다. 예를 들어, 몇몇 실시예들에서, 깊이 전이 메트릭들의 전체 세트가 서비스의 설정 동안 이미지 합성 장치(101)로 전송될 수 있다. 이것은 많은 실시예에서 실용적일 수 있는데, 그 이유는 깊이 전이 메트릭을 표현하기 위해 요구되는 데이터가 상당히 작을 수 있기 때문이다. 예를 들어, 앞서 언급된 바와 같이, 깊이 전이 메트릭은 많은 실시예에서 이미지 부분에서의 주된 깊이 전이의 수평 방향을 나타내는 단일 비트에 의해 표현될 수 있다. 말하자면 100개의 앵커 이미지를 이용하고 각각의 이미지가 말하자면 10개의 이미지 부분으로 분할되는 전형적인 구현에 대해, 전체 깊이 전이 메트릭 세트는 1 킬로비트 미만에 의해 표현될 수 있다. 예를 들어 8 비트 워드에 의해, 크기가 포함되는 실시예들에 대해서도, 전체 깊이 전이 메트릭 세트는 1 킬로바이트 미만의 데이터에 의해 표현될 수 있다.

다른 실시예들에서, 예를 들어 깊이 전이 메트릭이 긴 워드 길이에 의해 표현되고 매우 많은 수의 이미지 부분이 존재할 때, 이미지 데이터 스트림 생성 장치(103)는 깊이 전이 메트릭 데이터를 이미지 합성 장치(101)로 동적으로 전송하도록 배열될 수 있다. 예를 들어, 새로운 이미지 부분이 이미지 합성 장치(101)로 전송될 때, 이미지 데이터 스트림 생성 장치(103)는 전송된 이미지 부분의 근처에 있는 모든 이미지 부분들에 대한 깊이 전이 메트릭 데이터를 포함할 수 있는데 그 이유는 이들이 미래의 선택을 위한 후보들이기 때문이다.

도 3은 본 발명의 몇몇 실시예들에 따른 이미지 합성 장치(101)의 요소들의 예를 예시한다. 도 3의 이미지 합성 장치(101)는 구체적으로 도 2의 이미지 데이터 스트림 생성 장치(103)와 상호 작용할 수 있다.

이미지 합성 장치(101)는 이미지 데이터 스트림 생성 장치(103)로부터 데이터 스트림을 수신하도록 배열된 데이터 수신기(301)를 포함한다. 구체적으로, 데이터 수신기(301)는 적절한 바에 따라 상이한 앵커 이미지들의 이미지 부분들을 수신한다.

이미지 합성 장치(101)는 이미지 데이터 스트림 생성 장치(103)로부터 수신된 이미지 부분들을 공급받는 이미지 합성기(303)를 추가로 포함한다. 또한, 이미지 합성 장치(101)는 이미지들을 렌더링할 렌더링 뷰 포즈를 결정하도록 배열된 포즈 결정기(305)를 포함한다.

렌더링 뷰 포즈 입력은 상이한 애플리케이션들에서 상이한 방식들로 결정될 수 있다. 많은 실시예들에서, 사용자의 물리적 움직임은 직접 추적될 수 있다. 예를 들어, 사용자 영역을 조사하는 카메라가 사용자의 머리(또는 심지어 눈들)를 검출하고 추적할 수 있다. 많은 실시예들에서, 사용자는 외부 및/또는 내부 수단에 의해 추적될 수 있는 VR 헤드셋을 착용할 수 있다. 예를 들어, 헤드셋은 헤드셋 및 그에 따라 머리의 움직임 및 회전에 관한 정보를 제공하는 가속도계 및 자이로스코프를 포함할 수 있다. 몇몇 예들에서, VR 헤드셋은 신호들을 전송하거나, 외부 센서가 VR 헤드셋의 위치를 결정할 수 있게 하는 (예컨대, 시각적) 식별자들을 포함할 수 있다.

몇몇 시스템들에서, 렌더링 뷰 포즈는 수동 수단에 의해, 예를 들어 사용자가 조이스틱 또는 유사한 수동 입력을 수동으로 제어함으로써 제공될 수 있다. 예를 들어, 사용자는 제1 아날로그 조이스틱을 한 손으로 제어함으로써 가상 장면에서 가상 관찰자를 수동으로 돌아다니게 하고, 제2 아날로그 조이스틱을 다른 손으로 수동으로 이동시킴으로써 가상 관찰자가 보고 있는 방향을 수동으로 제어할 수 있다.

몇몇 애플리케이션들에서 수동 접근법과 자동화된 접근법의 조합이 렌더링 뷰 포즈를 생성하는 데 사용될 수 있다. 예를 들어, 헤드셋이 머리의 배향을 추적할 수 있고, 장면 내의 관찰자의 움직임/위치가 조이스틱을 사용하는 사용자에 의해 제어될 수 있다.

렌더링 뷰 포즈는 렌더링 뷰 포즈에 대응하는 이미지를 합성하도록 배열된 이미지 합성기(303)에 공급된다. 이미지 합성기(303)는 구체적으로 새로운 뷰포인트로부터의 이미지를 합성하기 위해 뷰포인트 시프팅 등을 수행하도록 배열될 수 있다. 숙련된 사람은 그러한 뷰 시프팅/합성을 위한 많은 상이한 접근법들 및 알고리즘들을 알고 있을 것이고 임의의 적합한 접근법이 사용될 수 있다는 것이 인식될 것이다.

이미지 합성기(303)는 구체적으로 이미지 부분 기준으로 이미지 합성을 수행하도록 배열될 수 있다. 구체적으로, 이미지를 합성할 때, 이미지 합성기(303)는 이미지를 복수의 이미지 부분, 영역 또는 타일로 분할할 수 있다. 각각의 이미지 부분에 대해, 이미지 합성기(303)는 하나 이상의 수신 이미지 부분을 선택하고 이미지 부분(들)에 뷰포인트 시프트를 적용하여 합성된 이미지에서 대응하는 이미지 부분을 생성할 수 있다.

현재 렌더링 뷰 포즈에 대한 요구되는 뷰 이미지를 합성할 수 있기 위해, 이미지 합성 장치(101)는 이미지 데이터 스트림 생성 장치(103)로부터 필요한 이미지 부분들을 검색하기 위한 기능을 포함한다.

구체적으로, 이미지 합성 장치(101)는 어느 이미지 부분(들)이 이미지 데이터 스트림 생성 장치(103)로부터 검색되고 합성을 위해 사용되어야 하는지를 선택하도록 배열된 합성 선택기(307)를 포함한다. 합성 선택기(307)는 이미지 데이터 스트림 생성 장치(103)로부터 선택된 이미지 부분(들)을 검색하도록 배열된 검색기(309)에 결합된다. 검색기(309)는 예를 들어 적합한 메시지 포맷을 사용하여 이미지 부분 요청을 이미지 데이터 스트림 생성 장치(103)로 전송하도록 배열될 수 있다. 예를 들어, 이미지 부분 요청은 원하는 이미지 부분(들)을 직접 식별할 수 있다. 그에 응답하여, 이미지 데이터 스트림 생성 장치(103)는 요청된 이미지 부분을 전송할 것이다.

이미지 합성 장치(101)는 이미지 데이터 스트림 생성 장치(103)로부터 수신된 깊이 전이 메트릭들을 저장하도록 배열된 메트릭 저장소(311)를 추가로 포함한다. 하기 설명은 모든 가능한 이미지 부분들에 대한 깊이 전이 메트릭들이 저장되고, 예를 들어 이들이 서비스의 초기화 시에 다운로드되었기 때문에, 이미지 합성 장치(101)에서 이용 가능하다고 가정할 것이다. 따라서 메트릭 저장소(311)는 수신된 이미지 부분들 및 더 중요하게는 또한 수신되지 않은 이미지 부분들 둘 모두에 대한 깊이 전이 메트릭들을 저장한다.

몇몇 실시예들에서, 깊이 전이 메트릭들은 동작 동안 수신될 수 있고 이미지 부분들의 서브세트에 대한 깊이 전이 메트릭들만이 임의의 주어진 시간에 메트릭 저장소(311)에 저장될 수 있다는 것이 인식될 것이다. 예를 들어, 마지막 요청된 이미지 부분의 이미지 포즈의 근처에 있는 이미지 포즈들에 대한 이미지 부분들에 대한 깊이 전이 메트릭들이 전송될 수 있다. 예를 들어, 이미지 데이터 스트림 생성 장치(103)는, 이미지 부분에 대한 요청을 수신할 때, 또한 이어서 거리 기준을 충족시키는 앵커 포즈를 갖는 모든 앵커 이미지들/이미지 부분들을 식별할 수 있다. 이러한 거리 기준은 예를 들어 다른 뷰 위치들에 대한 이미지 부분들의 서브세트만을 선택하기 위해 요청된 이미지 부분의 배향을 포함할 수 있지만, 많은 실시예에서, 이미지 데이터 스트림 생성 장치(103)는 단순히 요청된 뷰의 위치에 충분히 가까운 위치를 가진 앵커 뷰 포즈를 갖는 앵커 이미지들을 식별하고 이들 이미지의 모든 이미지 부분들을 포함할 수 있다. 그것은 이어서 식별된 이미지 부분들에 대해 어느 깊이 전이 메트릭들이 이미 전송되었는지를 결정하고 나머지를 이미지 부분과 함께 전송할 수 있다.

합성 선택기(307)는 이미지 부분들의 세트로부터 제1 이미지 부분을 선택하도록 배열된다. 제1 이미지 부분은 렌더링 뷰 포즈(또는 예를 들어, 예컨대 사용자의 움직임을 모델링하는, 모델의 평가에 의한 미래 렌더링 뷰 포즈의 예측에 의해, 이것으로부터 결정된 것)에 대해 이미지 합성기(303)에 의해 합성될 이미지의 이미지 부분/영역에 대해 선택된다.

구체적으로, 합성된 이미지의 합성은 상이한 이미지 부분들을 합성하고 이어서 이들 부분을 조합함으로써 수행될 수 있다. 따라서, 합성된 이미지의 주어진 이미지 부분에 대해, 이미지 합성기(303)는 이미지 데이터 스트림 생성 장치(103)로부터 수신된 수신 앵커 이미지 부분에 뷰 포인트 시프트를 적용함으로써 출력 이미지를 생성할 수 있다. 이것은 완전한 이미지를 생성하기 위해 합성 이미지의 모든 이미지 부분들에 대해 반복될 수 있다. 그러나, 이미지 부분 기반 합성으로 인해, 상이한 이미지 부분들 사이의 경계들에 얼마간의 불일치들이 있을 수 있다. 많은 실시예에서, 이들 불일치는 용인할 수 없는 아티팩트 및 저하를 야기하지 않을 정도로 충분히 작다. 또한, 많은 실시예에서, 이미지 합성기(303)는 그러한 불일치들을 완화시키기 위해 후처리를 수행하도록 배열될 수 있다. 예를 들어, 텍스처들이 오버레이될 수 있는 일관된 깊이 맵을 생성하기 위해 이미지 부분 에지들 주위의 메시들에 깊이 조정들이 적용될 수 있다. 다른 예로서, 합성된 이미지 부분들은 강한 불일치들 없이 매끄러운 전이를 제공하기 위해 에지들에서 함께 혼합될 수 있다.

합성 선택기(307)는, 합성된 이미지의 주어진 이미지 부분에 대해, 합성된 이미지의 그 이미지 부분(이것은 합성 이미지 부분으로도 지칭될 것임)의 합성을 위해 사용되어야 하는 앵커 뷰포인트를 선택하도록 배열될 수 있다. 따라서, 주어진 합성 이미지 부분에 대해, 합성 선택기(307)는 어느 이미지 부분이 뷰 시프트를 수행할 참조/앵커 이미지 부분으로서 사용되어야 하는지를 선택하도록 배열된다. 이미지 부분은 반드시 렌더링 뷰 포즈에 가장 가까운 앵커 포즈를 갖는 것들은 아닌 앵커 이미지들로부터를 포함하여 모든 이용 가능한 이미지 부분들로부터 선택될 수 있다.

따라서, 선택기(205)는 전형적으로 이미지 합성기(303)에 의해 합성될 이미지(이미지 부분)의 이미지 섹션에 대한 앵커 뷰 포즈/이미지 부분을 앵커 이미지 부분들의 세트로부터 선택하도록 배열될 것이다. 앵커 이미지 부분들의 세트는 구체적으로 합성 이미지 부분에 대응하는 것들 그리고 구체적으로 장면의 동일한 영역을 표현하는 것들일 수 있다. 전형적으로, 합성된 이미지에 대해 그리고 앵커 이미지들에 대해 동일한 세그먼트화가 사용되고, 앵커 포즈들에 가까운 렌더링 뷰 포즈에 대해, 대응하는 이미지 부분들은 단순히 그들 각자의 이미지에서 동일한 위치를 갖는 이미지 부분들이다.

선택기는 앵커 이미지 부분들에 대한 깊이 전이 메트릭들의 고려를 포함하는 결정 기준을 적용함으로써 합성 이미지 부분의 합성을 위한 이미지 부분으로서 제1 이미지 부분을 선택하도록 배열될 수 있다. 선택 기준은 다른 고려들을 포함할 수 있고 전형적으로 또한 앵커 이미지 부분들에 대한 앵커 포즈들과 렌더링 뷰 포즈 사이의 뷰 포즈에 있어서의 차이를 고려할 수 있다.

많은 실시예에서, 렌더링 뷰 포즈는 선택기(205)가 그들 사이에서 깊이 전이 메트릭에 기초하여 제1 이미지 부분을 선택할 수 있는 앵커 이미지 부분들의 후보 세트를 선택하는 데 사용될 수 있다. 예를 들어, 앵커 이미지 부분들의 후보 세트는 반대 방향들에 있는 2개의 가장 가까운 앵커 이미지들에서 대응하는 앵커 이미지 부분들을 선택함으로써 결정될 수 있다. 예를 들어, 렌더링 뷰 포즈의 왼쪽 및 오른쪽에 있는 가장 가까운 앵커 이미지가 선택될 수 있고, 합성 이미지 부분과 동일한 이미지 위치에 있는 이들 2개의 이미지 내의 이미지 부분들이 후보들로서 선택될 것이다.

방향들은 이미지 평면 방향들일 수 있고 구체적으로 이미지 부분/이미지 부분의 이미지의 이미지 평면(또는 평행 평면)에서의 이미지 평면 방향일 수 있다. 이미지 부분의 앞으로부터 뒤로의 깊이 전이의 방향은 더 전경의 객체/영역/픽셀로부터 더 배경의 객체/영역/픽셀로의 전이의 이미지 평면에서의 방향일 수 있다. 이미지 부분에 대한 뷰 포즈로부터 렌더링 뷰 포즈로의 방향은 이미지 부분/이미지의 이미지 평면에서의 방향일 수 있다. 그것은 이미지 평면에 직교하는 방향을 따른 이미지 평면으로의 뷰 포즈의 투영으로부터, 이미지 평면에 직교하는 방향을 따른 이미지 평면으로의 렌더링 뷰 포즈의 투영으로의 방향일 수 있다.

다른 실시예들에서, 앵커 포즈가 주어진 근접 요건(예를 들어, 유클리드 거리가 임계치 아래인 것)을 충족시키는 앵커 이미지들 또는 이미지 부분들이 후보 세트에 속하는 것으로서 선택될 수 있다.

이어서 선택기(205)는 이미지 부분을 선택하기 위해 후보 이미지 부분들의 깊이 전이 메트릭들을 평가할 수 있다.

합성 선택기(307)는 구체적으로 깊이 전이의 방향에 따라 제1 이미지 부분을 선택할 수 있다. 특히, 합성 선택기(307)는 앞으로부터 뒤로의 주된/지배적인 깊이 전이가 요구되는 뷰포인트 시프트와 동일한 방향인 방향으로 발생하는 앵커 이미지 부분에 비해, 앞으로부터 뒤로의 주된/지배적인 깊이 전이가 요구되는 뷰포인트 시프트의 방향과 반대인 방향으로 발생하는 앵커 이미지 부분을 선택하도록 배열될 수 있다. 예를 들어, 2개의 후보 앵커 이미지 부분이 전경 객체로부터 배경으로의 지배적인 깊이 전이를 포함하고 배경이 전경 객체의 오른쪽에 있다면, 앞으로부터 뒤로의 깊이 전이는 오른쪽을 향하는 방향일 것이다. 제1 후보 앵커 이미지 부분이 렌더링 뷰 포즈의 왼쪽에 있는 앵커 포즈에 대한 것이고 제2 후보 앵커 이미지 부분이 렌더링 뷰 포즈의 오른쪽에 있는 앵커 포즈에 대한 것이라면, 선택기(205)는 제1 후보에 비해 제2 후보 앵커 뷰 포즈를 선택할 것이다.

많은 실시예에서, 더 점진적인 접근법이 사용된다. 예를 들어, 깊이 전이 메트릭을 포함한 복수의 파라미터에 의존하는 다수의 앵커 이미지 부분들(예를 들어, 렌더링 뷰 포즈의 주어진 거리 내의 모든 이미지 부분들)에 대해 비용 측정이 결정될 수 있다. 예를 들어, 이미지 부분에 대한 앵커 포즈와 렌더링 뷰 포즈 사이의 거리가 증가함에 따라 증가하고 또한 렌더링 뷰 포즈로부터 앵커 포즈로의 벡터와 깊이 전이 메트릭에 의해 표현된 바와 같은 지배적인 깊이 전이의 방향 사이의 정렬 함수로서 감소하는 비용 측정이 결정될 수 있다. 이어서 합성 선택기(307)는 비용 측정이 최소화되는 앵커 포즈를 선택할 수 있다.

몇몇 그러한 실시예들에서, 깊이 전이의 크기가 또한 고려될 수 있다. 예를 들어, 깊이 전이 크기가 클수록, 비용 함수가 더 높다. 다른 예로서, 임계치를 초과하는 깊이 전이 크기는 고정된 값만큼 비용 함수를 증가시킬 수 있다.

선택기는 구체적으로 깊이 전이의 앞으로부터 뒤로의 깊이 전이가 이미지 부분에 대한 뷰 포즈로부터 렌더링 뷰 포즈로의 방향과 반대인 방향에 있는 이미지 부분을 향해 제1 이미지 부분의 선택을 바이어싱할 수 있다. 위에 설명된 바와 같이, 바이어스는 구체적으로 2개의 방향이 서로 충분히 반대인(예를 들어, 예컨대 90°, 120° 또는 150° 초과의 그들 사이에 각도를 가짐) 이미지 부분만을 선택하는 것에 의해 이루어질 수 있다.

따라서 선택기는 2개의 방향을, 예를 들어 그들 둘 모두가 이미지 부분들/이미지의 이미지 평면에 있는 것을 고려할 수 있다. 방향들은 예를 들어 벡터들에 의해 표현될 수 있다.

하나의 방향은 앞으로부터 뒤로의 스텝의 방향, 즉 스텝이 전경으로부터 배경을 향하는 방향이다. 이러한 방향은 예를 들어 이미지 부분에 대해 왼쪽으로부터 오른쪽으로일 수 있는데, 예를 들어 전경으로부터 배경으로의 가장 큰 전이의 방향은 왼쪽으로부터 오른쪽으로일 수 있다. 특정 예로서, 이미지 부분의 왼쪽은 전경 객체(예를 들어, 나무의 몸통의 일부)일 수 있는 반면 오른쪽은 배경(예를 들어, 하늘)일 수 있다. 그러한 예에 대해, 앞으로부터 뒤로의 스텝의 방향은 이에 따라 왼쪽으로부터 오른쪽으로의 방향인데, 즉 깊이 전이의 앞으로부터 뒤로의 깊이 전이는 왼쪽으로부터 오른쪽으로의 방향이다.

선택기는 이미지 부분에 대한 뷰 포즈(즉, 이미지 부분의 앵커 포즈)로부터 렌더링 뷰 포즈로인 제2 방향을 추가로 고려할 수 있다. 예를 들어, 렌더링 뷰 포즈는 이미지 부분에 대한 앵커 포즈의 오른쪽으로 오프셋될 수 있고 이 경우에 방향은 왼쪽으로부터 오른쪽으로의 방향이거나, 그것은 앵커 포즈의 왼쪽으로 오프셋될 수 있고 이 경우에 방향은 오른쪽으로부터 왼쪽으로의 방향이다.

선택기는 이들 2개의 방향 사이의 관계에 기초하여 선택을 바이어싱할 수 있다. 구체적으로, 그것은 이들 방향이 서로 반대인 이미지 부분을 향하는 선택을 바이어싱할 것이다. 바이어스는 예를 들어 상대적 방향들을 고려하고 방향들 사이의 증가하는 정렬(방향들 사이의 감소하는 각도)에 대한 비용 값을 증가시키는 비용 함수에 의해 도입될 수 있다.

바이어스는 이미지 평면에서의 방향들 사이의 상관 관계/정렬의 정도에 의존할 수 있다.

바이어스를 수행하기 위해 이미지 평면에서의 방향들 및 포인트들이 명시적으로 계산되거나 결정될 필요가 없다는 것이 인식될 것이다.

그러한 접근법은 2개의 방향이 반대일 때, 주된 깊이 전이는 렌더링 뷰 포즈로 시프팅할 때 더 많은 폐색이 발생하고 이에 따라 더 적은 역폐색 동작이 필요한 결과를 야기할 것인 반면, 2개의 방향이 동일한 방향일 때, 주된 깊이 전이는 렌더링 뷰 포즈로 시프팅할 때 더 적은 폐색(및 이에 따라 배경의 더 많은 역폐색)이 발생하고, 이에 따라 더 많은 역폐색 동작이 필요한 결과를 야기할 것이라는 본 발명자의 깨달음을 반영한다.

따라서, 특정 선택 바이어스는 실제 구현들에서 상당한 이점을 제공하는 특정 선택 바이어스를 제공할 수 있다.

따라서 합성 선택기(307)는 렌더링 뷰 포즈에 대해 합성될 이미지의 특정 이미지 부분을 합성하기 위해 사용할 제1 이미지 부분을 선택한다. 이 선택은 이미지 합성기(303)에 공급될 수 있고 이미지 합성기는 그 다음에 이어서 선택된 앵커 이미지 부분에 기초하여 합성을 수행한다. 선택된 앵커 이미지 부분이 이미 수신되어 이전에 저장된 경우, 이미지 합성기(303)는 이미지 부분을 검색하고 그것을 합성을 위해 사용할 수 있다.

도 3의 이미지 합성 장치(101)에서, 선택은 또한 검색기(309)에 공급되고 검색기는 이어서 이미지 데이터 스트림 생성 장치(103)로부터 선택된 앵커 이미지를 요청한다. 이러한 검색은 많은 실시예에서 이미지 부분이 이미 수신되었는지 또는 그렇지 않은지에 의존하도록 배열될 수 있는데, 즉 검색기(309)는 먼저 적합한 앵커 이미지 부분이 수신되었고 항상 저장되는지를 평가할 수 있고, 그렇지 않다면 그것은 이미지 데이터 스트림 생성 장치(103)로부터 이미지 부분을 요청할 수 있다.

선택된 앵커 이미지 부분이 이미지 데이터 스트림 생성 장치(103)에 의해 이미지 합성 장치(101)로 제공됨에 있어서 지연이 있을 수 있고, 이미지 합성 장치(101)는 그러한 지연들을 상이한 방식들로 보상할 수 있다는 것이 인식될 것이다. 예를 들어, 합성 선택기(307)는 사용자 입력으로부터 생성된 예측된 렌더링 뷰 포즈에 기초하여 선택을 수행할 수 있다. 다른 예로서, 전송 지연을 수용하기 위해 요청된 렌더링 뷰 포즈에 비해 합성을 위해 사용되는 렌더링 뷰 포즈에 지연이 도입될 수 있다.

설명된 접근법은 특히 이미지 부분/타일 기반 전송을 사용하는 실제 스트리밍 재생 및 (깊이 맵들 및/또는 메시들과 같은) 연관된 깊이를 갖는 이미지 데이터의 렌더링을 제공할 수 있다. 주어진 사용자의 뷰 방향 및 주어진 3D 장면의 깊이 분포에 대해, 시스템은 이미지 품질에 가장 큰 영향을 미치는 이미지 부분들이 (더 높은 우선순위로) 먼저 전송되고 이미지 품질에 더 적은 영향을 미치는 타일들이 나중에 전송되도록 이미지 부분들(예를 들어, 미리 정의된 타일들)의 전송을 우선순위화하려고 할 수 있다.

설명된 접근법은 어느 이미지 부분(들)이 다음에 전송되어야 하는지를 결정함에 있어서, 그리고 이에 따라서 이미지 부분들의 전송의 우선순위화 및 시퀀싱에 있어서 깊이 전이 메트릭들을 이용한다. 이 접근법은 예를 들어 미리 계산된 깊이 스텝 크기 및 방향을, 메타-데이터로서 전송 및 저장되는 깊이 전이 메트릭으로서 사용할 수 있다. 이러한 데이터는 이어서 어느 이미지 부분이 이미지 데이터 스트림 생성 장치(103)로부터 이미지 합성 장치(101)로 전송되어야 하는지를 평가하는 데 사용될 수 있다.

본 발명자는 이 접근법이 개선된 성능을 제공할 수 있고 특히 그것은 뷰 포인트 시프트로부터 기인하는 역폐색으로 인해 발생할 수 있는 에러 또는 아티팩트를 감소시키거나 완화시킬 수 있다는 것을 깨달았다.

이 문제는 아래의 연관된 깊이 맵들과 함께 좌안 및 우안 이미지를 보여주는 도 4의 상황을 고려함으로써 예시될 수 있다. 깊이 맵 코딩은 백색은 카메라에 가까운 것을 표현하고 흑색은 카메라에서 멀리 떨어져 있는 것을 표현하게 한다. 이 예는 배경 객체 앞에 전경 객체를 보여준다. 간략함을 위해 배경은 단지 하기 설명에서 무시될 수 있는 일정한 백색 배경일 뿐이다고 가정된다.

중간 뷰-포인트는 깊이 이미지 기반 렌더링을 사용하여 연관된 깊이 맵을 가진 왼쪽 이미지로부터 또는 연관된 깊이 맵을 가진 오른쪽 이미지로부터 합성될 수 있다. 대안으로서, 깊이 맵들은 메시로 변환될 수 있고 표준 그래픽 텍스처 매핑이 중간 뷰-포인트를 합성하는 데 사용될 수 있다(왼쪽 또는 오른쪽 이미지를 참조로서 사용하여).

이러한 예에서, 중간 뷰-포인트가 왼쪽 이미지를 사용하여 합성되는 경우, 패턴화된 배경 객체의 정보는 도 5에 예시된 바와 같이 보존된다. 이것은 이미지에 존재하는 전경 객체와 배경 객체 사이의 단일 깊이 스텝 에지가 추가적인 역폐색이 발생하지 않도록 배향되고 왼쪽 이미지로부터 뷰 시프트를 수행할 때 2개의 객체의 상대적 시차 시프트들로부터 커버링/폐색만이 기인하기 때문에 그러하다.

그러나, 중간 뷰-포인트가 오른쪽 이미지를 사용하여 합성되는 경우, 도 6에 예시된 바와 같이 배경 객체가 부분적으로 역폐색된다. 이것은 시차 시프트가 왼쪽 이미지에 대해 수행될 때 이미지에 존재하는 단일 깊이 스텝 에지가 역폐색을 야기하기 때문에 그러하다. 이러한 예에서, 중간 뷰-포인트는 에러/아티팩트를 갖고서 합성되는데, 그 이유는 오른쪽 이미지로부터 중간 뷰-포인트를 렌더링할 때 배경 객체의 '언커버링(uncovering)' 또는 역폐색이 발생하기 때문이다. 사용되는 특정 렌더링 방법에 따라 국지적 배경 객체는 '신장'되거나 구멍들이 형성된다.

도 5 및 도 6은 이미지에 단일 깊이 스텝이 존재하고 이것이 알려진 배향을 가질 때 단일 뷰-포인트로부터 올바른 뷰-합성이 달성될 수 있는 것을 예시한다. 그러나, 일반적으로 이미지에 다수의 객체가 존재할 것이고 따라서 많은 깊이 스텝들이 상이한 깊이 스텝 방향들을 갖고서 존재할 것이다. 이것은 도 4 내지 도 6의 예가 전경 객체 뒤에 위치된 제3 객체로 확장되는 도 7에 예시되어 있다. 이 경우에, 왼쪽 참조/앵커 뷰가 사용되는 경우 및 오른쪽 참조/앵커 뷰 이미지가 사용되는 경우 둘 모두에서 역폐색이 발생할 것이다. 따라서, 이미지가 이제 반대 방향들에 있는 2개의 깊이 스텝을 포함하는 예에서(앞으로부터 뒤를 향하는 스텝은 각각 2개의 배경 객체에 대해 왼쪽 및 오른쪽 방향에 있다). 중간 뷰 이미지는 왼쪽 또는 오른쪽 이미지를 사용하여 올바르게 합성될 수 없는데 그 이유는 둘 모두의 경우에서 역폐색이 발생할 것이기 때문이다.

그러나, 이미지 부분 기반 합성이 수행되는 설명된 접근법에서, 이것이 달성될 수 있고 어느 이미지 부분들이 존재하고 합성을 위해 사용되는지를 선택하기 위한 깊이 전이 메트릭의 사용이 이 문제를 해결할 수 있다.

이것은 도 7의 이미지들이 각각 12개의 이미지 부분/타일에 의해 표현되는 도 8의 예에 의해 예시될 수 있다. 각각의 타일은 이미지의 아마도 중첩하는 영역에 대응한다. 타일링의 제1 이점은 그것이 전송될 필요가 있는 데이터의 양을 감소시킬 수 있다는 점인데, 왜냐하면 렌더링 뷰 포즈에 가깝고 작은 뷰-포인트 시프트가 이미지 업데이트를 필요로 하는 이미지의 부분들만을 선택하는 것이 가능하기 때문이다. 더 적은 3D 복잡도를 포함하는 타일들 및 렌더링 뷰 포즈로부터 더 멀리 떨어져 위치하는 타일들은 더 낮은 업데이트 우선순위를 가질 수 있는데 그 이유는 그들은 (이미 클라이언트 측에 존재한) 상이한 뷰-포인트를 사용하여 용인할 수 있는 품질로 렌더링될 수 있기 때문이다.

따라서, 타일링은 그것이 더 유연하고 세세한 이미지 데이터의 제공을 허용할 수 있기 때문에 6-자유도(6DoF) 이미지들을 스트리밍하는 데 이점들을 갖는다. 그러나, 또한, 본 발명자는 그것이 렌더링 뷰 포즈(그리고 이에 따라 이 예에서 사용자의 위치 및 움직임) 및 깊이 전이 메트릭에 따라 재생 동안 타일들을 선택함으로써 폐색 문제들을 해결할 수 있다는 것을 깨달았다. 도 8에 도시된 바와 같은 타일링 구조가 주어지면, 더 복잡한 장면에 대한 중간 뷰-포인트가 이제 앞서 설명된 바와 같이 타일의 선택이 타일 내의 지배적인 깊이 전이의 방향(및 아마도 크기)에 의존하는 상이한 참조/앵커 뷰-포인트들로부터의 타일들의 조합을 사용하여 구성될 수 있다. 도 8의 예에 대한 예시적인 타일 기반 합성이 도 9에 예시되어 있다. 이 접근법은 특히 역폐색 성능을 개선할 수 있는데 그 이유는 그것이 뷰 시프트 동작을 위해 어느 앵커 이미지/이미지 부분을 사용할지의 선택을 위해, 상충되는 깊이 전이들의 양을, 그리고 이에 따라 역폐색을 감소시키기 때문이다.

이 접근법의 매우 특정한 예로서, 이미지 합성 장치(101)는, 타일당 6DoF 재생 동안, 하기 단계들을 사용하여 인근의 참조 앵커 타일들의 세트로부터 최상의 참조 앵커 타일을 선택할 수 있다:

1. 앵커 위치

가 현재 렌더링 뷰 포즈

에 가장 가까이 위치하는 N개의 참조 앵커 이미지 부분들/타일들

의 세트를 결정한다;

2. 각각의 참조 뷰 포인트

에 대한 지배적인 깊이 기울기 벡터를 반영하는 깊이 전이 메트릭들을 포함하는 메타-데이터를 판독한다;

3. 각각의 타일에 대해, 깊이 전이 메트릭에 기초한 비용 함수가 최소화되는 앵커 타일을 선택한다.

적합한 깊이 전이 메트릭은 지배적인 깊이 기울기 벡터일 수 있고 적합한 비용 함수는 참조 뷰 위치와 관찰자 위치를 연결하는 벡터의 (참조 뷰 평면으로의) 투영과 지배적인 깊이 기울기 벡터의 내적의 역수일 수 있다.

예를 들어,

를 앵커/참조 뷰 포즈

의 위치와 렌더링 뷰 포즈를 연결하는 벡터라고 하자.

를 인근의 앵커 포즈

로부터 타일

의 중심으로 향하는 방향 벡터라고 하자. 이러한 방향 벡터는 전체 이미지 내의 타일의 로케이션 및 앵커 이미지들을 생성하는 데 사용된 특정 투영(예를 들어, 투시 또는 정방형)으로부터 계산될 수 있다는 점에 유의한다. 평면

를

에 직교하여 위치하는 평면이라고 하자. 이제 평면

에 위치하고 뷰 방향 벡터

에 직교하는 정의에 따르는

의 성분을 결정할 수 있다.

이 이러한 성분을 나타낸다고 하자. 타일

에 대한 선택된 참조 뷰 포인트

는 이제 모든 인근의 뷰 포인트들

에 비해 내적을 최대화하여야 한다(내적의 역수인 비용 함수를 최소화하는 것에 대응함):

벡터들

및

가 동일한 방향을 갖는 경우, 관찰자는 폐색/깊이 스텝에서 커버링/폐색이 발생하도록 참조 뷰

에 대해 위치된다. 따라서 위에 주어진 바와 같은 내적의 최대값은 유용한 결정 메트릭이다.

이전의 예들은 어느 이미지 부분을 선택할지의 결정이 이미지 합성 장치(101)에서 수행된 예에 초점을 맞추었고, 구체적으로 "지능형" 이미지 합성 장치(101) 및 "덤" 이미지 데이터 스트림 생성 장치(103)를 갖는 접근법이 구현되었다.

그러나, 몇몇 실시예들에서, 결정 알고리즘은 예를 들어 이미지 데이터 스트림 생성 장치(103)에서 수행될 수 있다. 예를 들어, 이미지 합성 장치(101)는 렌더링 뷰 포즈를 이미지 데이터 스트림 생성 장치(103)로 직접 전송하도록 배열될 수 있다. 이미지 데이터 스트림 생성 장치(103)는 생성된 깊이 전이 메트릭 데이터를 국지적으로 저장할 수 있고 합성 선택기(307)와 관련하여 설명된 프로세스는 대신에 선택기(205)에 의해 수행될 수 있다. 선택된 앵커 이미지 부분은 이어서, 예를 들어 어느 합성된 이미지의 어느 이미지 부분이 수신된 앵커 이미지 부분에 기초하여 합성되어야 하는지의 표시와 함께, 이미지 합성 장치(101)로 전송될 수 있다.

그러한 실시예들에서, 복잡한 선택이 이미지 합성 장치(101)에 의해 수행될 필요가 없고 깊이 전이 메트릭 데이터가 수신 및 저장될 필요가 없다. 오히려, 이미지 합성 장치(101)는 단순히 앵커 이미지 부분들을 수신하고 지시된 합성을 수행할 수 있다. 따라서, 그러한 접근법은 낮은 복잡도의 이미지 합성 장치(101)가 구현될 수 있게 할 수 있다.

몇몇 실시예들에서, 이미지 부분들은 이미지들의 사전 결정된 파티셔닝에 대응할 수 있다. 예를 들어, 도 8 및 도 9의 예에서와 같이, 직사각형 이미지는 개별적으로 선택 가능한 이미지 부분에 대응하는 각각의 정사각형을 갖는 사전 결정된 복수의 정사각형 타일로 분할될 수 있다.

그러한 접근법은, 그러나 여전히 우수한 성능을 제공할 수 있는 낮은 복잡도의 구현을 허용할 수 있다.

몇몇 실시예들에서, 이미지 부분들(또는 적어도 몇몇 이미지 부분들)은 예를 들어 입방체 맵에서의 정사각형들 또는 20면체에서의 삼각형들과 같은, 상이한 뷰 포즈들에 대한 장면의 다면체 투영들의 면들일 수 있다.

구체적으로, 주어진 뷰 포인트에 대해, 반구형 뷰는 반구형 기하 구조를 함께 형성하는 대응하는 평면 다각형들의 세트로 분할될 수 있다. 이것은 많은 실시예에서 뷰 합성 동작들을 용이하게 할 것이고, 또한 이전에 수신되거나 예측된 이미지 부분들과 함께 수신되는 새로운 이미지 부분들을 통합하는 것을 용이하게 할 것이다. 정방형 투영과 비교하여, 그리고 평평한 면들을 갖는 다면체 투영들로 인해, 적은 수의 삼각형이 투영과 연관되는 형상을 정확하게 기술할 수 있기 때문에, 표준 GPU 상에 이미지를 렌더링하는 것이 더 저렴하다. (20면체 투영과 같은) 충분한 수의 면을 갖는 다면체 투영들에 대해, 평균 투영 왜곡은 정방형 투영에 대해서보다 낮다. 또한, 면들은 이미지의 자연적 파티셔닝을 제공한다.

몇몇 실시예들에서, 이미지 데이터 스트림 생성 장치(103)는 앵커 이미지들을 파티셔닝함으로써 적어도 몇몇 이미지 부분들을 생성하도록 배열된 파티셔너를 포함할 수 있다. 몇몇 실시예들에서, 이러한 파티셔닝은 사전 결정될 수 있는데, 예를 들어 파티셔너는 규칙적인 타일링을 사용하여 이미지를 파티셔닝할 수 있다.

그러나, 많은 실시예에서, 더 자유롭게 형상화된 파티션들 또는 세그먼트들이 생성될 수 있고, 특히 이미지 부분들의 생성은 이미지 및/또는 깊이 맵의 특성들에 의존하는 세그먼트화에 의해 이루어질 수 있다. 이것은 예를 들어 특정 객체들이 상이한 이미지 부분들, 다른 개별 이미지 부분에 의한 배경 등에 의해 표현되는 것을 허용할 수 있다.

이미지 세그먼트화를 위한 임의의 적합한 접근법이 본 발명으로부터 벗어남이 없이 사용될 수 있다는 것이 인식될 것이다. 예를 들어, 세그먼트들은 일관된 컬러들 및/또는 강도들을 갖도록, 또는 면들과 같은 인식된 객체 이미지들에 대응하도록 생성될 수 있거나, 예를 들어 세그먼트들은 유사한 깊이 값들 등을 갖는 영역들에 대응하도록 생성될 수 있다. 많은 수의 세그먼트화 알고리즘 및 기준이 당업자에게 알려져 있을 것임이 인식될 것이다.

몇몇 실시예들에서, 적어도 몇몇 이미지 부분들은 중첩된다.

많은 실시예에서, 2개의 인접한 이미지 부분 둘 모두가 중첩하는 경계 영역에 대한 이미지 데이터를 포함하도록 중첩하는 이미지 부분들을 허용하는 것이 유리할 수 있다. 이것은 증가된 저장 요구를 유발할 수 있고 비트스트림의 데이터 레이트를 증가시킬 수 있다. 그러나, 많은 실시예에서, 그것은 (예를 들어, 코딩 블록들이 이미지 부분들 사이의 경계들과 정렬되지 않는 경우) 개선된 코딩 효율성을 허용할 수 있다. 또한, 중복 영역들은, 예를 들어 이미지 합성 장치(101)에서 이전에 생성되었을 수 있는 다른 이미지 부분들과 새로운 이미지 부분의 혼합을 상당히 용이하게 할 수 있다.

이전의 설명은 표준 이미지들 및 깊이 맵들을 사용하는 표현에 초점을 맞추었지만, 다른 실시예들에서 다른 접근법들이 사용될 수 있다는 것이 인식될 것이다.

예를 들어, 이미지들은 장면의 메시 및 텍스처 표현들로부터의 텍스처 부분들을 포함하는 텍스처 아틀라스 이미지들을 포함할 수 있다. 그러한 표현의 예가 예를 들어 문헌[A. Collet et al. High-quality streamable free-viewpoint video. ACM Transactions on Graphics (TOG), Proceedings of ACM SIGGRAPH 2015. Volume 34 Issue 4, August 2015]에서 발견될 수 있다.

그러한 예에서, 앵커 이미지는 앵커 위치(영역)로부터의 관찰에 가장 적합한 텍스처 아틀라스에 대응할 수 있다. (분리) 메시와 조합된 텍스처 아틀라스는 객체 또는 장면의 기하 모델을 형성할 수 있다. 이러한 경우, 이미지 부분은 예를 들어 장면 내의 하나의 표면에 대응하는 그러한 아틀라스 내의 하나의 텍스처일 수 있다.

몇몇 실시예들에서, 이미지 부분들(또는 이들 중 적어도 일부)은 사전-인코딩될 수 있다. 따라서, 그들은 인코딩되고, 그들이 트랜스코딩 또는 (재)인코딩에 대한 어떠한 요구도 없이 비트스트림에 직접 포함될 수 있는 포맷으로 저장될 수 있다. 오히려, 비트스트림에 포함될 이미지 부분은 단순히 저장소로부터 검색되고 인코딩 동작 없이 비트스트림에 추가될 수 있다. 이것은 이미지 데이터 스트림 생성 장치(103)에서의 복잡도 및 리소스 요건들을 매우 상당히 감소시키고 매우 효율적인 동작을 제공할 수 있다.

몇몇 실시예들에서, 깊이 전이 메트릭은 이미지 부분들에 대한 깊이 데이터에 기초하여 결정될 수 있다. 그러나, 설명된 원리들 및 접근법들은, 예를 들어 수신되고 합성을 위해 사용된 것과 같은, 이미지 부분들에 대한 깊이 데이터와, 깊이 전이 메트릭 사이의 임의의 특정 관계로 제한되지 않는다. 그것은 결코 깊이 데이터와 깊이 전이 메트릭 사이에 임의의 특정 관계가 존재한다는, 또는 깊이 전이 메트릭이 임의의 특정 방식으로 생성된다는 기술적 필요성 또는 심지어 실제적 요건이 아니라는 점에 또한 유의한다.

실제로, 깊이 전이 메트릭은 많은 실시예에서 이미지 부분들에 대한 깊이 데이터를 평가하고 처리함으로써 생성될 수 있다. 또한, 이것은 실제로 많은 실시예에서 수신된 깊이 데이터에 기초하여 합성 장치에 의해 수행될 수 있다. 그러나, 많은 다른 실제 실시예에서, 깊이 전이 메트릭은 예를 들어 이미지 소스에서 결정될 수 있다. 예를 들어, 서버는 깊이 전이 메트릭을 생성하고 단순히 이것을 깊이 데이터와는 독립적으로 합성 장치에 제공할 수 있다. 서버는 그러한 실시예들에서 깊이 데이터에 기초하여 깊이 전이 메트릭을 생성할 수 있지만, 이것은 필수적인 것은 아니며 실제로 생성된 깊이 데이터에 대한 어떤 고려도 없이 깊이 전이 메트릭을 생성하는 것이 가능할 수 있다. 예를 들어, 그것은 이미지 부분의 분석에 기초하여 결정될 수 있다(예를 들어, 지배적인 배경 컬러(예를 들어, 가장 큰 영역을 커버하는 컬러)를 결정하기 위해 이미지가 분석될 수 있으며 이어서 이 컬러의 영역을 식별하기 위해 이미지 부분이 분석된다. 이 영역이 이미지 부분의 측부에 인접해 있다면, 이 측부가 좌측인지 또는 우측인지에 기초하여 깊이 전이의 방향이 결정될 수 있다). 실제로, 몇몇 실시예들에서, 깊이 전이 메트릭은 조작자에 의해 수동으로 입력될 수 있다. 따라서, 많은 실시예에서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에 대한 깊이 데이터와는 완전히 독립적으로 결정될 수 있다. 이것으로부터 기술적 어려움들이 발생하지 않을 것이고 선호되는 접근법은 전적으로 개별 실시예에 대한 요건들 및 선호도들에 의존한다.

합성된 이미지(들)는 임의의 적합한 방식으로 사용될 수 있고 이것은 단지 설명된 원리들을 어느 컨텍스트에서 적용할지에 대한 선호도들에 달려 있다는 것이 또한 인식될 것이다. 많은 전형적인 애플리케이션들에서, 그것은 실제로 직접 디스플레이되고 그에 의해 예를 들어 개인 VR 경험을 생성할 수 있다. 그러나, 다른 실시예들에서, 그것은 예를 들어 적합한 저장소에 저장되거나 잠재적으로 대그룹의 사람들 등에게 스트리밍될 수 있다. 실제로, 합성된 이미지는 적절하고 원하는 바에 따라 임의의 다른 이미지로서 사용될 수 있다.

설명된 선택 개념은 클라이언트 측에서, 서버 측에서 구현되거나, 실제로 분산될 수 있다는 점에 또한 유의한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.

본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 발명은 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서 "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구항들의 범주를 제한하는 것으로 해석되지 않아야 한다.

몇몇 실시예들에 따르면, 다음이 제공될 수 있다:

1. 이미지 합성 장치로서,

이미지 소스로부터 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 이미지 부분들 및 연관된 깊이 데이터를 수신하기 위한 수신기(301);

렌더링 뷰 포즈를 결정하기 위한 결정기(305);

이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 포함하는 저장소(311)로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 저장소(311);

수신 이미지 부분들로부터 적어도 하나의 이미지를 합성하기 위한 이미지 합성기(303);

깊이 전이 메트릭에 응답하여 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하기 위한 선택기; 및

이미지 소스로부터 제1 이미지 부분을 검색하기 위한 검색기(309)를 포함하는, 이미지 합성 장치.

2. 위의 1에 있어서, 깊이 전이 메트릭은 깊이 전이의 크기를 나타내는, 이미지 합성 장치.

3. 위의 1 또는 2에 있어서, 선택기(307)는 이미지 부분들의 세트 중의 이미지 부분들의 뷰 포즈와 렌더링 뷰 포즈 사이의 차이들에 응답하여 제1 이미지 부분을 추가로 선택하도록 배열되는, 이미지 합성 장치.

4. 위의 3에 있어서, 선택기(307)는 이미지 부분들의 세트에 속하는 임의의 이미지 부분의 뷰 포즈와 렌더링 뷰 포즈 사이의 차이가 임계치 아래라는 제약을 조건으로 이미지 부분들의 세트를 결정하도록 배열되는, 이미지 합성 장치.

5. 위의 1 내지 4 중 어느 하나에 있어서, 선택기(307)는 이미지 합성기에 의해 합성될 이미지의 이미지 섹션에 대한 이미지 부분으로서 제1 이미지 부분을 선택하도록, 그리고 상이한 뷰 포즈들로부터의 이미지 영역에 대한 이미지 부분들로서 이미지 부분들의 세트를 결정하도록 배열되는, 이미지 합성 장치.

6. 위의 1 내지 5 중 어느 하나에 있어서, 이미지 부분들의 세트는 상이한 뷰 포즈들로부터의, 그리고 합성될 이미지의 동일한 부분에 대응하는 이미지 부분들을 포함하는, 이미지 합성 장치.

7. 위의 1 내지 6 중 어느 하나에 있어서, 선택기(307)는 깊이 전이의 앞으로부터 뒤로의 깊이 전이가 이미지 부분에 대한 뷰 포즈로부터 렌더링 뷰 포즈로의 방향과 반대인 방향에 있는 이미지 부분을 향해 제1 이미지 부분의 선택을 바이어싱하도록 배열되는, 이미지 합성 장치.

8. 위의 1 내지 7 중 어느 하나에 있어서, 적어도 하나의 이미지의 합성은 제1 이미지 부분으로부터 적어도 하나의 이미지의 이미지 부분을 합성하는 것을 포함하는, 이미지 합성 장치.

9. 위의 1 내지 8 중 어느 하나에 있어서, 깊이 전이 메트릭은 임계치를 초과하는 깊이 기울기들의 평균을 나타내는, 이미지 합성 장치.

10. 이미지 데이터 스트림을 생성하기 위한 장치로서,

원격 소스로부터 이미지 부분 요청을 수신하기 위한 수신기(203);

상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하기 위한 저장소(201);

이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 제공하기 위한 메트릭 생성기(203)로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 메트릭 생성기(203);

이미지 부분 요청에 응답하여 이미지 부분들의 세트로부터 이미지 부분들을 선택하기 위한 선택기(205); 및

선택된 이미지 부분들 및 연관된 깊이를 원격 소스로 전송하기 위한 전송기(207)를 포함하는, 이미지 데이터 스트림을 생성하기 위한 장치.

11. 위의 10에 있어서, 전송기(207)는 이미지 부분들의 세트에 대한 깊이 전이 메트릭들을 원격 소스로 전송하도록 배열되는, 이미지 데이터 스트림을 생성하기 위한 장치.

12. 위의 10 또는 11에 있어서, 이미지 부분 요청은 뷰 포즈 표시를 포함하고, 선택기(205)는 깊이 전이 메트릭들 및 뷰 포즈 표시에 응답하여 이미지 부분들을 선택하도록 배열되는, 이미지 데이터 스트림을 생성하기 위한 장치.

13. 이미지를 합성하는 방법으로서,

이미지 소스로부터 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 이미지 부분들 및 연관된 깊이 데이터를 수신하는 단계;

렌더링 뷰 포즈를 결정하는 단계;

이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 저장하는 단계로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 깊이 전이 메트릭을 저장하는 단계;

수신 이미지 부분들로부터 적어도 하나의 이미지를 합성하는 단계;

깊이 전이 메트릭에 응답하여 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하는 단계; 및

이미지 소스로부터 제1 이미지 부분을 검색하는 단계를 포함하는, 이미지를 합성하는 방법.

14. 이미지 데이터 스트림을 생성하는 방법으로서,

원격 소스로부터 이미지 부분 요청을 수신하는 단계;

상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하는 단계;

이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 제공하는 단계로서, 이미지 부분에 대한 깊이 전이 메트릭은 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 깊이 전이 메트릭을 제공하는 단계;

이미지 부분 요청에 응답하여 이미지 부분들의 세트로부터 이미지 부분들을 선택하는 단계; 및

선택된 이미지 부분들 및 연관된 깊이를 원격 소스로 전송하는 단계를 포함하는, 이미지 데이터 스트림을 생성하는 방법.

Claims (15)

1. 이미지 합성 장치로서,
   이미지 소스로부터, 수신 이미지 부분들 및 연관된 깊이 데이터를 수신하기 위한 수신기(301)로서, 상기 이미지 부분들은 상이한 뷰 포즈(view pose)들로부터의 장면(scene)을 표현하는 이미지들의 부분들인, 상기 수신기(301);
   렌더링 뷰 포즈(rendering view pose)를 결정하기 위한 결정기(305);
   상기 수신 이미지 부분들의 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭(depth transition metric)을 포함하는 저장소(311)로서, 이미지 부분에 대한 상기 깊이 전이 메트릭은 상기 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 저장소(311);
   상기 렌더링 뷰 포즈 및 상기 깊이 전이 메트릭에 응답하여 상기 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하기 위한 선택기;
   상기 이미지 소스로부터 상기 제1 이미지 부분을 검색하기 위한 검색기(309); 및
   상기 제1 이미지 부분을 포함하는 수신 이미지 부분들로부터 적어도 하나의 이미지를 합성하기 위한 이미지 합성기(303)를 포함하는, 이미지 합성 장치.
2. 제1항에 있어서, 상기 깊이 전이 메트릭은 상기 깊이 전이의 크기를 나타내는, 이미지 합성 장치.
3. 제1항 또는 제2항에 있어서, 상기 선택기(307)는 상기 이미지 부분들의 세트 중의 상기 이미지 부분들의 뷰 포즈와 상기 렌더링 뷰 포즈 사이의 차이들에 응답하여 상기 제1 이미지 부분을 추가로 선택하도록 배열되는, 이미지 합성 장치.
4. 제3항에 있어서, 상기 선택기(307)는 상기 이미지 부분들의 세트에 속하는 임의의 이미지 부분의 상기 뷰 포즈와 상기 렌더링 뷰 포즈 사이의 차이가 임계치 아래라는 제약을 조건으로 상기 이미지 부분들의 세트를 결정하도록 배열되는, 이미지 합성 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 선택기(307)는 상기 이미지 합성기(303)에 의해 합성될 이미지의 이미지 섹션과 동일한 상기 장면의 영역을 표현하는 이미지 부분들로서 상기 이미지 부분들의 세트를 결정하도록 배열되며, 상기 이미지 부분들의 세트 중의 상기 이미지 부분들은 상이한 뷰 포즈들로부터의 상기 이미지 영역을 표현하는, 이미지 합성 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 이미지 부분들의 세트는 상이한 뷰 포즈들로부터의, 그리고 합성될 이미지의 동일한 부분에 대응하는 이미지 부분들을 포함하는, 이미지 합성 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 선택기(307)는 상기 깊이 전이의 앞으로부터 뒤로의 깊이 전이가 상기 이미지 부분에 대한 뷰 포즈로부터 상기 렌더링 뷰 포즈로의 방향과 반대인 방향에 있는 이미지 부분을 향해 상기 제1 이미지 부분의 선택을 바이어싱(biasing)하도록 배열되는, 이미지 합성 장치.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 적어도 하나의 이미지의 상기 합성은 상기 제1 이미지 부분으로부터 상기 적어도 하나의 이미지의 이미지 부분을 합성하는 것을 포함하는, 이미지 합성 장치.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 깊이 전이 메트릭은 임계치를 초과하는 깊이 기울기들의 평균을 나타내는, 이미지 합성 장치.
10. 이미지 데이터 스트림을 생성하기 위한 장치로서,
    원격 소스로부터 이미지 부분 요청을 수신하기 위한 수신기(203);
    이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하기 위한 저장소(201)로서, 상기 이미지 부분들은 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 저장소(201);
    상기 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 제공하기 위한 메트릭 생성기(203)로서, 이미지 부분에 대한 상기 깊이 전이 메트릭은 상기 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 메트릭 생성기(203);
    상기 이미지 부분 요청 및 상기 깊이 전이 메트릭들에 응답하여 상기 이미지 부분들의 세트로부터 이미지 부분들을 선택하기 위한 선택기(205); 및
    선택된 이미지 부분들 및 연관된 깊이를 상기 원격 소스로 전송하기 위한 전송기(207)를 포함하는, 이미지 데이터 스트림을 생성하기 위한 장치.
11. 제10항에 있어서, 상기 전송기(207)는 상기 이미지 부분들의 세트에 대한 상기 깊이 전이 메트릭들을 상기 원격 소스로 전송하도록 배열되는, 이미지 데이터 스트림을 생성하기 위한 장치.
12. 제10항 또는 제11항에 있어서, 상기 이미지 부분 요청은 뷰 포즈 표시를 포함하고, 상기 선택기(205)는 상기 깊이 전이 메트릭들 및 상기 뷰 포즈 표시에 응답하여 이미지 부분들을 선택하도록 배열되는, 이미지 데이터 스트림을 생성하기 위한 장치.
13. 이미지를 합성하는 방법으로서,
    이미지 소스로부터, 수신 이미지 부분들 및 연관된 깊이 데이터를 수신하는 단계로서, 상기 이미지 부분들은 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 수신 이미지 부분들 및 연관된 깊이 데이터를 수신하는 단계;
    렌더링 뷰 포즈를 결정하는 단계;
    상기 수신 이미지 부분들의 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 저장하는 단계로서, 이미지 부분에 대한 상기 깊이 전이 메트릭은 상기 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 깊이 전이 메트릭을 저장하는 단계;
    상기 렌더링 뷰 포즈 및 상기 깊이 전이 메트릭에 응답하여 상기 이미지 부분들의 세트 중의 제1 이미지 부분을 선택하는 단계;
    상기 이미지 소스로부터 상기 제1 이미지 부분을 검색하는 단계; 및
    상기 제1 이미지 부분을 포함하는 수신 이미지 부분들로부터 적어도 하나의 이미지를 합성하는 단계를 포함하는, 이미지를 합성하는 방법.
14. 이미지 데이터 스트림을 생성하는 방법으로서,
    원격 소스로부터 이미지 부분 요청을 수신하는 단계;
    이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하는 단계로서, 상기 이미지 부분들은 상이한 뷰 포즈들로부터의 장면을 표현하는 이미지들의 부분들인, 상기 이미지 부분들의 세트 및 연관된 깊이 데이터를 저장하는 단계;
    상기 이미지 부분들의 세트 중의 각각의 이미지 부분에 대한 깊이 전이 메트릭을 제공하는 단계로서, 이미지 부분에 대한 상기 깊이 전이 메트릭은 상기 이미지 부분에서의 깊이 전이의 방향을 나타내는, 상기 깊이 전이 메트릭을 제공하는 단계;
    상기 이미지 부분 요청 및 상기 깊이 전이 메트릭들에 응답하여 상기 이미지 부분들의 세트로부터 이미지 부분들을 선택하는 단계; 및
    선택된 이미지 부분들 및 연관된 깊이를 상기 원격 소스로 전송하는 단계를 포함하는, 이미지 데이터 스트림을 생성하는 방법.
15. 컴퓨터 프로그램 제품으로서, 상기 프로그램이 컴퓨터 상에서 실행될 때 제14항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.

Images