KR20200031678A - 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법 - Google Patents

장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20200031678A
KR20200031678A KR1020207005322A KR20207005322A KR20200031678A KR 20200031678 A KR20200031678 A KR 20200031678A KR 1020207005322 A KR1020207005322 A KR 1020207005322A KR 20207005322 A KR20207005322 A KR 20207005322A KR 20200031678 A KR20200031678 A KR 20200031678A
Authority
KR
South Korea
Prior art keywords
tile
depth
depth value
tiles
mesh
Prior art date
Application number
KR1020207005322A
Other languages
English (en)
Other versions
KR102546358B1 (ko
Inventor
크리스티안 바레캄프
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20200031678A publication Critical patent/KR20200031678A/ko
Application granted granted Critical
Publication of KR102546358B1 publication Critical patent/KR102546358B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

장면의 3차원 이미지 표현을 생성하기 위한 장치는 제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현을 수신하는 수신기(301)를 포함하고, 이 표현은 복수의 상호 연결된 타일을 포함하고, 각각의 타일은 제1 뷰포인트로부터의 장면의 뷰포트를 표현하는 텍스처 맵 및 깊이 맵을 포함하고 타일들은 타일링 패턴을 형성한다. 제1 프로세서(311)는 타일링 패턴에 응답하여 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정한다. 제2 프로세서(309)는 제2 타일의 제2 경계 영역에서의 적어도 제2 깊이 값에 응답하여 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을 수정하고, 경계 영역들은 이웃 영역들이다. 수정된 깊이 맵들은 이미지들이 그에 기초하여 생성될 수 있는 메시를 생성하기 위해 사용될 수 있다.

Description

장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법
본 발명은 장면의 타일식 3차원 이미지 표현(tiled three-dimensional image representation)을 생성하기 위한 장치 및 방법에 관한 것으로, 특히, 메시 표현(mesh representation)으로의 변환에 기초하여 이미지들의 생성에 적합한 장면의 개선된 타일식 3차원 이미지 표현을 생성하는 것에 관한 것이지만, 이에 한정되는 것은 아니다.
전통적으로, 이미지들의 기술적 처리 및 사용은 2차원 이미징에 기초했지만, 점점 더 이미지 처리에서 3차원이 명백하게 고려되고 있다.
예를 들어, 관찰되는 장면의 상이한 뷰들(views)을 관찰자의 두 눈에 제공함으로써 관찰 경험에 제3 차원을 추가하는 3차원(3D) 디스플레이들이 개발되었다. 이는 표시되는 2개의 뷰를 분리하기 위한 안경을 사용자가 착용하게 함으로써 달성될 수 있다. 그러나, 이는 사용자에게 불편한 것으로 간주될 수 있기 때문에, (렌티큘러 렌즈들(lenticular lenses) 또는 배리어들(barriers)과 같은) 디스플레이에 있는 수단을 사용하여 뷰들을 분리하고, 그들이 개별적으로 사용자의 눈들에 도달할 수 있는 상이한 방향들로 그들을 전송하는 무안경 입체 디스플레이들(autostereoscopic displays)을 사용하는 것이 많은 시나리오에서 바람직하다. 입체 디스플레이들의 경우 2개의 뷰가 요구되는 반면, 무안경 입체 디스플레이들은 전형적으로 (예를 들어 9개의 뷰와 같은) 더 많은 뷰를 필요로 한다.
많은 실시예에서, 새로운 관찰 방향들에 대한 뷰 이미지들을 생성하는 것이 바람직할 수 있다. 이미지 및 깊이 정보에 기초하여 그러한 새로운 뷰 이미지들을 생성하기 위한 다양한 알고리즘이 알려져 있지만, 이들은 제공된(또는 도출된) 깊이 정보의 정확도에 크게 의존하는 경향이 있다.
실제로, 3차원 이미지 정보는 종종 장면에 대한 상이한 뷰 방향들에 대응하는 복수의 이미지에 의해 제공된다. 구체적으로, 영화들 또는 텔레비전 프로그램들과 같은 비디오 콘텐츠는 점점 더 얼마간의 3D 정보를 포함하도록 생성된다. 그러한 정보는 약간 오프셋된 카메라 위치들로부터 2개의 동시 이미지를 캡처하는 카메라들과 같은, 전용 3D 또는 깊이 감지 카메라들을 사용하여 캡처될 수 있다.
그러나, 많은 응용에서, 제공된 이미지들은 원하는 방향들에 직접 대응하지 않을 수 있거나, 더 많은 이미지가 필요할 수 있다. 예를 들어, 무안경 입체 디스플레이들의 경우, 2개 초과의 이미지가 필요하며, 실제로 종종 9개 내지 26개의 뷰 이미지가 사용된다.
상이한 뷰 방향들에 대응하는 이미지들을 생성하기 위해, 뷰 포인트 시프팅 처리(view point shifting processing)가 이용될 수 있다. 이는 전형적으로 관련 깊이 정보와 함께 단일 뷰 방향에 대한 이미지를 사용하는 뷰 시프팅 알고리즘에 의해 수행된다.
3차원 이미지 처리에 기초하는 응용의 특정 예는 가상 현실 응용이다. 전형적인 가상 현실 경험들에서, 사용자에 의한 배향의 움직임 및 변화와 일치하도록 예를 들어 가상 현실 헤드셋에 대해 우안 및 좌안 뷰 이미지들이 연속적으로 생성될 수 있다. 그러한 동적 가상 현실 뷰들의 생성은 전형적으로 가상 현실 환경에 대응하는 주어진 장면을 표현하는 3D 이미지 데이터의 처리에 기초한다. 예를 들어, 가상 현실 서버는 광 강도 이미지들 및 깊이 맵들(depth maps), 또는 텍스처 맵들(texture maps) 및 깊이 메시들에 의해 표현되는 이미지들과 같은 3차원 이미지들 또는 3차원 모델에 기초하여 특정 뷰들에 대한 뷰 이미지들을 생성할 수 있다.
가상 현실 응용들과 같은 응용들의 경우, 이미지들의 시퀀스가, 예를 들어 사용자가 가상 환경에서 뷰 방향/배향을 가상적으로 이동시키거나 변경함으로 인해 사용자의 뷰들이 변함에 따라 사용자의 뷰들을 반영하기 위해 생성될 수 있다. 몇몇 응용들에서, 이미지들은 관찰자의 배향에 있어서의 변화들을 반영하도록, 그러나 영역에서의 움직임을 지원함이 없이 생성될 수 있다. 그러한 시나리오를 반영하는 비디오는 종종 전방향 비디오로 지칭된다. 다른 응용들에서, 가상 현실 환경에서 사용자의 가상 움직임을 반영하기 위해 움직이는 관찰 위치가 또한 지원될 수 있다. 그러한 시나리오를 반영하는 비디오는 종종 몰입형 비디오로 지칭된다. 사용자의 현재 뷰는 뷰포인트(viewpoint)에 대한 관련 위치 및 방향 파라미터들을 기술하는 뷰 벡터에 의해 표현될 수 있다.
전방향 비디오의 경우, 뷰 벡터는, 전형적으로 요(yaw), 피치(pitch) 및 롤(roll) 값들(또는 방위각(azimuth), 고각(elevation), 및 경사각(tilt))을 제공함으로써, 3 자유도(3DoF)에 따라 배향을 전형적으로 기술한다.
몰입형 비디오의 경우, 벡터는, 전형적으로 요, 피치, 롤에 대한, 그리고 3개의 공간 차원에 대한 값들을 제공함으로써, 6 자유도(6DoF)에 따라 배향 및 위치 둘 모두를 전형적으로 기술한다.
그러나, 가변적인 뷰 위치들 및/또는 방향들을 지원하는 유연한 비디오 및 이미지 응용들을 개발하고 지원하려고 시도할 때의 특별한 과제는, 이들이 바람직하게는 위치들 및/또는 방향들의 서브세트로 제한되는 것이 아니라 모든 위치들 및/또는 방향들이 이상적으로 지원된다는 것이다. 예를 들어, 6DoF 몰입형 비디오의 경우, 관찰자는 임의의 위치로부터 그리고 임의의 방향에서 장면을 관찰하고 있을 수 있다. 이는 장면의 모든 부분에 대해 그리고 모든 위치로부터 그리고 모든 방향에 대해 3D 정보가 이용 가능할 것을 요구한다. 이러한 요구는, 구체적으로 3D 데이터가 현실 세계 장면의 캡처들에 기초하는 응용들과 같은, 많은 실제 응용에서 충족시키기 어렵거나 불가능하다.
객체의 위치 및 방향/배향의 조합은 전형적으로 배치 또는 포즈(pose)로 지칭되는 필드에 있다. 따라서, 배치 또는 포즈 벡터는 6개의 값/성분을 포함할 수 있고 각각의 값/성분은 대응하는 객체의 위치/위치설정 또는 배향/방향의 개별 특성을 기술한다. 물론, 몇몇 상황들에서는, 예를 들어 하나 이상의 성분이 고정된 것으로 간주되는 경우, 배치 또는 포즈 벡터들이 위치 및 배향을 표현하기 위해 더 적은 성분을 가질 수 있다(예를 들어, 모든 객체가 동일한 높이에 있고 수평이라고 간주되는 경우, 4개의 성분이 객체의 포즈에 대한 완전한 표현을 제공할 수 있다).
해결해야 할 가장 어려운 과제들 중 하나는 표현이 적합한 뷰포인트 이미지들이 충분히 높은 품질로 생성되게 하기에 충분한 정보를 제공하면서도 표현이 쉽게 전달, 저장, 적응, 및/또는 처리되게 하도록 장면을 효과적으로 표현하는 방법에 대한 것이다.
사용되는 하나의 접근법은 주어진 뷰-위치에 대한 전방향 이미지를 제공하는 것이고 전방향 이미지는 예를 들어 시각적 정보를 대응하는 뷰 위치에 중심을 둔 구 또는 반구로서 제공하고 여기서 구는 대응하는 뷰 방향에서 장면의 시각적 특성을 반영하는 오버레이된 이미지를 갖는다. 많은 응용에서, 이 접근법은 뷰포인트를 둘러싸는 구형 객체의 텍스처로서 뷰를 표현하는 대신에, 텍스처가 대신에 뷰포인트 주위에 위치된, 전형적으로 큐브와 같은 3차원 다각형 기반 구조 상에 매핑되는 것에 의해 수정되었다. 그러한 경우들에, 주어진 뷰포인트로부터의 전방향 뷰는 따라서 뷰포인트 주위에 위치된 큐브 상에 텍스처 매핑된다. 뷰포인트에 위치한 관찰자에 대한 특정 뷰 방향에 대응하는 이미지를 생성할 때, 이미지 생성 시스템은 주어진 뷰포트(viewport)에 대한 큐브의 적절한 부분들을 대응하는 이미지 상에 간단히 매핑할 수 있다.
그러나, 그러한 접근법은 많은 실시예에서 유리한 접근법을 제공할 수 있는 반면, 그것은 모든 시나리오에서 최적이 아닐 수 있고 몇몇 관련 단점들을 가질 수 있다. 예를 들어, 그것은 모든 상황에서 최적의 이미지 품질을 제공하지 않을 수 있고, 특히 큐브의 상이한 측면들 상에 매핑된 텍스처 처리로 인해 아티팩트(artefact)가 발생할 수 있다.
따라서, 장면의 3차원 이미지 표현을 생성하기 위한 개선된 접근법이 유리할 것이다. 특히, 개선된 동작, 증가된 유연성, 용이한 구현, 용이한 동작, 감소된 복잡성, 감소된 리소스 요구, 및/또는 개선된 성능을 가능하게 하는 접근법이 유리할 것이다.
따라서, 본 발명은 상기 언급된 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.
본 발명의 일 태양에 따르면, 장면의 타일식 3차원 이미지 표현을 생성하는 장치가 제공되며, 장치는 제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현을 수신하기 위한 수신기로서, 타일식 3차원 이미지 표현은 복수의 상호 연결된 타일을 포함하고, 각각의 타일은 제1 뷰포인트로부터의 장면의 뷰포트를 표현하는 텍스처 맵 및 깊이 맵을 포함하고 타일들은 타일링 패턴(tiling pattern)을 형성하는, 수신기; 타일링 패턴에 응답하여 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정하기 위한 제1 프로세서로서, 제1 타일 및 제2 타일은 이웃 타일들인, 제1 프로세서; 제2 타일의 제2 경계 영역에서의 적어도 제2 깊이 값에 응답하여 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을, 제1 깊이 값 및 제2 깊이 값 중 적어도 일부 값들에 대해 제1 깊이 값과 제2 깊이 값 간의 차이가 감소되도록, 수정하기 위한 제2 프로세서로서, 제1 경계 영역 및 제2 경계 영역은 이웃 경계 영역들인, 제2 프로세서를 포함한다.
본 발명은 많은 시나리오에서 개선된 성능을 제공할 수 있고 예를 들어 효과적으로 전달, 저장, 및 처리될 수 있는 3차원 이미지 표현을 제공할 수 있다. 본 발명은 특히 많은 시나리오에서, 종종 주어진 이미지 품질에 대해 더 낮은 데이터 레이트 표현을 제공할 수 있고, 또한 예를 들어 원격 클라이언트들이 데이터를 수신하고 상이한 뷰포인트들 및 방향들로부터 장면을 표현하는 이미지들을 로컬로 생성하게 할 수 있는 예를 들어 데이터의 유연하고 부분적인 배포를 지원할 수 있는 3차원 이미지 표현을 생성하기 위한 낮은 복잡성의 접근법을 제공할 수 있다. 이 접근법은 특히 예를 들어 원격 가상 현실 클라이언트가 필요한 대로 그리고 필요할 때 적절한 데이터를 유연하게 제공받을 수 있는 매우 효율적인 가상 현실 경험을 가능하게 할 수 있다.
수신기는 입력 타일식 3차원 이미지 표현을 수신하고 이로부터 적어도 제1 깊이 값, 및 전형적으로 많은 수의 타일 경계 깊이 값을 수정함으로써 출력 타일식 3차원 이미지 표현을 생성할 수 있다.
이 접근법은 많은 시나리오에서 개선된 이미지 품질을 제공할 수 있고 특히 아티팩트 및 부정확을 감소시킬 수 있다. 이 접근법은, 상이한 타일들과 겹치는 뷰포트들에 대해 특히 에러 및 아티팩트가 발생할 수 있고 그러한 에러 및 아티팩트는 종종 상이한 타일들의 경계 영역들에서의 깊이 값들 사이의 불일치로 인해 발생할 수 있는, 예를 들어 깊이 맵들에 대해 전형적으로 수행되는 손실 인코딩 및 디코딩으로 인해 발생할 수 있는 실현을 반영할 수 있다. 이 접근법은 많은 시나리오에서 많은 그러한 아티팩트 및 에러를 감소시키거나, 심지어 제거할 수 있다. 이 접근법은 많은 시나리오에서 타일들 간의 전이가 감지될 수 없는 더 부드러운 사용자 경험을 제공할 수 있다.
장면의 3차원 이미지 표현은 많은 실시예에서 장면의 적어도 일부의 3차원 모델로 간주될 수 있다.
제2 프로세서는 많은 실시예에서 제1 깊이 값과 제2 깊이 값 간의 차이가 제1 깊이의 모든 잠재적인 값에 대해 제한되도록 제1 깊이 값을 수정함으로써 제1 깊이 값과 제2 깊이 값 간의 차이를 제한하도록 배열될 수 있다. 구체적으로, 제2 프로세서는 많은 실시예에서 제1 깊이 값과 제2 깊이 값 간의 차이가 임계치를 초과하지 않도록 제1 깊이 값을 수정하도록 배열될 수 있다.
제2 프로세서에 의한 수정은 제1 깊이 값 및 제2 깊이 값 중 일부 값들에 대해서만 제1 깊이 값의 값을 변경할 수 있다. 제1 깊이 값 및 제2 깊이 값 중 일부 값들에 대해, 제1 깊이 값은 변경되지 않을 수 있는데, 즉 수정된 깊이 값은 원래 깊이 값과 동일할 수 있다. 예를 들어, 제1 및 제2 깊이 값들이 동일하면, 제1 깊이 값은 제2 프로세서에 의해 변경되지 않을 수 있다.
타일링 패턴은 많은 실시예에서 미리 결정된/미리 정의된 타일링 패턴일 수 있다. 타일링 패턴은 비평면이다. 구체적으로, 타일링 패턴은 3차원일 수 있고 모든 3개의 차원에서 연장부들을 가질 수 있다. 타일들 및 타일링 패턴은 3차원 구조를 형성할 수 있다.
각각의 깊이 값은 (전형적으로) 직사각형, 또는 구체적으로 정사각형의 깊이 맵에서 깊이 픽셀에 대응할 수 있는데, 즉 각각의 깊이 값은 대응하는 깊이 맵에서 대응하는 픽셀 위치에서의 깊이 픽셀의 값일 수 있다.
이 장치는 제1 경계 영역에서 복수의 제1 깊이 값, 예를 들어 구체적으로 모든 깊이 값을 수정하도록 배열될 수 있다. 구체적으로, 이 접근법은 제1 경계 영역에서 복수의 깊이 픽셀에 대해, 그리고 아마도 각각의 깊이 픽셀에 대해 반복될 수 있다.
제1 및 제2 깊이 값들은 제1 뷰포인트로부터 동일한 뷰 방향에 대응하는 깊이 값들로서 선택될 수 있다. 제1 및 제2 깊이 값들은 제1 뷰포인트로부터 제1 깊이 값을 향한 뷰 방향/벡터와 제1 뷰포인트로부터 제2 깊이 값을 향한 뷰 방향/벡터 간의 차이에 대한 차이 측정치가 임계치보다 작도록 선택될 수 있다. 예를 들어, 제1 뷰포인트로부터 제1 및 제2 깊이 값 각각에 대한 위치들을 향한 뷰 벡터들 사이의 시야각이 임계치보다 작거나, 제1 타일 및 제2 타일에서의 깊이 값들의 임의의 쌍에 대해 가장 작을 필요가 있을 수 있다.
많은 실시예에서, 제2 깊이 값은 제1 깊이 값에 대한 깊이 픽셀에 가장 가까운 제2 영역에서의 깊이 픽셀에 대한 깊이 값일 수 있다.
상호 연결된 타일은 하나 또는 전형적으로 더 많은 다른 상호 연결된 타일과 공통 경계를 가질 수 있다. 상호 연결된 타일들은 타일링 패턴에 대해 뷰포트를 위한 연속적인 커버를 제공할 수 있고 각각의 상호 연결된 타일은 전체 뷰포트의 하위 영역/영역을 커버하는 서브-뷰포트를 제공한다. 전체 뷰포트는 전형적으로 클 수 있는데, 예를 들어 1/4 구, 반구, 또는 심지어 전체 구일 수 있다.
이웃 경계 영역들은 2개의 타일의 영역들일 수 있고, 여기서 영역들은 2개의 타일 간의 경계를 공유한다. 제1 및 제2 경계 영역은 따라서 제1 및 제2 타일 간의 경계를 공유할 수 있고, 구체적으로 경계를 연결/터치할 수 있거나 하나 또는 둘 모두가 경계를 포함할 수 있다(겹치는 타일들의 경우).
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제1 깊이 값과 제2 깊이 값을 동일한 값으로 설정하도록 배열된다.
이는 낮은 복잡성 및 낮은 리소스 요구를 허용하면서도 고품질로 유리한 성능을 야기할 수 있다. 특히, 그것은 상이한 타일들의 깊이 값들의 불일치로부터, 예를 들어 인코딩 또는 디코딩 아티팩트로 인해 발생하는 아티팩트, 에러, 및 성능 저하를 감소시킬 수 있다. 그것은 특히 깊이 맵들에 기초한 정확하고 일관되고 강건한 3D 메시 생성을 허용할 수 있다.
본 발명의 선택적인 특징에 따르면, 동일한 값은 제1 깊이 값과 제2 깊이 값의 평균 값이다.
이는 낮은 복잡성 및 낮은 리소스 요구를 허용하면서도 고품질로 유리한 성능을 야기할 수 있다. 또한, 예를 들어 깊이 평균화의 경우보다 더 큰 (원래 깊이로부터의) 깊이 편차를 야기할 것으로 예상될 수 있는 반면, 그것은 3차원 이미지 표현의 타일들의 비대칭적 제공을 위한 개선된 지원을 제공할 수 있다. 예를 들어, 그것은 타일들의 서브세트만 동적으로 업데이트되고 타일들 중 일부는 변하지 않는 접근법에 대한 계산 부하를 용이하게 하고 감소시킨다.
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제1 깊이 값을 제2 깊이 값으로 설정하도록 배열된다.
이는 낮은 복잡성 및 낮은 리소스 요구를 허용하면서도 고품질로 유리한 성능을 야기할 수 있다. 특히, 예를 들어 깊이 평균화의 경우보다 더 큰 (원래 깊이로부터의) 깊이 편차를 야기할 것으로 예상될 수 있는 반면, 그것은 3차원 이미지 표현의 타일들의 비대칭적 제공을 위한 개선된 지원을 제공할 수 있다. 예를 들어, 그것은 타일들의 서브세트만 동적으로 업데이트되고 타일들 중 일부는 변하지 않는 접근법에 대한 계산 부하를 용이하게 하고 감소시킨다.
이 장치는 제2 타일의 깊이 맵과 같은 이웃 타일들의 깊이 맵들의 깊이 특성들에 기초하여, 제1 타일의 깊이 맵과 같은 깊이 맵들에 대한 경계 조건들을 부과할 수 있다. 이 접근법은 예를 들어 기존의 이웃 타일들이 처리될(예를 들어, 필터링될) 필요가 있는 것을 요구하지 않고 이들과 일관되고 일치하도록 새로운 타일에 대한 경계 조건들을 부과할 수 있다.
본 발명의 선택적인 특징에 따르면, 이 장치는 타일들의 깊이 맵들로부터 3차원 메시를 생성하기 위한 메시 생성기(mesh generator)를 추가로 포함한다.
이 접근법은 타일들의 깊이 맵들에 기초하여 장면에 대해 개선된 3차원 메시가 생성되게 할 수 있다. 특히, 타일 경계들 주위의 메시 내에 불일치 및 구체적으로 구멍들의 위험이 많은 시나리오에서 실질적으로 감소되거나 심지어 제거될 수 있다.
이 접근법은 장면의 이미지 기반 표현으로부터 3차원 메시에 의한 장면의 기하학적 공간 표현으로의 개선된 변환 또는 병진을 허용할 수 있다.
본 발명의 선택적인 특징에 따르면, 메시 생성기는 3차원 메시를 생성하기 위해 사용할 제1 경계 영역의 깊이 값들의 서브세트를 선택하도록 배열되고, 제2 프로세서는 제1 경계 영역의 깊이 값들이 깊이 값들의 서브세트에 속하는 경우에만 그들을 수정하도록 배열된다.
품질의 희생 없이 감소된 복잡성 및 계산 리소스 사용량이 달성될 수 있다. 이 접근법은 타일 표현과 그로부터 생성된 메시 표현 간의 더 가까운 일관성 및 대응성을 허용할 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제1 깊이 값의 수정 후에 제1 타일의 깊이 맵에 공간 필터를 적용하도록 배열된다.
이는 개선된 품질을 허용할 수 있고 특히 수정된 경계 영역들과 타일들의 다른 영역들 간의 개선된 일관성을 제공할 수 있다. 공간 필터의 적용은 제1 타일의 깊이 맵의 깊이 값들로만 제한될 수 있다.
본 발명의 선택적인 특징에 따르면, 장치는 원격 소스로부터 타일식 3차원 이미지 표현을 위한 타일들을 수신하도록 배열되는 원격 소스 통신기(remote source communicator) 및 타일식 3차원 이미지 표현을 위한 타일들을 저장하기 위한 로컬 저장소(local store)를 추가로 포함하고, 수신기는 원격 소스 수신기로부터 제1 타일을 수신하는 것에 응답하여 로컬 저장소로부터 적어도 제2 깊이 값을 검색하도록 배열된다.
이 접근법은 예를 들어 가상 현실 응용을 위한 장면의 표현들의 동적 배포를 지원하기 위한 매우 효율적인 접근법을 허용할 수 있다. 이 접근법은 예를 들어 수정된 타일들만이 송신되도록 요구함으로써 실질적으로 감소된 대역폭을 허용하면서 이것이 이전에 수신된 로컬로 저장된 타일들과 효과적으로 조합되도록 허용하거나, 예를 들어 장면의 정적 부분을 표현하는 미리 결정된 또는 미리 정의된 명목 타일들이 되게 할 수 있다.
로컬 저장소는 원격 소스로부터 이전에 수신된 타일식 3차원 이미지 표현을 위한 타일들을 저장하도록 배열될 수 있다.
본 발명의 선택적인 특징에 따르면, 로컬 저장소는 제1 깊이 값의 수정 후에 제1 타일에 대한 깊이 맵 또는 메시를 저장하도록 배열된다.
이것은 예를 들어 많은 응용에 대한 통신 요구를 감소시킬 수 있는 효율적인 접근법을 허용할 수 있다. 새로운 타일과 이전 타일 간의 일관성을 제공하면서 장면의 로컬로 저장된 표현의 점진적인 업데이트를 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 장치는 현재 뷰 방향을 결정하기 위한 사용자 입력을 추가로 포함하고, 원격 소스 통신기는 현재 뷰 방향의 표시를 원격 소스에 송신하도록 배열되고, 제1 타일은 표시에 응답하여 수신된다.
이 접근법은 예를 들어 가상 현실 경험을 제공하기 위한 예를 들어 매우 효율적인 클라이언트 서버 시스템을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 로컬 저장소는 저장된 타일들에 대한 메시를 저장하도록 배열되고, 메시 생성기는 차이 측정치가 임계치를 초과한다는 검출에 응답하여 제2 타일에 대한 저장된 메시에 에지 정점(edge vertex)을 추가하도록 배열되고, 차이 측정치는 제1 타일의 경계 깊이 값과 제2 타일에 대한 저장된 메시의 대응하는 경계 깊이 값 간의 깊이 차이를 나타낸다.
이는 많은 실시예에서 개선된 성능을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제1 깊이 값의 위치에서 제1 타일에 이웃하는 각각의 타일의 가장 가까운 깊이 값에만 응답하여 제1 깊이 값을 결정하도록 배열된다.
이는 대부분의 시나리오와 많은 응용에서 높은 성능으로 복잡성이 낮지만 매우 효율적이고 유리한 접근법을 허용할 수 있다.
본 발명의 선택적인 특징에 따르면, 각각의 타일은 평면 다각형이고 복수의 상호 연결된 타일은 3차원 구조를 형성한다.
이는 대부분의 시나리오와 많은 응용에서 높은 성능으로 복잡성이 낮지만 매우 효율적이고 유리한 접근법을 허용할 수 있다.
본 발명의 일 태양에 따르면, 장면의 3차원 이미지 표현을 생성하는 방법이 제공되며, 방법은 제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현을 수신하는 단계로서, 타일식 3차원 이미지 표현은 복수의 상호 연결된 타일을 포함하고, 각각의 타일은 제1 뷰포인트로부터의 장면의 뷰포트를 표현하는 텍스처 맵 및 깊이 맵을 포함하고 타일들은 타일링 패턴을 형성하는, 제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현을 수신하는 단계; 타일링 패턴에 응답하여 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정하는 단계로서, 제1 타일 및 제2 타일은 이웃 타일들인, 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정하는 단계; 제2 타일의 제2 경계 영역에서의 적어도 제2 깊이 값에 응답하여 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을, 제1 깊이 값 및 제2 깊이 값 중 적어도 일부 값들에 대해 제1 깊이 값과 제2 깊이 값 간의 차이가 감소되도록, 수정하는 단계로서, 제1 경계 영역 및 제2 경계 영역은 이웃 경계 영역들인, 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을 수정하는 단계를 포함한다.
본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 후술되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.
본 발명의 실시예들이 도면들을 참조하여 단지 예로서 기술될 것이다.
도 1은 본 발명의 몇몇 실시예들을 포함하는 클라이언트 서버 가상 현실 시스템의 예를 예시한다.
도 2는 장면의 큐브 타일식 표현의 요소들의 예를 예시한다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 생성 장치의 예를 예시한다.
도 4는 장면의 큐브 타일식 표현의 요소들의 예를 예시한다.
도 5는 장면의 큐브 타일식 표현의 요소들의 예를 예시한다.
도 6은 본 발명의 몇몇 실시예들에 따른 이미지 생성 장치의 예를 예시한다.
도 7은 장면의 큐브 타일식 표현의 요소들의 예를 예시한다.
하기의 설명은 가상 현실 응용을 위한 이미지들의 생성에 적용 가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이러한 응용으로 제한되는 것이 아니라, 예를 들어 많은 상이한 이미지 처리 및 생성 응용들에 적용될 수 있다는 것을 알 것이다.
도 1은 본 발명의 개념의 예들 및 변형들을 구현할 수 있는 시스템의 예를 예시한다.
이 예에서는, 이미지 생성 장치(101) 형태의 클라이언트가 상이한 뷰포인트들로부터 장면을 표현하는 이미지들을 생성하도록 배열되는데, 즉 장면의 상이한 뷰포트들에 대응하는 이미지들이 생성될 수 있다. 이미지 생성 장치(101)는 장면의 3차원 이미지 표현을 수신한 다음 이 표현으로부터 이미지들을 생성하도록 배열된다. 이 예에서, 3차원 이미지 표현은 예를 들어 인터넷일 수 있는 네트워크(105)를 통해 원격 서버(103)로부터 수신된다. 특정 예에서, 원격 서버(103)는 이미지 생성 장치(101)가 예를 들어 환경에서의 가상 사용자의 움직임에 대응하는 뷰들을 생성하기 위해 3차원 환경의 3차원 이미지 표현을 제공하는 가상 현실 서버이다.
많은 응용에서, 3차원 이미지 표현은 깊이 감지 카메라들을 사용하여 현실 세계 장면 또는 환경의 캡처로부터 생성될 수 있다. 이것은 시각적 특성들이 3차원 정보와 함께 캡처될 수 있게 한다. 장면을 충분히 캡처하기 위해, 복수의 그리고 종종 많은 수의 카메라의 사용이 종종 채택된다. 몇몇 응용들에서는, 만족스러운 캡처를 제공하기 위해 10개, 20개 또는 훨씬 더 많은 카메라가 사용된다.
장면의 가상 데이터 표현은 유리한 사용자 경험을 제공하는 데 중요한 요소이다. 장면을 기술하는 데이터는 시각적 특성들뿐만 아니라 공간적 특성들 둘 모두의 정확한 표현을 제공하는 것이 요구된다. 동시에, 장면을 표현하는 데 필요한 데이터의 양을 감소시키는 것이 중요한데, 그 이유는 이것이 많은 응용에서 달성될 수 있는 품질에 대한 제한 요소가 되는 경향이 있기 때문이다.
또한, 깊이 감지 카메라들의 캡처들로부터 환경/장면의 데이터 표현으로의 변환은 종종 매우 도전적이고 에러 또는 아티팩트를 도입할 수 있다. 예를 들어, 몇몇 응용들에서, 캡처된 데이터는 현실 세계 장면의 3차원 모델을 개발하는 데 사용될 수 있다. 이어서 특정 뷰포인트로부터 모델을 평가함으로써 3차원 가상 현실 경험이 제공되는 사용자에 대한 뷰 이미지들이 생성될 수 있다. 다른 응용들에서, 예를 들어 가장 가까운 캡처된 이미지들 중 하나 이상을 선택하고 원하는 뷰포인트에 대응하도록 뷰포인트 시프팅을 수행하거나, 몇몇 경우들에서 캡처된 이미지들을 직접 사용함으로써, 캡처된 이미지들 및 깊이 정보로부터 특정 뷰포트들 또는 뷰포인트들에 대한 이미지들이 직접 생성될 수 있다.
본 경우, 장면은 3차원 모델로서보다는 이미지들의 세트로서 이미지 도메인에서 표현된다. 그러나, 각각의 이미지에는 이미지들 내의 객체들에 대한 깊이 정보를 제공하는 깊이 맵들이 추가로 제공된다. 구체적으로, 이미지들의 세트 및 관련 깊이 맵들을 포함하는 장면의 3차원 이미지 표현이 제공된다.
특히, 도 1의 시스템에서, 주어진 제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현이 장면을 (적어도 부분적으로) 표현하기 위해 사용된다. 주어진 뷰포인트에 대해, 상호 연결된 타일들의 세트가 장면을 표현하고 각각의 타일이 광 강도(전형적으로 컬러를 포함함) 정보를 제공하는 이미지/텍스처 맵을 포함하는 표현이 제공된다. 구체적으로, 주어진 뷰포인트로부터의 주어진 (큰) 뷰포트는 복수의 더 작은 서브뷰포트로 분할되고 이들 서브-뷰포트 각각은 타일에 의해 표현된다.
따라서 타일들 각각은 장면의 일부의 표현을 제공하고 타일들은 함께 장면의 더 큰 부분의 표현을 제공한다. 전형적으로, 타일들은 타일들 사이에 뚜렷한 경계가 있는 선들 및 접합부들을 따라 상호 연결된다. 그러나, 몇몇 실시예들에서, 개별 타일들은 (전형적으로 매우 작은) 겹침을 가질 수 있다.
따라서, 제1 뷰포인트로부터의 주어진 뷰 방향에 대해, 장면은 그 뷰 방향을 포함하는 서브 뷰포트를 표현하는 타일에 의해 표현될 것이다. 대부분의 실시예에서, 뷰 방향과 관련 정보를 포함하는 하나의 타일 간에 직접적인 일대일 대응이 존재한다. 그러나, 언급된 바와 같이, 몇몇 경우들에서는 타일들 간에 작은 겹침이 존재할 수 있고 그 경우 잠재적으로 뷰 방향과 관련된 하나 초과의 타일이 존재할 수 있다.
타일들은 함께 타일링 패턴을 형성한다. 따라서, 타일들에 의해 표현된 큰 뷰포트는 타일링 패턴에 따라 개별 타일들로 분할된다. 많은 실시예에서, 타일링 패턴은 원격 서버(103) 및 이미지 생성 장치(101) 둘 모두에게 알려진 미리 결정된 타일링 패턴일 수 있다. 다른 실시예들에서, 타일링 패턴은 예를 들어 원격 서버(103)에 의해 동적으로 결정될 수 있고 타일링 패턴은 이미지 생성 장치(101)에 전달될 수 있다. 타일링 패턴은 전형적으로 전체 뷰포트를 연속적으로 커버하고, 따라서 뷰포트 내의 각각의 뷰 방향에 대해, 타일링 패턴은 (적어도 하나의) 타일을 가질 것이다.
타일 패턴은 따라서 각각의 타일이 장면의 (더 작은 또는 서브)뷰포트에 대응하는 장면 세계/좌표계에서 뷰포트를 형성할 수 있다. 다시 말해서, 타일들의 뷰포트들은 함께 제1 뷰포인트에 대한 조합된 뷰포트를 형성할 수 있다. 타일들은 조합된 뷰포트의 연속적인 커버리지를 제공할 수 있다. 조합된 뷰포트는 제1 뷰포인트를 완전히 또는 부분적으로 둘러쌀 수 있다.
상호 연결된 타일들은 (겹치는 경계들을 포함하여) 장면 세계/좌표계에서 경계들을 공유할 수 있다. 많은 실시예에서, 2개의 이웃 또는 인접한 타일 각각은 장면의 상이한 영역들을 표현할 수 있고 그 2개의 이웃 또는 인접한 타일은 함께 단일의 연속적인 영역(2개의 개별 영역이 조합된 것에 대응함)을 표현한다. 2개의 인접한 또는 이웃 타일에 의해 표현되는 2개의 영역의 조합은 단일 영역을 형성할 수 있다. 타일링 패턴의 각각의 타일은 장면의 상이한 영역으로의 뷰포트를 표현할 수 있고 타일들에 의해 형성된 타일 패턴은 장면의 연속적인 영역으로의 뷰포트를 표현한다. 장면의 상이한 영역들로의 상이한 뷰포트들에 대응하는 타일들의 조합은 장면의 연속적인 영역으로의 조합된 뷰포트를 형성할 수 있다. 연속적인 영역은 3차원 장면에서 단일의 3차원 형상에 대응하는 영역일 수 있다. 타일링 패턴의 타일들에 의해 표현되는 장면의 영역들은 장면에서의 단일의 3차원 형상/영역으로 조합될 수 있다(예를 들어 그 영역들이 터치하거나 겹치지 않는 둘 이상의 별개의 형상으로 조합되는 것과는 대조적으로).
각각의 타일은 그 타일에 대응하는 (장면 좌표계에서의) 뷰포트/영역 상으로의 장면의 투영을 표현하는 텍스처 맵 및 깊이 맵을 포함할 수 있다. 타일 패턴의 타일들은 타일 패턴의 타일들의 뷰포트들의 조합/합계에 대응하는 뷰포트 상으로의 장면의 투영을 반영할 수 있다. 타일 패턴의 타일들은 동일한 뷰포인트에 대한 뷰포트들에 대응한다.
뷰포인트에 대한 뷰포트는 뷰포인트로부터의 장면의 투영이 제공될 수 있는 장면(좌표계)에서의 영역(또는 3D 표면)에 대응할 수 있다. 뷰포인트는 뷰 포즈일 수 있거나, 많은 실시예에서 뷰 위치일 수 있다.
용어 뷰포인트는 예를 들어 뷰들/뷰포트들에 대한 기준점을 반영하는 것으로 간주될 수 있고 전형적으로 장면의 명목 관찰자/카메라에 대응하는 것으로 간주된다. 그것은 종종 위치에 대응하는 것으로 간주되지만 방향 측면도 포함할 수 있다. 그것은 더 일반적으로는 포즈에 대응하는 것으로 간주될 수 있다. 예를 들어, 뷰포인트는 관찰자의 위치 및 그가 보고 있는 방향을 반영할 수 있다. 그러한 뷰포인트에 대한 장면의 타일식 표현은 예를 들어 그 방향으로 중심을 둔 타일들의 실질적으로 반구형 구조일 수 있다(즉 특정 타일식 표현은 특정 위치 및 방향에 대한 것일 수 있다).
실제로, 많은 실제 실시예에서, 타일 표현은 완전한 구형 표현보다는 장면의 일부만을 표현할 수 있다. 예를 들어, 큐브 표현의 경우, 큐브의 측면들/타일들 중 하나 이상이 누락될 수 있다. 따라서, 주어진 뷰포인트로부터의 장면에 대한 타일식 표현은 명목상 관찰자/카메라가 있는 곳의 위치뿐만 아니라 뷰 방향(예를 들어, 가능한 뷰 방향들의 범위)도 반영할 수 있다.
용어 뷰포트는 예를 들어 주어진 뷰포인트로부터의 장면으로의 영역 또는 창에 대응하는 것으로 간주될 수 있다. 예를 들어 뷰포트는 장면의 일부가 투영되는 표면으로 간주될 수 있다.
광 강도 이미지/텍스처 맵 이외에, 각각의 타일은 또한 광 강도 이미지/텍스처 맵의 픽셀들에 대한 깊이 정보를 제공하는 깊이 맵을 제공한다. 깊이 맵은 전형적으로 깊이 값의 위치에 대응하는 관찰 방향에서 제1 뷰포인트로부터 객체까지의 거리를 나타내는 깊이 값들을 포함할 수 있다. 깊이 값은 예를 들어 뷰포인트로부터 객체까지의 거리가 증가함에 따라 증가하는 값을 가질 수 있거나 뷰포인트로부터 객체까지의 거리가 증가함에 따라 감소하는 값을 가질 수 있다. 깊이 값들은 많은 실시예에서 디스패리티 값들(disparity values)로서 제공될 수 있다.
깊이 및 이미지(텍스처) 정보 둘 모두의 제공은 이미지 생성 장치(101)에 의한 개선된 처리를 허용하는 추가적인 정보를 제공할 수 있다. 특히, 그것은 3차원 이미지 표현이 제공되는 주어진 뷰포인트와는 다른 뷰포인트들에 대한 뷰 이미지들의 생성을 허용하거나 용이하게 하거나 개선할 수 있다.
타일들은 많은 실시예에서 함께 3차원 구조를 형성하는 직사각형들(또는 종종 정사각형들)과 같은 평면 다각형들인데, 즉 평면 타일들은 3차원 공간에서 위치 및 배향되고 그에 따라 결과 구조는 단지 평면에서 연장되기보다는 3개의 차원으로 연장된다. 타일식 3차원 이미지 표현에 의해 제공되는 전체 뷰포트는 따라서 3차원 구조/뷰포트이다.
많은 실시예에서, 3차원 뷰포트는 구형일 수 있는데, 즉 제1 뷰포인트로부터의 임의의 뷰 방향에 대한 타일이 존재한다. 구체적으로, 제1 뷰포인트 주위에 그리고 타일링 패턴에 의해 형성된 구조 내부에 위치된 (구형 뷰 포트에 대응하는) 구를 고려하면, 제1 뷰포인트로부터 그리고 구 상의 임의의 점을 통한 선이 타일 상의 위치로 연장될 것이다. 몇몇 실시예들에서, 뷰포트는 모든 가능한 뷰 방향을 커버하지 않을 수 있고 잠재적으로, 반구 또는 1/4 구와 같이, 구의 일부만을 커버할 수 있다.
타일링 패턴의 특정 예는 예를 들어 큐브 매핑으로부터 알려져 있는 것과 같은, 큐브 타일링 패턴이다. 큐브 타일링 패턴에서는, 6개의 정사각형 타일이 제1 뷰 포인트를 둘러싸는 큐브의 6개의 측면을 형성할 수 있다. 따라서, 그러한 예에서, 타일식 3차원 이미지 표현은 각각의 타일이 텍스처 맵 및 깊이 맵을 포함하는 6개의 정사각형 타일을 제공할 수 있다.
타일들은 종종 조합된 평면 표현으로서 제공될 수 있다. 그러나, 타일들이 3차원 구조(큐브)를 형성함에 따라, 그러한 평면 표현은 본질적으로 적어도 일부 이웃 타일들을 분리할 것이다. 큐브 타일 패턴의 평면 표현이 도 2에 예시되어 있는데 텍스처 맵들 및 깊이 맵들의 평면 표현들이 표시되어 있다.
도 1의 시스템에서, 이미지 생성 장치(101)는 따라서 주어진 제1 뷰포인트로부터 장면에 대한, 큐브 표현과 같은, 입력 타일식 3차원 이미지 표현을 수신할 수 있다. 이 입력 타일식 3차원 이미지 표현으로부터, 이미지 생성 장치(101)는 이어서 제1 뷰포인트로부터 특정 뷰 방향에 대응하거나, 실제로 상이한 뷰포인트로부터 특정 뷰 방향에 대응하는 이미지들을 생성할 수 있다. 이미지 생성 장치(101)는 따라서 이 예에서 타일식 3차원 이미지 표현으로부터 상이한 뷰포인트들 및 방향들에 대한 이미지들을 합성하도록 배열된다. 예를 들어, 이미지 생성 장치(101)는 예를 들어 가상 현실 헤드셋으로부터와 같은, 사용자 입력에 응답하여 상이한 뷰포인트들 및 방향들에 대한 이미지들을 생성하는 가상 현실 응용을 실행할 수 있다.
도 3은 도 1의 이미지 생성 장치(101)의 예를 예시한다.
이미지 생성 장치(101)는 제1 뷰포인트로부터 장면의 입력 타일식 3차원 이미지 표현을 수신하는 수신기(301)를 포함한다. 이 예에서, 수신기(301)는 원격 서버(103)로부터 입력 타일식 3차원 이미지 표현을 수신하고, 따라서 수신기(301)는 원격 서버(103)와 통신하기 위한 적합한 네트워크 인터페이스 및 기능을 포함한다. 다른 실시예들에서, 입력 타일식 3차원 이미지 표현은 로컬 저장소 또는 데이터 디스크 리더와 같은 다른 내부 또는 외부 소스들로부터 수신될 수 있다는 것을 알 것이다.
이 예에서, 이미지 생성 장치(101)는 수신된 타일식 3차원 이미지 표현으로부터 이미지를 생성하도록 배열된 이미지 생성기(303)를 추가로 포함한다. 이미지 생성기(303)는 구체적으로 타일식 3차원 이미지 표현이 제공되는 제1 뷰포인트와 상이한 뷰포인트들에 대한 이미지들을 생성하도록 배열될 수 있다.
특정 예에서, 이미지 생성 장치(101)는 가상 현실 응용을 실행하고 뷰 이미지들이 생성되는 뷰포인트의 위치 및 뷰 방향을 제어할 수 있는 사용자 인터페이스(305)에 결합된다.
특정 예에서, 이미지 생성 장치(101)는 가상 현실 장면에서 원하는 움직임 및/또는 배향을 반영할 수 있는 사용자 입력을 수신하도록 배열된 사용자 인터페이스(305)를 포함하는 가상 현실 디바이스이다. 예를 들어, 사용자는 조이스틱 및/또는 키보드를 사용하여 가상 현실 장면을 네비게이션할 수 있거나, 예를 들어 뷰의 배향은 사용자에 의해 착용되고 적합한 센서들을 포함하는 가상 현실 헤드셋으로부터 결정될 수 있다. 많은 실시예에서, 사용자 인터페이스(305)는 사용자 입력을, 장면이 관찰되는 위치, 및/또는 주어진 뷰 위치로부터의 뷰의 배향을 나타내는 원하는 렌더링 뷰포인트로 변환하기 위한 기능을 포함할 수 있다(뷰포인트는 위치 표시, 배향 표시, 또는 둘 모두를 지칭하는 것으로 간주될 수 있고, 따라서 사용자에 대한 원하는 뷰를 표시한다).
몇몇 실시예들에서, 복수의 뷰가 주어진 렌더링 뷰포인트에 대해 생성될 수 있거나, 몇몇 실시예들에서 복수의 뷰포인트가 동일한 사용자 입력으로부터 생성될 수 있다는 것을 알 것이다. 예를 들어, 가상 현실 디바이스는 우안 뷰에 대응하는 이미지 및 좌안 뷰에 대응하는 이미지를 생성하여, 3D 효과를 제공하도록 배열될 수 있다. 간략함 및 명확함을 위해, 하기의 설명은 주어진 렌더링 뷰포인트에 대한 하나의 이미지의 생성에 초점을 맞출 것이다.
사용자 인터페이스(305)는 구체적으로 원하는/타겟 렌더링 뷰포인트를 나타내는 렌더링 뷰 벡터를 생성하도록 배열될 수 있다. 예를 들어, 예컨대 피치, 요 및 롤 파라미터들과 같은, 관찰자의 배향을 정의하는 3개의 성분/값을 포함하는 렌더링 뷰 벡터가 생성될 수 있다. 많은 실시예에서, 타겟 뷰 벡터는 추가적으로 또는 대안적으로, 예를 들어 x, y, z 값에 의해 표현되는, 장면 내의 3차원 위치를 정의하는 3개의 값을 포함할 수 있다. 몇몇 실시예들에서, 위치 및/또는 배향은 3개보다 적은 값에 의해 표현될 수 있다는 것을 알 것이다. 예를 들어, 위치는 장면을 통한 미리 결정된 경로를 따른 거리에 의해 표시될 수 있고, 이에 따라 위치는 단일 값에 의해 표시될 수 있다. 유사하게, 피치 및 요가 일정하다고 가정될 수 있고 배향은 단지 롤 값에 의해 주어질 수 있다.
생성된 렌더링 뷰 벡터는 렌더링 뷰 벡터에 의해 반영된 뷰포인트에 대한 이미지를 생성하도록 배열된 이미지 생성기(303)로 공급된다. 이미지의 생성은 타일식 3차원 이미지 표현에 의존한다.
몇몇 실시예들에서, 생성된 이미지는 이어서 예를 들어 우안 또는 좌안에 대한 가상 현실 헤드셋의 디스플레이와 같은, 적합한 디스플레이를 구동하기 위해 디스플레이 드라이버로 공급될 수 있다. 가상 현실 헤드셋은 사용자 입력을 사용자 인터페이스(305)에 제공하는 센서들을 추가로 포함할 수 있다.
따라서, 가상 현실 디바이스는 타일식 3차원 이미지 표현에 의해 표현되는 가상 장면 내의 특정 뷰포인트들로부터의 뷰들을 표현하는 이미지들을 생성할 수 있다. 뷰포인트는 사용자 입력에 의해 제어되어, 사용자가 전형적으로 가상 장면에서 이동할 뿐만 아니라 둘러보는 것을 가능하게 한다.
이미지들은 따라서 수신된 입력 타일식 3차원 이미지 표현에 기초하여 렌더링된 이미지 생성기(303)에 의한 것이다. 그러나, 이미지 생성 장치(101)는 입력 타일식 3차원 이미지 표현을 직접 사용하지 않고 이미지 합성을 수행하기 전에 이것을 수정한다. 따라서, 렌더링은 입력 타일식 3차원 이미지 표현의 적어도 하나의 깊이 값을 수정함으로써 생성된 수정된 타일식 3차원 이미지 표현에 기초하여 수행된다.
특정 예에서, 이미지 생성기(303)는 깊이 맵 정보를 직접 사용하지 않고 대신에 이를 메시 포맷으로 변환하는 것을 수행한다. 깊이 맵으로부터 3차원 메시의 생성은, 후속 이미지 처리/합성이 이 메시에 기초하는 것과 함께, 선택적인 특징이지만, 그것은 많은 실시예에서 유리한 동작 및/또는 구현을 제공할 수 있다.
실제로, 깊이 맵들은 종종 자연스러운 3차원 취득 및 압축 포맷을 형성하는 반면, 예를 들어 가상 현실 재생을 위해 사용되는 대부분의 3D 소프트웨어 및 하드웨어는 3차원 정점 좌표들 및 에지들로 구성된 메시 기반 3차원 표현을 사용한다. 깊이 맵을 메시로 변환하는 것은 따라서 많은 오프라인 및 온라인(실시간) 알고리즘에 대해 중요한 동작이다.
도 3의 예에서, 이미지 생성 장치(101)는 따라서 타일들의 깊이 맵들에 기초하여 3차원 메시를 생성하도록 배열된 메시 생성기(307)를 포함한다. 따라서, 이미지 생성기(303)는 수신기(301)로부터 타일 텍스처 맵들 및 메시 생성기(307)로부터 생성된 메시를 공급받는다. 당업자는 텍스처 맵들 및 메시들로부터 이미지들을 합성하기 위한 많은 상이한 알고리즘을 알고 있을 것이고, 본 발명으로부터 벗어남이 없이 이들 중 어느 것이든 사용될 수 있다는 것을 알 것이다.
많은 그래픽 응용에서, 장면의 표현은 텍스처 맵과 3차원 메시의 조합에 의한 것이고 따라서 그러한 표현들로부터 이미지들을 생성하기 위해 전용 하드웨어가 자주 사용된다. 많은 시나리오에서 특히 효과적인 접근법은 다각형들의 세트가 3차원 위치들에 의해 주어진 다각형들의 공통 에지들 또는 코너들(정점들)에 의해 연결되는 다각형 메시에 의해 이미지 객체들을, 또는 실제로 장면 전체를 표현하는 것이다. 조합된 3차원 다각형 메시는 따라서 아마도 전체 이미지의 3차원 설명을 포함한 3차원 객체들의 효과적인 모델을 제공한다. 다각형 메시는 종종 3차원 공간에 주어진 공통 코너들을 갖는 삼각형들에 의해 형성된 삼각형 메시이다.
실제로, 깊이 맵들은 따라서 종종 3차원 메시로 변환된다. 3차원 메시는 대부분의 하드웨어 드라이버들에 의해 지원되는(예를 들어, OpenGL에 기초) 잘 알려진 그래픽 포맷이다.
예로서, 스테레오 카메라는 주어진 뷰포인트로부터 장면의 이미지를 녹화할 수 있다. 각각의 픽셀에 대해, 픽셀에 의해 표현된 객체까지의 거리를 추정하기 위해 디스패리티 추정(disparity estimation)이 수행될 수 있다. 이는 각각의 픽셀에 대해 수행되어 각각의 픽셀에 대한 x, y, z의 3차원 위치를 제공할 수 있다. 이들 위치는 이어서 2x2 픽셀들의 각각의 그룹에 대해 2개의 삼각형이 형성되는 삼각형 메시에 대한 정점들로서 사용될 수 있다. 이는 많은 수의 삼각형을 야기할 수 있기 때문에, 프로세스는 일부 초기 삼각형들을 더 큰 삼각형들로(또는 몇몇 시나리오들에서는 더 일반적으로 더 큰 다각형들로) 조합하는 것을 포함할 수 있다. 이는 삼각형들의 수를 감소시키지만 또한 메시의 공간 해상도를 감소시킬 것이다. 따라서, 메시의 입도는 전형적으로 깊이 변화들에 의존하고 더 평평한 영역들에서는 더 큰 다각형들이 주로 발생한다.
각각의 정점은 추가로 텍스처 맵의 광 강도 값과 관련된다. 텍스처 맵은 본질적으로 정점에 대한 픽셀 위치에서의 객체에 대한 장면에서 광/컬러 강도를 제공한다. 전형적으로, 광 강도 이미지/텍스처 맵이 메시와 함께 제공되며, 각각의 정점은 그 정점의 x, y, z 위치를 표현하는 데이터 및 텍스처 맵 내의 링크된 위치를 식별하는 u,v 데이터를 포함하는데, 즉 그것은 텍스처 맵에서 캡처된 바와 같은 x, y, z 위치에서의 광 강도를 가리킨다.
그러한 표현들에서, 다각형 메시는 객체들의 3차원 기하학적 구조의 정보를 제공하는 데 사용되는 반면, 텍스처는 전형적으로 별개의 데이터 구조로서 제공된다. 구체적으로, 텍스처는 종종 처리 알고리즘에 의해 3차원 기하학적 구조 상에 오버레이될 수 있는 별개의 2차원 맵으로서 제공된다.
삼각형 메시들의 사용은 컴퓨터 그래픽 알고리즘들에 의한 처리 및 조작에 특히 적합하며, 많은 효율적인 소프트웨어 및 하드웨어 솔루션이 개발되었으며 시장에서 입수 가능하다. 각각의 다각형을 개별적으로 처리하기보다는 복수의 다각형에 대해 공통적으로 개별 정점들을 처리하는 알고리즘에 의해 많은 시스템에서 상당한 계산 효율이 달성된다. 예를 들어, 전형적인 삼각형 메시의 경우, 개별 정점은 종종 여러 개(종종 3개 내지 8개)의 삼각형에 공통이다. 단일 정점의 처리는 따라서 비교적 많은 수의 삼각형에 적용 가능하여, 처리되는 이미지 또는 다른 객체 내의 점들의 수를 상당히 감소시킬 수 있다.
도 3의 이미지 생성 장치(101)에서, 메시 생성기(307)는 수신된 타일 깊이 맵들에 기초하여 메시들을 생성하고 따라서 그것은 이미지 기반 표현으로부터 기하학적 기반 표현으로의 변환을 수행한다(메시는 기하학적 3차원 구조로 간주될 수 있다).
그러나, 수신된 타일 깊이 맵들을 직접 사용하기보다는, 이미지 생성 장치(101)는 이들을 처리하고 깊이 맵들에서 깊이 값들 중 일부를 수정하도록 배열된다.
구체적으로, 이미지 생성 장치(101)는, 수신기(301)에 결합되고 제1 타일 및 제2 타일이 이웃 타일들인 타일링 패턴에 응답하여 적어도 제1 타일 및 제2 타일에서 이웃 경계 영역들을 결정하도록 배열된 제1 프로세서(311)를 포함한다. 제1 프로세서(311)는, 타일링 패턴에 기초하여, 하나의 타일에서의 경계 또는 에지 영역 및 다른 타일에서의 대응하는 경계 또는 에지 영역을 식별할 수 있고, 2개의 경계 영역은 이웃들이고, 구체적으로 2개의 경계 영역은 터치/연결되거나 겹친다. 구체적으로, 제1 타일의 에지 픽셀에 대해, 적어도 하나의 인접/이웃 픽셀이 다른 타일에 있을 것이다. 에지 픽셀 및 인접/이웃 픽셀은 따라서 2개의 상이한 깊이 맵/타일의 경계 영역들에 속한다. 타일링 패턴이 이미지 생성 장치(101)에 알려짐에 따라(예를 들어, 미리 결정되는 것에 의해 또는 원격 서버(103)로부터 전달되는 것에 의해), 제1 프로세서(311)는 어느 타일들이 연결되는지/이웃들인지, 그리고 또한 다른 타일/깊이 맵 내의 어느 픽셀들이 현재 타일/깊이 맵 내의 주어진 에지 픽셀/깊이 값에 인접하고 이웃들인지를 결정할 수 있다.
많은 실시예에서, 제1 프로세서(311)는 제1 타일의 제1 경계 영역을 제1 깊이 맵/타일의 에지에 있는 그리고 (적어도 하나의 생성에서) 가장 가까운/인접한 픽셀이 제2 깊이 맵/타일에 있는 모든 에지 픽셀들/깊이 값들로서 결정하도록 배열될 수 있다. 몇몇 실시예들에서, 제2 경계 영역(즉, 제2 타일 내의 경계 영역)은 제2 타일 내의 인접한 픽셀들의 세트로서 결정될 수 있다.
제1 프로세서(311)는, 수신기(301)에 결합되고 이로부터 깊이 맵들을 수신하는 제2 프로세서(309)에 결합된다. 그것은 또한 제1 프로세서(311)에 결합되고 이로부터 제1 및 제2 경계 영역의 정보를 수신한다.
제2 프로세서(309)는 제1 경계 영역의 픽셀들 중 적어도 일부를 처리하도록 배열되는데, 즉 그것은 제1 타일 내의 식별된 경계 영역의 깊이 값들을 수정하도록 배열된다. 깊이 값들의 수정은 이들이 제2 경계 영역에서의 깊이 값들에 의존하도록, 즉 제1 타일의 경계 영역에서의 수정된 깊이 값들은 제2 타일의 이웃 경계 영역에서의 깊이 값들에 의존하도록 하는 것이다. 따라서, 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값이 제2 타일의 제2 경계 영역에서의 적어도 제2 깊이 값에 기초하여 수정된다(제1 경계 영역 및 제2 경계 영역이 이웃 경계 영역들인 경우). 수정된 제1 깊이 값은 제2 깊이 값의 함수로서 결정될 수 있는데, 즉 그것은 타일식 표현의 다른 타일 내의 적어도 하나의 깊이 값의 함수이다. 제1 및 제2 깊이 값들 중 일부 값들에 대해, 수정된 깊이 값은 원래 깊이 값과 동일할 수 있다는 것을 알 것이다.
많은 실시예에서, 프로세스는 적어도 하나의 타일의 적어도 모든 에지 픽셀에 대해 반복된다. 또한, 많은 실시예에서, 수정된 깊이 값은 전형적으로 단지 이웃 타일에서 하나의 깊이 값(및 아마도 원래의 깊이 값, 즉 수정되는 픽셀에 대한 입력 값)에 의존할 수 있다. 특히, 많은 실시예에서, 주어진 에지 픽셀에 대한 깊이 값은 단지 다른 타일에서 가장 가까운 깊이 값 및 아마도 원래 깊이 값 자체의 함수로서 결정될 수 있다.
따라서, 많은 실시예에서 이웃(인접한) 타일에서 복수의 깊이 값을 고려하는 것이 실제로 가능하지만(예를 들어, 이웃 타일에서 다수의 근접 깊이 값을 평균함으로써), 제2 프로세서(309)는 많은 실시예에서 각각의 타일의 단일 깊이 값만을 고려할 것이다. 또한, 수정되는 대부분의 깊이 값들에 대해, 하나의 이웃 타일만이 고려되고 따라서 다른 타일로부터의 하나의 깊이 값만이 고려된다. 그러나, 예를 들어 큐브 타일식 표현에 대한 코너 깊이 값과 같은 일부 깊이 값들에 대해, 제2 프로세서(309)는 이웃 타일들 각각에서 하나의 깊이 값을 고려할 수 있다. 그것은 예를 들어 2개의 타일에서 수정된 깊이 값과 대응하는 코너 깊이 값들 사이의 합 제곱 거리를 최소화할 수 있다. 다른 예로서, 그것은 모든 3개의 깊이 값을 예를 들어 평균 깊이 값과 같은 동일한 값으로 설정할 수 있다.
해당 타일에서 하나의 깊이 값만이 고려될 때 다른 타일에서 고려되는 깊이 값은 구체적으로 가장 가까운 깊이 값일 수 있다. 따라서, 수정되는 깊이 값에 가장 가까운 깊이 값이 선택된다. 가장 가까운 깊이 값은 깊이 값들에 대한 뷰포트들에서의 위치들 사이의 장면 거리 메트릭이 가장 작은 깊이 값일 수 있다.
제2 프로세서(309)는 따라서 입력 타일식 3차원 이미지 표현에서 수신된 깊이 맵들 중 하나 이상을 수정하여 수정된 타일식 3차원 이미지 표현을 생성한다. 깊이 맵들의 결과 세트는 이어서 메시 생성기(307)로 공급되고 메시 생성기는 이들 수정된 깊이 맵에 기초하여 메시를 생성하도록 진행한다.
이 접근법은 많은 실시예에서 실질적으로 개선된 성능을 제공할 수 있고 많은 시나리오에서 상이한 타일들 간의 개선된 일관성을 허용할 수 있다. 특히, 이 접근법은 많은 실시예에서 실질적으로 개선된 메시 생성을 제공할 수 있고, 여기서 예를 들어 생성된 깊이 메시 내에 구멍들의 위험이 실질적으로 감소된 특히 더 일관된 메시가 생성될 수 있다.
하기에서는, 큐브 타일식 표현의 특정 예를 참조하여 기술된 접근법의 다양한 태양이 기술될 것이지만 이는 단지 예일 뿐이라는 것을 알 것이다.
본 발명자의 실현들은 도 2의 타일식 큐브 표현을 고려함으로써 예시될 수 있다. 전형적으로, 큐브 표현의 각각의 측면은 상이한 투시 투영에 대응하고 종종 큐브의 다른 측면들과 개별적으로 생성된다. 예를 들어, 타일식 큐브 표현은 90° 회전 오프셋들을 갖는 6개의 깊이 감지 카메라를 사용하여 생성될 수 있다. 큐브 측면들에서 깊이 표현을 일치시키기 위해서는, 그것은 먼저 깊이 맵이 큐브의 중심과 객체 점 사이의 거리를 타일마다 인코딩하도록 거리/범위 표현으로 변환되는 것이 최선이다. 비트 깊이를 제한하기 위해, 미터 단위의 이 거리/범위는 상수를 거리로 나눈 값으로서 인코딩될 수 있는데 그 이유는 역관계가 더 컴팩트한 인코딩을 야기하기 때문이다. 이 변환 및 양자화 단계 후에, 깊이 맵은 타일마다 추가로 공간적으로 손실 압축될 수 있다. 이것은 전형적으로 큐브의 상이한 측면들 사이의 깊이 변화를 야기할 것이다.
대안으로서, 상이한 타일들은 인코딩을 위해 도 2의 그것과 같은 단일 평면 구조로 조합될 수 있다. 이미지 및 비디오 압축 알고리즘들은 양자화 및 코딩 에러를 도입하고 이는 인코딩이 상이한 타일들을 겹치게 하지 않는 타일 표현들로 특정 에지 불일치를 도입할 수 있다는 것이 인식되었다.
이들 효과는 특히 타일들의 단일 평면 패턴이 인코딩되는 경우에 일반적이다. 실제로, 그러한 경우들에 3차원에서 2차원으로의 변환은 구조에 갭들 및 틈들을 야기한다. 예를 들어, 큐브 표현에 대해, 도 2에 예시된 바와 같이 큐브의 측면들에서 3차원 토폴로지(topology)가 파손된다. 그 결과, 코딩 아티팩트는 상당한 영향을 미치고 종종 가시화될 것이다. 구체적으로, 하나의 큐브 측면의 에지에 있는 3차원 점들이 다른 큐브 측면의 에지에 있는 3차원 점들과 일치하지 않을 것이기 때문에(3차원 위치의 관점에서), 결과 메시도 결국 일관성 없을 수 있고 잠재적으로 갭들을 가질 수 있다.
도 4는 큐브 타일식 포맷이 사용될 때 잠재적 메시 에러가 발생할 가능성이 있는 곳을 예시한다. 이 예는 6개의 별개의 타일로서 인코딩된 깊이의 큐브 타일식 표현을 보여준다. 화살표들은 타일들의 어느 에지들이 깊이 맵들의 손실 인코딩으로 인해 아마도 메시 에러를 야기할 것인지를 나타낸다.
도 3의 이미지 생성 장치(101)의 접근법에서, 그러한 효과들은 주어진 타일 경계에서의 깊이 값들이 하나 이상의 다른 타일의 경계에서의 깊이 값들과 매우 유사하거나 전형적으로 동일하도록 제한되는 것에 의해 완화되거나 회피될 수 있다. 이것은 후속하여 구성된 메시가 일관성 있고 깊이 압축 에러를 겪지 않도록 보장할 수 있다.
도 5는 모든 픽셀/깊이 값들 사이에 삼각형들을 형성함으로써 생성된 메시의 예를 예시한다. 이 예에서, 메시 정점들이 될 깊이 맵 픽셀 위치들은 원들에 의해 표시된다. 전형적으로, 픽셀 위치들의 규칙적 그리드(예를 들어, 2개 또는 4개 픽셀마다 하나씩)가 사용된다. 모든 그러한 픽셀 위치들의 서브세트가 도 5에 도시되어 있다. 이 예에서, 타일 D up은 타일 경계 A를 갖고, 타일 D front는 타일 경계 B를 갖고 각각의 경계 상의 픽셀들은 각각 D A,i 및 D B,j 로서 인덱싱된다. 이 예에서, 경계 A 및 경계 B는 2개의 상이한 타일로부터의 경계들이고 깊이 맵들의 손실 이미지 압축이 이들 샘플을 일관성 없게 만들 수 있는데, 즉 상이한 타일들에서의 대응하는 깊이 값들은 결국 상이한 값들을 가질 수 있고 이로 인해 타일 Dup에 대해 생성된 삼각형들이 Dfront에 대해 생성된 것들과 정렬되지 않을 것이므로 메시에서 에러가 야기될 것이다. 그러나, 메시를 생성하기 전에 대응하는 경계 위치들로부터의 깊이 값들을 동일한 깊이 값으로 설정함으로써, 일관된 메시가 생성된다.
상이한 실시예들에서, 깊이 값들을 결정하기 위해 상이한 기능들이 사용될 수 있다는 것을 알 것이다. 그러나, 많은 실시예에서, 깊이 값들은 2개의 이웃 타일에서의 이웃 에지 깊이 값들이 동일하거나, 적어도 이들 간의 차이가 감소되도록 결정될 수 있다. 구체적으로, 제1 깊이 값과 제2 깊이 값이 에지 값들이면, 그 둘은 동일한 값으로 설정될 것이다. 몇몇 실시예들에서, 제1 깊이 값은 제2 값의 값으로 설정될 수 있지만 많은 실시예에서 깊이 값은 제1 및 제2 깊이 값(및 아마도 다른 깊이 값들 또는 파라미터들) 둘 모두의 함수로서 결정되고 후속하여 제1 및 제2 깊이 값 둘 모두는 이 값으로 설정되는데, 즉 양쪽 값들이 수정된다.
몇몇 실시예들에서, 2개의 깊이 값은 동일한 값으로 설정되지 않을 수 있고 예를 들어 서로 더 가까운 값들로, 즉 이들 간의 차이가 감소되도록 설정될 수 있다. 예로서, 제1 깊이 값은 제1 깊이 값의 변화가 주어진 양보다 더 많이 변화하지 않는 것을 조건으로 제1 및 제2 깊이 값에 대한 평균 깊이 값과 동일하게 설정될 수 있다. 따라서, 깊이 값의 변화는 최대 레벨로 제한된다. 이는 예를 들어 몇몇 시나리오들에서 수정된 깊이 값들이 여전히 생성된 메시에 갭을 야기하지만 그러한 갭이 잠재적으로 실질적으로 감소되는 결과를 야기할 수 있다. 그러나, 동시에 경계 영역들에서의 깊이 값들이 경계 영역 밖의 제1 타일에서의 깊이 값들에 관하여 너무 많이 수정되지 않도록 보장한다. 이는 타일 내에 더 일관된 깊이 맵을 제공할 수 있다. 사용되는 정확한 기능은 개별 실시예의 선호도 및 요구에 의존할 수 있고, 구체적으로 타일 내의 깊이 일관성과 타일들 간의 깊이 일관성 사이의 원하는 트레이드-오프에 의존할 수 있다는 것을 알 것이다.
에지 픽셀들의 깊이 값을 동일하게 설정하는 것은 2개의 상이한 깊이 맵으로부터 생성된 메시 삼각형들 사이에 높은 레벨의 일관성을 제공할 수 있고 따라서 일관된 메시를 제공할 것이다.
몇몇 실시예들에서, 제1 및 제2 깊이 값 둘 모두에 적용되는 값은 2개의 깊이 값의 평균 값으로서 결정될 수 있다. 예를 들어, 도 5의 예에 대해, 타일들의 경계에서의 깊이 값들은 다음과 같이 결정될 수 있다:
Figure pct00001
새로운 깊이 값은 따라서 대응하는 경계 픽셀 위치들에 대해 동일한 평균 깊이 값으로 설정된다. 이제 픽셀 좌표들과 깊이 값을 사용하여 메시가 구성될 때, 경계 A 및 경계 B로부터의 대응하는 경계 픽셀들은 결국 동일한 3D 위치에 있을 것이다. 이 예에서, 깊이 제한 동작은 2개의 샘플에 대해 평균을 내지만 더 많은 샘플이 사용될 수 있다는 것을 알 것이다. 코너들에서, 평균화는 전형적으로 3개의 깊이 값(큐브 맵의 경우) 또는 4개의 깊이 값(4개의 타일이 만나는 다른 타일식 포맷에 대해)에 대해 수행될 수 있다. 다시 말해서, 평균 값은 현재 픽셀이 이웃인 각각의 타일에서의 가장 가까운 픽셀들의 깊이 값들에 대해 평균함으로써 결정될 수 있다.
대안으로서,
Figure pct00002
는 위치 j 주위의 다수의 샘플 위치의 평균으로 설정될 수 있다. 또한, 경계로부터 조금 더 떨어진 픽셀 위치들이 수정될 수 있다.
이 예에서, 제2 프로세서(309)는 따라서 제1 깊이 값의 위치에서 제1 타일에 이웃하는 각각의 타일의 가장 가까운 픽셀의 깊이 값에만 응답하여 제1 깊이 값을 결정하도록 배열된다.
많은 실시예에서, 제2 프로세서(309)는 제1 깊이 값의 수정 후에 제1 타일의 깊이 맵에 공간 필터를 적용하도록 추가로 배열될 수 있다.
따라서, 제2 프로세서(309)가 주어진 타일의 경계 영역들에서 깊이 값들을 수정한 후에, 그것은 수정된 깊이 맵에 공간 필터를 적용하도록 진행할 수 있다. 공간 필터는 구체적으로 경계 영역들 및 내부 영역들 둘 모두를 포함하는 전체 깊이 맵에 적용될 수 있다. 그러나, 다른 실시예들에서, 공간 필터는 경계 영역들 및 경계 영역들에 인접한 내부 영역들의 부분들에만 적용될 수 있다.
경계 영역(들)에서의 깊이 값들의 수정은 타일들 간에 개선된 일관성을 허용할 수 있다. 그러나, 이것이 깊이 맵 내에서 내부 일관성을 감소시킬 수 있는 위험이 존재하고 그러한 일관성을 보장하거나 증가시키기 위해 공간 저역 통과 필터링이 사용될 수 있다.
예를 들어, 수정이 경계 픽셀들과 경계 상이 아닌 타일 내부의 픽셀들 간에 새로운 불일치를 도입할 위험을 감소시키기 위해서는, (단지) 경계 내부에 있는 행들과 열들의 깊이 값들을 공간적으로 필터링하여 그들이 경계 상의 새로운 깊이 값들과 공간적으로 일관되도록 하는 것이 바람직할 수 있다.
많은 실시예에서, 그러한 공간 필터링은 수정된 깊이 값들에 적용되지 않을 수 있다. 예를 들어, 에지 픽셀들은 다른 타일들에서의 깊이 값들에 기초하여 수정될 수 있고 후속하여 에지 픽셀들에 가깝지만 이들을 포함하지 않는 픽셀들에 공간 필터가 적용될 수 있다. 따라서, 에지 픽셀들은 그들의 값을 유지할 것이지만 에지 픽셀들에 가까운 내부 깊이 값들의 필터링으로 인해, 이들은 에지 픽셀들에 대한 새로운 값들과 더 일관되도록 수정될 것이다(그러한 픽셀들에 대한 필터링 커널(filtering kernel)은 전형적으로 에지 픽셀들을 포함할 것이다).
많은 실시예에서, 메시 생성기(307)는 메시의 생성을 위해 픽셀들의 서브세트만을 사용하도록 배열될 수 있는데, 즉 픽셀들의 서브세트만이 메시의 다각형들(전형적으로 삼각형들)의 정점들에 대응하도록 선택될 수 있다. 예를 들어, 깊이 맵의 2개 픽셀마다 또는 4개 픽셀마다 하나씩에 대해 정점이 생성될 수 있다. 그러한 접근법은 종종 더 낮은 데이터 레이트 및 계산 리소스 요구를 제공하는 더 낮은 복잡성 메시를 생성하기 위해 적용될 수 있다.
많은 그러한 실시예에서, 메시 생성기(307)는 메시 생성을 위해 깊이 값들의 서브세트만이 사용된다는 것을 제2 프로세서(309)에 지시하도록 배열될 수 있다. 그에 응답하여, 제2 프로세서(309)는 후속 메시 생성을 위해 사용되는 깊이 맵/경계 영역의 깊이 값들만을 수정하도록 진행할 수 있다. 이는 많은 실시예에서 제2 프로세서(309)의 복잡성 및 계산 리소스 사용량을 상당량 감소시킬 수 있다.
그러한 접근법은 불규칙 메시들이 사용되는 상황들에 대해 특히 적합할 수 있다. 구체적으로, 규칙적 메시들이 사용되는 실시예들에서, 토폴로지는 고정되고 생성될 수 있는 동적 메시들과 무관하고, 구체적으로 다른 타일들에 대해 생성된 메시들과 무관하다. 따라서, 제2 프로세서(309)는 어느 깊이 값들을 수정할지에 대한 미리 결정된 정보를 가질 수 있다.
그러나, 불규칙 메시들이 사용된다면, 실제로 메시 정점들로 변환되는 깊이 값들의 서브세트는 변화할 것이고, 그러한 상황에서 수정할 깊이 값들의 서브세트의 선택은 불규칙 메시의 정점들에 기초할 수 있다.
예를 들어, 메시 생성기(307)는, 깊이 값들의 임의의 수정 전에, 제1 타일의 깊이 값들에만 기초하여 제1(내부) 불규칙 메시를 생성할 수 있는데, 즉 그것은 제1 타일에 대한 제1 초기 메시를 생성할 수 있다. 유사하게, 메시 생성기(307)는 임의의 수정 전에 제2 타일의 깊이 값들에만 기초하여 제2(내부) 불규칙 메시를 생성할 수 있는데, 즉 그것은 제2 타일에 대한 제2 초기 메시를 생성할 수 있다.
이들 2개의 불규칙 메시를 조합하기 위해, 메시 생성기(307)는 제1 및 제2 타일 간의 경계를 따라 있는 모든 정점을 식별할 수 있다. 이어서 제1 또는 제2 불규칙 메시로부터의 정점에 대응하는 각각의 깊이 값이 제2 프로세서(309)에 지시되는 서브세트에 포함될 수 있다. 이어서 제2 프로세서(309)는 수정/깊이 제약을 수행할 수 있고, 구체적으로 깊이 값들을 2개의 타일에서 동일하게 설정할 수 있다. 이어서 결과 깊이 값들은 메시 생성기(307)에 피드백될 수 있고 메시 생성기는 메시들 내의 기존 정점들의 깊이 값들을 수정할 뿐만 아니라 하나의 메시에만 존재하는 임의의 정점들(및 대응하는 에지들)을 다른 메시에 추가하도록 진행할 수 있다. 그 결과, 2개의 결과 불규칙 메시는 2개의 타일 간의 경계의 선들을 따라 정확하게 대응할 것이고 따라서 단일 메시로 쉽게 병합될 수 있다.
이전 예에서, 원격 서버(103)는 단일의 조합된 구조로서 타일식 3차원 이미지 표현을 생성하고 송신하였다. 그러나, 많은 실시예에서, 원격 서버(103)는 타일들의 서브세트만을, 구체적으로 한 번에 하나의 타일만을 송신하도록 배열될 수 있다. 그러한 실시예들에서, 이미지 생성 장치(101)는 하나의 타일 또는 타일들의 서브세트를 수신하고 이들을 다른 소스들로부터의 타일들과, 예컨대 구체적으로 로컬로 저장된 다른 타일들과 조합하도록 배열될 수 있다. 이들 로컬로 저장된 타일은 원격 서버(103)로부터 이전에 수신된 타일들일 수 있거나 잠재적으로 예를 들어 원격 서버(103)로부터 수신되는 대체 타일들에 의해 나중에 동적으로 업데이트되고 적응되는 미리 결정된 명목 장면을 표현하는 미리 결정된 명목 타일들일 수 있다.
그러한 실시예에서, 이미지 생성 장치(101)는 대응하는 접근법을 사용하여 새로 수신된 타일의 깊이 값들을 제한하도록 배열될 수 있다.
특정 예로서, 이미지 생성 장치(101)는, 도 6에 예시된 바와 같이, 수신기(301)에 결합된 원격 소스 통신기(601) 및 로컬 저장소(603)를 포함할 수 있다. 이 예에서, 수신기(301)는 따라서 로컬 저장소(603)로부터 또는 원격 소스 통신기(601)로부터 타일식 3차원 이미지 표현의 타일들을 검색할 수 있다.
이 예에서, 로컬 저장소(603)는 타일식 3차원 이미지 표현에 대응하는 타일들의 전체 세트를 포함하고 수신기(301)는 필요할 때 적절한 타일들을 검색하도록 배열될 수 있다. 저장된 타일들의 세트는 구체적으로 이전에 원격 서버(103)로부터 수신된 타일들일 수 있다.
원격 소스 통신기(601)는 원격 서버(103)로부터 단일 타일(또는 잠재적으로 타일들의 서브세트)을 수신하도록 배열될 수 있다. 새로운 타일은 로컬 저장소(603)에 현재 저장된 기존 타일에 대한 대체물일 수 있다.
새로운 타일은 예를 들어 이미지 생성 장치(101)로부터 원격 서버(103)로 송신된 메시지에 응답하여 수신될 수 있다. 실제로, 특정 예에서 사용자 인터페이스(305)는 원격 소스 통신기(601)에 결합되고 그것은 현재 결정된 뷰포인트(뷰 방향 및/또는 위치)를 원격 소스 통신기(601)에 제공한다. 그에 응답하여, 원격 소스 통신기(601)는 저장된 타일들 중 임의의 것의 적합한 업데이트가 필요한지를 결정하는 원격 서버(103)로 뷰포인트의 표시를 송신한다. 예를 들어, 현재 뷰포인트가 상당한 양의 시간 동안 업데이트되지 않은 방향에 대응한다면, 원격 서버(103)는 새로운 대체 타일을 송신하기로 결정할 수 있다. 다른 실시예들에서, 원격 서버(103)는, 예를 들어 장면에서 실질적인 동적 변화가 발생한 것을 검출하는 것에 응답하여 대체 타일이 송신되어야 한다고 스스로 결정할 수 있다.
이 예에서, 원격 소스 통신기(601)가 새로운 타일(종종 대체 타일)을 수신할 때, 그것은 저장된 이웃 타일들을 추출하도록 진행한 다음 수신된 타일에 대해, 예를 들어 수신된 타일의 하나 이상의 경계 픽셀/깊이 값에 대해 이전에 기술된 동작을 수행하도록 진행할 수 있고, 그것은 새로운 타일들과 저장된 이웃 타일들 간에 대응하도록 깊이 값들을 수정할 수 있다.
그러나, 많은 실시예에서, 깊이 값들은 새로운 타일에 대해서만 수정된다. 따라서, 예를 들어 평균 깊이 값을 결정하고 이것을 새로운 수신된 맵 및 저장된 이웃 깊이 맵 둘 모두의 픽셀들에 할당하기보다는, 제2 프로세서(309)는 새로운 깊이 맵의 깊이 값을 저장된 깊이 맵의 이웃 깊이 값과 동일하게 설정할 수 있다. 이러한 방식으로, 새로운 타일의 깊이 맵은 로컬로 저장된 깊이 맵들을 수정하지 않고 이들과 일관되도록 수정된다. 따라서, 저장된 깊이 맵들에 대해 이미 수행된 임의의 처리가 다시 수행될 필요가 없는데, 예를 들어 이들 깊이 맵을 다시 필터링할 필요가 없다. 오히려, 새로운 타일의 깊이 맵이 수정되고 그 후 기존 깊이 맵들과 함께 사용될 수 있다.
이 수정 후에, 수신된 새로운 깊이 맵은 로컬 저장소에 저장되어 로컬에 저장된 3차원 이미지 표현을 업데이트할 수 있다.
이 접근법은 매우 효율적인 시스템을 허용할 수 있고, 특히 적절한 대로 그리고 적절할 때 개별 타일들만이 송신될 수 있으므로 통신 대역폭을 감소시킬 수 있다. 또한, 저하된 이미지 품질 및 에러 또는 아티팩트를 야기하는 그러한 새로운 타일의 위험이 감소될 수 있다. 또한, 저장된 이웃 깊이 맵들의 처리 또는 수정이 필요하지 않으므로 계산 리소스가 낮게 유지될 수 있다.
실제로, 몇몇 실시예들에서, 장면에 대해 메시들이 생성되었을 수 있고 다른 타일들의 깊이 값들이 명시적 깊이 맵들로서가 아니라 오히려 메시들로서 저장될 수 있다. 그러한 상황에서, 주어진 타일에 대한 메시는 전형적으로 타일의 에지 또는 경계를 따라 다수의 정점을 갖도록 생성된다. 이들 정점의 깊이는 이제 이웃 타일의 경계 영역의 깊이 값들로서 사용될 수 있고 따라서 새로 수신된 타일의 깊이 값들은 대응하는 이웃 타일에 대한 기존 메시의 경계 깊이 값들과 일관되도록 수정될 수 있다.
수정되는 새로운 깊이 맵에서의 깊이 값들의 세트가 메시에 응답하여 추가로 선택될 수 있고, 구체적으로 새로운 타일과 경계를 이루는 메시의 각각의 정점/깊이 값에 대해, 새로운 깊이 맵에서의 대응하는(가장 가까운) 깊이 값이 선택되고 정점 깊이 값과 동일한 값으로 설정될 수 있다. 이어서 이들 픽셀/깊이 값은 메시 다각형들(전형적으로 삼각형들)에 대한 정점들로서 사용될 수 있고 다른 정점들은 적합한 선택 기준에 따라 새로운 타일 내에서 선택된다.
이러한 방식으로, 저장된 타일들의 이미 생성된 메시들과 일관되는 메시가 새로운 타일에 대해 생성된다. 따라서, 이들 이웃 메시는 수정될 필요가 없고 직접 사용되어 처리 부담을 실질적으로 감소시킬 수 있다.
그러나, 그러한 접근법은 많은 실시예에서 매우 높은 성능을 제공할 수 있는 반면, 그것은 몇몇 상황들에서는 깊이 편차를 야기할 수 있다. 특히, 많은 실시예에서, 이웃 타일의 경계 정점들은 서로 약간 떨어져 있을 수 있는데, 그 이유는 예를 들어 그 영역에서 깊이 변화가 작은 결과로서 다수의 더 작은 메시 삼각형이 더 큰 메시로 조합되었기 때문이다. 그러나, 이 선을 따라 상당히 큰 깊이 변화를 갖는 새로운 타일이 이제 수신되면, 단일 메시 삼각형의 직선이 이 깊이 변화를 반영할 수 없다. 몇몇 실시예들에서, 제2 프로세서(309)는 새로운 타일의 경계 깊이 값과 저장된 이웃 타일의 기존 메시 다각형의 대응하는 깊이 값 간의 깊이 차이가 임계치를 초과하는 것을 검출하도록 배열될 수 있고, 이 검출에 응답하여 그것은 새로운 경계 정점을 추가할 수 있다. 이어서 이 새로운 경계 정점은 새로운 타일에 대해 생성되는 메시 내의 다각형의 기초를 형성할 것이지만 이웃 타일의 정점이기도 할 것이다. 따라서, 새로운 정점이 이전에 생성된 메시에 추가되고 기존 메시의 대응하는 다각형은 2개의 다각형으로 분할된다. 따라서, 이웃 타일에 대한 기존 메시 내의 하나 이상의 기존 정점과 새로운 정점 사이에서 기존 메시에 하나 이상의 에지가 추가된다(새로운 정점에 기초하여 이전에 존재하는 다각형을 더 작은 다각형들로 분할하기 위해 필요한 에지의 수는 특정 토폴로지에 의존할 것이다).
특정 예로서, 새로운 깊이 타일이 수신될 때, 많은 실시예에서 그것을 이미 존재하는 메시와 조합하는 것이 바람직하다. 이러한 상황이 도 7에 예시되어 있다. 이 예에서, 이웃 타일들의 깊이 맵들은 이미 메시로 변환되었고 이제 새로 도착한 타일에 대한 메시를 생성하는 것이 바람직하다. 이는 타일들의 에지에서 깊이 값들을 분석함으로써 수행될 수 있다. 새로운 깊이 맵이 해당 위치에서 이미 존재하는 삼각형 에지와 큰 차이가 있는 에지 깊이 값(예를 들어 새로운 타일에서의 내부 깊이 변화들로 인해 정점에 대한 후보로서 결정됨)을 가진다면, 새로운 정점이 생성되고 이웃 타일에서 하나 이상의 삼각형이 분할되어 해당 영역에 더 상세한 메시를 생성한다.
그러나, 그렇지 않은 경우라면, 이웃 타일들의 메시 토폴로지가 직접 사용될 수 있고 새로운 타일의 내부에 그리고 이웃 메시의 기존 에지 정점들을 사용하여 메시가 형성된다.
불규칙 메시를 사용하는 예들에 대해서는 더 복잡한 접근법이 특히 적합하다. 도 7의 예에서, 저장된 타일에 대한 메시로의 깊이 맵의 변환은 깊이 맵의 변화의 분석에 기초하였고 불규칙 메시를 야기하였다. 새로운 타일에 대한 메시를 생성할 때, 일부 정점들은 수정되지 않는다(닫힌 원들). 그러나, 새로운 깊이 맵이 메시 모델이 수정되어야 한다고 지시할 때, 새로운 정점이 배치된다. 이 결정은 기존 메시와 이웃 타일들과의 경계에서 새로운 깊이 맵으로부터 생성된 후보 정점들의 위치를 비교하는 것에 기초할 수 있다. 깊이 또는 위치 차이가 너무 크면(새로운 깊이 맵과 기존 메시 간의 깊이 차이가 너무 크다는 것을 나타냄), 새로운 정점이 도입되고, 이웃 타일들의 삼각형들이 업데이트된다.
상기 설명은 타일식 3차원 이미지 표현에 기초하여, 그리고 구체적으로 깊이 맵들로부터 메시를 생성함으로써 이미지를 생성하는 것에 초점을 맞춘 반면, 이들 중 어느 것도 필수적인 특징은 아니라는 것을 알 것이다. 실제로, 개선된 타일식 3차원 이미지 표현을 생성하는 것은 많은 상이한 응용에서 유리할 수 있고, 본 명세서에 기술된 바와 같은 그러한 개선된 타일식 3차원 이미지 표현의 특정 후속 사용으로 제한되지 않는다.
상기 예들은 제1 타일의 제1 깊이 맵의 제1 에지 깊이 값이 제2 타일의 제2 깊이 맵에서의 가장 가까운 에지 깊이 값에 기초하여 수정되는 실시예들에 초점을 맞추었다. 그러나, 많은 실시예에서, 제1 에지 깊이 값은 추가적으로 또는 대안적으로 제1 에지 깊이 값에 가장 가깝지 않은 제2 깊이 맵에서의 깊이 값에 기초하여 수정될 수 있다는 것을 알 것이다. 몇몇 실시예들에서, 제1 에지 깊이 값은, 반드시 에지 깊이 값들은 아닌 깊이 값들을 포함하고, 잠재적으로 심지어 가장 가까운 에지 깊이 값을 배제하는, 제2 깊이 맵의 경계 영역에서의 복수의 깊이 값에 기초하여 수정될 수 있다. 예를 들어, 제1 에지 깊이 값은 주어진 임계치보다 작은 제1 에지 깊이 값까지의 거리를 갖는 모든 깊이 값들로 구성된 제2 맵에서의 복수의 깊이 값에 기초하여 수정될 수 있다.
유사하게, 제1 깊이 값, 즉 수정되는 깊이 값은 에지 깊이 값일 필요는 없다는 것을 알 것이다.
상기 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 기술하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분배가 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 언급들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 기술된 기능을 제공하기 위한 적합한 수단에 대한 언급들로 간주되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분배될 수 있다.
본 발명이 몇몇 실시예들과 관련하여 기술되었지만, 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구범위에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 기술되는 것처럼 보일 수 있지만, 당업자는 기술된 실시예의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 대로 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서, 단수형 표현("a", "an"), "제1", "제2" 등에 대한 언급들은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구항들의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

  1. 장면의 타일식 3차원 이미지 표현(tiled three-dimensional image representation)을 생성하기 위한 장치로서,
    제1 뷰포인트(viewpoint)로부터의 장면의 타일식 3차원 이미지 표현을 수신하기 위한 수신기(301)로서, 상기 타일식 3차원 이미지 표현은 복수의 상호 연결된 타일들을 포함하고, 각각의 타일은 상기 제1 뷰포인트로부터의 상기 장면의 뷰포트(viewport)를 표현하는 텍스처 맵(texture map) 및 깊이 맵(depth map)을 포함하고 상기 타일들은 타일링 패턴(tiling pattern)을 형성하는, 상기 수신기(301);
    상기 타일링 패턴에 응답하여 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정하기 위한 제1 프로세서(311)로서, 상기 제1 타일 및 상기 제2 타일은 이웃 타일들인, 상기 제1 프로세서(311);
    상기 제2 타일의 제2 경계 영역에서의 적어도 제2 깊이 값에 응답하여 상기 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을, 상기 제1 깊이 값 및 상기 제2 깊이 값 중 적어도 일부 값들에 대해 상기 제1 깊이 값과 상기 제2 깊이 값 간의 차이가 감소되도록, 수정하기 위한 제2 프로세서(309)로서, 상기 제1 경계 영역 및 상기 제2 경계 영역은 이웃 경계 영역들인, 상기 제2 프로세서(309)를 포함하는, 장치.
  2. 제1항에 있어서, 상기 제2 프로세서(309)는 상기 제1 깊이 값과 상기 제2 깊이 값을 동일한 값으로 설정하도록 배열되는, 장치.
  3. 제2항에 있어서, 동일한 값은 상기 제1 깊이 값과 상기 제2 깊이 값의 평균 값인, 장치.
  4. 제1항 또는 제2항에 있어서, 상기 제2 프로세서(309)는 상기 제1 깊이 값을 상기 제2 깊이 값으로 설정하도록 배열되는, 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 타일들의 깊이 맵들로부터 3차원 메시를 생성하기 위한 메시 생성기(mesh generator)(307)를 추가로 포함하는, 장치.
  6. 제5항에 있어서, 상기 메시 생성기(307)는 상기 3차원 메시를 생성하기 위해 사용할 상기 제1 경계 영역의 깊이 값들의 서브세트를 선택하도록 배열되고, 상기 제2 프로세서는 상기 제1 경계 영역의 깊이 값들이 상기 깊이 값들의 서브세트에 속하는 경우에만 상기 제1 경계 영역의 깊이 값들을 수정하도록 배열되는, 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제2 프로세서(309)는 상기 제1 깊이 값의 상기 수정 후에 상기 제1 타일의 깊이 맵에 공간 필터를 적용하도록 배열되는, 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 원격 소스(103)로부터 상기 타일식 3차원 이미지 표현을 위한 타일들을 수신하도록 배열되는 원격 소스 통신기(remote source communicator)(601) 및 상기 타일식 3차원 이미지 표현을 위한 타일들을 저장하기 위한 로컬 저장소(local store)(603)를 추가로 포함하고, 상기 수신기(301)는 상기 원격 소스 수신기(103)로부터 상기 제1 타일을 수신하는 것에 응답하여 상기 로컬 저장소로부터 적어도 상기 제2 깊이 값을 검색하도록 배열되는, 장치.
  9. 제8항에 있어서, 상기 로컬 저장소(603)는 상기 제1 깊이 값의 상기 수정 후에 상기 제1 타일에 대한 깊이 맵 또는 메시를 저장하도록 배열되는, 장치.
  10. 제8항 또는 제9항에 있어서, 현재 뷰 방향을 결정하기 위한 사용자 입력(305)을 추가로 포함하고, 상기 원격 소스 통신기(601)는 상기 현재 뷰 방향의 표시를 상기 원격 소스에 송신하도록 배열되고, 상기 제1 타일은 상기 표시에 응답하여 수신되는, 장치.
  11. 제5항을 인용하는 경우의 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 로컬 저장소(603)는 상기 저장된 타일들에 대한 메시를 저장하도록 배열되고, 상기 메시 생성기(307)는 차이 측정치가 임계치를 초과한다는 검출에 응답하여 상기 제2 타일에 대한 저장된 메시에 적어도 하나의 에지(edge) 및 정점(vertex)을 추가하도록 배열되고, 상기 차이 측정치는 상기 제1 타일의 경계 깊이 값과 상기 제2 타일에 대한 상기 저장된 메시의 대응하는 경계 깊이 값 간의 깊이 차이를 나타내는, 장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 제2 프로세서(309)는 상기 제1 깊이 값의 위치에서 상기 제1 타일에 이웃하는 각각의 타일의 가장 가까운 깊이 값에만 응답하여 상기 제1 깊이 값을 결정하도록 배열되는, 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 각각의 타일은 평면 다각형이고 상기 복수의 상호 연결된 타일들이 3차원 구조를 형성하는, 장치.
  14. 장면의 3차원 이미지 표현을 생성하는 방법으로서,
    제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현을 수신하는 단계로서, 상기 타일식 3차원 이미지 표현은 복수의 상호 연결된 타일들을 포함하고, 각각의 타일은 상기 제1 뷰포인트로부터의 상기 장면의 뷰포트를 표현하는 텍스처 맵 및 깊이 맵을 포함하고 상기 타일들은 타일링 패턴을 형성하는, 상기 제1 뷰포인트로부터의 장면의 타일식 3차원 이미지 표현을 수신하는 단계;
    상기 타일링 패턴에 응답하여 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정하는 단계로서, 상기 제1 타일 및 상기 제2 타일은 이웃 타일들인, 상기 적어도 제1 타일에서 그리고 제2 타일에서 이웃 경계 영역들을 결정하는 단계;
    상기 제2 타일의 제2 경계 영역에서의 적어도 제2 깊이 값에 응답하여 상기 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을, 상기 제1 깊이 값 및 상기 제2 깊이 값 중 적어도 일부 값들에 대해 상기 제1 깊이 값과 상기 제2 깊이 값 간의 차이가 감소되도록, 수정하는 단계로서, 상기 제1 경계 영역 및 상기 제2 경계 영역은 이웃 경계 영역들인, 상기 제1 타일의 제1 경계 영역의 적어도 제1 깊이 값을 수정하는 단계를 포함하는, 방법.
  15. 컴퓨터 프로그램 제품으로서,
    상기 프로그램이 컴퓨터 상에서 실행될 때 제14항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
KR1020207005322A 2017-07-25 2018-07-17 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법 KR102546358B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17182985.6 2017-07-25
EP17182985.6A EP3435670A1 (en) 2017-07-25 2017-07-25 Apparatus and method for generating a tiled three-dimensional image representation of a scene
PCT/EP2018/069387 WO2019020433A1 (en) 2017-07-25 2018-07-17 APPARATUS AND METHOD FOR GENERATING THREE-DIMENSIONAL MOSAIC IMAGE REPRESENTATION OF A SCENE

Publications (2)

Publication Number Publication Date
KR20200031678A true KR20200031678A (ko) 2020-03-24
KR102546358B1 KR102546358B1 (ko) 2023-06-22

Family

ID=59399320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005322A KR102546358B1 (ko) 2017-07-25 2018-07-17 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법

Country Status (8)

Country Link
US (1) US10893259B2 (ko)
EP (2) EP3435670A1 (ko)
JP (1) JP7191079B2 (ko)
KR (1) KR102546358B1 (ko)
CN (1) CN110945868B (ko)
BR (1) BR112020001453A2 (ko)
TW (1) TWI786157B (ko)
WO (1) WO2019020433A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669567B (zh) * 2019-03-07 2024-03-29 阿里巴巴集团控股有限公司 多角度自由视角视频数据生成方法及装置、介质、服务器
EP3712843A1 (en) 2019-03-19 2020-09-23 Koninklijke Philips N.V. Image signal representing a scene
EP3792877A1 (en) 2019-09-12 2021-03-17 Koninklijke Philips N.V. Apparatus and method for evaluating a quality of image capture of a scene
TWI767265B (zh) * 2020-06-24 2022-06-11 直得科技股份有限公司 在二維顯示介面中控制多軸物件工作端點之方法
CN114359456B (zh) * 2021-12-27 2023-03-24 北京城市网邻信息技术有限公司 贴图方法、装置、电子设备及可读存储介质
WO2023224627A1 (en) * 2022-05-19 2023-11-23 Google Llc Face-oriented geometry streaming

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010031608A (ko) * 1997-10-31 2001-04-16 디. 크레이그 노룬드 이미지 랜더링 방법 및 랜더링 장치
KR20170018930A (ko) * 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975319B1 (en) 2000-03-24 2005-12-13 Nvidia Corporation System, method and article of manufacture for calculating a level of detail (LOD) during computer graphics processing
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6903741B2 (en) * 2001-12-13 2005-06-07 Crytek Gmbh Method, computer program product and system for rendering soft shadows in a frame representing a 3D-scene
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
CN102971770B (zh) 2011-03-31 2016-02-10 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法
JP6072678B2 (ja) 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
TR201819457T4 (tr) * 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
TWI521940B (zh) * 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010031608A (ko) * 1997-10-31 2001-04-16 디. 크레이그 노룬드 이미지 랜더링 방법 및 랜더링 장치
KR20170018930A (ko) * 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들

Also Published As

Publication number Publication date
US20200177868A1 (en) 2020-06-04
JP2020528619A (ja) 2020-09-24
BR112020001453A2 (pt) 2020-07-28
WO2019020433A1 (en) 2019-01-31
JP7191079B2 (ja) 2022-12-16
RU2020107834A (ru) 2021-08-25
CN110945868A (zh) 2020-03-31
TWI786157B (zh) 2022-12-11
EP3659337A1 (en) 2020-06-03
EP3435670A1 (en) 2019-01-30
KR102546358B1 (ko) 2023-06-22
US10893259B2 (en) 2021-01-12
CN110945868B (zh) 2022-04-01
RU2020107834A3 (ko) 2021-11-03
TW201921318A (zh) 2019-06-01
EP3659337B1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
KR102546358B1 (ko) 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법
US11050994B2 (en) Virtual reality parallax correction
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220165015A1 (en) Image signal representing a scene
JP7480163B2 (ja) 画像の奥行きマップの処理
RU2771957C2 (ru) Устройство и способ для генерации мозаичного представления трехмерного изображения сцены
US20220174259A1 (en) Image signal representing a scene
US12026903B2 (en) Processing of depth maps for images
RU2817803C2 (ru) Сигнал изображения, представляющий сцену
EP3686833A1 (en) Generating and processing an image property pixel structure

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right