KR20190091500A - 광 강도 이미지를 생성하기 위한 장치 및 방법 - Google Patents

광 강도 이미지를 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20190091500A
KR20190091500A KR1020197019245A KR20197019245A KR20190091500A KR 20190091500 A KR20190091500 A KR 20190091500A KR 1020197019245 A KR1020197019245 A KR 1020197019245A KR 20197019245 A KR20197019245 A KR 20197019245A KR 20190091500 A KR20190091500 A KR 20190091500A
Authority
KR
South Korea
Prior art keywords
light intensity
mesh
depth
viewpoint
map
Prior art date
Application number
KR1020197019245A
Other languages
English (en)
Other versions
KR102581134B1 (ko
Inventor
크리스티안 바레캄프
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20190091500A publication Critical patent/KR20190091500A/ko
Application granted granted Critical
Publication of KR102581134B1 publication Critical patent/KR102581134B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지를 생성하기 위한 방법은 제1 시점 및 제2 시점으로부터의 장면을 각각 표현하는 제1 및 제2 텍스처 맵 및 메시를 수신하는 단계(301, 303)를 포함한다. 제3 시점에 대해 광 강도 이미지가 생성된다(305). 제1 위치에 대해 이것은 제1 텍스처 맵 및 제1 메시와 제2 텍스처 맵 및 제2 메시에 각각 기초한 시점 변환에 의해 제1 위치에 대한 제1 및 제2 광 강도 값을 결정하는 단계(401, 403)를 포함한다. 이어서, 제1 광 강도 값과 제2 광 강도 값의 가중된 결합에 의해 광 강도 값이 결정된다(405). 가중은 제1 위치에 대응하는 제2 메시 위치에서의 제2 메시 내의 깊이 변화도에 대한, 제1 위치에 대응하는 제1 메시 위치에서의 제1 메시 내의 깊이 변화도에 의존한다.

Description

광 강도 이미지를 생성하기 위한 장치 및 방법
본 발명은 광 강도 이미지(light intensity image)를 생성하기 위한 장치 및 방법에 관한 것이며, 특히 가속 하드웨어 처리에 적합한 복수의 상이한 시점으로부터의 텍스처 맵(texture map)들 및 메시(mesh)들에 기초하여 새로운 시점에 대한 광 강도 이미지를 생성하는 것에 관한 것이다.
삼차원 장면에 기초한 그래픽 애플리케이션이 구체적으로 컴퓨터 그래픽 애플리케이션과 같은 많은 애플리케이션에서 널리 퍼지게 되었다. 고속 삼차원 그래픽 처리를 지원하기 위해, 다수의 표준과 사양이 개발되었다. 이는 시점 시프트(view point shifting)와 같은 많은 표준 동작을 위한 표준화된 기능들 및 루틴들을 제공할 수 있기 때문에 더 빠른 설계 및 구현을 제공할 뿐만 아니라, 전용 하드웨어 그래픽 엔진이 개발되고 이러한 루틴들에 최적화될 수 있게 한다. 실제로, 많은 컴퓨터의 경우, 그래픽 처리 유닛(GPU)은 요즘에는 종종 적어도 중앙 처리 유닛(CPU)만큼 강력하고 중요할 수 있다.
고속 그래픽 처리를 지원하기 위한 표준의 예는 그래픽 처리를 지원하는 다수의 기능을 가진 애플리컨트 프로세스 인터페이스(API)를 제공하는 OpenGL 사양이다. 이 사양은 전형적으로 특정 루틴들이 GPU 형태의 전용 가속 하드웨어에 의해 구현되는 하드웨어 가속 그래픽 처리를 제공하는 데 사용된다.
대부분의 그러한 그래픽 사양에서, 장면의 표현은 텍스처 맵과 삼차원 메시의 결합에 의한다. 실제로, 많은 시나리오에서 특히 효과적인 접근법은 다각형들의 세트가 삼차원 위치들에 의해 주어진 다각형들의 공통 에지들 또는 코너들(정점(vertex)들)에 의해 연결되는 다각형 메시에 의해 이미지 객체들을 또는 실제로 장면 전체를 표현하는 것이다. 결합된 삼차원 다각형 메시는 이에 따라, 아마도 전체 이미지의 삼차원 설명을 포함한 삼차원 객체들의 효과적인 모델을 제공한다. 다각형 메시는 종종 3D 공간에 주어진 공통 코너들을 갖는 삼각형들에 의해 형성되는 삼각형 메시이다.
예로서, 스테레오 카메라는 주어진 시점으로부터 장면의 이미지를 녹화할 수 있다. 각각의 픽셀에 대해, 픽셀에 의해 표현된 객체까지의 거리를 추정하기 위해 디스패리티 추정(disparity estimation)이 수행될 수 있다. 이것은 각각의 픽셀에 대해 수행되며 이에 의해 각각의 픽셀에 대한 x, y, z의 삼차원 위치를 제공할 수 있다. 이러한 위치들은 이어서 2x2 픽셀들의 각각의 그룹에 대해 2개의 삼각형이 형성되는 삼각형 메시에 대한 정점들로서 사용될 수 있다. 이는 많은 수의 삼각형을 야기할 수 있기 때문에, 프로세스는 일부 초기 삼각형들을 더 큰 삼각형으로(또는 일부 시나리오에서는 더 일반적으로 더 큰 다각형으로) 결합하는 것을 포함할 수 있다. 이는 삼각형의 수를 감소시키지만 또한 메시의 공간 해상도를 감소시킬 것이다. 따라서, 이는 전형적으로 깊이 변화에 의존하고 주로 더 편평한 영역들에서 행해진다.
각각의 정점은 추가로 텍스처 맵의 광 강도 값과 관련된다. 텍스처 맵은 본질적으로 정점에 대한 픽셀 위치에서의 객체에 대한 장면에서 광/컬러 강도를 제공한다. 전형적으로, 광 강도 이미지/텍스처 맵이 메시와 함께 제공되며, 각각의 정점은 그 정점의 x, y, z 위치를 표현하는 데이터 및 텍스처 맵 내의 링크된 위치를 식별하는 u,v 데이터를 포함하는데, 즉 그것은 텍스처 맵에서 캡처된 바와 같은 x, y, z 위치에서의 광 강도를 가리킨다.
그러한 표현들에서, 다각형 메시는 객체들의 삼차원 기하학적 구조의 정보를 제공하는 데 사용되는 반면, 텍스처는 전형적으로 별도의 데이터 구조로서 제공된다. 구체적으로, 텍스처는 종종 처리 알고리즘에 의해 삼차원 기하학적 구조 상에 오버레이될 수 있는 별도의 이차원 맵으로서 제공된다.
삼각형 메시들의 사용은 컴퓨터 그래픽 알고리즘들에 의한 처리 및 조작에 특히 적합하며, 많은 효율적인 소프트웨어 및 하드웨어 솔루션이 개발되었으며 시장에서 입수 가능하다. 각각의 다각형을 개별적으로 처리하기보다는 복수의 다각형에 대해 공통적으로 개별 정점들을 처리하는 알고리즘에 의해 많은 시스템에서 상당한 계산 효율이 달성된다. 예를 들어, 전형적인 삼각형 메시의 경우, 개별 정점은 종종 여러 개(종종 3개 내지 8개)의 삼각형에 공통이다. 단일 정점의 처리는 이에 따라 비교적 많은 수의 삼각형에 적용 가능할 수 있으며, 이에 의해 처리되는 이미지 또는 다른 객체 내의 포인트의 수를 상당히 감소시킬 수 있다.
특정 예로서, 많은 현재의 시스템 온 칩(SoC)은 3D 그래픽의 처리에 고도로 최적화된 GPU를 포함한다. 예를 들어, 3D 객체 기하학적 구조 및 3D 객체 텍스처의 처리는 소위 OpenGL 렌더링 파이프라인(또는 DirectX와 같은 많은 다른 API)에서 2개의 크게 분리된 경로를 사용하여 수행된다. SoC 상의 GPU의 하드웨어는 3D 소스가 (전형적으로 삼각형들의) 정점들 및 텍스처들의 형태로 GPU에 제공되는 한 3D 그래픽을 효율적으로 처리할 수 있다. 이어서, OpenGL 애플리케이션 인터페이스는 3D 객체들이 2D 스크린 상에 투영될 때 어떻게 보이는지를 결정하는 가상 원근 카메라의 설정 및 제어를 가능하게 한다. OpenGL은 3D 객체들을 입력으로서 사용하지만, 출력은 전형적으로 통상의 2D 디스플레이에 적합한 2D 이미지이다.
그러나, 그러한 접근법들은 다각형 메시 및 관련 텍스처 정보에 의해 삼차원 정보가 제공될 것을 요구한다. 이는 예를 들어 완전히 컴퓨터로 생성된 가상 장면 및 환경에 기초한 게임과 같은 일부 애플리케이션들에서는 제공하기가 비교적 용이할 수 있지만, 그것은 다른 실시예들에서는 덜 용이할 수 있다. 특히, 실제 장면을 캡처하는 것에 기초하는 애플리케이션들에서는, 그것은 이들이 텍스처 및 메시 표현으로 변환될 것을 요구한다. 이는, 앞서 언급된 바와 같이, 스테레오 이미지에 또는 장면의 이미지 및 깊이 표현에 기초할 수 있다. 그러나, 그러한 변환을 수행하기 위한 다수의 접근법이 알려져 있지만, 그것은 사소하지 않고 다수의 복잡한 문제와 어려움을 제기한다.
그래픽 처리에서 공통의 동작은 입력 텍스처 맵 및 메시의 시점과는 상이한 시점에 대해 이미지가 생성되는 시점 변화이다. 그래픽 API는 전형적으로 그러한 시점 변환(view point transformation)을 매우 효율적으로 수행하기 위한 기능을 가지고 있다. 그러나, 입력 메시는 전형적으로 완벽하지 않기 때문에, 그러한 시점 변환은 시프트의 품질 저하가 너무 현저한 결과를 야기할 수 있다. 또한, 시점으로부터의 장면의 표현은 전형적으로 전경 객체가 그것 뒤에 있는 요소들을 차폐하는 다수의 차폐된 요소를 포함할 것이다. 이러한 요소들은 새로운 방향으로부터는 보일 수 있는데, 즉 시점 변화가 탈차폐(de-occlusion)를 야기할 수 있다. 그러나, 입력 텍스처 맵 및 메시는 그러한 경우 이러한 탈차폐된 부분들에 대한 어떠한 정보도 포함하지 않을 것이다. 따라서, 필요한 정보가 이용 가능하지 않기 때문에 그것들은 최적으로 표현될 수 없다.
이러한 이유로, 시점 변환은 종종 상이한 뷰 방향들에 대응하는 복수의 텍스처 맵 및 메시에 기초한다. 실제로, 새로운(보이지 않는) 시점을 합성하기 위해, 다수의 캡처된 메시를 상이한 시점들로부터의 관련 카메라 이미지들(텍스처들)과 결합하는 것이 전형적으로 바람직하거나 심지어 필요하다. 상이한 시점들로부터의 데이터를 결합하는 주된 이유는 하나의 뷰에서는 숨겨지지만(차폐되지만) 다른 뷰에서는 보이는 객체들을 복구하기 위함이다. 이 문제는 종종 시점 보간(view-point interpolation)으로 지칭된다.
그러나, 이에 대한 종래의 접근법들은 여전히 최적이 아닌 경향이 있다.
예를 들어, 새로운 시점을 생성하기 위한 한 가지 접근법은 상이한 시점들로부터 비롯된 메시들을 단일 세계 좌표계로 변환하고 이어서 새로운 카메라 평면 상에 원근 투영을 수행하는 것이다. 이러한 단계들은 표준 그래픽 하드웨어에서 행해질 수 있다. 그러나, 이는 전형적으로 숨겨진 표면들을 올바르게 보여주지 않을 것이다. 구체적으로, 그래픽 하드웨어는 깊이 테스트를 사용하여 단일 픽셀에서 포인트들이 결합될 때 가장 앞에 있는 포인트를 선택한다. 이 접근법은 시점 시프트가 새로운 차폐가 발생하도록 이미지 객체들이 서로에 대해 움직이는 결과를 야기할 수 있는, 즉 새로운 시점에서 원래의 시점으로부터는 차폐되지 않은 2개의 포인트에 대한 차폐가 있을 수 있는 자기 차폐(self-occlusion)를 해결하는 데 사용된다. 그러나, 상이한 이미지들에 적용될 때 이는 오류 또는 저하를 야기할 수 있다. 실제로, 깊이는 전형적으로 그것이 (후광 효과처럼) 전경 객체들을 넘어 확장되도록 선형적으로 보간되며, 가장 앞에 있는 포인트는 종종 전경 객체 옆에 있음으로 인해 차폐될 수 있는 영역들에 대응할 것이다.
깊이 이미지에 기초한 뷰-보간을 위한 기법의 예가 문헌[C.L. Zitnick et.al. "High-quality video view interpolation using a layered representation". SIGGRAPH '04 ACM SIGGRAPH 2004, pp. 600-608]에 제공된다. 높은 품질을 달성하기 위해, 이 기법은 (깊이 전환 주위에서) 주 레이어와 경계 레이어로 구성된 2-레이어 표현을 사용한다. 이들은 알파 매팅(투명도에 대한 설명)을 사용하여 구성되며 양쪽 모두는 렌더 프로세스 동안에 워핑된다(그리고 다른 뷰와 혼합된다). 이 접근법의 결점은 2-레이어 표현을 생성하기 위해 메시를 분리할 필요가 있다는 것이다. 이 프로세스는 깊이 맵에 대한 임계치를 선택하고 깊이 중단에서 대응하는 메시의 삼각형들을 지울 필요가 있다. 임계치를 사용하는 것은 잠재적으로 렌더링에서의 시간적 안정성을 감소시킬 수 있기 때문에 이것은 바람직하지 않다.
따라서, 상이한 시점에 대한 이미지들을 생성하기 위한 개선된 접근법이 유리할 것이고, 특히 증가된 유연성, 증가된 정확성, 감소된 복잡성, 개선된 계산 효율, 기존의 그래픽 처리 접근법과의 개선된 호환성, 개선된 이미지 품질, 개선된 탈차폐 성능, 및/또는 개선된 성능을 가능하게 하는 접근법이 유리할 것이다.
따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.
본 발명의 태양에 따르면, 광 강도 이미지를 생성하는 방법이 제공되며, 본 방법은, 제1 시점으로부터의 장면을 표현하는 제1 텍스처 맵 및 제1 메시를 수신하는 단계; 제2 시점으로부터의 장면을 표현하는 제2 텍스처 맵 및 제2 메시를 수신하는 단계; 제1 텍스처 맵, 제1 메시, 제2 텍스처 맵, 및 제2 메시에 응답하여 제3 시점으로부터의 장면을 표현하는 광 강도 이미지를 결정하는 단계를 포함하며, 광 강도 이미지를 결정하는 단계는, 광 강도 이미지 내의 제1 위치에 대해, 제1 텍스처 맵 및 제1 메시에 기초한 시점 변환에 의해 제1 위치에 대한 제1 광 강도 값을 결정하는 단계; 제2 텍스처 맵 및 제2 메시에 기초한 시점 변환에 의해 제1 위치에 대한 제2 광 강도 값을 결정하는 단계; 제1 광 강도 값과 제2 광 강도 값의 가중된 결합(weighted combination)에 의해 제1 위치에서의 광 강도 이미지에 대한 광 강도 값을 결정하는 단계로서, 가중된 결합에 의한 제2 광 강도 값에 대한 제1 광 강도 값의 가중은, 제1 위치에 대응하는 제2 메시 위치에서의 제2 메시 내의 제2 깊이 변화도(depth gradient)에 대한, 제1 위치에 대응하는 제1 메시 위치에서의 제1 메시 내의 제1 깊이 변화도에 의존하는, 상기 결정 단계를 수행하는 단계를 포함한다.
본 발명은 많은 실시예에서 다른 시점들로부터의 텍스처 맵들 및 메시들에 기초하여 주어진 시점에 대한 광 강도 이미지의 개선된 생성을 제공할 수 있다. 많은 시나리오에서, 입력 시점들 중 하나에 대해서는 탈차폐되지만 다른 것에 대해서는 탈차폐되지 않는 영역들의 개선된 표현이 달성된다. 이 접근법은 특히 많은 실시예에서 전경 객체들의 에지들 주위에서 개선된 품질을 제공할 수 있다.
이 접근법은 다른 접근법들로부터 알려진 메시 홀(mesh hole)들의 생성을 회피할 수 있고, 개선된 깊이 일관성을 제공할 수 있다.
이 접근법의 특별한 이점은 그것이 많은 실시예에서 표준 그래픽 루틴에 의해 면밀하게 지원될 수 있다는 것이다. 예를 들어, 시점 변환은 많은 실시예에서 표준화되고, 전용되고, 최적화된 그래픽 처리 하드웨어에 의해 수행될 수 있다. 예를 들어, 이 접근법은 표준화된 그래픽 프로세스들과 호환 가능할 수 있고, 이들을 효율적으로 활용할 수 있다. 실제로, 이 접근법은 비표준 접근법들을 사용자 적응을 허용하는 렌더링/처리 파이프라인의 부분들로 제한함으로써, 예를 들어 OpenGL 사양과 같은, 그러한 표준화된 접근법들과 호환 가능할 수 있다. 예를 들어 결합은 OpenGL 렌더링 파이프라인의 프래그먼트 셰이더 스테이지(fragment shader stage)의 일부로서 수행될 수 있다.
처리의 자원 집약적 요소들에 대해 표준화된 하드웨어 가속 처리를 사용하는 가능성은 예를 들어 시스템의 속도 또는 용량을 상당히 증가시킬 수 있다. 그것은 많은 실시예에서 복잡성 및/또는 자원 요건을 감소시킬 수 있다.
이 접근법은 그것이 주어진 영역에 대해 더 높은 픽셀 밀도를 갖는 텍스처 맵들을 더 낮은 픽셀 밀도들을 갖는 텍스처 맵들보다 더 높게 자동으로 가중시키도록 결합의 적응을 허용할 수 있다.
일부 실시예들에서, 제1 광 강도 값에 대한 시점 변환은 제1 시점으로부터 제3 시점으로의 메시 시점 변환을 제1 메시에 적용하여 변환된 메시를 생성하는 단계, 제3 시점에 대한 원근 매핑에 응답하여 제1 위치에 대응하는 변환된 메시 내의 위치를 결정하는 단계, 변환된 메시 내의 위치를 포함하는 변환된 메시의 다각형을 결정하는 단계, 및 다각형의 정점들에 링크된 제1 텍스처 맵 내의 광 강도 값들의 보간으로서 제1 광 강도 값을 결정하는 단계를 포함할 수 있다.
다른 실시예들에서는 시점 변환에 대한 다른 접근법들이 사용될 수 있다는 것을 알 것이다.
제1 및/또는 제2 깊이 변화도들은 적절한 메시 내의 대응하는 위치에서의 깊이 변화도의 지시(indication)를 제공하는 임의의 값 또는 파라미터에 의해 표현될 수 있다.
일부 실시예들에서, 결합은 다른 시점들에 대한 텍스처 맵들 및 메시들로부터 도출된 추가적인 광 강도 값들을 포함할 수 있다.
메시는 각각의 정점이 삼차원 위치와 관련되는(삼차원 위치를 갖는) 삼차원 메시일 수 있다. 각각의 정점은 구체적으로 적어도 삼차원 공간 위치 x, y, z에 의해 표현될 수 있다. 메시의 각각의 정점은 추가로 대응하는 텍스처 맵 내의 위치와 링크될 수 있다. 예를 들어, 각각의 정점에 대해, 공간 위치 x, y, z에 대응하는 텍스처 맵 내의 위치 u,v가 저장될 수 있다.
메시는 표현된 객체들의 깊이들에 관한 정보를 포함할 수 있지만 그것으로 제한되지 않는다(예를 들어, 설명된 바와 같이, 정점들은 단지 깊이 좌표에 의해서보다는 삼차원 좌표들에 의해 표현될 수 있다).
제1 위치에 대응하는 입력 시점에 대한 입력 메시 내의 메시 위치는 시점 변환에 의해 제1 위치로 변환될 입력 메시 내의 위치일 수 있다. 동등하게, 제1 위치에 대응하는 입력 시점에 대한 입력 메시 내의 메시 위치는 시점 변환에 의해 제1 위치로 변환될 텍스처 맵 내의 위치에 링크되는 입력 메시 내의 위치일 수 있다.
구체적으로, 제1 메시 위치는 시점 변환에 의해 제1 위치로 변환/매핑될 제1 메시 내의 위치일 수 있다(또는 유사하게 제1 메시 위치는 시점 변환에 의해 제1 위치로 변환/매핑될 제1 텍스처 맵 내의 위치에 링크되는 제1 메시 내의 위치일 수 있다). 유사하게, 제2 메시 위치는 시점 변환에 의해 제1 위치로 변환/매핑될 제2 메시 내의 위치일 수 있다(또는 유사하게 제2 메시 위치는 시점 변환에 의해 제1 위치로 변환/매핑될 제2 텍스처 맵 내의 위치에 링크되는 제2 메시 내의 위치일 수 있다).
가중된 결합은 제2 광 강도 값의 가중치에 대해 상대적으로 제2 깊이 변화도에 대한 제1 깊이 변화도에 의존하는 가중치를 제1 광 강도 값에 적용할 수 있다.
깊이는 예를 들어 디스패리티에 의해 표현될 수 있는데, 예를 들어 깊이 맵은 디스패리티 맵의 지시일 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 광 강도 값에 대한 제1 광 강도 값의 가중은 제1 깊이 변화도의 절대값의 단조 감소 함수(monotonically decreasing function)이다.
이는 개선된 성능을 제공할 수 있고, 특히 많은 시나리오에서 입력 텍스처 맵들에서 차폐된 값들보다는 차폐되지 않은 값들을 표현하는 광 강도 값들을 향해 결합을 편향시킬 수 있다.
일부 실시예들에서, 제2 광 강도 값의 가중은 동시에 제2 깊이 변화도의 절대값의 단조 감소 함수일 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 광 강도 값에 대한 제1 광 강도 값의 가중은 제2 깊이 변화도의 절대값의 단조 증가 함수(monotonically increasing function)이다.
이는 개선된 성능을 제공할 수 있고, 특히 많은 시나리오에서 입력 텍스처 맵들에서 차폐된 값들보다는 차폐되지 않은 값들을 표현하는 광 강도 값들을 향해 결합을 편향시킬 수 있다.
일부 실시예들에서, 제2 광 강도 값의 가중은 동시에 제1 깊이 변화도의 절대값의 단조 증가 함수일 수 있다.
본 발명의 선택적인 특징에 따르면, 본 방법은 제1 메시의 적어도 일부 정점들에 대한 깊이 변화도들을 결정하는 단계; 및 적어도 일부 정점들에 대한 깊이 변화도들에 응답하여 제1 깊이 변화도를 결정하는 단계를 추가로 포함한다.
이는 많은 실시예에서 고성능을 가진 특히 효율적인 구현을 제공할 수 있다.
어구 "절대값"은 추가로 "크기(magnitude)"로 나타내어질 것이다.
본 발명의 선택적인 특징에 따르면, 깊이 변화도들을 결정하는 단계는, 제1 메시의 적어도 일부 정점들 중의 정점에 대한 깊이 변화도를, 정점의 깊이, 제1 메시의 적어도 하나의 다른 정점의 깊이, 및 정점과 적어도 하나의 다른 정점 사이의 거리에 응답하여 결정하는 단계를 포함한다.
이는 많은 실시예에서 고성능을 가진 특히 효율적인 구현을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 깊이 변화도들을 결정하는 단계는, 제1 메시의 적어도 일부 정점들 중의 정점에 대한 깊이 변화도를, 정점으로부터 복수의 이웃하는 정점들까지의 깊이 변화도들에 응답하여 결정하는 단계를 포함한다.
이는 많은 실시예에서 고성능을 가진 특히 효율적인 구현을 제공할 수 있다. 그것은 특히 주어진 정점으로부터 임의의 방향에서의 깊이 전환들의 개선된 검출을 가능하게 할 수 있다. 깊이 변화도는 예를 들어 제1 정점으로부터 복수의 이웃하는 정점들까지의 깊이 변화도들의 평균화 또는 최대로서 결정될 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 텍스처 맵에 대한 깊이 맵 내의 깊이 변화들에 응답하여 제1 깊이 변화도를 결정하는 단계를 추가로 포함한다.
이는 많은 실시예에서 고성능을 가진 특히 효율적인 구현을 제공할 수 있다. 그것은 특히 적합한 깊이 변화도들의 더 낮은 복잡성 결정을 가능하게 할 수 있다. 깊이 맵은 예를 들어 메시를 생성하는 데 사용되는 깊이 맵(구체적으로 디스패리티 맵을 포함함)일 수 있다. 깊이 맵은 예를 들어 장면을 캡처하고 텍스처 맵으로서 사용될 수 있는 이미지와 관련하여 깊이 맵을 생성하는 카메라에 의해 제공된 원래의 깊이 맵일 수 있다.
본 발명의 선택적인 특징에 따르면, 본 방법은 제1 텍스처 맵에 대한 깊이 변화도 맵을 결정하는 단계; 깊이 변화도에 시점 변환을 적용하여 시점 변환된 깊이 변화도 맵을 생성하는 단계; 및 제1 위치에 대응하는 시점 변환된 깊이 변화도 맵 내의 위치에서의 깊이 변화도에 응답하여 제1 깊이 변화도를 결정하는 단계를 추가로 포함한다.
이는 특히 효율적인 동작을 제공할 수 있고, 자원 요건을 감소시키고/시키거나 처리 속도를 상당히 증가시킬 수 있다. 특히, 그것은 많은 실시예에서 표준화된 하드웨어 가속이 프로세스의 자원 중요 요소들에 대해 사용될 수 있게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 본 방법은 깊이 변화도들에 응답하여 가중된 결합에 대한 가중치들을 포함하는 가중치 맵을 결정하는 단계; 가중치 맵에 시점 변환을 적용하여 시점 변환된 가중치 맵을 생성하는 단계; 및 시점 변환된 깊이 변화도 맵 내의 제1 위치에서의 가중치에 응답하여 가중된 결합에 대한 가중치를 결정하는 단계를 추가로 포함한다.
이는 많은 실시예에서 고성능을 가진 특히 효율적인 구현을 제공할 수 있다. 그것은 특히 효율적인 동작을 제공할 수 있고, 자원 요건을 감소시키고/시키거나 처리 속도를 상당히 증가시킬 수 있다. 특히, 그것은 많은 실시예에서 표준화된 하드웨어 가속이 프로세스의 자원 중요 요소들에 대해 사용될 수 있게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 텍스처 맵, 제2 텍스처 맵, 및 깊이 변화도 맵과 가중치 맵 중 적어도 하나에 대한 시점 변환들은 동일한 시점 변환이다.
이 접근법은 동일한 최적화된 기능(이를테면 예를 들어 GPU)이 처리의 자원 중요 요소들에 대해 재사용될 수 있는 극히 효율적이고 낮은 복잡성의 동작을 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 텍스처 맵 및 제1 메시는 실제 장면의 캡처로부터 생성된다.
이 접근법은 실제 장면의 캡처를 위한 새로운 시점들에 대한 이미지들의 높은 성능의 효율적인 결정을 가능하게 할 수 있으며, 예를 들어 가상 현실 그래픽 엔진에 의해 제공되는 이미지들로 제한되지 않는다.
본 발명의 선택적인 특징에 따르면, 가중은 추가로 제1 시점과 제3 시점 사이의 차이에 의존한다.
이는 많은 실시예에서 성능을 개선할 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 광 강도 값에 대한 제1 광 강도 값의 가중은 추가로 제1 깊이 맵에서 제1 메시 위치에서의 깊이를 결정하는 데 사용되는 깊이 추정의 신뢰도를 나타내는 신뢰도 지시(reliability indication)에 의존하고, 제2 광 강도 값에 대한 제1 광 강도 값의 가중은 깊이 추정의 증가하는 신뢰도를 나타내는 신뢰도 지시에 대해 증가한다.
이는 많은 실시예에서 성능을 개선할 수 있다.
본 발명의 태양에 따르면, 광 강도 이미지를 생성하기 위한 장치가 제공되며, 본 장치는, 제1 시점으로부터의 장면을 표현하는 제1 텍스처 맵 및 제1 메시를 수신하기 위한 수신기; 제2 시점으로부터의 장면을 표현하는 제2 텍스처 맵 및 제2 메시를 수신하기 위한 수신기; 제1 텍스처 맵, 제1 메시, 제2 텍스처 맵, 및 제2 메시에 응답하여 제3 시점으로부터의 장면을 표현하는 광 강도 이미지를 생성하기 위한 이미지 생성기를 포함하며, 이미지 생성기는, 제1 텍스처 맵 및 제1 메시에 기초한 시점 변환에 의해 광 강도 이미지 내의 제1 위치에 대한 제1 광 강도 값을 결정하기 위한 제1 시점 변환기; 제2 텍스처 맵 및 제2 메시에 기초한 시점 변환에 의해 제1 위치에 대한 제2 광 강도 값을 결정하기 위한 제2 시점 변환기; 제1 광 강도 값과 제2 광 강도 값의 가중된 결합에 의해 제1 위치에서의 광 강도 이미지에 대한 광 강도 값을 결정하기 위한 결합기(combiner)로서, 가중된 결합의 가중은 제1 위치에 대응하는 제2 메시 위치에서의 제2 메시 내의 제2 깊이 변화도에 대한, 제1 위치에 대응하는 제1 메시 위치에서의 제1 메시 내의 제1 깊이 변화도에 의존하는, 상기 결합기를 포함한다.
본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.
본 발명의 실시예들이 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 하나의 배경 객체 및 전경 객체를 갖는 장면에 대한 시점 변환의 예를 예시한다.
도 2는 본 발명의 일부 실시예들에 따른 이미지를 생성하기 위한 장치의 요소들의 예를 예시한다.
도 3은 본 발명의 일부 실시예들에 따른 이미지를 생성하기 위한 방법의 요소들의 예를 예시한다.
도 4는 본 발명의 일부 실시예들에 따른 이미지를 생성하기 위한 방법의 요소들의 예를 예시한다.
도 5는 하나의 배경 객체 및 전경 객체를 갖는 장면에 대한 시점 변환의 예를 예시한다.
도 6은 상이한 시점들에 대한 깊이 변화도들의 예를 예시한다.
도 7은 메시에 대한 시점 변환의 예를 예시한다.
다음의 설명은 상이한 시점들(즉, 상이한 카메라 뷰들)로부터 실제 삼차원 장면을 캡처하는 것으로부터 생성된 텍스처 맵들 및 메시들에 기초한 이차원 이미지의 렌더링에 적용 가능한 본 발명의 실시예들에 초점을 맞추고 있다. 그러나, 본 발명은 이러한 응용으로 제한되지 않으며, 예를 들어 가상 현실 장면에 대한 컴퓨터로 생성된 깊이 맵들 및 메시들에 기초한 이미지들의 생성에 적용될 수 있다는 것을 알 것이다.
많은 3D 이미지(비디오 포함) 처리 알고리즘 및 프로세스가 삼각형 메시들의 사용에 기초하는데, 왜냐하면 이것이 많은 실시예에서 높은 계산 효율을 제공할 수 있기 때문이다. 삼차원 정보를 관련 텍스처 맵과 함께 제공하는 깊이 메시들이 많은 그래픽 처리 시스템들에서, 예컨대 구체적으로 컴퓨터 그래픽에서 널리 사용된다. 메시는 깊이 정보를 포함하는 기하학적 구조의 정보를 제공할 수 있다(그러나 물론 깊이 정보만을 제공하는 것으로 제한되는 것은 아니고, 예를 들어 그것은 전형적으로 각각의 정점에 대한 삼차원 좌표를 제공할 수 있다). 간결성을 위해, 메시와 그의 관련된 텍스처 맵의 결합은 이하에서 메시 이미지로 또한 지칭될 것이다.
이 접근법은 장면을 렌더링할 때 뷰 방향들을 유연하게 수정하는 데 매우 적합하고, 시점이 엄격한 수평선에서의 움직임으로 제한되지 않고 오히려 시점의 자유로운 움직임이 요구되는 시나리오들에 특히 적합하다. 새로운 시점을 생성하는 효율적인 방법은 상이한 시점들로부터 비롯된 메시들을 단일 세계 좌표계로 변환하고 이어서 새로운 카메라 평면 상에 원근 투영을 수행하는 것이다. 이러한 단계들은 OpenGL 표준에 기초한 하드웨어와 같은 표준 최적화된 그래픽 하드웨어를 사용하여 매우 효율적으로 행해질 수 있다. 그러나, 시점 변환에 의해 탈차폐되고 있는 영역에 대해 추가적인 정보를 제공하고 품질을 최적화하기 위해, 새로운 시점으로부터의 렌더링 이미지의 생성은 바람직하게는 복수의 상이한 시점에 대해 제공되는 텍스처 맵들 및 메시들에 기초한다.
본 발명자는 이것이 종종 아티팩트(artefact)를 가진 최적 미달의 결과로, 그리고 구체적으로는 깊이 왜곡 및 탈차폐된 영역들의 옳지 않은 채움으로 이어질 수 있다는 것을 깨달았다.
이것은 하나의 배경 객체 앞에 하나의 전경 객체가 있는 예를 예시하는 도 1에 의해 예시될 수 있다. 예들에서, 각각의 포인트/도트는 정점에 의해 표현될 수 있는 장면 위치에 대응하는 것으로 간주될 수 있고, 전형적으로 도트는 픽셀 및 실제로 메시의 정점을 표현할 수 있다. 도 1은 제1 시점 1에 대해 그리고 제2 시점 2에 대해 메시 이미지가 제공되는 예를 예시한다. 이러한 메시 이미지들에 기초하여, 제1 시점 1과 제2 시점 2 사이의 제3 시점 3에 대해 이차원 이미지가 생성된다. 따라서, 이 예에서, 제1 및 제2 시점 1,2는 장면을 캡처할 때의 카메라 시점들에 대응하고 시점 3은 장면에 대한 원하는 시점에 대응한다. 이미지는 렌더링을 위해 생성된 광 강도 이미지이다. 그것은 디스플레이에 의해 렌더링/디스플레이될 이미지의 개별 픽셀들에 대한 광 강도 값을 직접 반영할 수 있다.
광 강도 값들은 광 강도를 나타내는 임의의 값일 수 있고, 구체적으로 예를 들어 하나의 컬러 채널에 대한 광 강도일 수 있다는 것을 알 것이다. 예를 들어, 광 강도 값은 RGB 표현의 R, G 또는 B 값일 수 있거나, 예를 들어 Yuv 표현의 Y 값일 수 있거나, 실제로 그러한 Yuv 표현의 u 또는 v 값일 수 있다. u 및 v 값들은 크로마 값들일 수 있고 이들은 또한 렌더링할 때 개별 컬러 채널들의 광 강도에 관한 정보를 제공한다는 점에 유의한다. 따라서, 광 강도 값은 컬러 표현의 휘도, 색차, 또는 실제로 크로마 값일 수 있다.
도 1에서, 첫 번째 도면은 흑색(솔리드) 도트들에 의해 시점 1로부터 보이는 위치들을 예시하고 전경 객체에 의해 차폐되는 배경 객체 상의 위치들은 백색(논-솔리드) 도트들에 의해 예시되어 있다. 두 번째 도면은 시점 2로부터의 대응하는 상황을 예시한다. 따라서, 처음 2개의 하위 도면들은 2개의 상이한 카메라 시점 1 및 2에 대한 장면 포인트들의 가시성을 보여준다.
세 번째 하위 도면은 시점 1 및 2로부터의 메시들과 텍스처들을 결합하고 이들을 시점 3으로 워핑(시점 변환)한 결과를 예시한다. 시점 2로부터 비롯된 메시는 로컬로 늘려지고 갭이 형성된다(배경 객체의 일부의 탈차폐에 대응함). 갭의 깊이는 가상 시점 3으로 투영된 후에 상이한 깊이를 갖는 포인트들 사이에서 선형적으로 보간된다. 회색 원들은 시점 2로부터 비롯되는, 그리고 시점 3의 카메라 좌표에서 장면을 투영할 때 메시 내의 알려진 3D 포인트들 사이에서 선형적으로 보간되는 포인트들을 표현한다. 따라서, 회색 도트들/포인트들은 시점 2로부터 시점 3으로의 시점 변환에 기인하는 탈차폐 후에 시점 3으로부터의 이미지 내의 위치들에 대응하도록 생성되는 깊이 위치들을 나타낸다. 이러한 포인트들은 시점 1로부터 보이는 배경 객체 상의 포인트들을 표현하는 그들 뒤에 있는 흑색 포인트들보다 시점 3에 더 가까이 위치한다.
그러나, 시점 2에 대한 이미지를 생성할 때, 전형적인 접근법은 가장 앞에 있는 위치를 선택하는 것이다. 따라서, 시점 1로부터 비롯된, 그리고 그로부터 보이는 흑색 포인트들을 이상적으로 선택하기보다는, 시스템은 시점 2로부터 비롯된 회색 포인트들을 선택할 것이다. 따라서, 광 강도 이미지 값은 이러한 포인트들에서 시점 1의 텍스처 맵에 기초하기보다는 시점 2의 텍스처 맵에 기초하여 생성될 것이다. 이는 탈차폐된 영역에 대한 이미지가, 객체가 차폐되지 않았던 텍스처 맵 대신에, 대응하는 객체가 차폐되었던 텍스처 맵으로부터 결정되는 결과를 야기할 것이다. 결과적으로, 생성된 이미지의 품질은 저하되고 전형적으로 탈차폐된 영역의 요소들은 적절한 정보가 실제로 프로세스에 이용 가능함에도 불구하고 정확히 프레젠테이션되지 않는다.
표준화된 하드웨어에서 사용된 바와 같은 깊이 테스트 로직을 수정하는 것이 가능하지만, 이는 주어진 렌더 호출(render call)에 대해서만 행해질 수 있다는 점에 유의해야 한다. 따라서 임계치를 사용하는 것에 대한 전술된 불리한 점이 있는 부분들에서 다시 메시를 분할하는 것이 필요할 것이다. 표준 깊이 테스트는 별도의 시점으로부터의 메시가 그 자체에 접힐 수 있는(자기 차폐) 자기 차폐를 다루는 처리의 일부이며, 그 깊이 테스트는 결과적인 모호성을 해결하는 데 사용된다.
이하에서, 상이한 시점들에 대한 복수의 메시 및 관련 텍스처 맵으로부터 광 강도 이미지를 생성하기 위한 장치 및 방법이, 그러한 장치의 일부 예시적인 요소들을 예시하는 도 2, 및 그러한 방법의 일부 예시적인 요소들을 예시하는 도 3을 참조하여 설명될 것이다.
도 2 및 도 3의 장치 및 방법의 접근법은 설명된 불리한 점들 중 일부를 완화하려고 한다. 구체적으로, 가장 앞에 있는 포인트를 선택하기보다는, 시스템은 가중이 2개의 메시 내의 대응하는 깊이 변화도들에 의존하는 양쪽 텍스처 맵들의 값들의 가중된 결합에 기초하여 출력 이미지에 대한 광 강도 값을 생성하도록 배열된다.
이 장치는 제1 메시 이미지가 수신되는, 즉 제1 메시 및 제1 텍스처 맵이 수신되는 단계 301을 수행하는 제1 수신기(201)를 포함한다. 제1 메시 이미지는 주어진 시점으로부터의 장면을 표현한다.
메시 이미지는 임의의 내부 또는 외부 소스로부터 수신될 수 있다. 예를 들어, 일부 실시예들에서, 메시 이미지는 외부 소스로부터, 예를 들어 통신 시스템을 통해, 또는 구체적으로 예를 들어 인터넷과 같은 네트워크를 통해 수신될 수 있다. 일부 실시예들에서, 메시 이미지는 적합한 배포 매체를 판독하도록 동작 가능한 내부 소스로부터 수신될 수 있는데, 예를 들어 메시 이미지는 DVD로부터 추출될 수 있다. 일부 실시예들에서, 메시 이미지는 예를 들어 하드 디스크 또는 로컬 메모리로부터 추출될 수 있거나, 실제로 일부 실시예들에서 메시 이미지는 예를 들어 로컬 가상 현실 애플리케이션에 의해 로컬로 생성될 수 있다.
많은 실시예에서, 제1 텍스처 맵 및 제1 메시는 실제 장면의 캡처로부터 생성될 수 있다. 캡처는 적합한 카메라 세트에 의해 이루어질 수 있다. 예를 들어, 단일 스테레오 카메라 또는 레인지 카메라가 실제 장면을 캡처하고 이미지 및 깊이(/디스패리티) 맵을 생성할 수 있다. 다른 실시예들에서, 상이한 위치들에 있는 복수의 카메라가 이차원 이미지를 캡처할 수 있고, 깊이 맵이 캡처된 이미지들로부터, 예를 들어 디스패리티 추정에 의해 생성될 수 있다. 이미지들 중 하나는 텍스처 맵으로서 사용될 수 있고 대응하는 깊이 맵으로부터 메시가 생성될 수 있다. 따라서, 메시 이미지는 주어진 시점에서 카메라에 의해 캡처된 광 강도 값들을 표현하는 텍스처 맵을 갖는, 그리고 메시에 의해 표현되는 캡처된 깊이 정보를 갖는 실제 장면의 캡처를 제공하는 이미지일 수 있다. 따라서, 메시 이미지는 그것이 주어진 시점으로부터 결정될 수 있는 정보만을 표현하기 때문에 장면에 대한 제한된 정보를 제공한다(예를 들어 로컬 가상 현실 엔진의 경우에 그럴 수 있는 바와 같이 예를 들어 상세한 기하학적 모델이 이용 가능한 것과는 대조적으로).
이 장치는 그것이 제2 메시 이미지를 수신하는, 즉 그것이 제2 텍스처 맵 및 제2 메시를 수신하는 단계 303을 수행하는 제2 수신기(203)를 추가로 포함한다. 제2 메시 이미지는 동일한 장면의, 그러나 상이한 시점으로부터의 표현을 제공한다. 제1 메시 이미지와 관련하여 제공된 코멘트가 제2 메시 이미지에 동등하게 적용된다는 것을 알 것이다.
제1 수신기(201) 및 제2 수신기(203)는 단계 305를 수행하는 이미지 생성기(205)에 연결되고, 여기서 제3 시점으로부터의 장면을 표현하는 광 강도 이미지가 제1 텍스처 맵, 제1 메시, 제2 텍스처 맵, 및 제2 메시에 응답하여 생성된다. 따라서, 각각 제1 및 제2 시점에 대한 제1 및 제2 메시 이미지에 기초하여, 제3 시점에 대해 이미지가 생성된다. 제1 및 제2 시점은 전형적으로 장면에 대한 카메라 시점들일 수 있으며, 제3 시점은 원하는 시점을 표현한다. 이미지는 광 강도 이미지이며, 구체적으로 제3 시점으로부터의 장면의 뷰를 제공하기 위해 디스플레이 상에 직접 프레젠테이션될 수 있는 이미지에 대응할 수 있다. 구체적으로, 광 강도 이미지는 광 강도 값들의 세트를 포함할 수 있으며, 각각의 광 강도 값은 이미지의 위치에서의 광 강도를 나타낸다. 전형적으로, 이미지는 각각의 픽셀이 하나 이상의 광 강도 값을 갖는 픽셀들의 세트를 포함할 수 있다. 따라서, 각각의 광 강도 값은 픽셀 값에 대응할 수 있다.
일부 실시예들에서, 각각의 위치(픽셀)는 단일 광 강도 값과 관련/그에 의해 기술/그에 의해 정의될 수 있다는 것을 알 것이다. 이것은 예를 들어 흑백 이미지의 경우에 그러할 수 있다. 다른 실시예들에서, 각각의 위치(픽셀)는 예를 들어 컬러 표현의 각각의 채널에 대한 하나의 광 강도 값과 같은, 복수의 광 강도 값과 관련/그에 의해 기술/그에 의해 정의될 수 있다. 따라서, 광 강도 값들은 컬러 강도 값들로 간주될 수 있고 광 강도 이미지는 컬러 강도 이미지일 수 있다. 복수의 각각의 픽셀이 예를 들어 상이한 컬러 채널들에 대응하는 것과 같은 복수의 광 강도 값에 의해 표현되는 경우, 설명된 접근법은 예를 들어 각각의 컬러 채널 광 강도 값에 개별적으로 적용될 수 있다.
따라서 이미지 생성기(205)는 상이한 시점들에 대한 이미지들을 생성하도록 배열된다. 예를 들어, 일부 실시예들에서, 이미지 생성기(205)는 예를 들어 사용자 입력에 응답하여 생성된 원하는 시점을 정의하는 입력을 제공받을 수 있다. 이어서 이미지 생성기(205)는 수신된 메시 이미지들에 기초하여 그 시점에 대응하는 출력 디스플레이 이미지를 생성할 수 있다. 이어서 이 이미지는 예를 들어 적합한 디스플레이에 의해 렌더링될 수 있다.
이미지 생성기(205)의 동작이 이미지 생성기(205)의 접근법의 예를 예시하는 도 2 및 도 4를 참조하여 더 상세히 설명될 것이다.
이미지 생성기(205)는 제1 메시 이미지에 시점 변환이 적용되는 단계 401을 수행하는 제1 시점 변환기(207)를 포함하며, 시점 변환은 제1 시점으로부터 제3 시점으로의 시점 변환을 제공한다. 구체적으로, 광 강도 이미지 내의 제1 위치(전형적으로 픽셀 위치)에 대해, 제1 시점 변환기(207)는 제1 시점으로부터 제3 시점으로의 시점 변환에 기초하여 광 강도 값을 결정하며, 여기서 시점 변환은 제1 텍스처 맵 및 제1 메시에 기초한다.
유사하게, 이미지 생성기(205)는 제2 메시 이미지에 시점 변환이 적용되는 단계 403을 수행하는 제2 시점 변환기(209)를 포함하며, 시점 변환은 제2 시점으로부터 제3 시점으로의 시점 변환을 제공한다. 구체적으로, 광 강도 이미지 내의 제1 위치(전형적으로 픽셀 위치)에 대해, 제2 시점 변환기(209)는 제2 시점으로부터 제3 시점으로의 시점 변환에 기초하여 제2 광 강도 값을 결정하며, 여기서 시점 변환은 제2 텍스처 맵 및 제2 메시에 기초한다.
텍스처 맵 및 메시에 기초한 시점 변환에 대해 많은 상이한 접근법이 알려져 있고, 본 발명으로부터 벗어남이 없이 임의의 적합한 접근법이 사용될 수 있다는 것을 알 것이다.
많은 실시예에서, 시점 변환은 유리하게도 먼저 입력 시점으로부터 출력 시점으로의 메시 시점 변환을 메시에 적용하는 것을 포함할 수 있다. 당업자는 그렇게 하기 위한 다양한 접근법을 알고 있을 것이고 따라서 이들은 더 상세히 설명되지 않을 것이다.
제3 시점에 대한 출력 이미지 내의 주어진 위치에 대한 광 강도 값을 결정할 때, 이미지 생성기(205)는 이어서 주어진 위치에 대응하는 변환된 메시 내의 위치를 결정할 수 있다. 이것은 당업자에게 알려질 바와 같이 제3 시점으로부터의 원근 투영에 응답하여 행해질 수 있다.
이어서 이미지 생성기(205)는 메시 위치가 속하는 다각형의 정점들의 텍스처 맵 값들을 보간함으로써 광 강도 값을 결정할 수 있다. 보간은 개별 정점들까지의 메시 위치의 거리에 의존할 수 있다.
예를 들어, 변환 전의 원래의 메시에서, 각각의 정점은 현재 시점에 기초하여 좌표계에서 관련 위치를 가질 수 있다(예를 들어, 각각의 정점에 대해 x, y, z 좌표가 정의됨). 또한, 각각의 정점은 대응하는 텍스처 맵 내의 특정 광 강도 값/픽셀 값을 가리킬 것인데, 즉 이차원 텍스처 맵 좌표(u,v)의 세트가 또한 각각의 정점에 대해 저장된다.
메시의 시점 변환은 x, y, z 값들이 제3 시점의 좌표계에서의 적절한 좌표로 변환되도록 정점 위치들의 수정을 야기한다. 광 강도 이미지 내의 제1 위치에 대응하는 메시 상의 포인트가 결정될 것이고, 이것이 속하는 다각형의 정점들이 식별될 것이다. 그 포인트로부터 정점들 각각까지의 거리가 결정될 것이고 각각의 정점에 대해 정점의 u,v 위치에서의 텍스처 맵의 광 강도 이미지가 결정된다. 이어서 이러한 텍스처 맵 값들의 가중된 보간에 의해 제1 위치에 대한 광 강도 값이 결정되며, 가중치들은 개별 정점까지의 거리들에 의존한다.
다른 예로서 시점 변환은 다음과 같이 수행될 수 있다:
1. 원근 투영을 사용하여 3D 삼각형 메시를 출력 이미지에 대한 시점(즉, 제3 시점)에 투영한다
2. 출력 이미지 내의 각각의 2D 픽셀 위치에 대해:
a. 그것이 어느 메시 다각형에 속하는지를 결정한다;
b. 3D 삼각형 정점 좌표 및 선형 보간을 사용하여 메시의 원래의 좌표계에서의 그의 3D 위치를 결정한다;
c. 삼각형 정점들의 (u,v) 텍스처 좌표들 및 선형 보간을 사용하여 입력 텍스처 맵 내의 (u,v) 텍스처 좌표를 결정한다;
d. 출력 이미지의 픽셀 값을 텍스처 맵의 위치 (u,v)에서의 텍스처 값이도록 설정한다.
다른 실시예들에서는 다른 시점 변환들이 사용될 수 있다는 것을 알 것이다.
따라서, 시점 변환들에 기초하여, 제1 시점 변환기(207) 및 제2 시점 변환기(209)는 제3 시점에 대응하는 출력 이미지를 생성한다. 그러나, 시점 변환으로 인해, 이미지들의 일부 영역들은 탈차폐된 영역들을 가질 수 있다. 그러나, 이들은 종종 상이한 이미지들에 대해 상이할 것이다.
제1 시점 변환기(207) 및 제2 시점 변환기(209)는, 2개의 시점 변환기(207, 209)로부터의 이미지들을 결합함으로써 광 강도 이미지에 대한 출력 광 강도 값이 생성되는 단계 407을 수행하는 결합기(211)에 연결된다. 구체적으로, 출력 이미지 내의 주어진 (픽셀) 위치에 대해, 결합기(211)는 제1 시점 변환기(207)에 의해 생성된 이미지 내의 위치에서의 제1 광 강도 값과 제2 시점 변환기(209)에 의해 생성된 이미지 내의 그 위치에서의 제2 광 강도 값의 가중된 결합을 적용한다.
가중된 결합의 가중은 메시들 내의 대응하는 위치들에 대한 상대적 깊이 변화도에 의존한다. 구체적으로, 가중은 제1 위치에 대응하는 메시 위치에서의 제2 메시 내의 깊이 변화도 지시에 대한, 제1 위치에 대응하는 메시 위치에서의 제1 메시 내의 깊이 변화도 지시에 의존한다. 따라서, 가중은 그 위치에서의 상대적 깊이 변화도들에 의존한다. 깊이 변화도들은 상이한 실시예들에서 상이한 방식들로 결정될 수 있고 깊이 변화도의 값 또는 크기의 임의의 지시는 그 깊이 변화도의 표현으로 간주될 수 있다는 것을 알 것이다. 예를 들어, 일부 실시예들에서, 깊이 변화도는 단순히 깊이 변화도가 임계치 위 또는 아래에 있음을 지시하는 이진 값에 의해 표현될 수 있다.
결합기(211)는 구체적으로 증가하는 변화도들에 대해 가중치를 감소시킬 수 있다. 예를 들어, 많은 실시예에서, 제1 시점 변환기(207)로부터의 제1 광 강도 값의 가중은 제1 메시 내의 변화도의 크기의 단조 감소 함수일 수 있다. 동등하게, 제1 시점 변환기(207)로부터의 제1 광 강도 값의 가중은 제2 메시 내의 변화도의 크기의 단조 증가 함수일 수 있다. 동일한 것이 제2 시점 변환기(209)로부터의 제2 광 강도 값의 가중에 대칭적으로 적용 가능할 수 있다. 각각의 텍스처의 가중은 구체적으로 각각의 텍스처와 관련되는 깊이/디스패리티 맵 또는 메시 내의 로컬 변화도 크기에 반비례할 수 있다.
따라서, 출력 광 값은 단지 가장 앞에 있는 포인트로서 선택되지 않고 오히려 깊이 변화도들(이미지 내의 깊이의 변화율)에 기초한 점진적인 결합이 수행된다. 따라서 이 접근법은 구체적으로 깊이 전환들과 같은 높은 깊이 변화들이 있는 영역들로부터 멀리 편향되면서 더 편평한 영역들에 대한 광 강도 값들을 향해 편향된다.
본 발명자는 그러한 깊이 변화도 기반 적응 가중된 결합이 많은 시나리오에서 개선된 이미지를 제공할 수 있고, 전형적으로 상당히 개선된 성능 및 이미지 품질을 제공할 수 있다는 것을 깨달았다.
그 효과가 도 1의 예에 대응하는 도 5의 예와 관련하여 예시될 수 있다.
이 예에서, 깊이 변화도의 매우 간단한 지시가 사용되며, 여기서 깊이 변화도 크기가 임계치를 초과하는 위치들에 1의 값이 할당되는 반면 그 외에는 0의 값이 할당된다. 도 5의 a 및 b는 각각 시점 1 및 2에 대해 0(일정한 영역에서) 또는 1(깊이 점프 주위에서)의 변화도 크기 값들을 예시한다. 도 5의 c는 제3 시점으로의 워핑/시점 변환 후의 결과를 예시한다. 다시, 회색 도트들은 보간에 의해 도출된 값들을 지시한다.
출력 광 강도 이미지 내의 주어진 위치에 대해, 즉 시점 3으로부터의 주어진 원근 라인에 대해, 출력 광 강도 값은 이제 2개의 생성된 이미지 내의 대응하는 광 강도 값들의 가중된 결합으로서 결정된다. 더 낮은 깊이 변화도 크기를 갖는 이미지는 더 높게 가중될 것이고 이에 따라 이 예에서, 앞에 있는 회색 도트들 뒤에 있는 편평한 흑색 도트들은 더 높게, 그리고 전형적으로 훨씬 더 높게 가중될 것이다. 따라서, 출력 값은 주로 보간된 탈차폐된 값에 의해서보다는 배경 객체의 실제 정보를 포함하는 이미지의 값에 의해 주어질 것이다. 이 접근법은 매우 상당한 개선을 제공하고 특히 탈차폐된 영역들에서 상당히 개선된 품질을 제공하는 것으로 밝혀졌다.
상이한 실시예들에서 상이한 가중된 결합들이 사용될 수 있다는 것을 알 것이다. 특정 예로서, 가중된 선형 결합이 사용될 수 있다. 예를 들어, 제3 시점에 대한 출력 이미지 내의 각각의 픽셀에 대해, 다음 결합이 수행될 수 있다:
Figure pct00001
물결표 ~는 대응하는 변수가 시점 변환을 통해 제3 시점의 출력 좌표계/그리드로 변환되었음을 표시한다. 변수들이 물결표 없이 표시될 때 이들은 여전히 묵시적으로 원래의 좌표로 표현된다. 이전 결합에 대한 대안으로서, 가중은 다음과 같이 수행될 수 있으며:
Figure pct00002
여기서 F는 고정 분수이고
Figure pct00003
1;2,max는 양쪽 가중치가 취할 수 있는 최대값이다. 분수 F는 전형적으로 0.1 내지 0.3의 범위이고 바람직하게는 0.3보다 0.1에 더 가깝다.
이 경우 제1 시점이 낮은 신뢰도를 갖는 공간 위치들에 대해서만 가중이 수행된다. 이는 제1 시점이 정확한(높은 가중치 값
Figure pct00004
1) 영역에서, 워핑된 제1 및 제2 시점의 완벽하지 않은 텍스처 정렬로 인해 이미지 품질이 저하되지 않는다는 이점을 갖는다.
이전 방정식들에서의 가중치들은 원래의 메시 이미지 내의 로컬 변화도 크기에 의존한다:
Figure pct00005
함수 f 는 전형적으로 변화도 크기의 단조 감소 함수인데, 즉 큰 변화도 크기는 블렌딩 동작(blending operation)에서 대응하는 텍스처에 대한 작은 가중치를 야기한다.
도 5에서의 데이터에 대한 예로서, f 는 다음에 의해 주어질 수 있다:
f = e -10 g
변화도 크기 g = 0이면 가중치는 1일 것이다. 변화도 크기 g = 1이면 가중치는 4.54· 10-5일 것이다.
예로서, 시점 3에 대한 도 5(도 5의 c)를 고려하면, 시점 2로부터 비롯된 왼쪽에서 오른쪽으로 처음 3개의 샘플은 변화도 크기가 0이기 때문에 1의 비교적 큰 가중치를 수신할 것임을 알 수 있다. 그러나, 시점 2에서 왼쪽에서 오른쪽으로 소스 샘플 4 및 5는 1의 변화도 크기(임계치 위의 변화도)를 갖는다. 출력 시점 3에서의 보간된 (회색) 샘플 4,5,6은 이들 2개의 값 사이에서 보간되고 이에 따라 모두가 4.54· 10-5의 매우 작은 관련 가중치로 1의 보간된 변화도 크기 값을 수신한다. 시점 1로부터 비롯된 가중치들은 이러한 샘플들에 대해 높을 것이며(1), 이는 출력 시점 3에서의 회색 샘플 4,5,6에 대해 시점 1로부터의 숨겨진 표면이 완전히 보일 것임을 의미한다. 출력 시점 3에서의 샘플 7은 시점 1로부터 비롯된 4.54· 10-5의 작은 가중치를 시점 2로부터 비롯된 4.54· 10-5의 작은 가중치와 결합한다. 그 결과는 그 위치에서의 텍스처들이 동일한 가중치로 블렌딩되는 것이다.
위의 예들에서, 주어진 메시 이미지에 대한 가중치는 그 메시 이미지에 대한 (워핑된) 깊이 변화도에만 의존하였다. 그러나, 다른 실시예들에서, 하나의 광 강도 값에 대한 가중치는 제1 및 제2 메시 이미지들 내의 로컬 변화도 둘 모두에 의존할 수 있다.
예를 들어, 제1 가중치는 다음과 같이 주어질 수 있으며:
w 1 = f (g 1, g 2),
여기서 g1은 제1 메시 내의 로컬 변화도 크기이고, g2는 제2 메시 내의 로컬 변화도 크기이고, f는 g1의 단조 감소 함수 및 g2의 단조 증가 함수이다.
일부 실시예들에서, w2는 w1로부터 직접 주어질 수 있다. 예를 들어, f는 0 내지 1의 범위로 제한될 수 있고 제2 가중치는 단순히 다음과 같이 주어질 수 있다:
Figure pct00006
제안된 가중 접근법은 각각의 원래의 시점에 대한 메시가 임계화(thresholding)를 사용하여 깊이 불연속들에서 '잘릴(cut)' 필요가 없다는 이점을 갖는다. 상이한 시점들로부터의 정보가 소프트 방식으로 병합되며(함께 블렌딩됨), 이는 일반적으로 임계화를 사용하는 것보다 나은 결과를 제공하는 동작이다.
이 접근법의 다른 이점은 경사진 표면들 상에서 가장 높은 샘플 밀도를 전달하는 카메라가 결합/블렌드 동작에서 자동으로 가장 높은 가중치를 수신할 것이라는 점이다. 이 메커니즘이 도 6에 예시되어 있다.
위의 변화도 기반 가중은 로컬인데, 즉 변수들은 공간 위치에 묵시적으로 의존한다. 표기법의 단순화를 위해 이러한 위치 의존성은 위의 방정식들로부터 빠졌다. 이들을 명시적으로 만들기 위해, 다음의 치환들이 이루어질 수 있으며:
Figure pct00007
여기서 k는 주어진 시점에 대한 메시 정점의 인덱스 또는 2D 이미지 좌표의 인덱스: (x k , y k )이다.
도 5는 일차원 표현에 대한 효과를 예시한다. 도 7은 메시의 이차원 표현에 대한 대응하는 시나리오를 예시한다. 이 예에서, 첫 번째 도면은 제1 시점에 대한 메시를 예시하고 두 번째 도면은 제3 시점으로 워핑된 후의 대응하는 메시를 예시한다. 첫 번째 도면의 예에서, 두꺼운 에지들에 의해 경계지어진 다각형들은 전경(f)에서 일정한 깊이에 있고 얇은 에지들에 의해 경계지어진 다각형들만이 배경(b)에서 일정한 깊이에 있다. 두꺼운 에지와 얇은 에지 양쪽 모두에 의해 경계지어진 다각형들은 변하는 깊이 및 이에 따라 큰 변화도를 갖는다. 시점 변환이 적용되면, 전경 객체는 시프트하고, 결과적으로, 메시는 두 번째 도면에 도시된 바와 같이 로컬로 늘려진다. 이러한 늘려진 영역은 설명된 접근법이 잠재적인 배경 텍스처가 나타날 수 있게 하는 곳이다.
이 접근법의 다른 매우 중요한 이점은 제1 시점 변환기(207) 및 제2 시점 변환기(209)에 의해 수행되는 동작들이 많은 실시예에서 표준 하드웨어 최적화된 그래픽 처리에 의해 수행될 수 있다는 점이다. 예를 들어, 2개의 시점 변환기(205, 207)의 설명된 처리는 예를 들어 OpenGL 표준을 지원하는 GPU에 의해 수행될 수 있다. 이는 비용을 절감하고, 설계 및 구현을 용이하게 하고, 전형적으로 훨씬 증가된 처리 속도로 더 효율적인 구현을 제공할 수 있다. 또한, 결합기(211)의 동작은 사용자 정의 가능한 처리로서 지원되는 동작이다. 실제로, 그것은 예를 들어 OpenGL 표준에 따른 그래픽 처리 파이프라인에 적합할 수 있는데, 즉 그것은 사용자 적응 및 프로그래밍을 가능하게 하는 파이프라인의 스테이지들에서 수행될 수 있는 동작이다. 구체적으로, 그것은 OpenGL 렌더링 파이프라인의 프래그먼트 셰이더 스테이지에서 수행할 수 있다.
상이한 실시예들에서 변화도 크기를 결정하기 위한 상이한 접근법들이 사용될 수 있다. 많은 실시예에서, 변화도 크기는 장치에 의해 로컬로 결정될 수 있다. 도 2의 예에서, 이미지 생성기(205)는 로컬 변화도 크기를 결정하도록 배열되는 깊이 변화도 프로세서(213)를 추가로 포함한다.
일부 실시예들에서, 깊이 변화도 프로세서(213)는 원래의 메시의 정점들에 대한 깊이 변화도를 생성하도록 배열될 수 있다. 예를 들어, 제1 메시 내의 각각의 정점에 대해, 깊이 변화도가 결정되고 정점과 관련될 수 있다. 이어서 이러한 정점 깊이 변화도들에 기초하여 출력 광 강도 이미지 내의 주어진 위치에 대한 변화도가 결정될 수 있다. 예를 들어, 시점 변환기들(207, 209)에 의해 광 강도 값들을 생성하기 위한 전술된 것에 대응하는 접근법이 사용될 수 있는데, 즉 광 강도 이미지 내의 위치에 대응하는 메시 내의 다각형이 결정될 수 있고 다각형의 정점들에 대한 깊이 변화도들의 보간이 그 위치에서의 깊이 변화도를 결정하는 데 사용될 수 있다. 이는 이어서 가중에 사용될 수 있다.
일부 실시예들에서, 깊이 변화도들은 깊이 변화도 맵을 결정하는 데 사용될 수 있다. 구체적으로, 텍스처 맵 내의 각각의 위치에 대해 깊이 변화도(구체적으로 깊이 변화도 크기)를 갖는 깊이 변화도 맵이 결정될 수 있다. 따라서, 깊이 변화도는 텍스처 맵과 동일한 해상도를 가질 수 있다(이것이 모든 실시예들에서 필요한 것은 아니지만). 주어진 픽셀 위치에 대한 깊이 변화도 값들은 예를 들어 픽셀 위치가 속하는 다각형의 정점들의 깊이 변화도들로부터 보간에 의해 결정될 수 있다.
이어서 결과적인 깊이 변화도 맵은 제3 시점으로 시점 변환될 수 있다. 이러한 시점 변환은 예를 들어 텍스처 맵에 대해 사용되는 것과 정확히 동일한 시점 변환 처리를 사용할 수 있다. 따라서, 깊이 변화도 프로세서(213)는 제1 텍스처 맵의 각각의 픽셀에 대한 깊이 변화도를 포함하는 깊이 변화도 맵을 생성할 수 있다. 이 결정은 제1 메시의 각각의 정점에 대한 깊이 변화도를 결정하는 것에 기초할 수 있다. 이어서 깊이 변화도 맵은 제1 메시와 함께 제1 시점 변환기(207)에 공급되고 제1 변환된 이미지/텍스처 맵이 생성될 때 제1 텍스처 맵에 대해 정확히 동일한 처리가 적용된다. 결과적으로, 워핑된 이미지와 정확히 정렬되는 워핑된 깊이 변화도 맵이 제공된다. 따라서, 워핑된 이미지들을 결합할 때, 주어진 픽셀에 대한 가중치들은 2개의 워핑된/변환된 깊이 변화도 맵 내의 동일한 픽셀 위치에서의 깊이 변화도들로부터 직접 결정될 수 있다.
이 접근법은 많은 실시예에서 극히 효율적일 수 있는데, 왜냐하면 그것이 정확히 동일한 처리가 사용될 수 있게 할 수 있기 때문이다. 실제로, 깊이 변화도 맵은 텍스처 맵과 구별 가능하지 않을 수 있고(이들은 양쪽 모두 단순히 값들의 맵일 수 있음) 이에 따라 정확히 마치 그것이 텍스처 맵인 것처럼 처리될 수 있다. 이는 가속 그래픽 하드웨어가 프로세스에 사용될 수 있게 할 수 있으며 이에 따라 빠르고 효율적인 처리를 제공할 수 있다. 그것은 추가로 결합을 용이하게 하는데, 왜냐하면 이것은 단순히 변환된 깊이 변화도 맵들로부터 대응하는 값들을 검색할 수 있기 때문이다.
정점들에 대한 깊이 변화도들을 결정하기 위한 접근법은 상이한 실시예들에서 상이할 수 있다. 많은 실시예에서, 주어진 정점에 대한 깊이 변화도는 그 정점의 깊이 및 메시 내의 적어도 하나의 다른 정점, 전형적으로 이웃하는 정점의 깊이에 기초하여 결정될 수 있다. 구체적으로, 깊이 변화도는 2개의 정점에 대한 깊이의 차이에 응답하여 결정될 수 있다. 또한, 메시 내의 정점들 사이의 거리는 전형적으로 다를 수 있기 때문에, 깊이 차이는 그들 사이의 거리에 대해 보상될 수 있다. 많은 실시예에서, 깊이 변화도는 2개의 정점 사이의 깊이 차이를 그들 사이의 거리로 나눈 것으로서 결정될 수 있다.
3D 메시가 밀집한 깊이 또는 디스패리티 맵으로부터 도출되는 경우, 주어진 정점에서의 변화도는 디스패리티 맵으로부터 도출되는 변화도 맵 내의 그의 위치로부터 취득될 수 있다. 이러한 방식으로, 깊이 맵으로부터 메시가 생성될 때 깊이 변화도 정보가 생성된다.
일부 실시예들에서, 단지 하나의 다른 정점, 예를 들어 가장 가까운 정점만이 고려될 수 있지만, 대부분의 실시예들에서, 주어진 정점에 대한 깊이 변화도는 그 정점으로부터 복수의 이웃하는 정점까지의 깊이 변화도들의 평균화에 기초하여 결정된다. 이것은 구체적으로 다수의 방향에서의 깊이 변화들이 고려될 수 있게 할 수 있다. 전형적으로, 모든 깊이 변화들이 고려되는 것을 보장하기 위해 모든 이웃하는 정점들이 고려된다(예를 들어, 객체의 에지에서 깊이 전환은 변화도가 하나의 방향에서는 매우 높은 반면 예를 들어 반대 방향에서는 매우 낮은 결과를 야기할 수 있다).
이 접근법은 또한 다각형들이 크기에 있어서 상당히 다를 수 있는 메시들에 대한 효율적인 변화도 결정을 가능하게 할 수 있다. 예를 들어, 카메라 캡처로부터 생성된 메시의 형태의 전형적인 3D 데이터를 고려할 때, 변화도를 계산할 때 주의를 기울여야 한다. 이 경우, 압축 효율의 이유로, 메시는 종종 깊이가 공간 좌표의 함수로서 급격히 변하지 않는 소위 편평한 영역들에 대해 더 큰 삼각형에 의해 표현될 수 있다. 반대로, 깊이 불연속들에서, 메시 내의 삼각형들은 깊이 단차를 표현하기 위해 작다. 그러나, 이것은 그래프 내의 모든 이웃하는 정점들에 걸쳐 깊이의 평균 절대 변화를 결정하고 2D 에지의 길이에 의해 각각의 이웃 기여를 정규화하는 설명된 접근법에서 보상될 수 있다.
예를 들어, 다음의 방정식이 사용될 수 있으며:
Figure pct00008
여기서 N은 정점 k의 이웃하는 정점들 m의 수이고, (u,v)는 텍스처 맵 내의 위치를 나타내고, D는 깊이를 나타낸다.
일부 실시예들에서, 깊이 변화도 프로세서(213)는 제1 텍스처 맵에 대한 깊이 맵 내의 깊이 변화들에 응답하여 깊이 변화도들을 결정하도록 배열될 수 있다. 따라서, 깊이 변화도 프로세서(213)가 정점 깊이들에 응답하여 깊이 변화도를 결정하기보다는(또는 가능하게는 그뿐만 아니라), 그것은 변화도들을 결정하기 위해 깊이 맵을 처리할 수 있다. 예를 들어, 많은 실시예에서, 카메라가 이미지 및 관련 깊이 맵을 직접 제공할 수 있다. 이것은 메시 및 텍스처 맵으로 변환될 수 있다(전형적으로 직접적으로 텍스처 맵은 캡처된 이미지임). 깊이 변화도 프로세서(213)는 이 경우에 원래의 깊이 맵을 직접 처리하여 깊이 맵 변화도를 생성할 수 있다. 예를 들어, 주어진 픽셀에 대해, 예를 들어 4개 또는 8개의 상이한 방향에서의 깊이 변화들이 결정될 수 있고 변화도는 이들 중에서 가장 높은 변화도 또는 평균으로서 설정될 수 있다.
이것은 많은 실시예에서 정확한 깊이 변화도 맵의 낮은 복잡성 결정을 제공할 수 있다. 이어서 깊이 변화도 맵은 정점들에 기초하여 결정된 깊이 변화도 맵에 대해 전술한 바와 같이 제3 시점으로 워핑될 수 있다.
이전의 예들에서, 깊이 변화도 맵이 생성된 다음에 제3 시점으로 워핑되었고 이어서 가중치들이 결합 전에 결정되었다. 그러나, 다른 실시예들에서, 가중치 결정은 워핑 전에 수행될 수 있다.
예를 들어, 각각의 픽셀에 대한 깊이 변화도에 함수를 적용함으로써 제1 메시 이미지에 대해 제1 가중치 맵이 생성될 수 있다. 예를 들어, 함수
w 1 = f (g 1)
가 사용될 수 있다.
동일한 것이 제2 메시 이미지에 대해 행해질 수 있으며 이에 따라 각각 제1 및 제2 메시 이미지들에 대해 2개의 가중치 맵이 각각 생성된다. 이어서 이러한 가중치 맵들은 제3 시점으로 워핑될 수 있고 변환된 가중치 맵들의 가중치들은 결합에서 직접 사용될 수 있다.
일부 실시예들에서, 주어진 픽셀 위치에 대한 가중치의 결정은 제1 및 제2 메시 이미지에 대한 깊이 변화도 양쪽에 의존할 수 있는데, 예를 들어 다음과 같다:
w 1 = f (g 1,g 2)
일부 실시예들에서, 단일 가중치 맵만이 결정될 수 있다. 예를 들어, 일부 실시예들에서 결합에서 적용된 가중치들은 항상 가산되어 1이 되도록 배열될 수 있는데, 즉 w 1 + w 2 = 1이다. 이 경우, w 1에 대한 가중치 맵만이 결정되고 제3 시점으로 워핑될 수 있다.
깊이 변화도 또는 가중치 맵을 사용하는 접근법의 특별한 이점은 많은 실시예에서 매우 효율적인 처리를 제공한다. 특히, 그것은 텍스처 맵에 적용되는 것과 동일한 시점 변환이 깊이 변화도/가중치 맵에 적용될 수 있게 하며, 구체적으로 동일한 메시에 기초한 동일한 시점 변환이 사용될 수 있다. 이것은 구체적으로 많은 실시예에서 효율적인 가속 하드웨어 그래픽 처리가 사용될 수 있게 한다.
많은 실시예에서, 결합의 가중치들은 추가로 다른 파라미터들에 응답할 수 있다. 많은 실시예에서, 가중치들은 추가로 제1 시점과 제3 시점 사이의 차이에 의존할 수 있다. 구체적으로, 차이가 클수록 가중치가 낮을 것이다. 차이는 예를 들어 시점들 간의 x, y, z 좌표 간의 기하학적 차이로서 결정될 수 있거나, 예를 들어 이미지 생성기(205)에 제공된 시점 변화 파라미터로부터 직접 결정될 수 있다. 이 접근법은 더 작은 시점 변환을 더 큰 변환보다 더 높게 가중시킬 수 있어, 시점의 변화가 작을수록 품질이 더 높다는 사실을 반영할 수 있다.
따라서, 일부 실시예들에서, 가중치(들)는 또한 출력 시점(제3 시점)이 입력 시점과 얼마나 많이 상이한지(예를 들어, 각도 차이의 면에서)를 측정하는 전역 파라미터에 의존할 수 있다. 이 각도 차이가 크면, 부근의 카메라들이 블렌드 동작에서 더 큰 기여를 갖도록 가중치는 더 낮도록 선택될 수 있다.
일부 실시예들에서, 가중은 제1 변화도들에 대한 신뢰도 지시에 의존할 수 있으며, 여기서 신뢰도 지시는 제1 메시 위치에서의 깊이를 결정하는 데 사용되는 깊이 추정의 신뢰도를 나타낸다.
많은 깊이 카메라 또는 깊이 추정 기법이, 생성된 깊이 추정치가 얼마나 신뢰할 수 있는 것으로 간주되는지를 나타내는 신뢰도 지시를 제공한다. 예를 들어, 깊이 센서는, 그것이 스테레오 쌍이든지 또는 구조화된 광 센서이든지 간에, 전형적으로 관련 불확실성을 갖는다. 이 불확실성은 디스패리티 추정 프로세스로부터, 또는 깊이 센서의 적외선 측정 프로세스로부터 유래할 수 있다. 신뢰도 정보는 예를 들어 픽셀 신뢰도 맵으로서 제공될 수 있다. 그러한 경우, 더 높은 불확실성을 갖는 픽셀들은 더 낮은 불확실성을 갖는 픽셀들보다 결합에서 더 낮게 가중될 수 있다. 불확실성은 예를 들어 시점 변환 전에 가중치 맵을 결정할 때 고려될 수 있거나, 예를 들어 신뢰도 맵은 제3 시점으로 워핑되고 제3 시점 도메인에서 가중치들을 결정할 때 고려될 수 있다.
일부 실시예들에서, 깊이 변화도 또는 가중치는 내부 또는 외부 소스로부터 제공될 수 있는데, 예를 들어 그것은 비디오 파일로부터 판독되거나, 비디오 파일로부터 판독된 디스패리티/깊이 맵으로부터 계산될 수 있다. 제1 옵션은 다른 신뢰도들이 변화도 기반 신뢰도와 결합되어 단일 신뢰도 맵이 될 수 있다는 이점을 가질 수 있다. 이 신뢰도의 일부는 깊이 센서 또는 디스패리티 추정 단계로부터 출력될 수 있고 이것은 비디오 스트림에서 인코딩될 수 있다.
가중을 감소시키기 위해 더 높은 값(더 높은 변화도를 나타냄)이 사용된다는 의미에서 깊이 변화도 값은 신뢰도 값과 유사한 것으로 간주될 수 있다는 점에 유의해야 한다. 따라서, 많은 시나리오에서, 깊이 추정 신뢰도 값과 깊이 변화도 값이 직접 결합되어 픽셀에 대한 결합된 전체 신뢰도 값을 제공할 수 있다. 깊이 추정 신뢰도 값이 높을수록 그리고 깊이 변화도가 낮을수록, 대응하는 광 강도 값이 출력 값을 생성하는 데 적합하다는 신뢰도가 높고, 이에 따라 가중치가 높다.
깊이 변화도는 상이한 실시예들에서 상이한 시간들에 그리고 상이한 기능 엔티티들에 의해 결정될 수 있다는 점에 유의해야 한다. 예를 들어, 일부 실시예들에서, 이미지들의 시퀀스 및 관련 깊이 맵들을 각각 포함하는 2개(또는 그 초과)의 비디오 스트림이 제공될 수 있다. 이어서 렌더링 장치가 대응하는 메시들을 생성하고 예를 들어 깊이 맵에 기초하여 깊이 변화도 맵을 생성할 수 있다. 이어서 그것은 결정된 메시에 기초하여 깊이 변화도 맵 및 텍스처 맵을 새로운 시점으로 워핑할 수 있다. 실제로, 일부 실시예들에서, 주어진 시점에 대한 각각의 비디오 스트림은 깊이 맵을 포함하지 않을 수도 있지만 대신에 예를 들어 스테레오 이미지들의 형태일 수 있다. 이 경우, 렌더링 장치는 추가로 메시 및 깊이 변화도 맵들이 그에 기초하여 생성될 수 있는 명시적인 깊이 정보를 생성하기 위해 디스패리티 추정을 수행하도록 배열될 수 있다.
그러나, 다른 실시예들에서, 이러한 기능들 중 일부는 콘텐츠 제공자 측에서 수행될 수 있다. 예를 들어, 상이한 위치들에 있는 복수의 스테레오 카메라를 사용하여 장면을 캡처할 때, 콘텐츠 제공자 엔티티가 이들 각각에 대한 디스패리티 추정을 수행할 수 있고 깊이 맵을 생성할 수 있다. 이어서 그것은 메시뿐만 아니라 깊이 맵에 대한 깊이 변화도 맵(또는 실제로 가중치 맵)을 결정할 수 있다. 이 경우, 각각의 카메라 시점에 대해 각각의 카메라 시점에 대한 텍스처 맵들, 메시들, 및 깊이 변화도 맵들의 세트를 포함하는 비디오 시퀀스를 포함하는 비디오 신호가 생성될 수 있다. 많은 실시예에서, 디스패리티 추정의 신뢰도를 나타내기 위해 깊이 추정 신뢰도 맵이 추가로 제공된다. 이 정보는 별도의 신뢰도 맵으로서 제공될 수 있거나, 전술한 바와 같이 깊이 변화도 맵과 결합될 수 있다.
이어서 이 비디오 신호는 잠재적으로 다수의 최종 사용자에게 배포될 수 있다. 렌더링 유닛은 이 경우 단순히 각각의 카메라 시점에 대해 메시에 기초하여 텍스처 맵 및 변화도 맵(및 가능하게는 신뢰도 맵)을 원하는 시점으로 워핑함으로써 새로운 시점에 대한 이미지를 생성할 수 있다. 출력 이미지 내의 각각의 픽셀에 대해, 그 위치에서의 워핑된 텍스처 값들은 이어서 그 위치에서의 워핑된 변화도 값들(및 가능하게는 신뢰도 값들)에 기초하여 결합된다. 이는 고도로 효율적인 프로세스를 제공하는데, 왜냐하면 필요한 유일한 기능들은 전용 하드웨어에 의해 효율적으로 수행될 수 있는 낮은 자원 가중된 결합 및 표준화된 시점 변환들(워핑들)이기 때문이다.
이 접근법은 낮은 자원 요건을 유지하면서 매우 효율적인 동작을 제공할 수 있다. 실제로, 이 기능은 예를 들어 단순히 그러한 비디오 신호를 직접 제공받으면서도 이에 기초하여 고품질의 동적 가상 현실 경험을 제공하는 것이 가능할 수 있는 3D 안경에 내장될 수 있을 것으로 예견된다.
위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분산이 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 제어기에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 언급들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 언급들로 간주되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.
본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구범위에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구범위에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서, "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구범위에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구범위의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

  1. 광 강도 이미지(light intensity image)를 생성하는 방법으로서,
    제1 시점으로부터의 장면을 표현하는 제1 텍스처 맵(texture map) 및 제1 메시(mesh)를 수신하는 단계(301);
    제2 시점으로부터의 상기 장면을 표현하는 제2 텍스처 맵 및 제2 메시를 수신하는 단계(303);
    상기 제1 텍스처 맵, 상기 제1 메시, 상기 제2 텍스처 맵, 및 상기 제2 메시에 응답하여 제3 시점으로부터의 상기 장면을 표현하는 상기 광 강도 이미지를 결정하는 단계(305)
    를 포함하며,
    상기 광 강도 이미지를 결정하는 단계(305)는, 상기 광 강도 이미지 내의 제1 위치에 대해,
    상기 제1 텍스처 맵 및 상기 제1 메시에 기초한 시점 변환(view point transformation)에 의해 상기 제1 위치에 대한 제1 광 강도 값을 결정하는 단계(401);
    상기 제2 텍스처 맵 및 상기 제2 메시에 기초한 시점 변환에 의해 상기 제1 위치에 대한 제2 광 강도 값을 결정하는 단계(403);
    상기 제1 광 강도 값과 상기 제2 광 강도 값의 가중된 결합(weighted combination)에 의해 상기 제1 위치에서의 상기 광 강도 이미지에 대한 광 강도 값을 결정하는 단계(405)로서, 상기 가중된 결합에 의한 상기 제2 광 강도 값에 대한 상기 제1 광 강도 값의 가중은, 상기 제1 위치에 대응하는 제2 메시 위치에서의 상기 제2 메시 내의 제2 깊이 변화도(depth gradient)에 대한, 상기 제1 위치에 대응하는 제1 메시 위치에서의 상기 제1 메시 내의 제1 깊이 변화도에 의존하는, 상기 결정 단계(405)
    를 수행하는 단계를 포함하는, 광 강도 이미지를 생성하는 방법.
  2. 제1항에 있어서, 상기 가중은 상기 제2 광 강도 값에 대한 상기 제1 광 강도 값의 가중을 포함하고, 상기 제1 광 강도 값의 상기 가중은 상기 제1 깊이 변화도의 절대값의 단조 감소 함수(monotonically decreasing function)인, 광 강도 이미지를 생성하는 방법.
  3. 제1항에 있어서, 상기 가중은 상기 제2 광 강도 값에 대한 상기 제1 광 강도 값의 가중을 포함하고, 상기 제1 광 강도 값의 상기 가중은 상기 제2 깊이 변화도의 절대값의 단조 증가 함수(monotonically increasing function)인, 광 강도 이미지를 생성하는 방법.
  4. 제1항에 있어서, 상기 제1 메시의 적어도 일부 정점(vertex)들에 대한 깊이 변화도들을 결정하는 단계; 및 상기 적어도 일부 정점들에 대한 상기 깊이 변화도들에 응답하여 상기 제1 깊이 변화도를 결정하는 단계를 추가로 포함하는, 광 강도 이미지를 생성하는 방법.
  5. 제4항에 있어서, 상기 깊이 변화도들을 결정하는 단계는, 상기 제1 메시의 상기 적어도 일부 정점들 중의 정점에 대한 깊이 변화도를, 상기 정점의 깊이, 상기 제1 메시의 적어도 하나의 다른 정점의 깊이, 및 상기 정점과 상기 적어도 하나의 다른 정점 사이의 거리에 응답하여 결정하는 단계를 포함하는, 광 강도 이미지를 생성하는 방법.
  6. 제4항에 있어서, 상기 깊이 변화도들을 결정하는 단계는, 상기 제1 메시의 상기 적어도 일부 정점들 중의 정점에 대한 깊이 변화도를, 상기 정점으로부터 복수의 이웃하는 정점들까지의 깊이 변화도들에 응답하여 결정하는 단계를 포함하는, 광 강도 이미지를 생성하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 텍스처 맵에 대한 깊이 맵 내의 깊이 변화들에 응답하여 상기 제1 깊이 변화도를 결정하는 단계를 추가로 포함하는, 광 강도 이미지를 생성하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 텍스처 맵에 대한 깊이 변화도 맵을 결정하는 단계;
    상기 깊이 변화도 맵에 시점 변환을 적용하여 시점 변환된 깊이 변화도 맵을 생성하는 단계; 및
    상기 제1 위치에 대응하는 상기 시점 변환된 깊이 변화도 맵 내의 위치에서의 깊이 변화도에 응답하여 상기 제1 깊이 변화도를 결정하는 단계
    를 추가로 포함하는, 광 강도 이미지를 생성하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 깊이 변화도들에 응답하여 상기 가중된 결합에 대한 가중치들을 포함하는 가중치 맵을 결정하는 단계;
    상기 가중치 맵에 시점 변환을 적용하여 시점 변환된 가중치 맵을 생성하는 단계; 및
    상기 시점 변환된 깊이 변화도 맵 내의 상기 제1 위치에서의 가중치에 응답하여 상기 가중된 결합에 대한 가중치를 결정하는 단계
    를 추가로 포함하는, 광 강도 이미지를 생성하는 방법.
  10. 제8항 또는 제9항에 있어서, 상기 제1 텍스처 맵, 상기 제2 텍스처 맵, 및 상기 깊이 변화도 맵과 상기 가중치 맵 중 적어도 하나에 대한 상기 시점 변환들은 동일한 시점 변환인, 광 강도 이미지를 생성하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 제1 텍스처 맵 및 상기 제1 메시는 실제 장면의 캡처로부터 생성되는, 광 강도 이미지를 생성하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 가중은 추가로 상기 제1 시점과 상기 제3 시점 사이의 차이에 의존하는, 광 강도 이미지를 생성하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 제2 광 강도 값에 대한 상기 제1 광 강도 값의 상기 가중은 추가로 상기 제1 깊이 맵에서 상기 제1 메시 위치에서의 깊이를 결정하는 데 사용되는 깊이 추정의 신뢰도를 나타내는 신뢰도 지시(reliability indication)에 의존하고, 상기 제2 광 강도 값에 대한 상기 제1 광 강도 값의 상기 가중은 상기 깊이 추정의 증가하는 신뢰도를 나타내는 상기 신뢰도 지시에 대해 증가하는, 광 강도 이미지를 생성하는 방법.
  14. 광 강도 이미지를 생성하기 위한 장치로서,
    제1 시점으로부터의 장면을 표현하는 제1 텍스처 맵 및 제1 메시를 수신하기 위한 수신기(201);
    제2 시점으로부터의 상기 장면을 표현하는 제2 텍스처 맵 및 제2 메시를 수신하기 위한 수신기(203);
    상기 제1 텍스처 맵, 상기 제1 메시, 상기 제2 텍스처 맵, 및 상기 제2 메시에 응답하여 제3 시점으로부터의 상기 장면을 표현하는 광 강도 이미지를 결정하기 위한 이미지 생성기(205)
    를 포함하며,
    상기 이미지 생성기(205)는,
    상기 제1 텍스처 맵 및 상기 제1 메시에 기초한 시점 변환에 의해 상기 광 강도 이미지 내의 제1 위치에 대한 제1 광 강도 값을 결정하기 위한 제1 시점 변환기(207);
    상기 제2 텍스처 맵 및 상기 제2 메시에 기초한 시점 변환에 의해 상기 제1 위치에 대한 제2 광 강도 값을 결정하기 위한 제2 시점 변환기(209);
    상기 제1 광 강도 값과 상기 제2 광 강도 값의 가중된 결합에 의해 상기 제1 위치에서의 상기 광 강도 이미지에 대한 광 강도 값을 결정하기 위한 결합기(combiner)(211)로서, 상기 가중된 결합에 의한 상기 제2 광 강도 값에 대한 상기 제1 광 강도 값의 가중은, 상기 제1 위치에 대응하는 제2 메시 위치에서의 상기 제2 메시 내의 제2 깊이 변화도에 대한, 상기 제1 위치에 대응하는 제1 메시 위치에서의 상기 제1 메시 내의 제1 깊이 변화도에 의존하는, 상기 결합기(211)
    를 포함하는, 광 강도 이미지를 생성하기 위한 장치.
  15. 제1항 내지 제13항 중 어느 한 항의 방법을 수행하도록 구성된, 컴퓨터 프로그램 제품.
KR1020197019245A 2016-12-06 2017-11-28 광 강도 이미지를 생성하기 위한 장치 및 방법 KR102581134B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16202469 2016-12-06
EP16202469.9 2016-12-06
PCT/EP2017/080597 WO2018104102A1 (en) 2016-12-06 2017-11-28 Apparatus and method for generating a light intensity image

Publications (2)

Publication Number Publication Date
KR20190091500A true KR20190091500A (ko) 2019-08-06
KR102581134B1 KR102581134B1 (ko) 2023-09-21

Family

ID=57517749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019245A KR102581134B1 (ko) 2016-12-06 2017-11-28 광 강도 이미지를 생성하기 위한 장치 및 방법

Country Status (9)

Country Link
US (1) US10699466B2 (ko)
EP (1) EP3552183B1 (ko)
JP (1) JP6651679B2 (ko)
KR (1) KR102581134B1 (ko)
CN (1) CN110140151B (ko)
BR (1) BR112019011254A8 (ko)
RU (1) RU2754721C2 (ko)
TW (1) TWI764959B (ko)
WO (1) WO2018104102A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645370B2 (en) * 2017-04-27 2020-05-05 Google Llc Synthetic stereoscopic content capture
EP3419286A1 (en) 2017-06-23 2018-12-26 Koninklijke Philips N.V. Processing of 3d image information based on texture maps and meshes
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
CN111193918B (zh) * 2018-11-14 2021-12-28 宏达国际电子股份有限公司 影像处理系统及影像处理方法
EP3696773A1 (en) 2019-02-15 2020-08-19 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
US11361505B2 (en) * 2019-06-06 2022-06-14 Qualcomm Technologies, Inc. Model retrieval for objects in images using field descriptors
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品
US20240135593A1 (en) * 2022-10-11 2024-04-25 Tencent America LLC Method and apparatus for uv attributes coding for symmetry mesh

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088515A (ko) * 2008-10-27 2011-08-03 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
KR20120079794A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 영상 처리 장치 및 방법
US20140093159A1 (en) * 2012-03-29 2014-04-03 Panasonic Corporation Image processing apparatus and image processing method
US20160073117A1 (en) * 2014-09-09 2016-03-10 Qualcomm Incorporated Simultaneous localization and mapping for video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5424556A (en) * 1993-11-30 1995-06-13 Honeywell Inc. Gradient reflector location sensing system
JP2000348213A (ja) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 三次元画像生成装置、三次元画像生成表示装置、及びその方法並びに記録媒体
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
US9117310B2 (en) * 2010-04-02 2015-08-25 Imec Virtual camera system
JP5858381B2 (ja) 2010-12-03 2016-02-10 国立大学法人名古屋大学 多視点画像合成方法及び多視点画像合成システム
US20140009462A1 (en) * 2012-04-17 2014-01-09 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
FR2993662B1 (fr) * 2012-07-23 2015-05-15 Msc & Sgcc Procede et installation pour la detection notamment de defauts refractants
BR112015001396A2 (pt) * 2012-07-27 2017-07-04 Koninklijke Philips Nv disposição de iluminação configurada para iluminar um objeto, método para controlar uma disposição de iluminação, e, produto de programa de computador
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
US9437039B2 (en) * 2012-09-11 2016-09-06 Nvidia Corporation Method and system for graphics rendering employing gradient domain metropolis light transport
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9905039B2 (en) * 2014-02-21 2018-02-27 Qualcomm Incorporated View independent color equalized 3D scene texturing
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh
CA2999193A1 (en) 2015-09-23 2017-03-30 Koninklijke Philips N.V. Generation of triangle mesh for a three dimensional image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088515A (ko) * 2008-10-27 2011-08-03 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
KR20120079794A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 영상 처리 장치 및 방법
US20140093159A1 (en) * 2012-03-29 2014-04-03 Panasonic Corporation Image processing apparatus and image processing method
US20160073117A1 (en) * 2014-09-09 2016-03-10 Qualcomm Incorporated Simultaneous localization and mapping for video coding

Also Published As

Publication number Publication date
EP3552183A1 (en) 2019-10-16
CN110140151B (zh) 2023-08-29
TW201828255A (zh) 2018-08-01
JP2019536174A (ja) 2019-12-12
CN110140151A (zh) 2019-08-16
RU2019120831A (ru) 2021-01-12
RU2019120831A3 (ko) 2021-03-10
BR112019011254A2 (pt) 2019-10-08
EP3552183B1 (en) 2021-09-15
US10699466B2 (en) 2020-06-30
KR102581134B1 (ko) 2023-09-21
WO2018104102A1 (en) 2018-06-14
RU2754721C2 (ru) 2021-09-06
US20190385352A1 (en) 2019-12-19
BR112019011254A8 (pt) 2023-04-04
JP6651679B2 (ja) 2020-02-19
TWI764959B (zh) 2022-05-21

Similar Documents

Publication Publication Date Title
KR102581134B1 (ko) 광 강도 이미지를 생성하기 위한 장치 및 방법
US10728513B2 (en) Image processing apparatus, image processing method, and storage medium
KR102538939B1 (ko) 텍스처 맵들 및 메시들에 기초한 3d 이미지 정보의 처리
EP3735677A1 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
KR102156402B1 (ko) 영상 처리 방법 및 장치
JP2015522198A (ja) 画像に対する深度マップの生成
JP7460641B2 (ja) 光強度画像を生成するための装置及び方法
EP4345759A1 (en) Generation of adapted mesh representation for a scene

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant