KR20230015246A - 다중시점 텍스처를 이용한 3d 폴리곤 메시 렌더링 방법 및 장치 - Google Patents

다중시점 텍스처를 이용한 3d 폴리곤 메시 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR20230015246A
KR20230015246A KR1020210115810A KR20210115810A KR20230015246A KR 20230015246 A KR20230015246 A KR 20230015246A KR 1020210115810 A KR1020210115810 A KR 1020210115810A KR 20210115810 A KR20210115810 A KR 20210115810A KR 20230015246 A KR20230015246 A KR 20230015246A
Authority
KR
South Korea
Prior art keywords
point
images
texture
polygon mesh
weights
Prior art date
Application number
KR1020210115810A
Other languages
English (en)
Inventor
나경건
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to CN202111187201.3A priority Critical patent/CN115695761A/zh
Publication of KR20230015246A publication Critical patent/KR20230015246A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

프로세서, 및 인스트럭션들을 저장하는 메모리를 포함하며, 상기 프로세서는 상기 인스트럭션들을 실행함으로써, 서로 다른 캡처 카메라 위치들에서 객체를 캡처한 복수의 캡처 이미지들에 대응되는 복수의 다중시점 이미지들을 획득하고, 상기 객체에 대한 3D 폴리곤 메시를 획득하고, 렌더 카메라 위치 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 텍스처 이미지들로 선택하고, 상기 선택된 하나 이상의 텍스처 이미지들에 기초하여 상기 3D 폴리곤 메시를 2D 이미지로 렌더링하는, 3D 폴리곤 메시 렌더링 장치가 개시된다.

Description

다중시점 텍스처를 이용한 3D 폴리곤 메시 렌더링 방법 및 장치 {Method and apparatus for rendering 3D polygon meshes using multi-view textures}
본 개시의 다양한 실시예들은 다중시점(multi-view) 텍스처를 이용한 3차원(3D) 폴리곤 메시 렌더링 방법 및 장치에 관한 것이다.
3D 그래픽 기술 발전에 따라, 실제 물체를 3D 모델링하여 2차원(2D) 이미지로 렌더링하는 기술이 발전하고 있으며, 특히 최근에는 실물을 여러 위치에서 촬영한 복수의 캡처 이미지들을 이용하여 실물을 3D 모델링하는 방법이 많이 이용되고 있다.
본 개시의 일 실시예는, 다중시점 텍스처를 이용한 3D 폴리곤 메시 렌더링 방법 및 장치를 제공하여 실사에 가까운 이미지를 얻을 수 있도록 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 프로세서, 및 인스트럭션들을 저장하는 메모리를 포함하며, 상기 프로세서는 상기 인스트럭션들을 실행함으로써, 서로 다른 캡처 카메라 위치(capture camera position)들에서 객체를 캡처한 복수의 캡처 이미지들에 대응되는 복수의 다중시점 이미지(multi-view image)들을 획득하고, 상기 객체에 대한 3D 폴리곤 메시를 획득하고, 렌더 카메라 위치(render camera position) 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 텍스처 이미지들로 선택하고, 상기 선택된 하나 이상의 텍스처 이미지들에 기초하여 상기 3D 폴리곤 메시를 2D 이미지로 렌더링하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 복수의 다중시점 이미지들 및 상기 2D 이미지 각각은 알파 채널을 포함하며, 상기 프로세서는, 상기 선택된 하나 이상의 텍스처 이미지들의 알파 값들에 기초하여 상기 2D 이미지의 알파 값들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 렌더 카메라 위치 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 각각의 가중치를 결정하고, 상기 가중치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 상기 하나 이상의 텍스처 이미지들로 선택하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 3D 폴리곤 메시의 제1 점의 위치를 기준으로 하는 상기 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 상기 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 상기 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 3D 폴리곤 메시의 제1 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제1 텍스처 이미지들로 선택하고, 상기 선택된 하나 이상의 제1 텍스처 이미지들에 기초하여 상기 제1 점을 상기 2D 이미지로 렌더링하고, 상기 3D 폴리곤 메시의 제2 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택하고, 상기 선택된 하나 이상의 제2 텍스처 이미지들에 기초하여 상기 제2 점을 상기 2D 이미지로 렌더링하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제1 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 상기 하나 이상의 제1 텍스처 이미지들로 선택하고
상기 제2 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제2 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 상기 하나 이상의 제2 텍스처 이미지들로 선택하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 각각의 제1 가중치를 결정하고, 상기 제1 가중치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제1 텍스처 이미지들로 선택하고, 상기 제2 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 각각의 제2 가중치를 결정하고, 상기 제2 가중치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제1 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 제1 가중치들을 결정하고, 상기 제2 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제2 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치를 기준으로 하는 상기 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 상기 제1 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 상기 제1 가중치들을 결정하고, 상기 제2 점의 위치를 기준으로 하는 상기 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 상기 제2 가중치들에 의한 가중 합과, 상기 제2 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 3D 폴리곤 메시의 제1 점을 상기 하나 이상의 텍스처 이미지들 각각으로 재투영(reprojection)함으로써, 상기 제1 점에 대응되는 상기 하나 이상의 텍스처 이미지들상의 하나 이상의 제1 텍스처 점들을 결정하고, 상기 하나 이상의 제1 텍스처 점들의 색상들에 기초하여, 상기 제1 점에 대응되는 상기 2D 이미지상의 제1 렌더링 점의 색상을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 복수의 캡처 이미지들에 기초한 3D 재구성에 의하여 상기 3D 폴리곤 메시를 생성하는 과정에서 결정된 카메라 파라미터들을 획득하고, 상기 카메라 파라미터들을 이용하여 상기 재투영을 수행하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 복수의 다중시점 이미지들 및 상기 2D 이미지 각각은 알파 채널을 포함하며, 상기 프로세서는, 상기 하나 이상의 제1 텍스처 점들의 알파 값들에 기초하여 상기 제1 렌더링 점의 알파 값을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 렌더 카메라 위치 및 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 하나 이상의 텍스처 이미지들 각각의 가중치를 결정하고, 상기 가중치들 및 상기 하나 이상의 제1 텍스처 점들의 색상들에 기초하여 상기 제1 렌더링 점의 색상을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 복수의 다중시점 이미지들 및 상기 2D 이미지 각각은 알파 채널을 포함하며, 상기 프로세서는, 상기 가중치들 및 상기 하나 이상의 제1 텍스처 점들의 알파 값들에 기초하여 상기 제1 렌더링 점의 알파 값을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치를 기준으로 하는 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 상기 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 상기 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치, 상기 렌더 카메라 위치, 및 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 하나 이상의 텍스처 이미지들 각각의 제1 가중치를 결정하고, 상기 제1 가중치들 및 상기 하나 이상의 제1 텍스처 점들의 색상들에 기초하여 상기 제1 렌더링 점의 색상을 결정하고, 상기 3D 폴리곤 메시의 제2 점을 상기 하나 이상의 텍스처 이미지들 각각으로 재투영함으로써, 상기 제2 점에 대응되는 상기 하나 이상의 텍스처 이미지들상의 하나 이상의 제2 텍스처 점들을 결정하고, 상기 제2 점의 위치, 상기 렌더 카메라 위치, 및 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 하나 이상의 텍스처 이미지들 각각의 제2 가중치를 결정하고, 상기 제2 가중치들 및 상기 하나 이상의 제2 텍스처 점들의 색상들에 기초하여, 상기 제2 점에 대응되는 상기 2D 이미지상의 제2 렌더링 점의 색상을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제1 점의 위치에 대한 상대적인 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 제1 가중치들을 결정하고, 상기 제2 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제2 점의 위치에 대한 상대적인 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 점의 위치를 기준으로 하는 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 상기 제1 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 상기 제1 가중치들을 결정하고, 상기 제2 점의 위치를 기준으로 하는 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 상기 제2 가중치들에 의한 가중 합과, 상기 제2 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치를 제공할 수 있다.
본 개시의 일 실시예는, 서로 다른 캡처 카메라 위치들에서 객체를 캡처한 복수의 캡처 이미지들에 대응되는 복수의 다중시점 이미지들을 획득하는 동작, 상기 객체에 대한 3D 폴리곤 메시를 획득하는 동작, 렌더 카메라 위치 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 텍스처 이미지들로 선택하는 동작, 및 상기 선택된 하나 이상의 텍스처 이미지들에 기초하여 상기 3D 폴리곤 메시를 2D 이미지로 렌더링하는 동작을 포함하는, 3D 폴리곤 메시 렌더링 장치의 동작 방법을 제공할 수 있다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 개시의 일 실시예는, 다중시점 텍스처를 이용한 3D 폴리곤 메시 렌더링 방법 및 장치를 제공하여 선명도, 조명 효과, 실루엣 디테일 측면에서 종래의 방법보다 실사에 가까운 이미지를 얻을 수 있도록 한다.
도 1은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치 장치의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 4는 객체를 캡처한 복수의 캡처 이미지들을 얻기 위한 3D 캡처 시스템의 예시이다.
도 5는 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치가 하나 이상의 텍스처 이미지들을 선택하는 예를 도시한 도면이다.
도 6은 캡처 카메라 위치 벡터 및 렌더 카메라 위치 벡터를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치가 선택된 하나 이상의 텍스처 이미지들에 기초하여 3D 폴리곤 메시를 2D 이미지로 렌더링하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의해 생성된 2D 이미지를 도시한 도면이다.
9 내지 11은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지와 종래의 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지를 비교한 도면이다.
본 개시의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다. 본 개시의 각 동작은 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적, 또는 개별적으로 수행될 수 있다.
도 1은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치의 구성을 개략적으로 도시한 블록도이다. 도 1을 참조하면, 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치(100)는, 프로세서(110) 및 프로세서(110)에 의해 실행될 수 있는 하나 이상의 인스트럭션들을 저장하는 메모리(120)를 포함할 수 있다. 프로세서(110)는 하나의 프로세서이거나, 복수의 프로세서일 수 있다. 메모리(120)는 하나의 메모리이거나, 복수의 메모리일 수 있다. 프로세서(110)가 메모리(120)에 저장된 하나 이상의 인스트럭션들을 실행함으로써 수행하는 3D 폴리곤 메시 렌더링 장치(100)의 동작은 아래에서 도 2 내지 8을 참조하여 구체적으로 설명한다.
도 2는 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치의 동작을 설명하기 위한 도면이다. 도 3은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치 장치의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 도 3을 참조하면, 3D 폴리곤 메시 렌더링 장치(100)의 프로세서(110)는 동작 S310에서 서로 다른 캡처 카메라 위치(capture camera position)들에서 객체를 캡처한 복수의 캡처 이미지들에 대응되는 복수의 다중시점 이미지(multi-view image)들을 획득할 수 있다.
객체를 캡처한 복수의 캡처 이미지들은 공지의 방법들을 이용하여 얻을 수 있다. 도 4는 복수의 캡처 이미지들을 얻기 위한 3D 캡처 시스템의 예시이다. 도 4를 참조하면, 서로 다른 위치에 배치된 복수의 카메라들에 의해 객체를 캡처하여 복수의 캡처 이미지들을 얻을 수 있다. 여기서 객체를 캡처하는 카메라의 위치를 '캡처 카메라 위치'라 하며, 각 캡처 이미지를 캡처한 카메라의 위치를 그 캡처 이미지의 캡처 카메라 위치라 한다. 일 실시예에서, 캡처 카메라 위치는 특정 위치(예: 3D 캡처 시스템의 중심, 또는 객체의 중심)에 대한 상대적인 위치로 나타낼 수 있다. 이와 같이 복수의 카메라를 이용하는 경우, 서로 다른 캡처 카메라 위치에서 동시에 객체를 캡처할 수 있다. 다른 실시예에서, 하나의 카메라의 위치를 변경해 가면서 객체를 복수 번 캡처하여 복수의 캡처 이미지를 얻을 수 있다. 이 외에도 다양한 다중시점 캡처 방법들을 이용하여 복수의 캡처 이미지들을 얻을 수 있다.
복수의 다중시점 이미지들 각각은 복수의 캡처 이미지들 각각에 대응되는 이미지이다. 다중시점 이미지는, 대응되는 캡처 이미지를 변형한 이미지이거나, 대응되는 캡처 이미지에 기초하여 생성된 이미지일 수 있다. 예를 들어, 도 2에 도시된 것과 같이 캡처 이미지들에 대하여 알파 매팅(240)을 수행하여 다중시점 이미지(210)들을 얻을 수 있다. 이 경우 다중시점 이미지들은 알파 채널을 포함하며, 알파 채널은 객체에 대한 알파 값들을 포함할 수 있다. 각 캡처 이미지의 캡처 카메라 위치를, 대응되는 다중시점 이미지의 캡처 카메라의 위치로 볼 수 있다. 즉, 각 다중시점 이미지의 캡처 카메라의 위치는, 대응되는 캡처 이미지를 캡처한 카메라의 위치이다. 다중시점 이미지는 대응되는 캡처 이미지 자체일 수도 있다. 즉, 카메라에 의해 객체를 캡처한 캡처 이미지가 그대로 다중시점 이미지로 사용될 수 있다.
다시 도 3을 참조하면, 3D 폴리곤 메시 렌더링 장치(100)의 프로세서(110)는 동작 S320에서 객체에 대한 3D 폴리곤 메시를 획득할 수 있다. 객체에 대한 3D 폴리곤 메시는 공지의 3D 재구성(reconstruction) 방법들을 이용하여 얻을 수 있다. 예를 들어, 도 2에 도시된 것과 같이 객체를 캡처한 복수의 캡처 이미지들의 전부 또는 일부에 대하여 3D 재구성(250)을 적용하여 객체에 대한 3D 폴리곤 메시(220)를 얻을 수 있다. 복수의 다중시점 이미지들(210)에 대하여 3D 재구성을 적용하여 객체에 대한 3D 폴리곤 메시를 얻을 수도 있다. 캡처 이미지들을 이용하지 않고 별도의 방법을 이용하여 3D 폴리곤 메시를 얻을 수도 있다.
다시 도 3을 참조하면, 3D 폴리곤 메시 렌더링 장치(100)의 프로세서(110)는 동작 S330에서 렌더 카메라 위치(render camera position) 및 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여, 복수의 다중시점 이미지들 중 하나 이상을, 하나 이상의 텍스처 이미지들로 선택할 수 있다. 여기서 렌더 카메라 위치는 3D 폴리곤 메시를 2D 이미지로 렌더링할 때 2D 이미지를 바라보는 가상의 카메라의 위치를 말한다. 2D 이미지를 바라보는 가상의 카메라를 렌더 카메라라고 한다. 일 실시예에서, 렌더 카메라가 바라보는 방향(view direction)은 객체의 중심을 향할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)의 프로세서(110)는 동작 S340에서, 선택된 하나 이상의 텍스처 이미지들에 기초하여 3D 폴리곤 메시를 2D 이미지로 렌더링할 수 있다. 이와 같이, 3D 폴리곤 메시 렌더링 장치(100)는 획득한 다중시점 이미지들 모두를 텍스처 이미지로 사용하는 것이 아니라, 렌더 카메라 위치에 따라 그 중 일부를 선택하여 텍스처 이미지로 사용할 수 있다. 2D 이미지는 알파 채널을 포함할 수 있으며, 3D 폴리곤 메시 렌더링 장치(100)는 선택된 하나 이상의 텍스처 이미지의 알파 값들에 기초하여 2D 이미지의 알파 값들을 결정할 수 있다.
생성된 2D 이미지는 배경 이미지에 합성(260)되어 최종 이미지가 생성될 수 있다. 합성(260)은 알파 블렌딩을 포함할 수 있다. 알파 매팅(240), 3D 재구성(250), 또는 합성(260) 중 적어도 하나를 3D 폴리곤 메시 렌더링 장치(100)가 수행할 수도 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 캡처 이미지들을 획득하고, 획득한 복수의 캡처 이미지들에 대하여 알파 매팅을 수행하여 알파 채널을 포함하는 다중시점 이미지들을 생성할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 캡처 이미지들을 획득하고, 획득한 복수의 캡처 이미지들에 대하여 3D 재구성을 수행하여 3D 폴리곤 메시를 생성할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 배경 이미지를 획득하고, 획득한 배경 이미지에 객체의 2D 이미지를 합성하여 최종 이미지를 생성할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 배경 이미지에 객체의 2D 이미지를 알파 블렌딩하여 최종 이미지를 생성할 수 있다.
도 5는 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치가 하나 이상의 텍스처 이미지들을 선택하는 예를 도시한 도면이다. 도 5를 참조하면, 3D 폴리곤 메시 렌더링 장치(100)는 3D 폴리곤 메시(220)에 관한 복수의 다중시점 이미지들(250-1 내지 250-6) 중에서, 캡처 카메라의 위치가 렌더 카메라의 위치(510)에 가까운 두 개의 이미지(250-4 및 250-5)를 텍스처 이미지들로 선택할 수 있다. 이와 같이 3D 폴리곤 메시 렌더링 장치(100)는 렌더 카메라의 위치에 가까운 위치에서 캡처된 이미지를 텍스처 이미지로 사용함으로써, 객체의 실제 모습에 가까운 2D 이미지를 얻을 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 선택된 텍스처 이미지들을 3D 폴리곤 메시 전체를 렌더링 하는 데에 이용할 수도 있고, 폴리곤 메시의 일부(예: 하나의 정점(vertex) 또는 하나의 폴리곤)을 렌더링하는 데에 이용할 수도 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 각 정점마다 해당 정점을 렌더링하기 위한 하나 이상의 텍스처 이미지들을 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 정점 또는 복수의 폴리곤을 포함하는 3D 폴리곤 메시의 일부분을 렌더링하기 위한 하나 이상의 텍스처 이미지들을 선택할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 3D 폴리곤 메시의 제1 점을 렌더링하기 위한 하나 이상의 제1 텍스처 이미지들을 선택하고, 3D 폴리곤 메시의 제2 점을 렌더링하기 위한 하나 이상의 제2 텍스처 이미지들을 선택할 수 있다. 여기서 제1 점 및 제 2점은 3D 폴리곤 메시의 표면상의 점일 수 있다. 제1 점 및 제 2점은 3D 폴리곤 메시의 정점일 수 있다. 제1 점 및 제 2점은 2D 이미지에 표시되는 점일 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는, 3D 폴리곤 메시의 제1 점의 위치, 렌더 카메라 위치, 및 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여, 복수의 다중시점 이미지들 중 하나 이상을, 하나 이상의 제1 텍스처 이미지들로 선택하고, 선택된 하나 이상의 제1 텍스처 이미지들에 기초하여 제1 점을 2D 이미지로 렌더링하며, 3D 폴리곤 메시의 제2 점의 위치, 렌더 카메라 위치, 및 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택하고, 선택된 하나 이상의 제2 텍스처 이미지들에 기초하여 제2 점을 2D 이미지로 렌더링할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제1 점의 위치에 대한 상대적인 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제1 텍스처 이미지들로 선택할 수 있으며, 제2 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제2 점의 위치에 대한 상대적인 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택할 수 있다. 여기서, 제1 점의 위치에 대한 상대적인 렌더 카메라 위치는, 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터라고 할 수 있다. 제1 점의 위치에 대한 상대적인 캡처 카메라 위치는, 제1 점의 위치를 기준으로 하는 캡처 카메라 위치 벡터라고 할 수 있다. 물론 제 2점에 대하여도 마찬가지이다. 도 6은 캡처 카메라 위치 벡터 및 렌더 카메라 위치 벡터를 설명하기 위한 도면이다. 도 6을 참조하면, 제1 점(620)은 3D 폴리곤 메시(220)의 정점들 중 하나이며, 제1 점(620)으로부터 캡처 카메라 위치(610)를 향하는 벡터(630)가 제1 점(620)을 기준으로 하는 캡처 카메라 위치 벡터이고, 제1 점(620)으로부터 렌더 카메라 위치(510)를 향하는 벡터(640)가 제1 점(620)을 기준으로 하는 렌더 카메라 위치 벡터이다.
3D 폴리곤 메시 렌더링 장치(100)는 복수의 다중시점 이미지들 중에서, 캡처 카메라의 위치가 렌더 카메라의 위치에 가장 가까운 k개의 이미지들을 텍스처 이미지로 선택할 수 있다. 여기서 k는 예를 들어 1, 3, 또는 8일 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 다중시점 이미지들 중에서 복수의 이미지들을 텍스처 이미지로 선택할 수 있다. 복수의 텍스처 이미지들을 사용하면, 렌더 카메라의 위치가 이동할 때 단절감 없이 자연스러운 애니메이션 효과를 얻을 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 다중시점 이미지들 중에서, 캡처 카메라의 위치가 렌더 카메라의 위치를 중심으로 일정 범위 이내인 이미지들을 텍스처 이미지로 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 다중시점 이미지들 중에서, 객체의 중심을 기준으로 캡처 카메라 위치가 렌더 카메라 위치로부터 일정 각도 이내인 이미지들을 텍스처 이미지로 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 복수의 다중시점 이미지들 중에서, 객체의 특정 위치(예: 렌더링 하고자 하는 점)를 기준으로 캡처 카메라 위치가 렌더 카메라 위치로부터 일정 각도 이내인 이미지들을 텍스처 이미지로 선택할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 다중시점 이미지들 각각에 대하여 렌더 카메라 위치에 기초한 가중치를 결정하고, 결정된 가중치들에 기초하여 하나 이상의 텍스처 이미지들을 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 렌더 카메라 위치 및 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 각각의 가중치를 결정하고, 결정된 가중치들에 기초하여 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 텍스처 이미지들로 선택할 수 있다. 일 실시예에서, 3D 폴리곤 메시 렌더링 장치(100)는 캡처 카메라 위치가 렌더 카메라 위치에 가까울수록 해당 다중시점 이미지의 가중치를 높게 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 3D 폴리곤 메시의 제1 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제1 점의 위치에 대한 상대적인 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 가중치들을 결정할 수 있다. 여기서 제1 점은 3D 폴리곤 메시의 중심 또는 객체의 중심일 수 있다. 제1 점은 3D 폴리곤 메시의 정점일 수 있다. 제1 점은 2D 이미지로 렌더링하고자 하는 점일 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 3D 폴리곤 메시의 제1 점의 위치를 기준으로 하는 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 가중치들에 의한 가중 합과, 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 다음 식에 의해 가중치들을 결정할 수 있다.
Figure pat00001
(1)
여기서 Wi는 i번째 다중시점 이미지의 가중치, Ci는 제1 점의 위치를 기준으로 하는 i번째 다중시점 이미지의 캡처 카메라 위치 벡터, V는 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터, N은 다중시점 이미지의 개수이다.
3D 폴리곤 메시 렌더링 장치(100)는 다중시점 이미지들 중 가중치가 미리 정의된 문턱값 이상인 다중시점 이미지를 텍스처 이미지로 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 선택된 텍스처 이미지들의 가중치의 합이 미리 정의된 문턱값 이상이 되도록, 하나 이상의 텍스처 이미지들을 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 가중치가 0이 아닌 이미지를 텍스처 이미지로 선택할 수 있다. 다중시점 이미지들 중에서 텍스처 이미지들을 선택한다는 것은, 다중시점 이미지들 중 일부의 가중치를 0으로 결정하는 것을 포함할 수 있다. 뒤에서 살펴보듯이, 다중시점 이미지의 가중치가 0으로 결정되면, 해당 다중시점 이미지가 2D 렌더링 시 사용되지 않을 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는, 선택된 텍스처 이미지들의 가중치들의 합이 1이 아닌 경우, 가중치들의 합이 1이 되도록 정규화(normalization)할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 결정된 가중치들을 3D 폴리곤 메시 전체를 렌더링 하는 데에 이용할 수도 있고, 폴리곤 메시의 일부(예: 하나의 정점)을 렌더링하는 데에 이용할 수도 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 각 정점마다 해당 정점을 렌더링하기 위한 가중치들을 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 3D 폴리곤 메시의 제1 점을 렌더링하기 위한 하나 이상의 제1 가중치들을 선택하고, 3D 폴리곤 메시의 제2 점을 렌더링하기 위한 하나 이상의 제2 가중치들을 선택할 수 있다. 여기서 제1 점 및 제 2점은 3D 폴리곤 메시의 표면상의 점일 수 있다. 제1 점 및 제 2점은 3D 폴리곤 메시의 정점일 수 있다. 제1 점 및 제 2점은 2D 이미지에 표시되는 점일 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치, 렌더 카메라 위치, 및 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 각각의 제1 가중치를 결정하고, 결정된 제1 가중치들에 기초하여 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제1 텍스처 이미지들로 선택하며, 제2 점의 위치, 렌더 카메라 위치, 및 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 각각의 제2 가중치를 결정하고, 결정된 제2 가중치들에 기초하여 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 선택된 하나 이상의 제1 텍스처 이미지들에 기초하여 제1 점을 2D 이미지로 렌더링하고, 선택된 하나 이상의 제2 텍스처 이미지들에 기초하여 제2 점을 2D 이미지로 렌더링할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제1 점의 위치에 대한 상대적인 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 제1 가중치들을 결정하고, 제2 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제2 점의 위치에 대한 상대적인 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 제2 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치를 기준으로 하는 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 제1 가중치들에 의한 가중 합과, 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 제1 가중치들을 결정하고, 제2 점의 위치를 기준으로 하는 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 제2 가중치들에 의한 가중 합과, 제2 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 제2 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 식 (1)을 이용하여 제1 가중치들 및 제2 가중치들을 결정할 수 있다.
도 7은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 장치가, 선택된 하나 이상의 텍스처 이미지들에 기초하여 3D 폴리곤 메시를 2D 이미지로 렌더링하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 3D 폴리곤 메시 렌더링 장치(100)는 3D 폴리곤 메시(220)의 제1 점(720)을 하나 이상의 텍스처 이미지들(210) 각각으로 재투영(reprojection)함으로써, 제1 점(720)에 대응되는 텍스처 이미지들상의 점들(710)을 결정할 수 있다. 설명의 편의상 텍스처 이미지에 있는 점을 텍스처 점이라 부르기로 한다. 여기서 제1 점은 3D 폴리곤 메시의 표면상의 점일 수 있다. 제1 점은 3D 폴리곤 메시의 정점일 수 있다. 제1 점은 2D 이미지로 렌더링하고자 하는 점일 수 있다. 제1 점은 2D 이미지에 표시되는 점일 수 있다. 텍스처 점을 결정하는 것은, 텍스처 이미지상의 텍스처 점의 위치를 결정하는 것일 수 있다. 텍스처 점을 결정하는 것은, 텍스처 이미지상의 텍스처 점의 u, v 좌표값을 결정하는 것일 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 결정된 하나 이상의 텍스처 점들(710)의 색상들에 기초하여, 제1 점(720)에 대응되는 2D 이미지(230)상의 점(730)의 색상을 결정할 수 있다. 설명의 편의상 2D 이미지에 있는 점을 렌더링 점이라 부르기로 한다. 3D 폴리곤 메시 렌더링 장치(100)는 3D 폴리곤 메시(220)의 제1 점(720)을 하나 이상의 텍스처 이미지들(210) 각각으로 재투영함으로써, 제1 점(720)에 대응되는 하나 이상의 텍스처 이미지들상의 하나 이상의 제1 텍스처 점들(710)을 결정하고, 하나 이상의 제1 텍스처 점들(710)의 색상들에 기초하여, 제1 점(720)에 대응되는 2D 이미지(230)상의 제1 렌더링 점(730)의 색상을 결정할 수 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 제1 텍스처 점들의 RGB 값들 각각의 평균값을 제1 렌더링 점의 각 RGB 값으로 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 하나 이상의 제1 텍스처 점들의 알파 값들에 기초하여 제1 렌더링 점의 알파 값을 결정할 수 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 제1 텍스처 점들의 알파 값들의 평균값을 제1 렌더링 점의 알파 값으로 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 복수의 캡처 이미지들에 기초한 3D 재구성에 의하여 3D 폴리곤 메시를 생성하는 과정에서 결정된 카메라 파라미터들을 획득하고, 획득한 카메라 파라미터들을 이용하여 재투영을 수행할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 텍스처 이미지들의 가중치들을 이용하여 렌더링 점의 색상을 결정할 수 있다. 일 실시예에서, 3D 폴리곤 메시 렌더링 장치(100)는 캡처 카메라 위치가 렌더 카메라 위치에 가까울수록 해당 텍스처 이미지의 가중치를 높게 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 렌더 카메라 위치 및 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 하나 이상의 텍스처 이미지들 각각의 가중치를 결정하고, 결정된 가중치들 및 하나 이상의 제1 텍스처 점들의 색상들에 기초하여 제1 렌더링 점의 색상을 결정할 수 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 결정된 가중치들을 이용하여 제1 텍스처 점들의 RGB 값들 각각의 가중합을 제1 렌더링 점의 각 RGB 값으로 결정할 수 있다. 이때 3D 폴리곤 메시 렌더링 장치(100)는 텍스처 이미지들의 가중치들의 합이 1이 아닌 경우, 가중치들의 합이 1이 되도록 정규화할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 다음 식에 의해 제1 렌더링 점의 색상을 결정할 수 있다.
Figure pat00002
여기서 W'i는 i번째 텍스처 이미지의 가중치, TextureImagei(u,v)는 i번째 텍스처 이미지상의 좌표 u, v의 텍스처 점의 색상, Rendering color는 해당 렌더링 점의 색상, M은 텍스처 이미지의 개수이다. M은 식 (1)의 N과 같을 수도 있고, 다를 수도 있다. W'i는 식 (1)의 Wi와 같을 수도 있고, 다를 수도 있다. 위 식은 RGBA 채널 각각에 대하여 적용될 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 결정된 가중치들 및 하나 이상의 제1 텍스처 점들의 알파 값들에 기초하여 제1 렌더링 점의 알파 값을 결정할 수 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 결정된 가중치들을 이용하여 제1 텍스처 점들의 알파 값들의 가중합을 제1 렌더링 점의 알파 값으로 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 다중시점 이미지 중에서 하나 이상의 텍스처 이미지들을 선택한 후에 선택된 하나 이상의 텍스처 이미지들에 대하여 가중치들을 결정할 수도 있고, 다중시점 이미지들 전체에 대하여 가중치들을 결정한 후, 다중시점 이미지 중에서 하나 이상의 텍스처 이미지들을 선택할 수도 있다. 다중시점 이미지들 전체에 대하여 가중치들을 결정하는 것은 앞서 설명한 방법을 이용할 수 있으며, 선택된 하나 이상의 텍스처 이미지들에 대하여 가중치들을 결정하는 방법도 그와 유사한 방법으로 수행될 수 있다. 가중치가 0인 이미지는 2D 렌더링 시 사용되지 않을 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 3D 폴리곤 메시의 제1 점의 위치를 기준으로 하는 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 가중치들에 의한 가중 합과, 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 이 오차가 최소화되도록 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 다음 식에 의해 가중치들을 결정할 수 있다.
Figure pat00003
(2)
여기서 W'i는 i번째 텍스처 이미지의 가중치, C'i는 제1 점의 위치를 기준으로 하는 i번째 텍스처 이미지의 캡처 카메라 위치 벡터, V는 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터, M은 텍스처 이미지의 개수이다.
3D 폴리곤 메시 렌더링 장치(100)는 제1 점의 위치를 기준으로 하는 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 가중치들에 의한 가중 합과, 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 다중시점 이미지들의 가중치들을 결정함으로써 텍스처 이미지들의 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 식 (1)을 이용하여 다중시점 이미지들의 가중치들을 결정함으로써 텍스처 이미지들의 가중치들을 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는 결정된 가중치들을 3D 폴리곤 메시 전체를 렌더링 하는 데에 이용할 수도 있고, 폴리곤 메시의 일부(예: 하나의 정점)를 렌더링하는 데에 이용할 수도 있다. 예를 들어, 3D 폴리곤 메시 렌더링 장치(100)는 각 정점마다 해당 정점에 대응되는 2D 이미지상의 렌더링 점의 색상을 결정하기 위한 가중치들을 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 3D 폴리곤 메시의 제1 점을 렌더링하기 위한 하나 이상의 제1 가중치들을 선택하고, 3D 폴리곤 메시의 제2 점을 렌더링하기 위한 하나 이상의 제2 가중치들을 선택할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치, 렌더 카메라 위치, 및 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 하나 이상의 텍스처 이미지들 각각의 제1 가중치를 결정하고, 제1 가중치들 및 하나 이상의 제1 텍스처 점들의 색상들에 기초하여 제1 렌더링 점의 색상을 결정하며, 제2 점을 하나 이상의 텍스처 이미지들 각각으로 재투영함으로써 제2 점에 대응되는 하나 이상의 텍스처 이미지들상의 하나 이상의 제2 텍스처 점들을 결정하고, 제2 점의 위치, 렌더 카메라 위치, 및 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 하나 이상의 텍스처 이미지들 각각의 제2 가중치를 결정하고, 제2 가중치들 및 하나 이상의 제2 텍스처 점들의 색상들에 기초하여, 제2 점에 대응되는 2D 이미지상의 제2 렌더링 점의 색상을 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제1 점의 위치에 대한 상대적인 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 제1 가중치들을 결정하고, 제2 점의 위치에 대한 상대적인 렌더 카메라 위치 및 제2 점의 위치에 대한 상대적인 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 제2 가중치들을 결정할 수 있다.
3D 폴리곤 메시 렌더링 장치(100)는, 제1 점의 위치를 기준으로 하는 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 제1 가중치들에 의한 가중 합과, 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 제1 가중치들을 결정하고, 제2 점의 위치를 기준으로 하는 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 제2 가중치들에 의한 가중 합과, 제2 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 제2 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 식 (2)를 이용하여 제1 가중치들 및 제2 가중치들을 결정할 수 있다. 3D 폴리곤 메시 렌더링 장치(100)는 식 (1)을 이용하여 제1점 및 제2점에 대한 다중시점 이미지들의 가중치들을 결정함으로써 제1점에 대한 텍스처 이미지들의 제1 가중치들 및 제2점에 대한 텍스처 이미지들의 제2 가중치들을 결정할 수 있다.
도 8은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의해 생성된 2D 이미지를 도시한 도면이다. 도 8의 첫 번째 그림은 본 개시의 일 실시예에 의해 3D 폴리곤 메시를 텍스처 이미지 없이 렌더링하여 생성한 2D 이미지이다. 도 8의 두 번째 그림은 본 개시의 일 실시예에 의해 3D 폴리곤 메시를 텍스처 이미지에 기초하여 알파 값을 이용하지 않고 렌더링하여 생성한 2D 이미지이다. 도 8의 세 번째 그림은 본 개시의 일 실시예에 의해 3D 폴리곤 메시를 텍스처 이미지에 기초하여 알파 값을 이용하여 렌더링하여 생성한 2D 이미지이다. 도 8에서 볼 수 있듯이 알파 값을 이용하면 객체의 가장자리의 머리카락의 실루엣 등의 디테일이 실제와 같이 섬세하게 표현될 수 있다. 종래의 3D 폴리곤 메시 렌더링 방법은 폴리곤이 펼쳐진(unfolded) 2D 텍스처 맵을 이용하기 때문에 텍스처 이미지가 특정 방향에서 바라본 이미지가 아니어서 알파 값을 이용하는 것이 불가능하나, 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법은 렌더 카메라 위치에 기초하여 텍스처 이미지를 선택하고, 선택된 텍스처 이미지의 색상에 기초하여 2D 이미지의 색상을 결정하기 때문에 알파 값을 이용할 수 있으며, 그에 따라 이미지의 실루엣 디테일이 섬세하게 표현될 수 있다.
도 9 내지 11은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지와 종래의 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지를 비교한 도면이다. 도 9 내지 11 각각에서 첫 번째 그림은 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 객체의 2D 이미지이고, 두 번째 그림은 종래의 3D 폴리곤 메시 렌더링 방법에 의한 객체의 2D 이미지이다.
도 9를 참조하면, 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지는 종래 방식의 이미지보다 실루엣 디테일(예: 머리카락)이 훨씬 섬세하고 실제 객체와 유사함을 알 수 있다. 또한, 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지는 종래 방식의 이미지보다 조명(lighting) 효과가 명확하게 나타남을 알 수 있다. 조명 효과는 객체를 바라보는 위치, 즉 캡처 카메라의 위치에 따라 다르게 보이는데, 종래의 3D 폴리곤 메시 렌더링 방법은 폴리곤이 펼쳐진 2D 텍스처 맵을 생성하기 위해 객체를 여러 위치에서 캡처한 캡처 이미지들의 색상을 평균내기 때문에 캡처 카메라의 위치에 따른 조명 효과가 사라지게 되며, 어떤 렌더 카메라 위치에 대해 3D 이미지를 생성하더라도 동일한 텍스처가 적용되므로 렌더 카메라 위치에 따른 조명 효과를 나타내는 것이 불가능하다. 반면에, 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의하면, 여러 위치에서 캡처한 캡처 이미지들 중에서 렌더 카메라 위치에 따라 일부 이미지들을 선택하여 텍스처 이미지로 사용하기 때문에, 렌더 카메라 위치에서 바라보았을 때의 조명 효과를 그대로 표현할 수 있게 된다. 도 10에서도 마찬가지로 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지가 종래 방식의 이미지보다 실루엣 디테일과 조명 효과가 뛰어난 것을 볼 수 있다.
도 11을 참조하면, 종래 방식의 이미지와 달리 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의한 2D 이미지는 사람의 이마와 볼 등에서 조명 효과가 선명하게 표현됨을 알 수 있다. 또한, 종래의 3D 폴리곤 메시 렌더링 방법은 폴리곤이 펼쳐진 2D 텍스처 맵을 생성하기 위해 객체를 여러 위치에서 캡처한 캡처 이미지들 모두의 색상을 평균내기 때문에 이미지의 선명도가 크게 낮아지나, 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의하면 적은 수(예: 1, 3, 또는 8)의 이미지의 색상만을 이용하기 때문에 이미지의 선명도가 매우 높게 된다. 또한 사용하는 텍스처 이미지들의 색상들을 그대로 평균내지 않고 렌더 카메라의 위치에 따른 가중치를 적용함으로써 이미지의 선명도를 더욱 높일 수 있다.
본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의하면 텍스처의 품질이 매우 훌륭하기 때문에 적은 수의 폴리곤을 이용하더라도 결과물의 품질이 높게 된다. 따라서 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의하면 적은 수의 폴리곤을 포함하는 3D 폴리곤 메시를 이용함으로써 데이터 크기를 줄이고 연산 속도를 향상시키면서도 고품질의 2D 이미지를 얻을 수 있다. 본 개시의 일 실시예에 의한 3D 폴리곤 메시 렌더링 방법에 의하면, 실제 사람을 여러 위치에서 캡처한 복수의 캡처 이미지들을 이용하여 사람을 3D 모델링하여 실제 사람과 거의 똑같은 2D 이미지를 렌더링할 수 있으며, 실제 사람과 똑같이 표정을 짓고 말하는 아바타를 생성할 수 있게 된다.
본 개시의 실시예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터에 의해 실행가능한 코드로서 구현하는 것이 가능하다. 컴퓨터로 읽을 수 있는 기록매체는 자기 매체, 광학 매체, ROM, RAM 등 모든 기록매체를 포함한다. 컴퓨터로 읽을 수 있는 기록매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터로 읽을 수 있는 기록매체에 저장되어 배포되거나, 또는 애플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱)의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 컴퓨터로 읽을 수 있는 기록매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
지금까지 본 개시에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 개시를 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 이러한 실시예들을 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 청구범위와 도면을 포함하여 본 개시의 모든 특징들 및/또는 동작들은, 특징들 및/또는 동작들 중 적어도 일부가 서로 배치되지 않는 이상, 어떠한 조합으로도 결합될 수 있다. 비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 개시의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다.
본 개시의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 청구범위의 기술적 사상에 의해서 정해져야 하며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 개시된 모든 구성요소를 포함하는 것으로 이해되어야 한다.

Claims (20)

  1. 프로세서; 및
    인스트럭션들을 저장하는 메모리를 포함하며,
    상기 프로세서는 상기 인스트럭션들을 실행함으로써,
    서로 다른 캡처 카메라 위치(capture camera position)들에서 객체를 캡처한 복수의 캡처 이미지들에 대응되는 복수의 다중시점 이미지(multi-view image)들을 획득하고,
    상기 객체에 대한 3차원(3D) 폴리곤 메시를 획득하고,
    렌더 카메라 위치(render camera position) 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 텍스처 이미지들로 선택하고,
    상기 선택된 하나 이상의 텍스처 이미지들에 기초하여 상기 3D 폴리곤 메시를 2차원(2D) 이미지로 렌더링하는, 3D 폴리곤 메시 렌더링 장치.
  2. 제1항에 있어서,
    상기 복수의 다중시점 이미지들 및 상기 2D 이미지 각각은 알파 채널을 포함하며,
    상기 프로세서는,
    상기 선택된 하나 이상의 텍스처 이미지들의 알파 값들에 기초하여 상기 2D 이미지의 알파 값들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 렌더 카메라 위치 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 각각의 가중치를 결정하고,
    상기 가중치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 상기 하나 이상의 텍스처 이미지들로 선택하는, 3D 폴리곤 메시 렌더링 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 3D 폴리곤 메시의 제1 점의 위치를 기준으로 하는 상기 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 상기 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 상기 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 3D 폴리곤 메시의 제1 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제1 텍스처 이미지들로 선택하고,
    상기 선택된 하나 이상의 제1 텍스처 이미지들에 기초하여 상기 제1 점을 상기 2D 이미지로 렌더링하고,
    상기 3D 폴리곤 메시의 제2 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택하고,
    상기 선택된 하나 이상의 제2 텍스처 이미지들에 기초하여 상기 제2 점을 상기 2D 이미지로 렌더링하는, 3D 폴리곤 메시 렌더링 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제1 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 상기 하나 이상의 제1 텍스처 이미지들로 선택하고
    상기 제2 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제2 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 상기 하나 이상의 제2 텍스처 이미지들로 선택하는, 3D 폴리곤 메시 렌더링 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 각각의 제1 가중치를 결정하고,
    상기 제1 가중치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제1 텍스처 이미지들로 선택하고,
    상기 제2 점의 위치, 상기 렌더 카메라 위치, 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 복수의 다중시점 이미지들 각각의 제2 가중치를 결정하고,
    상기 제2 가중치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 제2 텍스처 이미지들로 선택하는, 3D 폴리곤 메시 렌더링 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제1 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 제1 가중치들을 결정하고,
    상기 제2 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제2 점의 위치에 대한 상대적인 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치를 기준으로 하는 상기 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 상기 제1 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 상기 제1 가중치들을 결정하고,
    상기 제2 점의 위치를 기준으로 하는 상기 복수의 다중시점 이미지들의 캡처 카메라 위치 벡터들의, 상기 제2 가중치들에 의한 가중 합과, 상기 제2 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차가 최소화되도록 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 3D 폴리곤 메시의 제1 점을 상기 하나 이상의 텍스처 이미지들 각각으로 재투영(reprojection)함으로써, 상기 제1 점에 대응되는 상기 하나 이상의 텍스처 이미지들상의 하나 이상의 제1 텍스처 점들을 결정하고,
    상기 하나 이상의 제1 텍스처 점들의 색상들에 기초하여, 상기 제1 점에 대응되는 상기 2D 이미지상의 제1 렌더링 점의 색상을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 복수의 캡처 이미지들에 기초한 3D 재구성에 의하여 상기 3D 폴리곤 메시를 생성하는 과정에서 결정된 카메라 파라미터들을 획득하고,
    상기 카메라 파라미터들을 이용하여 상기 재투영을 수행하는, 3D 폴리곤 메시 렌더링 장치.
  12. 제10항에 있어서,
    상기 복수의 다중시점 이미지들 및 상기 2D 이미지 각각은 알파 채널을 포함하며,
    상기 프로세서는,
    상기 하나 이상의 제1 텍스처 점들의 알파 값들에 기초하여 상기 제1 렌더링 점의 알파 값을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 렌더 카메라 위치 및 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 하나 이상의 텍스처 이미지들 각각의 가중치를 결정하고,
    상기 가중치들 및 상기 하나 이상의 제1 텍스처 점들의 색상들에 기초하여 상기 제1 렌더링 점의 색상을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  14. 제13항에 있어서,
    상기 복수의 다중시점 이미지들 및 상기 2D 이미지 각각은 알파 채널을 포함하며,
    상기 프로세서는,
    상기 가중치들 및 상기 하나 이상의 제1 텍스처 점들의 알파 값들에 기초하여 상기 제1 렌더링 점의 알파 값을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치를 기준으로 하는 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 상기 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 상기 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치, 상기 렌더 카메라 위치, 및 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 하나 이상의 텍스처 이미지들 각각의 제1 가중치를 결정하고,
    상기 제1 가중치들 및 상기 하나 이상의 제1 텍스처 점들의 색상들에 기초하여 상기 제1 렌더링 점의 색상을 결정하고,
    상기 3D 폴리곤 메시의 제2 점을 상기 하나 이상의 텍스처 이미지들 각각으로 재투영함으로써, 상기 제2 점에 대응되는 상기 하나 이상의 텍스처 이미지들상의 하나 이상의 제2 텍스처 점들을 결정하고,
    상기 제2 점의 위치, 상기 렌더 카메라 위치, 및 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 하나 이상의 텍스처 이미지들 각각의 제2 가중치를 결정하고,
    상기 제2 가중치들 및 상기 하나 이상의 제2 텍스처 점들의 색상들에 기초하여, 상기 제2 점에 대응되는 상기 2D 이미지상의 제2 렌더링 점의 색상을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제1 점의 위치에 대한 상대적인 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 제1 가중치들을 결정하고,
    상기 제2 점의 위치에 대한 상대적인 상기 렌더 카메라 위치 및 상기 제2 점의 위치에 대한 상대적인 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치들에 기초하여 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 제1 점의 위치를 기준으로 하는 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 상기 제1 가중치들에 의한 가중 합과, 상기 제1 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 상기 제1 가중치들을 결정하고,
    상기 제2 점의 위치를 기준으로 하는 상기 하나 이상의 텍스처 이미지들의 캡처 카메라 위치 벡터들의, 상기 제2 가중치들에 의한 가중 합과, 상기 제2 점의 위치를 기준으로 하는 렌더 카메라 위치 벡터 간의 오차에 기초하여 상기 제2 가중치들을 결정하는, 3D 폴리곤 메시 렌더링 장치.
  19. 서로 다른 캡처 카메라 위치들에서 객체를 캡처한 복수의 캡처 이미지들에 대응되는 복수의 다중시점 이미지들을 획득하는 동작;
    상기 객체에 대한 3D 폴리곤 메시를 획득하는 동작;
    렌더 카메라 위치 및 상기 복수의 다중시점 이미지들의 캡처 카메라 위치들에 기초하여 상기 복수의 다중시점 이미지들 중 하나 이상을 하나 이상의 텍스처 이미지들로 선택하는 동작; 및
    상기 선택된 하나 이상의 텍스처 이미지들에 기초하여 상기 3D 폴리곤 메시를 2D 이미지로 렌더링하는 동작을 포함하는, 3D 폴리곤 메시 렌더링 장치의 동작 방법.
  20. 제19항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020210115810A 2021-07-22 2021-08-31 다중시점 텍스처를 이용한 3d 폴리곤 메시 렌더링 방법 및 장치 KR20230015246A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111187201.3A CN115695761A (zh) 2021-07-22 2021-10-12 使用多视点纹理的多边形网格渲染方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210096720 2021-07-22
KR1020210096720 2021-07-22

Publications (1)

Publication Number Publication Date
KR20230015246A true KR20230015246A (ko) 2023-01-31

Family

ID=85038529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115810A KR20230015246A (ko) 2021-07-22 2021-08-31 다중시점 텍스처를 이용한 3d 폴리곤 메시 렌더링 방법 및 장치

Country Status (3)

Country Link
US (1) US11688137B2 (ko)
JP (1) JP7316693B2 (ko)
KR (1) KR20230015246A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194951B2 (en) * 2005-09-30 2012-06-05 Philips Electronics North Method and system for generating display data
US20150206337A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for visualization of geo-located media contents in 3d rendering applications
KR102365721B1 (ko) * 2016-01-26 2022-02-22 한국전자통신연구원 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법
WO2019045723A1 (en) * 2017-08-31 2019-03-07 Sony Mobile Communications Inc. METHODS, DEVICES, AND COMPUTER PROGRAM PRODUCTS FOR 3D MESH TEXTURING
JP7187182B2 (ja) 2018-06-11 2022-12-12 キヤノン株式会社 データ生成装置、方法およびプログラム
US11315321B2 (en) * 2018-09-07 2022-04-26 Intel Corporation View dependent 3D reconstruction mechanism
WO2020187723A1 (en) * 2019-03-15 2020-09-24 Mapillary Ab, Methods for analysis of an image and a method for generating a dataset of images for training a machine-learned model
US10872457B1 (en) * 2019-07-18 2020-12-22 Sony Corporation Facial texture map generation using single color image and depth information

Also Published As

Publication number Publication date
JP2023016654A (ja) 2023-02-02
US20230033968A1 (en) 2023-02-02
JP7316693B2 (ja) 2023-07-28
US11688137B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN111656407B (zh) 对动态三维模型的视图进行融合、纹理化和绘制
Alexander et al. The digital emily project: Achieving a photorealistic digital actor
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
JP5945255B2 (ja) 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
KR20190034092A (ko) 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체
Supan et al. Image based shadowing in real-time augmented reality
JP6651679B2 (ja) 光強度画像を生成するための装置及び方法
JP7212519B2 (ja) 画像生成装置および画像を生成する方法
US20180310025A1 (en) Method and technical equipment for encoding media content
JP2018067106A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
US20110175900A1 (en) System and method for mesoscopic geometry modulation
US11430412B2 (en) Freely selected point of view image generating apparatus, reference image data generating apparatus, freely selected point of view image generating method, and reference image data generating method
WO2019123548A1 (ja) 画像生成装置および画像生成方法
JP2004234350A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20120071276A (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
Takai et al. Harmonised texture mapping
KR20200022778A (ko) 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
Rasmuson et al. A low-cost, practical acquisition and rendering pipeline for real-time free-viewpoint video communication
JP2006072805A (ja) ３次元モデル表示装置及び３次元モデル表示プログラム
KR20230015246A (ko) 다중시점 텍스처를 이용한 3d 폴리곤 메시 렌더링 방법 및 장치
CN115695761A (zh) 使用多视点纹理的多边形网格渲染方法和装置
KR20210119700A (ko) 증강현실에서 실제 객체를 지우는 방법 및 장치
US11615574B2 (en) System and method for rendering 6 degree-of-freedom virtual reality
Lechlek et al. Interactive hdr image-based rendering from unstructured ldr photographs

Legal Events

Date Code Title Description
E902 Notification of reason for refusal