KR20220160197A - 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치 - Google Patents

기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치 Download PDF

Info

Publication number
KR20220160197A
KR20220160197A KR1020210068047A KR20210068047A KR20220160197A KR 20220160197 A KR20220160197 A KR 20220160197A KR 1020210068047 A KR1020210068047 A KR 1020210068047A KR 20210068047 A KR20210068047 A KR 20210068047A KR 20220160197 A KR20220160197 A KR 20220160197A
Authority
KR
South Korea
Prior art keywords
texture
triangular
mapping
mapped
target image
Prior art date
Application number
KR1020210068047A
Other languages
English (en)
Inventor
김현철
권혁민
서정일
안상우
양승준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210068047A priority Critical patent/KR20220160197A/ko
Priority to US17/824,455 priority patent/US20220383581A1/en
Publication of KR20220160197A publication Critical patent/KR20220160197A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 기준 이미지를 이용한 텍스처 매핑 방법 및 컴퓨팅 장치에 관한 것으로, 자세하게, 텍스처 매핑 방법은 3차원 메쉬 모델의 공간 구성을 분석하지 않고, 각 삼각면에 대해 기준 이미지와 대상 이미지를 이용해 색상의 연속성을 제공함으로써, 텍스처에 대한 색상의 이질감을 감소시키고 이를 통해 3차원 메쉬 모델의 품질을 향상시킨다.

Description

기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치{TEXTURE MAPPING METHOD USING A REFERENCE IMAGE AND, COMPUTING APPARATUS PERFORMING THE METHOD}
본 발명은 기준 이미지를 이용한 텍스처 매핑 방법 및 컴퓨팅 장치에 관한 것으로, 보다 구체적으로는 대상 객체를 촬영한 객체 이미지들을 기반으로 3차원 메쉬 모델의 텍스처를 매핑하기 위한 방법 및 장치에 관한 것이다.
3차원 모델 재구성 기술은 객체를 촬영한 여러 장의 이미지로부터 객체의 3차원 모델을 재구성할 수 있는 기술이다. 자세하게, 3차원 모델 재구성 기술은 점 데이터인 포인트 클라우드를 생성하는 과정과 이를 기반으로 메쉬 형태인 3차원 모델을 생성하는 과정을 포함한다. 일반적으로, 3차원 메쉬 모델은 삼각형 face의 집합으로 구성되어 해당 객체의 구조적인 형태를 표현한다. 삼각형 face는 3개의 꼭지점으로 구성되고 각 꼭지점은 색상값을 가진다. 꼭지점의 색상만으로는 3차원 모델의 색상을 표현하기에 부족함이 있으므로, 객체를 촬영한 컬러 이미지에서 해당 face에 대응하는 부분을 매핑시키는 텍스처 매핑 과정을 거쳐야 한다.
또한, 객체를 촬영하면, 객체의 동일한 영역에 대응하여 복수의 이미지에 각각 존재하므로, 텍스처 매핑 과정에서 특정 face에 매핑될 수 있는 컬러 이미지는 복수 개가 존재한다. 컬러 이미지들로 촬영된 객체는 동일한 부분이라도 촬영 위치나 카메라의 종류에 따라서 색상이나 해상도의 변화가 발생한다.
따라서, 텍스처 매핑 과정에서 어떤 이미지를 매핑하는지에 따라 3차원 모델의 색상이나 품질이 달라지며, 이웃한 face가 상이한 컬러값을 가지게 되면 최종 렌더링 단계에서 색상의 불연속성이 나타나므로 사용자가 인지하는 품질을 떨어뜨리는 원인이 된다. 삼각형의 경계 부분에서 블렌딩을 수행해서 색상의 불일치를 완화할 수도 있는데, 이 경우 흐림 현상이 발생해 품질이 저하되는 문제가 있다.
본 발명은 3차원 메쉬 모델을 구성하는 각 삼각면들에 대해 색상 표준이 되는 기준 이미지와 해상도 표준이 되는 대상 이미지를 사용하여 색상의 연속성과 높은 해상도를 유지하는 텍스처 매핑 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 텍스처 매핑 방법은 대상 객체를 촬영한 객체 이미지들로부터 3차원 메쉬 모델을 생성하는 단계; 상기 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정하는 단계; 상기 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택하여 선택된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하는 단계; 상기 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 선택하여 선택된 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정하는 단계; 및 상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 기준 이미지들을 결정하는 단계는, 상기 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다.
본 발명의 실시예에 따른 기준 이미지의 매핑 영역을 결정하는 단계는, 상기 텍스처가 매핑되지 않은 삼각면에 대해 복수의 기준 이미지가 할당되는 경우, 복수의 기준 이미지 간에 블렌딩(Blending)을 수행하는 단계; 상기 블렌딩된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 대상 이미지의 매핑 영역을 결정하는 단계는, 상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하는 단계; 상기 후보 이미지들 각각으로부터 텍스처가 매핑되지 않은 삼각면에 대응하는 각 매핑 영역을 결정하는 단계; 상기 결정된 각 후보 이미지의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 판단하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하는 단계; 및 상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 대상 이미지의 매핑 영역을 결정하는 단계는, 상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하는 단계; 상기 후보 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면의 법선 방향(Normal)과 수직에 가장 가까운 후보 이미지를 선택하고, 상기 선택된 후보 이미지를 할당 가능한 대상 이미지로 결정하는 단계; 및 상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 단계는, 상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 삼각면에 대한 텍스처를 생성하는 단계; 상기 대상 객체의 3차원 메쉬 모델과 생성된 텍스처 간 매핑 관계를 나타내는 텍스처 매핑 정보를 생성하는 단계; 및 상기 생성된 텍스처 및 텍스처 매핑 정보를 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 삼각면에 대한 텍스처를 생성하는 단계는, 상기 대상 이미지의 매핑 영역을 구성하는 픽셀값에서 기준 이미지의 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지의 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성할 수 있다.
본 발명의 다른 실시예에 따른 텍스처 매핑 방법은 대상 객체를 촬영한 복수의 객체 이미지들로부터 형성된 3차원 메쉬 모델을 구성하는 폴리곤의 삼각면들 각각에 대한 텍스처를 매핑하는 단계; 상기 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 상기 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정하는 단계; 상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역 및 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 이용하여 매핑되지 않은 삼각면에 대응하는 텍스처를 생성하는 단계; 및 상기 생성된 텍스처를 매핑되지 않은 삼각면에 매핑하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 기준 이미지 및 대상 이미지를 결정하는 단계는, 상기 복수의 객체 이미지들 중에서 폴리곤의 각 삼각면들에 매핑 가능한 텍스처를 커버 가능한 적어도 하나의 기준 이미지를 결정하는 단계; 및 상기 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 결정하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 기준 이미지를 결정하는 단계는, 상기 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다.
본 발명의 실시예에 따른 대상 이미지를 결정하는 단계는, 상기 복수의 객체 이미지들 중 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하여, 후보 이미지들 각각의 매핑 영역을 결정하는 단계; 및 상기 각각의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 고려하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 대상 이미지를 결정하는 단계는, 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하는 단계; 상기 후보 이미지들 중 삼각면의 법선 방향과 수직에 가장 가까운 후보 이미지를 상기 삼각면에 할당 가능한 대상 이미지로 결정하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 텍스처를 생성하는 단계는, 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역의 픽셀값에서 상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성할 수 있다.
본 발명의 실시예에 따른 프로세서를 포함하는 컴퓨팅 장치에 있어서, 상기 프로세서는, 대상 객체를 촬영한 객체 이미지들로부터 3차원 메쉬 모델을 생성하고, 상기 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정하고, 상기 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택하여 선택된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하고, 상기 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 선택하여 선택된 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정하고, 상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑할 수 있다.
본 발명의 실시예에 따른 프로세서는, 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하고, 후보 이미지들 각각으로부터 텍스처가 매핑되지 않은 삼각면에 대응하는 각 매핑 영역을 결정하고, 상기 결정된 각 후보 이미지의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 판단하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하고, 상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하고, 상기 후보 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면의 법선 방향(Normal)과 수직 에 가장 가까운 후보 이미지를 선택하고, 상기 선택된 후보 이미지를 할당 가능한 대상 이미지로 결정하고, 상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 삼각면에 대한 텍스처를 생성하고, 상기 대상 객체의 3차원 메쉬 모델과 생성된 텍스처 간 매핑 관계를 나타내는 텍스처 매핑 정보를 생성하고, 상기 생성된 텍스처 및 텍스처 매핑 정보를 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 대상 이미지의 매핑 영역을 구성하는 픽셀값에서 기준 이미지의 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지의 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성할 수 있다.
본 발명의 다른 실시예에 따른 프로세서를 포함하는 컴퓨팅 장치에 있어서, 상기 프로세서는, 대상 객체를 촬영한 복수의 객체 이미지들로부터 형성된 3차원 메쉬 모델을 구성하는 폴리곤의 삼각면들 각각에 대한 텍스처를 매핑하고, 상기 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 상기 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정하고, 상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역 및 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 이용하여 매핑되지 않은 삼각면에 대응하는 텍스처를 생성하고, 상기 생성된 텍스처를 매핑되지 않은 삼각면에 매핑할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역의 픽셀값에서 상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성할 수 있다.
본 발명의 일실시예에 의하면, 텍스처 매핑 방법은 각 삼각면들(face)에 대한 기준 이미지와 대상 이미지 간 색상의 연속성을 제공할 수 있다.
본 발명의 일실시예에 의하면, 텍스처 매핑 방법은 텍스처가 갖는 색상의 이질감을 감소시키고 3차원 메쉬 모델에 매핑 가능한 이미지 중 높은 해상도의 이미지를 선택함으로써, 텍스처가 매핑된 3차원 메쉬 모델의 품질을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 텍스처를 매핑하는 전반적인 과정을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨팅 장치에 대한 세부적인 구성을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 대상 객체를 촬영한 객체 이미지들로부터 기준 이미지를 선택하는 과정을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 하나의 기준 이미지와 복수의 대상 이미지를 이용하여 삼각면에 대한 새로운 텍스처를 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 텍스처 매핑 방법을 설명하기 위해 도시한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 텍스처 매핑 방법을 설명하기 위해 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 텍스처를 매핑하는 전반적인 과정을 설명하기 위해 도시한 도면이다.
도 1을 참고하면, 컴퓨팅 장치(101)는 카메라를 통해 대상 객체(103)를 촬영한 객체 이미지들(102)로부터 3차원 메쉬 모델을 재구성할 수 있다. 본 발명은 외부에 존재하는 카메라를 이용해 대상 객체의 주변을 360도 회전하면서 대상 객체(103)에 대한 객체 이미지들(102)을 획득할 수 있다. 객체 이미지들(102)은 대상 객체(103)를 촬영한 카메라의 위치 및 각도에 따른 서로 다른 화각으로 촬영된 이미지일 수 있다.
컴퓨팅 장치(101)는 객체 이미지들로부터 3차원 좌표를 가지고 있는 점들에 대한 대상 객체(103)의 전체 형상을 나타내는 포인트 클라우드(Point Cloud)를 생성할 수 있다. 포인트 클라우드는 메쉬화 하고자 하는 모델을 촬영한 객체 이미지들의 선명도 또는 해상도에 따라 픽셀의 개수(점의 개수)가 달라질 수 있다. 컴퓨팅 장치(101)는 포인트 클라우드를 이용하여 대상 객체(103)에 대한 3차원 메쉬 모델을 생성할 수 있다.
컴퓨팅 장치(101)는 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다. 여기서, 기준 이미지는 폴리곤의 각 삼각면들의 색상을 결정하기 위한 기본이 되는 이미지로, 텍스처를 매핑하는 과정에서의 이질감을 줄이기 위한 목적으로 사용될 수 있다. 컴퓨팅 장치(101)는 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다. 여기서, 기준 좌표는 3차원 모델이 가지는 공간 좌표를 의미할 수 있다. 컴퓨팅 장치(101)는 대상 객체를 촬영한 복수의 객체 이미지들로부터 형성된 3차원 메쉬 모델을 구성하는 폴리곤의 삼각면들 각각에 대한 텍스처를 매핑할 수 있다.
컴퓨팅 장치(101)는 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정할 수 있다. 컴퓨팅 장치(101)는 기준 이미지와 대상 이미지가 결정되면, 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하고, 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정할 수 있다. 컴퓨팅 장치(101)는 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑할 수 있다.
이때, 컴퓨팅 장치(101)는 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역의 픽셀값에서 1) 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균과 2) 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨팅 장치에 대한 세부적인 구성을 설명하기 위해 도시한 도면이다.
도 2를 참고하면, 컴퓨팅 장치(201)는 3차원 메쉬 모델에 매핑되는 텍스처를 재구성하기 위한 프로세서(202)를 포함하고, 프로세서(202)는 3차원 메쉬 모델의 공간 구성을 분석하지 않고, 각 삼각면에 대해 기준 이미지와 대상 이미지를 이용해 색상의 연속성을 제공할 수 있다.
이를 위해, S1(203)에서 프로세서(202)는 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정할 수 있다.
① 기준 이미지
컴퓨팅 장치(101)는 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택할 수 있다. 상세하게, 메쉬의 삼각면에 색상 일관성 고려 없이 이미지를 선택하여 붙이는 경우, 각 이미지들이 가지는 색상 차이는 삼각면의 색상 차이로 나타날 수 있다. 이러한 색상 차이에 대한 문제점을 해결하기 위해, 본 발명은 삼각면에 매핑 가능한 기준 이미지를 설정할 수 있으며, 이에, 본 발명은 해상도가 낮더라도 가능한 많은 삼각면을 포함하도록 촬영된 기준 이미지를 선택함으로써, 삼각면의 색상 차이를 최소화할 수 있다.
결국, 본 발명은 복수의(많은) 삼각면이 동일한 기준 이미지를 가지도록 선택되는 것이므로, 이러한 많은 삼각면들은 색상의 불연속성이 없는 삼각면 일 수 있다. 반면, 하나의 이미지에 많은 삼각면이 포함되어 있으므로 삼각면에 대응되는 이미지의 해상도는 낮게 나타날 수 있다. 따라서, 본 발명은 대상 이미지의 높은 해상도를 적용함으로써, 기준 이미지로부터 확보한 색상의 일관성을 유지하고, 대상 이미지로부터 얻은 높은 해상도를 확보할 수 있다.
다만, 본 발명은 메쉬 모델에 따라서 한 장의 기준 이미지로 전체 모델을 cover할 수 없는 경우가 발생할 수 있다. 예를 들어, 원기둥 모양의 3차원 메쉬의 모든 삼각면을 cover 하려면, 3장의 기준 이미지가 필요하게 되고, 기준 이미지가 중첩되는 영역 삼각면들은 2장의 기준 이미지가 할당될 수 있다. 이 경우는 기준 이미지들의 중첩 영역의 색상을 블렌딩함으로써 색상 연속성을 확보하고, 대상 이미지를 적용함으로써 높은 해상도를 확보할 수 있다.
또한, 본 발명은 삼각면에 매핑 가능한 모든 객체 이미지들의 삼각면 매핑 영역의 평균값 사용할 수 있다. 다시 말해, 본 발명은 도 4에 기재된 수학식 1에서 나타낸 것처럼 실제 필요한 것이 기준 이미지의 삼각면 평균값이므로, 상기 모든 객체 이미지들의 삼각면 매핑 영역 평균값을 기준 이미지의 평균값으로 사용하여 텍스처를 생성할 수 있다. 즉, 각 삼각면마다 객체 이미지들의 삼각면 매핑 영역의 평균값 픽셀을 가지는 기준 이미지를 사용하는 것과 동일할 수 있다. 이는 기준 이미지를 선택하기 어려운 복잡한 객체에 적용할 수 있다.
따라서, 상술한 내용을 기반으로 컴퓨팅 장치(101)는 텍스처가 매핑되지 않은 하나의 삼각면에 하나의 기준 이미지를 할당할 수 있다. 컴퓨팅 장치(101)는 할당된 기준 이미지를 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택할 수 있다.
또한, 컴퓨팅 장치(101)는 텍스처가 매핑되지 않은 삼각면에 대해 복수의 기준 이미지가 할당되는 경우, 복수의 기준 이미지 간에 블렌딩(Blending)을 수행할 수 있다. 컴퓨팅 장치(101)는 블렌딩된 기준 이미지를 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지로 선택할 수 있다.
② 대상 이미지
컴퓨팅 장치(101)는 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 선택할 수 있다. 자세하게, 컴퓨팅 장치(101)는 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출할 수 있다. 컴퓨팅 장치(101)는 후보 이미지들 각각로부터 텍스처가 매핑되지 않은 삼각면에 대응하는 각 매핑 영역을 결정할 수 있다.
컴퓨팅 장치(101)는 각 후보 이미지의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 판단하여 삼각면에 할당 가능한 대상 이미지를 결정할 수 있다. 컴퓨팅 장치(101)는 각 후보 이미지의 매핑 영역의 픽셀값을 비교하여 가장 많은 픽셀값을 가지는 후보 이미지를 추출할 수 있다. 컴퓨팅 장치(101)는 해당 후보 이미지의 해상도가 높은 것으로 판단하고, 이를 삼각면에 할당 가능한 대상 이미지로 결정할 수 있다. 컴퓨팅 장치(101)는 후보 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면의 법선 방향(Normal)과 수직에 가장 가까운 후보 이미지를 선택하고, 선택된 후보 이미지를 할당 가능한 대상 이미지로 결정할 수 있다.
S2(204)에서 프로세서(202)는 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 결정할 수 있다. 프로세서(202)는 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 결정할 수 있다. 이후, 프로세서(202)는 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 매핑되지 않은 삼각면에 대응하는 텍스처를 생성할 수 있다.
S3(205)에서 프로세서(202)는 생성된 텍스처를 매핑되지 않은 삼각면에 매핑함으로써, 3차원 메쉬 모델에 매핑되는 텍스처를 재구성할 수 있다.
도 3은 본 발명의 일실시예에 따른 대상 객체를 촬영한 객체 이미지들로부터 기준 이미지를 선택하는 과정을 설명하기 위해 도시한 도면이다.
도 3을 참고하면, 컴퓨팅 장치는 폴리곤의 각 삼각면들에 매핑되는 텍스처의 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다. 컴퓨팅 장치는 각 삼각면들의 색상을 결정함에 있어, 기준 이미지와 대상 이미지를 사용함으로써, 시각적으로 색상의 불연속성을 줄이고, 해상도를 높게 유지시킬 수 있다.
자세하게, 컴퓨팅 장치는 3차원 메쉬 모델을 구성하는 각 삼각면들(face)을 모두 포함할 수 있도록 색상에 관한 기준 이미지들을 선택할 수 있다. 컴퓨팅 장치는 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다. 기준 이미지들 각각은 대상 객체를 촬영한 카메라의 각도, 방향에 따른 서로 다른 삼각면의 크기, 모양, 색상을 가질 수 있다. 일례로, 기준 이미지는 무작위로 선택되거나, 사용자에 의해 선택되거나, 가장 적은 수의 색상 기준 이미지로 모든 face들을 커버할 수 있도록 선택될 수 있다.
컴퓨팅 장치는 삼각면들에 기준 이미지를 각각 할당할 수 있다. 여기서, 기준 이미지로 선택된 이미지들은 중첩되는 부분의 색상을 블렌딩하여 사용할 수도 있다.
도 4는 본 발명의 일실시예에 따른 하나의 기준 이미지와 복수의 대상 이미지를 이용하여 삼각면에 대한 새로운 텍스처를 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 4를 참고하면, 컴퓨팅 장치는 기준 이미지와 대상 이미지를 이용하여 삼각면들 각각의 색상을 결정할 수 있다. 구체적으로, 컴퓨팅 장치는 3차원 메쉬 모델을 구성하는 모든 삼각면 각각에 대한 텍스처를 매핑할 수 있다.
① 텍스처 매핑 완료
컴퓨팅 장치는 모든 삼각면 각각에 대한 텍스처를 매핑이 완료되면, 3차원 메쉬 모델에 대한 모델링을 종료할 수 있다.
② 텍스처 매핑 미완료
컴퓨팅 장치는 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면이 존재하면, 기준 이미지들 중 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택할 수 있다. 컴퓨팅 장치는 선택된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정할 수 있다.
이때, 컴퓨팅 장치는 처리 중인 삼각면(텍스처가 매핑되지 않은 face)에 기준 이미지가 2개 이상 할당되는 경우, 랜덤으로 기준 이미지를 선택하거나, 또는, 기준 이미지들을 블렌딩하여 사용할 수 있다.
컴퓨팅 장치는 색상 기준 이미지가 선택되었으면, 처리 중인 삼각면에 대한 대상 이미지를 선택하고, 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정할 수 있다. 이때, 처리 중인 삼각면이 촬영된 모든 객체 이미지는 후보 이미지가 될 수 있으며, 컴퓨팅 장치는 후보 이미지들 각각이 처리 중인 삼각면에 매핑되었을 때, 매핑 영역의 해상도가 가장 높은 이미지를 대상 이미지로 선택할 수 있다.
또는, 컴퓨팅 장치는 처리 중인 삼각면의 법선 방향(normal)과 수직에 가까운 이미지를 대상 이미지로 선택할 수도 있다. 이때, 대상 이미지는 기준 이미지와 동일한 이미지일 수 있다. 다시 말해, 기준 이미지가 다른 이미지들에 비해 처리 중인 삼각면에 높은 해상도를 가질 경우, 기준 이미지가 대상 이미지로도 사용될 수 있다.
이후, 컴퓨팅 장치는 처리 중인 삼각면에 대한 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 처리 중인 삼각면에 대응되는 새로운 텍스처를 생성할 수 있다. 새로운 텍스처를 생성하는 방법은 다음과 같다.
색상 기준 이미지에서 face에 대응되는 부분을 삼각형(ArBrCr)이라고 정의하고, 대상 이미지에서 face에 대응되는 부분을 삼각형(AtBtCt)이라고 정의할 때, 컴퓨팅 장치는 아래의 수학식 1을 이용하여 텍스처를 생성할 수 있다.
Figure pat00001
다시 말해, 컴퓨팅 장치는 수학식 1과 같이 삼각형(AtBtCt)를 이루는 픽셀값에서 삼각형(ArBrCr)의 평균값(R(E))과 삼각형(AtBtCt)의 평균값(T(E))의 차를 더하여 텍스처를 생성할 수 있다. 여기서, 픽셀값은 R, G, B 채널 각각의 값을 의미하며 수학식 1은 각 채널에 대해서 적용될 수 있다. 그리고, 수학식 1에서 픽셀 최대값은 2n -1 (n은 채널당 할당된 bit수)로 만약, R, G, B 각 채널이 8bit씩 할당되었으면, 각 채널의 최대값은 255가 될 수 있다.
기준 이미지에서 face 1에 대응되는 부분을 삼각형 ArBrCr(401)로 표시하였고, face 2에 대응되는 부분을 삼각형 ArCrDr (402)로 표시하였다. 대상 이미지 1에서 face 1에 대응 영역은 삼각형 At1Bt1Ct1(403)으로 표시하였고, 대상 이미지 2에서 face 2에 대응되는 영역은 삼각형 At2Ct2Dt2(404)로 나타내었다. 그리고, 생성된 텍스처에서 face 1에 대응되는 부분은 삼각형 AoBoCo (405)로 나타었고, face 2에 대응되는 부분은 삼각형 AoCoDo (406) 으로 나타내었다.
이때, 삼각형(401)과 삼각형(402)의 필셀값이 각각 5개이고, 삼각형(403)과 삼각형(404)의 필셀값이 각각 20개인 경우의 예제로서, 생성되는 텍스처의 삼각형(405)와 삼각형(406)의 필셀값도 20개가 되며 각 삼각형의 픽셀 값의 예를 그래프(401-1)부터 삼각형(406-1)에 나타내었다.
다시 말해, 그래프(401-1), (403-1)와 같이 기준 이미지의 삼각형(401)의 픽셀값 평균이 R1(E)이고 이에 대응되는 대상 이미지 1의 삼각형(403)의 픽셀값 평균이 T1(E) 이면, 수학식 1에 의해 계산되는 픽셀값은 그래프(405-1)과 같이 나타낼 수 있다. 즉 그래프(403-1)에서의 픽셀 값에 R1(E) - T1(E) 값을 일괄적으로 더한 결과로서 그래프(405-1)의 빨간색 원이 최종 픽셀값이 된다. 따라서 그래프(405-1)의 픽셀 값 평균은 R1(E)와 같으며, 픽셀의 개수 및 픽셀값의 변화는 그래프(403-1)과 동일함을 알 수 있다.
이웃한 다른 face의 경우를 살펴보면, 그래프(402-1), (404-1)와 같이 기준 이미지의 삼각형(402)의 픽셀값 평균이 R2(E)이고 이에 대응되는 대상 이미지 2의 삼각형 404의 픽셀값의 평균이 T2(E)이면, 수학식 1에 의해 계산되는 픽셀값은 그래프(406-1)과 같이 나타낼 수 있다. 이는 그래프(404-1)에서의 픽셀값에 R2(E) - T2(E)를 더한 것으로, R2(E) - T2(E)가 음수이므로 404-1의 픽셀 값들보다 작아지게 된다. 그래프(406-1)에서의 픽셀값 평균은 R2(E)와 같으며, 픽셀의 개수 및 픽셀값의 변화는 그래프(404-1)과 동일하게 나타날 수 있다.
그래프(405-1)과 그래프(406-1)에서의 픽셀값에 대한 평균값은 그래프(401-1)과 그래프(402-1)의 평균값과 각각 동일하므로 생성된 텍스처의 삼각형(405)와 삼각형(406)의 색상은 시각적으로 이질감이 감소될 수 있다. 동시에 삼각형(405)와 삼각형(406)은 삼각형(403)과 삼각형(404)의 해상도를 각각 유지하므로 해상도의 저하도 방지할 수 있는 장점이 있다. 이러한 본 발명의 방법은 레이저 스캐너와 같은 액티브 센싱 장비로 3차원 메쉬 모델을 구성하고 컬러 이미지로 텍스처를 매핑하는 경우에도 적용할 수 있다.
이후, 컴퓨팅 장치는 새로운 텍스처가 생성되면, 3차원 모델과 텍스처의 매핑 관계를 나타내는 텍스처 매핑 정보, 그리고 새로운 텍스처를 포함하는 이미지를 저장할 수 있다.
도 5는 본 발명의 일실시예에 따른 텍스처 매핑 방법을 설명하기 위해 도시한 흐름도이다.
단계(501)에서 컴퓨팅 장치는 대상 객체를 촬영한 객체 이미지들로부터 3차원 메쉬 모델을 생성할 수 있다.
단계(502)에서 컴퓨팅 장치는 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다. 컴퓨팅 장치는 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다.
단계(503)에서 컴퓨팅 장치는 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택할 수 있다. 컴퓨팅 장치는 결정된 기준 이미지들 중에서 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택할 수 있다. 그리고, 컴퓨팅 장치는 선택된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정할 수 있다. 이때, 컴퓨팅 장치는 텍스처가 매핑되지 않은 삼각면에 대해 복수의 기준 이미지가 할당되는 경우, 복수의 기준 이미지 간에 블렌딩을 수행할 수 있다. 컴퓨팅 장치는 블렌딩된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정할 수 있다.
단계(504)에서 컴퓨팅 장치는 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 선택할 수 있다. 다시 말해, 컴퓨팅 장치는 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출할 수 있다. 컴퓨팅 장치는 후보 이미지들 각각로부터 텍스처가 매핑되지 않은 삼각면에 대응하는 각 매핑 영역을 결정할 수 있다.
① 해상도
컴퓨팅 장치는 각 후보 이미지의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 판단하여 삼각면에 할당 가능한 대상 이미지를 결정할 수 있다. 컴퓨팅 장치는 결정된 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정할 수 있다.
② 법선 방향
컴퓨팅 장치는 후보 이미지들 중에서 텍스처가 매핑되지 않은 삼각면의 법선 방향(Normal)과 수직에 가장 가까운 후보 이미지를 선택하고, 후보 이미지를 할당 가능한 대상 이미지로 결정할 수 있다. 컴퓨팅 장치는 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택할 수 있다.
단계(505)에서 컴퓨팅 장치는 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑할 수 있다. 상세하게, 컴퓨팅 장치는 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 삼각면에 대한 텍스처를 생성할 수 있다. 여기서, 컴퓨팅 장치는 대상 이미지의 매핑 영역을 구성하는 픽셀값에서 기준 이미지의 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지의 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성할 수 있다.
컴퓨팅 장치는 대상 객체의 3차원 메쉬 모델과 생성된 텍스처 간 매핑 관계를 나타내는 텍스처 매핑 정보를 생성한 후, 생성된 텍스처 및 텍스처 매핑 정보를 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 텍스처 매핑 방법을 설명하기 위해 도시한 흐름도이다.
단계(601)에서 컴퓨팅 장치는 대상 객체를 촬영한 복수의 객체 이미지들로부터 형성된 3차원 메쉬 모델을 구성하는 폴리곤의 삼각면들 각각에 대한 텍스처를 매핑할 수 있다.
단계(602)에서 컴퓨팅 장치는 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정할 수 있다. 자세하게, 컴퓨팅 장치는 복수의 객체 이미지들 중에서 폴리곤의 각 삼각면들에 매핑 가능한 텍스처를 커버 가능한 적어도 하나의 기준 이미지를 결정할 수 있다. 이때, 컴퓨팅 장치는 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정할 수 있다.
또한, 컴퓨팅 장치는 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 결정할 수 있다. 컴퓨팅 장치는 복수의 객체 이미지들 중 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하여, 후보 이미지들 각각의 매핑 영역을 결정할 수 있다.
컴퓨팅 장치는 각각의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 고려하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하거나 또는, 후보 이미지들 중 삼각면의 법선 방향과 수직에 가장 가까운 후보 이미지를 삼각면에 할당 가능한 대상 이미지로 결정할 수 있다.
단계(603)에서 컴퓨팅 장치는 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역 및 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 이용하여 매핑되지 않은 삼각면에 대응하는 텍스처를 생성할 수 있다.
단계(604)에서 컴퓨팅 장치는 단계(603)에서 생성된 텍스처를 매핑되지 않은 삼각면에 매핑할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 컴퓨팅 장치
102: 대상 객체
103: 객체 이미지
104: 텍스처가 매핑된 3차원 메쉬 모델

Claims (20)

  1. 대상 객체를 촬영한 객체 이미지들로부터 3차원 메쉬 모델을 생성하는 단계;
    상기 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정하는 단계;
    상기 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택하여 선택된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하는 단계;
    상기 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 선택하여 선택된 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정하는 단계; 및
    상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 단계;
    를 포함하는 텍스처 매핑 방법.
  2. 제1항에 있어서,
    상기 기준 이미지들을 결정하는 단계는,
    상기 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정하는 텍스처 매핑 방법.
  3. 제1항에 있어서,
    상기 기준 이미지의 매핑 영역을 결정하는 단계는,
    상기 텍스처가 매핑되지 않은 삼각면에 대해 복수의 기준 이미지가 할당되는 경우, 복수의 기준 이미지 간에 블렌딩(Blending)을 수행하는 단계;
    상기 블렌딩된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하는 단계;
    를 포함하는 텍스처 매핑 방법.
  4. 제1항에 있어서,
    상기 대상 이미지의 매핑 영역을 결정하는 단계는,
    상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하는 단계;
    상기 후보 이미지들 각각으로부터 텍스처가 매핑되지 않은 삼각면에 대응하는 각 매핑 영역을 결정하는 단계;
    상기 결정된 각 후보 이미지의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 판단하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하는 단계; 및
    상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택하는 단계;
    를 포함하는 텍스처 매핑 방법.
  5. 제1항에 있어서,
    상기 대상 이미지의 매핑 영역을 결정하는 단계는,
    상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하는 단계;
    상기 후보 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면의 법선 방향(Normal)과 수직에 가장 가까운 후보 이미지를 선택하고, 상기 선택된 후보 이미지를 할당 가능한 대상 이미지로 결정하는 단계; 및
    상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택하는 단계;
    를 포함하는 텍스처 매핑 방법.
  6. 제1항에 있어서,
    상기 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 단계는,
    상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 삼각면에 대한 텍스처를 생성하는 단계;
    상기 대상 객체의 3차원 메쉬 모델과 생성된 텍스처 간 매핑 관계를 나타내는 텍스처 매핑 정보를 생성하는 단계; 및
    상기 생성된 텍스처 및 텍스처 매핑 정보를 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 단계;
    를 포함하는 텍스처 매핑 방법.
  7. 제6항에 있어서,
    상기 삼각면에 대한 텍스처를 생성하는 단계는,
    상기 대상 이미지의 매핑 영역을 구성하는 픽셀값에서 기준 이미지의 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지의 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성하는 텍스처 매핑 방법.
  8. 대상 객체를 촬영한 복수의 객체 이미지들로부터 형성된 3차원 메쉬 모델을 구성하는 폴리곤의 삼각면들 각각에 대한 텍스처를 매핑하는 단계;
    상기 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 상기 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정하는 단계;
    상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역 및 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 이용하여 매핑되지 않은 삼각면에 대응하는 텍스처를 생성하는 단계; 및
    상기 생성된 텍스처를 매핑되지 않은 삼각면에 매핑하는 단계;
    를 포함하는 텍스처 매핑 방법.
  9. 제8항에 있어서,
    상기 기준 이미지 및 대상 이미지를 결정하는 단계는,
    상기 복수의 객체 이미지들 중에서 폴리곤의 각 삼각면들에 매핑 가능한 텍스처를 커버 가능한 적어도 하나의 기준 이미지를 결정하는 단계; 및
    상기 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 결정하는 단계;
    를 포함하는 텍스처 매핑 방법.
  10. 제9항에 있어서,
    상기 기준 이미지를 결정하는 단계는,
    상기 폴리곤의 각 삼각면들에 매핑되는 객체 이미지들의 기준 좌표에서의 이동, 회전 및 화각 정보를 이용하여 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정하는 텍스처 매핑 방법.
  11. 제9항에 있어서,
    상기 대상 이미지를 결정하는 단계는,
    상기 객체 이미지들 중 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하여, 후보 이미지들 각각의 매핑 영역을 결정하는 단계; 및
    상기 각각의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 고려하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하는 단계;
    를 포함하는 텍스처 매핑 방법.
  12. 제8항에 있어서,
    상기 대상 이미지를 결정하는 단계는,
    상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하는 단계; 및
    상기 후보 이미지들 중 삼각면의 법선 방향과 수직에 가장 가까운 후보 이미지를 상기 삼각면에 할당 가능한 대상 이미지로 결정하는 단계;
    를 포함하는 텍스처 매핑 방법.
  13. 제8항에 있어서,
    상기 텍스처를 생성하는 단계는,
    상기 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역의 픽셀값에서 상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성하는 텍스처 매핑 방법.
  14. 프로세서를 포함하는 컴퓨팅 장치에 있어서,
    상기 프로세서는,
    대상 객체를 촬영한 객체 이미지들로부터 3차원 메쉬 모델을 생성하고,
    상기 객체 이미지들 중 3차원 메쉬 모델을 구성하는 폴리곤의 각 삼각면들에 매핑되는 텍스처를 커버하는 기준 이미지들을 결정하고,
    상기 폴리곤의 삼각면들 중 텍스처가 매핑되지 않은 삼각면에 매핑 가능한 기준 이미지를 선택하여 선택된 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 기준 이미지의 매핑 영역을 결정하고,
    상기 객체 이미지들 중에서 텍스처가 매핑되지 않은 삼각면에 할당 가능한 대상 이미지를 선택하여 선택된 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 결정하고,
    상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 컴퓨팅 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하고,
    상기 후보 이미지들 각각으로부터 텍스처가 매핑되지 않은 삼각면에 대응하는 각 매핑 영역을 결정하고,
    상기 결정된 각 후보 이미지의 매핑 영역이 텍스처가 매핑되지 않은 삼각면에 매핑 되었을 때에 각 매핑 영역의 해상도를 판단하여 상기 삼각면에 할당 가능한 대상 이미지를 결정하고,
    상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택하는 컴퓨팅 장치.
  16. 제14항에 있어서,
    상기 프로세서는,
    상기 객체 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면이 포함된 후보 이미지들을 추출하고,
    상기 후보 이미지들 중에서 상기 텍스처가 매핑되지 않은 삼각면의 법선 방향(Normal)과 수직에 가장 가까운 후보 이미지를 선택하고, 상기 선택된 후보 이미지를 할당 가능한 대상 이미지로 결정하고,
    상기 대상 이미지에서 텍스처가 매핑되지 않은 삼각면에 대응하는 대상 이미지의 매핑 영역을 선택하는 컴퓨팅 장치.
  17. 제14항에 있어서,
    상기 프로세서는,
    상기 기준 이미지의 매핑 영역과 대상 이미지의 매핑 영역을 이용하여 상기 삼각면에 대한 텍스처를 생성하고,
    상기 대상 객체의 3차원 메쉬 모델과 생성된 텍스처 간 매핑 관계를 나타내는 텍스처 매핑 정보를 생성하고,
    상기 생성된 텍스처 및 텍스처 매핑 정보를 이용하여 텍스처가 매핑되지 않은 삼각면에 대한 텍스처를 매핑하는 컴퓨팅 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 대상 이미지의 매핑 영역을 구성하는 픽셀값에서 기준 이미지의 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지의 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성하는 컴퓨팅 장치.
  19. 프로세서를 포함하는 컴퓨팅 장치에 있어서,
    상기 프로세서는,
    대상 객체를 촬영한 복수의 객체 이미지들로부터 형성된 3차원 메쉬 모델을 구성하는 폴리곤의 삼각면들 각각에 대한 텍스처를 매핑하고,
    상기 폴리곤의 삼각면들 중에서 매핑되지 않은 삼각면이 존재하면, 객체 이미지들 중에서 상기 매핑되지 않은 삼각면에 대한 기준 이미지 및 대상 이미지를 결정하고,
    상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역 및 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 이용하여 매핑되지 않은 삼각면에 대응하는 텍스처를 생성하고,
    상기 생성된 텍스처를 매핑되지 않은 삼각면에 매핑하는 컴퓨팅 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역의 픽셀값에서 상기 기준 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균과 대상 이미지에서 매핑되지 않은 삼각면에 대응하는 매핑 영역을 구성하는 픽셀값의 평균의 차를 더하여 삼각면에 대한 텍스처를 생성하는 컴퓨팅 장치.
KR1020210068047A 2021-05-27 2021-05-27 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치 KR20220160197A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210068047A KR20220160197A (ko) 2021-05-27 2021-05-27 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치
US17/824,455 US20220383581A1 (en) 2021-05-27 2022-05-25 Texture mapping method using reference image, and computing apparatus performing texture mapping method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068047A KR20220160197A (ko) 2021-05-27 2021-05-27 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR20220160197A true KR20220160197A (ko) 2022-12-06

Family

ID=84194185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068047A KR20220160197A (ko) 2021-05-27 2021-05-27 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치

Country Status (2)

Country Link
US (1) US20220383581A1 (ko)
KR (1) KR20220160197A (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US9224238B2 (en) * 2013-12-06 2015-12-29 Google Inc. Seamless texturing of 3D meshes of objects from multiple views
US9905039B2 (en) * 2014-02-21 2018-02-27 Qualcomm Incorporated View independent color equalized 3D scene texturing
US9911242B2 (en) * 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
WO2019045723A1 (en) * 2017-08-31 2019-03-07 Sony Mobile Communications Inc. METHODS, DEVICES, AND COMPUTER PROGRAM PRODUCTS FOR 3D MESH TEXTURING
US10515477B2 (en) * 2018-02-06 2019-12-24 A9.Com, Inc. Photorealistic three dimensional texturing using canonical views and a two-stage approach
WO2020055406A1 (en) * 2018-09-13 2020-03-19 Sony Corporation Methods, devices, and computer program products for improved 3d mesh texturing
US11055910B1 (en) * 2019-12-09 2021-07-06 A9.Com, Inc. Method and system for generating models from multiple views
US11127223B1 (en) * 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11361495B1 (en) * 2021-01-27 2022-06-14 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for texture mapping based on guidance prior

Also Published As

Publication number Publication date
US20220383581A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US11721071B2 (en) Methods and systems for producing content in multiple reality environments
KR102431117B1 (ko) 포인트 클라우드 맵핑
Kopf et al. One shot 3d photography
US11189043B2 (en) Image reconstruction for virtual 3D
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
Yemez et al. 3D reconstruction of real objects with high resolution shape and texture
US8289318B1 (en) Determining three-dimensional shape characteristics in a two-dimensional image
RU2754721C2 (ru) Устройство и способ для генерирования изображения интенсивности светового излучения
TWI810818B (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
US20230042578A1 (en) Method for Generating a Hierarchical Data Structure, Hierarchical Data Structure, and Method for Streaming Three-Dimensional Objects
WO2018039936A1 (en) Fast uv atlas generation and texture mapping
EP1443464A2 (en) Object rendering from a predetermined viewpoint using microfacets
US20220222842A1 (en) Image reconstruction for virtual 3d
Görtler et al. Stippling of 2D scalar fields
CN113724365A (zh) 一种三维重建方法及装置
JP4291395B2 (ja) 標本点を発生するための厳密に決定論的な方法を用いて画像中の画素の画素値を発生する装置及び方法
US9552531B2 (en) Fast color-brightness-based methods for image segmentation
US10062191B2 (en) System and method for rendering points without gaps
KR20220160197A (ko) 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치
US12015755B2 (en) Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
CN111651033A (zh) 一种人脸的驱动显示方法、装置、电子设备和存储介质
US11146777B2 (en) Efficient image population from captured scene
KR20180073020A (ko) 임의시점 영상의 홀 채움 방법
JP2004227095A (ja) テクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置
CN115239883A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质