KR102287472B1 - 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치 - Google Patents

인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치 Download PDF

Info

Publication number
KR102287472B1
KR102287472B1 KR1020190120410A KR20190120410A KR102287472B1 KR 102287472 B1 KR102287472 B1 KR 102287472B1 KR 1020190120410 A KR1020190120410 A KR 1020190120410A KR 20190120410 A KR20190120410 A KR 20190120410A KR 102287472 B1 KR102287472 B1 KR 102287472B1
Authority
KR
South Korea
Prior art keywords
information
geometry
images
dimensional
reflectometer
Prior art date
Application number
KR1020190120410A
Other languages
English (en)
Other versions
KR20200040194A (ko
Inventor
김민혁
남길주
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US16/622,234 priority Critical patent/US11380056B2/en
Priority to PCT/KR2019/013099 priority patent/WO2020076026A1/ko
Priority to EP19813220.1A priority patent/EP3664039B1/en
Publication of KR20200040194A publication Critical patent/KR20200040194A/ko
Application granted granted Critical
Publication of KR102287472B1 publication Critical patent/KR102287472B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Abstract

인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 3차원 객체 획득 방법은 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 단계; 상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계; 상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 단계; 및 상기 추정된 음영 법선에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리(geometry)를 획득하는 단계를 포함한다.

Description

인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치 {Acquisition Method for 3D Objects Using Unstructured Flash Photography and Apparatus Therefor}
본 발명은 3차원 객체 획득 기술에 관한 것으로, 보다 구체적으로는 인공조명 예를 들어, 플래시가 켜진 상태에서 촬영된 사진 또는 영상으로부터 3차원 객체의 형상 정보와 표면 반사계 정보(Bidirectional Reflectance Distribution Function, BRDF)를 측정 또는 획득할 수 있는 방법 및 그 장치에 관한 것이다.
실제 객체의 외관(appearance)을 획득하고 재현하는 것은 컴퓨터 그래픽의 주요 목표 중 하나이며, 특수한 하드웨어에 의존하는 방법에서 모바일 셋업(setup)에 의존하는 방법까지 다양한 방법들이 제안되었다. 그러나, 이러한 방법의 기능과 비용 간에는 필연적인 트레이드 오프가 존재한다. 예를 들어, 모바일 방식은 저렴하지만 거의 평면 지오메트리(geometry)에 국한된다.
스마트폰 카메라와 같은 상용 카메라로 비평면 3D 객체의 공간적으로 변화하는 표면 반사계 정보(spatially-varying bidirectional reflectance distribution functions, SVBRDF)를 캡쳐하는 것은 다음과 같은 기술적인 문제로 인해 구현되지 못하고 있다.
첫째, SVBRDF 정보를 캡쳐 하려면, 고밀도 광 뷰 공간 샘플링이 필요하다. 이러한 요구사항은 일반적으로 라이트 돔 또는 4차원 갠트리(gantries)와 같은 전문적인 지지 구조를 이용하여 달성된다. 종래 카메라의 내장 플래시는 렌즈와 거의 동일하게 배치되기 때문에 라이트-뷰 공간의 샘플링을 심각하게 제한한다. 또한, 근거리 플래시 조명(또는 플래시 라이트)는 객체를 불균일하게 조명한다.
둘째, 대부분의 기존 카메라에는 뎁스 센서(depth sensor)가 존재하지 않기 때문에 지오메트리를 복구하려면 확산 반사만을 가정하는 수동 멀티 뷰 스테레오 기술에 의존해야 한다. 그러나, 공간적으로 변하는 표면 반사의 존재 하에서, 이것은 부정확한 재구성을 유도한다.
셋째, 핸드헬드 획득의 구조화되지 않은 특성(또는 인공 특성)으로 인해 객체의 3D 포인트와 여러 이미지의 2D 픽셀 간의 픽셀 대응이 보장되지 않는다. 이러한 대응은 고정 카메라와 다양한 광원이 사용되거나 카메라와 광이 물리적 구조에 잠긴(locked) 구조화된 입력을 제공하는 측광(photometric) 스테레오 셋업에서 보장된다. 핸드헬드 접근법에서 객체의 3D 지오메트리뿐만 아니라 내부(intrinsic)/외부(extrinsic) 파라미터가 모두 제공되어야 하는데, 이러한 정보는 가지고 있지 않은 정보이다. 결과로 나타나는 불균형은 구조화되지 않은 캡쳐 셋업을 사용하는 3D 지오메트리 및 SVBRDF의 고품질 재구성의 주된 장애이다.
기존의 카메라를 사용하는 대부분의 획득 방법들은 지오메트리 또는 반사 캡쳐에만 초점을 맞추며, 이 둘을 동시 획득하기 위해 일반적으로 특수 하드웨어 예를 들어, 기계화된 갠트리, 광 스테이지 또는 상용 3D 스캐너 등을 필요로 한다.
기존 연구들은 (a) 알려진 3D 지오메트리로부터의 반사 캡쳐, (b) 2D 평면 지오메트리로 제한된 반사 캡쳐, (c) 확산 반사만을 가정한 3D 재구성, (d) 반사 및 3D 지오메트리의 동시 획득 등으로 분류될 수 있다.
알려진 3D 지오메트리로부터의 반사 캡쳐에 대한 일 실시예 기술은 클러스터된 기저(basis) 반사를 포함하는 알려진 3D 객체의 SVBRDF를 포착하는 방법을 도입하였다. 텍셀 당(per-texel) 반사는 선형 블렌딩으로 점진적으로 개선된다. 다른 일 실시예의 기술은 알려진 3D 지오메트리에 대한 반사 기저와 혼합 가중치를 공동으로 최적화하는 SVBRDF 획득 방법을 제안하였으며, 이 방법은 가장 작은 기저 반사를 찾은 다음 이들을 부드럽게 혼합한다. 하지만, 이러한 기술들은 입력 3D 지오메트리를 정확하게 캡쳐하기 위해 상용 3D 스캐너를 필요로 한다.
스마트폰 카메라와 같은 기존의 카메라도 평면 표면 반사계 정보를 캡쳐하는 데 사용된다. 2D 평면 지오메트리로 제한된 반사 캡쳐에 대한 일 실시예 기술은 LCD 화면과 카메라를 사용하여 각도 반사 샘플의 범위를 제한하는 효율적인 SVBRDF 캡쳐 방법뿐만 아니라 정지된 물질의 특정 경우에 대한 2회 플래시/플래시 없는 반사 획득 방법을 제안하였으며, 이 방법을 통해 작은 재구성으로부터 더 큰 영역이 합성될 수 있다. 다른 일 실시예 기술은 다양한 뷰-포인트로부터 스마트폰 카메라를 사용하여 인접 평면 객체의 외관을 캡쳐하며, 광원은 법선과 반사가 추정되는 능동 조명을 제공한다. 또 다른 일 실시예 기술은 스마트폰 카메라, 핸드헬드 선형 광원 및 맞춤형 BRDF 차트로 구성된 휴대용 시스템을 제안하였으며, 해당 기술은 핸드헬드 광 튜브를 이동시키면서 BRDF 차트를 따라 대상 객체의 짧은 비디오를 촬영하고, 참조 BRDF의 선형 조합으로부터 SVBRDF를 복구한다. 또 다른 일 실시예 기술은 평면 아트 페인팅 반사를 획득하는 것에 초점을 둔 방법과 유사한 획득 셋업을 제시한다. 평면 표면에서 고품질의 SVBRDF를 포착하는 다른 획득 시스템은 보다 정교한 하드웨어에 의존한다. 예를 들어, 컴퓨터 제어 LED 조명을 사용하여 작은 돔에 샘플을 배치함으로써 현미경 스케일에서 반사율과 법선을 동시에 얻는 방법이 있으며, 다른 시스템들은 많은 다른 광-카메라 조합, 선형 광원 반사 측정, 또는 콘덴서 렌즈를 샘플링하기 위해 4축 구형 갠트리를 포함한다. 이러한 획득 방법들은 근접-평판(near-flat) 객체에 국한된다.
음영 법선은 객체 전체에 확산만 존재하는 반사율을 가정하여 지오메트리 세부사항을 향상시키는 데 자주 사용된다. 확산 반사만을 가정한 3D 재구성에 대한 일 실시예 기술은 SfM(Structural From Motion) 및 MVS(Multiview Stereo)를 사용하여 기저(base) 지오메트리를 얻은 다음 확산 반사를 가정함으로써 추정된 표면 법선을 사용하여 지오메트리를 업데이트한다. 다른 일 실시예 기술은 Kinect Fusion을 사용하여 표면의 표시된 거리 함수를 얻고, 표면 음영 큐(cues)를 사용하여 거리 함수를 정제한다. 또 다른 일 실시예 기술은 두 개의 모바일 장치를 각각 카메라와 광원으로 사용하며, 다양한 광 방향하의 고정된 시점에서 여러 이미지를 가져 와서 측광 스테레오로부터 표면을 재구성한다. 최근의 다른 방법들은 객체의 3D 형상을 캡쳐하기 위해 스마트폰 카메라 또는 큰 장면의 사용을 추가로 입증하였으며, 이 방법들은 SfM 및 MVS 기술을 기반으로 한다. 이러한 모든 방법들은 재구성되는 객체의 표면 반사가 확산만 한다고 가정하기 때문에 SVBRDF 정보를 복구할 수 없다.
반사 및 3D 지오메트리의 동시 획득에 대해 설명하면, 반사와 3D 지오메트리를 동시에 포착하는 이전의 연구들은 가격이 수십만 달러에 달하는 특수 하드웨어 셋업에 의존하였다. 예를 들어, 편광 광원을 이용한 이산 구형 조명에 의존하는 많은 광 단계 설계들이 존재한다. 일 실시예의 기술은 고조파 패턴으로 연속 구형 조명을 생성하기 위해 빠르게 공전하는 LED 암(arm)과 비슷한 구조를 만들었으며, 다른 일 실시예 기술은 3D 지오메트리를 위한 위상 이동 패턴을 사용하여 2개의 기계 암에 프로젝터-카메라 쌍이 장착된 구형 갠트리를 만들었고, 여러 카메라의 유사한 돔 구조가 제시되기도 하였다. 이 구조는 3D 지오메트리에 대한 구조화된 광 패턴을 사용하고 BTF(bidirectional texture functions)로 반사를 나타낸다.
또한, 광 프로브, 다중 광 구조 또는 RGB-D 카메라와 같이 저렴한 하드웨어를 필요로 하는 보다 적용 가능한 방법들이 존재한다. 일 실시예 기술은 서클 보드에 72개의 LED 조명으로 구성된 다중 라이트 장치를 제작하여 SfM과 측광 스테레오를 결합함으로써 3D 지오메트리를 얻을 수 있도록 함으로써, 3D 지오메트리를 기반으로 SVBRDF를 더 추정하지만, 이 정보를 사용하여 지오메트리 또는 표면 법선을 정제하지는 않는다. 다른 일 실시예 기술은 광 프로브를 캡쳐함으로써, 구면 조명을 추정하기 위한 환경 맵을 이용하여 역 렌더링 문제를 해결한다. 또 다른 일 실시예 기술은 기계적 회전 스테이지를 사용하여 천 프레임 이상의 비디오 시퀀스를 캡쳐하는데, 이 방법은 꼭지점(또는 정점) 당 조명의 적어도 두 가지 명확한 변화를 가지는 고밀도 샘플링을 필요로 한다. 또 다른 일 실시예 기술은 Kinect Fusion을 이용한 뎁스 정보 의존 뿐만 아니라, 뎁스 카메라로부터 구형 조명 또는 IR 조명을 사용한다. 최근에는 구조화된 조명의 입력 지오메트리에 의존하는 고해상도 법선을 사용하여 확산 반사 및 정반사(specular reflection)의 편광 외관을 캡쳐할 수 있는 SVBRDF 획득 방법을 제안하였다.
이러한 시스템들은 특수한 하드웨어 예를 들어, 부피가 크거나, 구축 비용이 비싸거나, 확보하기 어려울 수 있는 하드웨어에 의존하거나, 다중 광, 구형 조명 또는 뎁스와 같은 추가 정보 소스들을 사용한다. 또한, 기존 방법들은 일반적으로 시간이 많이 걸리는 보정 프로세스를 필요로 하는 반면, 획득 시간은 수 시간 정도 걸리는 경우가 많다.
본 발명의 실시예들은, 인공조명 예를 들어, 플래시가 켜진 상태에서 촬영된 사진 또는 영상으로부터 3차원 객체의 형상 정보와 표면 반사계 정보(BRDF)를 측정 또는 획득할 수 있는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 3차원 객체 획득 방법은 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 단계; 상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계; 상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 단계; 및 상기 추정된 음영 법선에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리(geometry)를 획득하는 단계를 포함한다.
상기 재구성하는 단계는 상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 기저 표면 반사계 정보를 추정하고, 상기 추정된 기저 표면 반사계 정보와 공간적으로 변화하는 가중치 맵에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
나아가. 본 발명의 일 실시예에 따른 3차원 객체 획득 방법은 상기 카메라의 외부 파라미터와 상기 복수의 이미지에 기초하여 상기 3차원 객체의 기저 지오메트리를 획득하는 단계를 더 포함하고, 상기 재구성하는 단계는 상기 복수의 이미지와 상기 기저 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
상기 재구성하는 단계와 상기 추정하는 단계는 상기 카메라에 대해 미리 설정된 이미지 형성 모델을 만족시키는 역 렌더링(inverse rendering) 기법을 이용하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하고, 상기 음영 법선을 추정할 수 있다.
상기 획득하는 단계는 포아송(Poisson) 표면 재구성 기법을 이용하여 상기 3차원 지오메트리를 획득할 수 있다.
상기 재구성하는 단계는 상기 획득된 3차원 지오메트리와 상기 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 업데이트하고, 상기 추정하는 단계는 상기 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 음영 법선을 업데이트하며, 상기 획득하는 단계는 상기 업데이트된 음영 법선에 기초하여 상기 3차원 지오메트리를 업데이트할 수 있다.
상기 수신하는 단계는 인공조명이 켜진 상태에서 촬영된 상기 3차원 객체에 대한 복수의 이미지를 수신할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 3차원 객체 획득 방법은 멀티뷰 스테레오를 사용하여 상기 복수의 이미지와 상기 카메라의 포즈로부터 상기 3차원 객체에 대한 3차원 포인트 클라우드를 획득하는 단계; 상기 3차원 포인트 클라우드와 포아송 표면 재구성 기법에 기초하여 상기 3차원 객체에 대한 기저 메쉬를 생성하는 단계; 및 상기 기저 메쉬를 세분화하여 상기 3차원 객체에 대한 초기 지오메트리를 획득하는 단계를 더 포함하고, 상기 재구성하는 단계는 상기 복수의 이미지와 상기 초기 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
본 발명의 다른 일 실시예에 따른 3차원 객체 획득 방법은 인공 조명이 켜진 상태에서 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 단계; 및 상기 수신된 복수의 이미지와 포아송 표면 재구성 기법에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보와 3차원 지오메트리를 획득하는 단계를 포함한다.
상기 획득하는 단계는 상기 수신된 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계; 상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 단계; 및 상기 추정된 음영 법선과 상기 포아송 표면 재구성 기법에 기초하여 상기 3차원 지오메트리를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 객체 획득 장치는 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 수신부; 상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 재구성부; 상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 추정부; 및 상기 추정된 음영 법선에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리를 획득하는 획득부를 포함한다.
상기 재구성부는 상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 기저 표면 반사계 정보를 추정하고, 상기 추정된 기저 표면 반사계 정보와 공간적으로 변화하는 가중치 맵에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
상기 재구성부는 상기 카메라의 외부 파라미터와 상기 복수의 이미지에 기초하여 상기 3차원 객체의 기저 지오메트리를 획득하고, 상기 복수의 이미지와 상기 기저 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
상기 재구성부와 상기 추정부는 상기 카메라에 대해 미리 설정된 이미지 형성 모델을 만족시키는 역 렌더링 기법을 이용하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하고, 상기 음영 법선을 추정할 수 있다.
상기 획득부는 포아송 표면 재구성 기법을 이용하여 상기 3차원 지오메트리를 획득할 수 있다.
상기 재구성부는 상기 획득된 3차원 지오메트리와 상기 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 업데이트하고, 상기 추정부는 상기 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 음영 법선을 업데이트하며, 상기 획득부는 상기 업데이트된 음영 법선에 기초하여 상기 3차원 지오메트리를 업데이트할 수 있다.
상기 수신부는 인공조명이 켜진 상태에서 촬영된 상기 3차원 객체에 대한 복수의 이미지를 수신할 수 있다.
상기 재구성부는 멀티뷰 스테레오를 사용하여 상기 복수의 이미지와 상기 카메라의 포즈로부터 상기 3차원 객체에 대한 3차원 포인트 클라우드를 획득하고, 상기 3차원 포인트 클라우드와 포아송 표면 재구성 기법에 기초하여 상기 3차원 객체에 대한 기저 메쉬를 생성하며, 상기 기저 메쉬를 세분화하여 상기 3차원 객체에 대한 초기 지오메트리를 획득하고, 상기 복수의 이미지와 상기 초기 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
본 발명의 또 다른 일 실시예에 따른 3차원 객체 획득 방법은 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지들을 수신하는 단계; 상기 수신된 복수의 이미지들에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계; 및 상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리(geometry)를 획득하는 단계를 포함한다.
상기 재구성하는 단계는 상기 수신된 복수의 이미지들과 상기 3차원 객체에 대한 뎁스 정보에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
본 발명의 실시예들에 따르면, 일반적인 플래시가 장착된 카메라를 이용하여 특수 장비를 사용해야만 측정 가능하던 3차원 객체의 형상 정보와 표면 반사계 정보(BRDF)를 동시에 측정할 수 있다.
본 발명의 실시예들에 따르면, 특수한 장비에 의존하지 않고 고품질의 3차원 형상 정보와 BRDF 표면 반사계 정보를 측정할 수 있기 때문에 3차원 스캔 기술의 보급화에 영향을 줄 수 있다.
본 발명은 3차원 모델의 극사실적인 렌더링을 위해 반드시 요구되는 기술이며, 따라서, 가상 현실과 증강 현실 기술 그리고 이를 이용한 다양한 어플리케이션에 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 객체 획득 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에 따른 3차원 객체 획득 방법의 개요를 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 광과 카메라의 Rusinkiewicz 매개 변수(a)와 스마트폰으로 본 발명의 지오메트리(b)에 대한 일 예시도를 나타낸 것이다.
도 4는 3차원 지오메트리를 업데이트하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 구조화되지 않은 캡쳐 셋업에 대한 Nehab 방법과 스크리닝된 포아송 재구성 방법의 비교 결과에 대한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 3차원 객체 획득 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
하나의 핸드헬드 카메라 예를 들어, 일반적인 스마트폰 또는 DSLR 카메라만으로 3D 객체의 공간적으로 변화하는 표면 반사계 정보(SVBRDF)를 캡쳐하는 것은 어렵다. 기존 기술들은 평면 지오메트리로 제한되거나 이전에 스캔된 3D 지오메트리에 의존하므로 실용성이 제한적이며, 극복해야 할 몇 가지 기술적 과제가 존재한다. 카메라의 내장 플래시가 렌즈와 거의 같은 위치에 고정되어 위치하며, 이러한 점은 광-뷰 공간에서 샘플링 절차를 심각하게 방해한다. 또한, 근접-필드 플래시는 객체를 부분적으로 그리고 불균일하게 조명한다. 지오메트리 측면에서, 종래 멀티 뷰 스테레오 기법은 확산 반사만을 가정하므로 3D 재구성이 지나치게 부드럽게 진행된다.
본 발명의 실시예들은, 일반적인 플래시가 장착된 카메라를 이용하여 특수 장비를 사용해야만 측정 가능하던 3차원 객체의 형상 정보와 표면 반사계 정보(BRDF)를 동시에 측정하는 것을 그 요지로 한다.
즉, 본 발명은 고가의 전용 하드웨어에 대한 필요성을 제거하는 단순하면서도 강력한 프레임 워크를 제공함으로써, 플래시가 내장된 단일 카메라로 실제 3D 객체의 형상 정보와 SVBRDF 정보를 동시에 측정할 수 있다.
이러한 본 발명은 확산 반사 가정을 제거하고 SVBRDF 정보를 활용함으로써 최첨단 멀티 뷰 스테레오 기술보다 더 정확한 고주파 세부 정보를 포함하는 고품질 3D 지오메트리 재구성을 제공할 수 있다.
본 발명은 SVBRDFs, 음영 법선(shading normals) 및 3D 지오메트리의 공동 재구성을 다중 단계 역-렌더링 파이프 라인으로 공식화할 수 있으며, 기존의 멀티 뷰 3D 재구성 기술에 직접 적용할 수도 있다.
여기서, 공동 재구성은 점진적으로 3D 대 2D 대응을 향상시키는 다중 단계 예를 들어, 반복적이며 상호 교환적인 최적화 역-렌더링 파이프 라인에서 수행되어 SVBRDF와 3D 지오메트리 모두의 고품질 재구성을 유도할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 객체 획득 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 객체 획득 방법은 인공조명이 켜진 상태에서 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신한다(S110).
여기서, 단계 S110은 서로 다른 두 가지의 노출에 의해 촬영된 복수의 이미지 예를 들어, 사진들을 수신할 수 있다.
단계 S110에 의해 인공조명에 의해 촬영된 복수의 이미지가 수신되면, 수신된 복수의 이미지에 기초하여 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보(SVBRDF)를 재구성한다(S120).
여기서, 단계 S120은 수신된 복수의 이미지에 기초하여 3차원 객체에 대한 기저 표면 반사계 정보(BRDF)를 추정하고, 추정된 기저 표면 반사계 정보와 공간적으로 변화하는 가중치 맵에 기초하여 SVBRDF를 재구성할 수 있다.
단계 S120에 의해 3차원 객체에 대한 SVBRDF가 재구성되면 재구성된 SVBRDF에 기초하여 3차원 객체에 대한 음영 법선을 추정하고, 추정된 음영 법선에 기초하여 3차원 객체에 대한 3차원 지오메트리를 획득한다(S130, S140).
여기서, 단계 S140은 포아송(Poisson) 표면 재구성 기법을 이용하여 3차원 지오메트리를 획득할 수 있다.
단계 S140에 의해 3차원 지오메트리가 획득되면 오차가 수렴되는지 판단하고 오차가 수렴되지 않는 경우 업데이트 과정을 반복 수행함으로써, SVBRDF, 음영 법선 및 3차원 지오메트리를 업데이트한다(S150, S160).
비록, 도 1에 도시하진 않았지만, 본 발명의 실시예에 따른 방법은 멀티뷰 스테레오를 사용하여 복수의 이미지와 카메라의 포즈로부터 3차원 객체에 대한 3차원 포인트 클라우드를 획득하고, 3차원 포인트 클라우드와 포아송 표면 재구성 기법에 기초하여 3차원 객체에 대한 기저 메쉬를 생성하며, 기저 메쉬를 세분화하여 3차원 객체에 대한 초기 지오메트리를 획득하는 과정을 더 포함하고, 단계 S120은 복수의 이미지와 초기 지오메트리에 기초하여 SVBRDF를 재구성할 수 있다.
이러한 본 발명에 따른 방법에 대해 도 2 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.
아래 표 1은 본 발명에서 사용되는 변수들을 정의한 것이다.
Figure 112019099569484-pat00001
도 2는 본 발명에 따른 3차원 객체 획득 방법의 개요를 설명하기 위한 일 예시도를 나타낸 것이다.
도 2에 도시된 바와 같이, 본 발명의 방법은 일반 카메라 예를 들어, 핸드헬드 카메라에 의해 촬영된 인공조명 이미지를 입력으로 사용한다.
이 때, 입력은 동적 범위를 확장하기 위해 두 가지 서로 다른 노출로 촬영된 K 개의 인공조명 이미지
Figure 112019099569484-pat00002
의 세트로 구성될 수 있으며, 노출 변화를 고려하여
Figure 112019099569484-pat00003
를 선형 래디언스(linear radiance) L k 로 변환할 수 있다.
그런 다음, 본 발명은 표면 반사계 정보(BRDF) F b 의 세트와 대응 가중치 맵 W로 정의되는 SVBRDF 정보 F, 음영 법선 N 및 3D 지오메트리 X를 획득함으로써, 공식화할 수 있다. 먼저, 본 발명은 초기화 단계에서 SfM(Structural From Motion), MVS(Multiview Stereo) 및 메쉬 재구성을 포함하는 상용 3D 재구성 기법을 이용하여 카메라의 외부 파라미터와 대략적인(rough) 기저(base) 지오메트리를 획득한다. 그런 다음, 본 발명은 반복적인 단계를 이용하여 복구된 3D 지오메트리를 향상시키면서 SVBRDF 정보를 동시적으로 재구성한다. 반복적인 단계는 W, F b 및 N에 대한 첫 번째 근사값을 획득하는 것을 목표로 하는 역-렌더링 단계(inverse rendering)로 시작한다.
본 발명에 따른 방법은 SVBRDF 정보 F를 재구성하고, SVBRDF 정보에 의존하는 음영 법선 N을 추정하고, W, Fb 및 N을 획득한 후 포아송(Poisson) 표면 재구성을 통해 음영 법선 N의 변형 입력을 이용하여 3D 지오메트리 X의 세부 정보를 업데이트함으로써, 재구성 시의 측광 정합성을 강제로 추가할 수 있다.
여기서, 본 발명은 미리 설정된 오차가 수렴될 때까지 역-렌더링 과정과 지오메트리 재구성 과정을 반복한다.
본 발명은 카메라에 대한 플래시의 위치와 카메라 광학 파라미터를 추정하기만 하면 되는데, 플래시의 위치와 카메라 광학 파라미터 추정은 한 번만 수행될 수 있다. 여기서, 본 발명은 여러 개의 크롬 볼(chrome ball) 이미지와 바둑판(checkerboard) 이미지를 사용할 수 있다.
이미지 형성 모델(image formation model)
본 발명은 인공조명 사진 세트를 입력으로 캡쳐하기 위해, 플래시가 내장된 상용 카메라를 사용한다. 상용 카메라의 동적 범위는 플래시 조명 하에서 상세한 정반사를 포착하기에 불충분하기 때문에 노출 시간
Figure 112019099569484-pat00004
를 변경 예를 들어, 플래시 광량이 고정된 휴대폰의 경우 노출 시간을 변경하거나 또는 플래시 강도
Figure 112019099569484-pat00005
를 변경한다. 여기서, 플래시 강도는 DSLR 카메라의 EV 번호에 대응될 수 있다. 픽셀 위치 u에 대한 이미지 형성 모델은 아래 <수학식 1>과 같이 공식화될 수 있다.
[수학식 1]
Figure 112019099569484-pat00006
여기서,
Figure 112019099569484-pat00007
는 캡쳐된 이미지를 의미하고, L(o; x)는 3D 지오메트리 상의 포인트 x로부터 뷰 방향 o로 방출되는 래디언스(outgoing radiance)를 의미할 수 있다.
포인트 x에서의 캡쳐된 래디언스는 아래 <수학식 2>와 같은 반사 수학식으로 공식화될 수 있다.
[수학식 2]
Figure 112019099569484-pat00008
여기서,
Figure 112019099569484-pat00009
는 포인트
Figure 112019099569484-pat00010
에서의 반사 함수를 의미하고, n은 법선 벡터를 의미하며,
Figure 112019099569484-pat00011
는 광 벡터(light vector) i에 대한 x에서의 입사광(incident light)을 의미할 수 있다.
대응성 찾기(finding correspondences)
핸드헬드 셋업에서, 다중 노출에 대한 정보는 2D의 픽셀 u 단위가 아니라 3D의 포인트 x 단위로 저장된다. 따라서, 본 발명은 x와 u 사이의 지오메트릭 관계를 획득할 필요가 있다.
먼저, 본 발명은 내부 파라미터를 획득할 수 있는 방법을 이용하여 카메라의 내부 파라미터를 획득한다. 여기서, 내부 파라미터를 획득하는 방법은 다양한 방법이 있을 수 있으며, 이러한 방법은 이 기술 분야에 종사하는 당업자에게 있어서 자명하기에 그 상세한 설명은 생략한다.
카메라의 내부 파라미터를 획득하는 단계에서, 카메라 픽셀
Figure 112019099569484-pat00012
와 이에 대응하여 캡쳐된 표면 포인트
Figure 112019099569484-pat00013
사이의 초기 관계가 투시(perspective) 투영 행렬
Figure 112019099569484-pat00014
로 산출된다. 사진이 어떤 지지 구조(supporting structure)없이 캡쳐되기 때문에 SfM을 이용하여 각 사진에 대한 표면 포인트와 카메라 사이의 외부 관계를 정의하는 회전/이동 변환(rotation/translation transformation) 행렬
Figure 112019099569484-pat00015
을 획득한다. 또한, 본 발명은 자동 초점으로 인한 초점 호흡(focus breathing) 효과를 보정함으로써, 보다 정확한 지오메트릭 대응을 위해 SfM을 이용하여 각 사진(picture)의 초점 길이와 같은 내부 파라미터를 점진적으로 업데이트할 수 있다. 결과적인 내부 및 외부 파라미터는
Figure 112019099569484-pat00016
와 같이 상기 수학식 1의 픽셀 u와 포인트 x 사이의 지오메트릭 관계를 정의한다.
초기 지오메트리 (initial geometry)
본 발명은 캡쳐된 이미지와 카메라 포즈로부터 MVS를 사용하여 고밀도 3D 포인트 클라우드를 획득한다. 그러나, 이 초기 포인트 클라우드는 일반적으로 플래시 조명으로 인해 생성되는 정반사로 인해 심각한 고주파 노이즈가 발생하여 MVS 방법의 기본 확산 텍스처 가정을 위반한다. 따라서, 본 발명은 이 노이즈를 감소시키기 위하여 스크리닝된 포아송 표면 재구성을 사용하여 저해상도 메쉬 예를 들어, 27 보셀(voxel) 격자 메쉬를 생성한다. 그런 다음, 본 발명은 저해상도 메쉬를 세분하여 초기 지오메트리로 사용되는 더 정교한 메쉬(finer mesh) 예를 들어, 210 격자 메쉬를 획득한다. 초기 지오메트리의 높은 해상도에도 불구하고, 포아송 재구성 단계에서 노이즈와 함께 제거되기 때문에 미세한 기하학적 세부 사항이 누락될 수 있다. 따라서, 본 발명은 반복적인 지오메트리 업데이트 알고리즘을 이용하여 이러한 세부 사항을 복구한다.
공간적으로 변화하는 반사와 법선(SPATIALLY-VARYING REFLECTANCE AND NORMALS)
본 발명은 입력 사진으로부터 SVBRDF(W, F b )와 법선 정보(N)를 획득한다. K개 사진의 서로 다른 광/뷰 방향 i k 와 o k 로부터 캡쳐된 P 표면(정점) 포인트 세트
Figure 112019099569484-pat00017
가 주어지면, 캡쳐된 래디언스(radiance)를
Figure 112019099569484-pat00018
로 나타낼 수 있다. 본 발명은 목적 함수를 최소화하는 두 개의 미지수
Figure 112019099569484-pat00019
의 세트를 찾는 것으로 상기 수학식 2의 이미지 형성 모델을 만족시키는 역-렌더링 문제를 아래 <수학식 3>과 같이 공식화할 수 있다.
[수학식 3]
Figure 112019099569484-pat00020
여기서,
Figure 112019099569484-pat00021
는 이미지 k의 정점
Figure 112019099569484-pat00022
의 가시성 함수를 의미할 수 있다.
반사 및 음영을 인수 분해하는 역 렌더링 문제는 매우 부당하고(ill-posed) 미결정된(underdetermined) 문제이다. 본 발명은 렌더링 결과가 입력 이미지를 만족시킬 때까지 네 개의 미지 요소 W, F b , N 및 X를 업데이트하는 반복적인 최적화 방법을 이용한다. 또한, 본 발명은 오버피팅을 방지하기 위해, 입력 사진을 서로 다른 트레이닝 및 테스트 데이터 세트로 분리하여 사용하지 않는 데이터 세트로 최적화된 파라미터들을 테스트한다. 먼저, 본 발명은 SVBRDF의 전체 공간을 재구성하고, 이 정보를 사용하여 법선을 획득한다.
SVBRDF (F)재구성 (Reconstructing the SVBRDF )
SVBRDF F를 획득하기 위해, 본 발명은 기저 BRDF의 세트
Figure 112019099569484-pat00023
를 추정하고, 공간적으로 변화하는 가중치 맵 W와 추정된 기저 BRDF의 세트를 혼합(blend)한다. 이 때, 재구성된 SVBRDF F는 아래 <수학식 4>와 같이 공식화될 수 있다.
[수학식 4]
Figure 112019099569484-pat00024
여기서,
Figure 112019099569484-pat00025
는 포인트 단위 혼합 가중치(per-point blending weights) 세트를 의미할 수 있다.
플래시 사진 셋업 (Flash photography setup)
BRDF를 획득하려면 도 3a에 도시된 바와 같이
Figure 112019099569484-pat00026
및
Figure 112019099569484-pat00027
의 고밀도 샘플링이 필요하다. 이 샘플링은 일반적으로 추가 지원 하드웨어를 사용하여 수행된다. Fresnel 효과는
Figure 112019099569484-pat00028
에 강하게 의존하는 반면, 정반사는
Figure 112019099569484-pat00029
의 함수로 급격하게 변화한다. 여기서, h는 중간 벡터(halfway vector)를 의미할 수 있다.
한편, 반사는 h 주변의 광 i의 방위각인
Figure 112019099569484-pat00030
를 따라 거의 일정하게 유지된다. 본 발명의 셋업에서 캡쳐된 데이터 세트에는
Figure 112019099569484-pat00031
및
Figure 112019099569484-pat00032
차원을 따라 고밀도 샘플링이 포함된다. 그러나, 도 3b에 도시된 바와 같이, 본 발명의 셋업에서 광과 카메라가 고정되어 있고 매우 가깝기 때문에 고밀도 샘플링은 약 ~5°에서
Figure 112019099569484-pat00033
에 대한 단일 샘플로 이어진다. 여기서, 각도
Figure 112019099569484-pat00034
는 단일 샷 캡쳐를 위한 최적의 각도이다.
반사 모델(Reflectance model)
본 발명은 정반사의 더 나은 표현을 위해 비-파라미터 정규 분포 함수(non-parametric normal distribution function, NDF) 항과 함께 Cook-Torrance(CT) 모델을 사용한다. 상술한 바와 같이, 본 발명은
Figure 112019099569484-pat00035
와
Figure 112019099569484-pat00036
각도를 따라 고밀도 샘플링을 수행하는 Beckmann과 같은 분석 함수에 의존하지 않는다. 본 발명의 기저 반사 모델
Figure 112019099569484-pat00037
는 아래 <수학식 5>와 같이 표현될 수 있다.
[수학식 5]
Figure 112019099569484-pat00038
여기서,
Figure 112019099569484-pat00039
와
Figure 112019099569484-pat00040
는 확산과 반사 알베도(albedo)를 의미하고, D는 반사(specularity)에 대한 단변량(univariate) NDF 항을 의미하며, G는 지오메트릭 항을 의미하고, F는 Fresnel 항을 의미할 수 있다.
NDF는 비-파라메트릭 테이블 함수
Figure 112019099569484-pat00041
로 표현된다. 본 발명은
Figure 112019099569484-pat00042
로 셋업함으로써, 각 요소가 각도의 제곱근 매핑을 사용하여 해당
Figure 112019099569484-pat00043
에 BRDF 값을 저장한다. 본 발명은 음영/마스킹 항 G에 V-groove 공동(cavity) 모델을 사용할 수 있다. 여기서, 본 발명은 셋업에서 Fresnel 효과를 관찰할 수 없으므로, F 항을 상수로 셋업할 수 있다. 실제로, 이 셋업은 최적화 과정에서 복잡성을 감소시키는 데 도움이 된다. 이 때, 이 근사가 Fresnel 항에 대해 일정한 굴절률(index of refraction, IOR) 값을 사용하는 것보다 효과적일 수 있다.
SVBRDFs 재구성(Reconstructing SVBRDFs )
본 발명은 상기 수학식 5에서의 기저 BRDF를 계수 벡터(coefficient vector)
Figure 112019099569484-pat00044
로 표현할 수 있다. 지오메트릭 팩터 G는 계수 벡터에서 제외된다. 본 발명은 상기 수학식 2로부터 캡쳐된 래디언스를 캡쳐된 반사
Figure 112019099569484-pat00045
로 변환한다. 샘플링된
Figure 112019099569484-pat00046
각도 및 픽셀 당 관찰 지오메트릭 팩터
Figure 112019099569484-pat00047
를 특정하는 측정 벡터
Figure 112019099569484-pat00048
와 캡쳐된 반사
Figure 112019099569484-pat00049
가 주어지면, 본 발명은
Figure 112019099569484-pat00050
를 획득한다. 본 발명은
Figure 112019099569484-pat00051
를 근사화하기 위하여 기저 BRDFs
Figure 112019099569484-pat00052
와 공간 가중치
Figure 112019099569484-pat00053
를 혼합할 수 있다. 그런 다음, 본 발명은 기저 BRDFs 및 이와 대응되는 가중치를 재구성하기 위하여 상기 수학식 3을 아래 <수학식 6>과 같이 목적 함수로 재공식화할 수 있다.
[수학식 6]
Figure 112019099569484-pat00054
확산과 정반사를 보다 안정적으로 분리하기 위해, 본 발명은 Beckmann 및 GGX와 같은 종래 분포 함수를 따라
Figure 112019099569484-pat00055
를 0으로 고정할 수 있다. 또한, 본 발명은
Figure 112019099569484-pat00056
에 음이 아닌 단조성(monotonicity) 제약 조건을 적용할 수 있다. 예를 들어,
Figure 112019099569484-pat00057
가 증가함에 따라
Figure 112019099569484-pat00058
가 단조적으로 감소할 수 있다. 강한 정반(specular) 피크를 보다 정확하게 재현하기 위해, 부드러움(smoothness) 제한을 두지 않는다. F b 를 업데이트하기 위해, W를 고정으로 유지하면서 상기 수학식 6을 최소화한다. 이는 희소(sparse) 입력 데이터를 가지는 F b 에서 2차 프로그래밍 문제(quadratic programming problem)가 된다. 여기서, 본 발명은 상용 희소 2차 프로그래밍 솔버(solver)를 사용할 수 있다.
W 재구성(Reconstructing W)
먼저, 본 발명은 CIELAB 공간에서 Kmean을 사용하여 클러스터링하는 정점 당 중앙(median) 밝기 주변의 색상 관측치를 평균함으로써, 기저 BRDF F b 의 확산 구성 요소 세트를 추정한다. 이로 인해, 초기 바이너리 레이블된 가중치 세트 W가 생성된다. 기저 BRDFs는 여전히 해결해야 할 문제이다. 일 예로, 애드혹(ad-hoc) 방식을 이용하여 기저의 수를 점진적으로 결정하고, 최적화가 수렴할 때까지 이를 증가시킨다. 여기서, 기저의 수는 이전 기술들을 이용하여 설정될 수 있으며, 기저의 수는 상황에 따라 달라질 수 있다.
그 다음 반복에서, 본 발명은 이전 최적화에서 추정된 F b 를 사용하여 W를 업데이트한다. 상기 수학식 6의 고정된 F b 를 이용하여 W를 업데이트하는 것은 각 포인트
Figure 112019099569484-pat00059
에서 아래 <수학식 7>과 같이 목적 함수를 최소화하는 것과 동일하다.
[수학식 7]
Figure 112019099569484-pat00060
Figure 112019099569484-pat00061
의 k번째 행은
Figure 112019099569484-pat00062
이며,
Figure 112019099569484-pat00063
의 k번째 요소는
Figure 112019099569484-pat00064
이다. 여기서, 본 발명은 가시성
Figure 112019099569484-pat00065
와 추가적인 가중치
Figure 112019099569484-pat00066
를 Q 및 r의 각 요소들에 적용한다. 여기서,
Figure 112019099569484-pat00067
를 의미하고,
Figure 112019099569484-pat00068
를 의미할 수 있다. 코사인 항은 그레이징 각(grazing angles)에서의 불안정한 관측을 보상하지만, 사인 항은 반사 관측으로의 바이어스(bias)을 방지한다. 상기 수학식 7의 최소화는 표준 2차 프로그래밍 문제이다. 여기서, 본 발명은 convex 2차 프로그래밍 솔버를 사용하여 이 문제를 해결할 수 있다.
컬러(color)
본 발명은 컬러 기저 BRDF와 단색(monochromatic) 혼합 가중치를 사용한다. 본 발명은 F b 를 업데이트할 때 각 컬러 채널을 독립적으로 최적화할 수 있으며, W 업데이트할 때 모든 컬러 채널을 사용하여 각 꼭지점(정점)의 혼합 가중치를 최적화할 수 있다.
법선(N) 재구성(Reconstructing Normals)
본 발명은 기저 BRDFs
Figure 112019099569484-pat00069
와 혼합 가중치
Figure 112019099569484-pat00070
를 획득하여 SVBRDFs F를 산출한다. 본 발명은 꼭지점 당 음영 법선
Figure 112019099569484-pat00071
의 세트를 추정해야 한다. BRDFs를 사용하여 표면 법선을 예측하는 것은 매우 심각한 문제가 되므로, 본 발명은 반복적인 최적화 기법을 적용한다. 첫째, 본 발명은 이전 반복에서 업데이트된 현재 지오메트리로부터 초기 표면 법선
Figure 112019099569484-pat00072
를 상기 수학식 3의 포인트
Figure 112019099569484-pat00073
에서 BRDF
Figure 112019099569484-pat00074
에 대한 입력 변수로 피드(feed)한다. 들어오고 나가는(incoming/outgoing) 래디언스, 들어오고 나가는 방향, 그리고 꼭지점의 반사가 모두 알려져 있기 때문에 아무런 제약 조건 없이 표준 선형 최소 제곱 회귀를 사용하여 음영 법선
Figure 112019099569484-pat00075
를 인수 분해할 수 있다. 포인트
Figure 112019099569484-pat00076
에서의 지오메트릭 법선
Figure 112019099569484-pat00077
는 음영 법선
Figure 112019099569484-pat00078
와 다르다. 최적화를 반복하면서
Figure 112019099569484-pat00079
와
Figure 112019099569484-pat00080
의 차이가 점차적으로 수렴된다. 그레이징 각과 미러-반사각에서의 관측은 신뢰성이 낮기 때문에 본 발명은
Figure 112019099569484-pat00081
와 같이 조명 각도를 고려하는 추가적인 가중치를 도입할 수 있다. 여기서,
Figure 112019099569484-pat00082
를 의미할 수 있으며, 사인 항은 잘못 정렬된 표면 법선과 이전 추정치의 정반사에 대한 잠재적 바이어스를 방지할 수 있다.
측광 일관성을 이용한 지오메트리 업데이트
본 발명은 가중치 W, 기저 BRDFs F b 및 음영 법선 N을 추정한 후 음영 관측과 일치하는 지오메트리 X를 재구성한다. 도 4는 3차원 지오메트리를 업데이트하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다. 도 4에 도시된 바와 같이, 3차원 지오메트리를 업데이트하는 과정은 초기 포인트 클라우드로부터 러프한 기저 지오메트리(또는 기저 메쉬)를 획득한 후 좀 더 미세한 메쉬로 세분한다. 그런 다음, 본 발명은 세분화된 메쉬를 이용하여 음영 법선을 추정한 후 추정 음영 법선을 이용하여 지오메트리를 업데이트한다. 여기서, 지오메트리 업데이트는 Nehab 방법과 스크리닝된 포아송 재구성 방법 중 적어도 하나의 방법을 이용하여 이루어질 수 있다. 두 가지 방법 모두 저주파 및 고주파 세부 정보를 보존할 수 있지만, Nehab의 방법은 표면 그래디언트를 대상 지오메트리로 직접 전송하는 반면, 포아송 방법은 coarse-to-fine 재구성을 사용한다. 음영 법선 N에는 고주파 노이즈가 포함되어 있다고 가정할 수 있고 Nehab의 방법에서 직접 전송은 이 노이즈를 전달하므로, 위와 같은 점은 구조화되지 않은 캡쳐 셋업의 중요한 차이이다. 따라서, 본 발명은 coarse-to-fine 방법의 보셀 격자에서 삼차원 2차(tri-quadratic) B-spline 기저 함수를 사용하여 암시적 표면을 재구성하도록 설계된 스크리닝된 포아송 방법을 이용하는 것이 바람직하다. 이로 인해, 노이즈가 포함된 표면 법선을 3D 지오메트리에 통합할 때 강건한 성능이 발휘된다.
도 5는 본 발명의 구조화되지 않은 캡쳐 셋업에 대한 Nehab 방법과 스크리닝된 포아송 재구성 방법의 비교 결과에 대한 일 예시도를 나타낸 것으로, 도 5에 도시된 바와 같이 Nehab 방법의 결과는 구조화되지 않은 캡쳐 셋업에서 추정된 음영 법선의 고주파 노이즈를 포함하고 있는 반면, 스크리닝된 포아송 재구성 방법의 지오메트리는 coarse-to-fine 재구성을 통해 입력 노이즈를 강건하게 처리함으로써, 더 세밀한 세부 사항을 제공하는 것을 알 수 있다.
스크리닝된 포아송 재구성 방법은 입력 포인트 클라우드로부터 암시적 표면
Figure 112019099569484-pat00083
를 아래 <수학식 8>과 같이 재구성할 수 있다.
[수학식 8]
Figure 112019099569484-pat00084
여기서,
Figure 112019099569484-pat00085
는 음영 법선 N 세트로부터 파생된 벡터 필드를 의미하고,
Figure 112019099569484-pat00086
는 암시적 스칼라 표면 함수의 그래디언트를 의미하며,
Figure 112019099569484-pat00087
는 포인트
Figure 112019099569484-pat00088
와 암시적인 표면
Figure 112019099569484-pat00089
사이의 제곱 거리를 의미하고,
Figure 112019099569484-pat00090
는 정규화 항의 가중치를 의미할 수 있다.
본 발명은 초기 지오메트리의 신뢰도에 따라
Figure 112019099569484-pat00091
를 결정한다. 암시적 표면 함수
Figure 112019099569484-pat00092
를 이산화하기 위해, 각 차원에 대해 보셀 격자의 해상도를 29 또는 210로 셋업할 수 있다. 이 크기는 캡쳐된 물리적 객체에 대해 대략 0.1 ~ 0.2mm에 해당한다.
오리지널 알고리즘은 지오메트릭 법선을 사용하지만, 본 발명은 음영 법선
Figure 112019099569484-pat00093
를 활용하여 그래디언트가
Figure 112019099569484-pat00094
와 일치하는 암시적 표면
Figure 112019099569484-pat00095
를 찾는 것을 목표로 한다. 즉, 각 꼭지점마다 서로 다른 뷰 및 조명 방향이 주어지면 일관된 음영이 나타나야 한다. 암시적 함수가 결정되면, 본 발명은 마칭 큐브(marching cubes)를 적용하여 암시적 표면을 다각형 메쉬로 변환한다.
본 발명은 최적의 3D 지오메트리와 SVBRDF를 찾을 때까지 W, F b , N, X를 반복적으로 업데이트한다. 본 발명은 이전 메쉬와 새로운 X 사이의 Hausdorff 거리를 평가한다. 본 발명의 상기 수학식 3의 측광 차이의 테스트 RMS 오차가 증가하기 시작할 때까지 도 2에 도시된 전체 과정을 반복한다. 또한, 오버 피팅을 방지하기 위해, 본 발명은 캡쳐된 이미지를 9:1 비율로 트레이닝 및 테스트 그룹으로 무작위로 분리한다.
이와 같이, 본 발명의 실시예에 따른 3차원 객체 획득 방법은 일반적인 플래시가 장착된 카메라를 이용하여 특수 장비를 사용해야만 측정 가능하던 3차원 객체의 형상 정보와 공간적으로 변화하는 표면 반사계 정보(SVBRDF)를 동시에 측정할 수 있다.
또한, 본 발명의 실시예에 따른 3차원 객체 획득 방법은 특수한 장비에 의존하지 않고 고품질의 3차원 형상 정보와 SVBRDF를 측정할 수 있다.
즉, 본 발명의 실시예에 따른 3차원 객체 획득 방법은 입력으로 여러 개의 인공조명 사진을 사용하기 때문에 플래시가 내장된 단일 상용 카메라 예를 들어, 스마트폰 카메라만을 필요로 한다.
상술한 바와 같이, 본 발명의 실시예에 따른 3차원 객체 획득 방법의 핵심은 SVBRDF, 음영 법선 및 3D 지오메트리의 새로운 공동 재구성으로, 공동 재구성은 점진적으로 3D 대 2D 대응을 향상시키는 다중 단계 예컨대, 반복적이며 상호 교환적인 최적화 역-렌더링 파이프 라인에서 수행되어 SVBRDF와 3D 지오메트리 모두의 고품질 재구성을 유도할 수 있다.
나아가, 본 발명의 실시예들에 따른 방법은 카메라에 의해 촬영된 복수의 이미지들에 기초하여 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하고, 이렇게 재구성된 공간적으로 변화하는 표면 반사계 정보를 기반으로 3차원 객체에 대한 3차원 지오메트리를 획득하는 것으로, 반드시 재구성된 공간적으로 변화하는 표면 반사계 정보를 이용하여 3차원 객체에 대한 음영 법선을 추정한 후 추정된 음영 법선에 기초하여 3차원 객체에 대한 3차원 지오메트리를 획득하는 것으로 한정되지 않는다. 즉, 본 발명의 다른 실시예에 따른 방법은 공간적으로 변화하는 표면 반사계 정보에 기초하여 3차원 객체에 대한 3차원 지오메트리를 획득할 수 있는 다양한 방법을 적용할 수 있다. 따라서, 본 발명의 다른 실시예에 따른 방법은 카메라에 의해 촬영된 복수의 이미지들에 기초하여 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하고, 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 3차원 객체에 대한 3차원 지오메트리를 획득할 수 있다.
나아가, 상술한 본 발명의 실시예들에 따른 방법에서 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 기술적인 구성은 카메라에 의해 촬영된 복수의 이미지들에 의해서만 재구성되는 것으로 한정되지 않으며, 알고리즘의 경량화 및 속도를 개선시키기 위하여 추가적인 뎁스 정보 즉, 3차원 객체에 대한 뎁스 정보를 반영할 수도 있다. 예컨대, 본 발명의 실시예들에 따른 방법은 카메라에 의해 촬영된 복수의 이미지들 뿐만 아니라 3차원 객체에 대한 뎁스 정보에 기초하여 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
여기서, 3차원 객체에 대한 뎁스 정보는 뎁스 카메라를 이용하여 별도로 획득할 수도 있고, 다양한 측정 기법을 이용하여 획득할 수도 있다 예를 들어, 본 발명은 다중 시점 카메라를 이용하여 3차원 객체에 대한 뎁스 정보를 획득할 수도 있고, 스테레오 매칭을 이용하여 3차원 객체에 대한 뎁스 정보를 획득할 수도 있다. 물론, 본 발명에서 뎁스 정보를 획득하는 방법은 상술한 방법으로 한정되지 않으며, 본 발명에 적용할 수 있는 모든 방법을 이용할 수 있다.
이러한 뎁스 정보를 추가적으로 이용하여 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 방법은 상술한 내용에 모두 적용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 3차원 객체 획득 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 5의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.
도 6을 참조하면, 본 발명의 실시예에 따른 3차원 객체 획득 장치(600)는 수신부(610), 재구성부(620), 추정부(630) 및 획득부(640)를 포함한다.
수신부(610)는 카메라에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신한다.
이 때, 수신부(610)는 인공조명이 켜진 상태에서 촬영된 3차원 객체에 대한 복수의 이미지를 수신할 수 있다.
재구성부(620)는 수신된 복수의 이미지에 기초하여 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성한다.
이 때, 재구성부(620)는 복수의 이미지에 기초하여 3차원 객체에 대한 기저 표면 반사계 정보를 추정하고, 추정된 기저 표면 반사계 정보와 공간적으로 변화하는 가중치 맵에 기초하여 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
이 때, 재구성부(620)는 카메라의 외부 파라미터와 복수의 이미지에 기초하여 3차원 객체의 기저 지오메트리를 획득하고, 복수의 이미지와 기저 지오메트리에 기초하여 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
이 때, 재구성부(620)는 카메라에 대해 미리 설정된 이미지 형성 모델을 만족시키는 역 렌더링 기법을 이용하여 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
나아가, 재구성부(620)는 획득부(640)에 의해 획득된 3차원 지오메트리와 복수의 이미지에 기초하여 공간적으로 변화하는 표면 반사계 정보를 업데이트할 수 있다.
더 나아가, 재구성부(620)는 멀티뷰 스테레오를 사용하여 복수의 이미지와 카메라의 포즈로부터 3차원 객체에 대한 3차원 포인트 클라우드를 획득하고, 3차원 포인트 클라우드와 포아송 표면 재구성 기법에 기초하여 3차원 객체에 대한 기저 메쉬를 생성하며, 기저 메쉬를 세분화하여 3차원 객체에 대한 초기 지오메트리를 획득하고, 복수의 이미지와 상기 초기 지오메트리에 기초하여 공간적으로 변화하는 표면 반사계 정보를 재구성할 수 있다.
추정부(630)는 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 3차원 객체에 대한 음영 법선을 추정한다.
이 때, 추정부(630)는 카메라에 대해 미리 설정된 이미지 형성 모델을 만족시키는 역 렌더링 기법을 이용하여 음영 법선을 추정할 수 있다.
나아가, 추정부(630)는 공간적으로 변화하는 표면 반사계 정보가 업데이트되는 경우 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 음영 법선을 업데이트할 수 있다.
획득부(640)는 추정된 음영 법선과 포아송 표면 재구성 기법에 기초하여 3차원 지오메트리를 획득한다.
이 때, 획득부(640)는 포아송 표면 재구성 기법을 이용하여 3차원 지오메트리를 획득할 수 있다.
나아가, 획득부(640)는 음영 법선이 업데이트되는 경우 업데이트된 음영 법선에 기초하여 3차원 지오메트리를 업데이트할 수 있다.
비록, 도 6의 장치에서 그 설명이 생략되었더라도, 도 6을 구성하는 각 구성 수단은 도 1 내지 도 5에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 카메라에 의해 서로 다른 노출에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 단계;
    상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계;
    상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 단계; 및
    상기 추정된 음영 법선에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리(geometry)를 획득하는 단계
    를 포함하며,
    상기 재구성하는 단계는
    상기 획득된 3차원 지오메트리의 오차가 미리 설정된 오차에 수렴하는지 판단하고, 상기 획득된 3차원 지오메트리의 오차가 상기 미리 설정된 오차에 수렴되지 않는 경우 상기 획득된 3차원 지오메트리와 상기 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 업데이트하고,
    상기 추정하는 단계는
    상기 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 음영 법선을 업데이트하며,
    상기 획득하는 단계는
    상기 업데이트된 음영 법선에 기초하여 상기 3차원 지오메트리를 업데이트하는 3차원 객체 획득 방법.
  2. 제1항에 있어서,
    상기 재구성하는 단계는
    상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 기저 표면 반사계 정보를 추정하고, 상기 추정된 기저 표면 반사계 정보와 공간적으로 변화하는 가중치 맵에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 것을 특징으로 하는 3차원 객체 획득 방법.
  3. 제1항에 있어서,
    상기 카메라의 외부 파라미터와 상기 복수의 이미지에 기초하여 상기 3차원 객체의 기저 지오메트리를 획득하는 단계
    를 더 포함하고,
    상기 재구성하는 단계는
    상기 복수의 이미지와 상기 기저 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 것을 특징으로 하는 3차원 객체 획득 방법.
  4. 제1항에 있어서,
    상기 재구성하는 단계와 상기 추정하는 단계는
    상기 카메라에 대해 미리 설정된 이미지 형성 모델을 만족시키는 역 렌더링(inverse rendering) 기법을 이용하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하고, 상기 음영 법선을 추정하는 것을 특징으로 하는 3차원 객체 획득 방법.
  5. 제1항에 있어서,
    상기 획득하는 단계는
    포아송(Poisson) 표면 재구성 기법을 이용하여 상기 3차원 지오메트리를 획득하는 것을 특징으로 하는 3차원 객체 획득 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 수신하는 단계는
    인공조명이 켜진 상태에서 촬영된 상기 3차원 객체에 대한 복수의 이미지를 수신하는 것을 특징으로 하는 3차원 객체 획득 방법.
  8. 제1항에 있어서,
    멀티뷰 스테레오를 사용하여 상기 복수의 이미지와 상기 카메라의 포즈로부터 상기 3차원 객체에 대한 3차원 포인트 클라우드를 획득하는 단계;
    상기 3차원 포인트 클라우드와 포아송 표면 재구성 기법에 기초하여 상기 3차원 객체에 대한 기저 메쉬를 생성하는 단계; 및
    상기 기저 메쉬를 세분화하여 상기 3차원 객체에 대한 초기 지오메트리를 획득하는 단계
    를 더 포함하고,
    상기 재구성하는 단계는
    상기 복수의 이미지와 상기 초기 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 것을 특징으로 하는 3차원 객체 획득 방법.
  9. 인공 조명이 켜진 상태에서 카메라에 의해 서로 다른 노출에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 단계; 및
    상기 수신된 복수의 이미지와 포아송 표면 재구성 기법에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보와 3차원 지오메트리를 획득하는 단계
    를 포함하고,
    상기 획득하는 단계는
    상기 수신된 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계;
    상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 단계; 및
    상기 추정된 음영 법선과 상기 포아송 표면 재구성 기법에 기초하여 상기 3차원 지오메트리를 획득하는 단계
    를 포함하며,
    상기 재구성하는 단계는
    상기 획득된 3차원 지오메트리의 오차가 미리 설정된 오차에 수렴하는지 판단하고, 상기 획득된 3차원 지오메트리의 오차가 상기 미리 설정된 오차에 수렴되지 않는 경우 상기 획득된 3차원 지오메트리와 상기 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 업데이트하고,
    상기 추정하는 단계는
    상기 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 음영 법선을 업데이트하며,
    상기 획득하는 단계는
    상기 업데이트된 음영 법선에 기초하여 상기 3차원 지오메트리를 업데이트하는 3차원 객체 획득 방법.
  10. 삭제
  11. 카메라에 의해 서로 다른 노출에 의해 촬영된 3차원 객체에 대한 복수의 이미지를 수신하는 수신부;
    상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 재구성부;
    상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 음영 법선을 추정하는 추정부; 및
    상기 추정된 음영 법선에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리를 획득하는 획득부
    를 포함하며,
    상기 재구성부는
    상기 획득된 3차원 지오메트리의 오차가 미리 설정된 오차에 수렴하는지 판단하고, 상기 획득된 3차원 지오메트리의 오차가 상기 미리 설정된 오차에 수렴되지 않는 경우 상기 획득된 3차원 지오메트리와 상기 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 업데이트하고,
    상기 추정부는
    상기 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 음영 법선을 업데이트하며,
    상기 획득부는
    상기 업데이트된 음영 법선에 기초하여 상기 3차원 지오메트리를 업데이트하는 3차원 객체 획득 장치.
  12. 제11항에 있어서,
    상기 재구성부는
    상기 수신된 복수의 이미지에 기초하여 상기 3차원 객체에 대한 기저 표면 반사계 정보를 추정하고, 상기 추정된 기저 표면 반사계 정보와 공간적으로 변화하는 가중치 맵에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 것을 특징으로 하는 3차원 객체 획득 장치.
  13. 제11항에 있어서,
    상기 재구성부는
    상기 카메라의 외부 파라미터와 상기 복수의 이미지에 기초하여 상기 3차원 객체의 기저 지오메트리를 획득하고, 상기 복수의 이미지와 상기 기저 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 것을 특징으로 하는 3차원 객체 획득 장치.
  14. 제11항에 있어서,
    상기 재구성부와 상기 추정부는
    상기 카메라에 대해 미리 설정된 이미지 형성 모델을 만족시키는 역 렌더링 기법을 이용하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하고, 상기 음영 법선을 추정하는 것을 특징으로 하는 3차원 객체 획득 장치.
  15. 제11항에 있어서,
    상기 획득부는
    포아송 표면 재구성 기법을 이용하여 상기 3차원 지오메트리를 획득하는 것을 특징으로 하는 3차원 객체 획득 장치.
  16. 삭제
  17. 제11항에 있어서,
    상기 수신부는
    인공조명이 켜진 상태에서 촬영된 상기 3차원 객체에 대한 복수의 이미지를 수신하는 것을 특징으로 하는 3차원 객체 획득 장치.
  18. 제11항에 있어서,
    상기 재구성부는
    멀티뷰 스테레오를 사용하여 상기 복수의 이미지와 상기 카메라의 포즈로부터 상기 3차원 객체에 대한 3차원 포인트 클라우드를 획득하고, 상기 3차원 포인트 클라우드와 포아송 표면 재구성 기법에 기초하여 상기 3차원 객체에 대한 기저 메쉬를 생성하며, 상기 기저 메쉬를 세분화하여 상기 3차원 객체에 대한 초기 지오메트리를 획득하고, 상기 복수의 이미지와 상기 초기 지오메트리에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 재구성하는 것을 특징으로 하는 3차원 객체 획득 장치.
  19. 카메라에 의해 서로 다른 노출에 의해 촬영된 3차원 객체에 대한 복수의 이미지들을 수신하는 단계;
    상기 수신된 복수의 이미지들에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하는 단계; 및
    상기 재구성된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 객체에 대한 3차원 지오메트리(geometry)를 획득하는 단계
    를 포함하며,
    상기 재구성하는 단계는
    상기 수신된 복수의 이미지들과 상기 3차원 객체에 대한 뎁스 정보에 기초하여 상기 3차원 객체에 대한 공간적으로 변화하는 표면 반사계 정보를 재구성하고,
    상기 재구성하는 단계는
    상기 획득된 3차원 지오메트리의 오차가 미리 설정된 오차에 수렴하는지 판단하고, 상기 획득된 3차원 지오메트리의 오차가 상기 미리 설정된 오차에 수렴되지 않는 경우 상기 획득된 3차원 지오메트리와 상기 복수의 이미지에 기초하여 상기 공간적으로 변화하는 표면 반사계 정보를 업데이트하고,
    상기 획득하는 단계는
    상기 업데이트된 공간적으로 변화하는 표면 반사계 정보에 기초하여 상기 3차원 지오메트리를 업데이트하는 3차원 객체 획득 방법.
  20. 삭제
KR1020190120410A 2018-10-08 2019-09-30 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치 KR102287472B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/622,234 US11380056B2 (en) 2018-10-08 2019-10-07 3D object acquisition method and apparatus using artificial light photograph
PCT/KR2019/013099 WO2020076026A1 (ko) 2018-10-08 2019-10-07 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
EP19813220.1A EP3664039B1 (en) 2018-10-08 2019-10-07 Method for acquiring three-dimensional object by using artificial lighting photograph and device thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180119872 2018-10-08
KR1020180119872 2018-10-08
KR20180173852 2018-12-31
KR1020180173852 2018-12-31

Publications (2)

Publication Number Publication Date
KR20200040194A KR20200040194A (ko) 2020-04-17
KR102287472B1 true KR102287472B1 (ko) 2021-08-09

Family

ID=70460821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190120410A KR102287472B1 (ko) 2018-10-08 2019-09-30 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치

Country Status (3)

Country Link
US (1) US11380056B2 (ko)
EP (1) EP3664039B1 (ko)
KR (1) KR102287472B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436791B2 (en) * 2018-04-30 2022-09-06 The Regents Of The University Of California Methods and systems for acquiring svBRDF measurements
GB2598711B (en) * 2020-08-11 2023-10-18 Toshiba Kk A Computer Vision Method and System
KR20220048109A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 전자 장치 및 제어 방법
US11669986B2 (en) * 2021-04-16 2023-06-06 Adobe Inc. Generating enhanced three-dimensional object reconstruction models from sparse set of object images
KR102332920B1 (ko) * 2021-06-24 2021-12-01 주식회사 맥스트 6 자유도 가상현실의 렌더링 시스템 및 방법
KR20230007807A (ko) * 2021-07-06 2023-01-13 삼성전자주식회사 이미지 프로세싱을 위한 전자 장치 및 그 동작 방법
KR102408198B1 (ko) * 2022-01-14 2022-06-13 (주)이브이알스튜디오 3차원 객체의 렌더링을 위한 방법 및 장치
WO2023153837A1 (ko) * 2022-02-10 2023-08-17 한국과학기술원 실시간 표면 노멀 획득을 이용한 고해상도 3차원 스캐닝 방법 및 시스템
CN114255313B (zh) * 2022-02-28 2022-05-24 深圳星坊科技有限公司 镜面物体三维重建方法、装置、计算机设备和存储介质
CN116596985B (zh) * 2023-07-17 2023-10-20 国网上海市电力公司 一种自适应光照模型建模方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
KR101865886B1 (ko) 2016-12-09 2018-06-08 한국과학기술원 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100521413B1 (ko) * 2003-12-26 2005-10-17 한국전자통신연구원 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법
US7756356B2 (en) * 2007-03-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. System and method for factorizing light in a sequence of images
US9098945B2 (en) * 2009-05-01 2015-08-04 Microsoft Technology Licensing, Llc Modeling anisotropic surface reflectance with microfacet synthesis
US8953037B2 (en) * 2011-10-14 2015-02-10 Microsoft Corporation Obtaining spatially varying bidirectional reflectance distribution function
US9266287B2 (en) * 2013-09-18 2016-02-23 Disney Enterprises, Inc. 3D printing with custom surface reflectance
US10049294B2 (en) * 2015-01-30 2018-08-14 X-Rite Switzerland GmbH Imaging apparatus, systems and methods
KR20160147491A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 3차원 모델 생성 장치 및 방법
EP3330924A1 (en) * 2016-12-01 2018-06-06 Thomson Licensing Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device
US10699477B2 (en) * 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US10810469B2 (en) * 2018-05-09 2020-10-20 Adobe Inc. Extracting material properties from a single image
DK3794556T3 (da) * 2018-05-18 2023-04-24 Dental Imaging Technologies Corp Dental 3d-scanner med vinkelbaseret nuancematchning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
KR101865886B1 (ko) 2016-12-09 2018-06-08 한국과학기술원 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템

Also Published As

Publication number Publication date
EP3664039A1 (en) 2020-06-10
US11380056B2 (en) 2022-07-05
US20210358211A1 (en) 2021-11-18
EP3664039B1 (en) 2023-07-12
KR20200040194A (ko) 2020-04-17
EP3664039A4 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
KR102287472B1 (ko) 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
Nam et al. Practical svbrdf acquisition of 3d objects with unstructured flash photography
US8294958B2 (en) Scanner system and method for scanning providing combined geometric and photometric information
JP5043023B2 (ja) 画像処理方法および装置
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
Matusik et al. Progressively-Refined Reflectance Functions from natural Illumination.
Palma et al. A statistical method for svbrdf approximation from video sequences in general lighting conditions
JP2003202216A (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
Logothetis et al. A cnn based approach for the point-light photometric stereo problem
Park et al. Surface light field fusion
Stavroulakis et al. Rapid tracking of extrinsic projector parameters in fringe projection using machine learning
JP5059503B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5441752B2 (ja) 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
Kang et al. View-dependent scene appearance synthesis using inverse rendering from light fields
Ha et al. Progressive acquisition of svbrdf and shape in motion
Goesele et al. Building a Photo Studio for Measurement Purposes.
US10587865B2 (en) 3D reconstruction apparatus and method including material appearance modeling
MacDonald et al. Modelling the appearance of heritage metallic surfaces
Unger et al. Spatially varying image based lighting by light probe sequences: Capture, processing and rendering
Innmann et al. BRDF-reconstruction in photogrammetry studio setups
WO2020076026A1 (ko) 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
Yeh et al. Shape-from-shifting: Uncalibrated photometric stereo with a mobile device
CN111696146B (zh) 人脸模型重建方法、系统、图像处理系统及存储介质
Sarkar et al. LitNeRF: Intrinsic Radiance Decomposition for High-Quality View Synthesis and Relighting of Faces

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant