KR101495299B1 - 3차원 형상 획득 장치 및 그 획득 방법 - Google Patents

3차원 형상 획득 장치 및 그 획득 방법 Download PDF

Info

Publication number
KR101495299B1
KR101495299B1 KR20130113504A KR20130113504A KR101495299B1 KR 101495299 B1 KR101495299 B1 KR 101495299B1 KR 20130113504 A KR20130113504 A KR 20130113504A KR 20130113504 A KR20130113504 A KR 20130113504A KR 101495299 B1 KR101495299 B1 KR 101495299B1
Authority
KR
South Korea
Prior art keywords
illumination
estimating
local
dimensional shape
estimated
Prior art date
Application number
KR20130113504A
Other languages
English (en)
Inventor
권인소
한유덕
이준영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR20130113504A priority Critical patent/KR101495299B1/ko
Application granted granted Critical
Publication of KR101495299B1 publication Critical patent/KR101495299B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따른 차원 형상 획득 방법은 3차원 형상 획득 장치가 물체의 3차원 형상을 획득하는 방법에서, 센서에 의해 상기 물체에 대한 컬러 이미지 및 깊이 이미지를 캡쳐하는 단계, 상기 컬러 이미지 및 상기 깊이 이미지로부터 전역 조명을 추정하는 단계, 상기 추정된 전역 조명을 이용하여 공간적으로 변화하는 지역 조명을 추정하는 단계, 그리고 추정된 지역 조명으로부터 표면 법선을 추정해 상기 물체에 대한 3차원 형상을 획득하는 단계를 포함한다.

Description

3차원 형상 획득 장치 및 그 획득 방법{DEVICE FOR ACQUIRING 3D SHAPE, AND METHOD FOR ACQUIRING 3D SHAPE}
본 발명은 3차원 형상 획득 장치 및 그 획득 방법에 관한 것이다.
고품질의 3차원 모델링은 가상현실, 게임 및 애니메이션 등 컴퓨터 그래픽스에서 많이 사용되고 있다. 그리고, 고품질의 3차원 모델링은 현실의 물체들을 손쉽게 가상의 세계에서 이용하게 할 수 있다.
이러한 고품질의 3차원 모델링은 3차원 영상 콘텐츠 제작뿐만 아니라 문화재 복원 등과 같이 다양한 분야에서 활용이 가능하며, 이를 구현하기 위해 컴퓨터 비전(Vision) 연구가 활발하게 진행되고 있다.
그리고, 최근에는 실시간으로 3차원 깊이 정보를 제공하는 3D ToF 센서(Time-of-Flight, ToF)와 키넥트(Kinect) 등과 같은 깊이 센서들이 활발하게 보급되었고, 이를 활용하여 보다 많은 비전 문제들이 효과적으로 단순화되었다.
하지만, 이러한 깊이 센서들은 잡음이 포함된 저해상도의 깊이 정보를 주기 때문에 고품질의 3차원 모델로 바로 사용하기에 무리가 있다.
또한, 종래의 많은 알고리즘들은, 고품질의 형상을 캡쳐하기 위해서, 제어되고 보정된 조명을 가정하는 형상 복구(shape from shading)와 광도 스테레오(photometric stereo)와 같은 측광법들을 적용하였다.
그러나, 종래의 방법은 제어할 수 없는 복잡한 환경에서 형상 복구가 수행될 수는 있지만, 목표 물체를 캡쳐하기 전에 조명의 세심한 보정이 필요하다는 문제가 있다.
본 발명은 제어할 수 없는 자연 조명(natural lighting) 하에서 고품질의 3차원 형상을 획득할 수 있는 3차원 형상 획득 장치 및 그 획득 방법을 제안하고자 한다.
본 발명의 일 양태에 따른 3차원 형상 획득 방법은 3차원 형상 획득 장치가 물체의 3차원 형상을 획득하는 방법에서, 센서에 의해 상기 물체에 대한 컬러 이미지 및 깊이 이미지를 캡쳐하는 단계, 상기 컬러 이미지 및 상기 깊이 이미지로부터 전역 조명을 추정하는 단계, 상기 추정된 전역 조명을 이용하여 공간적으로 변화하는 지역 조명을 추정하는 단계, 그리고 추정된 지역 조명으로부터 표면 법선을 추정해 상기 물체에 대한 3차원 형상을 획득하는 단계를 포함한다.
상기 지역 조명을 추정하는 단계는, 전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류로 분해하여 상기 지역 조명을 추정하는 단계를 포함할 수 있다.
상기 지역 조명은, 표면 그림자, 상호반사 및 근접 조명 중 적어도 하나로 인해 공간적으로 변화할 수 있다.
상기 지역 조명을 추정하는 단계는, 상기 추정된 전역 조명, 상기 컬러 이미지 및 상기 깊이 이미지에서 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 상기 지역 조명을 추정하는 단계를 포함할 수 있다.
상기 3차원 형상을 획득하는 단계는, 추정된 조명으로부터 표면 법선을 추정하는 단계, 그리고 상기 추정된 표면 법선을 주어진 깊이정보에 융합하여 상기 물체에 대한 3차원 형상을 획득하는 단계를 포함할 수 있다.
상기 지역 조명을 추정하는 단계는, 상기 전역 조명을 추정하는 단계에서 추정된 컬러와 상기 캡쳐하는 단계에서 캡쳐된 컬러 이미지의 컬러의 차이를 통해 상기 지역 조명을 추정할 수 있다.
상기 컬러 이미지 및 깊이 이미지는, 자연 조명 하에서 캡쳐될 수 있다.
본 발명의 일 양태에 따른 3차원 형상 획득 방법은 3차원 형상 획득 장치가 물체의 3차원 형상을 획득하는 방법에서, 자연 조명에서 센서에 의해 상기 물체에 대한 상기 물체의 컬러 이미지 및 깊이 이미지를 캡쳐하는 단계, 상기 캡쳐된 이미지를 이용하여 자연 조명을 추정하는 단계, 추정된 자연 조명으로부터 표면 법선을 추정하는 단계, 그리고 상기 추정된 표면 법선들을 주어진 깊이정보에 융합하여 상기 물체에 대한 3차원 형상을 획득하는 단계를 포함한다.
상기 자연 조명을 추정하는 단계는, 상기 컬러 이미지 및 상기 깊이 이미지로부터 전역 조명을 추정하는 단계, 그리고 상기 추정된 전역 조명을 이용하여 공간적으로 변화하는 지역 조명을 추정하는 단계를 포함할 수 있다.
상기 지역 조명을 추정하는 단계는, 전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류로 분해하여 지역 조명을 추정하는 단계를 포함할 수 있다.
상기 지역 조명은, 표면 그림자, 상호반사 또는 근접 조명으로 인해 공간적으로 변화할 수 있다.
상기 전역 조명, 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 상기 지역 조명을 추정하는 단계를 포함할 수 있다.
본 발명의 일 양태에 따른 3차원 형상 획득 장치는 픽셀당 깊이 정보와 컬러 정보를 포함하는 이미지를 캡쳐하는 센서부, 상기 캡쳐된 이미지를 이용하여 자연 조명을 추정하는 조명 추정부, 추정된 자연 조명으로부터 표면 법선을 추정하는 법선 추정부, 그리고 상기 추정된 표면 법선들을 이용하여 상기 물체에 대한 3차원 형상을 획득하는 형상 획득부를 포함한다.
상기 센서부는, 상기 깊이 정보를 포함하는 깊이 이미지를 캡쳐하는 깊이 센서부, 그리고 상기 컬러 정보를 포함하는 컬러 이미지를 캡쳐하는 컬러 센서부를 포함할 수 있다.
상기 조명 추정부는, 상기 캡쳐된 이미지를 이용하여 전역 조명을 추정하는 전역 조명 추정부, 그리고 상기 추정된 전역 조명을 이용하여 지역 조명을 추정하는 지역 조명 추정부를 포함할 수 있다.
상기 지역 조명 추정부는, 전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류로 분해하여 상기 지역 조명을 추정할 수 있다.
상기 지역 조명 추정부는, 상기 추정된 전역 조명, 상기 컬러 이미지 및 상기 깊이 이미지에서 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 상기 지역 조명을 추정할 수 있다.
상기 지역 조명 추정부는, 상기 전역 조명을 추정하는 단계에서 추정된 컬러와 상기 캡쳐하는 단계에서캡쳐된 컬러 이미지의 컬러의 차이를 통해 상기 지역 조명을 추정할 수 있다.
본 발명에 따르면 전역 조명 추정과 함께 지역 조명을 추정함으로써, 지역적 모호함(local ambiguity)을 줄이고 보다 정확한 3차원 형상을 획들 할 수 있는 환경을 제공한다.
또한, 본 발명은 단일 영상 데이터의 영상만을 사용하여 동적인 물체들에 대하여 3차원 모델링이 가능하기 때문에, 사람의 동작을 인식하거나, 3차원 얼굴 모델링 등에 다양하게 활용될 수 있다.
도 1은 본 발명의 한 실시예에 따른 3차원 형상 획득 장치를 간략히 도시한 블록도이다.
도 2는 본 발명의 한 실시예에 따른 3차원 형상 획득 방법을 간략히 도시한 흐름도이다.
도 3은 본 발명의 한 실시예에 따라 캡쳐된 컬러 이미지 및 깊이 이미지를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따라 전역 조명 및 지역 조명이 추정된 도면이다.
도 5는 본 발명의 한 실시예에 따른 법선 추정의 결과를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따라 획득된 3차원 형상을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 3차원 형상 획득 장치 및 그 획득 방법에 대하여 상세히 설명한다.
도 1은 본 발명의 한 실시예에 따른 3차원 형상 획득 장치를 간략히 도시한 블록도이다. 이때, 3차원 형상 획득 장치(100)는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.
도 1을 참조하면, 본 발명의 3차원 형상 획득 장치(100)는 센서부(110), 추정부(120) 및 형상 획득부(130)를 포함한다.
센서부(110)는 물체에 대한 이미지를 캡쳐한다. 여기서, 이미지에는 컬러 영상 정보와 깊이 정보가 포함된다. 따라서, 센서부(110)는 픽셀당 깊이 정보와 컬러 정보를 포함하는 이미지를 캡쳐한다. 본 발명의 한 실시예는 비보정된 자연 조명(natural lighting) 하에서 키넥트(Kinect) 센서에 의해 영상 데이터 입력을 캡쳐한다.
센서부(110)는 깊이 센서부(112) 및 컬러 센서부(124)를 포함한다. 깊이 센서부(112)는 상기 깊이 정보를 포함하는 깊이 이미지를 캡쳐하며, 컬러 센서부(124)는 상기 컬러 정보를 포함하는 컬러 이미지를 캡쳐한다.
추정부(120)는 상기 캡쳐된 컬러 이미지와 깊이 이미지를 이용하여 자연 조명을 추정하고, 추정된 자연 조명으로부터 물체에 대한 표면 법선(surface normal)을 추정한다.
추정부(120)는 조명 추정부(122) 및 법선 추정부(128)를 포함한다.
조명 추정부(122)는 센서부(110)에서 캡쳐된 컬러 이미지 및 깊이 이미지를 이용하여 자연 조명을 추정한다.
여기서, 조명 추정부(122)는 전역 조명 추정부(124) 및 지역 조명 추정부(126)를 포함한다. 전역 조명 추정부(124)는 먼 조명을 표현하고, 분산 물체의 저차원 특성을 이용하여 전역 조명을 추정한다. 지역 조명 추정부(126)는 물체에서 전역 조명으로 표현할 수 없는 공간적으로 변화하는 지역 조명을 추정한다.
상세하게 설명하면, 전역 조명 추정부(124)는 주어진 색상과 깊이 정보로부터 전역 조명(global lighting)을 추정한다. 즉, 전역 조명 추정부(124)는 물체에 대한 컬러 이미지 및 깊이 이미지를 이용하여 전역 조명을 추정한다.
지역 조명 추정부(126)는 공간적으로 변화하는 지역 조도를 만드는 지역 조명(local lighting)을 추정한다. 지역 조명은 표면 그림자(attached shadows), 상호반사(interreflections) 또는 근접 조명으로 인해 발생한다.
그리고, 지역 조명 추정부(126)는 전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류를 추출하고 상기 지역 조명을 추정할 수 있다.
또한, 지역 조명 추정부(126)는 추정된 전역 조명, 캡쳐된 컬러 이미지 및 깊이 이미지에서 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 지역 조명을 추정하며, 이에 대해서는 뒤에 상세히 후술한다.
지역 조명 추정부(126)는 센서부(110)에서 캡쳐된 컬러 이미지의 컬러와 전역 조명 추정부(124)에서 추정된 컬러의 차이를 통해 지역 조명을 추정할 수 있다.
법선 추정부(128)는 조명 추정부(122)에서 추정된 전역 조명 및 지역 조명을 이용하여 표면 법선들을 추정한다. 이때, 이미지에 대한 하나의 표면 법선을 추정하는 것은 지역적 모호함(local ambiguity)으로 인해 정확하지 않다. 그리고, 전체 픽셀에 대한 법선들을 최적화하는 것도 복잡성 때문에 적합하지 않다. 따라서, 본 발명의 한 실시예에 따른 법선 추정부(128)는 하나 또는 그 이상의 픽셀들로 오버랩된 k ㅧ k 픽셀들의 이미지 패치들에 대한 법선들을 최적화하고, 일정 영역에 대한 표면 법선을 추정한다.
그리고, 형상 획득부(130)는 법선 추정부(128)에서 추정된 법선들을 주어진 기하학(geometry) 또는 깊이정보와의 융합에 의해 고품질 형상을 획득한다.
이때, 형상 획득부(130)가 추정된 전역 조명 및 지역 조명으로 직접 표면 법선들을 추정하고, 이로부터 고품질 형상을 획득할 수도 있다.
도 2는 본 발명의 한 실시예에 따른 3차원 형상 획득 방법을 간략히 도시한 흐름도이다. 이때, 이하의 흐름도는 도 1의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.
도 2를 참조하면, 본 발명의 3차원 획득 장치(100)는 센서부(110)에 의해서 물체에 대한 컬러 이미지와 깊이 이미지를 캡쳐 한다(S100).
그리고, 본 발명의 전역 조명 추정부(124)는 캡쳐된 컬러 이미지 및 깊이 이미지로부터 전역 조명을 추정한다(S102).
지역 조명 추정부(126)는 추정된 전역 조명 결과를 이용하여 지역 조명을 추정한다(S104).
법선 추정부(128)가 추정된 전역 조명 및 지역 조명을 이용하여 표면 법선을 추정하고, 그리고 나서, 형상 획득부(130)가 추정된 표면 법선들을 주어진 깊이정보에 융합하여 상기 물체에 대한 고품질의 3차원 형상을 획득한다(S106, S108).
이하, 전역 조명을 추정한 뒤에, 지역 조명 추정부(126)가 지역 조명을 추정하는 과정을 상세히 기재하면 다음과 같다.
우선, 이미지의 강도 I는 표면 법선 n이 적용된 음영 함수 s에 의해 결정된다. 본 발명의 한 실시예는 물체가 확산 표면에 대해서 균일한 알베도를 가지고, 센서부(110)의 카메라가 모두 기하학적(geometrically)이고 방사적으로(radiometrically) 조정된다고 가정한다. 볼록 확산 물체(convex diffuse objects)의 강도는 조명의 높은 주파수의 변화에 민감하지 않다. 따라서, 구형 고조파와 2차 함수와 같은 낮은 차원의 전역 조명 모델에 의해 확산 물체의 강도가 설명될 수 있다.
본 발명의 한 실시예는 전역 조명 모델로서 2차 함수를 사용하며, 이는 아래의 수학식 1과 같다.
Figure 112013086545118-pat00001
여기서, Ix는 픽셀 x에서의 강도이고, nx는 픽셀 x에서의 단위 법선 벡터이다. 그리고, 조명 함수의 파라미터들(A, B, C)은 각각 대칭행렬, 벡터 및 상수로 구성된다.
전역 조명 모델은 적은 수의 파라미터를 가진 자연 조명 하에서 확산 표면을 설명한다. 그러나, 표면 그림자, 상호반사 및 근접 조명들 때문에, 지역 조명에 변화가 있다. 즉, 지역 조명은 공간적으로 변하기 때문에, 조명 모델을 전역 조명 모델로 대신할 수 없고, 이로 인해 정확한 3차원 형상을 획득할 수 없게 된다.
따라서, 본 발명의 한 실시예는 공간적으로 변하는 지역 조명을 추정하고, 이를 이용하여 보다 정밀한 3차원 형상을 획득한다. 이하에서는 지역 조명을 추정하는 과정을 상세히 설명하면 다음과 같다.
지역 조명 문제를 설명하기 위해서, 아래의 수학식 2를 이용한다.
Figure 112013086545118-pat00002
여기서, 지역 조명이 반영된 조명 강도 I는 음영 함수 s에 각 픽셀에 대한 지역 조명 변수 α를 곱해서 구해진다.
이른바, 전역 조명의 오류, (I - s (n))로부터 지역 조명의 모델이 정의된다. 이때 전역 조명의 오류는 진짜 법선들(true normal)로부터 지역 조명 변화 및 기하학적 법선 편차인 두 개의 요소로 분해될 수 있다. 따라서, 본 발명의 한 실시예는 전역 조명의 오류를 지역 조명의 오류 및 법선 편차의 오류로 분해한다.
여기서, 본 발명의 한 실시예는 음영과 반사율(reflectance)이 인접 픽셀로 부드럽게 변화하는 레티넥스(Retinex) 제약을 사용한다.
레티넥스 제약은 일정한 반사율 추정을 통해서 아래의 수학식 3과 같이 간소화된다.
Figure 112013086545118-pat00003
여기서, Ωp는 픽셀 p의 모든 이웃 픽셀 집합들을 나타내며, ωl (p,q)은 컬러 유사성을 위한 가중 함수를 나타낸다.
또한, 상기 가중 함수 ωl (p,q)는 아래의 수학식 4와 같이 정의된다.
Figure 112013086545118-pat00004
이때, τl은 임계값이고, σl는 제어 파라미터이다.
이렇게 단순화된 레티넥스 제약과 함께, 지역 조명 변화는 인접한 픽셀들과 매우 유사하다. 이웃하는 픽셀들 사이에 지역 조명 변수의 갑작스런 변화를 막기 위해서, 부드러운 제약(smoothness constraint)이 아래의 수학식 5와 같이 정의된다.
Figure 112013086545118-pat00005
∇2는 네개의 이웃 상에서 라플라시안 연산자(Laplacian operator)를 나타낸다.
기하학적 법선들의 글로벌 정확성(global accuracy)에서 전역 조명 모델이 추정되기 때문에, 관찰된 강도는 전역 조명 모델에서 추정된 강도와 유사해야 한다. 따라서, 수학식 6과 같이 조명 제약을 실시한다.
Figure 112013086545118-pat00006
모든 제약을 결합하는 것에 의해서, 지역 조명 변수 α는 최소화에 의해 결정되며, 이는 아래의 수학식 7과 같다.
Figure 112013086545118-pat00007
여기서, λl 1 , λl 2, λl 3는 각 제약의 영향을 조절하는 가중 파라미터이다.
수학식 8은 지역 조명을 추정하는 선형 최적화 방법으로, 수학식 8의 합을 최소화하는 지역 조명 변수 α를 도출한다.
모든 제약이 선형이기 때문에, 전체 최적화는 선형 시스템으로 표현하고 효율적으로 최소 제곱법에 의해 효과적으로 풀 수 있다.
즉, 지역 조명은 전역 조명, 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 추정된다.
도 3 내지 도 6은 본 발명의 한 실시예에 따른 형상 획득 과정을 설명하는 도면이다.
도 3 내지 도 6을 참조하면, 본 발명의 한 실시예는 어떠한 추가 정보 없이도 영상 데이터 이미지에서 고품질 형상 정보를 복원할 수 있음을 보여준다. 본 발명의 한 실시예는 확산 물체의 단일 영상 데이터 이미지에서 자연 조명 조건과 고품질 형상 정보를 모두 추정할 수 있는 환경을 제공한다.
도 3은 본 발명의 한 실시예에 따라 캡쳐된 컬러 이미지 및 깊이 이미지를 나타내는 도면이다.
도 3에서, 영상 데이터 입력은 비보정된 자연 조명하에서 센서부(110)에 의해 캡쳐된다.
도 4는 본 발명의 한 실시예에 따라 전역 조명 및 지역 조명이 추정된 도면이다.
도 4에서, 전역 조명은 주어진 색상과 깊이 정보로부터 추정되며, 이와 함께 공간적으로 변화하는 지역 조도를 만드는 지역 조명이 추정된다.
도 5는 본 발명의 한 실시예에 따른 법선 추정의 결과를 나타내는 도면이며, 도 6은 본 발명의 한 실시예에 따라 획득된 3차원 형상을 나타내는 도면이다.
도 5에서는 추정된 조명으로 표면 법선들이 추정된다. 그리고 나서, 도 6에서와 같이, 추정된 법선들을 주어진 기하학적 구조 또는 깊이정보에 융합하여 고품질 형상을 획득한다.
이와 같은 과정을 통해서, 본 발명의 한 실시예는 깊이 센서에 의해 획득된 거친 기하학적 구조 또는 깊이정보에서 자연 조명 조건들이 추정될 수 있음을 보여준다. 그리고, 본 발명의 한 실시예는 전역 조명 모델을 설명하는 전형적인 측광법과 달리, 작은 구역(small neighborhood)에서 음영의 부드러움에 기초한 전역 조명 및 지역 조명 변화 모두를 만든다.
또한, 본 발명의 한 실시예는 주어진 거친 기하학적 구조 또는 깊이정보가 형상 복구에서 지역적 모호함을 감소시키는 것을 보여주고, 이는 정확한 3D 형상 정보를 복원할 수 있게 한다. 그리고, 본 발명의 한 실시예는 실험실 환경 외부의 동적 형상 캡쳐에 적용되는 단일 영상 데이터 이미지로부터 고품질의 형상 캡쳐할 수 환경을 제공한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
110: 센서부 112: 깊이 센서부
114: 컬러 센서부 120: 추정부
122: 조명 추정부 124: 전역조명 추정부
126: 지역조명 추정부 128: 법선 추정부
130: 형상 획득부

Claims (18)

  1. 3차원 형상 획득 장치가 물체의 3차원 형상을 획득하는 방법에서,
    센서에 의해 상기 물체에 대한 컬러 이미지 및 깊이 이미지를 캡쳐하는 단계,
    상기 컬러 이미지 및 상기 깊이 이미지로부터 전역 조명을 추정하는 단계,
    상기 추정된 전역 조명을 이용하여 공간적으로 변화하는 지역 조명을 추정하는 단계, 그리고
    추정된 지역 조명으로부터 표면 법선을 추정해 상기 물체에 대한 3차원 형상을 획득하는 단계
    를 포함하며,
    상기 지역 조명을 추정하는 단계는,
    상기 추정된 전역 조명, 상기 컬러 이미지 및 상기 깊이 이미지에서 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 상기 지역 조명을 추정하는 단계를 포함하는 3차원 형상 획득 방법.
  2. 제1항에,
    상기 지역 조명을 추정하는 단계는,
    전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류로 분해하여 상기 지역 조명을 추정하는 단계를 포함하는 3차원 형상 획득 방법.
  3. 제1항에,
    상기 지역 조명은,
    표면 그림자, 상호반사 및 근접 조명 중 적어도 하나로 인해 공간적으로 변화하는 3차원 형상 획득 방법.
  4. 삭제
  5. 제1항에,
    상기 3차원 형상을 획득하는 단계는,
    추정된 조명으로부터 표면 법선을 추정하는 단계, 그리고
    상기 추정된 표면 법선을 주어진 깊이정보에 융합하여 상기 물체에 대한 3차원 형상을 획득하는 단계
    를 포함하는 3차원 형상 획득 방법.
  6. 제1항에,
    상기 지역 조명을 추정하는 단계는,
    상기 전역 조명을 추정하는 단계에서 추정된 컬러와 상기 캡쳐하는 단계에서 캡쳐된 컬러 이미지의 컬러의 차이를 통해 상기 지역 조명을 추정하는 3차원 형상 획득 방법.
  7. 제1항에,
    상기 컬러 이미지 및 깊이 이미지는,
    자연 조명 하에서 캡쳐되는 3차원 형상 획득 방법.
  8. 3차원 형상 획득 장치가 물체의 3차원 형상을 획득하는 방법에서,
    자연 조명에서 센서에 의해 상기 물체에 대한 상기 물체의 컬러 이미지 및 깊이 이미지를 캡쳐하는 단계,
    상기 캡쳐된 이미지를 이용하여 자연 조명을 추정하는 단계,
    추정된 자연 조명으로부터 표면 법선을 추정하는 단계, 그리고
    상기 추정된 표면 법선들을 주어진 깊이정보에 융합하여 상기 물체에 대한 3차원 형상을 획득하는 단계
    를 포함하며,
    상기 자연 조명을 추정하는 단계는,
    상기 컬러 이미지 및 상기 깊이 이미지로부터 전역 조명을 추정하는 단계, 그리고
    상기 추정된 전역 조명을 이용하여 공간적으로 변화하는 지역 조명을 추정하는 단계
    를 포함하고,
    상기 지역 조명을 추정하는 단계는,
    상기 전역 조명, 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 상기 지역 조명을 추정하는 단계를 포함하는 3차원 형상 획득 방법.
  9. 삭제
  10. 제8항에,
    상기 지역 조명을 추정하는 단계는,
    전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류로 분해하여 지역 조명을 추정하는 단계를 포함하는 3차원 형상 획득 방법.
  11. 제8항에,
    상기 지역 조명은,
    표면 그림자, 상호반사 또는 근접 조명으로 인해 공간적으로 변화하는 3차원 형상 획득 방법.
  12. 삭제
  13. 픽셀당 깊이 정보와 컬러 정보를 포함하는 이미지를 캡쳐하는 센서부,
    상기 캡쳐된 이미지를 이용하여 자연 조명을 추정하는 조명 추정부,
    추정된 자연 조명으로부터 표면 법선을 추정하는 법선 추정부, 그리고
    상기 추정된 표면 법선들을 이용하여 물체에 대한 3차원 형상을 획득하는 형상 획득부
    를 포함하며,
    상기 조명 추정부는,
    상기 캡쳐된 이미지를 이용하여 전역 조명을 추정하는 전역 조명 추정부, 그리고
    상기 추정된 전역 조명을 이용하여 지역 조명을 추정하는 지역 조명 추정부
    를 포함하며,
    상기 지역 조명 추정부는,
    상기 추정된 전역 조명, 상기 컬러 이미지 및 상기 깊이 이미지에서 주어진 깊이 정보 및 광도 정보로부터 선형 최적화 방법을 수행하여 상기 지역 조명을 추정하는 3차원 형상 획득 장치.
  14. 제13항에,
    상기 센서부는,
    상기 깊이 정보를 포함하는 깊이 이미지를 캡쳐하는 깊이 센서부, 그리고
    상기 컬러 정보를 포함하는 컬러 이미지를 캡쳐하는 컬러 센서부
    를 포함하는 3차원 형상 획득 장치.
  15. 삭제
  16. 제13항에,
    상기 지역 조명 추정부는,
    전역 조명의 오류로부터 지역 조명의 오류 및 법선 편차 오류로 분해하여 상기 지역 조명을 추정하는 3차원 형상 획득 장치.
  17. 삭제
  18. 제13항에,
    상기 지역 조명 추정부는,
    상기 전역 조명을 추정하는 단계에서 추정된 컬러와 상기 캡쳐된 이미지의 컬러의 차이를 통해 상기 지역 조명을 추정하는 3차원 형상 획득 장치.
KR20130113504A 2013-09-24 2013-09-24 3차원 형상 획득 장치 및 그 획득 방법 KR101495299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130113504A KR101495299B1 (ko) 2013-09-24 2013-09-24 3차원 형상 획득 장치 및 그 획득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130113504A KR101495299B1 (ko) 2013-09-24 2013-09-24 3차원 형상 획득 장치 및 그 획득 방법

Publications (1)

Publication Number Publication Date
KR101495299B1 true KR101495299B1 (ko) 2015-02-24

Family

ID=52594169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130113504A KR101495299B1 (ko) 2013-09-24 2013-09-24 3차원 형상 획득 장치 및 그 획득 방법

Country Status (1)

Country Link
KR (1) KR101495299B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630856B1 (ko) * 2015-03-09 2016-06-15 한국과학기술원 다분광 포토메트릭 스테레오 시스템 그리고 이의 동작 방법
WO2017039027A1 (en) * 2015-08-31 2017-03-09 Siliconarts Inc. Method of processing global illumination and apparatus performing the same
KR101827847B1 (ko) 2016-04-19 2018-02-09 한국과학기술원 삼차원 영상 복원 장치 및 삼차원 영상 복원 방법
KR102016576B1 (ko) 2019-04-05 2019-08-30 (주)오르비텍 원전해체 방폐물의 자동 형상취득 시스템
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20200040194A (ko) * 2018-10-08 2020-04-17 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
WO2021071081A1 (ko) * 2019-10-08 2021-04-15 삼성전자주식회사 3차원 형상 추정 장치를 포함하는 조리 기기 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834157B1 (ko) * 2006-11-20 2008-06-02 중앙대학교 산학협력단 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체
KR100918392B1 (ko) 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR20110024242A (ko) * 2009-09-01 2011-03-09 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
KR20110053166A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 3ｄ 오브젝트 렌더딩 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834157B1 (ko) * 2006-11-20 2008-06-02 중앙대학교 산학협력단 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체
KR100918392B1 (ko) 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR20110024242A (ko) * 2009-09-01 2011-03-09 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
KR20110053166A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 3ｄ 오브젝트 렌더딩 방법 및 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630856B1 (ko) * 2015-03-09 2016-06-15 한국과학기술원 다분광 포토메트릭 스테레오 시스템 그리고 이의 동작 방법
WO2017039027A1 (en) * 2015-08-31 2017-03-09 Siliconarts Inc. Method of processing global illumination and apparatus performing the same
KR101827847B1 (ko) 2016-04-19 2018-02-09 한국과학기술원 삼차원 영상 복원 장치 및 삼차원 영상 복원 방법
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20200040194A (ko) * 2018-10-08 2020-04-17 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR102287472B1 (ko) * 2018-10-08 2021-08-09 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
US11380056B2 (en) 2018-10-08 2022-07-05 Korea Advanced Institute Of Science And Technology 3D object acquisition method and apparatus using artificial light photograph
KR102016576B1 (ko) 2019-04-05 2019-08-30 (주)오르비텍 원전해체 방폐물의 자동 형상취득 시스템
WO2021071081A1 (ko) * 2019-10-08 2021-04-15 삼성전자주식회사 3차원 형상 추정 장치를 포함하는 조리 기기 및 그 제어 방법

Similar Documents

Publication Publication Date Title
KR101495299B1 (ko) 3차원 형상 획득 장치 및 그 획득 방법
KR102524422B1 (ko) 객체 모델링 및 움직임 방법 및 장치, 그리고 기기
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
Yang et al. Mobile3DRecon: Real-time monocular 3D reconstruction on a mobile phone
CN106228507B (zh) 一种基于光场的深度图像处理方法
EP3242275B1 (en) Using photo collections for three dimensional modeling
US9317970B2 (en) Coupled reconstruction of hair and skin
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
Wang et al. Estimation of multiple directional light sources for synthesis of augmented reality images
CA3134440A1 (en) System and method for virtual modeling of indoor scenes from imagery
US9659408B2 (en) Mesh reconstruction from heterogeneous sources of data
CN117115256A (zh) 图像处理系统
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
WO2019031259A1 (ja) 画像処理装置および方法
EP4066208B1 (en) Using machine learning to transform image styles
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
CN111915723A (zh) 一种用于室内的三维全景构建方法和系统
US11270448B2 (en) Using machine learning to selectively overlay image content
Shim et al. Time-of-flight sensor and color camera calibration for multi-view acquisition
US8633926B2 (en) Mesoscopic geometry modulation
CN109640066A (zh) 高精度稠密深度图像的生成方法和装置
US12062145B2 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications
Chen et al. Kinect depth recovery using a color-guided, region-adaptive, and depth-selective framework
CN114494582B (zh) 一种基于视觉感知的三维模型动态更新方法
Ran et al. High-precision human body acquisition via multi-view binocular stereopsis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 6