KR100479983B1 - 혼성 반사 모델에서의 포토 메트릭 스테레오 방법 - Google Patents

Abstract

본 발명은 N장의 일련의 영상으로부터 물체의 표면 알비도(albedo) 및 혼성 반사 모델 변수(hybrid reflectance model parameter)들과 표면 법선 벡터 등의 기하학적 정보를 추정하여 이로부터 물체의 3차원 깊이 정보를 복원할 뿐만 아니라 임의의 광원으로부터의 영상을 합성하는 방법에 관한 것으로, 본 발명은 광원의 위치가 상이한 N개의 영상을 수신하는 단계와; 상기 영상으로부터 영상 형성 변수 추정에 사용 가능한 모든 영상 쌍들을 선택하고 이들로부터 반복적으로 영상 형성 변수를 추정하는 단계와; 상기 선택된 영상 쌍들로부터 난반산 에러를 최소화하는 난반사 성분에 대한 알비도 및 법선을 추정하는 과정과; 상기 검출된 난반사 성분에 관련된 법선 벡터와 난반사 알비도로부터 난반사 영상을 검출하는 단계와; 상기 난반사 영상 및 전체 영상으로부터 전반사 영상을 검출하는 단계와; 상기 전반사 영상으로부터 전반사에 관한 관련된 영상 형성 변수를 검출하는 단계를 구비한다.

즉, 본 발명에서는 각 화소별로 표면의 법선 벡터 분포를 구하고 이들로부터 입력 영상을 전반사 영상과 난반사 영상으로 분리하여 각각의 모델 변수들을 추정한다.

Description

혼성 반사 모델에서의 포토 메트릭 스테레오 방법{GENERALIZED PHOTOMETRIC STEREO FOR THE HYBRID REFLECTANCE MODEL USING AN IMAGE SEQUENCES}

본 발명은 물체의 3차원 형상 및 물리적 특성을 복원하는 컴퓨터 비전 분야에 관한 것으로, 더욱 상세하게는 물체의 3차원 정보 및 광원으로부터의 영상을 합성하는 혼성 반사 모델에서의 일반화된 포토 메트릭 스테레오 방법에 관한 것이다.

입력 영상의 밝기 값을 분석하여 대상 물체의 3차원 형상 및 물리적 특성을 복구하는 것은 컴퓨터 비젼 분야에서 가장 중요한 문제들 중 하나이다. 영상의 밝기값은 물체의 표면 반사 특성에 크게 영향을 받기 때문에 여러 가지의 표면 반사 모델이 연구되었다. 이들 중 가장 일반적으로 사용되는 것이 람버션(Lambertian) 모델이다. 그러나 이 모델은 난반사 성분만을 반영하므로 전반사 성분이 존재하는 실제 표면에는 적용이 힘들다.

이러한 문제점을 극복하기 위해 여러 가지의 혼성 반사 모델이 제시되었다. 이들 모델의 유도 과정과 기본 가정들은 서로 상이하지만 결과적으로 대부분의 모델들은 표면의 반사 성분을 전반사 성분과 난반사 성분으로 분리한다. 이에 기반하여 입력 영상을 난반사 영상과 전반사 영상으로 분리하려는 연구가 진행되었다. 콜맨(Coleman)과 제인(Jain)은 네 장의 입력 영상으로부터 각 화소별로 한 장의 전반사 성분이 존재하는 영상을 추출하는 알고리즘을 제안하였다. 샤슈아(Shashua) 역시 비슷한 알고리즘으로 입력 영상으로부터 전반사 성분을 검출하였다. 그러나 이러한 방법은 물체 표면이 거칠어서 전반사 성분이 한 장이 아니라 그 이상에 존재할 경우 큰 문제를 가지고 있으며 일반적으로 N장의 영상에 대해서는 효과적으로 동작하지 않는다.

본 발명은 이러한 문제를 해결하기 위한 것으로서, 본 발명의 목적은, N장의 일련 영상으로부터 물체의 표면 알비도(albedo) 및 혼성 반사 모델 변수들과 표면 법선 벡터 등의 기하학적 정보를 추정하여 이로부터 물체의 3차원 깊이(depth) 정보를 복원하며 임의의 광원으로부터의 영상을 합성하는 혼성 반사 모델에서의 일반화된 포토 메트릭 스테레오 방법을 제공하는데 있다.

이러한 목적을 달성하기 위하여 본 발명은, 임의의 광원으로부터의 영상을 합성하는 혼성 반사 모델에서의 포토 메트릭 스테레오 방법으로, 광원의 위치가 상이한 N개의 영상을 수신하는 단계와; 상기 영상으로부터 영상 형성 변수 추정에 사용 가능한 모든 영상 쌍들을 선택하고 이들로부터 반복적으로 영상 형성 변수를 추정하는 단계와; 상기 선택된 영상 쌍들로부터 난반사 에러를 최소화하는 난반사 성분에 대한 알비도 및 법선을 추정하는 과정과; 상기 검출된 난반사 성분에 관련된 법선 벡터와 난반사 알비도로부터 난반사 영상을 검출하는 단계와; 상기 난반사 영상 및 전체 영상으로부터 전반사 영상을 검출하는 단계와; 상기 전반사 영상으로부터 전반사에 관한 관련된 영상 형성 변수를 검출하는 단계를 구비한다.

이하, 첨부 도면을 참조하여 본 발명에 따른 일 실시예를 상세하게 설명하기로 한다.

도 1에는 본 발명을 행하는 장치의 개략 블록도가 도시되어 있다. 도시된 바와 같이 본 발명은 제어기(1)의 제어에 따라 구동하는 촬상기(3)와 광원(5)을 구비한다. 제어기(1)는 후술하는 바와 같이 광원(5)의 위치를 달리하면서 동일 물체에 광을 제공하고, 촬상기(3)는 광원(5)의 위치에 따라 상이하게 반사되는 물체의 반사광을 촬상한다.

촬상기(3)에서 촬상된 반사광 즉 영상 신호는 영상 처리 장치(7)에 제공되며, 영상 처리 장치(7)는 영상 신호를 후술하는 본 발명의 방법으로 처리하여 3차원 물체(9)(정보)를 형성한다.

도 2에는 영상 처리 장치(7)가 행하는 본 발명의 흐름도가 도시되어 있다. 도 2의 작동 흐름을 설명하기 전에 이하에서는 본 발명에서는 사용되는 기본 개념에 대하여 설명하고자 한다.

먼저, 본 발명에서는 대부분의 SFS(shape from shading) 알고리즘들이 가정하는 람버션(Lambertian) 표면을 일반화한 혼성 반사 모델을 사용한다. 람버션(Lambertian) 표면을 가정하는 경우 영상 형성은 물체를 바라보는 시점에 상관없이 오직 표면의 법선 벡터와 광원의 방향 벡터 사이의 관계에 의해 결정된다. 그러나 실제 표면에는 난반사 성분뿐만 아니라 전반사 성분이 존재하므로 이들을 반영하는 새로운 모델이 필요하며 여러 가지의 혼성 반사 모델이 제안되고 있다. 본 발명에서는 난반사 성분을 람버션(Lambertian) 모델로, 전반사 성분을 토랜스-스패로우(Torrance-sparrow) 모델로 근사하는 혼성 반사 모델을 사용하였다. 일반화된 혼성 반사 모델을 정의하기 위해 필요한 영상 형성 모델을 도 3에 도시하였다.

도 3에 도시되어 있는 모든 벡터는 단위벡터이며, 은 표면의 법선 벡터이고 는 물체 표면으로부터 카메라까지 이르는 시선 방향 벡터이다. 그리고 는 광원의 방향 벡터를, 는 시선과 광원의 중점 벡터로서 전반사 방향 벡터를 의미하는 것으로 수학식 1의 관계가 있다.

한편, 촬상 소자로 취득하는 영상 밝기 값(radiance)(L)은 수학식 2로 표시할 수 있다.

여기서, 는 난반사에 의한 영상 밝기 값이며, 는 전반산에 의한 영상 밝기 값이고, 는 난반사에 의한 알비도, 는 전반사에 의한 알비도이며, k는 물체의 표면 재질에 따른 파라메터를 의미하며, 는 전반사 방향 벡터()와 표면의 법선 벡터() 사이의 각도(rad)이다.

수학식 2에서 알 수 있듯이 혼성 표면 반사 모델의 경우 영상 밝기 값(radiance)은 난반사 성분()와 전반사 성분()으로 나뉘어 진다. 본 발명에서는 수학식 2의 변수()들을 추정하여 난반사 표면과 전반사 표면을 결정한다. 본 발명에서는 후술하는 바와 같이 우선 난반사 성분만을 제공하거나 전반사 성분을 무시할 수 있는 영상을 선택하여 난반사 표면을 구하고, 이를 이용하여 그 위에 덧붙여진 전반사 표면을 검출한다.

다음으로, 추정된 영상 형성 변수들의 정확도를 측정하기 위한 본 발명의 에러 척도에 대하여 설명한다. 본 발명에서 사용되는 에러 척도(E)는 N장의 영상의 밝기 값과 사용된 혼성 반사 모델, 그리고 추정치의 수학적 안정도를 고려하여 정의되며, 이를 수학적으로 정의하면 수학식 3과 같다.

여기서 는 k번째 입력 영상이며, 는 k번째 입력 영상의 난반사 영상과 전반사 영상을,는 각각의 복원된 영상을 나타내며, 는 난반사 에러를, 는 전반사 에러를 나타낸다. 또한 , 난반사 및 전반사 각각의 에러에 대한 가중치로 이들은 표면 반사 모델에 의한 에러 또는 양자화 에러, 그리고 수학적으로 추정된 값의 안정도 등이 반영되어 결정되며 수학식 4로 정의된다.

여기서 , 는 표면 반사 모델에 의한 추정 에러 및 양자화 에러 등을 고려하는 가중치이며, 는 영상 형성 변수 추정의 수학적 안정도에 기반하여 정의된 가중치이다. 표면 반사 모델과 동일한 카메라로부터 취득된 영상들이 주어졌을 경우, 양자화 효과가 전 영역에서 균일하게 나타난다고 가정하면, 수학식 4의 가중치()는 일정한 값을 갖는다. 반면, 가중치()는 물체 표면에 의존하는 값으로 에러 최소화에 중요한 역할을 한다. 본 발명에서는 후술하는 바와 같이 추정된 영상 형성 변수들의 PQ 맵(map)상에서의 위상으로부터 가중치()를 정의한다.

세 장의 입력 영상으로부터 람버션(Lambertian) 표면에 대한 PQ 맵을 구하는 방법은 크게 두 가지로 나눌 수 있다. 하나는 물체 표면의 알비도를 안다는 가정 하에 구하는 방법이고 다른 하나는 물체 표면의 알비도를 모르는 상황에서 PQ 맵뿐만 아니라 알비도까지 구하는 방법이다. 본 발명에서는 후자의 방법을 적용하므로 이에 대해서 간략히 서술하고 이에 따른 수학적 안정도를 추출한다.

기본적으로 람버션(Lambertian) 표면을 가정한 경우에 취득한 영상 밝기 값 는 수학식 5와 같다.

여기서 는 i번째 광원의 밝기 값이고 는 광원의 단위 위치 벡터이며, 은 단위 법선 벡터이다. 이들을 행렬 형태로 표현하면 수학식 6과 같다.

만일, 라면 수학식 6은 수학식 7과 같이 바꿀 수 있으며, 이로부터 법선 벡터()를 구할 수 있다.

여기서 구한 법선 벡터()는 다음과 같이 된다.

수학식 8로부터 수학식 9의 과정을 통해 세 변수를 포함하지 않은 표면 기울기 p,``q를 구할 수 있으며, 이를 이용하여 에러 척도(E)와 라비도(ρ)를 구할 수 있다.

추정된 영상 형성 변수들의 PQ 맵 상에서 수학적 안정도에는 두 가지의 중요한 요소가 영향을 미친다. 첫 번째는 광원 쌍의 조합에 따른 추정 안정도이다. 각각의 입력 영상으로부터의 에러 가 주어졌다고 가정하자. 이 때 수학식 7로부터 수학식 10을 얻게 된다.

이를 변형하면, 에러 벡터 ()는 수학식 11로 얻게 된다.

이 에러 벡터()의 크기는 수학식 12로 구할 수 있다.

이제 방향 벡터()의 행렬식 값을 조건 값(condition value)()라 정의하면 수학식 13과 같이 표시할 수 있다.

조건 값()은 행렬을 결정하는 광원들의 조건(condition)을 나타내는 것으로 이 값이 작을 경우 세 광원의 위치가 일차 종속(linearly dependent)에 가깝다는 것을 의미하며 3차원 상에서 이를 만족하는 세 광원의 방향 벡터()는 거의 한 곳에 몰려있게 된다. 따라서 물체 표면의 법선 벡터는 이들 방향으로 편향(bias)되며 정확한 법선 방향을 구할 수 없게 된다. 또한 이 값이 작을수록 수학식 12에서 구해진 에러 벡터()의 크기가 커지게 되어 정확한 해를 얻기가 힘들며 오차가 커지게 된다. 이렇게 조건값() 값이 어느 값 이하인 3개의 광원을 악조건 광원 쌍(ill-conditioned light source pair)이라 본 명세서에서는 칭하였다. 악조건 광원 쌍은 정확한 해를 주지 않기 때문에 항상 영상 형성 변수 추정에서 제외한다.

이제 이 요소를 고려하여 가중치()를 정의한다. 화소(pixel) (x, y)에서의 난반사 성분을 결정하는데 참여하는 모든 조명쌍의 집합을라 하자. 이로부터 가중치()를 정의하면 수학식 14와 같다.

이제 수학식 14와 수학식 4에서 정의된 가중치들을 수학식 3에 대입하면, 가중치를 고려한 에러 척도(E)를 구할 수 있다. 이 에러 척도(E)를 최소화시키는 영상 형성 변수들을 추정함으로써 원하는 물체 반사 특성 및 형상 복구를 할 수 있다. 그러나 일반적으로 수학식 3과 같이 비선형 식으로 주어진 에러 척도의 최적해를 구하는 것은 힘들다. 따라서 본 발명에서는 이들을 전역적으로 최적화시키는 해를 구하지 않고 단계별로 최적화시키는 방법을 제안한다.

제안된 본 발명에서는 수학식 3에서 에러 척도를 단계별로 최소화시키며, 반복적으로 영상 형성 변수들의 추정치를 갱신한다. 이를 위해 입력 영상으로부터 난반사 영상을 구하고 원 영상(original image)과 난반사 영상의 차이를 이용하여 전반사 영상을 분리한다. 이 과정에서 표면의 법선 벡터 및 난반사 알비도를 추정한다. 결국 전반사 영상을 분리하면서 난반사 영상에 관련된 영상 형성 변수들을 구하고 수학식 3에서 난반사 에러()를 최소화시킨다. 이렇게 추출된 전반사 영상들로부터 전반사 에러()를 최소화시키는 나머지 영상 형성 변수들을 추정한다.

이하에서는 도 2의 흐름도를 참조하여 본 발명을 상세히 설명한다.

본 발명은 크게 두가지 단계로 구분된다. 첫 번째는 난반사 에러()를 최소화하는 난반사 영상 형성 변수들을 얻는 단계이며, 다른 하나의 단계는 전반사 에러()를 최소화하는 영상 형성 변수들을 얻는 단계이다.

본 발명의 영상 처리 장치(7)는 먼저 촬상기(3)에서 촬상된 N개의 영상을 수신하고(S1) 이들로부터 영상 형성 변수 추정에 사용 가능한, 즉 악조건 광원 쌍(ill-conditioned light source pair)을 제외한 모든 영상 쌍들을 선택하고 이들로부터 반복적으로 영상 형성 변수를 추정한다(S2).

영상 형성 변수 추출 과정은 N장의 입력 영상이 주어져 있을 때, 각 화소별로 영상 형성 변수 추정에 사용되는 가능한 모든 영상 쌍들을 선택하고 이들로부터 반복적으로 영상 형성 변수 추정을 하는 것이다. 이를 위해서 입력 영상으로부터 먼저 대상 물체 표면의 영역을 분리한다. 그림자 영역들은 기하학적인 정보가 주어져야 하기 때문에 영상만으로는 분리할 수 없지만, 전반사 효과가 지배적인 영역은 입력 영상만으로 분리가 가능하다. 이 영역에 해당되는 화소들에 대한 영상 형성 변수 추출은 불가능하며 주위 값들로부터 보간하여 영상 형성 변수들을 결정한다. 다음으로 모든 영상 쌍 중에서 악조건 광원 쌍들을 제외한다. 이러한 초기 과정을 거치면 각 화소별로 조합 가능한 모든 영상 쌍들 중에서 일부 영상 쌍들만이 선택되는 것이다.

단계(S2)의 수행 후에 영상 처리 장치(7)는 단계(S3)로 진행하여 알비도 및 법선을 추정하는 과정을 행한다. 즉, 영상 처리 장치는(7) 선택된 영상 쌍들의 법선 벡터()들의 분포로부터 그림자 영역을 분리해 낼뿐만 아니라 각각의 화소들의 법선 벡터()들을 추출한다. 특정 화소(x,y)가 주어져 있다고 하자. 이 화소에 대해 영상 쌍들로부터 구해진 법선 벡터()들의 평균 벡터를(), 그리고 분산을((x,y))라고 하자. 만일 분산값((x,y))이 특정 문턱치( )보다 작다면, 추정된 평균 법선 벡터( )를 이 화소에 대한 표면 법선 벡터라고 추정한다. 만일 문턱치보다 크다면, 이는 그림자 영향에 의한 것으로 간주하고 평균값으로부터 멀리 떨어져 있는 벡터들을 제외하고 다시 평균을 구한 후 수렴할 때까지 동일한 과정을 반복한다. 여기서 문턱치( )는 센서 잡음을 고려한 것으로 특정 화소에 대한 법선 벡터들의 분포와 평균, 그리고 문턱치를 도 4에 도시하였다. 도 4a는 이들을 단위 구 상에 도시한 것이고, 도 4b는 이를 () 영역 상으로 변환시킨 것이다.

이렇게 추정된 법선 벡터()들로부터 수학식 14에서 주어진 가중치()를 계산한다. 이 값이 적당한 수준이라면 추정된 값이 정확함을 의미한다. 그러나 만일 이 값이 너무 크다면, 큰 값을 유발시키는 성분을 제거한 후 해당 화소에 대해 다시 법선 벡터()를 계산한다.

영상 처리 장치(7)는 단계(S3)의 수행 과정 예컨데 수학식 4를 수행하여 최소의 난반사 에러()를 검출될 때까지 단계(S2, S3)를 수행하고(S4), 이 과정에서 난반사 성분에 관련된 법선 벡터()와 난반사 알비도()를 검출한다. 상술한 단계(S3)의 수행에 의하여 검출된 난반사 성분에 관련된 법선 벡터()와 난반사 알비도()로 부터 수학식 2에 주어진 바와 같이 난반사 영상()을 얻을 수 있으며(S5) 수학식 15와 같이 원 영상()과 난반사 영상()의 차이를 검출하여 전반사 영상()을 얻게 된다(S6).

한편, 상술한 혼성 반사 모델의 수학식 2에 나타난 바와 같이 전반사의 영상 밝기 값()성분은 수학식 16과 같다.

수학식 16의 양변에 자연 로그를 씌우면 수학식 17과 같은 선형 방정식을 얻게 된다.

여기서

, , 을 의미한다.

수학식 16에서 얻은 전반사 영상의 밝기 값()과 수학식 17을 이용하여 각 화소별로 LS(least square)알고리즘을 통해 전반사 성분에 관련된 영상 형성 변수 ()를 구한다(S7).즉 수학식 17과 같이 표현되면 A, B는 아는 상수이므로 모르는 변수는 두 개가 된다. 따라서 A, B 값을 두 쌍만 주면 정확하게 를 구할 수 있다. 그러나 실제로는 두 쌍 이상이 주어지므로 LS를 이용하여 최적해를 구할 수 있다.

상술한 단계(S7)를 수행한 후에 영상 처리 장치(7)는 단계(S8)로 진행하여 검출한 난반사 영상 및 전반사 영상을 합성하며, 3차원 물체 정보를 제공한다. 3차원 물체 정보는 상술한 과정을 통하여 검출된 정보들이 될 것이며, 이들을 이용하여 하나의 영상으로도 제공이 가능함은 본 발명의 기술 분야에서 통상의 지식을 가진 자는 용이하게 알 것이다.

본 발명자는 상술한 과정을 행하는 본 발명을 실험하였으며, 이하에서는 실험 결과에 대하여 서술하였다. 본 발명의 실험에서는 입력 영상 수와 계수 추정간의 관계를 구하기 위해 합성 영상에 대해 입력 영상 수를 변화시키면서 계수 추정의 에러를 측정하였다. 이를 위해 임의로 생성한 구로부터 광원의 수를 변화시키면서 일련의 합성 영상을 생성하였다. 각각의 영상에 대해 전반사 성분의 상대적 크기가 일정하도록 광원의 위치를 균일하게 분포시켰다.

합성 구의 난반사 알비도()를 200으로 설정하였으며, 표면 거칠기가 미치는 영향을 알아보기 위해 파라메터(k)의 값을 30, 50, 70으로 변화시켰다. 추정된 계수들로부터 원 영상을 합성하여 원 영상과의 밝기값 차이를 구하였다. 또한 3차원 깊이 정보를 복원하여 실제 깊이 값과의 차이를 살펴보았으며, 실험 결과를 도 5에 도시하였다. 도 5a는 재합성한 영상의 밝기 값의 에러이며, 도 5b는 복원된 깊이 정보의 에러를 나타낸 것으로 도 5b에서 깊이 에러는 합성 구의 반지름에 대한 상대적인 에러를 의미한다. 도 5에서 알 수 있듯이 표면의 거칠기에 상관없이 입력 영상 수가 증가할수록 추정된 밝기 값과 깊이 정보가 정확함을 알 수 있다. 그러나 입력 영상 수가 어느 정도 이상 증가하면 더 이상의 효과가 없음을 확인할 수 있다. 따라서 본 발명에서 주장한 바와 같이 기존의 4장이나 6장 정도를 이용하기보다는 더 많은 입력 영상을 사용함으로써 정확한 추정을 가능하게 함을 알 수 있다. 또한 알비도가 실제값보다 과대 평가되는 경우에도 안정적으로 동작함을 확인할 수 있다.

표면의 거칠기는 수학식 2에서 파라메터(k) 값으로 주어지게 된다. 도 6에서 알 수 있는 바와 같이 파라메터(k)값이 크면 표면이 매끈한 것으로 밝은 표면(shiny surface)을 이루게 되며 전반사 성분이 대단히 작은 영역에서 나타나며, 파라메터(k)값이 작게 되면 표면이 거칠어 전반사 성분이 전 영역에 고루 퍼지게 된다.

결국 파라메터(k) 값에 따라 전반사 로브(specular lobe)의 크기가 결정되며, 전반사 로브(specular lobe)는 난반사 성분을 추정하는 데에 큰 영향을 미치게 된다. 본 실험에서는 합성 구에 대해 파라메터(k)값을 변화시키면서 추정 에러를 구하였다. 실험결과 표면이 매끈할수록 정확한 계수 추정이 가능함을 확인할 수 있다. 여기서 또 하나 주목할 것이 있는데 바로 추정된 밝기 값 에러와 깊이 정보 에러의 상대적 크기 차이이다. 표면이 거친 경우 추정된 밝기 값의 에러가 상당히 큰 반면에 추정된 3차원 깊이 정보의 에러는 이에 비해서 작음을 알 수 있다. 이것은 전반사 성분이 물체 표면에 넓은 영역에 걸쳐 고루 퍼지면서 난반사 알비도의 추정 에러로 인해 발생하게 된다. k=10인 경우 추정된 알비도는 평균적으로 220으로 상당히 에러가 크다. 이 경우 넓은 영역에 고루 퍼진 전반사 성분이 난반사 성분으로 추정되어 알비도에 반영된 것이라 할 수 있다. 그러나 이렇게 알비도값의 에러가 크더라도 실제 밝기값 에러와 3차원 깊이 정보의 추정 에러는 상대적으로 작다. 이 결과로부터 전반사 로브(specular lobe)가 클 경우 추정된 알비도 값의 에러가 크더라도 제안한 알고리즘은 성공적으로 3차원 형상 복구를 함을 알 수 있다. 파라메터(k)값에 따른 전반사 알비도 추정 에러와 3차원 깊이 정보 추정 에러에 대한 그래프가 도 7에 제시되어 있다. 이때, y축은 상대 에러로서 알비도 추정의 경우 에러를 참값 알비도로 나눈 값이고, 깊이 추정의 경우 에러를 합성 구의 반지름으로 나눈 값이다.

실제 영상에 대해 제안한 알고리즘이 강건한 동작을 하는지를 확인하기 위해 석고상을 촬영하여 실험을 하였다. 석고상은 표면이 비교적 거친 물체로서 전반사 성분이 넓은 영역에 고루 퍼져 있다. 12장의 입력 영상을 이용하여 추정하였으며 그 중 두 장의 영상과 각각에 대해 복원된 영상이 도 8에 제시되어 있다. 도 8의 c와 d에서 밝기값이 0인 부분은 유효 조명쌍이 존재하지 않는 부분으로 그 곳에 대해서는 계수 추정을 하지 않았으며 따라서 합성된 밝기값이 존재하지 않는다. 줄리엣(Juliet) 석고상에 대해 복원된 3차원 정보는 도 9와 같다. 이 때 도 9에 나타난 것과 같이 법선 벡터가 추정되지 않은 부분은 주위 값으로 대체하여 3차원 형상을 복원하였다. 따라서 코의 양 옆부분에서 생기는 에러가 전체적으로 영향을 미쳐 얼굴 표면에 층이 지지만 전체적으로 잘 복원되었음을 확인할 수 있다.

이와 같이 본 발명에서는 혼성 반사 모델을 적용할 수 있는 N장의 영상으로부터 표면의 기울기를 정확하게 추정하는 방법을 제시하고 있으며, 제시된 방법은 표면 반사 계수 추정에 오차가 있음에도 불구하고 상대적으로 정확한 표면 기울기를 얻을 수 있어 정확한 3차원 영상 모델을 제공할 수 있다는 효과가 있다.

도 1은 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법을 행하는 장치의 개략 블럭도,

도 2는 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법의 흐름도,

도 3은 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법에서의 영상 형상 모델을 도시한 도면,

도 4는 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법에서 특정 화소에 대한 법선 벡터의 분포의 예를 도시한 도면,

도 5는 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법을 실험하여 얻은 입력 영상 수에 따른 추정 에러를 도시한 그래프,

도 6은 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법의 실험에서 표면 거칠기에 따른 전반사 성분의 영향을 도시한 도면,

도 7은 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법의 실험에서 표면 거칠기에 따른 상대적 추정 에러를 비교한 그래프,

도 8은 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법의 실험에서 줄리엣 석고상에 대한 영상 합성 상태를 도시한 도면,

도 9는 본 발명에 따른 혼성 반사 모델에서의 포토 메트릭 스테레오 방법의 실험에서 줄리엣 석고상의 3차원 형상 복구 상태를 도시한 도면.

<도면의 주요부분에 대한 부호의 설명>

1 : 제어기 3 : 촬상기

5 : 광원 7 : 영상 처리 장치

9 : 3차원 물체

Claims (4)

1. 임의의 광원으로부터의 영상을 합성하는 혼성 반사 모델에서의 포토 메트릭 스테레오 방법으로서,

   광원의 위치가 상이한 N개의 영상을 수신하는 단계와;

   상기 N개의 수신 영상으로부터 영상 형성 변수 추정에 사용 가능한 모든 영상 쌍들을 선택하고 이들로부터 반복적으로 영상 형성 변수를 추정하는 단계와;

   상기 선택된 영상 쌍들로부터 난반사 에러를 최소화하는 난반사 성분에 대한 알비도 및 법선을 추정하는 과정과;

   상기 검출된 난반사 성분에 관련된 법선 벡터와 난반사 알비도부터 난반사 영상을 검출하는 단계와;

   상기 난반사 영상 및 N개의 수신 영상으로부터 전반사 영상을 검출하는 단계와;

   상기 전반사 영상으로부터 전반사에 관한 관련된 영상 형성 변수를 검출하는 단계를 구비하는 혼성 반사 모델에서의 포토 메트릭 스테레오 방법.
2. 제 1 항에 있어서,

   상기 영상으로부터 영상 형성 변수 추정에 사용 가능한 영상 쌍들은 악조건 광원 쌍(ill-conditioned light source pair)을 제외한 모든 영상 쌍들이며, 상기 악조건 쌍은 하기 식의 조건 값()이 임계값 이하인 영상쌍을 의미하며,

   상기 식에서 는 광원 벡터를 의미하는 혼성 반사 모델에서의 포토 메트릭 스테레오 방법.
3. 제 1 항 또는 제 2 항에 있어서, 난반사 에러를 최소화하는 난반사 성분에 대한 알비도 및 법선을 추정하는 단계는,

   화소에 대해 영상 쌍들로부터 구해진 법선 벡터들의 평균 벡터를 및 분산값을 검출하는 단계와;

   상기 분산값이 특정 문턱치보다 작으면 추정된 평균 법선 벡터를 이 화소에 대한 법선 벡터라고 추정하고, 문턱치보다 크다면, 상기 평균 벡터로부터 멀리 떨어져 있는 벡터들을 제외하고 다시 평균을 구하여 상기 법선 벡터를 검출하는 단계와;

   상기 검출된 법선 벡터들로부터 영상 형성 변수 추정의 수학적 안정도에 기반하여 정의된 가중치()가 기설정된 값 이상이면 상기 법선 벡터를 재 검출하는 단계를 구비하는 혼성 반사 모델에서의 포토 메트릭 스테레오 방법.
4. 제 3 항에 있어서,

   상기 난반사 영상 및 N개의 수신 영상으로부터 전반사 영상을 검출하는 단계는, 상기 N개의 수신 영상으로부터 난반사 영상을 감산하는 과정으로 구성되는 혼성 반사 모델에서의 포토 메트릭 스테레오 방법.