KR20080105698A - 다시점 영상을 이용한 3차원 형상 추정 방법 및 구현 - Google Patents

Abstract

본 발명은 원근 투영된 다수의 영상으로부터 3차원 물체 형상을 추정하는 것에 관한 발명이다.

SFM (shape from motion)으로 알려진 다수의 다른 카메라 자세로부터 획득한 영상으로부터 객체의 3차원 형상을 얻는 알려진 방법으로는 정사영 투영 분해(orthographic projection factorization) 방법, 비례정사영(Scaled orthograhic projection factorization) 방법, 변형원근 투영(paraperspective projection factorization) 방법 등이 있다. 이러한 방법들은 객체의 깊이(depth)의 변화가 카메라와 객체간의 거리에 비하여 상대적으로 작다는 가정 하에 생성된 근사화된 방법으로 카메라와 객체의 거리가 상대적으로 가까울 경우 정확도가 낮은 문제점이 있다.

본 발명은 3차원 형상 추정에 이용되는 카메라 내부 파라미터(internal camera parameters)를 오프라인으로 추정하고, 기대와 극대화(expectation and maximization, EM, 이엠) 알고리즘을 적용하여 기존의 근사화 방법들에 비하여 정확한 3차원 형상을 추정하였다.

원근투영(perspective projection), 정사영 투영(orthographic projection), 비례정사영(Scaled orthograhic projection), 3차원 형상(3D shape), 이엠(EM)알고리즘, 내부카메라파라미터(internal camera parameters), 인수분해(factorization)

Description

다시점 영상을 이용한 3차원 형상 추정 방법 및 구현{Method and Apparatus for estimation of 3D shape using multi-view images}

[도 1]

-1 카메라를 바라보며 객체의 자세를 회전시키면서 다시점 영상을 회득

본 발명을 사람 얼굴 형상 추정에 적용하였으며, 사람의 얼굴을 좌우로 회전

-2 각각의 다시점 영상에서 객체를 검출

객체 검출을 위하여 본 발명에서는 잘 알려진 Ada-Boosting 방법을 적용

-3 다시점 영상에서 객체의 주요 특징점을 추출

얼굴의 경우, 눈, 코, 입, 전체 얼굴을 특징을 나타낼 수 있는 윤곽점들을 찾음

-4 추출된 윤곽점들을 동일한 순서로 나열

동일한 corresponding points들을 나열함.

-5 3D자세와 3D 형상을 계산에 필요한 W를 초기화

-6 초기화된 W로 부터 3D자세와 3D 형상을 추정

-7 추정된 3D자세와 3D 형상을 이용하여 [수식 11]로 표현되는 W를 예측

(expectation step)

-8 예측된 W를 이용하며 [수식 7]을 적용하여 3D 자세와 3D 형상을 추정

(maximization step)

-9 3D 자세와 3D 형상이 수렴될 때 까지 반복.

투영된 다수의 영상으로부터 3차원 물체 형상을 복원하는 기존의 방법들은 객체의 깊이(depth)의 변화가 카메라와 객체 사이의 거리에 비하여 상대적으로 작다는 가정 하에 생성된 근사화된 방법으로 카메라와 객체의 거리가 상대적으로 가까울 경우 정확도가 낮은 문제점이 있다.

본 발명의 목적은 객체와 카메라 사이의 거리가 가까울 때도 다수의 투영된 영상으로부터 정확하게 3차원 형상을 추정하는 것이 목적이다.

SFM (shape from motion)으로 알려진 다수의 다른 카메라 자세로부터 획득한 영상으로부터 객체의 3차원 형상을 얻는 알려진 방법으로는 정사영투영분해(orthographic projection factorization) 방법, 비례정사영분해(Scaled orthograhic projection factorization) 방법, 변형원근투영분해(para-perspective projection factorization) 방법 등이 있다.

정사영 투영 분해(orthographic projection factorization) 방법은 3차원 객체의 특징점(X _c,Y _c,Z _c)가 2차원 영상에 투영될 때, (x,y)값이 그대로 투영된다는 가정 하에 인수분해(factorization)방법으로 카메라 자세와 객체의 3차원 형상을 추 정하였다.

비례정사영 분해(scaled orthograhic projection factorization)방법은 3차원 객체의 특징점(X _c,Y _c,Z _c)가 2차원 영상에 투영될 때, (s(1)x,s(2)y)로 투영된다는 가정 하에 인수분해(factorization)방법으로 카메라 자세와 객체의 3차원 형상을 추정하였다. 이 방법은 객체의 모든 특징점들이 카메라의 평면과 평형인 평면에 있다는 가정을 전제로 한다.

변형원근투영 분해(para-perspective projection factorization) 방법은 객체의 모든 특징점들이 카메라의 평면과 평형인 평면에 있다는 가정을 완화하지만 객체의 깊이(depth)의 변화가 카메라와 객체 사이의 거리에 비하여 상대적으로 작다는 가정을 전제로 한다.

3차원 객체가 카메라에 투영되는 원근투영법(perspective projection)을 바탕으로 강인하고 정확한 분해(factorization)방법을 적용하여 카메라 자세와 객체의 3차원 형상을 추정하고자 한다. 하지만 원근투영법에서는 인수분해과정에서 수식내부에 3차원 객체 특징점(X _c,Y _c,Z _c)중의 z 좌표값이 포함되어 있어 인수분해 방법을 바로 적용할 수가 없다.

이러한 문제점을 해결하기 위하여 본 발명에서는 이엠(EM)알고리즘을 적용한다. 이엠 알고리즘은 기대화(expectation)와 극대화(maximization)를 반복하여 수행하는 방법으로 극대점으로 수렴하는 방법이다.

본 발명에서 이엠알고리즘을 적용함에 있어, 기대화(expectation)-단계에서는 이전의 극대화(maximization)-단계에서 구한 z 좌표 값을 대입하여 측정값으로 정렬된 행렬을 분해(factorization) 할 수 있도록 행렬의 원소들을 형성하고, 현 극대화-단계에서는 기대-단계의 결과를 바탕으로 분해 방법을 적용하여 카메라 자세와 3차원 형상을 계산한다.

3차원 객체 상의 특징점(X _c,Y _c,Z _c)이 원근투영법에 의하여 2차원 영상(x,y)으로 투영될 때 그 수식은 다음과 같다.

[수학식 1]

위 수식에서 [fc(1),fc(2)]는 카메라 초점(focal length), [cc(1),cc(2)]는 카메라의 중심점(central point), alpha_c는 카메라의 휘어짐(skew)를 나타낸다.

일반 카메라에서는 휘어짐이 매우 작아서 alpha_c의 값을 무시할 수 있으며, 원근 투영은 다음과 같이 표시된다.

[수학식 2]

다른 카메라 자세에서 획득한 F개의 영상을 인수분해(factorization)하기 위하여 정렬하면 다음과 같이 표시된다.

[수학식 3]

위 수식에서 A는 [수식 1]로 표시되는 원근투영 식이고, Ri = [R _i,x ,R _{i,y ]}는 i-번째 영상의 카메라 자세이며, P=[P ¹ P ²…P ^N ]는 3차원 객체 상의 N개의 특징점들의 좌표이다.

[수식 3]을 풀어서 표현하면 다음과 같이 표시된다.

[수학식 4]

위 수식에서 fc(1)=k _u f,fc(2)=k _v f,cc(0)=u0,cc(1)=v0 이고, 3차원 특징점을 각각의 영상 프레임에서 다른 카메라 자세 R _i =[R _i,x ,R _i,y ,R _i,z ] ^T 에 따라 변환한 형태 중 x 좌표와 y 좌표만 정렬한 형태 이다. M=[R _1,x …R _F,x …R _1,x …R _1,y ] ^T ·P이다. 이때 k 번째 특징점의 Z 좌표에 해당하는 값

=R _i,z P ^k 로 표시된다.

[수식 4]를 분해(factorization)할 수 있는 형태로 정렬하면 다음과 같이 표현된다.

[수학식 5]

위 수식에서 k _u f,k _v f,u0,v0는 내부 카메라 파라메타로 오프라인으로 미리 계산하여 알려진 값이고,

는 미지수이다.

=R _i

이 수식 내부에 있기 때문에 인수분해 방법으로 해 P _k =[

],R _i 를 구할 수가 없다.

EM 알고리즘을 적용한 본 발명의 방법

(1) EM의 첫 번째 반복

첫 반복 단계에서는 모든

=R _i,z P ^k ,k=1,...,N이 같다고 가정하여 다음과 같은 근사화된 수식을 형성한다.

[수학식 6]

위 수식은 비례정사영(Scaled orthograhic projection)과 같은 형태이고

를 특이값분해(singular value decomposition)하면 다음과 같다.

[수학식 7]

위 수식에서는 G는 카메라 자세를 나타내는 회전행렬 R의 조건을 만족시키기 위하여 도입한 변수이다.

(2) EM의 2번째 이후의 반복

기대화(expectation) 단계:

전 단계의 극대화(maximization) 단계에서 R _i,z ,R _i,y 를 구하면 다음 관계식을 이용하여 R _i,z 를 계산한다.

[수학식 9]

일단 R _i,z 를 계산하면, 다음 수식을 이용하여

와

를 다음 수식을 이용하여 계산한다.

[수학식 10]

와

를 계산한 후 행렬을 다음과 같이 정렬한다.

[수학식 11]

[수식 11]는 정사영 투영과 같은 형태이고, 이를 형태이고

를 특이값분해 (singular value decomposition)를 하여 해를 구한다.

투영된 다수의 영상으로부터 3차원 물체 형상을 복원하는 기존의 방법들은 객체의 깊이(depth)의 변화가 카메라와 객체 사이의 거리에 비하여 상대적으로 작다는 가정 하에 생성된 근사화된 방법으로 카메라와 객체의 거리가 상대적으로 가까울 경우 정확도가 낮은 문제점이 있다.

본 발명에서 제시한 알고리즘은 객체와 카메라 사이의 거리가 가까울 때도 다수의 투영된 영상으로부터 정확하게 3차원 형상을 추정할 수 있다.

Claims (2)

1. [도면 1]로 표시되는 반복 방법을 이용하여 다수의 투영된 영상으로부터 다시점 영상을 이용한 3차원 형상 추정 시스템의 흐름도
2. 반복 알고리즘 구현 적용되는 사용되는 [수식 6] ∼ [수식 11].

Images