KR101195942B1

KR101195942B1 - 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법

Info

Publication number: KR101195942B1
Application number: KR1020060025209A
Authority: KR
Inventors: 김근호; 정석윤; 이신준; 장경자; 블라디미르 베즈네베츠; 안톤 코노신
Original assignee: 삼성전자주식회사
Priority date: 2006-03-20
Filing date: 2006-03-20
Publication date: 2012-10-29
Also published as: US8896665B2; US20070253618A1; KR20070095040A

Abstract

카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법이 개시된다. 본 발명의 카메라 보정 방법은 입력 영상 시퀀스로부터 특징을 추적하고 정합하여 특징 트랙을 설정하는 단계; 카메라의 구조 및 모션을 초기화하여 특징들에 대한 3차원 포인트들을 추정하는 하는 단계, 3차원 포인트들을 이용하여 카메라의 자세를 추정하고, 추정된 자세를 기반으로 하여 카메라의 구조를 갱신하는 단계; 및 카메라의 자세를 갱신하는 단계를 포함함을 특징으로 한다.

Description

카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법{Camera calibration method and 3D object reconstruction method using the same}

도 1은 본 발명에 따른 카메라 보정 방법에 대한 흐름도를 도시한 것이다.

도 2a는 카메라에 의해 연속 촬영된 영상 중 하나를 예시한 것이다.

도 2b는 카메라의 움직임에 따른 영상에 포함된 물체의 특징 포인트들을 보이는 것이다.

도 3은 본 실시예에 따른 특징 추적 및 정합 방법에 대한 상세 흐름도를 도시한 것이다.

도 4는 피라미드 트래킹을 위해 계층적인 해상도를 갖는 영상의 구조를 도시한 것이다.

도 5a는 영상에서 종래의 LKT(Lucas-Kanade-Tomasi) 방법에 의한 특징 포인트 트랙을 도시한 것이다.

도 5b는 본 발명의 방법에 의한 특징 포인트 트랙을 도시한 것이다.

도 6은 SAM(Structure And Motion)의 초기화 방법에 대한 흐름도를 도시한 것이다.

도 7a는 본 발명 및 종래 발명에 의한 카메라 위치 에러를 비교하여 도시한 것이다.

도 7b는 본 발명 및 종래 발명에 의한 카메라 방향 에러를 비교하여 도시한 것이다.

도 8은 본 발명에 따른 3차원 영상의 재구성 방법에 대한 흐름도를 도시한 것이다.

도 9는 도 8의 83단계에 따른 3차원 포인트들로부터 정형화된 물체를 모델링하는 방법에 대한 흐름도를 도시한 것이다.

도 10은 도 9의 91단계 내지 93단계를 반복 수행하여 얻어진 원통의 초기 추정 예를 보인 것이다.

도 11은 도 8의 84단계에 따른 비정형화된 물체를 모델링하는 방법을 설명하는 흐름도이다.

도 12(a) 및 12(b)는 영상에서 컵의 손잡이의 윤곽을 도시한 것이다.

도 13(a)는 손잡이의 실루엣에서 선택된 주요 포인트들을 도시한 것이다.

도 13(b)는 도 13(a)에 도시된 주요 포인트들을 연결한 것이다.

도 13(c)는 삼각형 모델을 형성하는 도면이다.

도 13(d)는 도 13(c)의 다각형 내부에서 구한 에지들을 도시한 것이다.

도 14a는 종단 에지, 도 14b는 중간 에지 그리고 도 14c는 접합점 에지를 예시한 것이다.

도 15는 코히런트 스켈레톤 부분을 도시한 것이다.

도 16(a)는 단면 에지들을 갖는 실루엣을 도시한 것이다.

도 16(b)는 2D 스켈레톤을 도시한 것이다.

도 17(a) 및 도 17(b)는 3D 단면을 도시한 것이다.

도 17(c)는 서로 다른 카메라 위치에서 계산된 3D 단면을 갖는 3D 스켈레톤을 도시한 것이다.

도 18은 도 17(c)에 대한 3D 볼륨 모델을 도시한 것이다.

도 19는 도 18의 볼륨 모델에 가우스 필터가 사용된 예를 도시한 것이다.

도 20(a)은 실루엣을 벗어난 볼륨 표면을 도시한 것이다.

도 20(b)는 실루엣을 벗어난 볼륨 표면을 실루엣에 맞게 잘라낸 볼륨 모델을 도시한 것이다.

도 21은 도 20(b)에 도시된 바와 같이 교정이 이루어진 결과를 도시한 것이다.

도 22(a)은 다각형 모델을 도시한 것이다.

도 22(b)는 도 22(a)에서 삼각형들의 수가 줄어든 모델을 도시한 것이다.

도 23은 도 22(b)의 다각형 모델에 라플라샨 플로우 메쉬 필터(Laplacian flow mesh filter)를 반복적으로 적용한 모델을 도시한 것이다.

도 24는 본 발명에 따른 3차원 네비게이션을 위한 영상 재구성 방법에 대한 흐름도를 도시한 것이다.

도 25는 도로변 건물 씬(scene)의 일례를 도시한 것이다.

도 26(a) 및 도 26(b)는 카메라의 방향에 따라 구도가 달라진 씬을 각각 도시한 것이다.

본 발명은 카메라 보정 방법 및 이를 이용한 3차원 물체 재생 방법에 관한 것으로, 특히 보정물 없이 영상 내 점들의 관계를 이용하는 카메라 보정하는 방법 및 이를 이용한 3차원 물체 재구성 방법에 관한 것이다.

물체의 3차원적인 표현은 컴퓨터 기술의 발달과 더불어 여러 분야에서 그 필요성이 증대되고 있다. 따라서 현실 세계의 사진과 같은 현실감 있는 3차원 모델을 만들기 위한 연구가 진행되어왔으나, 그러한 연구에도 불구하고 복잡한 물체에 대한 3차원 모델링 작업은 여전히 힘들고 오랜 시간을 요구한다.

3차원 모델링에 있어서 최근 경향은 2차원 사진으로부터 3차원을 재구성하는 것이다. 이러한 새로운 패러다임을 영상기반 모델링(Image-Based Modeling)이라고 하는데, 이 기법의 가장 큰 장점은 실제 세계로부터 획득한 텍스쳐(texture)를 이용하여 좀 더 실제에 가까운 영상을 만들어 내는 것이다. 영상으로부터 3차원 정보를 얻기 위하여 카메라 보정(calibration)을 수행한다. 카메라 보정은 카메라 이외의 다른 장비를 사용하지않고 취득한 영상만을 이용하는 시각 기반(vision-based) 방법에 의해 이루어질 수 있다. 시각 기반 방법은 사전에 알고 있는 체크 패턴을 실세계에 포함하여 그 패턴이 투영된 영상을 이용하여 카메라를 보정하는 방법과 보정물 없이 영상내 점들의 관계만을 이용하여 카메라를 보정하는 방법이 있다.

체크 패턴을 이용하는 카메라 보정 방법은 비교적 정확한 카메라 파라미터를 얻으낼 수 있으나 영상 내에 항상 사전에 알고 있는 패턴이 존재해야 하는 전제 조 건이 있으며, 재구성하려고 하는 물체의 최소한 두 면이 영상 내에 존재해야 한다.

따라서 체크 패턴과 같은 보정물이 없이 카메라를 보정하는 방법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 보정물 없이 영상 내의 특징 포인트들을 이용하여 카메라를 보정하고, 그에 따라 획득된 파라미터를 이용하여 3차원 물체를 재구성하는 방법을 제공하는데 있다.

상기 기술적 과제를 이루기 위한, 본 발명의 카메라 보정 방법은 입력 영상 시퀀스로부터 특징을 추적하고 정합하여 특징 트랙을 설정하는 단계; 카메라의 구조 및 모션을 초기화하여 상기 특징들에 대한 3차원 포인트들을 추정하는 하는 단계; 상기 3차원 포인트들을 이용하여 카메라의 자세를 추정하고, 추정된 자세를 기반으로 하여 상기 카메라의 구조를 갱신하는 단계; 및 카메라의 자세를 갱신하는 단계를 포함함을 특징으로 한다.

상기 기술적 과제를 이루기 위한, 본 발명의 3차원 물체 재구성 방법은 입력 영상 시퀀스의 특징 포인트들을 이용하여 카메라를 보정하고 상기 영상에 대한 3차원 포인트들을 얻는 단계; 상기 입력 영상들중 두 프레임으로부터 하나의 물체에 대한 최외곽 표면을 구하고, 상기 3차원 포인트들중 상기 최외곽 표면에 포함되는 3차원 포인트들을 분할하는 단계; 상기 분할된 3차원 포인트들로부터 상기 영상들에 포함된 정형화된 물체를 모델링하는 단계; 및 사용자 상호작용을 통해 비정형화 된 물체의 윤곽 정보를 입력받아 상기 영상들로부터 비정형화된 물체를 모델링하는 단계를 포함함을 특징으로 한다.

상기 기술적 과제를 이루기 위한, 본 발명의 비정형화된 물체의 재구성 방법은 입력 영상 시퀀스로부터 모델링하고자 하는 비정형화된 물체의 실루엣에서 윤곽 포인트들을 각각 입력받는 단계; 입력받은 윤곽 포인트들을 기반으로 삼각화를 이용하여 상기 실루엣에 대한 2차원 스켈레톤을 각각 추출하는 단계; 상기 2차원 스켈레톤들로부터 3차원 물체의 최외곽 표면을 구하고, 상기 최외곽 표면으로부터 3차원 단면을 계산하여 3차원 스켈레톤을 구성하는 단계; 상기 3차원 스켈레톤을 복셀 공간으로 변환하여 볼륨 모델을 만드는 단계; 및 상기 볼륨 모델을 상기 변환과 역으로 수행하여 3차원 다각형 모델을 구성하는 단계를 포함함을 특징으로 한다.

상기 기술적 과제를 이루기 위한 본 발명의 도로변 3차원 물체의 재구성 방법은 카메라 방향이 다른 도로변의 두 영상에서 동일하고 정형화된 물체에 대해 정형화된 프레임을 배치하는 단계; 상기 프레임들에 대한 특징 포인트들을 추출하는 단계; 상기 특징 포인트들을 이용하여 상기 카메라를 보정하고 상기 영상에 대한 3차원 포인트들을 얻는 단계; 상기 3차원 포인트들로부터 상기 정형화된 물체를 모델링하는 단계; 및 사용자 상호작용을 통해 비정형화된 물체의 윤곽 정보를 입력받아 상기 영상들로부터 비정형화된 물체를 모델링하는 단계를 포함함을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세하게 설명하기로 한다.

먼저, 획득된 영상으로부터 특징에 대한 트랙(track)을 만든다(11단계). 특징의 트랙은 입력 영상 시퀀스로부터 특징들을 추출하고 연속되는 영상들로부터 동일한 특징들의 위치를 추적하고, 이웃하는 프레임들 간에 대응하는 특징을 정합(matching)함으로써 이루어진다. 특징의 트랙을 만드는 과정을 보다 상세하게 설명하면 다음과 같다.

도 2a는 카메라에 의해 연속 촬영된 영상 중 하나이고, 도 2b는 카메라의 움직임에 따른 영상에 포함된 물체의 특징 포인트들을 보이는 것이다. 도면에서 참조번호 21은 카메라를 나타내고, 22는 특징 포인트들을 나타낸다.

도 3은 본 실시예에 따른 특징 추적 및 정합 방법에 대한 상세 흐름도를 도시한 것이다. 먼저, 현재 프레임과 다음 프레임에서 특징들을 검출한다(31단계). 특징 검출은 공지의 해리스 코너 검출기(Harris corner detector) 등을 이용하여 검출할 수 있다. 해리스 코너 검출기는 물체에서 코너점(corner point)들을 찾는 것으로, 픽셀값에 대한 코너 응답(corner response)이 임계치보다 큰 점들을 찾는다. 찾아진 코너점들이 본 실시예의 특징 포인트들이 된다.

특징 포인트 추적을 위해 현재 프레임에서 하나의 특징 포인트가 선택되면, 선택된 특징 포인트의 위치에 대응하는 다음 프레임에서의 특징 포인트 위치를 예측한다(32단계).

본 실시예에서 특징 포인트 위치의 예측은 도 4에 도시된 바와 같이 피라미드 트래킹(pyramidal tracking) 형태로 계층적으로 이루어질 수 있다. 도시된 바에 따르면, 피라미드의 각 계층은 동일한 프레임에 대해 서로 다른 해상도를 갖는다. 특징 포인트 예측은 현재 프레임 및 다음 프레임에서 가장 작은 해상도를 갖는 레벨(레벨 3)로부터 시작하여 차츰 해상도가 높은 레벨로 옮겨가면서 반복적으로(iterative) 이루어진다. 즉, 해상도가 낮은 레벨에서 탐색된 특징 포인트가 해상도가 더 높은 레벨에 대한 특징 포인트 예측으로 사용된다. 여기서, 계층 수와 각 계층간 해상도 차는 실험적으로 결정될 수 있다.

예측된 특징 포인트의 위치는 현재 프레임과 다음 프레임간의 차를 반영하여 수정될 수 있다. 즉, 현재 프레임의 특징 포인트를 중심으로하는 윈도우와 다음 프레임에서 예측된 특징 포인트 위치를 중심으로하는 윈도우 사이의 차를 계산하고, 예측된 특징 포인트의 위치를 계산된 차를 반영한 현재 프레임과 다음 프레임 간의 경사(gradient) 방향으로 쉬프트하여 수정된다. 수정되는 위치 δ는 예측된 위치 x에 대해 경사 방향에 따라 회전행렬 D 및 변이(translation) d에 의해 다음 식과 같이 결정된다.

다음으로, 수정된 특징 포인트 위치를 중심으로하는 윈도우를 탐색하여 다음 프레임에서 해당 특징들을 탐색한다(33단계). 윈도우가 클수록 특징 포인트 탐색에 시간이 많이 걸리고 이상치가 많아져서 강건한 추정이 어렵고, 윈도우가 작을수록 대응점을 찾기가 어렵다. 따라서 윈도우 크기는 실험적으로 결정될 수 있다.

특징들이 검출되었다면(34단계), 검출된 특징들을 현재 프레임의 특징과 정합한다(35단계). 정합은 다음과 같이 이루어진다. 먼저, 현재 프레임의 특징 포인트와 검출된 특징들에 대한 대응관계를 각각 계산한다. 대응관계는 공지의 SSD(Sum of Squared Distance) 또는 교차 상관관계(cross-correlation)과 같은 메트릭(metric)을 통해 계산된다. 검출된 특징들중 계산된 값이 임계치를 초과하는 특징들을 유사한 특징들로 선택한다. 선택된 특징들과 현재 프레임의 특징 포인트에 대해 2-뷰 관계 추정(2-view relation estimation)을 수행하여 가장 유사한 특징을 선택한다. 여기서, 2-뷰 관계 추정은 현재 프레임의 특징 포인트를 중심으로하는 윈도우로부터 다음 프레임에서 선택된 특징들을 중심으로하는 윈도우로의 투영성(projectivity) 또는 기초 행렬(fundamental matrix)을 계산하는 것이다.

34단계에서 특징 포인트가 검출되지 않았다면, 32단계에서 예측된 위치를 현재 프레임의 특징 포인트에 대한 다음 프레임의 새로운 트랙 위치로 설정한다(36단계).

또한 각 특징 포인트의 트랙에 대해, 예를 들어 5개의 연속되는 프레임에서 특징 포인트가 검출되지 않는다면(37단계), 그 트랙은 이상치(outlier)로 판별되어 제거된다(38단계).

도 5a는 영상에서 종래의 LKT(Lucas-Kanade-Tomasi) 방법에 의한 특징 포인트 트랙을 도시한 것이고, 도 5b는 본 발명의 방법에 의한 특징 포인트 트랙을 도시한 것이다. 도면에서, 참조번호 51은 이상치를 나타낸다.

도시된 바에 따르면, 종래 발명에 의한 특징 포인트 추적에서는 카메라 위치가 변화하였을 때 물체의 각도나 위치가 바뀜에 따라 특징 포인트들이 약화되어 사라짐으로써 이상치가 발생하였지만, 본원 발명에 의한 특징 포인트 추적에서는 다음 프레임의 특징의 연속성을 예상한 후 연관성을 이용하여 정합함으로써 이상치가 제거되었음을 알 수 있다.

도 1의 11단계에서 특징의 트랙이 설정되면, 카메라의 구조 및 모션(Structure And Motion, SAM)을 추정한다(12 단계 내지 16단계). SAM 추정을 위해 입력되는 데이터는 카메라로부터 획득한 영상 시퀀스와 카메라의 내부 보정 파라미터 K이다. 카메라 내부 보정 파라미터 K는 다음 식과 같이 내부 보정 행렬로 표현된다.

여기서, f_x, f_y는 픽셀들에서 측정된 카메라의 초점 거리(focal length), c_x, c_y는 카메라의 주점(principal point)의 위치를 나타낸다.

이들로부터 SAM을 추정한 결과는 월드 좌표계(world coordinate)에서 카메라의 회전 및 카메라의 위치에 의해 결정되는 카메라의 자세, 즉, 카메라의 외부 보정 행렬(extrinsic calibration matrix) C(k)(단, k=1, …, N, N은 입력 영상의 수 ), 3차원 포인트들 D(i) 형태로 표현되는 구조 및 구조 포인트 D(i)에 대응되는 특징 트랙들이다.

SAM 추정을 위해, SAM을 초기화한다(12단계). 도 6은 SAM의 초기화 방법에 대한 흐름도를 도시한 것이다.

먼저, 연속 영상중에서 두 프레임을 선택한다(61단계). 프레임 선택을 위해 호모그라피(homography)에 의해 예측된 특징 포인트 위치의 중간값(median) 에러를 사용한다. 호모그라피는 영상간의 대응관계를 나타내는 것으로, 카메라가 회전하였거나 씬(scene)이 평면적(planar)인 경우 특징 포인트 위치를 예측한다. 호모그라피 예측에 의한 중간값 에러를 이미지 기반 거리(Image-Based Distance, IBD)라고 한다.

N개의 프레임 쌍에 대해 다음 식과 같이 프레임간의 정합 개수와 IBD의 곱을 구하고, 곱한 결과 가장 큰 값을 갖는 프레임 쌍을 초기화를 위한 두 프레임으로 선택한다.

여기서, H는 두 프레임간 추정된 호모그라피, n은 두 프레임간 정합된 특징의 수, i=[1, N]이다.

두 프레임이 선택되면, 두 프레임의 특징 트랙들로부터 얻어지는 기본행렬(fundamental matrix) F, 카메라 내부 보정 행렬 K로부터 에센셜 행렬(essential matrix) Q를 다음 식과 같이 계산한다(62단계).

여기서, K₁,K₂는 각각 제1 및 제2카메라의 내부 보정 행렬, T는 전치(transpose)이다.

에센셜 행렬 Q는 두 카메라 사이의 상대적인 모션을 나타낸다. 이 상대적인 모션은 다음 식과 같이 표현되는 에센셜 행렬로부터 구할 수 있다(63단계).

여기서, R은 제1카메라에 대한 제2카메라의 회전, T는 제1카메라에 대한 제2카메라의 위치로서 T= [t_x, t_y, t_z]이다.

수학식 5에서 모션을 나타내는 값들인 R, T는 에션셜 행렬에 대한 특이값 분해(Singular Value Decomposition)를 통해 구할 수 있다.

카메라 모션이 초기화되면, 에션셜 정상치(inlier)로 판별된 특징 정합들에 대해 삼각화(triangulation)를 통한 3차원 포인트들(3d points)을 추정하여 구조를 초기화한다(64단계).

모션 및 구조 초기화가 이루어지면, 물체에 대한 재투영 에러(reprojection error)가 커진다. 따라서 SAM을 다시 수정해야한다(65단계). SAM의 수정은 현재의 구조를 이용하여 제2카메라의 자세(pose)를 다시 추정하고, 재 추정된 제2카메라의 자세를 이용하여 구조를 재 추정하는 과정을 반복함으로써 재 추정되는 값들이 안정될 때까지 수행한다. SAM 수정이 완료되면, 재투영 에러는 수 픽셀에서 0.2 내지 0.25 픽셀까지 감소하게 된다.

SAM의 초기화가 완료되면, 연속적인 SAM 추정이 이루어진다(13 및 14단계). 이를 위해 먼저, 카메라에 대한 자세를 추정한다(13단계). 카메라의 자세는 카메라의 위치와 방향을 말한다. 카메라의 방향은 카메라의 롤각(roll angle), 피치각(pitch angle) 및 요각(yaw angle)으로 나타낸다. 카메라 자세는 3차원 포인트들을 카메라에 투영하는 행렬, 즉, 어파인 변환(affine transform)으로부터 얻어진다.

SAM이 초기화되면, 3차원 포인트들과 2차원 특징 트랙들이 얻어진다. 그러한 2차원-3차원 대응관계는 각 프레임에 대한 카메라의 외부 보정(extrinsic calibration) 파라미터 추정을 위한 입력 데이터가 된다.

특징 위치들은 3차원 포인트들의 투영으로부터 얻어지고, 따라서 에러를 포함하게 된다. 또한 이상치를 제거한 다음에도 특징 트랙에서는 이상치가 존재할 수 있으므로, 자세 추정은 잡음(noise)이 있는 경우에도 강건하고 신뢰성이 있어야 한다.

자세의 품질(quality of pose)은 다음 식으로 표현되는 거리함수 f(P)를 통해 SAM 초기화에서 얻어진 3차원 포인트들을 카메라 투영 행렬을 이용하여 2차원 평면으로 재투영했을 때, 영상에서 얻어진 특징 포인트들과 재투영된 포인트들간의 거리로 알 수 있다. 따라서 f(P)가 최소화되도록 카메라 투영 행렬을 얻음으로써, 카메라의 자세를 추정할 수 있다.

여기서, D는 거리, m_i는 2차원 특징 포인트, M_i는 SAM 초기화에서 얻어진 3차원 점, P는 카메라 투영 행렬이다.

수학식 6에서 p(D²)은 다음 식과 같이 표현된다.

여기서, x_i는 2차원 특징 포인트,

는 3차원 점의 투영 그리고 w_i는 가중치이다.

수학식 7에서 가중치는 다음 식과 같이 정해질 수 있다.

여기서, a는 카메라 중심으로부터 3차원 점을 잇는 선과 카메라 중심선 사이 의 각(angle), n은 카메라 개수를 나타낸다.

삼각화는 두 카메라의 각 중심으로부터 3차원 포인트까지 이어지는 선(ray)들이 90°로 교차하도록 3차원 포인트가 두 카메라로부터 관측될 때 가장 잘 이루어진다. 또한 3차원 포인트들의 정확성은 영상의 재구성에 사용되는 카메라 수에도 영향을 받는다. 따라서 수학식 8의 가중치는 카메라 중심과 3차원 포인트가 이루는 각과 재구성에 사용되는 카메라 개수를 반영하여 정해진다.

도 7a는 본 발명 및 종래 발명에 의한 카메라 위치 에러를 비교하여 도시한 것이다. 도 7b는 본 발명 및 종래 발명에 의한 카메라 방향 에러를 비교하여 도시한 것이다.

도면에서, 본 발명은 수학식 8의 가중치를 채용하여 수학식 7에 따라 에러를 구한 것이고, 종래 발명은 가중치를 채용하지 않고 수학식 7에 따라 에러를 구한 것이다. 도시된 바에 따르면, 본 발명에 의한 에러가 종래 발명에 의한 에러보다 작은 것을 알 수 있다.

카메라의 자세에 대한 추정이 이루어지면, 추정된 카메라 자세를 기반으로 하여 구조를 갱신(refine)한다(14단계). 구조의 갱신은 다중 뷰(multi-view) 구조를 추정함으로써 이루어진다. 보다 상세하게 설명하면, 3차원 포인트는 영상 시퀀스에서 특징 트랙을 추출하여 추정된다. 일반적인 삼각화는 2개의 보정된 영상으로 투영된 두 점을 이용하여 이루어지는데, 특징 위치가 특징 추적 과정에서 에러가 포함되어 추정되기 때문에 그에 대응하는 3차원 포인트의 위치도 에러가 포함되어 추정된다. 따라서, 서로 다른 프레임에서 추정된 특징 위치의 에러는 독립적으로 다루어질 수 있으므로, 그 3차원 포인트를 다른 프레임에 투영함으로써 그 위치의 정확성을 갱신할 수 있다.

씬(scene)에서 어떤 부분은 입력 영상 시퀀스중 몇개의 프레임들에서만 보일 수 있다. 따라서 구조 초기화에 사용되는 프레임들에서는 해당 부분이 보이지 않을 수 있으므로, 이들 포인트들에 대해서는 연속적인 SAM 추정과정 동안 초기화되어야 한다(15단계). 즉, SAM 초기화에 사용된 영상에서 보이지 않는 포인트들은 나중에 추정될 수 있다. 이를 위해, 각 프레임에 대해서 이전 프레임들중 하나에서 시작되었지만 3차원 포인트가 그 프레임에서 시작되지않은 특징 트랙을 찾는다. 포인트 삼각화(point triangulation)를 위해 일반적인 구조 초기화에 사용되는 알고리즘을 사용할 수 있다.

연속적인 SAM 추정과정을 통해 자세 추정에 사용되는 3차원 포인트들은 수차례의 구조 갱신에 의해 변경되고, 결국 모든 프레임에서의 재투영 에러를 증가시킨다. 본 실시예에서는 재투영 에러를 감소시키기 위하여 자세 추정과정 동안 정상치로 표시된 2차원-3차원 정합 세트를 저장하고, 저장된 2차원-3차원 정합 세트에 대해 다시 자세를 추정한다(16단계).

이와 같은 카메라 보정 과정에서 출력되는 데이터는 영상으로부터 얻은 3차원 포인트들과 내부 및 외부 카메라 보정 정보이다. 이들 데이터를 이용하여 3차원 영상을 재구성한다. 도 8은 본 발명에 따른 3차원 영상의 재구성 방법에 대한 흐름도를 도시한 것이다.

3차원 영상의 재구성을 위해 카메라를 보정한다(81단계). 카메라 보정은 도 1에 도시된 바와 같이 보정물이 없이 보정할 수 있고, 종래의 체크보드(checkerboard)와 같은 보정물을 이용하여 보정할 수도 있다.

카메라 보정이 이루어지면, 물체를 모델링한다(82 내지 84단계). 물체의 모델링 과정을 상세하게 설명하면 다음과 같다.

먼저, 카메라 보정 결과 얻어진 3차원 포인트들로부터 물체에 속하는 포인트들을 분할한다(82단계). 즉, 3차원 포인트들은 물체에 속하는 점들과 배경에 속하는 점들로 분할된다. 분할을 위해 종래의 영상 편집기 툴(image editor tool)을 사용하여 서로 다른 뷰잉 각(viewing angle)을 갖는 카메라로부터 얻어진 두 프레임에 물체를 포함하는 사각형을 설정한다. 각 카메라 시점으로부터 광선(ray)을 설정된 사각형을 통과하도록 쏘아 만들어진 뷰잉 콘(viewing cone)을 교차(intersection)하여 비주얼 헐(visual hull)을 만들고, 비주얼 헐에 포함되는 3차원 포인트들을 물체에 속하는 점들로 분할한다. 여기서 비주얼 헐은 실루엣 영상들(silhouette images)로 구성되는 가능한 가장 큰 체적을 나타내는 것으로 물체의 최외곽 표면, 즉, 상위 한정 표면(upper bound surface)을 말한다.

분할이 이루어지면, 물체에 속하는 포인트들로부터 원통 또는 육면체와 같은 정형화된 물체(primitive)를 모델링하고(83단계), 비정형화된 물체에 대해서는 스케치 기반의 편집(sketch-based editing)을 통해 모델링한다(84단계).

도 9는 도 8의 83단계에 따른 3차원 포인트들로부터 정형화된 물체를 모델링하는 방법에 대한 흐름도를 도시한 것이다. 여기서 정형화된 물체는 원통과 같이 일정한 모양을 갖는 물체를 말한다. 정형화된 물체가 추출되면 사용자는 물체의 개 별 특성에 맞게 변형할 수 있다.

정형화된 물체의 모델링 대상 데이터는 82단계에서 물체에 속하는 포인트들로 분할된 포인트 구름(point cloud)이다. 이 포인트 구름은 잡음과 이상치들을 포함한다. 물체 추출은 에러 측도(error measure)를 최소화하는 해를 찾는 것으로, 초기 해(initial solution)를 구한 다음 정확한 해를 찾기 위해 최적화하여 이루어진다.

초기 해는 원통의 축, 원통의 높이 그리고 원통의 반경을 찾는 것이다. 원통 축을 찾으면 원통의 높이와 반경은 쉽게 추정할 수 있다. 예를 들어, 점 구름의 좌표를 원통 축의 좌표, 즉 수평(tangent) 및 수직(normal) 성분으로 변환하면 된다.

원통 축을 찾기 위해 회전하는 강체(rotational solid)의 축을 찾는 방법을 사용할 수 있다. 즉, 강체의 바깥쪽 표면의 임의의 포인트에서 법선 벡터(normal vector)를 생각해 보면, 강체의 회전축은 법선 벡터와 교차하게 될 것이다.

그러나, 점 구름에서 법선 벡터를 직접 찾을 수 없으므로, 도 9에 도시된 방법에 따라 법선 벡터를 추정한다. 도시된 흐름도에 따르면, 먼저, 포인트 구름의 3차원 포인트들중 하나를 원점(origin)으로 선택한다(91단계). 원점을 중심으로 소정 범위내에서 이웃 점 세트를 선택한다(92단계). 여기서 이웃 점 세트는 원점을 중심으로 d(>0)이내에 있고, 원점에 가장 가까운 N개의 3차원 포인트들이다.

다음으로, 이웃 점 세트에 대응하는 근사 평면(approximating plane)을 찾는다(93단계). 이를 위해, MSAC(M-estimator SAmpling Consensus)과 같은 강건한 모델 파라미터 추정 방법을 채용하여 이웃 품질 척도(neighborhood quality measure) 를 계산한다. 이웃 품질 척도가 임계치보다 크면 근사 평면의 법선 벡터(normal vector)를 구한다. 91단계 내지 93단계를 반복 수행하여 구해진 법선 벡터들을 이용하여 상술한 바와 같이 원통의 축, 원통의 높이 그리고 원통의 반경을 구할 수 있다. 도 10은 도 9의 91단계 내지 93단계를 반복 수행하여 얻어진 원통의 초기 추정 예를 보인 것이다.

도 10에 도시된 바와 같이, 원통에 대한 초기 추정이 완료되면, 초기 추정에 대해 3차원 포인트들을 피팅(fitting)한다(94단계). 피팅은 비선형 최소 자승 최적화 방법(non-linear least square optimization)을 사용하여 이루어진다. 피팅에 대한 이상치의 영향을 최소화하기 위해 본 실시예에서는 3차원 포인트들에 대해 다음 식과 같이 표현되는 후버(Huber)의 m-추정기(m-estimator)를 적용하여 그 식을 만족하는 3차원 포인트들에 대해서 피팅한다.

여기서, ρ(원통, p)는 원통을 이루는 포인트와 이웃 포인트 p의 거리에 대한 함수이다. △는 임계치이다.

정형화된 물체가 육면체인 경우 일반적인 평면 피팅 방법(generic plane fitting method)를 사용하여 점 구름으로부터 육면체를 재구성한다.

도 11은 도 8의 84단계에 따른 비정형화된 물체를 모델링하는 방법을 설명하 는 흐름도이다. 먼저, 사용자 상호작용(User Interaction, UI)을 통해 두 영상으로부터 2D 스켈레톤(skeleton)을 추출한다(111단계). 이를 위해, 예를 들어 도 12(a) 및 12(b)에 도시된 영상에서 컵의 손잡이를 재구성하는 경우를 설명하기로 한다.

먼저, UI를 통해 도 13(a)에 도시된 바와 같이 손잡이의 실루엣(130)에 대해 주요 포인트들(131)을 선택한다. 여기서 주요 포인트들은 실루엣의 모양 달라지는 부분, 즉 도 13(a)에 도시된 바와 같이 실루엣의 변곡점 부분들이 될 수 있다. 주요 포인트들이 선택되면, UI는 도 13(b)에 도시된 바와 같이 선택된 포인트들 사이를 연결한다. 연결된 포인트들의 내부에 대해 들로네 삼각화(Delaunay triagulation)에 따라 도 13(c)에 도시된 바와 같이 삼각형 모델을 완성한다. 다음으로, 보로노이 도(Voronoi diagram)에 따라 도 13(d)에 도시된 바와 같이 다각형 내부의 에지들(132)을 구한다. 또한 구해진 에지들을 도 14a 내지도 14c에 도시된 바와 같은 에지들중 하나로 분류한다. 도 14a는 종단 삼각형(terminal triangle)에 위치한 종단 에지(141), 도 14b는 2개의 이웃하는 에지를 갖는 중간 에지(intermediate edge, 142), 도 14c는 2개 이상의 이웃하는 에지를 갖는 접합점 에지(junction edge, 143)를 예시한 것이다.

다음으로, 도 15에 도시된 바와 같이 종단 에지로부터 중간 에지들을 거쳐서 접합점 에지 또는 다른 종단 에지까지 연결하는 패스(path)를 만들어서 코히런트 스켈레톤 부분(skeleton parts)을 만든다.

다음으로, 종단 삼각형을 정렬하고(sorting), 단면에 대한 스위핑(sweeping)을 통해 도 16(a)에 도시된 바와 같이 단면 에지들(cross-section edges)(150)을 갖는 실루엣을 얻고, 단면 에지의 중간점을 연결하여 도 16(b)에 도시된 바와 같은 2D 스켈레톤(151)을 추출한다.

2D 스켈레톤이 추출되면, 이로부터 3D 스켈레톤을 구성한다(112단계). 3D 스켈레톤 구성을 위해 먼저, 추출된 복수의 2D 스켈레톤에 대한 비주얼 헐의 교차(intersection)을 만든다. 추출된 각 2D 스켈레톤은 라인 에지(line edge)의 세트이다. 에지의 비주얼 헐은 솔리드 각(solid angle)의 내부 면적이므로, 복수의 2D 스켈레톤으로부터 3D 스켈레톤을 구성하는 문제는 3차원 공간에서 두 솔리드 각이 교차되는 문제와 같다. 즉, 3D 스켈레톤은 두 2D 스켈레톤의 비주얼 헐을 교차함으로써 구성될 수 있다.

다음으로, 도 17(a)에 도시된 바와 같은 2D 스켈레톤을 갖는 실루엣으로부터 3D 단면을 계산한다. 이를 위해, 3D 스켈레톤의 각 포인트에 대해 단면 에지는 화면 평면(screen plane)에서 3D 스켈레톤 포인트로 변환하고(translation), 원근변환(perspective transformation)을 이용하여 스케일링(scaling)한다. 여기서, 3D 스켈레톤 포인트들의 중간 포인트들(intermediate points)은 보간(interpolation)하여 계산되고, 계산된 포인트들을 화면 평면에 다시 투영하여 실루엣을 벗어나는 단면을 잘라냄으로써 3D 단면을 도 17(b)에 도시된 바와 같이 형성할 수 있다. 도 17(c)는 서로 다른 카메라 위치에서 계산된 3D 단면을 갖는 3D 스켈레톤을 도시한 것이다.

113단계에서는 3D 스켈레톤에 대해 3D 볼륨(volume) 모델을 도 18과 같이 구성한다. 이를 위해, 먼저, 3D 스켈레톤 좌표를 소정 크기의 복셀(voxel) 공간에 맞 도록 변환하고, 3D 볼륨 구성을 위한 단면을 만든다. 단면은 각 3D 스켈레톤 에지의 두 포인트 및 두 포인트 사이에 만들어진다. 연속적인 모델을 만들기 위해 중간점을 계산하고, 선택된 단면 모양을 단면의 면적 제한(cross-section area constraints)에 맞도록 조절한다. 이렇게 만들어진 볼륨을 매끄럽게 하기 위해(smoothing) 가우스 필터(Gauss filter)가 사용될 수 있다. 도 19는 가우스 필터가 사용된 예를 도시한 것이다.

볼륨을 매끄럽게 한 다음, 도 20(a)와 같이 실루엣(130)을 벗어난 볼륨 표면을 도 20(b)와 같이 잘라낸다. 잘라내는 외부 표면들의 수는 스무딩 필터(smoothing filter)의 크기에 따라 정해진다.

고품질의 모델을 얻기 위해, 입력 실루엣의 비주얼 헐을 이용하여 볼륨을 교정한다. 이 과정은 모델의 각 복셀을 실루엣 위로 투영함으로써 이루어진다. 도 21은 교정이 이루어진 결과를 도시한 것이다.

3D 볼륨이 구성된 다음, 3D 다각형을 구성한다(114단계). 먼저, 공지의 에지 기반 알고리즘을 통해 등가면(isosurface)을 구성하고, 볼륨 모델을 만들기 위해 변환된 3D 스켈레톤 좌표를 역변환하여 다각형 모델을 만든다. 렌더링시 결함(artifacts)을 줄이기 위해 도 22(a)에 도시된 다각형 모델에서 도 22(b)에 도시된 바와 같이 삼각형들의 수를 줄일 수 있다. 다음으로 다각형 모델은 라플라샨 플로우 메쉬 필터(Laplacian flow mesh filter)를 반복적으로 적용함으로써 도 23에 도시된 바와 같이 매끄럽게 된다.

본 발명은 3차원 네비게이션에(3D navigaton)에 적용할 수 있다. 도 24는 본 발명에 따른 3차원 네비게이션을 위한 영상 재구성 방법에 대한 흐름도를 도시한 것이다.

먼저, 두 입력 영상에 대해 기준 물체를 정한 다음, 기준 물체에 육면체와 같은 정형화된 프레임을 배치한다(221단계). 도 25는 도로변 건물 씬의 일례를 도시한 것이다. 도 26(a) 및 도 26(b)는 카메라(240)의 방향에 따라 구도가 달라진 씬을 각각 도시한 것이다. 도 26(a)에서는 건물에 육면체(241)를 씌운 예를 도시한 것이다.

건물에 씌운 육면체의 코너점들을 각각 이용하여 두 영상에서 특징점들을 추출하고(222단계), 추출된 특징점들을 이용하여 카메라를 보정함으로써 영상에서 3차원 포인트들과 내부 및 외부 카메라 보정 정보를 얻는다(223단계). 여기서 카메라 보정은 도 1에 도시된 카메라 보정 방법에 따라 보정할 수 있고, 종래의 체크보드를 이용한 카메라 보정 방법에 따라 보정할 수도 있다.

다음으로, 3차원 포인트들과 내부 및 외부 카메라 보정 정보를 이용하여 도 8에 도시된 영상 재생 방법에 따라 3차원 정형 및 비정형 물체, 즉 건물, 지형, 지물 등을 모델링한다(223단계).

본 발명은 또한 컴퓨터로 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD_ROM, 자기 테이프, 플로피 디스크 및 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브, 예를 들어 인터넷을 통한 전송의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

본 발명에 따르면, 입력 영상 시퀀스로부터 보정물 없이 영상내 점들의 관계를 이용하여 카메라를 보정할 수 있다. 또한 카메라 보정 결과 얻어진 데이터를 이용하여 정형화된 물체 및 스케치 기반 편집을 통해 비정형화된 물체를 모델링할 수 있다.

본 발명은 또한 건물, 지형, 지물의 모델링을 통해 행선지까지의 경로를 찾아주는 텔레메텍스(telematics)에 적용할 수 있고, 3차원 가상 쇼핑, 가상현실 또는 가상 체험 등에 사용할 수 있다. 또한 주변 환경과 같은 모델링이 가능하므로 3차원 시뮬레이션 게임 등에도 적용할 수 있다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서, 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

입력 영상 시퀀스로부터 특징을 추적하고 정합하여 특징 트랙을 설정하는 단계;

카메라의 구조 및 모션을 초기화하여 상기 특징들에 대한 3차원 포인트들을 추정하는 하는 단계;

상기 3차원 포인트들을 이용하여 카메라의 자세를 추정하고, 추정된 자세를 기반으로 하여 상기 카메라의 구조를 갱신하는 단계; 및

카메라의 자세를 갱신하는 단계를 포함함을 특징으로 하는 카메라 보정 방법.
제1항에 있어서, 상기 특징의 추적 및 정합은

상기 입력 영상 시퀀스에 대한 특징을 검출하는 단계;

현재 프레임의 특징 포인트에 대응하는 다음 프레임에서의 특징 위치를 예측하는 단계;

예측된 위치를 중심으로 하는 윈도우에서 특징들을 탐색하는 단계; 및

특징들이 탐색되었으면 상기 현재 프레임의 특징과 탐색된 특징들을 정합하여 가장 잘 정합된 특징을 선택하는 단계를 포함하여 수행되는 것을 특징으로 하는 카메라 보정 방법.
제2항에 있어서, 상기 다음 프레임에서의 특징 위치의 예측은

상기 현재 및 다음 프레임에 대해 복수의 해상도를 갖는 영상을 만들고, 상기 현재 프레임의 특징 포인트에 대응하는 다음 프레임의 특징을 저해상도 영상으로부터 고해상도 영상으로 순차적으로 예측하는 것을 특징으로 하는 카메라 보정 방법.
제2항에 있어서, 상기 예측된 특징 위치는

상기 현재 프레임의 특징 포인트를 중심으로 하는 윈도우와 상기 예측된 특징 위치를 중심으로 하는 윈도우간 차를 계산하고, 계산된 차를 반영한 상기 현재 프레임과 다음 프레임 간의 경사 방향으로 쉬프트되는 것을 더 포함하는 카메라 보정 방법.
제2항에 있어서, 상기 정합은

상기 현재 프레임의 특징 포인트와 상기 다음 프레임에서 탐색된 특징들에 대한 대응관계를 계산하는 단계;

상기 탐색된 특징들중 상기 대응관계가 임계치를 초과하는 특징들을 선택하는 단계; 및

상기 현재 프레임의 특징 포인트에서 선택된 특징들로의 투영성을 추정하여 상기 선택된 특징들중 가장 유사한 특징을 선택하는 단계를 포함함을 특징으로 하는 카메라 보정 방법.
제2항에 있어서,

상기 윈도우에서 특징들을 탐색하는 단계에서 상기 특징이 검출되지 않으면, 상기 예측된 특징 위치를 상기 다음 프레임의 새로운 트랙 위치로 사용하는 단계; 및

연속되는 프레임에서 상기 특징이 검출되지않으면 이상치로 판단하여 제거하는 단계를 더 포함함을 특징으로 하는 카메라 보정 방법.
제1항에 있어서, 상기 카메라의 자세는

상기 3차원 포인트들을 카메라 투영 행렬을 통해 2차원 평면으로 투영하는 단계;

상기 투영된 포인트들과 다음 프레임에서 얻어진 특징 포인트들과의 거리를 상기 3차원 포인트들에 대한 카메라 각도를 기반으로 하여 가중하는 단계; 및

가중된 거리를 최소로하는 상기 카메라 투영 행렬을 구하는 단계를 수행하여 얻는 것을 특징으로 하는 카메라 보정 방법.
제7항에 있어서, 상기 특징 포인트들과의 거리를 가중하는 단계에서 사용하는 가중치는 다음 식

여기서, a는 카메라 중심으로부터 3차원 점을 잇는 선과 카메라 중심선 사이의 각, n은 카메라 개수

과 같이 결정되는 것을 특징으로 하는 카메라 보정 방법.
입력 영상 시퀀스의 특징 포인트들을 이용하여 카메라를 보정하고 상기 영상에 대한 3차원 포인트들을 얻는 단계;

상기 입력 영상들중 두 프레임으로부터 하나의 물체에 대한 최외곽 표면을 구하고, 상기 3차원 포인트들중 상기 최외곽 표면에 포함되는 3차원 포인트들을 분할하는 단계;

상기 분할된 3차원 포인트들로부터 상기 영상들에 포함된 정형화된 물체를 모델링하는 단계; 및

사용자 상호작용을 통해 비정형화된 물체의 윤곽 정보를 입력받아 상기 영상들로부터 비정형화된 물체를 모델링하는 단계를 포함함을 특징으로 하는 3차원 물체 재구성 방법.
제9항에 있어서, 상기 정형화된 물체를 모델링하는 단계는

상기 분할된 3차원 포인트들중 하나를 원점으로 선택하는 단계;

상기 원점을 중심으로 이웃점 세트를 선택하는 단계;

상기 이웃점 세트에 대응하는 근사 평면을 구하는 단계;

상기 원점 선택 단계 내지 근사 평면을 구하는 단계를 반복하여 구해진 복수 의 근사 평면들로부터 정형화된 물체를 초기 모델링하는 단계; 및

상기 초기 모델링 결과에 대해 상기 분할된 3차원 포인트들을 피팅하는 단계를 더 포함함을 특징으로 하는 3차원 물체 재구성 방법.
제10항에 있어서, 상기 이웃점 세트는

상기 원점을 중심으로 소정 거리 이내에서 상기 원점에 가장 가까운 N개의 3차원 포인트들로 이루어지는 것을 특징으로 하는 3차원 물체 재구성 방법.
제10항에 있어서, 상기 근사 평면은

상기 이웃 점 세트에 속하는 3차원 포인트들에 대해 모델 파라미터 추정 방법을 이용하여 이웃 품질 척도를 계산하고, 상기 이웃 품질 척도가 임계치보다 크면 상기 근사 평면의 법선 벡터를 구하여 얻는 것을 특징으로 하는 3차원 물체 재구성 방법.
제10항에 있어서, 상기 분할된 3차원 포인트들의 피팅은

이상치의 영향을 최소화하기 위해 상기 분할된 3차원 포인트들에 대해 다음 식

[수학식]

여기서, ρ(원통, p)는 원통을 이루는 포인트와 이웃 포인트 p의 거리에 대한 함수, △는 임계치

과 같은 m-추정기를 적용하여 상기 수학식을 만족하는 3차원 포인트들에 대해서만 피팅하는 것을 특징으로 하는 3차원 물체 재구성 방법.
제9항에 있어서, 상기 비정형화된 물체를 모델링하는 단계는

입력 영상 시퀀스로부터 모델링하고자 하는 비정형화된 물체의 실루엣에서 윤곽 포인트들을 각각 입력받는 단계;

입력받은 윤곽 포인트들을 기반으로 삼각화를 이용하여 상기 실루엣에 대한 2차원 스켈레톤을 각각 추출하는 단계;

상기 2차원 스켈레톤들로부터 3차원 물체의 최외곽 표면을 구하고, 상기 최외곽 표면으로부터 3차원 단면을 계산하여 3차원 스켈레톤을 구성하는 단계;

상기 3차원 스켈레톤을 복셀 공간으로 변환하여 볼륨 모델을 만드는 단계; 및

상기 볼륨 모델을 상기 변환과 역으로 수행하여 3차원 다각형 모델을 구성하는 단계를 포함함을 특징으로 하는 3차원 물체 재구성 방법.
제14항에 있어서, 상기 윤곽 포인트들은

상기 실루엣의 변곡점 부분에 위치함을 특징으로 하는 3차원 물체 재구성 방법.
제14항에 있어서, 상기 2차원 스켈레톤 추출은

상기 삼각화를 이용하여 상기 실루엣에 대한 삼각형 모델을 구성하는 단계;

상기 삼각형 모델에 의해 형성된 다각형 내부의 에지를 구하는 단계;

상기 에지를 종류에 따라 분류하고, 분류된 에지를 종류에 따라 연결하여 패스를 만들어서 2차원 스켈레톤을 구성하는 단계를 포함함을 특징으로 하는 3차원 물체 재구성 방법.
제14항에 있어서, 상기 3차원 스켈레톤 구성은

상기 2차원 스켈레톤들로부터 3차원 물체의 최외곽 표면을 구하여 상기 2차원 스켈레톤을 갖는 실루엣을 화면 평면에서 3차원 스켈레톤 포인트로 변환하는 단계;

원근변환을 통해 상기 3차원 스켈레톤 포인트를 스케일링하는 단계; 및

스케일링된 포인트들을 화면 평면에 다시 투영하는 단계를 포함하여 수행됨을 특징으로 하는 3차원 물체 재구성 방법.
제14항에 있어서, 상기 다각형 모델을 만드는 단계는

라플라샨 플로우 메쉬 필터를 반복적으로 적용하여 상기 다각형 모델을 매끄럽게 하는 단계를 더 포함함을 특징으로 하는 3차원 물체 재구성 방법.
제9항에 있어서, 상기 카메라의 보정은

상기 입력 영상 시퀀스로부터 특징을 추적하고 정합하여 특징 트랙을 설정하는 단계;

카메라의 구조 및 모션을 초기화하여 상기 특징들에 대한 3차원 포인트들을 추정하는 하는 단계;

상기 3차원 포인트들을 이용하여 카메라의 자세를 추정하고, 추정된 자세를 기반으로 하여 상기 카메라의 구조를 갱신하는 단계; 및

카메라의 자세를 갱신하는 단계를 포함함을 특징으로 하는 3차원 물체 재구성 방법.
제19항에 있어서, 상기 특징의 추적 및 정합은

상기 입력 영상 시퀀스에 대한 특징을 검출하는 단계;

현재 프레임의 특징 포인트에 대응하는 다음 프레임에서의 특징 위치를 예측하는 단계;

예측된 위치를 중심으로 하는 윈도우에서 특징들을 탐색하는 단계; 및

특징들이 탐색되었으면 상기 현재 프레임의 특징과 탐색된 특징들을 정합하 여 가장 잘 정합된 특징을 선택하는 단계를 포함하여 수행되는 것을 특징으로 하는 3차원 물체 재구성 방법.
제19항에 있어서, 상기 카메라의 자세는

상기 3차원 포인트들을 카메라 투영 행렬을 통해 2차원 평면으로 투영하는 단계;

상기 투영된 포인트들과 다음 프레임에서 얻어진 특징 포인트들과의 거리를 상기 3차원 포인트들에 대한 카메라 각도를 기반으로 하여 가중하는 단계; 및

가중된 거리를 최소로하는 상기 카메라 투영 행렬을 구하는 단계를 수행하여 얻는 것을 특징으로 하는 3차원 물체 재구성 방법.
제21항에 있어서, 상기 특징 포인트들과의 거리를 가중하는 단계에서 사용하는 가중치는 다음 식

여기서, a는 카메라 중심으로부터 3차원 점을 잇는 선과 카메라 중심선 사이의 각, n은 카메라 개수

과 같이 결정되는 것을 특징으로 하는 3차원 물체 재구성 방법.
입력 영상 시퀀스로부터 모델링하고자 하는 비정형화된 물체의 실루엣에서 윤곽 포인트들을 각각 입력받는 단계;

입력받은 윤곽 포인트들을 기반으로 삼각화를 이용하여 상기 실루엣에 대한 2차원 스켈레톤을 각각 추출하는 단계;

상기 2차원 스켈레톤들로부터 3차원 물체의 최외곽 표면을 구하고, 상기 최외곽 표면으로부터 3차원 단면을 계산하여 3차원 스켈레톤을 구성하는 단계;

상기 3차원 스켈레톤을 복셀 공간으로 변환하여 볼륨 모델을 만드는 단계; 및

상기 볼륨 모델을 상기 변환과 역으로 수행하여 3차원 다각형 모델을 구성하는 단계를 포함함을 특징으로 하는 비정형화된 3차원 물체의 재구성 방법.
제23항에 있어서, 상기 윤곽 포인트들은

상기 실루엣의 변곡점 부분에 위치함을 특징으로 하는 비정형화된 3차원 물체의 재구성 방법.
제23항에 있어서, 상기 2차원 스켈레톤 추출은

상기 삼각화를 이용하여 상기 실루엣에 대한 삼각형 모델을 구성하는 단계;

상기 삼각형 모델에 의해 형성된 다각형 내부의 에지를 구하는 단계;

상기 에지를 종류에 따라 분류하고, 분류된 에지를 종류에 따라 연결하여 패스를 만들어서 2차원 스켈레톤을 구성하는 단계를 포함함을 특징으로 하는 비정형화된 3차원 물체의 재구성 방법.
제23항에 있어서, 상기 3차원 스켈레톤 구성은

상기 2차원 스켈레톤들로부터 3차원 물체의 최외곽 표면을 구하여 상기 2차원 스켈레톤을 갖는 실루엣을 화면 평면에서 3차원 스켈레톤 포인트로 변환하는 단계;

원근변환을 통해 상기 3차원 스켈레톤 포인트를 스케일링하는 단계; 및

스케일링된 포인트들을 화면 평면에 다시 투영하는 단계를 포함하여 수행됨을 특징으로 하는 비정형화된 3차원 물체의 재구성 방법.
제23항에 있어서, 상기 다각형 모델을 만드는 단계는

라플라샨 플로우 메쉬 필터를 반복적으로 적용하여 상기 다각형 모델을 매끄럽게 하는 단계를 더 포함함을 특징으로 하는 비정형화된 3차원 물체의 재구성 방법.
카메라 방향이 다른 도로변의 두 영상에서 동일하고 정형화된 물체에 대해 정형화된 프레임을 배치하는 단계;

상기 프레임들에 대한 특징 포인트들을 추출하는 단계;

상기 특징 포인트들을 이용하여 상기 카메라를 보정하고 상기 영상에 대한 3차원 포인트들을 얻는 단계;

상기 3차원 포인트들로부터 상기 정형화된 물체를 모델링하는 단계; 및

사용자 상호작용을 통해 비정형화된 물체의 윤곽 정보를 입력받아 상기 영상들로부터 비정형화된 물체를 모델링하는 단계를 포함함을 특징으로 하는 도로변 3차원 물체의 재구성 방법.
제1 항 내지 제8 항중 어느 한 항에 기재된 카메라 보정 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제9 항 내지 제22 항중 어느 한 항에 기재된 3차원 물체의 재구성 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제23 항 내지 제27 항중 어느 한 항에 기재된 비정형화된 3차원 물체의 재구성 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제28 항에 기재된 도로변 3차원 물체의 재구성 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.