KR100944293B1 - 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법 - Google Patents

Abstract

단일 축 회전 영상들을 이용하여 전 방향 3차원 모델을 재구성하기 위한 방법을 제공한다. 본 발명의 일 실시예에 의하면, 우선 에피폴라 제약 조건을 이용하여 상기 단일 축 회전 영상들 각각의 대응점들로부터 아웃라이어를 제거하고 남은 인라이어 대응점들을 이용하여 강건한 기본행렬을 추정한다. 그리고 상기 단일 축 회전 영상들 각각에서 투영된 회전축과 영상 내 회전축과의 거리를 계산하여 사영행렬을 최적화한 다음, 상기 강건한 기본행렬과 상기 최적화된 사영행렬을 이용하여 카메라 교정 절차를 수행한다. 또한, 상기 단일 축 회전 영상들 사이의 대응점 비율 정보, 상기 단일 축 회전 영상들 각각의 에피폴라 에러, 및 상기 단일 축 회전 영상들 각각의 정확한 위치 정보 중에서 적어도 하나의 정보를 이용하여, 상기 단일 축 회전 영상들 중에서 키 프레임을 선택한 다음, 상기 키 프레임의 영상만을 이용하여 전 방향 3차원 모델을 재구성한다.

Description

단일 축 회전 영상들로부터의 효율적인 전 방향 3차원 모델의 재구성 방법{Mechanism for reconstructing full 3D model using single-axis turntable images}

본 발명은 전 방향 3차원 모델의 재구성에 관한 것으로, 보다 구체적으로 단일 축 회전 영상들을 이용하여 효율적으로 전 방향 3차원 모델을 재구성하기 위한 절차에 관한 것이다.

최근에 그래픽 렌더링, 디지털 도서관, 그리고 가상 환경 등과 같이 사실적인 3차원 모델을 이용한 어플리케이션이 주목을 받고 있다. 그 결과, 한 대 또는 여러 대의 카메라로부터 취득된 영상을 이용하여 기하학적인 3차원 모델을 재구성하는 메커니즘에 관한 관심도 지속적으로 증가하고 있는 추세이다. 다수의 카메라로부터 획득한 영상을 이용하여 전 방향 3차원 모델을 재구성해내기 위한 필수적인 과정 중의 하나는 카메라 교정(camera calibration) 과정이다.

카메라 교정 과정은 크게 두 가지로 나눠 볼 수 있는데, 하나는 자동 교 정(self-calibration) 방법이고, 다른 하나는 미리 알고 있는 소정의 패턴을 이용하는 방법이다. 이 중에서, 전자의 자동 교정 방법은 카메라에서 획득한 자체 영상을 이용하는 것으로서 획득한 장면에 대한 선지식이나 제약 조건이 없기 때문에, 카메라 교정을 위해 미리 알고 있는 패턴(장면)을 이용하는 후자의 방법에 비하여 좀 더 진보적인 방법이라 할 수 있다. 그 결과, 자동 교정 방법은 복잡한 비선형 방정식을 다루는 어려운 작업이다. 이러한 이유로 최근의 연구에서는 내부 카메라 파라미터에 제한된 조건을 부여하고 있기도 하다. 후자의 방법 중에서 하나는 Zhengyou Zhang이 "A Flexible New Technique for Camera Calibration"(IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.22, no.11, pp.1-20, 2000)에서 제안한 방법으로서, 이에 의하면 평면 체커 보드를 이용하여 카메라 교정 작업을 수행한다.

그런데, 카메라 교정을 위해 현재까지 제안된 방법들은 전 방향 3차원 모델을 정확하게 재구성하기 위한 방법으로서는 일정한 한계가 있다. 왜냐하면, 전술한 방법들은 3차원 모델에 대하여 전 방향에서 취득한 영상을 이용하는 것이 아니기 때문이다. 이러한 전술한 방법의 한계를 보완하기 위하여 제안된 방법은 턴테이블 움직임(turntable motion) 또는 회전 움직임(circular motion)을 이용하는 것이다. 턴테이블 움직임을 이용하는 방법이란 단일 축에 의하여 회전하는 턴테이블과 같이 다수의 카메라를 3차원 모델을 축으로 하여 원형으로 소정의 간격(일정한 각도)으로 배치하고, 이들 카메라로부터 획득한 전 방향의 영상들(단일 축 회전 영상들)을 이용하여 3차원 모델을 재구성하는 방법이다. 이러한 턴테이블 움직임은 컴퓨터 비 전이나 그래픽스 연구자들에게 널리 이용되어 왔다.

턴테이블 움직임, 즉 단일 축 회전 움직임에서는 장면과 카메라 사이의 움직임을 고정된 하나의 축에 대해서 회전 성분으로 표현할 수 있다. 모든 회전들이 같은 축 주위에 있기 위해 제한되는 것과 같이, 턴테이블 움직임은 일반적인 평면 움직임의 실제적인 경우이다. 단일 축 움직임으로부터 3차원 모델을 얻기 위한 기본적인 작업은 여러 가지 카메라 파라미터와 함께 상대적인 카메라의 위치 정보를 복원하는 것이다. 카메라 위치 또는 단순히 상대적인 카메라 각도의 추정은 모델링 작업에서 가장 중요하고 어려운 작업이다. G. Jiang, L. Quan 등은 "Circular Motion Geometry by Minimal 2 Points in 4 Images"(IEEE International Conference on Computer Vision, 221-227, 2003) 등의 논문에서 최소 5장의 영상에서 추적된 점들의 원뿔(conic) 궤적을 이용해서 단일 축 움직임을 계산하는 방법을 제안했다. 하나의 기본행렬(Fundamental Matrix)과 하나의 원뿔 곡선 또는 최소 2개의 원뿔 곡선을 이용하여 단일 축 회전 움직임을 계산하였다.

이러한 움직임을 계산하기 위한 중요한 문제들 중에 하나는 연속된 영상들 간의 대수적 관계를 나타내는 기본행렬을 구하는 것이다. 기본행렬을 구하는데 어려운 점은 대응점들 간의 잘못된 정합에 기인한다. 단일 축 회전 움직임에 있어서 카메라 교정의 성능은 얼마나 정확하게 대응점들을 찾아내는가 하는 것과 이를 이용하여 계산된 기본행렬이 얼마나 정확한가 하는 점이다.

기본행렬을 구하기 위해서는 최소한 두 장 영상에서 서로 대응하는 점들을 알아야 할 필요가 있다. 이러한 영상들 간의 대응점을 이용하여 기본행렬을 구하기 위한 방법들이 종래부터 많이 연구되어 왔다. 기본행렬을 구하는 방법은 크게 두 가지로 분류할 수 있는데, 첫 번째 방법은 선형적인 방법들(7-points, 8-points, linear rank-2 constraint 등)이다. 이러한 방법들은 대응점 문제들이 선형적으로 해결될 수 있는 경우에는 우수한 성능을 얻을 수가 있다. 그러나 대응점 문제들은 선형적으로 해결되지 않는 것이 일반적이기 때문에, 전술한 첫 번째 방법은 일반적인 활용 분야에는 적합하지 않다.

두 번째 방법은 M-평가법(M-Estimators), LMedS(least median of square), RANSAC(random sample consensus) 등과 같은 비선형 방법들로써, 첫 번째 방법에 비하여 강건한 방법들이라고 할 수 있다. 이 중에서 M-평가법은 일치점의 오차에 가중치 함수를 적용함으로써, 큰 잡음에 의한 아웃라이어(outlier)의 영향을 줄일 수가 있다. 그리고 토르(Torr) 와 뮤레이(Murray)에 의해서 제안된 RANSAC 방법은 단순하면서 성공적인 강건한 추정 방법이다. RANSAC 방법에 의하면, 기본행렬을 추정하기 위해 최소 일치점 집합을 전체 일치점에서 임의로 추출하여 초기값을 구하고 나머지 일치점들에 대해서 오차를 계산하여, 계산된 오차가 임계값보다 높으면 해당 대응점은 아웃라이어로 결정하지만, 임계값보다 낮은 경우에는 해당 대응점을 인라이어(inlier)로 결정한다. 위의 과정을 반복해서 인라이어 집합을 구한 다음, 이를 이용해서 일치점의 수가 가장 많은 경우를 선택하여 그 집합으로 기본행렬을 다시 계산한다. 그리고 LMedS, MLESAC, MAPSAC 등의 방법은 RANSAC 방법을 기초로 하여 잡음에 강건하고 아웃라이어들을 효과적으로 제거하는 방법들이다. 그러나 이러한 방법들의 가장 중요한 제약 조건은 임의로 선택되는 일치점들 때문에 수행 할 때마다 다른 인라이어 집합들이 선택되며 따라서 얻어지는 결과도 선택되는 인라이어의 집합에 의해서 영향을 많이 받게 된다는 사실이다.

전 방향 3차원 모델의 재구성을 위한 또 다른 중요한 작업은 키 프레임(key frame)의 선택이다. 키 프레임은 영상간의 충분한 기준선(baseline)을 가지면서 많은 3차원 점들을 재구성할 수 있는 영상이어야 한다. Polleyfeys 등은 "Video-to-3d" (In: Proceedings of Photogrammetric Computer Vision 2002, ISPRS Commission III Symposium, International Archive of Photogrammetry and Remote Sensing. Volume 34. (2002) pp.252??258)에서, 토르가 제안한 강건한 기하학적 정보(Geometric Robust Information Criterion)를 이용하였다. 이에 의하면, 호모그래피 또는 에피폴라 기하학을 평가 모델로 사용한다. 그리고 S. Gibson 등은 "Accurate camera calibration for off-line, video-based augmented reality"(In: IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2002), Darmstadt, Germany(2002))에서 비슷한 방법으로 GRIC 대신 기본행렬과 2차원 사영변환 행렬의 에러에 가중치를 적용한 방법을 사용하였다.

그러나 이러한 방법들은 키 프레임을 선택하는데 있어서 최선의 해결책을 제시하지 못한다. 예를 들어, 전술한 방법들은 찾아진 특징점들의 위치 오차가 클 경우 잘못된 기본 행렬을 유도하게 되고 이는 또한 잘못된 카메라 움직임(카메라 위치 정보)을 나타내게 되므로 선택된 키 프레임에 의해서 결국 잘못된 3차원 정보를 추출하게 된다.

본 발명이 해결하려고 하는 과제는 단일 축 회전 영상들의 기하학적인 특성을 이용하여 보다 강건한 기본행렬을 구하기 위한 알고리즘과 함께 최적화된 사영행렬을 구하는 알고리즘을 이용하여 카메라 교정 작업을 수행하고, 또한 이렇게 구한 강건한 기본행렬과 최적화된 사영행렬을 이용하여 3차원 모델의 재구성에 필요한 특징점들을 많이 포함하고 있는 키 프레임을 추출하는 알고리즘을 이용함으로써, 보다 효율적으로 전 방향 3차원 모델을 재구성할 수 있는 절차를 제공하는 것이다.

본 발명에서 새롭게 제안하는 전 방향 3D 모델의 재구성 방법은 크게 2개의 과정으로 나눠진다. 첫 번째 과정은 카메라 교정 단계이다. 본 발명의 실시예에 따른 카메라 교정 단계에서는 우선 내부 파라미터(인라이어)와 외부 파라미터(아웃라이어)를 포함하고 있는 초기 기본행렬(Initial Fundamental Matrix)을 구한다. 카메라 교정은 3차원 재구성에 있어 필수적인 과정이며, 본 발명의 실시예에 의하면 새롭게 추정된 강건한 기본행렬을 통해서 계산되어질 수 있다. 단일 축 회전 움직임에서 추정 기본행렬은 회전판이 회전하는 동안 공간 또는 영상 내에서 기하학적 물체들의 변하지 않은 특성으로 기술되어질 수 있다. 특히 기본행렬을 이용하여 구한 두 영상간의 에피폴라 라인들은 영상내의 회전축 선상에서 교차 특성이 있다. 이러한 조건은 아웃라이어를 제거하는데 이용될 수 있다. 후술하는 본 발명의 실시예에서는 이러한 에피폴라 제약 조건을 이용하여 강건한 추정 기본행렬을 구하기 위한 새로운 알고리즘을 제안한다.

그리고 본 발명의 실시예에 의하면, 원뿔의 투영 특성과 추정 기본행렬로부터 영상 내 점들의 궤적에 해당하는 유클리드 3차원 좌표를 구성할 수 있다. 또한 영상 내 회전축과 투영된 3차원 공간상의 축과의 거리를 최소화시키는 투영 오차를 계산한 다음 상기 오차를 최소화할 수 있도록 사영행렬을 최적화시킨다.

두 번째 단계에서는 에지에 기반을 둔 조밀한 3차원 재구성을 한다. 이 방법은 기존의 대응점들을 이용한 재구성 방법 보다 충분히 빈 공간을 채울 만큼 많은 점들을 복원 할 수 있다. 하지만 본 발명의 실시예에서는 모든 입력 영상을 이용하는 것이 아니라 단지 선택된 몇 장의 영상만을 이용하게 된다. 선택된 영상을 키 프레임이라 하는데, 카메라 움직임 및 3차원 재구성에 있어서 계산 비용을 줄이는 장점이 있다.

상기한 해결 과제를 달성하기 위한 본 발명의 일 실시예에 따른 단일 축 회전 영상들을 이용한 전 방향 3차원 모델의 재구성 절차는 에피폴라 제약 조건을 이용하여, 상기 단일 축 회전 영상들 각각의 대응점들로부터 아웃라이어를 제거하고 남은 인라이어 대응점들을 이용하여 강건한 기본행렬을 추정하는 단계, 상기 강건한 기본행렬을 이용하여 카메라 교정 절차를 수행하는 단계, 상기 단일 축 회전 영상들 사이의 대응점 비율 정보, 상기 단일 축 회전 영상들 각각의 에피폴라 에러, 및 상기 단일 축 회전 영상들 각각에 대한 카메라 위치 정확도 중에서 적어도 하나 의 정보를 이용하여, 상기 단일 축 회전 영상들 중에서 키 프레임을 선택하는 단계, 및 상기 키 프레임의 영상을 이용하여 전 방향 3차원 모델을 재구성하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 전 방향 3차원 모델의 재구성 방법은 상기 단일 축 회전 영상들 각각에서 투영된 회전축과 영상 내 회전축과의 거리를 계산하여 사영행렬을 최적화하는 단계를 더 포함하고, 상기 카메라 교정 단계에서는 상기 최적화된 사영행렬을 함께 이용할 수 있다.

상기 실시예의 다른 측면에 의하면, 상기 키 프레임의 선택 단계에서는 다음의 수학식을 이용할 수 있다. 그리고 이 경우에, 상기 키 프레임의 선택 단계에서는 상기 대응점 비율이 높은 프레임, 상기 에피폴라 에러가 작은 프레임, 및 상기 카메라 위치 정확도가 높은 프레임들을 종합적으로 고려하며, 또한 인접한 키 프레임 사이에는 소정의 간격 이상의 간격을 갖도록 상기 키 프레임을 선택할 수 있다.

여기서,

이다.

본 발명의 실시예는 크게 카메라 내부 및 외부 파라미터를 추출하는 카메라 교정 단계와 에지에 기반을 둔 조밀한 3차원 재구성 단계로 구성되어 있다. 본 발 명의 실시예에 따른 카메라 교정 단계에서는 후술하는 본 발명의 실시예에 따른 기본행렬 추정 방법을 통해서 보다 정확한 카메라 정보를 얻을 수 있었다. 그리고 조밀한 3차원 모델의 재구성 과정에서는 보다 적은 수의 영상만을 가지고 전 방향 3차원 모델의 재구성할 수 있다. 따라서 본 발명의 실시예에 따른 3차원 모델의 재구성 알고리즘은 적은 비용으로 보다 정확한 3차원 모델을 재구성할 수 있다.

이하, 첨부 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 통상적인 절차에 따라서 입력 영상(Input Images)을 이용하여 3D 모델을 재구성하는 절차를 보여 주는 블록도이다. 도 1의 3D 모델 재구성 알고리즘은 입력 영상이 복수의 카메라로부터 획득한 모든 유형의 영상에 동일하게 적용될 수 있는 것이다. 따라서 도 1의 3D 모델 재구성 알고리즘은 본 발명의 실시예와 같이 입력 영상이 단일 축 회전 영상인 경우에도 동일하게 적용될 수 있다.

본 발명의 실시예에 의하면, 단일 축 회전 영상을 획득하는 방법에는 아무런 제한이 없다. 예를 들어, 단일 축 회전 영상은 자체 제작한 포토노보(Photonovo) 영상 취득 시스템을 이용하여 획득한 연속된 회전 움직임 영상일 수 있다. 포토노보 영상 취득 시스템은 디지털 카메라와 모터로 움직이는 회전판, 그리고 개인용 컴퓨터(PC)를 포함하고 있으며, 영상들은 각기 다른 각도에서 1도씩 회전하며 취득할 수 있다. 하지만, 본 발명의 실시예가 이러한 포토노보 영상 취득 시스템을 이용하여 획득한 영상에 한정되는 것은 아니며, 다른 회전 움직임 영상 취득 시스템 으로 획득한 영상이나 또는 동일한 포토노브 영상 취득 시스템이라고 하더라도 영상 취득 간격을 달리하여 획득한 영상에도 동일하게 적용될 수 있다. 단일 축 회전 영상은 카메라의 위치 정보가 카메라 사이의 각도로써 표현할 수 있다.

도 2는 본 발명의 일 실시예에 따른 단일 축 회전 영상들로부터의 전 방향 3차원 모델의 재구성 절차를 보여 주는 흐름도이다.

도 2를 참조하면, 우선 에피폴라 제약 조건을 이용하여 단일 축 회전 영상들 각각의 대응점들로부터 아웃라이어를 제거한 다음, 인라이어 대응점들을 이용하여 강건한 기본행렬을 구한다(S11). '에피폴라 제약 조건'이란 고정 축을 중심으로 회전하는 영상에서는 대응되는 에피폴라 라인들은 영상내 회전축 선상에서 교차한다는 것을 말한다. 그리고 아웃라이어는 이러한 에피폴라 제약 조건에 부합되지 않는 것으로 나타나는 영상내의 특징점(대응점)을 가리킨다. 아웃라이어가 아닌 특징점(대응점)은 인라이어가 된다. 이하, 이에 대하여 보다 구체적으로 설명한다.

도 3은 원 운동 하에서의 에피폴라 기하의 일례를 보여 주는 도면이다. 고정된 회전축을 중심으로 회전한 영상들 간의 기본행렬은 원 운동 하에서 고정된 이미지 특징들에 의해서 명백히 나타낼 수 있다. 이러한 사실은 A. W Fizgibbon, G. Cross, 및 A. Zisserman에 의한 "Automatic 3D Model Construction for Turn-table Sequences"(Proc. European Workshop SMILE'98, pp.155-170, 1998) 등에도 개시되어 있다. 이에 의하면, 수학식 1과 같이 정의되는 두 개의 카메라 P1, P2에서 얻어진 영상 사이의 관계는 점과 점이 아닌 점과 선의 대응 관계로 나타낼 수 있는데, 이를 에피폴라 기하학이라 한다.

Pn=K[R|t]은 공간상의 점이 n번째 영상에 맺히는 관계를 나타내는 사영 행렬을 의미하며 R은 회전성분, t는 이동성분이 된다. K는 3×3, R은 3×3, t는 3×1 벡터이다. [R|t]는 (3×3)행렬에 (3×1)행렬을 4번째 열로 부가하여 구성되어 (3×4) 행렬이 된다. 즉, Pn은 (3×3)[(3×3)|(3×1)]=(3×4) 형태의 행렬로 나타난다. 수학식 1에서 P₁ 은 공간상의 점이 첫 번째 영상에 맺히게 되는 관계를 나타내는 사영 행렬을 의미하고 이때 첫 번째 영상이 기준이 되므로 사영 행렬식에서 회전 성분은 단위 행렬(R=I)이 되며 이동 성분(t)은 영이 된다. 두 번째 카메라에 대한 사영 행렬식은 P₂ 로 나타내며 첫 번째 카메라에 대한 y축 방향으로 상대적인 회전 성분 Ry(θ)을 갖는다. 각 카메라의 초점거리의 변화가 없을 경우 카메라의 내부 성분을 포함하는 카메라 행렬을 K로 표현하였다. 행렬 K에서 f_x 와 f_y 는 초점 거리를 의미하며 비율이 같다면 CCD 카메라는 정방형의 화소를 갖는다. s는 스큐(skew) 값으로 영상의 기울임 정도를 나타낸다. c_x 와 c_y 는 영상에서 주점(또는 중심점)의 좌표이다.

공간상의 한 점 X를 서로 다른 이미지 평면에 투영하면 각각의 이미지 평면에는 점 mi 와 mi'로 맺히는데, 이러한 두 점을 대응점 또는 일치점(correspondence)이라 한다. 그리고 상기 공간상의 점 X 와 두 개의 카메라가 이루는 평면을 에피폴라 평면(epipolar plane)이라고 하며, 상기 에피폴라 평면과 각각의 이미지 평면이 교차하는 선을 에피폴라 라인(epipolar line), 두 개의 카메라를 연결하는 선과 각각의 이미지 평면이 교차하는 점을 에피폴이라고 한다. 이러한 제1 이미지 평면의 에피폴과 제2 이미지 평면의 에피폴라 라인 사이의 관계의 대수적인 표현이 기본행렬이며, 이를 정리하면 다음의 수학식 2와 같이 표현할 수 있다.

여기서, mi = [ui, vi, 1]이고 mi' = [ui', vi', 1]이다. mi는 첫 번 째 영상에서 좌표를 mi'는 첫 번째 영상에 대응되는 두 번째 영상에서 좌표를 나타내며 이는 기본 행렬(F)을 통해서 l_m과 l_m'의 에피폴라 라인을 형성하게 된다. 기하학적으로 첫 번째 영상의 대응점 mi는 에피폴라 라인 l_m선상에 위치하며 두 번째 영상의 대응점 mi'는 에피폴라 라인 l_m'선상에 존재하게 된다. 이러한 관계를 에피폴라 기하학이라 하며 두 번째 줄의 두 영상간의 대응점으로 구해지는 기본 행렬(F)로 정의될 수 있다.

첫 번째 영상에서 특징점을 추출하면 두 번째 영상에서 대응되는 일치점을 찾아야 한다. 이러한 과정을 매칭(matching)이라 하는데, 매칭 과정에 대해서는 기존에도 많은 연구가 진행되어 왔다. 본 발명의 실시예에서는 일치점을 찾는 과정인 매칭에 대해서는 아무런 제한이 없다. 일반적으로, 기본행렬을 구하는데 어려운 문제 중에 하나가 일치점을 잘못 찾는 것이며, 잘못된 일치점을 이용하여 구한 기본행렬은 정확한 기본행렬이 될 수가 없다. 일반적으로, 카메라 교정의 성능은 정확한 일치점, 즉 대응점들을 찾는 것과 이에 따른 정확한 기본행렬을 구하는 것에 의존적이므로, 잘못된 대응점의 제거는 매우 중요하다. 그러므로 본 발명의 실시예에서는 카메라 교정 성능의 향상을 위해서 잘못된 대응점들을 제거해서 강건한 기본행렬을 구하는 방법을 제안하다. 본 발명의 실시예에 의하면, 잘못된 대응점들이 아웃라이어에 해당된다.

고정된 단일 축을 중심으로 회전하는 영상에서는 대응되는 에피폴라 라인들은 영상내 회전축 선상에서 교차하여야 한다. 도 4는 대응되는 모든 에피폴라 라인들이 회전축l_s에서 교차해야 한다는 것을 보여 준다. 이러한 에피폴라 제약 조건을 이용하면 아웃라이어를 제거하여 강건한 기본행렬을 구할 수 있다. 도 5는 대응되는 에피폴라 라인들이 회전축에서 교차함을 보여주고 있다.

도 6은 이러한 에피폴라 제약 조건을 만족하는 인라이어와 에피폴라 제약 조건을 만족하지 않는 아웃라이어가 함께 존재하는 것을 보여 주는 도면이다. 도 6에서 흰색의 작은 원으로 표시한 것이 두 영상의 에피폴라 라인들의 교차점을 나타낸다. 도 6을 참조하면, 교차점들 중에서 일부는 하나의 수직 라인에 위치하지만, 다 른 일부는 수직 라인의 외부에 위치한다는 것을 알 수 있다. 여기서 수직 라인이 회전축이 되는데, 본 발명의 실시예에 의하면, 상기 교차점들 중에서 수직 라인의 밖에 존재하는 교차점들에 대응하는 특징점들은 아웃라이어로 간주되어, 상기 아웃라이어를 형성시킨 에피폴라 라인을 구성하는 대응점들은 제거된다. 도 7은 도 6의 도면에서 아웃라이어들이 제거된 후의 인라이어들로만 이루어진 에피폴라 라인의 교차점의 모습을 보여 주고 있다. 그리고 도 8은 일제 이미지 쌍의 재계산된 에피폴라 라인들을 보여 주고 있다.

계속해서 도 2를 참조하면, 투영된 회전축과 영상 내 회전축과의 거리를 계산하여 사영행렬(Projection Matrix)을 최적화한다(S12). 이러한 사영행렬의 최적화 과정은 3차원 정합을 위한 것이다.

사영행렬을 최적화하는 알고리즘의 일례에 대하여 도 9를 참조하여 설명한다. 우선, 두 개의 대응되는 에피폴라 라인들(l, l') 사이의 교차점을 계산한다(m_i = l×l', m_i=(u_i, v_i)). 그리고 투영된 회전축과 상기 교차점 사이의 기하학적인 오차를 계산한다. 기하학적인 오차를 계산하는 방법은 수학식 3과 같다. 이러한 기하학적인 오차를 계산하는 식은 비용 함수라고 볼 수 있다. 그리고 모든 대응점들에 대하여 상기 비용 함수를 최소가 되도록 하는 직선식을 구하여, 구해진 직선식을 가지고 다시 사영행렬을 구한다. 이렇게 구해진 사영행렬은 최적화된 사영행렬이 된다.

수학식 3에서 d(l_s,m_i)는 선분 l_s와 점 m_i사이의 유클리디언 거리(Euclidean distance)를 나타내며 오른쪽 항은 점과 선분 사이의 거리를 나타내는 식이다. 선분 l_s는 영상에서 회전 축을 나태내는 선분이다.

영상 내 영상 내 잡음들로 인해 사영 관계식

을 정확하게 만족시킬 수 없다. 따라서 본 발명의 실시예에서는 3차원 점

들이 사영행렬

을 통해서 영상내의 점들

에 투영되는 관계식(

) 만족하는 정확한 사영행렬을 구하고자한다. 3차원 공간에서 회전축은 영상에서 회전축을 역 투영함으로서 구할 수 있다. 영상내의 회전 축l_s는 회전 움직임 하에서 고정되어 있다. 그러나 사영행렬 에러 때문에 3차원 공간에서 역투영된 회전축은 동일한 위치에 존재하지 않는다. 도 10은 이와 같이 3차원 공간에서 역투영된 회전축은 동일한 위치에 존재하지 않는다는 것을 보여 준다. 사영행렬을 최적화하기 위한 기본 아이디어는 투영된 회전축과 영상내 회전축과의 거리를 계산하여 최소화시키는 것이다. 따라서 비용 함수는 다음의 수학식 4와 같다.

수학식 4에서 d(a,b)는 a와 b 사이의 유클리디언 거리를 나타내는 거리 함수이다. 거리 함수에서 첫 번째 항은 3차원 공간상의 실제 회전축이 사영행렬에 의해서 영상에 투영된 회전축을 의미하며, 두 번째 항은 영상으로부터 구해진 회전축이 된다. 이 두 축 사이의 거리를 모든 영상에 대해서 합을 구하고 이를 최소화시키는 사영 행렬을 추정하게 된다.

계속해서 도 2를 참조하면, 단계 S11에서 구한 강건한 기본 행렬과 단계 S12에서 구한 최적화된 사영 행렬을 이용하여, 통상적인 절차에 따라서 카메라 교정 절차를 수행한다(S13). 본 단계의 절차는 이 분야에서 통상적인 절차에 따라서 진행되므로, 여기에서 이에 대한 상세한 설명은 생략한다.

그리고 대응점의 비율 정보, 기본행렬 오차 정보, 및 교정된 카메라의 위치 정확도 정보를 이용하여 키 프레임을 선택한다(S14). 본 발명의 실시예에 의하면, 획득된 모든 단일 회전축 영상 프레임을 이용하여 전 방향 3D 모델을 구성하지 않는다. 왜냐하면, 모든 단일 회전축 영상 프레임을 이용하는 것은 비록 정확한 3D 모델을 구하는 것이 가능하지만, 계산 량이 너무 많은 단점이 있다. 이러한 단점을 해결하기 위하여, 본 발명의 실시예에서는 키 프레임을 선별한 다음, 선별된 키 프레임만을 이용하여 전 방향 3D 모델을 재구성한다.

본 발명의 실시예에 의하면, 키 프레임을 선별할 경우에 해당 프레임이 정확한 3D 모델을 구성할 수 있는 프레임인지를 기준으로 판정한다. 그리고 정확한 3D 모델을 구성할 수 있는 프레임인지에 대한 기준으로서, 3가지의 정보를 이용한다. 그 중의 하나는 두 영상간의 대응점의 비에 관한 정보이다. 일반적으로, 두 영상간의 대응점이 많을수록 해당 영상은 정확한 3D 모델을 구성하기에 적합한 프레임이라고 할 수 있으며, 따라서 대응점의 비가 클수록 키 프레임으로 선정될 확률은 높아진다고 할 수 있다.

두 번째 정보는 기본 행렬의 오차에 관한 정보, 즉 에피폴라 오차이다. 즉, 본 발명의 실시예에서는 기본 행렬의 오차에 관한 정보인 에피폴라 오차를 이용하여 키 프레임을 선정한다. 일반적으로, 에피폴라 오차가 큰 경우에는 이를 통해서 얻어지는 데이터도 부정확하다고 할 수 있으며, 그 결과 정확한 3D 모델을 구성하기가 어렵다고 할 수 있다. 따라서 본 발명의 실시예에 의하면, 키 프레임으로 선정될 가능성은 에피폴라 오차에 반비례한다고 할 수 있다.

마지막 세 번째 정보는 카메라 교정을 통해 획득한 해당 프레임의 위치가, 실제 해당 카메라의 위치와 일치하는지 여부이다. 이러한 해당 프레임의 위치 정보는 두 영상 사이의 카메라 각도로 나타낼 수 있다. 전술한 바와 같이, 본 발명의 실시예에서는 그 위치를 알고 있는 카메라를 통해서 획득한 영상을 이용한다. 반면, 카메라 교정을 하면, 획득한 영상으로부터 다시 정확한 카메라의 위치를 계산할 수가 있다. 일반적으로 다시 계산된 카메라의 위치가 영상 획득시의 카메라의 위치와 일치하는 정도가 높으면, 그 만큼 해당 영상은 정확한 3D 영상을 재구성하기에 적합한 영상이라고 할 수 있다. 따라서 본 발명의 실시예에 의하면, 두 영상의 카메라 각도가 실제 카메라 각도와 일치하는 정도에 비례하여, 해당 프레임이 키 프레임으로 선정될 확률이 높아진다고 할 수 있다.

대응점을 이용한 일반적인 재구성 접근 방법은 지난 수년간 연구 되어왔다. 이러한 방법들은 카메라 위치를 계산하고 추적하는 데는 충분하다. 하지만 장면이나 물체의 드물게 분포되어있는 3차원 좌표를 표시하는데 그친다. 본 발명의 실시예에서는 에지에 기반을 둔 조밀한 표면 재구성을 위한 알고리즘을 제안한다. 하지만 취득한 모든 프레임을 사용하지 않고 몇 장의 이미지만을 이용한다. 이를 위하여, 몇 장의 이미지를 선택하는 과정을 키 프레임의 선택이라 하는데, 카메라 움직임이나 3차원 재구성에 있어서 계산 비용을 줄이는데 이점이 있다. 즉, 본 발명의 실시예에서는 연속된 프레임에서 일부의 프레임만을 추출하고, 이를 이용해서 조밀한 3차원 재구성을 수행한다.

본 발명의 일 실시예에 따른 키 프레임의 선택 과정은 다음과 같다. 우선, 첫 번째 이미지 I1은 항상 키 프레임으로 선택한다. 그리고 두 번째 이미지 I2는 정확한 카메라 위치와 가장 적은 에피폴라 에러를 포함하면서 가능한 멀리 떨어져 있는 영상이 선택되도록 한다. 3개의 구성 요소로 되어 있는 키 프레임 선택 함수

은 수학식 5와 같이 정의하였다.

여기서,

이고 키 프레임 선택 함수

의 첫 번째 구성 요소는 두 영상간의 대응점의 개수

과

의 비율로, 두 번째 구성요소는 에피폴라 에러이다. 에피폴라 기하학에 의해서 각 대응되는 점들은 에피폴라 라인 위에 존해 해야 하지만 오차가 존재한다. 이 오차는 에피폴라 라인과 대응점들 간의 유클리디언 거리가 된다. 그리고 세 번째 구성요소는 두 영상간의 카메라 각도이다. α,β,γ는 각 항에 대한 가중치를 나타낸다. 키 프레임 선택 함수에 의해서 대응되는 점들의 수를 어느 정도 유지하면서 에피폴라 오차가 적으며 또한 두 영상간의 회전 각도 오차가 적은 영상을 키 프레임으로 선택하게 된다.

수학식 5에서, 키 프레임 선택 함수

의 첫 번째 구성 요소는 두 영상간의 대응점

과

의 비율로, 두 번째 구성요소는 에피폴라 에러, 그리고 세 번째 구성요소는 두 영상간의 카메라 각도이다.

계속해서 도 2를 참조하면, 선택된 키 프레임을 이용하여 전 방향 3D 모델을 재구성한다(S15). 본 발명의 실시예에 의하면, 선택된 키 프레임으로부터 전 방향 3D 모델을 재구성하는 방법은 기존의 방법 중에서 적절한 방법이 사용될 수 있다. 예를 들어, 선택된 키 프레임에 대해서 에지에 기반을 둔 특징점 추출을 한 다음, 이를 이용하여 전 방향 3D 모델을 재구성할 수 있다.

예를 들어, 키 프레임이 선택되면, 선택된 키 프레임에 대해서 에지에 기반을 둔 특징점을 추출하게 된다. 에지 검출기는 캐니에지 검출기를 이용할 수 있으며, 여기에만 한정되는 것은 아니다. 본 발명의 실시예의 일 측면에 의하면, 문턱 치 값을 조절해 많은 특징점들을 찾을 수 있다. 도 11의 (a), (b), 및 (c)는 각각 bear, dog2, dog1 입력 영상의 에지 이미지를 보여주고 있다. 그리고 본 발명의 실시예의 일 측면에 의하면, 광류(optical flow)를 이용하여 대응점을 찾고, 미리 계산된 카마레 파라미터를 이용하여 3차원 좌표를 계산할 수 있다.

실험 결과

본 발명의 실시예에 따른 전 방향 3D 모델의 재구성 절차의 성능을 알아보기 위하여 실험을 수행하였다. 여기에 개시된 실험에서는 전술한 Potonovo 시스템에서 취득한 실제 영상을 대상으로 제안된 알고리즘과 기존 방법들의 결과를 비교하였다. 도 12는 본 실험에서 사용된 입력 영상을 보여주는 그림으로서, 도 12의 (a)는 bear 이미지, 도 12의 (b)는 dog1 이미지, 그리고 도 12의 (c)는 dog2 이미지이다.

본 실험에서는 제안한 알고리즘의 성능 평가를 위해서 에피폴라 오차를 이용하였다. 보다 구체적으로, 에피폴라 라인과 대응점간의 거리 오차에 대한 평균과 분산을 계산하여 성능 평가를 하였다. 도 13 내지 도 15에는 각각 본 발명의 실시예에 따른 알고리즘과 기존 방법들과 거리 오차에 대한 결과를 보여 주는 그래프가 도시되어 있다. 도 13 내지 도 15에서 방법 1은 Seven points 알고리즘, 방법 2는 Least-squares 알고리즘, 방법 3은 Least-squares with eigen analysis 알고리즘, 방법 4는 Linear rank-2 constraint (by Faugeras) 알고리즘, 방법 5는 M-Estimator using Least-Squares 알고리즘, 방법 6은 RANSAC 알고리즘, 방법 7은 Bookstein 알고리즘, 방법 8은 MLESAC 알고리즘, 방법 9는 M-Estimator using Least-Squares with eigen analysis 알고리즘, 그리고 방법 10은 본 발명의 실시예에 따라서 제안된 알고리즘을 나타낸다. 도 13 내지 도 15를 참조하면, 본 발명의 실시예에 따라서 제안한 방법이 기존의 다른 방법들에 비하여 거리 오차가 가장 적음을 알 수 있다.

보다 구체적으로, seven points 알고리즘은 사용된 7개의 대응점에 의해서 결과가 달라짐을 알 수 있다. Least-squares 알고리즘은 반대로 부정확한 위치의 점들은 총계에 의존적이다. 일반적으로 점들의 수를 늘려서 보통 좋은 결과를 얻을 수 있다. Eigen analysis 알고리즘은 전통적인 least-squares 방법보다 orthogonal least-squares를 이용하기 때문에 좀 더 좋은 결과를 얻을 수 있는 선형적인 방법이다. 이것은 도면에 도시된 결과를 통해서도 알 수 있다. 하지만 이러한 방법들은 랭크 3의 기본행렬을 가지며 에피폴라 기하학이 제대로 모델화되지 못함을 의미한다. M-estimator 알고리즘은 least-squares 알고리즘과 eigen analysis 알고리즘을 통해 초기값을 이용하였다. 이는 초기값을 위해 사용된 방법에 의존해서 결과가 달라질 수 있음을 알 수 있다. RANSAC 알고리즘은 M-estimator나 MLESAC 알고리즘 보다 좋지 못한 결과를 얻었다. 이는 RANSAC 알고리즘이 아웃라이어를 선택하는데 매우 관대하기 때문이다.

다음으로, 사영 행렬의 최적화를 위한 계산 알고리즘에 대해서 두 번째 성능 평가를 하였다. 본 실험에서는 사영행렬을 기본 행렬로부터 구한 뒤에, Levenberg-Marquart 알고리즘을 이용해서 회전축의 투영 오차를 최소화하는 방법으로 사영행렬을 최적화시킨다. 도 16 내지 도 21은 사영행렬로부터 계산된 카메라의 각도와 에러를 나타내고 있다. 그리고 도 22는 모든 프레임의 누적 회전 각도를 나타낸다.

도 23은 제안된 알고리즘에 의해서 선택된 키 프레임을 보여준다. 그리고 도 24는 모든 프레임의 카메라 위치를 나타낸다. 그리고 이러한 카메라 위치는 3차원 데이터의 정합을 위해 키 프레임을 선택하기 위한 파라미터로 이용된다. 본 실험에서는 첫 번째 입력 영상을 포함해서 연속된 360장의 이미지 중에서 6장의 이미지가 키 프레임으로 선택되었다.

표 1은 선택된 키 프레임의 카메라 파라미터를 나타내고 있다. 표 2는 최종적인 재구성 결과를 보여주고 있다. 제안된 방법이 기존의 Gibson 이나 Nister 방법보다 적은 영상을 통해서 전 방향 3차원 재구성을 구현할 수 있음을 알 수 있다. 또한 재구성된 3차원 점들과 역 투영 오차를 통해서도 정확한 재구성 결과를 알 수 있다.

이상, 본 발명의 실시예에서는 강건한 기본 행렬 추정과 사영행렬 정련 방법을 통해서 카메라 파라미터 추정 알고리즘을 제안했다. 또한 키 프레임 선택 알고리즘을 통해서 효과적인 전 방향 3차원 재구성 시스템을 구현하였다. 본 발명의 실시예에 따른 알고리즘은 2 단계로써, Potonovo 회전 영상 입력 시스템에서 취득한 영상에 대해서 카메라 내부 및 외부 파라미터를 추출하는 카메라 교정 단계와 에지에 기반을 둔 조밀한 3차원 재구성 단계로 구성되어 있다. 카메라 교정 단계에서는 제안한 기본행렬 추정 방법을 통해서 보다 정확한 카메라 정보를 얻을 수 있었다. 그리고 조밀한 3차원 과정을 위해서 일반적으로 가려짐 문제를 해결하기 위해 많은 영상을 사용해야 했지만, 본 발명의 실시예에서는 키 프레임 선택 방법을 통해서 보다 적은 수의 영상만을 가지고 전 방향 3차원 재구성을 구현하였다. 따라서 본 발명의 실시예에 따른 알고리즘은 적은 비용으로 3차원 재구성을 수행 할 수 있다.

이상에서 상세하게 설명한 본 발명의 실시예는 단지 본 발명의 기술 사상을 보여주기 위한 예시적인 것으로서, 상기 실시예에의 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안 된다. 본 발명의 보호 범위는 후술하는 본 발명의 특허청구범위에 의하여 특정된다.

도 1은 3차원 모델의 재구성 알고리즘을 보여 주는 블록도이다.

도 2는 본 발명의 일 실시예에 따른 3차원 모델의 재구성 절차를 보여 주는 흐름도이다.

도 3은 회전 운동에서의 에피폴라 기하를 보여 주는 도면이다.

도 4는 모든 대응하는 에피폴라 직선은 회전축에서 교차한다는 것을 보여 주는 도면이다.

도 5는 회전 운동을 하는 블록에 대한 에피폴라 기하를 보여 주는 도면이다.

도 6은 도 5의 에피폴라 기하에서 대응하는 두 개의 에피폴라 직선이 교차하는 지점을 작은 원으로 표시한 도면이다.

도 7은 도 6의 영상에서 아웃라이어를 제거한 후의 에피폴라 직선의 교차점을 작은 원으로 표시하여 보여 주는 도면이다.

도 8은 아웃 라이어가 제거된 실제 이미지 쌍에서 재계산된 에피폴라 라인들을 보여 주는 도면이다.

도 9는 대응하는 에피폴라 라인들의 교차점과 회전축과의 거리를 계산하는 과정을 설명하기 위한 도면이다.

도 10은 투영행렬을 최적화하는 과정을 설명하기 위한 도면이다.

도 11은 에지 이미지를 보여 주는 도면으로서, (a)는 bear, (b)는 dog2, (c)는 dog1에 대한 것이다.

도 12는 입력 영상의 일례를 보여 주는 것으로서, (a)는 dog1, (b)는 bear, (c)는 dog2에 대한 것이다.

도 13 내지 도 15는 각각 bear 영상, dog1 영상, 및 dog2 영상에 대하여 거리 오차에 대한 결과를 보여 주는 것으로서, '1'은 Seven Points 방법, '2'는 Least-squares 방법, '3'은 Least-squares with eigen analysis 방법, '4'는 Linear rank-2 constraint 방법(by Frageras), '5'는 M-estimator using Least-Squares 방법, '6'은 RANSAC 방법, '7'은 Bookstein 방법, '8'은 MLESAC 방법, '9'는 M-Estimator using Least-Squares with eigen analysis 방법, 및 '10'은 본 발명의 실시예에 따른 방법을 나타낸다.

도 16과 도 17은 각각 bear 영상에 대하여 사영행렬로부터 계산된 카메라의 각도와 에러를 보여 주는 그래프이다.

도 18과 도 19는 각각 dog1 영상에 대하여 사영행렬로부터 계산된 카메라의 각도와 에러를 보여 주는 그래프이다.

도 20과 도 21은 각각 dog2 영상에 대하여 사영행렬로부터 계산된 카메라의 각도와 에러를 보여 주는 그래프이다.

도 22는 총 회전 각도들의 합을 보여 주는 그래프이다.

도 23은 키 프레임의 선택 과정을 설명하기 위한 그래프로써, 붉은 색 라인이 선택되는 키 프레임을 나타낸다.

도 24는 모든 프레임에 대한 카메라 위치를 보여 주는 도면이다.

도 25 및 도 26은 본 발명의 실시예에 따른 bear 영상의 재구성 결과 및 과정을 보여 주는 도면이다.

도 27 및 도 28은 본 발명의 실시예에 따른 dog2 영상의 재구성 결과 및 과정을 보여 주는 도면이다.

도 29 및 도 30은 본 발명의 실시예에 따른 dog1 영상의 재구성 결과 및 과정을 보여 주는 도면이다.

Claims (4)

1. 단일 축 회전 영상들을 이용하여 전 방향 3차원 모델을 재구성하기 위한 방법에 있어서,

   에피폴라 제약 조건을 이용하여, 상기 단일 축 회전 영상들 각각의 대응점들로부터 아웃라이어를 제거하고 남은 인라이어 대응점들을 이용하여 강건한 기본행렬을 추정하는 단계;

   상기 강건한 기본행렬을 이용하여 카메라 교정 절차를 수행하는 단계;

   상기 단일 축 회전 영상들 사이의 대응점 비율 정보, 상기 단일 축 회전 영상들 각각의 에피폴라 에러, 및 상기 단일 축 회전 영상들 각각에 대한 카메라 위치 정확도 중에서 적어도 하나의 정보를 이용하여, 상기 단일 축 회전 영상들 중에서 키 프레임을 선택하는 단계; 및

   상기 키 프레임의 영상을 이용하여 전 방향 3차원 모델을 재구성하는 단계를 포함하는 단일 축 회전 영상들로부터의 전 방향 3차원 모델의 재구성 방법.
2. 제1항에 있어서, 상기 전 방향 3차원 모델의 재구성 방법은

   상기 단일 축 회전 영상들 각각에서 투영된 회전축과 영상 내 회전축과의 거리를 계산하여 사영행렬을 최적화하는 단계를 더 포함하고,

   상기 카메라 교정 단계에서는 상기 최적화된 사영행렬을 함께 이용하는 것을 특징으로 하는 전 방향 3차원 모델의 재구성 방법.
3. 삭제
4. 삭제

Images