KR100922273B1 - 영상 시퀀스로부터 선택된 중요 영상을 이용한 3차원모델의 재구성 방법 - Google Patents

Abstract

카메라 재투영 오차를 이용하여 영상 시퀀스에서 중요영상을 선택하고, 또한 선택된 중요영상만을 이용하여 3차원 모델을 재구성하기 위한 방법을 제공한다. 본 발명의 일 실시예에 의하면, 우선 일정한 개수의 영상 시퀀스에서 재투영 오차가 최소가 되는 영상을 중요영상으로 선택함으로써, 재구성된 3차원 모델의 오차를 최소화한다. 그리고 카메라 전자동 교정 과정을 통하여 선택된 중요영상들 각각의 투영행렬을 추정한다. 그리고 추정된 투영행렬로부터 대수학적 유도를 이용하여 기본행렬을 구하고, 기본행렬을 이용한 에피폴라 제약조건을 적용하여 잘못된 대응점들을 제거한 다음, 남은 대응점들만을 가지고 정확한 3차원 모델을 재구성한다. 이러한 본 발명의 실시예에 의하면, 기존의 다른 알고리즘에 비하여 짧은 시간으로 중요영상을 선택하는 알고리즘을 수행할 수가 있으며, 또한 재구성된 3차원 데이터의 오차가 가장 작다. 그리고 중요영상의 투영행렬로부터 대수학적으로 유도된 기본행렬은 다른 알고리즘에 비하여 매우 짧은 시간이 소요되지만, 평균 오차는 기존의 방법과 비슷하다.

Description

영상 시퀀스로부터 선택된 중요 영상을 이용한 3차원 모델의 재구성 방법{Mechanism for reconstructing a 3D model using key-frames selected from image sequences}

본 발명은 전 방향 3차원 모델의 재구성에 관한 것으로, 보다 구체적으로 영상 시퀀스로부터 최적의 중요 영상을 선택하고 또한 선택된 중요 영상을 이용하여 효율적으로 3차원 모델을 재구성하기 위한 절차에 관한 것이다.

최근에 그래픽 렌더링, 디지털 도서관, 그리고 가상 환경 등과 같이 사실적인 3차원 모델을 이용한 어플리케이션이 주목을 받고 있다. 그 결과, 한 대 또는 여러 대의 카메라로부터 취득된 영상 시퀀스를 이용하여 기하학적인 3차원 모델을 재구성하는 메커니즘에 관한 관심도 지속적으로 증가하고 있는 추세이다. 특히, 최근 데스크톱 컴퓨터 또는 웹브라우저 상에서 3차원 그래픽 기술이 괄목하게 증가함에 따라서, 값비싼 CAD(Computer Aided Design) 등과 같은 장치를 사용하지 않고서도 현실감 있는 3차원 모델을 생성하기 위한 연구가 많이 진행되어 오고 있다.

3차원 모델을 생성하기 위한 기술 중의 하나로써, 취득한 사진을 이용하여 3차원 모델을 재구성하는 합성 영상 기술도 꾸준하게 발전되어 왔다. 현재까지 개발된 3차원 모델링 기술(프로그램)은 Maya, Softimage, 3D Studio MAX 등이 있다. 이들 3차원 모델링 기술은 값비싼 프로그램의 도움 없이도 일정한 수준의 3차원 모델을 재구성하는 것이 가능하도록 하였지만, 3차원 모델의 복잡성이 증가할 경우에는 재구성된 3차원 모델의 현실감이나 품질이 다소 떨어지는 단점이 있다.

3차원 모델을 재구성하는 기술에 있어서 최근의 경향은 실체 물체에 대한 하나 이상의 사진들(영상 시퀀스)로부터 상기 물체에 대한 정확한 정보를 획득하여 3차원 모델을 재구성하는 것이다. 이러한 새로운 기술은 영상 기반 모델링(Image Base Modeling, IBM)이라고 불리는데, 일반적으로 실제 사진 영상을 이용한 모델링 기법이다. 이러한 기술의 가장 큰 장점은 실제 세계로부터 취득한 물체에 대한 텍스쳐 정보를 이용하여 보다 실제에 가까운 3차원 모델을 만들어 낼 수 있다는 것이다. 이러한 물체 또는 장면에 대한 3차원 모델의 재구성 기술은 문화재의 복원, 인터넷 쇼핑몰, 영화의 특수효과 등 증강현실 시스템이나 가상현실 시스템에서 활용이 가능하다.

하나 또는 그 이상의 카메라로부터 획득한 영상(사진)을 이용하여 3차원 모델을 재구성해내기 위한 필수적인 과정 중의 하나는 카메라 교정(camera calibration)이다. 카메라 교정 과정 중에서 하나는 자동 교정(self-calibration) 방법으로서, 카메라에서 획득한 실제 모델에 대한 자체 영상을 이용하는 것으로서 획득한 장면에 대한 선지식이나 실제 모델에 대한 제약 조건이 없다. 이 방법은 카 메라 이외의 다른 장비를 사용하지 않으며 취득한 영상만을 이용하는 시각 기반(vision-based) 방법으로, 카메라 교정 후에는 영상 시퀀스(예컨대, 단일 축 회전 영상들)만을 이용하여 각 영상의 투영행렬(Projection Matrix)과 대응점을 추정하여 3차원 모델을 재구성한다. 반면, 카메라 교정 장비, 3차원 위치 센서 및 패턴 정보 등을 이용하는 방법도 있는데, 이 방법은 카메라 교정을 위한 고가의 장비를 필요로 하며, 제한된 취득 환경이 필요한 단점이 있다.

영상 기반 모델링에 있어서 획득한 영상 시퀀스 전부를 이용하여 카메라 교정 및 3차원 모델 재구성을 수행하는 것은 효율적이지 못하다. 왜냐하면, 영상 시퀀스 전부를 이용하는 경우에는 일단 계산량이 많아서 처리 시간이 오래 소요될 뿐만 아니라 각 영상에 포함되어 있는 잡음 등으로 인하여 오히려 정확한 3차원 모델의 재구성에 방해가 될 수 있기 때문이다. 따라서 이러한 문제를 해결하기 위한 한 가지 방법으로 영상 시퀀스 중에서 중요영상(Key-Frame)을 선택한 다음, 선택된 중요영상만을 이용하여 3차원 모델을 재구성하는 방법이 제안되었다. 이에 의하면, 중요 영상의 선택 과정은 다수의 비교정된 영상 시퀀스로부터 3차원 모델을 재구성하거나 또는 증강 현실을 구현하는데 있어서 필수적인 과정이다.

중요영상의 선택을 위해, 다음과 같은 알고리즘이 제안되었다. 예를 들어, S. Gibson 등은 "Accurate Camera Calibration for Off-line, Video-Based Augmented Reality"(IEEE ACM ISMAR, pp. 37-46, 2002)에서 기본행렬(Fundamental Matrix)과 투영평면 호모그래피(2D Projective Transform Matrix)를 계산하여 오차값에 따라 중용을 선택하는 알고리즘을 제안하였다. 그러나 Gibson 등이 제안한 방 법은 정확한 대응점을 추출하기 위하여 많은 계산량이 필요한 단점이 있다. 또한, 기본행렬은 잡음에 민감하므로, 이 방법에 의하여 정확한 값을 추정하기 위하여 계산을 반복적으로 수행하여 처리 시간이 오래 걸린다. 그리고 M. Pollefeys 등은 "3D Models from Extended Uncalibrated Video Sequences: Addressing Key-frame Selection and Projective Drift"(3DDIM, June 2005)에서 카메라 자동 교정을 위하여 중요영상에 다른 제2 중용영상을 추가하여 선택하는 알고리즘을 제안하였는데, 이에 의하면 자동 교정을 위하여 3개의 중요영상에 대한 기하학 정보를 이용한다. 하지만, 이 방법에 의하면 선택된 중요영상의 수가 3개로 증가할 뿐만 아니라 그에 따라서 계산량도 많아지는 단점이 있다. 또한, D. Neister는 "Frame Decimation for Structure and Motion"(In Proc, SMILE, Dublin, Ireland, July 2000)에서 영상의 첨예도를 이용하여 효율적인 영상을 선택하는 알고리즘을 제안하였다. 그러나 이 알고리즘에 의하며, 첨예도의 본질적인 특성상 영상의 화질이 좋을 경우에 불필요하게 많은 영상이 중요영상으로 선택되는 단점이 있고, 그 결과 불필요한 연산을 초래할 수가 있다.

한편, 3차원 모델의 재구성 알고리즘에 있어서, 기본행렬 추정은 에피폴라 기하학 정보를 계산하는 유일한 방법이다. 기본행렬은 연속된 영상들 간의 대수적 관계를 나타낸다. 기본행렬을 구하기 위해서는 최소한 두 장 영상에서 서로 대응하는 점들을 알아야 할 필요가 있다. 이러한 영상들 간의 대응점을 이용하여 기본행렬을 구하기 위한 방법들이 종래부터 많이 연구되어 왔다. 기본행렬을 구하는 방법은 크게 두 가지로 분류할 수 있는데, 첫 번째 방법은 선형적인 방법들(7-points, 8-points, linear rank-2 constraint 등)이다. 이러한 방법들은 대응점 문제들이 선형적으로 해결될 수 있는 경우에는 우수한 성능을 얻을 수가 있다. 그러나 대응점 문제들은 선형적으로 해결되지 않는 것이 일반적이기 때문에, 전술한 첫 번째 방법은 일반적인 활용 분야에는 적합하지 않다.

두 번째 방법은 M-평가법(M-Estimators), LMedS(least median of square), RANSAC(random sample consensus) 등과 같은 비선형 방법들로써, 첫 번째 방법에 비하여 강건한 방법들이라고 할 수 있다. 이 중에서 M-평가법은 일치점의 오차에 가중치 함수를 적용함으로써, 큰 잡음에 의한 아웃라이어(outlier)의 영향을 줄일 수가 있다. 그리고 토르(Torr) 와 뮤레이(Murray)에 의해서 제안된 RANSAC 방법은 단순하면서 성공적인 강건한 추정 방법이다. RANSAC 방법에 의하면, 기본행렬을 추정하기 위해 최소 일치점 집합을 전체 일치점에서 임의로 추출하여 초기값을 구하고 나머지 일치점들에 대해서 오차를 계산하여, 계산된 오차가 임계값보다 높으면 해당 대응점은 아웃라이어로 결정하지만, 임계값보다 낮은 경우에는 해당 대응점을 인라이어(inlier)로 결정한다. 위의 과정을 반복해서 인라이어 집합을 구한 다음, 이를 이용해서 일치점의 수가 가장 많은 경우를 선택하여 그 집합으로 기본행렬을 다시 계산한다. 그리고 LMedS, MLESAC, MAPSAC 등의 방법은 RANSAC 방법을 기초로 하여 잡음에 강건하고 아웃라이어들을 효과적으로 제거하는 방법들이다. 그러나 이러한 방법들의 가장 중요한 제약 조건은 임의로 선택되는 일치점들 때문에 수행 할 때마다 다른 인라이어 집합들이 선택되며 따라서 얻어지는 결과도 선택되는 인라이어의 집합에 의해서 영향을 많이 받게 된다는 사실이다.

본 발명이 해결하려고 하는 과제는 3차원 모델의 재구성 시에 가능한 실제 물체와 재투영 영상 간에 발생하는 오차를 최소화할 수 있도록 중요영상을 선택할 수 있으며 또한 선택된 중요영상을 이용하여 효율적이고 정확하게 3차원 모델을 재구성할 수 있는 3차원 모델의 재구성 절차를 제공하는 것이다.

본 발명에서 새롭게 제안하는 3차원 모델의 재구성 방법은 크게 3개의 과정으로 나눠진다.

첫 번째 과정은 중요영상의 선택 과정이다. 본 발명의 실시예에 따른 중요영상의 선택 과정에서는 프로젝티브 복원(Projective Reconstruction)의 재투영 오차(Re-projection Errors)를 사용하여 영상 시퀀스 중에서 상기 재투영 오차가 작은 영상을 중요영상으로 선택한다. 즉, 연속적으로 입력되는 소정의 개수의 영상들 중에서 최소의 재투영 오차를 가지는 영상을 중요영상을 선택한다. 이와 같은 방법으로 중요영상을 선택하는 것은 계산량이 적어서 처리 속도가 빠를 뿐만 아니라, 3차원 모델의 재구성시에 재구성 오차를 최대한 줄여서 최적의 3차원 모델을 복원하는 것이 가능하다.

그리고 두 번째 과정에서는 선택된 중요영상들만을 이용하여 카메라 투영행 렬을 구한 다음 이를 이용하여 기본행렬을 구한다. 보다 구체적으로, 우선 선택된 중요영상들에 대하여 프로젝티브 복원과 메트릭 호모그래피(Metric Homography)를 계산하기 위한 선행 자동교정(Pre-auto Calibration)을 수행한다. 그리고 선택된 중요영상들 사이의 전자동 교정(Full Auto Calibration)을 통하여 카메라 투영행렬을 추정하며, 계속해서 추정된 투영행렬을 이용한 대수학적 유도를 통해 기본행렬을 구한다.

그리고 마지막 과정에서는 기본행렬을 이용하여 부정확한 대응점들을 제거한 다음에, 최종적으로 부정확한 대응점들이 제거된 영상의 에지(Edge)로부터 최소의 오차를 갖는 조밀한 대응점을 추출하여 3차원 모델을 재구성한다. 부정확한 대응점을 제거하면, 재구성된 3차원 모델의 정확성과 정밀도를 향상시킬 수가 있을 뿐만 아니라 재구성 모델의 형성을 위한 계산의 복잡도를 감소시킬 수가 있다.

상기한 해결 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 시퀀스로부터 3차원 모델을 재구성하기 위한 방법은 상기 영상 시퀀스의 일부는 k(k는 1이상의 정수)번째 중요영상과 상기 k번째 중요영상에 이어지는 다수의 비교영상들을 포함하고, 그리고 상기 k번째 중요영상에 대한 특징점 대비 상기 비교영상들 각각의 대응점의 비율과 함께, 상기 비교영상들 각각의 재투영 오차를 이용하여 상기 비교영상들 중에서 (k+1)번째 중요영상을 선택하는 단계, 상기 영상 시퀀스 전부에서 선택된 중요영상들을 이용하여 카메라 전 자동 교정 절차를 수행하여 상기 중요영상들 각각의 투영행렬을 구하는 단계, 서로 인접한 상기 중요영상의 상기 투영행렬을 이용하여 기본행렬을 구하는 단계, 및 상기 기본행렬을 이용한 에피폴라 제약 조건을 이용하여 상기 중요영상들 각각의 에지들에서 잡음을 제거하고, 잡음이 제거된 에지들을 이용하여 3차원 모델을 재구성하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 k가 1인 중요영상은 상기 영상 시퀀스의 첫 번째 영상일 수 있다. 그리고 상기 영상 시퀀스의 일부는 상기 k번째 중요영상부터 상기 비율이 제1 임계치보다 작은 영상이 처음으로 발생하는 비교영상까지의 상기 영상 시퀀스의 영상들을 포함하고, 또한 상기 (k+1)번째 중요영상은 상기 영상 시퀀스의 일부 중에서 재투영 오차가 최소가 되는 비교영상일 수 있다. 이 경우에, 상기 (k+1)번째 중요영상은 상기 비율이 제2 임계치 이하가 되는 비교영상들 중에서 선택되며, 상기 제2 임계치는 상기 제1 임계치보다 작을 수 있다. 상기 재투영 오차(R.E.)는 하기 수학식 (E-1)을 이용하여 구할 수 있다.

(E-1)

여기서, Pⁱ는 프로젝티브 투영행렬, X_j는 3차원 공간상의 임의의 점, xⁱ _j는 X_j에 대응되는 프로젝티브 좌표계의 한 점을 나타낸다.

상기 실시예의 다른 측면에 의하면, 상기 투영행렬로부터 대수학적 유도를 통해 상기 기본행렬을 계산할 수 있다.

본 발명의 실시예에 의하면, 중요영상을 선택하는 과정에서 재투영 오차를 이용하기 때문에 계산량이 적어서 처리 속도를 향상시킬 수가 있으며, 또한 재투영 오차가 적은 영상을 중요영상으로 선택하기 때문에 정확한 3차원 모델의 재구성이 가능하다. 아울러, 카메라 투영행렬로부터 대수학적 유도를 통하여 기본행렬을 추정하기 때문에, 종래의 방법과 비교하여 평균 오차 수준을 유지하면서도 한층 처리 속도를 향상시킬 수가 있다.

이하, 첨부 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따라서 입력영상(Input Images)인 영상 시퀀스(Sequence Images)로부터 중요영상을 선택하고, 선택된 중요영상을 이용하여 3차원 모델을 재구성하는 절차를 개략적으로 보여 주는 흐름도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 3차원 모델의 재구성 절차는 중요영상의 선택 과정(Key Frame Selection, S100), 완전 자동 교정 과정(Full Auto Calibration, S200), 및 3차원 모델의 재구성 과정(3D Dense Reconstruction, S300)을 포함한다. 도 1에 도시된 각 과정의 세부적인 내용은 본 발명의 실시예를 간략하게 도시한 것으로서, 이하 각 과정에 대한 상세한 설명은 다른 첨부 도면을 함께 참조하여 후술하기로 한다.

본 발명의 실시예에 의하면, 영상 시퀀스를 획득하는 방법에는 아무런 제한이 없다. 예를 들어, 영상 시퀀스는 단일 축 회전 영상으로서 자체 제작한 포토노보(Photonovo) 영상 취득 시스템을 이용하여 획득한 연속된 회전 움직임 영상일 수 있다. 포토노보 영상 취득 시스템은 디지털 카메라와 모터로 움직이는 회전판, 그 리고 개인용 컴퓨터(PC)를 포함하고 있으며, 영상들은 각기 다른 각도에서 1도씩 회전하며 취득할 수 있다. 하지만, 본 발명의 실시예가 이러한 포토노보 영상 취득 시스템을 이용하여 획득한 영상에 한정되는 것은 아니며, 다른 회전 움직임 영상 취득 시스템으로 획득한 영상이나 또는 동일한 포토노브 영상 취득 시스템이라고 하더라도 영상 취득 간격을 달리하여 획득한 영상에도 동일하게 적용될 수 있다. 또는, 영상 시퀀스는 단일 축 회전 영상이 아니라 같은 방향에 소정의 간격으로 배치된 복수 개의 카메라를 이용하여 획득한 영상 시퀀스일 수도 있다.

도 2는 본 발명의 일 실시예에 따른 중요영상 선택 알고리즘의 일례를 보여 주는 흐름도이다.

도 2를 참조하면, 우선 카메라를 이용하여 획득한 영상 시퀀스에 포함되는 두 영상(이 중에서 하나는 반드시 중요영상이며, 이하에서는 다른 하나의 영상은 '비교영상'이라고 한다) 사이에서 대응점(Correspondence)을 추출(Extraction)한다(S101). 보다 구체적으로, 중요영상에서는 특징점을 추출하고, 비교영상에서는 상기 특징점에 대응되는 대응점을 추출한다. 본 발명의 실시예에 의하면, 우선 입력되는 첫 번째 영상(중요영상)과 두 번째 영상(비교영상)에 대하여, 도 2에 도시된 중요영상 선택 알고리즘에 따라서 S101 이후의 절차를 진행한다. 만일, 단계 S102에서 특징점 대비 대응점의 개수 비율(R_c)이 소정의 임계치 이상인 것으로 판정되면, 첫 번째 영상(중요영상)과 세 번째 영상(비교영상)에 대하여 다시 단계 S101부터 순차적으로 도 2의 절차를 진행한다. 본 발명의 실시예에 의하면, 단계 S101 에서 대응점을 추출하는 구체적인 방법에는 아무런 제한이 없다.

그리고 본 발명의 실시예에 의하면, 도 2에 도시된 단계 S101의 절차에서 하나의 영상은 반드시 중요영상이어야 한다. 따라서 본 발명의 실시예에 의하면, 첫 번째 영상은 항상 중요영상으로 선택된다. 그리고 단계 S101 이하의 절차를 수행함으로써, 입력되는 영상 시퀀스(다수의 비교영상들)에서 첫 번째 영상 다음으로 중요영상이 될 영상, 즉 두 번째 중요영상을 선택한다. 그리고 이후에는 두 번째 중요영상을 이용하여 후술하는 실시예와 동일한 절차를 따라서 세 번째 중요영상을 선택하는 과정을 진행한다.

계속해서 도 2를 참조하면, 추출된 특징점 대비 대응점의 개수 비율(R_c)을 계산하여 이 값이 소정의 임계치(Threshold)보다 작은지를 판단한다(S102). 여기서, 특징점 대비 대응점의 개수 비율(R_c)이란 첫 번째 영상(중요영상)의 특징점의 개수에 대한 두 번째 영상(비교영상) 또는 후속되는 다른 비교영상의 대응점의 개수의 비율을 가리킨다. 대응점의 개수 비율(R_c)을 구할 때에는 항상 직전의 중요영상의 특징점과 상기 중요영상의 후속 영상(비교영상)과의 대응점의 개수 비율이 계산된다. 그리고 상기 임계치는 1보다 작은 소정의 값으로 결정될 수 있는데, 3차원 모델 재구성의 효율성, 선택하고자 하는 중요영상의 개수, 및/또는 프로세서의 처리 속도 등을 고려하여 적절한 값으로 선택될 수 있다.

일반적으로, 두 영상(중요영상과 비교영상) 사이에서 특징점 대비 대응점의 개수 비율이 1에 가까우면, 상기 두 영상은 아주 근접하여 위치하는 영상이라는 것 을 가리킨다. 반대로, 특징점 대비 대응점의 비율이 너무 낮으면, 두 영상은 서로 관련이 없는 영상인 것이 일반적이다. 따라서 본 발명의 실시예에서는 직전의 중요영상에 대한 대응점의 개수의 비율이 소정의 임계치 이하가 되는 경우에 단계 S103이하가 진행되도록 함으로써, 직전의 중요영상과 관련성이 너무 많은 영상이 다음의 중요영상으로 선택되는 것을 방지한다. 그리고 본 발명의 실시예에 의하면, 후술하는 바와 같이 상기 특징점 대비 대비점의 비율이 일정한 값(예컨대, 0.9) 이하인 영상만이 중요영상으로 선택되도록 함으로써, 영상 시퀀스에서 선택되는 중요영상 사이의 간격이 일정한 거리 이상을 유지하도록 할 수 있다. 그리고 이를 통하여 하나의 영상 시퀀스에서는 가능한 범위에서 적은 개수의 영상만을 중요영상으로 선택되도록 함으로써, 후속 절차(카메라 교정 절차 등)에서의 계산을 최소화할 수 있다.

계속해서, 단계 S102에서의 판단 결과 특징점 대비 대응점의 개수 비율(R_c)이 소정의 임계치 이상이 되면, 중요영상(첫 번째 프레임)과 다음 프레임(예컨대, 세 번째 프레임)의 영상을 이용하여 단계 S101 이하의 절차를 반복하여 수행한다. 반면, 단계 S102에서의 판단 결과, 대응점의 개수 비율(R_c)이 소정의 임계치보다 작으면, 단계 S103 이하에서 재투영 오차를 계산하기 위한 절차를 수행한다.

특징점 대비 대응점의 개수 비율(R_c)이 소정의 임계치보다 작은 경우에, 다음으로 해당 비교영상까지의 영상 시퀀스를 이용하여 상기 프로젝티브 공간상에서 3차원 재구성을 수행한다(S103). 획득한 2차원 평면 영상(비교영상)으로부터 3차원 모델을 재구성하는 데는 소정의 투영행렬이 이용될 수 있다. 그리고 재구성된 3차원 모델들을 이용하여 각 영상에 대한 재투영 오차(Re-projective Errors, RE)를 구한다(S104). 재투영 오차는 재구성된 3차원 모델(대응점들)과 중요영상으로부터 재구성된 3차원 모델 사이의 좌표 차이일 수 있다. 단계 S103과 단계 S104는 단계 S102의 조건을 만족하는 비교영상 이전의 영상들에 대하여 순차적으로 수행될 수 있다.

계속해서, 단계 S102를 만족한 다수의 비교영상들 각각의 재투영 오차 중에서 그 값이 최소가 되는 영상을 찾아서(S105), 해당 비교영상을 두 번째 중요영상으로 선택한다(S106). 이 경우에, 재투영 오차가 작은 비교영상들 중에서 전술한 특징점 대비 대비점의 비율이 일정한 값(0.9) 이하가 되는 비교영상만을 중요영상으로 선택할 수도 있다.

계속해서 단계 S102를 만족하는 비교영상이 입력된 영상 시퀀스 중에서 마지막 프레임인지를 판단한다(S107). 판단 결과, 마지막 프레임까지 수행되지 않았으면, 단계 S108에서와 같이 다음 프레임을 이용하여 단계 S101 이하의 절차를 다시 반복하여 수행한다. 이 경우에, 새로 시작하는 단계 S101 이하의 절차에서는 단계 S106에서 선택된 중요영상을 기준으로 S102 내지 S104의 절차를 수행한다. 그리고 단계 S107에서의 판단 결과, 마지막 프레임까지 중요영상 선택 과정을 수행하였으면, 본 실시예에 따른 중요영상의 선택 알고리즘은 종료한다.

이러한 중요영상의 선택알고리즘을 수행한 결과, 입력되는 영상 시퀀스 중에서 소정 개수(예컨대, M개)의 영상들이 중요영상으로 선택된다. 이하, 이러한 중요 영상의 선택 알고리즘에 대하여 부연하여 설명한다.

중요영상의 선택 알고리즘

비교정 영상에서 3차원 재구성을 위해 특징점 추출, 카메라 교정기술 등을 이용한 완전 자동화 시스템의 구축에 많은 관심을 갖게 되었다. 이러한 자동화 시스템을 위해서는 부가적인 기술 중에 하나가 중요영상의 선택 절차이다. 중요영상은 시차(disparity)를 계산하기 위한 충분한 베이스라인(baseline)을 가져야 하며, 영상의 수가 많은 시퀀스 영상에서 적은 영상으로 많은 계산량을 필요로 하는 카메라의 움직임 분석 및 3차원 복원을 가능하게 해야 한다. 또한, 영상 간에 중복되는 대응점들을 포함하면서 가능한 적은 수의 영상을 선택하며, 전체 카메라의 움직임 및 카메라 파라미터 추정 시 생기는 오차를 최소화해야 한다.

프로젝티브 공간(projective space) 상에서 3차원 공간상의 한 점 X _i = (X _i , Y _i , Z _i ) ^T 와 그에 대응되는 2차원 카메라 영상 평면 좌표계의 한 점 x_i가 주어졌을 때, 이 두 점들과의 관계는 3×4 프로젝티브 투영행렬에 의해 x_i = P^j X _i 를 만족하게 된다. 프로젝티브 투영행렬(Projective Projection Matrix)과 프로젝티브 복원은 팩토리제이션(factorization) 방법을 이용하여 수학식 1로부터 얻어진다.

카메라 투영행렬을 이용하여 3차원 재구성을 하는 경우, 재구성된 3D 데이터의 정확도는 얻어진 투영행렬의 정확도에 따라 달라진다. 본 발명의 실시예에서는 정확한 카메라 투영행렬을 가지는 영상만을 선택하기 위한 방법으로, 프로젝티브 공간상에서 각 영상의 카메라 투영행렬을 계산한 후, 가장 작은 재투영 오차를 갖는 영상을 중요영상으로 선택한다. 재투영 오차는 수학식 2를 이용하여 구할 수 있다.

이러한 본 발명의 일 실시예에 의하면, 먼저 영상 시퀀스의 첫 번째 영상을 중요영상으로 선택한다. 그리고 첫 번째 중요영상의 특징점을 추출하여 다음 영상과의 대응점을 찾고, 특징점 대비 대응점의 비율(R_c)을 계산하여, 이 값이 문턱치보다 크면 다음 영상에서 다시 대응점을 찾는다. 반면, R_c가 문턱치 이하가 되면, 첫 번째 중요영상에서 현재 영상까지 프로젝티브 복원한다. 각각의 투영행렬로부터 재투영 오차를 계산하여 가장 작은 에러를 포함하며 또한 특징점 대비 대응점의 비율이 90% 이하인 영상을 중요영상으로 선택한다. 그리고 선택된 중요영상을 이용하여 연속된 입력 영상에 대하여 위의 과정을 반복적으로 수행하여 다른 중요영상을 선택한다.

도 3은 본 발명의 일 실시예에 따른 전자동 교정 과정을 보여 주는 흐름도이 다. 도 3을 참조하면, 본 발명의 실시예에 따른 전자동 교정 과정은 도 2를 참조하여 설명한 실시예에 따라서 선택된 M개의 중요영상들 중에서 우선 n(<M)개의 중요영상을 이용하여 카메라 교정 과정을 수행하는 예비 자동 교정(Pre-auto-calibration) 과정과 이러한 예비 자동 교정 과정을 통해 구한 정보(프로젝티브 투영 행렬 및 메트릭 호모그래피 등)를 이용하여 나머지 (M-n)개의 중요영상에 대하여 카메라 교정 과정을 수행하는 완전 자동 교정(Full-auto-calibration) 과정을 포함한다. 전 자동 교정의 수행 결과, 각 카메라(중요영상)에 대한 정확한 투영행렬을 구할 수 있다.

도 3을 참조하면, 우선 n개의 중요영상(첫 번째 중요영상부터 n번째 중요영상까지)에 대하여 대응점 추출을 수행한다(S201). 그리고 특징점과 추출된 대응점 사이의 비(R_c)가 소정의 임계치보다 작은 지를 판단한다(S202). 판단 결과, 특징점과 추출된 대응점 사이의 비(R_c)가 소정의 임계치 이상이 되면, 다음 프레임에 선정하여(S203), 다음 프레임에 대하여 단계 S201 및 S202를 반복한다.

반면, 단계 S202에서의 판단 결과, 특징점과 추출된 대응점 사이의 비(R_c)가 소정의 임계치보다 작으면, 예비 프로젝티브 재구성(Pre-Projective Reconstruction) 단계(S203)를 수행한 다음, 예비 프로젝티브 번들 조정(Pre-Projective Bundle Adjustment) 단계(S204) 및 예비 프로젝티브 구조(Pre-Projective Structure) 단계(S205)를 수행한다. 상기 단계 S203 내지 S205의 절차를 수행하는 방법에는 특별한 제한이 없으며, 이 분야의 통상적인 절차에 따라서 수행될 수 있다. 예를 들어, R. Hartley와 A. Zisserman에 의한 "Multiple View Geometry"(Cambridge Univ. Press, 2000), A.Heyden과 K. Astrom에 의한 "Euclidean reconstruction from image sequences with varying and unknown focal length and pricipal point"(In Proc. CVPR, pp. 438-443, 1997), 및/또는 B. Triggs, P. McLauchlan, R. Hartley와 A. Fitzgibbon에 의한 "Bundle Adjustment - a modern synthesis, In Vision algorithms : Theory and practice"(LNCS 1883, pp. 298-372, 2000)에 개시되어 있는 알고리즘이 이용될 수 있는데, 여기에만 한정되는 것은 아니다. 상기 단계 S203 내지 S205의 수행 결과, 프로젝티브 투영행렬(Projective Projection Matrix)을 얻을 수 있다.

계속해서, 예비 메트릭 재구성(Pre-Metric Reconstruction) 단계(S206)를 수행한 다음, 예비 메트릭 번들 조정(Pre-Metric Bundle Adjustment) 단계(S208)와 예비 메트릭 구조(Pre-Metric Structure) 단계(S208)를 수행한다. 이러한 단계 S206 내지 S208도 위에서 인용한 문헌들에 개시되어 있는 알고리즘이 이용될 수가 있다. 그리고 단계 S206 내지 S208의 수행 결과, 메트릭 호모그래피를 얻을 수가 있다.

계속해서 도 3을 참조하면, 예비 자동 교정 절차에서 이용되지 않은 나머지 중요영상들(즉, (n+1)번째 중요영상부터 M번째 중요영상까지)을 이용하여 전 자동 교정 절차를 수행한다. 이러한 전 자동 교정 절차에는 예비 자동 교정 절차에서 구한 프로젝티브 투영 행렬과 메트릭 호모그래피가 이용될 수 있다. 단계 S209는 이러한 전 자동 교정 과정의 일례를 보여 주는 것으로서, 본 실시예가 여기에만 한정 되는 것은 아니다.

본 발명의 실시예에 의하면, 이러한 예비 자동 교정 절차(S201 내지 S208)와 전 자동 교정 절차(S209)를 수행한 결과, 카메라 교정 절차가 완료된다. 이하, 이를 부연하여 보다 구체적으로 설명한다.

카메라 전 자동교정

<선행 자동 교정 또는 예비 자동 교정>

여기에서는 중요영상 선택 알고리즘에 의해 선택된 영상에 대한 카메라 자동교정하는 방법을 서술한다. 카메라 자동교정은 비교정된 다수의 영상을 이용하여 3차원 재구성을 하기 위한 필수적인 과정이다. 전술한 바와 같이, 도 3은 본 발명의 일 실시예에 따른 카메라 전자동 교정 과정을 보여 주는 흐름도이다.

프로젝티브 복원은 카메라 자동교정과정을 수행하면 메트릭 복원(Metric reconstruction)으로 변환된다. 카메라 자동교정은 대응점으로부터 팩토라이제이션(Factorization) 방법을 사용하여 프로젝티브 복원을 하고, 절대 2차 원추 곡면 추정(absolute quadric estimation)으로부터 메트릭 호모그래피(metric homography)를 구하여 메트릭 복원을 하게 된다(F. Deveranay, O. Faugeras, "From Projective to Euclidean reconstruction", IEEE conf. on CVPR, pp. 264-269, 1996 참조). 이 과정에서 n개의 영상에 대한 프로젝티브 투영행렬(Projective projection matrix)과 메트릭 호모그래피를 구한다. 이 부분을 선행자동교정이라고 정의한다.

3D 공간상의 한 점 X_j은 I번째 카메라 투영행렬 P_i ^m으로부터 각 영상에 x_j = P_i ^mX_j에 의해서 투영된다. 첨자 m은 메트릭 공간(metric space) 상에서의 투영행렬을 의미한다. 메트릭 투영행렬은 프로젝티브 복원으로부터 구한 프로젝티브 투영행렬과 4×4 메트릭 호모그래피 H에 의해 수학식 3과 같이 구할 수 있다.

<전자동 교정>

선행 자동 교정으로부터 n개의 중요영상에 대한 프로젝티브 투영행렬과 메트릭 호모그래피를 얻었다. 다음으로, 전체 중요영상에 대한 교정을 수행하기 위한 절차가 진행되는데, 이를 전 자동 교정이라고 한다. n번째 중요영상과 (n+1)번째 중요영상 사이의 대응점을 구하고, 선행 자동 교정 과정에서 구한 프로젝티브 구조(Projective Structure)와 메트릭 호모그래피를 이용하여 (n+1)번째 중요영상에 대한 메트릭 투영행렬을 계산한다. 최적화된 프로젝티브 복원과 메트릭 복원을 위해 두 번의 번들 조정법(Bundle Adjustment)을 수행한다. 이러한 과정을 통하여 계속되는 중요영상의 메트릭 투영행렬을 계산한다. 프레임이 진행될수록 대응점의 수가 줄어들게 되면 정해진 기준치 이하가 되면, 다시 프로젝티브 복원 후 위의 과정을 반복한다. 마지막 중요영상까지 수행되면, 전자동 교정 절차가 종료된다.

기본행렬의 추정

다음으로, 특징점 추출 및 기본행렬을 추정하는 방법에 대하여 설명한다. 일반적으로 에피폴라 제약조건(epipolar constraint)을 적용하여 대응점의 위치를 계산하거나 수정한다. 본 발명의 실시예에서는 기본행렬을 추정하기 위한 방법으로 대수학적 유도를 이용한다. 수학식 4에 표시되어 있는 두 식은 두 장의 교정된 영상(보다 정확하게는 이 영상들의 투영행렬)으로부터 기본행렬을 유도하는 방법이다.

여기서, K, K'은 카메라의 내부 파라미터(Intrinsic Parameter), R, t는 카메라의 외부 파라미터(Extrinsic Parameter), P⁺는 P의 의사역행렬(pseudo-inverse)을 의미한다. 본 발명의 실시예에 의하면, 이전 단계에서 구한 투영행렬을 이용하므로, 기본행렬을 계산하는데 시간이 줄어든다. 정확한 카메라 투영행렬을 얻었다면, 대수학적 유도를 통하여 매우 빠르게 정확한 기본행렬을 추정할 수 있다.

그리고 본 발명의 실시예에서는 장면 또는 물체의 특징을 잘 표현하는 모서리(edge)를 특징점으로 선택한다. 먼저 중요영상의 모서리를 추출하여 광학적 흐름(optical flow)을 이용하여 매칭한다. 위에서 구한 기본행렬을 이용하여 에피폴 라 제약조건을 적용한다. 이렇게 얻어진 대응점들을 점삼각화(Point triangulation) 방법을 이용하여 3차원 좌표를 얻는다.

실험 결과

이상에서 설명한 바와 같이, 본 발명의 실시예에서는 비교정된 다수의 영상으로부터 중요영상을 선택하고, 선택된 중요영상들에 대한 전자동 교정, 대수학적 유도를 통한 기본행렬 추정을 통하여 3차원 모델을 재구성한다.

1. 중요영상의 선택 알고리즘

도 4는 본 발명의 실시예를 실험하는데 사용된 영상들의 일부를 보여 주고 있다. 표 1은 본 발명의 실시예에 따른 중요영상 선택된 알고리즘에 따라서 선택된 영상의 수와 소요시간을 다른 알고리즘의 그것과 비교한 것이다. 표 1을 참조하면 알 수 있는 바와 같이, Gibson 방법은 다른 방법에 비해 상대적으로 적은 수의 영상이 선택되지만, 기본행렬을 이용하므로 잡음에 매우 민감하며, 또한 정확한 기본행렬을 추출하기 위해 반복적으로 연산을 수행하기 때문에, 많은 반복 수행에 의하여 소요 시간이 상당한 길다는 것을 알 수 있다. Nister 방법은 Gibson 방법에 비해 시간이 적게 소요되지만, 각 영상의 첨예도를 계산하므로, 영상의 크기에 민감하며 다른 방법에 비해 선택되는 중요영상의 수도 많다는 것을 알 수 있다. 패턴 박스와 곰-I 영상의 경우에는 영상의 첨예도가 매우 높은 영상이어서 거의 모든 영상이 선택되었다. 그러나 본 발명의 실시예에 따른 방법은 다른 방법에 비해 소요 시간이 상당히 짧다는 것을 알 수 있다.

도 5는 CG 박스 영상에 대하여, 선택된 중요영상의 영상(점선)과 특징점 대비 대응점의 비율(●) 및 각 영상의 재투영 오차(■)를 보여 주고 있다. 도 6은 곰-II 영상에 대한 결과이다. 도 5를 참조하면, 재투영 오차는 프레임이 진행될수록 줄었다가 늘어나는 것을 알 수 있는데, 이것은 충분한 베이스라인을 가져야 한다는 것을 보여 준다.

2. 기본행렬의 추정

다음으로 선택된 중요영상으로부터 대응점을 구하기 위한 기본행렬을 실험한 결과이다. 영상 교정과 기본행렬을 정확하게 추정하기 위해 패턴을 이용하여 취득한 영상을 도 7에서 보여준다.

도 7의 (e)와 (f)는 패턴 정보를 이용하여 각 영상의 투영행렬을 구하고, 대수학적 유도를 통하여 추정된 기본행렬에 대한 에피폴라 거리 오차(●)와 정규화된 8-점 알고리즘에 의해 계산된 기본행렬에 대한 에피폴라 거리 오차(▲)를 보여 준다. 정확한 투영행렬로부터 만들어진 기본행렬은 오차가 매우 작은 결과를 얻었다는 것을 알 수 있다.

도 8의 (a)와 (b)는 도 7의 영상을 각각 재구성하여 일부 재구성한 점들에 대한 에피폴라 거리 오차와 영상의 재투영 오차를 보여 준다. 정규화된 8-점 알고리즘에 의해 계산된 기본행렬의 평균 에피폴라 거리 오차는 1.26픽셀이며, 대수학적 유도에 의해 추정된 기본행렬의 평균 에피폴라 거리 오차는 1.04픽셀이고, 평균 재투영 오차는 0.51픽셀이다.

도 9는 패턴 박스 영상에 대한 기본행렬을 추정하는 방법을 여러 가지 알고리즘과 투영행렬로부터 대수학적 유도에 의한 방법과 비교한 실험이다. 도 9의 (a)는 대응점으로부터 기본행렬을 계산하는데 걸리는 시간을 보여주고 있으며, (b)는 여러 가지 방법에 의해 추정된 기본행렬의 평균 오차를 보여 준다.

3. 전자동 교정

도 10은 선택된 중요영상에 대한 전자동교정에 대해 특징점 대비 재구성된 대응점의 비율(▲)과 재구성된 3차원 데이터를 영상에 재투영한 오차값(◆)에 대한 실험결과를 보여준다. 영상의 에지(edge)를 이용하므로, 많은 특징점이 추출된다. 본 실험에서는 재투영 오차의 문턱치를 0.05픽셀로 설정하여 문턱치보다 큰 오차를 포함하는 대응점들에 대해서는 재구성을 하지 않았다. 도 10의 (a)는 패턴 박스에 대한 결과이며, 선행자동교정시에 발생한 평균 재투영 오차는 0.0398픽셀이며, 전자동교정시에 발생한 평균 재투영 오차는 0.0374픽셀이다. 도 10의 (b)는 곰-I 영상에 대한 실험 결과를 보여 주며, 평균 재투영 오차는 선행자동교정 시에 0.373픽셀, 전자동 교정 시에 0,0382픽셀이다. 프레임이 진행될수록, 재구성되는 대응점의 수는 줄어든다는 것을 알 수 있다.

표 2는 CG 영상과 곰-II 영상에 대하여, 각 방법에 의하여 선택된 중용영상으로부터 재구성된 3차원 데이터의 개수와 평균 재투영 오차를 보여 주고 있다. CG 영상의 경우에, 본 발명의 실시예에 따라서 제안된 방법이 영상의 수는 적지만 최소의 재투영 오차를 가지면서 많은 점들이 재구성되었다. 곰-II 영상의 경우에, Nister 방법은 13장 영상으로부터 불필요하게 많은 점들이 재구성되었으며, 실험 결과에서 보여주듯이 가장 큰 재투영 오차를 가진다. Gibson 방법의 경우에, 선택된 중요영상의 베이스라인이 너무 커서 재구성된 3D 데이터의 수가 다른 방법에 비해 상당히 줄었다. 특징점 추출 시 에지를 이용하였으므로, 많은 3D 데이터를 취득할 수 있다. 도 11과 도 12는 CG 영상과 곰-II 영상에 대한 3차원 재구성된 결과 영상이다.

이상에서 상세하게 설명한 바와 같이, 본 발명의 실시예에 의하면 다수의 비교정 영상으로부터 3차원 재구성을 위하여 최소의 재투영 오차를 갖는 영상을 선택하는 중요영상 선택 알고리즘, 중요영상들 사이의 카메라 전자동 교정, 카메라 투영행렬로부터 대수학적 유도를 통해 기본행렬을 추정하여 에피폴라 제약조건을 적용한다. 이러한 본 발명의 실시예에 의하면, 재구성된 3차원 데이터의 오차를 최소화하기 위한 방법으로서, 재투영 오차를 최소로 갖는 영상만을 선택한다. 또한 카메라 전자동 교정 과정을 통하여 대응점들이 사라지더라도 선택된 전체 중용영상에 대한 카메라 교정이 가능하다. 이러한 본 발명의 실시예에 의하면, 보다 정확하고 빠르게 3차원 모델을 복원하는 것이 가능하다.

이상에서 상세하게 설명한 본 발명의 실시예는 단지 본 발명의 기술 사상을 보여주기 위한 예시적인 것으로서, 상기 실시예에의 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안 된다. 본 발명의 보호 범위는 후술하는 본 발명의 특허청구범위에 의하여 특정된다.

도 1은 본 발명의 일 실시예에 따른 3차원 모델의 재구성 절차 전체를 보여 주는 흐름도이다.

도 2는 도 1의 흐름도에서 중요영상 선택 과정에 대한 일례를 보여 주는 흐름도이다.

도 3은 도 1의 흐름도에서 전 자동 교정 과정에 대한 일례를 보여 주는 흐름도이다.

도 4는 본 발명의 실시예의 효과를 실험하는데 사용된 테스트 영상 시퀀스의 일부를 보여 준다.

도 5는 테스트 영상 시퀀스 CG 영상에 대한 본 발명의 실시예의 실험 결과와 기존의 방법의 실험 결과를 비교해서 보여 주는 그래프이다.

도 6은 테스트 영상 시퀀스 곰(Bear)-II 영상에 대한 본 발명의 실시예의 실험 결과와 기존의 방법의 실험 결과를 비교해서 보여 주는 그래프이다.

도 7의 (a)-(d)는 본 발명의 실시예에 따른 기본행렬 추정 과정에 사용된 테스트 영상이고, 도 7의 (e) 및 (f)는 기존의 정규화된 8-점 알고리즘과 본 발명의 실시예에 이용된 대수학적 유도 알고리즘을 각각 이용한 경우의 에피폴라 에러를 보여 주는 그래프이다.

도 8은 기존의 정규화된 8-점 알고리즘과 본 발명의 실시예에 이용된 대수학적 유도 알고리즘을 각각 이용한 경우의, 에피폴라 거리 오차 및 재투영 오차를 보여 주는 그래프이다.

도 9는 기본행렬 추정 시간과 오차를 비교 실험한 결과를 보여 주는 도면이다.

도 10은 선택된 중요영상을 이용한 전 자동 교정 실험 결과를 보여 주는 그래프이다.

도 11은 테스트 영상 시퀀스 CG 영상에 대한 본 발명의 실시예를 이용하여 생성한 3차원 재구성 결과를 보여 주는 도면이다.

도 12는 테스트 영상 시퀀스 곰-II 영상에 대한 본 발명의 실시예를 이용하여 생성한 3차원 재구성 결과를 보여 주는 도면이다.

Claims (6)

1. 영상 시퀀스로부터 3차원 모델을 재구성하기 위한 방법에 있어서,

   상기 영상 시퀀스의 일부는 k(k는 1이상의 정수)번째 중요영상과 상기 k번째 중요영상에 이어지는 다수의 비교영상들을 포함하고, 그리고

   상기 k번째 중요영상에 대한 특징점 대비 상기 비교영상들 각각의 대응점의 비율과 함께, 상기 비교영상들 각각의 재투영 오차를 이용하여 상기 비교영상들 중에서 (k+1)번째 중요영상을 선택하는 단계;

   상기 영상 시퀀스 전부에서 선택된 중요영상들을 이용하여 카메라 전 자동 교정 절차를 수행하여 상기 중요영상들 각각의 투영행렬을 구하는 단계;

   서로 인접한 상기 중요영상의 상기 투영행렬을 이용하여 기본행렬을 구하는 단계; 및

   상기 기본행렬을 이용한 에피폴라 제약조건을 이용하여 상기 중요영상들 각각의 에지들에서 잡음을 제거하고, 잡음이 제거된 에지들을 이용하여 3차원 모델을 재구성하는 단계를 포함하는 3차원 모델의 재구성 방법.
2. 제1항에 있어서, 상기 k가 1인 중요영상은 상기 영상 시퀀스의 첫 번째 영상인 것을 특징으로 하는 3차원 모델의 재구성 방법.
3. 제1항에 있어서, 상기 영상 시퀀스의 일부는 상기 k번째 중요영상부터 상기 비율이 제1 임계치보다 작은 영상이 처음으로 발생하는 비교영상까지의 상기 영상 시퀀스의 영상들을 포함하고, 또한 상기 (k+1)번째 중요영상은 상기 영상 시퀀스의 일부 중에서 재투영 오차가 최소가 되는 비교영상인 것을 특징으로 하는 3차원 모델의 재구성 방법.
4. 제3항에 있어서, 상기 (k+1)번째 중요영상은 상기 비율이 제2 임계치 이하가 되는 비교영상들 중에서 선택되며, 상기 제2 임계치는 상기 제1 임계치보다 작은 것을 특징으로 하는 3차원 모델의 재구성 방법.
5. 제3항에 있어서, 상기 재투영 오차(R.E.)는 하기 수학식 (E-1)을 이용하여 구하는 것을 특징으로 하는 3차원 모델의 재구성 방법.

   

   (E-1)

   여기서, Pⁱ는 프로젝티브 투영행렬, X_j는 3차원 공간상의 임의의 점, xⁱ _j는 X_j에 대응되는 프로젝티브 좌표계의 한 점, d는 거리(distance)를 나타낸다.
6. 제1항에 있어서, 상기 투영행렬로부터 대수학적 유도를 통해 상기 기본행렬을 계산하는 것을 특징으로 하는 3차원 모델의 재구성 방법.

Images