KR20160049639A

KR20160049639A - 부분 선형화 기반의 3차원 영상 정합 방법

Info

Publication number: KR20160049639A
Application number: KR1020140147001A
Authority: KR
Inventors: 김영우; 김창원
Original assignee: 한국기계연구원
Priority date: 2014-10-28
Filing date: 2014-10-28
Publication date: 2016-05-10
Also published as: KR101673144B1

Abstract

3차원 영상정합방법은 복수의 카메라들로 대상물을 촬영하는 단계, 각 카메라에서 촬영된 영상으로부터 특징점을 추출하는 단계, 임의의 한 쌍의 카메라에서 촬영된 영상으로부터 상기 추출된 특징점들을 서로 매칭하는 단계, 서로 매칭된 각각의 특징점들까지의 거리 및 위치를 계측하는 단계, 메쉬(Mesh) 알고리즘으로 상기 대상물의 입체면소를 분할하는 단계, 및 상기 분할된 각각의 입체면소에 대하여 개별적으로 영상변환을 수행하는 단계를 포함한다.

Description

부분 선형화 기반의 3차원 영상 정합 방법{STEREOSCOPIC IMAGE REGISTRATION METHOD BASED ON A PARTIAL LINEAR METHOD}

본 발명은 3차원 영상 정합방법에 관한 것으로, 보다 구체적으로 복수의 카메라를 이용하여 입체영상을 취득하고 형상인식이 가능한 부분 선형화 기법을 이용한 3차원 영상 정합방법에 관한 것이다.

컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영한 경우, 영상은 서로 다른 좌표계에서 획득되며, 영상 정합(image registration)은 이와 같은 서로 다른 영상획득 장치 또는 복수의 영상획득 장치에서 획득된 영상을 변형하여 하나의 좌표계에 나타내는 처리기법을 의미한다.

상기 영상정합을 통해 복수의 2차원적 영상을 하나의 영상으로 복원하여 초고해상도 영상 복원, 특정 대상체의 물체의 변화 감지 및 추적 등을 수행할 수 있다.

한편, 스테레오 정합(stereoscopic registration)이란 특정 물체의 카메라와의 거리정보추출을 위한 것으로, 인간의 시각 체계가 서로 다른 위치에서 획득된 두 영상을 정합하여 거리정보를 얻는 것과 동일한 구조로 영상을 처리하는 기법을 의미한다.

이러한 영상정합 또는 스테레오 정합과 관련하여, 대한민국 특허출원 제10-2011-0121736호는 복수의 영상을 접합하는 방법으로 영상 접합을 위한 템플릿의 위치 및 크기를 가변적으로 설정하여 제1 영상 및 제2 영상의 접합 위치를 결정하여 접합하는 기술을 개시하고 있으며, 대한민국 특허출원 제10-2012-0126073호는 스테레오 영상을 획득하고 정합코스트를 계산하여 최적 경로를 추적하고 이를 바탕으로 제1 및 제2 깊이 영상들을 획득하여 영상을 정합하는 기술을 개시하고 있다.

이와 같이 다양한 방법의 영상정합기술이 개발되고는 있으나, 특히 입체 영상의 스테레오 정합의 경우 연산 속도가 늦어지고, 이에 따른 정밀한 영상의 획득이 어려운 문제가 있어 짧은 시간동안 매우 정확한 영상을 획득하는 기술에 대한 요구가 높은 상황이다.

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 높은 정밀도의 입체 영상을 획득할 수 있으며 상대적으로 짧은 시간동안에도 필요한 입체 영상의 획득이 가능한 부분 선형화 기반의 3차원 영상 정합 방법에 관한 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 복수의 카메라들로 대상물을 촬영하는 단계, 각 카메라에서 촬영된 영상으로부터 특징점을 추출하는 단계, 임의의 한 쌍의 카메라에서 촬영된 영상으로부터 상기 추출된 특징점들을 서로 매칭하는 단계, 서로 매칭된 각각의 특징점들까지의 거리 및 위치를 계측하는 단계, 메쉬(Mesh) 알고리즘으로 상기 대상물의 입체면소를 분할하는 단계, 및 상기 분할된 각각의 입체면소에 대하여 개별적으로 영상 변환을 수행하는 단계를 포함한다.

일 실시예에서, 상기 특징점들을 서로 매칭하는 단계는, SIFT(scale invariant feature transformation) 다점 대응 알고리즘을 사용하여, 분할된 각각의 입체 면소의 각 꼭지점의 위치정보와 입체면소의 기울기를 포함하는 입체면소의 기하학적 형상 정보와 각각의 입체면소에 대하여 개별적으로 영상 변환을 통하여 얻어지는 색감 정보를 동시에 구현할 수 있다.

일 실시예에서, 상기 대상물의 입체면소를 분할하는 단계는, 상기 대상물에 대하여 메쉬 알고리즘을 사용하여 삼각형을 만들고, 이와 같이 생성된 삼각형을 입체면소로 분할할 수 있다.

일 실시예에서, 상기 대상물에 대하여 메쉬 알고리즘을 사용하여 삼각형을 만드는 경우, 들로네(Delaunay) 삼각화 방법을 사용할 수 있다.

일 실시예에서, 상기 영상정합을 수행하는 단계는, 각각의 분할된 입체 면소에 대하여, 개별적으로 호모그래피(Homography) 알고리즘을 적용하여 2차원 영상을 조합하여 3차원 영상을 생성할 수 있다.

일 실시예에서, 상기 영상정합을 수행하는 단계에서, 각각의 분할된 입체 면소에 대하여, 개별적으로 기하학적 좌표계 변환 기법을 적용하여 2차원 영상을 조합하여 3차원 영상을 생성할 수 있다.

일 실시예에서, 상기 영상정합을 수행하는 단계는, 근접한 매칭점들로 삼각형을 정의하고 각 삼각형에 좌표값을 할당하는 단계, 동일한 위치에 해당하는 삼각형의 좌표값을 차례로 변환하는 단계, 및 정의된 모든 삼각형의 좌표값을 변환하여 영상정합을 완성하는 단계를 포함할 수 있다.

본 발명의 실시예들에 의하면, 특징점들을 서로 매칭하고 대상물의 입체면소를 분할한 후, 분할된 입체면소에 대하여 영상정합을 수행하므로, 영상정합의 속도는 상대적으로 지연될 수 있으나 최종적으로 획득되는 영상정합의 정밀도가 향상된다.

특히, 상기 특징점들의 개수 및 이에 따른 입체면소의 개수를 변화시켜 영상정합을 수행할 수 있어, 상대적으로 입체면소의 개수를 적게 하여 영상정합을 수행하는 경우 비교적 빠른 속도의 영상정합이 가능하며, 상대적으로 우수한 품질의 입체영상을 획득할 수 있다.

또한, 종래의 2차원 영상정합에 사용되는 호모그래피 알고리즘에 좌표계 변환기법을 사용하여, 3차원 영상정합에 적용함으로써, 부분 선형화를 통한 입체영상의 정합을 구현할 수 있다.

특히, 상기 부분 선형화를 통한 입체영상의 정합을 구현하기 위해, 근접한 매칭점들로 정의된 각각의 삼각형을 상기 좌표계 변환기법을 사용하여 순차적으로 변환하여 대상물의 매칭점들로 정의되는 모든 삼각형의 변환을 수행하므로, 영상정합을 통한 입체영상의 구현을 보다 정확하게 수행할 수 있어, 우수한 품질을 입체 영상이 획득된다.

이상과 같은 본 실시예에 의한 3차원 영상정합방법을 통해, 카메라의 개수가 많은 경우는 보다 정확한 입체 영상에 대한 정보획득이 가능하고, 카메라 개수가 적은 경우라도 획득된 영상정보로부터 이미지 스티칭(image stitching)이 가능하여 효과적인 입체 영상의 제공이 가능하다.

또한, 3차원 영상의 경우, 대개 복수의 카메라를 통해 촬영된 경우라도 해당 카메라에 의해 촬영된 영상정보만을 확인할 수 있었으나, 상기 영상정합방법을 통해, 입체 거리 정보도 획득되며 이와 동시에 부분 선형기반의 영상정합이 수행되므로, 대상물의 입체 영상정보가 획득되어, 카메라를 통해 촬영되지 않은 위치에서의 입체 영상에 관한 정보도 획득이 가능하게 된다.

도 1은 본 발명의 일 실시예에 의한 3차원 영상정합방법을 도시한 흐름도이다.
도 2는 도 1의 영상정합을 수행하는 단계를 도시한 흐름도이다.
도 3a 내지 도 3d는 도 1의 대상물 촬영 단계에서 촬영된 영상의 예를 나타낸 이미지들이다.
도 4는 도 1의 특징점 추출단계를 통해 대상물의 특징점 추출 결과의 예를 나타낸 이미지이다.
도 5는 도 1의 입체면소 분할단계를 통해 분할된 입체면소의 예를 나타낸 이미지이다.
도 6a 및 도 6b는 도 1의 영상정합단계에서, 근접한 매칭점들로 삼각형을 정의하고 좌표값을 할당한 예를 나타낸 이미지들이다.
도 7a 및 도 7b는 도 1의 영상정합단계에서, 제1 삼각형의 좌표값을 변환한 예를 나타낸 이미지들이다.
도 8은 도 1의 영상정합단계에서, 제1 삼각형의 좌표값 변환시 연산 방법을 나타낸 이미지이다.
도 9a 및 도 9b는 도 1의 영상정합단계에서, 제2 삼각형의 좌표값을 변환한 예를 나타낸 이미지들이다.
도 10은 도 1의 영상정합단계에서, 제2 삼각형의 좌표값 변환시 연산 방법을 나타낸 이미지이다.
도 11a 및 도 11b는 도 1의 영상정합단계에서, 제3 삼각형의 좌표값을 변환한 예를 나타낸 이미지들이다.
도 12는 도 1의 각 입체면소를 정합하여 Mesh화한 예를 나타낸 이미지이다.
도 13은 도 1의 영상정합단계를 통해 완성된 대상물의 3차원 영상의 예를 나타낸 이미지이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.

도 1, 및 도 3a 내지 도 3d를 참조하면, 우선, 본 실시예에 의한 3차원 영상정합방법에서는, 복수의 카메라들로 대상물을 촬영한다(단계 S10).

이 경우, 상기 카메라의 개수들은 제한이 없으며, 보다 정확한 입체영상의 획득을 위해서라면 많은 개수의 카메라를 사용하여 대상물의 촬영이 가능하나 후술되는 연산시간이 지연되어 입체 영상 획득의 시간이 많이 필요할 수 있다. 다만, 본 실시예에서는 상대적으로 적은 개수의 카메라들을 통해 촬영된 영상을 통해서도 후술되는 영상정합방법을 통해 입체 영상을 획득하면 카메라가 없는 위치에서의 대상물의 영상을 상대적으로 빠른 시간동안 획득할 수 있게 된다.

도 3a 내지 도 3d는 4대의 카메라들 통해 대상물(10)을 4개의 위치(예를 들어, 중앙(도 3a), 우측(도 3b), 좌측(도 3c) 및 정면(도 3d))에서 촬영한 이미지를 도시한 것이며, 이하, 상기 촬영된 4개의 이미지를 3차원 영상정합을 통해 정합하여 입체영상을 획득하는 방법을 상술한다.

도 1 및 도 4를 참조하면, 상기 복수의 카메라들 각각에서 촬영된 대상물(1)의 영상에서 특징점들을 추출한다(단계 S20).

즉, 도 3a 내지 도 3c의 세 개의 촬영 영상들 각각은 동일한 대상물(1)을 촬영한 것으로, 동일한 대상물(1)의 동일한 위치에 대응되는 점들을 추출하면, 각각의 추출된 특징점들은 상기 세 개의 촬영 영상들 각각에 표시되고, 이렇게 표시된 각각의 특징점들은 모두 동일한 위치를 나타내게 된다.

이 후, 임의의 한 쌍의 카메라에서 촬영된 영상으로부터 상기 추출된 특징점들을 서로 매칭한다(단계 S30).

즉, 도 4에 도시된 바와 같이, 도 3a의 영상과 도 3c의 영상을 한 쌍으로 추출된 특징점들을 파란색의 점들로 서로 매칭할 수 있으며, 도 3a의 영상과 도 3d의 영상을 한 쌍으로 추출된 특징점들을 녹색의 점들로 서로 매칭할 수 있으며, 도 3a의 영상과 도 3b의 영상을 한 쌍으로 추출된 특징점들을 빨간색의 점들로 서로 매칭할 수 있다.

이와 같이, 복수의 카메라들 중, 임의의 한 쌍의 카메라에서 촬영된 영상으로부터 상기 추출된 특징점들을 매칭하면, 상기 대상물(1)의 동일한 위치에 대하여 특징점들이 서로 매칭될 수 있으며, 이렇게 매칭된 특징점들은 도 4에 도시된 것과 같이 표시될 수 있다.

이 경우, 상기 특징점들을 서로 매칭하는 단계에서는, SIFT(scale invariant feature transformation) 다점 대응 알고리즘을 사용할 수 있다. 상기 SIFT 알고리즘이란 국소 특징의 대응점 탐색 알고리즘으로, scale, orientation, illumination에 관하여 로버스트한 특징점을 DoG(Difference of Gaussian)를 사용하여 추출하는 과정, 추출된 특징점에 대하여 scale과 DoG 좌표로 정의된 다차원 공간에서 구배방향 히스토그램을 사용하여 특징점을 기술하는 과정, 특징점 간의 거리를 사용하여 특징점들을 대응시키는 과정을 포함하며, 이에 관한 상세한 기술 내용은 M. Brown and D. Low, "Automatic panoramic image stitching using invariant features", IJVC, Vol. 74, No. 1, pp.59-73, 2007, 또는 D. Nister and H. Stewenius, "Scalable recognition with a vocabulary tree", IEEE Conference on Computer Vision and Pattern Recognition, Vol. 2, pages 2162168, 2006, 또는 Noah Snavely, Steven M. Seitz, Richard Szeliski, "Photo tourism: Exploring photo collections in 3D", ACM Transactions on Graphics (SIGGRAPH) Proceedings, Vol. 25, No. 3, pp.835-846, 2006 등에 상세히 설명되고 있다.

즉, 상기 SIFT 다점 대응 알고리즘을 통해서는, 분할된 각각의 입체 면소의 각 꼭지점의 위치정보와 입체면소의 기울기를 포함하는 입체면소의 기하학적 형상 정보와 각각의 입체면소에 대하여 개별적으로 영상 변환을 통해 얻어지는 색감 정보를 동시에 구현할 수 있다.

상기와 같이 특징점들을 서로 매칭한 이후, 상기 매칭된 특징점들의 번호를 생성하며, 이 때 번호는 다양한 방법으로 생성할 수 있으나, 이하에서는 P1, P2, P3, ... 등의 번호로 각각의 특징점들의 번호를 할당한다.

이 후, 도 1을 참조하면, 상기 할당된 각각의 특징점들에 대하여 각 특징점까지의 거리 및 위치를 계측한다(단계 S40).

본 실시예에서는, 상기 대상물(1)을 복수의 카메라들을 사용하여 촬영하므로, 상기 대상물(1)에 대하여는 복수의 카메라 영상들을 획득할 수 있다. 따라서, 상기 획득된 영상들 중 임의의 한 쌍의 영상을 선택하면, 상기 한 쌍의 영상으로부터 한 쌍의 특징점 좌표쌍을 획득할 수 있으며, 곧 스테레오 비전(stereo vision) 방식으로 상기 특징점의 거리 및 위치, 즉 상기 특징점까지의 깊이 값(z)을 획득할 수 있게 된다.

즉, 한 쌍의 영상으로부터 스테레오 비전 방식으로 상기 할당된 각각의 특징점들, P1, P2, P3, ... 각각에 대하여 깊이 값을 획득할 수 있으므로, 결국 상기 특징점들, P1, P2, P3, ... 각각의 입체 영상에서의 좌표(x, y, z)를 획득할 수 있게 된다.

이 후, 도 1 및 도 5를 참조하면, 메쉬(Mesh) 알고리즘을 이용하여 상기 대상물(1)을 입체면소로 분할한다(단계 S50).

구체적으로, 앞서 설명한 바와 같이 상기 대상물(1)은 복수의 특징점들이 추출된 상태이며, 이와 같이 추출된 복수의 특징점들을 일정 규칙을 가지면서 삼각화시켜, 즉 특징점들을 서로 연결하여 삼각형을 만들어, 도 5에 도시된 바와 같이 상기 대상물(1)을 삼각형의 입체면소로 분할한다.

이 경우, 상기 삼각형의 입체면소로 분할하는 과정에서, 일정 규칙을 가지며 상기 특징점들을 바탕으로 삼각화하는 경우 들로네(Delaunay) 삼각화 방법을 사용하며, 상기 들로네 삼각화 방법을 통해 상기 메쉬 알고리즘이 구현된다.

상기 들로네 삼각화 방법이란, 평면위의 점들 중 세 개를 선택하여 삼각형으로 연결하여 공간을 분할하는 경우, 상기 삼각형의 내각의 최소값이 최대가 되도록 하는 분할 알고리즘을 의미한다. 즉, 상기 들로네 삼각화 방법을 통해 선택된 삼각형은 최대한 정삼각형에 가까운 삼각형이 되도록 선택되며, '어떤 삼각형의 외접원도 그 삼각형의 세 꼭지점을 제외한 다른 어떤 점도 포함하지 않는다'는 empty circumcircle property를 주요 원칙으로 삼각형을 선택하는 것을 특징으로 한다.

도 5는 상기 대상물(1)의 특징점들을 상기 들로네 삼각화 방법을 통해 삼각형들을 형성하고, 이와 같이 형성된 삼각형이 각각이 상기 대상물(1)의 입체면소로 할당된다.

이 후, 도 1 및 도 2를 참조하면, 상기 대상물(1)의 입체면소에 대하여 개별적으로 영상변환을 수행한다(단계 S60).

본 실시예에서, 상기 영상정합은 이른바, 호모그래피(Homography) 알고리즘을 사용하는 것으로, 다만 상기 호모그래피 알고리즘은 2차원 영상정합에 적용되는 것으로, 이를 3차원으로 확장하여 영상정합을 수행한다. 이 경우, 상기 호모그래피 알고리즘을 3차원으로 확장하기 위해 부분 선형화를 통한 좌표계 변환 기법이 필요하며, 이에 관하여는 상세히 후술한다.

한편, 상기 호모그래피 알고리즘이란 2차원 평면에서의 임의의 사각형을 다른 2차원 평면에서의 임의의 사각형으로 매핑시키는 변환을 의미하며, 하기 식(1)에서 입력값(x, y)과 출력값(x', y')의 매핑을 완성하는 파라미터(h₁₁~h₃₃)를 구함으로서 완성된다.

식 (1)

이 경우, 상기 파라미터(h₁₁~h₃₃)에 해당되는 행렬을 H(homography matrix)로 정의하면, 상기 행렬

를 구하여 2차원 영상정합은 완성된다.

보다 구체적으로, 변환되어지는 영상이

, 변환되는 목표 좌표를

라고 정의하면, 하기 식 (2)의 수식으로 정의되며, 이 때, 상기

,

각각의 행렬들은 식 (3)으로 정의된다.

식 (2)

식 (3)

이 때, Rotation(R)과 Translation(t) 정보를 같는 행렬을

로 정의하고, 카메라의 파라미터 정보를 포함하는 행렬을

으로 정의하면 식 (4)와 같고, 결국 식 (2)는 하기 식 (5)로 정의된다.

식 (4)

식 (5)

한편, 상기 식 (5)는 상기 행렬

이 x의 회전각 r₁, y의 회전각 r₂, 평행이동값 t를 포함하는 것을 이용하여 하기 식 (6)으로 변환될 수 있다.

식 (6)

이 경우, 정합하는 두 영상을 촬영한 카메라의 모든 파라미터가 동일하다고 가정하고 카메라의 왜곡이 없다면 하기 식 (7)의 관계가 성립되며,

은 두 영상 사이의 관계를 나타내는 행렬로 표현되는데, 하기 식 (7)에서

는 h₁, h₂, h₃을 구함으로서 구할 수 있다.

식 (7)

즉, h₁은 하기 식 (8)과 같이 카메라 정보를 포함하는 행렬

과 Rotation 정보 r₁으로 구할 수 있으며, 마찬가지로, h₂ 및 h₃도 하기 식 (9) 및 식 (10)을 통해 행렬

과 Rotation 정보 r₂ 및 Translation 정보 t로부터 각각 구할 수 있다.

식 (8)

식 (9)

식 (10)

이 경우, 상기 식의 λ는 파라미터인 s를 이용하여 하기 식 (11)로 구할 수 있다.

식 (11)

한편, 하기 식 (12) 내지 식 (16)과 같은 상기 Rotation 정보 r₁ 및 r₂의 관계식을 통해 회전각이 정확하게 검출되었는지 확인이 가능하고, 하기 식 (17)을 통해 카메라 초점거리 f_x, f_y 값과 픽셀당 거리 c_x, c_y를 통해 h₁, h₂의 값이 정확하게 검출되었는지 확인할 수 있다.

식 (12)

식 (13)

식 (14)

식 (15)

식 (16)

식 (17)

한편, 하기 식 (18)은 하기 식 (19) 및 식 (20)과 같이 정리되며, 1개의 호모그래피마다 하나의 V를 구할 수 있는데, n개의 V를 통해 B를 구하면 아래 식 (21) 내지 식 (25)와 같이 고유행렬을 구할 수 있으며, 이러한 과정을 통해 호모그래피 변환에 필요한 파라미터(h₁₁~h₃₃)를 구하여, 궁극적으로

(homography matrix)를 구하게 된다.

식 (18)

식 (19)

식 (20)

식 (21)

식 (22)

식 (23)

식 (24)

식 (25)

이상과 같이, 호모그래피 알고리즘을 통하여 2차원 상의 영상을 서로 정합할 수 있다. 다만, 상기 2차원 상의 영상 정합에서는 X, Y 축에 관한 데이터를 선형적으로 변형시켜 주면 충분하지만, 본 실시예에서와 같은 3차원 상의 영상정합을 위해서는 깊이 값을 갖는 Z 축에 관한 데이터가 추가되므로, 상기 설명한 단순한 2차원 상의 호모그래피 알고리즘을 그대로 적용하기에는 한계가 있다.

이에 따라, 부분선형화를 통한 기하학적 좌표계 변환 기법이 필요하며, 이하에서 상세하게 설명한다.

도 2, 도 6a 및 도 6b를 참조하면, 앞서 도 5에 도시된 바와 같이, 상기 대상물(1)에 대하여 메쉬 알고리즘을 통해 입체면소를 분할한 입체면소들 중, 한 쌍의 카메라 중 하나의 카메라에서 촬영된 입체면소를 도 6a, 동일한 위치에 대하여 또 다른 카메라에서 촬영된 입체면소를 도 6b로 나타내었다.

즉, 도 6a 및 도 6b를 참조하면, 상기 입체면소들은 동일한 위치에 대한 입체면소이며, 각각은 특징점들로 매칭되고 있다. 즉, 도 6a 및 도 6b에 도시된 바와 같이, 근접한 매칭점들로 삼각형이 정의되면, 각 삼각형에 대하여 좌표값을 할당하고(단계 S61), 각 삼각형에 대하여 할당된 좌표값, 즉 특징점들은 P₁, P₂, P₃, P₄, P₅ 및 P₁', P₂', P₃', P₄', P₅'과 같다.

이 경우, 상기 P₁P₁', P₂P₂', P₃P₃', P₄P₄', P₅P₅'은 서로 매칭되는 특징점에 해당된다.

이와 같이, 동일한 위치에 해당되는 삼각형의 특징점을 매칭하고, 각 삼각형의 좌표값을 변환한다(단계 S62). 즉, 상기 도 6a 및 도 6b에서 P₁ P₂ P₃에 의해 정의되는 삼각형을 제1 삼각형이라 하면, P₁'P₂'P₃'에 의해 정의되는 삼각형은 곧 상기 제1 삼각형과 실제 상기 대상물(1)에서는 동일한 위치를 나타내므로, 상기 P₁'P₂'P₃'에 의해 정의되는 삼각형의 좌표값을 P₁ P₂ P₃에 의해 정의되는 삼각형의 좌표값으로 변환하여야 한다.

즉, 하기 식 (26)은 3차원 좌표계에서 매치된 삼각형 평면을 변환하는 식으로 이를 이용하여 3차원 정합을 유도한다.

식 (26)

(x, y, z : 영상의 x, y, z 좌표,

x', y', z': 변환된 x, y, z 좌표,

u_x, u_y, u_z : x, y, z 축의 단위벡터,

c, d, f : x, y, z 축 선형 변화량,

X₁, X₂, X₃ : P₁, P₂, P₃의 x 좌표,

Y₁, Y₂, Y₃ : P₁, P₂, P₃의 y 좌표,

Z₁, Z₂, Z₃ : P₁, P₂, P₃의 z 좌표)

보다 구체적으로, 우선, P₁을 P₁'의 거리값과 P₂P₂', P₃P₃'의 거리값이 같도록 평행이동 시키고, 상기 두 삼각형이 같은 방향이 되도록 회전을 시켜준 후, 나머지 한 점이 일치 되도록 회전을 시켜준다. 즉, 상기 식 (26)에서 c, d, f의 값은 매칭점의 Translation값을 나타내 주는데 이 값은 식 (26)에서 근사화되어 하기 식 (27) 내지 식 (29)로 구할 수 있다.

(

는 x의 평균변화율) 식 (27)

(

는 y의 평균변화율) 식 (28)

(

는 z의 평균변화율) 식 (29)

즉, 상기 c, d, f를 이용하여 점을 이동시켜주면 상기 두 삼각형은 일치하지만 3차원의 위치값으로 보면 두 삼각형은 크기는 같지만 각 점들의 위치정보는 차이나는 상태이다. 따라서, 이러한 3차원 상에서의 위치값을 맞춰주기 위해 각각의 매칭점들을 회전시켜야 하며, 이 때 회전은 P₁과 P₁' 및 P₂와 P₂'를 먼저 정합하기 위해 하기 식 (30) 및 식 (31)을 연산하여야 한다.

식 (30)

식 (31)

이 때,

,

이다.

도 7a 및 도 7b를 참조하면, 상기 식 (30) 및 식 (31)을 이용하여 P₁과 P₁' 및 P₂와 P₂'가 같아지도록 회전을 시켜주는데, 식 (30)에서 θ는 평행이동을 이용하여 P₁과 P₁'을 일치시킨 후 P₂P₁P₁'이 이루는 각에 해당된다. 이 후, P₃와 P₃'이 같아지도록 다시 회전한다. 이 때, 도 8을 참조하면, P₁'P₃', P₁과 P₃가 일치되도록 하면 회전축은 P₁P₂가 되며 이 때 회전각을 P₁P₃와 P₁'P₃'의 사이각을 구하는 것보다 P₁P₂에 수직인 평면에 사용시킨 후 사이각을 구해야 하므로 P₁P₂와 P₁P₃에 의해 결정되는 평면에 수직인 법선벡터와 P₁P₂와 P₁'P₃'에 의해 결정되는 평면에 수직인 법선벡터를 일치시키도록 회전시켜 주어야 한다.

즉, 상기 도 8에 도시된 바와 같이, P₁P₂P₃로 이루어진 평면에 수직인 벡터 V₁과 P₁P₂P₁'P₃'으로 이루어진 평면에 수직인 벡터 V₂가 일치되도록 P₃'을 하기 식 (32)와 같이 계산한다.

식 (32)

이와 같이, 상기 두 대응되는 삼각형을 동일하게 매칭한 후 도 9a 및 9b를 참조하면 상기 제1 삼각형에 인접한 제2 삼각형의 좌표값을 변환한다(단계 S63).

즉, 상기 도 9a 및 9b에서 P₂P₃P₄로 이루어지는 제2 삼각형과 이에 매칭되는 P₂'P₃'P₄'으로 이루어지는 삼각형을 비교하여, 서로 매칭되는 점들의 위치가 같다면 제2 삼각형에 인접한 제3 삼각형의 좌표값을 변환하는 단계로 진행되며, 서로 매칭되는 점들의 위치가 다르다면, 앞서 설명한 바와 같은 변환을 통해 매칭되는 점들을 일치시키는 변환을 수행한다.

다만, 제2 삼각형에서는 P₂P₂'과 P₃P₃'이 같으므로, P₄와 P₄'만 일치시키면 충분하므로 상기 식 (32)에 의해 정의된 R₂ 과정만 진행하면 충분하다.

이는, 도 10에 도시된 바와 같이, 상기 R₂ 과정만 진행하는 경우, P₂P₃P₄로 만들어지는 제2 삼각형의 법선벡터와 P₂'P₃'P₄'로 만들어지는 삼각형의 법선벡터가 일치되도록 P₄를 회전시켜주면, 즉, 하기 식 (33)에서 V₁과 V₂가 같아지도록 P₄를 이동시켜주면, 도 11a 및 도 11b에 도시된 바와 같이 서로 매칭되는 제2 삼각형의 좌표값 변환이 완성된다.

이 후, 상기 과정들을 제3, 제4,... 삼각형들에 대하여 수행하고, 이를 통해 영상정합을 완성한다(단계 S64). 물론, 3차원 데이터에서도 선형적인 요소만 포함된다면 상기 과정을 한번만 수행하더라도 모든 점들이 일치할 수 있으나, 3차원 데이터에는 비선형적인 요소들이 많이 포함되므로 하나의 삼각형 이외의 부분에서 일치하지 않는 영역이 필연적으로 발생하므로 모든 점들에 대하여 변환이 필요하므로 상기와 같은 좌표변환 연산이 필요하게 된다.

상기와 같은 영상정합을 통해 도 5에서 서로 연결된 삼각형에 부호를 부여하여 각 삼각형들을 모두 정합하고, 이를 Mesh화하면 도 12와 같이 완성되며, 상기 도 12의 3차원 Mesh 좌표와 기존의 영상 좌표의 특징점을 매칭시켜 Mesh에 영상을 영상정합하면 도 13에 도시된 바와 같이 부분 선형화 기반의 입체 영상 정합이 완성된다. 그리하여, 도 13에 도시된 바와 같은 입체 영상이 획득된다.

상기와 같은 본 실시예에 따르면, 특징점들을 서로 매칭하고 대상물의 입체면소를 분할한 후, 분할된 입체면소에 대하여 영상정합을 수행하므로, 영상정합의 속도는 상대적으로 지연될 수 있으나 최종적으로 획득되는 영상정합의 정밀도가 향상된다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명에 따른 3차원 영상정합방법은 카메라로 취득된 영상으로부터 입체 영상을 획득하는 시스템에 사용될 수 있는 산업상 이용 가능성을 갖는다.

Claims

복수의 카메라들로 대상물을 촬영하는 단계;
각 카메라에서 촬영된 영상으로부터 특징점을 추출하는 단계;
임의의 한 쌍의 카메라에서 촬영된 영상으로부터 상기 추출된 특징점들을 서로 매칭하는 단계;
서로 매칭된 각각의 특징점들까지의 거리 및 위치를 계측하는 단계;
메쉬(Mesh) 알고리즘으로 상기 대상물의 입체면소를 분할하는 단계; 및
상기 분할된 각각의 입체면소에 대하여 개별적으로 영상 변환을 수행하는 단계를 포함하는 3차원 영상정합방법.
제1항에 있어서,
상기 특징점들을 서로 매칭하는 단계는,
SIFT(scale invariant feature transformation) 다점 대응 알고리즘을 사용하여, 분할된 각각의 입체 면소의 각 꼭지점의 위치정보와 입체면소의 기울기를 포함하는 입체면소의 기하학적 형상 정보와 각각의 입체면소에 대하여 개별적으로 영상 변환을 통하여 얻어지는 색감 정보를 동시에 구현하는 3차원 영상정합방법.
제1항에 있어서,
상기 대상물의 입체면소를 분할하는 단계는,
상기 대상물에 대하여 메쉬 알고리즘을 사용하여 삼각형을 만들고, 이와 같이 생성된 삼각형을 입체면소로 분할하는 것을 특징으로 하는 3차원 영상정합방법.
제3항에 있어서,
상기 대상물에 대하여 메쉬 알고리즘을 사용하여 삼각형을 만드는 경우, 들로네(Delaunay) 삼각화 방법을 사용하는 것을 특징으로 하는 3차원 영상정합방법.
제1항에 있어서,
상기 영상정합을 수행하는 단계는,
각각의 분할된 입체 면소에 대하여, 개별적으로 호모그래피(Homography) 알고리즘을 적용하여 2차원 영상을 조합하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 영상정합방법.
제1항에 있어서,
상기 영상정합을 수행하는 단계에서,
각각의 분할된 입체 면소에 대하여, 개별적으로 기하학적 좌표계 변환 기법을 적용하여 2차원 영상을 조합하여 3차원 영상을 생성하는 것을 특징으로 하는 3차원 영상정합방법.
제6항에 있어서,
상기 영상정합을 수행하는 단계는,
근접한 매칭점들로 삼각형을 정의하고 각 삼각형에 좌표값을 할당하는 단계;
동일한 위치에 해당하는 삼각형의 좌표값을 차례로 변환하는 단계; 및
정의된 모든 삼각형의 좌표값을 변환하여 영상정합을 완성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상정합방법.