KR20020077685A

KR20020077685A - 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법

Info

Publication number: KR20020077685A
Application number: KR1020010017418A
Authority: KR
Inventors: 김준식; 권인소
Original assignee: 한국과학기술원
Priority date: 2001-04-02
Filing date: 2001-04-02
Publication date: 2002-10-14
Also published as: US7155030B2; US20050207640A1; KR100386090B1; US20020186897A1

Abstract

본 발명은 카메라 보정방법에 있어서, 동심원 패턴을 이용하여 용이하게 카메라 보정을 수행할 수 있는 동심원 패턴을 이용한 카메라 보정방법을 제공하는 데 그 목적이 있다.

본 발명에 따르면, 촬영된 영상들로부터 카메라의 보정변수를 계산하여 카메라를 보정하는 카메라 보정방법에 있어서, 평면상에 위치한 두 개 이상의 동심원을 임의의 각도로 촬영하여 투영된 타원들의 영상들로부터 각 타원의 중심점들을 잇는 직선을 찾는 단계와, 직선과 투영된 타원들의 접점을 찾아 복비(Cross Ratio)를 이용하여 동심원의 원 중심점 좌표를 찾는 단계와, 동심원의 원 중심점 좌표와 동심원의 법선벡터 및 원의 반지름으로 카메라의 내부변수를 계산하여 보정하는 단계를 포함하는 동심원 패턴을 이용한 카메라 보정방법이 제공된다.

Description

동심원 패턴을 이용한 카메라 내부변수 보정시스템 및 카메라 보정방법{Camera calibration system and method using planar concentric circles}

본 발명은 카메라의 변수를 알아내어 카메라를 보정하는 방법에 관한 것이며, 특히, 한 동심원 패턴을 임의의 각도로 촬영한 두 영상을 분석하여 카메라의 내부변수를 알아내고 이를 이용하여 카메라를 보정하는 시스템 및 카메라 보정방법에 관한 것이다.

카메라를 통해 피사체의 기하학적인 정보를 얻고자 할 경우에 카메라로부터 얻은 영상정보와 피사체의 실질적인 기하학적인 정보 사이의 변수를 추정하여 카메라를 보정하는 과정이 필수적이다.

한편, 도면에서 도 1은 종래의 한 실시예에 따른 3차원 인공 보정물체를 이용하여 카메라를 보정하는 방법에서 3차원 인공 보정물체 모델을 촬영한 영상이고, 도 2는 종래의 다른 실시예에 따른 평면상에 점의 좌표를 이용하여 카메라를 보정하는 방법에서 평면 모델을 촬영한 영상이다.

카메라를 보정하기 위해 종래에 사용되었던 방법으로는 ①. 3차원 인공 보정물체를 이용하여 보정하는 방법과, ②. 자율 보정방법 및, ③. 평면상에 점의 좌표를 이용하여 보정하는 방법 등이 있다.

그 첫번째로, 도 1에 도시된 바와 같이, 현재까지 널리 사용되는 보정방법인 3차원 인공 보정물체 즉 직육면체의 보정물체를 이용하여 보정하는 방법으로서, 도 1에 보이듯이 직육면체의 보정물체를 촬영하여 그 직육면체의 기하학적인 관계를 풀어내는 방법이다. 그러나, 이런 3차원 인공 보정물체를 이용한 카메라 보정방법에서는 직육면체의 보정물체를 제작 및 관리하기에 어려움이 따른다. 왜냐하면, 촬영된 영상으로 카메라의 변수를 계산하기 위해서는 그 대상이 되는 보정물체가 정형적인 직육면체의 특성을 가지고 있어야 하기 때문이다. 즉, 한 꼭지점을 기준으로 세 개의 면이 직각을 유지하며, 12개의 모서리 변은 모두 직각을 이루고 있어야 하는 정형적인 직육면체이여야 한다. 그렇지 않게 되면, 카메라의 변수를 정확하게 계산할 수 없게 되며 그에 따른 보정 또한 신뢰성이 떨어지기 때문이다.

두번째로서, 자율 보정방법은 순수하게 여러 장의 영상으로부터 각각의 대응점의 정보만을 이용하여 카메라의 변수를 계산하는 방법이다. 이런 자율 보정방법의 경우에는 앞에서 설명한 인공 보정물체를 이용하지 않기 때문에 제한이 따르지 않아 응용범위가 넓지만, 대응점 지정이 부정확하며 이로 인하여 해를 구하는 과정이 상당히 복잡하고 올바른 해를 구하기 어렵다는 단점이 있다.

세번째로, 도 2에 도시된 바와 같이, 평면상에 점의 좌표를 이용하여 보정하는 방법은 인공 보정물체를 이용한 보정방법과 자율 보정방법에 연관되는 방법으로서, 도 2에 보이듯이 평면 패턴을 촬영한 여러 장의 영상을 취득하여 평면상의 점의 좌표와 대응하는 영상면 상의 대응점의 좌표를 정확하게 구하여 카메라의 변수를 추정하는 방법이다. 이런 평면상의 점의 좌표를 이용하는 방법에서는 앞에서 설명한 3차원 인공 보정물체의 제작보다 더 수월하게 2차원의 평면 패턴을 제작할 수 있으며 보관하기도 편리하지만, 평면 패턴을 촬영한 영상들의 다수의 점 좌표를 다수의 보정점으로 하여 1 대 1로 비교하여야 함으로 과정이 상당히 복잡하다는 단점이 있다.

본 발명은 앞서 설명한 바와 같은 종래 기술의 문제점을 해결하기 위하여 제공된 것으로서, 평면 패턴을 사용하며 보정의 신뢰도를 높이고 또한 제작 및 관리가 편리하며, 대응점 지정없이 카메라의 변수를 계산할 수 있는 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및 카메라 보정방법을 제공하는 데 그 목적이 있다.

도 1은 종래의 한 실시예에 따른 3차원 인공 보정물체를 이용하여 카메라를 보정하는 방법에서 3차원 인공 보정물체 모델을 촬영한 영상이고,

도 2는 종래의 다른 실시예에 따른 평면상에 점의 좌표를 이용하여 카메라를 보정하는 방법에서 평면 모델을 촬영한 영상이고,

도 3은 본 발명의 한 실시예에 따른 동심원 패턴을 이용한 카메라 내부변수 보정방법에서 동심원 패턴을 임의의 각도로 촬영하는 것을 나타내는 개념도이고,

도 4a는 도 3에서의 임의의 각도로 촬영한 동심원을 나타낸 두 장의 영상이고, 도 4b는 도 4a에 나타난 타원을 투영하여 타원의 경계선을 추출한 영상이고,

도 5는 도 4b에 도시된 타원들의 중심점을 나타낸 영상이고,

도 6은 도 5에 도시된 타원들의 중심점을 잇는 직선을 나타낸 영상이며,

도 7은 도 6에 도시된 직선 상의 점들의 위치관계를 나타낸 도면이다.

앞서 설명한 바와 같은 목적을 달성하기 위한 본 발명에 따르면, 촬영된 영상으로부터 카메라의 보정변수를 계산하여 상기 카메라를 보정하는 카메라 보정방법에 있어서, 평면상에 위치한 두 개 이상의 동심원을 임의의 각도로 촬영하여 투영된 타원들의 영상들로부터 각 타원의 중심점들을 잇는 직선을 찾는 단계와, 상기 직선과 상기 투영된 타원들의 접점을 찾아 복비(Cross Ratio)를 이용하여 상기 동심원의 원 중심점 좌표를 찾는 단계와, 상기 동심원의 원 중심점 좌표와 동심원의 법선벡터 및 원의 반지름으로 상기 카메라의 내부변수를 계산하여 보정하는 단계를 포함하는 동심원 패턴을 이용한 카메라 보정방법이 제공된다.

또한, 본 발명에 따르면, 실질의 물체와 상기 물체를 촬영한 영상의 모델링에 의한 변수를 보정하기 위한 카메라 내부변수 보정시스템에 있어서, 카메라와, 상기 카메라의 내부변수를 보정하기 위해 촬영하는 2차원의 동심원 및, 상기 동심원을 임의의 각도로 촬영하여 투영된 타원들의 영상들로부터 각 타원의 중심점들을 잇는 직선을 찾고, 상기 직선과 상기 투영된 타원들의 접점을 찾아 복비(Cross Ratio)를 이용하여 상기 동심원의 원 중심점 좌표를 찾으며, 상기 동심원의 원 중심점 좌표와 동심원의 법선벡터 및 원의 반지름으로 상기 카메라의 내부변수를 계산하여 보정하는 제어부를 포함하는 카메라 내부변수 보정시스템이 제공된다.

아래에서, 본 발명에 따른 동심원 패턴을 이용한 카메라 보정방법의 양호한 실시예를 첨부한 도면을 참조로 하여 상세히 설명하겠다.

도면에서, 도 3은 본 발명의 한 실시예에 따른 동심원 패턴을 이용한 카메라 내부변수 보정방법에서 동심원 패턴을 임의의 각도로 촬영하는 것을 나타내는 개념도이고, 도 4a는 도 3에서의 임의의 각도로 촬영한 동심원을 나타낸 두 장의 영상이고, 도 4b는 도 4a에 나타난 타원을 투영하여 타원의 경계선을 추출한 영상이고, 도 5는 도 4b에 도시된 타원들의 중심점을 나타낸 영상이고, 도 6은 도 5에 도시된 타원들의 중심점을 잇는 직선을 나타낸 영상이며, 도 7은 도 6에 도시된 직선 상의 점들의 위치관계를 나타낸 도면이다.

도 3에 도시된 바와 같이, 3차원 공간에 놓인 동심원은 다음과 같은 기하학적인 조건을 가진다. ①. 두 원은 같은 한 좌표점에 위치하고, ②. 두 원은 동일 평면에 위치하며, ③. 두 원의 반지름의 길이는 상호 다른 조건을 가지는 동심원을 보정하고자 하는 카메라로 촬영한다. 한편, 반지름이 작은 원과 이런 작은 원을 포함하는 반지름이 큰 원으로 이루어진 동심원은 ②조건에 따라 동일한 단위 법선벡터와 수직거리를 가진다.

한 대의 카메라로 이런 동심원이 그려진 평면 패턴을 임의의 각도로 촬영하여 두 장의 영상정보를 얻는다. 임의의 각도로 투영된 동심원은 도 4a 내지 도 5에 도시된 바와 같이, 타원의 형상으로 투영되며, 두 타원의 중심점은 일치하지 않게된다.

그 이유는 동심원을 임의의 각도에서 투영하여 얻어진 두 타원은 그 투영각도에 따라 서로 다른 타원의 형상으로 나타나기 때문이며, 이런 두 타원의 중심점을 포함하는 직선의 기울기는 투영하는 카메라의 각도에 따라 달라지게 된다. 한편, 여기에서, 타원의 중심점은 타원의 두 정점을 잇는 직선의 중간점 즉, 타원의 장축과 단축이 만나는 점이다.

한편, 앞에서 설명한 바와 같이, 3차원의 동심원으로부터 투영된 타원의 중심점을 잇는 직선에 대하여 수학식으로 정의하면 아래와 같다.

우선, 영상처리 및 투영 기하 분야에서 널리 이용되는 동차좌표계로서의 투영변환(T)은 수학식 1과 같이 투영행렬로 표현될 수 있다.

원 중심점을 기준으로 일정한 거리(반지름)에 위치하는 점들의 자취인 원의 불변특성에 따라 상기의 기하학적 조건을 가지는 평면 상의 두 동심원은 수학식 2와 같이 표현할 수 있다.

여기에서, x_o,y_o는 원 중심점의 좌표이며, r은 원의 반지름이며, Z는 평면에 대한 수직축의 값이다.

이때, Z가 0임을 이용하여 일반적인 투영식을 수학식 3과 같이 영상면과 Z=0인 평면 사이의 평면변환(H)으로 변환한다.

여기에서, X,Y는 투영기하 이론으로부터 실제 3차원 좌표를 의미하며, x,y는 투영된 결과의 영상상의 좌표를 의미하며, s는 스케일 변수이며, p는 투영 변환 행렬의 값이다.

그리고, 수학식 3으로부터 투영된 원의 방정식을 구하기 위해 정리하면, 수학식 4와 같이 계산된다.

수학식 4에서 동차 좌표계임을 감안하여 배수항을 없애고, 수학식 2를 대입하여 정리하면 수학식 5와 같이 계산된다.

한편, 수학식 5를 치환하여 정리하면, 타원의 식을 유도할 수 있으며, 이 타원 중심점의 좌표를 구하면 수학식 6과 같이 계산된다.

여기에서, A',B',C',D',E',F'는 수학식 5의 인자 α_ij의 조합으로 이루어진 것이고, r은 원의 반지름 상수이다.

수학식 6에 나타난 것과 같이, A',B',C',D',E',F'는 r과 무관하다.

수학식 6에서 나타내는 원 중심점의 좌표를 이용하여 타원의 중심점을 잇는 직선을 정의하면, 수학식 7과 같이 정의할 수 있다.

수학식 7은 r에 대해서 상수인 계수만을 취한 직선의 식이고, 이는 투영 결과로 얻어진 타원의 중심점이 원의 반지름에 무관하게 정해지는 직선 상에 위치한다는 것을 의미하며, X',Y'는 상기 타원 중심의 좌표이다.

투영된 동심원의 중심은 수학식 2에서 r=0인 경우의 타원중심과 동일하므로 원의 중심 또한 수학식 7에서 정의하는 직선 상에 위치한다.

아래에서는 투영된 타원들의 중심점이 일직선상에 위치하는 관계로부터 원의 중심점의 좌표를 찾아내는 알고리즘에 대하여 상세히 설명하겠다.

투영된 내부 타원과 직선의 접점을 A, B라 하고, 외부 타원과 직선의 접점을 A', B'이라 하고, 원의 중심점을 O라 하며, 직선 상에 무한대로 떨어져 있는 임의의 점을 M_∞이라 한다. 이런 점들의 배치는 도 6 및 도 7에 도시된 바와 같으며, 이러한 위치관계는 3차원 및 2차원에서 동일하다.

한편, 직선 상에 무한대로 떨어져 있는 임의의 점은 가상적으로 설정한 점이며 투영기학 이론에서 자주 사용되는 점으로서, 대표적으로 복비를 제한시키는 특성 및 조건의 경계치로 사용하기가 용이하기 때문에 설정한 점이다.

따라서, 복비(Cross ratio; Cr)(A,O,B,M_∞)와 Cr(A',O,B',M_∞)은 동일하며, 이는 3차원 공간상에서 수학식 8과 같이 계산된다.

여기에서, 영상 내에서 찾을 수 있는 점은 A,B,A',B'의 4개이고, 수학식 8은점 O와 M∞의 두 미지수를 가지며, 이런 두 점은 Cr(A,O,B,M_∞)과 Cr(A',O,B',M_∞)의 두 식에서 공통적으로 사용되는 점이다. 따라서, 두 개의 미지수와 두 개의 방정식을 얻을 수 있으며, 결국 두 개의 방정식의 해로부터 점 O의 좌표를 구할 수 있다.

이와 같이 구해진 원의 중심점 좌표로부터 아래의 수학식 9를 구성하는 모든 항을 구할 수 있다. 그리고, 이런 수학식 9가 최소화되는 내부변수 u_O, v_O, f를 구하여 보정을 수행한다.

수학식 9를 통해 구한 내부변수를 이용하여 보정한다.

수학식 9에서 u_O, v_O, f는 카메라 내부변수인 주점(principal point) 및 초점거리(focal length)를 의미하며, 첫 두항()은 두 동심원이 동일한 법선벡터를 가진다는 것을 나타내고, 다음 두항()은 두 동심원이 같은 거리를 가지는 평면에 있다는 것은 나타내며, 다음 네 항()은 주어진 내부변수로부터 구한 반지름이 실제의 반지름과 같다는 것을 의미한다.

[실험예]

반지름인 40mm이고, 80mm인 두 원의 중심점이 한 점에 위치하도록 동심원을 평면상에 그리고, 도 4a 및 도 4b에 도시된 바와 같이, 임의의 각도로 촬영하여 두 영상을 얻는다. 이때, 사용된 카메라는 소니(SONY)사 XC-003카메라를 사용하였으며, 초점거리는 8mm이다.

이런 두 영상을 투영한 영상(경계선을 추출한 영상)을 추출한 후에 앞에서 설명한 본 발명의 동심원 패턴을 이용한 카메라 보정방법에 의해 표 1 에 보정치를 구한다.

표 1에 기재된 비교예(Z.Zhang)는 Z.Zhang이 발표한 논문("Flexible Camera Calibration by Viewing a Plane From Unknown Orientations",In Proc. 7 ^th International Conference Computer Vision, Corfu, Greece, pp.666-673, September 1999.)중에서 카메라 보정방법에 따른 보정치를 나타낸 값들로서 이미 그 보정치에 대해 인정되었으며, 표 1은 본 발명의 실시예에 따른 계산된 보정치와비교예의 보정치를 비교하였을 때에 동심원 패턴으로 계산된 보정치가 비교예의 보정치와 유사함을 나타내기 위한 표이다.

앞서 상세히 설명한 바와 같이, 본 발명의 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및 카메라 보정방법은 2차원적인 동심원을 촬영한 두 영상으로부터 카메라의 보정변수를 찾아내는 것으로서, 동심원 패턴을 쉽고 편리하게 제작 및 관리할 수 있다는 장점이 있다.

또한, 본 발명의 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및 카메라 보정방법은 다수의 수학식에 의해 카메라 보정변수를 계산하기 때문에 쉽게 카메라 보정변수를 계산하여 카메라를 보정할 수 있다는 장점이 있다.

이상에서 본 발명의 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및 카메라 보정방법에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims

촬영된 영상으로부터 카메라의 보정변수를 계산하여 상기 카메라를 보정하는 카메라 보정방법에 있어서,

평면상에 위치한 두 개 이상의 동심원을 임의의 각도로 촬영하여 투영된 타원들의 영상들로부터 각 타원의 중심점들을 잇는 직선을 찾는 단계와,

상기 직선과 상기 투영된 타원들의 접점을 찾아 복비(Cross Ratio)를 이용하여 상기 동심원의 원 중심점 좌표를 찾는 단계와,

상기 동심원의 원 중심점 좌표와 동심원의 법선벡터 및 원의 반지름으로 상기 카메라의 내부변수를 계산하여 보정하는 단계를 포함하는 것을 특징으로 하는 동심원 패턴을 이용한 카메라 보정방법.
제 1 항에 있어서,

상기 두 개 이상의 동심원은 그 각각의 원들의 원 중심점들이 모두 한 좌표점에 위치하고, 상기 원들은 동일 평면에 위치하며, 상기 원들의 반지름은 상호 다른 길이를 가지는 것을 특징으로 하는 동심원 패턴을 이용한 카메라 보정방법.
제 1 항 또는 제 2 항에 있어서,

상기 투영된 두 개 이상의 타원들의 중심점을 잇는 직선은 하기 식 1과 같이 계산되는 것을 특징으로 하는 동심원 패턴을 이용한 카메라 보정방법.

식 1

여기에서, A',B',C',D',E',F'는 원의 반지름에 대한 상수이며, X',Y'는 상기 타원 중심의 좌표임.
제 1 항 또는 제 2 항에 있어서,

상기 복비(Cr;Cross Ratio)를 이용하여 상기 동심원의 원 중심점 좌표를 찾는 단계에서는

상기 직선과 상기 타원과의 접점을 찾고, 상기 직선 상에 위치하며 상기 타원으로부터 떨어져 위치한 임의의 점을 구하여 하기 식 2에 의해 미지수인 동심원의 원 중심점의 좌표를 구하는 것을 특징으로 하는 동심원 패턴을 이용한 카메라 보정방법.

식 2

여기에서, O는 원 중심점의 좌표이고, A,B는 반지름이 작은 내부 원을 투영한 타원과 직선의 접점의 좌표이고, A',B'는 상기 작은 원을 감싸는 바깥 원을 투영한 타원과 직선의 접점의 좌표이고, M_∞는 임의의 점의 좌표 임.
제 1 항 또는 제 2 항에 있어서,

상기 카메라의 내부변수를 계산하여 보정하는 단계에서는

두 영상으로부터 계산된 상기 동심원의 원 중심점 좌표와 동심원의 법선벡터 및 원의 반지름을 하기 식 3에 의해 상기 카메라의 내부변수를 계산하는 것을 특징으로 하는 동심원 패턴을 이용한 카메라 보정방법.

식 3

여기에서, u_O, v_O, f는 카메라 내부변수인 주점(principal point) 및 초점거리(focal length)를 의미하고, 식 3의 첫 두항은 두 동심원이 동일한 법선벡터를 가진다는 것을 나타내고, 다음 두항은 두 동심원이 같은 거리를 가지는 평면에 있다는 것은 나타내며, 다음 네 항은 주어진 내부변수로부터 구한 반지름이 실제의 반지름과 같다는 것을 의미함.
실질의 물체와 상기 물체를 촬영한 영상의 모델링에 의한 변수를 보정하기위한 카메라 내부변수 보정시스템에 있어서,

카메라와,

상기 카메라의 내부변수를 보정하기 위해 촬영하는 2차원의 동심원 및,

상기 동심원을 임의의 각도로 촬영하여 투영된 타원들의 영상들로부터 각 타원의 중심점들을 잇는 직선을 찾고, 상기 직선과 상기 투영된 타원들의 접점을 찾아 복비(Cross Ratio)를 이용하여 상기 동심원의 원 중심점 좌표를 찾으며, 상기 동심원의 원 중심점 좌표와 동심원의 법선벡터 및 원의 반지름으로 상기 카메라의 내부변수를 계산하여 보정하는 제어부를 포함하는 것을 특징으로 하는 카메라 내부변수 보정시스템.
제 6 항에 있어서,

상기 동심원은 최소 두 개 이상의 원으로서, 각각의 원들의 원 중심점들이 평면상의 한 좌표점에 위치하고, 상기 원들은 동일 평면에 위치하며, 상기 원들의 반지름은 상호 다른 길이를 가지는 것을 특징으로 하는 카메라 내부변수 보정시스템.
제 6 항 또는 제 7 항에 있어서,

상기 카메라는 CCD카메라인 것을 특징으로 하는 카메라 내부변수 보정시스템.