KR100823070B1

KR100823070B1 - 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정방법

Info

Publication number: KR100823070B1
Application number: KR1020060040191A
Authority: KR
Inventors: 정문호; 강동중; 유범재; 하종은
Original assignee: 한국과학기술연구원
Priority date: 2006-05-03
Filing date: 2006-05-03
Publication date: 2008-04-18
Also published as: KR20070107542A

Abstract

본 발명은 카메라의 교정 방법에 대한 것으로서, 본 발명에 따른 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법은, 동일한 카메라가 동일한 교정 상자를 각도 및 거리 중 적어도 하나가 상이한 다수의 위치에서 촬영하여, 얻어진 다수의 교정 영상에 대해 상기 카메라의 내부 및 외부 변수를 포함하는 상기 카메라에 대한 다수의 내부 행렬을 계산하는 단계와; 상기 카메라에 대한 상기 다수의 내부 행렬에 대해 각각의 중간값 계산을 수행하여, 상기 카메라에 대한 상기 다수의 내부 행렬을 갱신하는 단계와; 상기 갱신된 다수의 내부 행렬을 이용하여, 상기 다수의 내부 행렬의 외부 변수들에 대해 비선형 최적화를 수행하는 단계와; 상기 최적화된 외부 변수들을 이용하여, 상기 갱신된 다수의 내부 행렬을 재 갱신하는 단계를 포함하는 것을 특징으로 한다.

Description

3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법{CAMERA CALIBRATION METHOD USING A PLURALITY OF CALIBRATION IMAGES FOR 3 DIMENSIONAL MEASUREMENT}

도 1은 카메라 사영 모델의 개념도.

도 2는 기지 패턴의 3차원 점과 2차원 영상 좌표와의 대응 관계 설명도.

도 3a 내지 도 3d는 본 발명에 따른 다수의 카메라 교정 영상 예시도.

도 4는 본 발명에 따른 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법 흐름도.

도 5는 본 발명에 따른 단계들의 반복에 의한 카메라 교정 변수 오차값의 수렴 설명도.

본 발명은 일반적으로 광응용 기기의 교정 방법에 대한 것으로, 특히 카메라의 교정 방법에 대한 것이다.

일반적으로, 카메라 교정은 2차원 영상으로부터 정확한 메트릭(metric) 정보를 추출하기 위한 3차원 비젼 기술의 일부분이다. 카메라 교정을 수행하는 방법은 크게 두 가지로 나뉘는데, 하나는 형태를 미리 알고 있는 기지의 패턴을 놓고 그것을 관찰함에 의해 교정을 수행하는 방법이고 다른 하나는 알려지지 않은 형태를 관측함에 의해 카메라 교정을 수행하는 방법이다.

전자의 방법은 치수가 미리 알려져 있는 매우 정밀한 형태의 카메라 교정상자를 사용하여 카메라의 내부인자와 외부인자를 추정하는 방법으로 3차원 계측을 위한 카메라 교정에 일반적으로 사용되고 있는 기술이고, 이는 일반적으로 Photometric 카메라 교정으로 알려져 있다. 정밀한 교정 패턴을 사용함에 의해 상대적으로 정확한 카메라계수들을 얻는 것이 가능하다. 이 방법은 다시 평면 패턴을 사용하는 방법과 서로 평행하지 않은 다면을 가진 패턴을 사용하는 방법 등으로 분류된다. 이러한 방법은 교정패턴의 단일 영상에 의존하므로 교정점 추출오차 등에 의해 정확한 교정인자를 구하는데 한계를 가진다.

후자의 교정 패턴을 사용하지 않는 방법은 자율교정(self-calibration)으로 알려져 있다. 이 방법은 미지의 정적인 구조물이나 물체를 움직이면서 영상을 획득하고, 이와 같이 획득된 이미지 정보만을 이용하여 카메라의 내부인자들에 대한 제한조건들을 유도함에 의해 내부인자를 추정한다. 만일 변하지 않고 고정된 내부인자를 가진 카메라에 의해 영상을 획득한다면 세 장의 영상 특징점 사이의 대응점 정보는 카메라의 내, 외부 변수들을 추정하기 위한 충분한 정보를 공급한다. 이러한 방법은 교정 패턴 상자를 필요로 하지 않는 등의 장점이 있으나 계측을 위한 정확한 카메라의 인자들을 제공하는 데는 한계가 있으므로 주로 멀티미디어 응용 분야에 많이 사용되고 있을 뿐이다.

전술한 카메라 교정 방법을 통해 얻어진 카메라의 투영행렬

는 선형 해법의 한계, 패턴 상자의 교정점 추출 오차, 카메라 렌즈의 형상 왜곡 등으로 인해 필연적으로 오차를 가지게 되며 오차를 가진 투영행렬로부터 계산한 카메라의 내, 외부 인자 값들 또한 오차를 가지게 된다. 이러한 오차는 스테레오 계측, 다중 스테레오 등에 의한 3차원 위치 계측 시에 3차원 좌표의 측정정밀도에 영향을 미치게 되며 측정오차를 유발하게 된다.

따라서, 정밀한 3차원 계측을 위해서는 정밀한 카메라 인자들을 얻는 것이 중요하며, 특히 정밀한 카메라의 내부 변수를 계산하는 것이 정밀 계측을 위한 핵심사항이다.

본 발명은 동일한 교정 패턴에 대해 다수의 상이한 각도 및/또는 거리에서의 영상을 이용하여 정확한 카메라의 내부 인자와 외부 인자들을 구하는 방법을 제공하는 것을 목적으로 한다.

본 연구는 정보통신부 및 정보통신연구진흥원의 IT 신성장동력핵심기술개발사업의 일환으로 수행하였다[2005-S-111-02, 지능형 로봇 센서]
본 발명에 따른 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법은, 동일한 카메라가 동일한 교정 상자를 각도 및 거리 중 적어도 하나가 상이한 다수의 위치에서 촬영하여, 얻어진 다수의 교정 영상에 대해 상기 카메라의 내부 및 외부 변수를 포함하는 상기 카메라에 대한 다수의 내부 행렬을 계산하는 단계와; 상기 카메라에 대한 상기 다수의 내부 행렬에 대해 각각의 중간값 계산을 수행하여, 상기 카메라에 대한 상기 다수의 내부 행렬을 갱신하는 단계와; 상기 갱신된 다수의 내부 행렬을 이용하여, 상기 다수의 내부 행렬의 외부 변수들에 대해 비선형 최적화를 수행하는 단계와; 상기 최적화된 외부 변수들을 이용하여, 상기 갱신된 다수의 내부 행렬을 재 갱신하는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명은, 상기 재 갱신된 카메라 내부 행렬의 내부 및 외부 변수들에 의해 표현되는 영상 교정점과 영상 기준점 사이의 오차를 연산하는 단계와; 상기 연산된 오차와 미리 설정된 기준값을 비교하는 단계를 추가로 포함하고, 상기 연산된 오차가 상기 미리 설정된 기준값 이하가 될 때까지 상기 카메라 내부 행렬 갱신 단계, 상기 비선형 최적화 수행 단계 및 상기 카메라 내부 행렬 재 갱신 단계를 반복하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.

먼저, 단일 영상을 이용하여 카메라 교정을 수행하는 방법을 설명한다.

도 1은 핀홀(pinhole) 카메라의 사영 모델의 개념도이다. 영상 평면 I로부터 거리 f만큼 떨어진 곳 I에 평행한 면 F를 두고, 그 위의 점 C에 핀홀이 존재한다. 물체로부터 들어오는 빛은 핀 홀, 즉 점C를 통해서 영상평면(image plane)에 상을 맺는다. 물체의 점과 핀홀, 영상평면 위의 상은 일직선상에 있다. 이와 같은 사영을 중심 사영이라고 부른다. 점C를 렌즈 중심, 또는 초점이라고 하고, 면 F를 초점면(focal plane), 렌즈 중심으로부터 영상 평면까지의 거리 f를 초점 거리라고 한다. 점C를 지나고 영상 평면에 수직인 선을 광축이라고 부르며, 이것과 영상 평면과의 교점 c를 영상 중심이라고 한다. 또한, 광축은 초점면에도 직교하며 이와 같은 모델은 CCD 카메라를 정확히 기술하고 있다.

카메라의 내, 외부 변수에 대한 표현은 종래의 여러 문헌에서 참조할 수 있기 때문에 구체적인 설명은 생략한다. 본 발명에서는 정사각형의 사각 상자의 표면에 새겨진 교정 기준점을 사용하여 주어진 카메라의 내, 외부 변수들을 구해 보도록 한다.

도 2는 기지 패턴의 3차원 점과 2차원 영상 좌표와의 대응 관계 설명도이다. 도 2를 참조하면, 이미 알고 있는 패턴 즉, 기지 패턴에 의한 교정의 모양이 도시되어 있다.

통상적인 단일 영상을 이용하여 카메라 교정을 수행하는 방법은 다음의 두 단계를 통하여 카메라 교정을 수행한다. 먼저, 3차원 점과 그 2차원 상 사이의 사영을 결정하는 사영 행렬을 구한다. 다음, 사영 행렬로부터 카메라의 내부 및 외부 변수를 구한다. 중심 사영에 있어서의 사영 수식은 다음과 같이 식(1)에 의해 표현된다.

(1)
여기서,

이고,

이며,
υ,ν는 영상 좌표이고 X,Y,Z는 교정 상자 표면에 새겨진 3차원의 좌표점이다.
상기 식(1)은 3차원 물체의 좌표가 회전 행렬 R과 평행이동 행렬 t, 카메라 내부 변수들의 행렬을 의미하는 A 행렬을 통해 영상좌표 m으로 변환되는 관계식을 표현하고 있다.
식(1)에서 알 수 있는 바와 같이, 사영 행렬 P는 3x4 의 행렬이며, 12개의 요소가 있다. 카메라의 변수는 내부 변수와 외부 변수를 합하여 11개가 된다. 식(1)을 전개하면, 하나의 3차원 점과 2차원 영상에서의 대응점으로부터, P의 요소에 관한 2개의 선형 수식

(2)
을 세울 수가 있다. n점이 있으면, 다음의 식(2)
BP = 0 (3)
을 얻는다. 여기서,

는 P의 요소를 나열한 것이므로, 행렬 B는

(4)
식(3)에서 n점의 3차원과 2차원 좌표로서 정의된 2n x 12의 행렬이다.
앞서 기술한대로, P는 11개의 내부변수와 외부변수에 의존한다. 만약 n개의 3차원 점이 동일한 평면에 놓이지 않는다면, 일반적으로 B의 랭크(rank)는 11이다. 따라서, 12x1의 P는

의 최소 고유값에 대응하는 고유벡터로서 구할 수 있다. 마지막으로 P의 실제의 스케일을

이 되도록 다시 계산할 수 있다. P가 정해지면, 결정된 P로부터 A,R,t를 구한다.

이 값들을 식(2)에 대입하면, 다음 식(5)을 얻을 수 있다.

(5)
식(1)과 식(5)의 비교로부터 회전 행렬에 대한 제한조건(constraint)을 부가하여 P 행렬의 값을 계산하는 것도 가능하다. 식(3)은 다음과 같은 두 식의 합으로 분리하는 것이 가능하다.

(6)
이 식(6)에서 투영행렬의 값을 계산하는 것은 다음처럼 회전 행렬에 부가된 제한조건 하에서 식(7)을 최소화하는 것으로 변경될 수 있다.

(7)
식(7)의 제한조건은 회전행렬의 한 부분에 가해진 다음과 같은 부가 조건을 표현한다.

(8)
따라서 라그랑지 승산자(Lagrange multiplier)를 사용하면 식(7)은 다음과 같은 최적화 방적식으로 변경 가능하다.

(9)
미지수 벡터 y, z에 대해 최적화 수식인 식(9)를 편미분하면 다음과 같은 수식들을 얻는다.

(10a)

(10b)
식 (10b)는 Z가 행렬

의 고유 벡터라는 것을 나타낸다. 본 발명에서는 식 (10)을 이용하여 P를 결정한다.
선형 행렬식에 의한 위 식의 해는 식 (11)과 같이 실제 영상 측정점과 투영 행렬을 통한 3차원 공간점의 영상면으로의 투영 좌표 사이의 차이값을 최소화시키는 비선형 최적화 수식의 해를 구하기 위한 초기값으로 사용가능하다. 이러한 비선형 최적화를 통해 더욱 정밀한 투영행렬의 값을 구한다.

(11)
회전벡터에 부가된 제한조건을 이용한 선형해법을 통해 구해진 투영행렬 P로부터 카메라의 내부 및 외부 인자들을 구해보자. 먼저, 물체가 카메라 전방에 있다는 사실로부터

이면 -P도 식 (3)을 만족하므로, P의 모든 요소의 부호가 역으로 된다. 다음으로, 식 (5)로부터 다음 식을 얻는다.

(12)
또한,

는 다음과 같은 식

(13)

(14)

(15)
으로 구해진다. 여기서, θ 를 0부터 π 까지의 범위로 제한하면

는 항상 양이다.

도 양이므로,

이 성립한다. 마지막으로, 나머지의 수는 다음과 같이 구할 수 있다.

(16)

(17)

(18)

(19)
즉, 사영 행렬이 구해진다면 카메라의 내, 외부 인자를 직접 결정하는 것이 가능하고, 이 값들은 비선형 최적화를 위한 초기값을 구성하게 된다.
이제, 본 발명에 따라 동일한 카메라로부터 획득된 다수의 영상을 이용하는 카메라 교정 방법을 설명한다.
도 3a 내지 도 3d는 본 발명에 따른 다수의 카메라 교정 영상 예시도이다. 이에 도시된 바와 같이, 도 3a 내지 도 3d는 동일한 카메라에 의해 획득한 여러 장의 교정 상자 영상을 보여준다. 본 발명에 따른 카메라 교정 방법은 다른 각도, 다른 위치에서 교정상자를 여러 장 찍어 각각의 영상에 대해 상기한 방법으로 카메라 교정을 실시한다.
이러한 영상들은 최소 10장 이상~20장 정도를 획득한다. 획득한 각각의 영상에 대해 카메라는 불완전한 내, 외부 변수들을 주며 영상 개개의 내부 인자 값들은 상기한 여러 오차 요인에 의해 특정 평균값을 중심으로 오차를 가지면서 분포하게 된다.
도 4는 본 발명에 따른 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법 흐름도이다. 이하, 도 4를 참조하여 본 발명의 단계들을 구체적으로 설명한다.
카메라 내부 인자는 내부 행렬 A 내부에 다섯 개의 미지수를 포함하며, 평균을 통해 미지수를 계산하기 어려운 이유는 오차 값이 정규분포를 이루지 않기 때문이다. 그러나, 획득한 모든 영상은 동일한 카메라를 통해 입력된 영상이므로 하나의 내부 행렬을 가지고 있다고 가정할 수 있다.
이에 따라, 다중 영상으로부터 계산할 수 있는 내부 행렬을 다음과 같이 얻을 수 있다(S41).

(20)

는 갱신(updated)된 내부 행렬을 나타내며 정확한 내부 행렬값에 더 근접하게 된다고 가정한다. n은 실험에 사용한 영상의 갯수이다. 각각의 영상에 대해 계산된 내부 행렬을 중간값 계산을 통해 새로운 내부 행렬로 계산한다(S42).
이 후에, 이 행렬을 이용하여 각각의 영상에 대한 외부 변수들에 대해 비선형 최적화를 다시 수행한다(S43).

(21)
여기서 m은 각각의 영상에서 카메라 교정에 사용된 교정점의 개수를 나타낸다. 인덱스 i는 실험에 사용한 개개의 영상 인덱스를 나타낸다. 비선형 최적화를 위한 방법으로는 최급강하법(deepest descent method)를 사용할 수 있으며 수치계산용 MINPACK 라이브러리를 사용하여 외부 행렬의 값을 구하는 것이 가능하다.
일단, 식 (21)을통해

에 대해 최적화된

를 구한 후, 다시 이 값들을 사용하여 최적화된

를 계산하는 것이 가능하다.

의 최적화를 위해 동일한 비선형 최적화 수식을 사용한다.

(22)
이렇게 계산된 최적화된

값을 n개의 영상에 대해 차례로 구해낸다(S44). 예를 들면, 10장의 영상을 사용하였다면,

에서부터

까지 구하는 것이 가능하다. 새롭게 구해진 각각의 내부 행렬로부터 식 (20)의 중간값(median value) 연산을 다시 반복하게 된다.

(23)
이렇게 다시 구해진

값은 식 (21)로 재 입력되어 정해진 과정을 반복하게 된다. 본 발명은 여러장의 영상을 사용하는 카메라 교정으로부터 카메라 내부 행렬의 중립점을 구하면 이 값은 실제 카메라의 내부 행렬에 더 가까워 진다는 가정에 의한 것이다. 따라서, 비선형 최적화를 통한 반복된 중립점 계산으로부터 오차수렴을 통해 정확한 내부 행렬 A를 계산하는 것이 가능하게 된다.
각각의 영상에서 측정점과 3차원 기준점의 영상투영 사이의 오차 값은 식 (24)처럼 정의된다.

(24)

(25)
식 (24)는 상기한 과정이 반복될 때마다 점점 더 감소하게 되고 이것은 더욱 더 정밀한 카메라의 내부행렬 값이 구해진다는 것을 의미한다. n개의 영상에 대해 오차값의 합을 식 (25)처럼 정의하고

의 값이 더 이상 감소하지 않거나 감소량이 미미할 때 본 발명에 따른 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 단계는 종료된다(S45).
도 5는 본 발명에 따른 단계들의 반복에 의한 카메라 교정 변수 오차값의 수렴 설명도이다. 이와 같이, 도 4는 발명에서 제안된 방법의 반복(iteration) 동안 오차값

의 수렴을 보여준다.
카메라 교정에 사용된 영상은 모두 10장이 사용되었으며, 실험 동안 카메라의 내부 변수가 변하지 않는 조건에서 동일한 카메라를 사용하여 오차값을 분석한다. 사용된 카메라는 Logitech의 Communicate STX카메라가 사용되었으며 영상의 해상도는 320x240 픽셀의 영상이 사용되었다. 카메라 교정을 위한 교정상자는 가로, 세로 각각이 28mm크기의 체크패턴이 새겨진 서로 수직을 이루는 두 개의 면을 가진 상자를 사용하였으며, 교정에 사용된 특징점은 모두 72개이다. 교정상자가 영상면에 투영될 때, 정확한 영상 특징점을 추출하기 위해 Harris코너 추출연산자[6]를 사용하였다.

도 4는 실험에 사용한 첫 번째 다섯 개의 영상에 대한 오차값의 변화정도를 보여주고 있는데, 알고리즘의 반복 동안, 초기의 오차값은 일정한 값으로 감소되었으며 3번의 반복만으로도 오차값 수렴을 위해 충분하다는 것을 알 수 있다.

삭제

머신 비젼(Machine Vision)을 자동계측 및 지능로봇, 자율이동체 등의 시스템에 적용하기 위해서는 카메라를 이용하여 3차원 계측을 수행할 수 있는 기능을 포함하여야 한다. 관심 물체를 로봇이 파지하거나 장애물 검지 및 주행경로 작성 등을 위해서는 카메라를 이용한 3차원 영상계측이 필수적으로 필요하다. 머신비젼 시스템은 이를 위해 목표지점이나 지능형 에이전트를 둘러싸는 주변 환경과의 정확한 상대적 좌표계산이 필요하며 이를 위해서는 정확하게 교정된 계측용 카메라가 필수적이다.

영상정보를 이용한 계측시스템의 제작에서 카메라의 정확한 3차원 계측을 위해서는 정확한 카메라의 교정 변수를 구하는 것이 필수적이다. 교정인수들의 오차는 3차원 계측치수의 오차에 큰 영향을 미치게 되기 때문이다.

본 발명은 정확한 카메라의 교정인자를 구하기 위한 방법에 관한 것으로 3차원 측정 카메라의 정확도와 정밀도를 높이는데 기여하며 또, 이를 이용한 자동계측기, 지능로봇, 자율 이동체 등의 성능 향상에 기여할 수 있다.

Claims

동일한 카메라가 동일한 교정 상자를 각도 및 거리 중 적어도 하나가 상이한 다수의 위치에서 촬영하여, 얻어진 다수의 교정 영상에 대해 상기 카메라의 내부 및 외부 변수를 포함하는 상기 카메라에 대한 다수의 내부 행렬 A 을 계산하는 단계와;

상기 카메라에 대한 상기 다수의 내부 행렬에 대해 각각의 중간값 계산을 수행하여, 상기 카메라에 대한 상기 다수의 내부 행렬을 갱신하는 단계와, 여기서, 상기 중간값 계산은
을 통해 이루어지며, 상기 A1, A2, An은 상기 다수의 내부 행렬을 나타내고;

상기 갱신된 다수의 내부 행렬을 이용하여, 상기 다수의 내부 행렬의 외부 변수들에 대해 비선형 최적화를 수행하는 단계와;

상기 최적화된 외부 변수들을 이용하여, 상기 갱신된 다수의 내부 행렬을 재 갱신하는 단계를 포함하는 것을 특징으로 하는 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법.
제 1항에 있어서,

상기 재 갱신된 카메라 내부 행렬의 내부 및 외부 변수들에 의해 표현되는 영상 교정점과 영상 기준점 사이의 오차를 연산하는 단계와;

상기 연산된 오차와 미리 설정된 기준값을 비교하는 단계를 추가로 포함하고,

상기 연산된 오차가 상기 미리 설정된 기준값 이하가 될 때까지 상기 카메라 내부 행렬 갱신 단계, 상기 비선형 최적화 수행 단계 및 상기 카메라 내부 행렬 재 갱신 단계를 반복하는 것을 특징으로 하는 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정 방법.