KR20080016315A

KR20080016315A - 영상계측을 위한 카메라 교정방법

Info

Publication number: KR20080016315A
Application number: KR1020060078283A
Authority: KR
Inventors: 김민성; 김정현; 강동중; 이세호
Original assignee: 김민성
Priority date: 2006-08-18
Filing date: 2006-08-18
Publication date: 2008-02-21
Also published as: KR100837119B1

Abstract

본 발명의 영상계측을 위한 카메라 교정방법은, 교정점 패턴의 이미지를 입력받고 교정점의 중심좌표를 알기 위해, 이진화 및 라벨링에 의한 전처리를 수행하는 단계와; 최소한의 4점에 대한 월드좌표를 알려주기 위해, 이미지에서 교정점 4개를 선택하고, 그 사이에 들어가는 가로, 세로의 교정점 개수를 입력하는 단계; 4점에 대한 이미지 좌표와 월드 좌표로 평면 투사변환을 계산하여 평면투사변환 매트릭스 H를 구하는 단계; 월드좌표 상의 교정점의 좌표값과 상기 매트릭스 H를 구하는 단계에서 구한 H 매트릭스를 곱하여 투사변환으로 계산된 이미지 좌표의 매트릭스를 구하고, 입력받은 이미지 상에서의 라벨링된 영역의 중심값(좌표)과의 픽셀거리가 정해진 임계값 1(threshold 1) 보다 작은 좌표를 저장하는 단계; 상기 좌표를 저장하는 단계에서 저장된 월드 좌표, 이미지 좌표가 렌즈의 왜곡이 고려된 정확한 카메라 교정을 계산하기 위한 알고리즘의 입력값으로 사용하여, 싸이 교정을 수행하는 단계; 싸이 교정 후 월드 좌표와 카메라의 내, 외부 파라미터를 연산하여 이미지 좌표를 구함과 더불어 이미지 좌표와 카메라 파라미터들을 이용한 역투영 연산한 월드 좌표를 구하고, 이와 같이 구한 역투영 값과 입력으로 사용한 월드 좌표와의 유클리디안 거리의 평균으로 교정 에러를 계산해서, 에러값이 임계값 2(Threshold 2) 보다 작으면 알고리즘이 종료시키는 단계 및; 에러값이 임계값 2 보다 작지 않을 경우, 더 많은 입력값(월드 좌표, 이미지 좌표)을 찾아서 싸이 교정을 수행할 수 있도록 하는 단계를 구비하여 이루어진 것을 특징으로 한다.

Description

영상계측을 위한 카메라 교정방법{A CAMERA CALIBRATION METHOD FOR MEASURING THE IMAGE}

도 1은 영상계측을 위한 카메라 교정 시스템의 개략적인 블록도,

도 2는 카메라로 획득한 패턴 이미지를 나타낸 도면,

도 3은 이진화 결과를 나타낸 도면,

도 4는 영상 라벨링의 결과를 나타낸 도면,

도 5는 교정점의 부분 입력에 의한 반복적 카메라 교정방법에 대한 플로우차트,

도 6은 투시투영에 대한 평면 대 평면의 대응관계를 나타낸 도면,

도 7은 패턴 이미지에 투시 투영된 상태를 나타낸 도면,

도 8은 카메라 교정을 위한 추출점을 나타낸 도면,

도 9는 싸이 교정의 순서를 나타낸 도면,

도 10은 불균등 조명이 포함된 카메라 교정을 위한 패턴 이미지,

도 11은 카메라 교정을 위한 패턴 이미지의 이진화된 이미지를 나타낸 도면,

도 12는 이진화된 이미지의 흰색 영역 라벨링을 나타낸 도면,

도 13은 선택된 교정점 4개와 그 사이에 입력된 교정점을 나타낸 도면,

도 14는 사용자가 입력한 4점을 이용하여 sm = hM의 h 매트릭스의 해를 구한 결과를 나타낸 도면,

도 15는 h 매트릭스와 사용자가 입력한 정보를 곱하여 패턴이미지에 붉은색 십자표시로 나타낸 도면,

도 16은 교정점 추출을 위한 픽셀 거리 입력을 나타낸 도면,

도 17은 픽셀 거리값을 만족하는 31개의 교정점을 나타낸 도면,

도 18은 싸이 교정의 에러값을 나타낸 도면,

도 19는 112개의 교정점 추출을 나타낸 도면,

도 20a는 카메라 교정을 위한 구성의 개략도,

도 20b는 도 20a의 실제 구성을 나타낸 도면,

도 21은 P-1의 첫번째 반복에서의 교정점 추출결과를 나타낸 도면,

도 22는 P-1의 마지막 반복에서의 교정점 추출 결과를 나타낸 도면,

도 23은 P-3의 교정점 추출 결과를 나타낸 도면이다.

본 발명은 산업현장에서 비접촉 치수 계측을 위해 불균등 조명 조건에서도 정확한 카메라 교정(Camera Calibration)을 수행할 수 있는 영상계측을 위한 카메라 교정방법에 관한 것이다.

생산공정에서 치수 계측은 정밀성과 정확성 등을 생명으로 하며 산업현장에서 매우 중요한 역할을 한다. 카메라를 이용한 계측은 비접촉 방식으로 제품의 불량을 자동으로 검사하는 시스템에 많이 사용한다. 카메라를 이용한 치수 계측에는 카메라 교정의 선행이 필수적이다. 카메라 교정은 패턴에서 교정점들을 정확하게 추출할 수 있어야 하며, 평면 패턴을 사용하는 교정법은 최소 7개의 교정점을 추출할 수 있어야 한다. 그러나 계측기가 설치된 산업현장은 카메라 교정에 알맞은 조명을 기대하기 힘들다.

카메라 교정은 2차원 영상으로부터 정확한 메트릭 정보(metric information)을 추출하기 위한 3차원 비젼 기술의 일부분이다. 교정을 수행하는 방법은 크게 두 가지로 나뉘며 형태를 미리 알고 있는 기지의 패턴을 놓고 그것을 관찰함에 의해 교정을 수행하는 방법과 이와는 반대로 미리 알고 있는 형태를 놓지 않고 형태를 모르는 세계를 관측함에 의해 카메라 교정을 수행하는 방법이 존재한다. 전자의 방법은 치수가 미리 알려져 있는 매우 정밀한 형태의 카메라 교정패턴을 사용하여 카메라의 내부인자와 외부인자를 추정하는 방법으로 3차원 계측을 위한 카메라 교정에 일반적으로 사용되고 있는 기술이다. 이 방법의 범주에는 O.Faugeras에 의한 "Three-Dimensional Computer Vision: a Geometric Viewpoint. MIT press, 1993"(참고문헌 1)와, R.Y.Tsai에 의한 "A versatile camera calibration technique for high-accuracy 3d machine vision metrology using off-the-shelf tv cameras and lenses. IEEE Journal of Robotics and Automation, 3(4): 323-344, 1987"(참고문헌 2) 및, Z.Zhang에 의한 "A Flexible New Technique for Camera Calibration, Technical Report MSR-TR-98-71, Microsoft Corporation, 1998"(참고문헌 3)의 교정(Calibration)방법 등이 널리 알려져 있으며 일반적으로 포토메트릭(Photometric) 카메라 교정으로 알려져 있다.

정밀한 교정패턴을 사용함에 의해 상대적으로 정확한 카메라 계수들을 얻는 것이 가능하며 평면패턴을 사용하는 방법(참고문헌 1,3)과 서로 평행하지 않은 다면을 가진 패턴을 사용하는 방법(참고문헌 1,2) 등이 존재한다. 교정패턴을 사용하지 않는 방법은 자율교정(Self-calibration)으로 알려져 있으며, Q.t.Luong and O.Faugeras에 의한 "Selft-calibration of a moving camera from point correspondences and fundamental matrices, Int. J. Computer Vision, 22(3):261-289, 1997."(참고문헌 4)와, S.J.Maybank and O.Faugeras에 의한 "Atheory of self-calibration of a moving camera, Int. J. Computer Vision, 8(2):123-152, 1992"(참고문헌 5) 등의 연구가 자율교정에 속한다.

카메라를 미지의 정적인 구조물이나 물체를 움직이면서 영상을 획득하고 이미지 정보만을 이용하여 카메라의 내부인자들에 대한 제한조건(constraits)들을 유도함에 의해 내부인자를 추정한다. 만일 변하지 않고 고정된 내부인자를 가진 카메라에 의해 영상을 획득한다면 세 장의 영상 특징점 사이의 대응점 정보는 카메라의 내, 외부 파라메터들을 추정하기 위한 충분한 정보를 공급한다. 이러한 방법은 교정패턴을 필요로 하지 않는 등의 장점이 있으나 계측을 위한 정확한 카메라의 인자들을 제공하는 데는 한계가 있으므로 주로 멀티미디어 응용분야에 많이 사용되고 있다.

본 발명은 상기한 점을 감안하여 발명된 것으로, 최적 조명제어가 어려운 산업현장에서 치수계측을 위한 카메라 교정을 효과적으로 수행할 수 있는 반자동 카메라에서의 영상계측을 위한 카메라 교정방법을 제공함에 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 영상계측을 위한 카메라 교정방법은, 교정점 패턴의 이미지를 입력받고 교정점의 중심좌표를 알기 위해, 이진화 및 라벨링에 의한 전처리를 수행하는 단계와; 최소한의 4점에 대한 월드좌표를 알려주기 위해, 이미지에서 교정점 4개를 선택하고, 그 사이에 들어가는 가로, 세로의 교정점 개수를 입력하는 단계; 4점에 대한 이미지 좌표와 월드 좌표로 평면 투사변환을 계산하여 평면투사변환 매트릭스 H를 구하는 단계; 월드좌표 상의 교정점의 좌표값과 상기 매트릭스 H를 구하는 단계에서 구한 H 매트릭스를 곱하여 투사변환으로 계산된 이미지 좌표의 매트릭스를 구하고, 입력받은 이미지 상에서의 라벨링된 영역의 중심값(좌표)과의 픽셀거리가 정해진 임계값 1(threshold 1) 보다 작은 좌표를 저장하는 단계; 상기 좌표를 저장하는 단계에서 저장된 월드 좌표, 이미지 좌표가 렌즈의 왜곡이 고려된 정확한 카메라 교정을 계산하기 위한 알고리즘의 입력값으로 사용하여, 싸이 교정을 수행하는 단계; 싸이 교정 후 월드 좌표와 카메라의 내, 외부 파라미터를 연산하여 이미지 좌표를 구함과 더불어 이미지 좌표와 카메라 파라미터들을 이용한 역투영 연산한 월드 좌표를 구하고, 이와 같이 구한 역투영 값과 입력으로 사용한 월드 좌표와의 유클리디안 거리의 평균으로 교정 에러를 계산해서, 에러값이 임계값 2(Threshold 2) 보다 작으면 알고리즘이 종료시키는 단계 및; 에러값이 임계값 2 보다 작지 않을 경우, 더 많은 입력값(월드 좌표, 이미지 좌표)을 찾아서 싸이 교정을 수행할 수 있도록 하는 단계를 구비하여 이루어진 것을 특징으로 한다.

또한, 이진화의 임계값이 0~255 밝기값의 중간값인 128을 사용하고, 128을 기준으로 작은 값은 검은색(0)으로 영상처리하면서 큰 값은 흰색(255)으로 영상처리하도록 된 것을 특징으로 한다.

(실시예)

이하, 예시도면을 참조하면서 본 발명에 따른 실시예를 상세히 설명한다.

도 1은 영상계측을 위한 카메라 교정 시스템의 개략적인 블록도이다.

먼저, 패턴이미지 캡쳐부(1)에서 카메라를 교정하기 위해 패턴이미지를 캡쳐하고, 이어 이미지 전처리부(2)에서 이진화 및 라벨링을 수행하여 이미지를 전처리한 다음, 사용자 설정부(3)에서 사용자가 필요한 데이터를 입력하게 된다.

이어, 대응점 추출부(4)에서 투시투영(Perspective Projection)에 의해 1차 대응점을 추출하고, 싸이(Tsai) 교정부(5)에서 싸이 교정(Tsai Calibration)을 이용하여 파라미터를 구한 다음, 평가부(6)에서 카메라 교정 결과를 평가하게 된다.

상기 대응점 추출부(4)와 싸이 교정부(5) 및 평가부(6)는 불균등 조명의 제약에 강인한 카메라 교정방법 시스템(7)을 형성하게 된다. 이와 같이 평가부(6) 에서 카메라 교정 결과의 평가가 이루어지면, 교정 종료부(8)에서 카메라 교정을 종료하게 된다.

이러한 카메라 교정 시스템에 따르면, 사용자로부터 교정패턴의 이미지상에 존재하는 4점의 좌표 및 선택된 점들 사이의 점의 개수를 입력받고 교정패턴 평면을 영상평면으로 평면 투사 변환(Perspective Transformation)하여 교정점의 영상 상의 위치를 예측한 후, 잡음에 의한 오류 점들을 배제한 교정점 만을 추출한다. 이어, 추출된 교정점들의 좌표는 싸이 교정의 입력값으로 사용되고 카메라 교정의 결과가 허용 오차 보다 작을 때까지 교정점 추출과 싸이 교정을 반복하여 정확한 카메라 교정을 도출할 수 있게 된다.

도 2는 카메라로 획득한 패턴 이미지를 나타낸 것이고, 도 3은 이진화 결과를 나타낸 도면이며, 도 4는 영상 레벨링의 결과를 나타낸 도면이다.

즉, 도 2에서와 같이 획득된 패턴 이미지는 도 3에 도시된 바와 같이 0과 255로 이진화되고, 영상내의 교정점들을 추출하기 위해 255의 값에 대하여 영상 라벨링을 수행한다. 이에 따라 도 4에 도시된 바와 같이 조명이 제어되지 않은 상태에서의 라벨링된 영역은 잡음에 의한 추출점과 정확한 교정점들이 섞여 있다.

다음에, 사용자는 4개의 교정점을 선택하고, 그 점 사이의 가로, 세로 점 개수를 입력한다. 입력된 4점의 좌표로 투시투영을 수행하여 호모그래피 매트트릭스(Homography Matrix)를 구한다. 입력받은 가로, 세로의 크기로 패턴의 3차원 월드(world) 좌표(정확한 간격으로 그려진 대응점의 패턴에서 가로, 세로 mm값)를 만들고 앞서 계산된 호모그래피 매트릭스에 투영한 결과와 이미지 상의 라벨링된 중심 좌표의 허용오차 거리가 적은 점만을 추출한다.

이러한 점들은 잡음이 아닌 교정점이라고 가정하며 싸이 교정의 입력 값으로 사용된다. 싸이 교정의 결과가 허용 오차 보다 작을 경우는 시스템을 마치게 되고 아닌 경우는 선행한 싸이 교정의 내, 외부 파라미터를 이용하여 월드(world) 좌표를 다시 투영(projection)한다. 투영된 좌표들로 이미지에 라벨링된 중심 좌표 중 잡음이 아닌 더 많은 교정점을 추출할 수 있다. 추출된 좌표들로 다시 싸이 교정을 재수행하고 교정 결과가 허용오차 보다 작을 때까지 이 단계를 반복하게 되며 불균등 조명에 의한 잡음이 포함되어 있는 패턴에서도 정확한 카메라 교정 결과를 도출할 수 있게 된다.

도 5는 상기한 교정점의 부분 입력에 의한 반복적 카메라 교정방법에 대한 플로우차트로서, 이를 구체적으로 설명하면 다음과 같다.

먼저, 단계 1에서 교정점 패턴의 이미지를 입력받고 교정점의 중심좌표를 알기 위해 전처리를 수행하게 된다. 여기서, 입력받은 이미지는 산업 현장의 불균등한 조명에 의해 잡음이 포함되어 있게 된다. 단계 1의 전처리에서는 이진화(binarization)와 라벨링(labelling) 등을 수행하게 되는데, 이진화의 임계값(threshold)은 0~255 밝기값의 중간값인 128을 사용한다. 128을 기준으로 작은 값은 검은색(0), 큰 값은 흰색(255)으로 영상처리 한다. 그리고, 라벨링은 인접한 픽셀의 덩어리들에 번호를 부여하는 처리방법으로, 교정점과 잡음덩어리들이 포함되어 있다.

다음에, 단계 2에서는 이미지에서 교정점 4개를 선택하고, 그 사이에 들어가 는 가로, 세로의 교정점 개수를 입력한다. 이것은 최소한의 4점에 대한 월드(world) 좌표를 알려주는 입력 단계이다.

다음에, 단계 3에서 4점에 대한 이미지 좌표와 월드 좌표로 평면 투사변환(Perspective transformation)을 계산하여 평면투사변환 매트릭스 H를 구한다.

다음에, 단계 4에서 입력부에서 얻은 가로, 세로 교정점의 개수는 일정한 간격인 월드좌표 상에서 교정점의 좌표를 알려주게 되는데, 이 월드좌표 상의 교정점의 좌표값과 단계 3에서 구한 H 매트릭스를 곱하여 투사변환으로 계산된 이미지 좌표의 매트릭스를 구한다. 그리고, 입력받은 이미지 상에서의 라벨링된 영역의 중심값(좌표)과의 픽셀거리가 정해진 임계값 1(threshold 1) 보다 작은 좌표를 저장한다. 여기서, 픽셀거리는 유클리디안 거리(Eucledian distance)법으로 계산하였다. 이 단계에서는 렌즈의 왜곡이 고려되지 않은 기하학적 변환만을 고려하는 단계이다.

다음에, 단계 5에서는 단계 4에서 저장된 월드 좌표, 이미지 좌표가 렌즈의 왜곡이 고려된 정확한 카메라 교정을 계산하기 위한 알고리즘의 입력값으로 사용하여, 싸이 교정을 수행한다.

다음에, 단계 6에서 싸이 교정 후 월드 좌표와 카메라의 내, 외부 파라미터를 연산하여 이미지 좌표를 구한다. 또한, 이미지 좌표와 카메라 파라미터들을 이용한 역투영 연산한 월드 좌표를 구한다. 이와 같이 구한 역투영 값과 입력으로 사용한 월드 좌표와의 유클리디안 거리의 평균으로 교정 에러(Calibration Error)를 계산한다. 이 에러값이 임계값 2(Threshold 2) 보다 작으면 알고리즘이 종료되고, 만족하지 않으면 단계 7로 진행한다.

단계 7에서는 더 많은 입력값(월드 좌표, 이미지 좌표)을 찾아서 싸이 교정을 수행할 수 있도록 한다. 여기서의 오차값은 렌즈 왜곡이 고려된 싸이 교정에 의한 영상투영이므로 보다 정확한 값을 나타낸다. 즉, 단계 7에서는 싸이 교정의 연산에서 구해진 내, 외부 파라미터와 입력으로 알고 있는 월드 좌표를 연산하여 이미지 좌표를 구한다. 이 이미지 좌표는 렌즈의 왜곡이 정확하게 반영된 결과로 앞서 구한 투사 변환(Perspective Transformation) 보다 더 많은 좌표를 이미지에서 찾아 낼 수 있으며 다음 단계에서 좀 더 많은, 정확한 점을 반복 단계에서 사용할 수 있다.

이와 같이 본 실시예에서는 불균등 조명에서도 투시투영을 이용하여 최초 싸이 교정을 수행하기 위한 입력좌표를 간단하게 추출할 수 있도록 사용하였다.

도 6은 투시투영에 대한 평면 대 평면의 대응관계를 나타낸 것이다. 도 6에서는 렌즈 왜곡이 고려되어 있지 않으므로 카메라 교정의 방법으로 부적합 하지만 4개의 교정점으로 투영 매트릭스(Projection Matrix)를 만들 수 있어 싸이 교정을 시작하기 위한 방법으로 용이하다.

하기의 식 (1)은 패턴에 교정점의 월드(world) 좌표와 이미지의 교정점 좌표(모니터에 그려진 가로, 세로위치의 픽셀값)의 관계를 호모그래피 매트릭스로 나타내고 있다.

식 (1)

여기서, s는 스케일(scale)값으로 호모그래피 매트릭스 요소들의 크기가 제한될 수 있도록 h ₃₃ = 1로 제한 조건을 부과한다. 하기의 식 (2) 및 (3)은 상기 식 (1)을 전개하여 호모그래피 매트릭스 요소를 재정리한 것이다.

식 (2)

식 (3)

식 (3)으로부터 식 (4)의 Pseudo-inverse를 이용하여 평면변환행렬의 요소값 h ₁₁∼h ₃₂를 구할 수 있다.

식 (4)

도 7은 패턴 이미지에 투시 투영된 상태를 나타낸 도면이고, 도 8은 카메라 교정을 위한 추출점을 나타낸 것이다. 즉, 호모그래피 매트릭스가 구해지면 입력받은 점의 개수로 월드(world) 좌표를 만들어 패턴 이미지에 투영하고( 도 7), 오차가 적은 점들만 추출하게 된다(도 8).

도 3에서 녹색은 라벨링된 영역의 중심점이고, 적색은 투영(Projection)된 좌표점이다. 또한, 도 4에서 적색은 픽셀 허용오차 거리가 2.0 보다 작은 추출된 이미지에서 교정점의 좌표 위치이다.

다음에, 추출한 교정점들을 이용하여 싸이 교정을 수행한다. 싸이 교정은 내, 외부 파라미터를 구하는 방법으로, 내부 파라미터는 카메라의 광학, 기하학, 디지털샘플링 등에 관련된 특성을 규정하는데 필요한 파라미터이고, 외부 파리미터는 미지의 카메라 기준 좌표와 월드(world) 기준좌표 사이의 변환관계를 유일하게 규정하는 파라미터이다.

도 9는 싸이 교정의 순서를 나타낸 것으로, 이러한 순서에 따라 싸이 교정이 계산된다.

먼저, 단계 1에서는 월드 좌표계(Xw, Yw, Zw)로부터 카메라 좌표계(x, y, z)로의 리지드 바디 변환(rigid body transformation)을 수행한다.

이어, 단계 2에서 투시 투영(Perspective projection)과 핀홀(pinhole) 카메라의 원리를 이용하여 3차원 카메라 좌표계(x, y, z)로부터 이상(ideal) 영상 좌표계(Xu, Yu)로의 변환을 수행한다.

이어, 단계 3에서 래디얼 렌즈 왜곡(Radial Lens distortion)을 계산한다.

다음에, 단계 4에서 실제 영상 좌표(Xd, Yd)로부터 컴퓨터 영상좌표계(Xf, Yf)로의 변환을 수행한다.

이하, 도 10 내지 도 23을 이용하여 본 발명의 구체예에 대해 설명한다.

도 10은 불균등 조명이 포함된 카메라 교정을 위한 패턴 이미지로서, 교정점의 간격은 10mm의 간격으로 배열되어 있고, 불균등한 조명에 의한 잡음이 포함되어 있다.

도 11은 카메라 교정을 위한 패턴 이미지의 이진화된 이미지를 나타낸 것으로, 교정점의 추출을 위해 이미지를 전처리하게 된다. 흰색 255값과 검은색 0의 중간값인 128값을 기준으로 픽셀의 값이 128보다 높으면 255 낮으면 0으로 처리한다.

도 12는 이진화된 이미지의 흰색 영역 라벨링을 나타낸 것으로, 이진화된 이미지는 교정점의 위치를 알기 위해 흰색의 영역에 라벨링을 수행하게 되는데, 흰색 영역에는 수많은 잡음도 같이 라벨링 되어 있음을 보이고 있다.

도 13은 선택된 교정점 4개와 그 사이에 입력된 교정점을 나타낸 것으로, 사용자는 가로, 세로의 일직선상에 교정점 4개를 선택하고, 그 사이에 교정점 개수를 입력한다. 도 13에서 파랑색의 사각형이 사용자가 선택한 교정점이다.

도 14는 사용자가 입력한 4점을 이용하여 sm = hM의 h 매트릭스의 해를 구한 결과를 나타낸 것으로, 구하여진 h의 값은 다음과 같다.

h = [4.656268 0.035514 -21.870415 0.011126 4.642223 -17.478506

0.000114 0.000076]'

도 15는 h 매트릭스와 사용자가 입력한 정보를 곱하여 패턴이미지에 붉은색 십자표시로 나타낸 도면으로, 녹색은 라벨링된 영역의 중심 좌표를 나타낸다

도 16은 교정점 추출을 위한 픽셀 거리 입력을 나타낸 도면이고, 도 17은 픽셀 거리값을 맞족하는 31개의 교정점을 나타낸 도면이다. 도 16에서는 투영된 좌표(붉은색)와 교정점 중심 좌표(녹색)의 픽셀 거리가 임계값 1(Thresold 1) 보다 작은 값만 추출하게 되고, 도 17에서는 최초 시행되는 싸이 교정의 입력값으로 31개가 사용되고 있는 것을 나타내고 있다. 도 16, 17의 다이얼로그 창은 실험을 위한 창으로 현장에서 사용하는 교정툴에서는 나타나지 않게 된다.

도 18은 싸이 교정의 에러값을 나타낸 것으로, sm = PM의 식에서 P(싸이 교정 파라미터)와 m의 매트릭스를 값으로 구한 M과 실제 싸이 교정에서 쓰인 M의 유클리디안 거리의 평균값이다. 최초 에러율은 0.105677로서 싸이 교정의 내, 외부 파라미터를 이용하여 다시 월드 좌표를 투영해서 싸이 교정의 에러율이 임계값 2(Thresold 2)의 값보다 작거나 에러율의 변화가 없을 때까지 이 과정을 반복한다.

도 19는 112개의 교정점 추출을 나타낸 것으로, 노랑색으로 표시한 좌표가 싸이 교정 후에 추출된 좌표로서, 112개의 더 많은 교정점이 추출되었음 보이고 있다. 호모그래피(Homography)(plane-to-plane mapping)에서는 렌즈 왜곡에 의해 영상의 가장자리가 휘기 때문에 31점이 입력되었으나, 반복적 카메라 교정에 대해 재입력되는 교정점은 112개로 늘어나게 되어, 더 정확한 카메라 교정이 가능하게 된다.

도 20a는 카메라 교정을 위한 구성의 개략도를 나타낸 것이고, 도 20b는 도 20a의 실제 구성을 나타낸 것으로, 영상획득을 위한 영상처리 보드(Matrox meteor II)로 이루어진 영상획득장치와, 카메라(Sony XC-75 FA 카메라)를 사용하고 있다. 카메라 교정을 위한 패턴점은 원형점이고, 10mm의 간격으로 900mm × 100mm의 크기로 되어 있다. 또한, Pentium-4 2.0Ghz로 이루어진 제어용 컨트롤러와, 교정 타켓(calibration target) 및, 할로겐 조명을 포함한다.

표 1은 조명잡음이 없는 P-1, P-2와 조명잡음이 발생한 P-3, P-4 패턴이미지의 카메라 교정 실험결과이다. 3번의 최적화 반복 동안 추출된 교정점의 개수와 싸이 교정 에러를 나타내고 있다. 교정 에러(Calibration Error)는 교정점 좌표를 역투영하여 월드 좌표와의 거리를 평균하였다.

표 1

잡음		반복-1		반복-2		반복-3
잡음		추출된 교정점 개수	교정 에러	추출된 교정점 개수	교정 에러	추출된 교정점 개수	교정 에러
No	P-1	33	0.128670	130	0.107300	130	0.098331
No	P-2	99	0.131076	158	0.108006	160	0.117237
Yes	P-3	70	0.103283	113	0.140141	113	0.134100
Yes	P-4	91	0.170282	188	0.137337	188	0.147177

도 21은 P-1의 첫번째 반복에서의 교정점 추출결과를 도시하고 있고, 도 22는 P-1의 마지막 반복에서의 교정점 추출 결과를 도시하고 있으며, 도 23은 P-3의 교정점 추출 결과를 도시하고 있다.

즉, 도 21, 도 22, 도 23은 실제 결과를 보여주는 그림으로, 노랑색이 추출된 점이고, 파랑색은 월드 좌표를 이미지로 투영한 점이며, 녹색은 라벨링된 영역의 중심점이다.

이상 설명한 바와 같이 본 발명에 의하면, 산업 현장에서의 불균등 조명조건에서 카메라 교정을 간편하고 정확하게 계산할 수 있도록 된다. 즉, 패턴이미지에 조명 잡음이 발생하더라도 사용자가 입력한 4점 정보를 이용하여 자동으로 최적의 카메라 교정 파라미터 값을 구함으로써 산업현장의 조명 특성에 무관하게 정확한 카메라 교정을 실시 할 수 있게 된다. 따라서, 조명의 제어가 힘들어 모든 카메라 교정점들이 선명하게 추출되지 않는 상황에서 가시화 상태가 좋은 일부 몇 개의 점만이 추출되어도 이러한 정보만을 이용하여 우수한 카메라 교정을 달성할 수 있도록 된다.

Claims

교정점 패턴의 이미지를 입력받고 교정점의 중심좌표를 알기 위해, 이진화 및 라벨링에 의한 전처리를 수행하는 단계와;

최소한의 4점에 대한 월드좌표를 알려주기 위해, 이미지에서 교정점 4개를 선택하고, 그 사이에 들어가는 가로, 세로의 교정점 개수를 입력하는 단계;

4점에 대한 이미지 좌표와 월드 좌표로 평면 투사변환을 계산하여 평면투사변환 매트릭스 H를 구하는 단계;

월드좌표 상의 교정점의 좌표값과 상기 매트릭스 H를 구하는 단계에서 구한 H 매트릭스를 곱하여 투사변환으로 계산된 이미지 좌표의 매트릭스를 구하고, 입력받은 이미지 상에서의 라벨링된 영역의 중심값(좌표)과의 픽셀거리가 정해진 임계값 1(threshold 1) 보다 작은 좌표를 저장하는 단계;

상기 좌표를 저장하는 단계에서 저장된 월드 좌표, 이미지 좌표가 렌즈의 왜곡이 고려된 정확한 카메라 교정을 계산하기 위한 알고리즘의 입력값으로 사용하여, 싸이 교정을 수행하는 단계;

싸이 교정 후 월드 좌표와 카메라의 내, 외부 파라미터를 연산하여 이미지 좌표를 구함과 더불어 이미지 좌표와 카메라 파라미터들을 이용한 역투영 연산한 월드 좌표를 구하고, 이와 같이 구한 역투영 값과 입력으로 사용한 월드 좌표와의 유클리디안 거리의 평균으로 교정 에러를 계산해서, 에러값이 임계값 2(Threshold 2) 보다 작으면 알고리즘이 종료시키는 단계 및;

에러값이 임계값 2 보다 작지 않을 경우, 더 많은 입력값(월드 좌표, 이미지 좌표)을 찾아서 싸이 교정을 수행할 수 있도록 하는 단계를 구비하여 이루어진 것을 특징으로 하는 영상계측을 위한 카메라 교정방법.
제1항에 있어서, 이진화의 임계값이 0~255 밝기값의 중간값인 128을 사용하고, 128을 기준으로 작은 값은 검은색(0)으로 영상처리하면서 큰 값은 흰색(255)으로 영상처리하도록 된 것을 특징으로 하는 영상계측을 위한 카메라 교정방법.