KR20150101484A - 카메라 보정 방법 및 이에 대한 시스템 - Google Patents

Abstract

카메라를 보정하는 시스템 및 방법은 에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동할 수 있도록 기계식 액추에이터에 설치되는 에너지원 및 보정될 카메라를 포함한다. 프로세서는 에너지원, 기계식 액추에이터 및 카메라에 연결되고, 보정 대상 패턴 상의 복수의 이산점을 통해 에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동하도록 기계식 액추에이터를 제어하기 위해 프로그램된다. 프로세서는 각각의 이산점에서 디지털 이미지를 촬영하고, 각각의 이미지에서 렌즈 왜곡 특성화를 수행하기 위해 카메라를 제어한다. 카메라의 초점 길이는 카메라에 연결된 임의의 렌즈를 포함하도록 결정되며, 그 다음 각각의 이미지에 대한 외부 카메라 위치가 결정된다.

Description

카메라 보정 방법 및 이에 대한 시스템{A METHOD OF CALIBRATING A CAMERA AND A SYSTEM THEREFOR}

본 출원은 카메라 보정 방법 및 이에 대한 시스템에 관한 것이다.

방법은 먼저 렌즈 왜곡을 특징으로 하여, 초점 길이를 결정하며, 최종으로 카메라의 외부 위치를 결정한다.

위의 방법을 이용하여, 본 발명은 개선된 카메라 보정 방법 및 이에 대한 시스템을 제공한다.

예시적인 일 실시예에 따르면, 카메라를 보정하는 시스템은:

에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동할 수 있도록 기계식 액추에이터에 설치되는 에너지원 및 보정될 카메라;

에너지원, 기계식 액추에이터 및 카메라에 연결된 프로세서를 포함하는데, 프로세서는:

보정 대상 패턴 상의 복수의 이산점을 통해 에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동하도록 기계식 액추에이터를 제어하고;

각각의 이산점에서, 디지털 이미지를 촬영하기 위해 카메라를 제어하고;

각 이미지에서 렌즈 왜곡 특성화(characterization)를 수행하고;

카메라에 연결된 임의의 렌즈를 포함하는 카메라의 초점 길이를 결정하며;

각 이미지에 대한 외부 카메라 위치를 결정하도록 프로그램된다.

프로세서는:

왜곡 보정 모델을 선택하여, 이러한 모델이 관찰된 왜곡을 보정하기 위한 매개 변수의 초기 추정치를 결정하고;

샘플링된 라인을 따라 공동 선형점을 측정하고 정량화하는 선의 일직선 메트릭(line straightness metric)을 선택하며;

선의 일직선 메트릭을 이용하여 왜곡 보정된 이미지의 라인까지 초기 추정된 매개 변수를 수치상 리파이닝(numerically refining)함으로써 렌즈 왜곡 특성화를 수행할 수 있다.

프로세서는:

초기 초점 길이를 선택하고;

시퀀스의 각 점에서 에너지원의 초기 초점 길이, 물리적 픽셀 크기, 왜곡되지 않은 이미지 좌표, 및 각 이산점에 대해 카메라의 위치를 결정하기 위해 시퀀스의 각 점에서의 기계식 액추에이터의 정확한 위치와 조합하여 알고리즘을 이용하고;

카메라 위치가 얼마나 단단히 클러스터하는 지를 판단하며;

결정된 이산점이 가장 단단히 팩(pack)될 때까지 초기 초점 길이를 수치상 리파이닝함으로써 초점 길이를 결정할 수 있다.

프로세서는:

한 다발(bundle)의 기하학적 형상 기반의 벡터를 생성하고, 한 다발의 이미지 처리 기반의 벡터를 생성하며;

두 다발의 벡터의 유사성을 측정하기 위해 메트릭을 선택하고;

다발의 벡터의 유사성을 최대화하기 위해 에너지원에 대해 카메라의 추정된 위치를 리파이닝함으로써 외부의 카메라 위치를 결정할 수 있다.

일례에서, 디지털 이미지가 캡처된 후, 프로세서는 다음과 같은 이미징 처리 단계:

이미지의 인접한 픽셀의 어떤 영역이 선택된 임계값보다 높은 강도를 갖는지를 판단하는 단계;

이러한 영역, 및 픽셀의 좌표 및 강도와 함께 각 영역에 속하는 픽셀의 리스트를 생성하는 단계;

카메라, 렌즈 및 에너지원의 특성에 의해 결정되는 너무 적거나 너무 많은 구성 픽셀을 가진 임의의 영역을 이러한 리스트로부터 제거하는 단계;

이러한 리스트로부터 형상 기준을 충족하지 않는 모든 영역을 제거하는 단계; 및

가장 큰 나머지 영역의 중심을 결정하는 단계를 추가로 수행한다.

프로세서는 타원을 영역의 픽셀에 맞추어 이의 중심을 이용하거나 영역의 픽셀의 중력 중심을 계산함으로써 중심을 결정할 수 있다.

형상 기준은 대칭일 수 있으며, 대칭은 발생된 최초 픽셀에서 발생된 마지막 픽셀까지의 거리의 측면에서 가장 긴 프로파일을 생성하는 영역을 통해 단면을 찾으며, 이러한 거리를 가장 긴 축에 수직인 선을 이용할 때 획득된 것과 비교함으로써 테스트된다.

일례에서, 프로세서는 점의 시퀀스가 수개의 세트로 분할되도록 기계식 액추에이터를 이동하기 위해 기계식 액추에이터를 제어하는데, 각 세트는 평면에서의 적어도 3 점, 및 다른 점에 의해 정의된 평면에서 적어도 하나의 점을 포함한다.

이러한 점의 정확한 상대 변위는 기계식 액추에이터로부터의 위치 피드백을 이용하여 프로세서에 의해 알려진다.

예를 들면, 각 세트는 동일한 상대 위치를 가진 이산점의 새로운 세트를 산출하기 위해 변환되지 않은 표준 세트점에 상이한 6 자유도(degree of freedom)의 병진(translational) 및 회전 오프셋을 적용함으로써 생성된다.

다른 예시적인 실시예에 따르면, 카메라를 보정하는 방법은:

보정 대상 패턴 상의 복수의 이산점을 통해 에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동하도록 기계식 액추에이터를 제어하는 단계;

각각의 이산점에서, 카메라로 디지털 이미지를 촬영하는 단계;

각 이미지에서 렌즈 왜곡 특성화를 수행하는 단계;

카메라에 연결된 임의의 렌즈를 포함하는 카메라의 초점 길이를 결정하는 단계; 및

각 이미지에 대한 외부 카메라 위치를 결정하는 단계를 포함한다.　

도 1은 디지털 카메라를 보정하는 예시적인 시스템을 도시한다.
도 2는 도 1의 시스템의 프로세서를 예시한 블록도이다.

여기에 설명된 시스템 및 방법은 카메라를 보정하는 방법 및 이에 대한 시스템에 관한 것이다.

본 발명은 내부 및 외부 매개 변수(intrinsic and extrinsic parameter)의 측면에서 임의의(알려진) 감도 스펙트럼의 카메라를 특징으로 한다. 내부 매개 변수는 카메라의 이미징 전자 장치로의 관찰된 실제 장면(real-world scene)의 투영(projection)에 영향을 미치는 매개 변수이며, 이러한 매개 변수는 렌즈 왜곡 매개 변수, 렌즈의 초점 길이, 픽셀의 크기, 및 렌즈의 광축에 대한 이미징 전자 장치의 직교성(orthoganilty) 중 적어도 하나를 포함한다.

외부 매개 변수는 기준점에 대한 카메라가 어디인지, 및 선택된 축 정의에 대한 방향이 무엇인지 중 적어도 하나를 정의한다.

첨부된 도면을 참조하면, 시스템(10)은 적어도 하나의 카메라(12) 및/또는 적어도 하나의 에너지원(14)을 포함한다.

다수의 카메라(12) 및 다수의 에너지원(14)이 이용될 수 있다고 인식될 것이다.

시스템은 또한 에너지원 및/또는 카메라에 연결된 프로세서(16)를 포함한다. 프로세서(16)는 기능이 아래에 더욱 상세히 설명되는 다수의 모듈을 포함한다.

예시적인 일 실시예에서, 아래에 설명되는 모듈은 머신에 의해 실행될 때 머신이 상술한 방법 중 어느 하나를 수행하도록 하는 명령어를 실시하는 머신 판독 가능한 매체에 의해 구현될 수 있다.

예시적인 다른 실시예에서, 모듈은 특히 여기에 설명된 방법을 실행하기 위해 프로그램된 펌웨어를 이용하여 구현될 수 있다.

본 발명의 실시예는 이러한 아키텍처로 제한되지 않고, 분산된 또는 피어 투 피어(peer-to-peer) 아키텍처 시스템에서 적용을 동등하게 찾을 수 있다고 인식될 것이다. 따라서, 예시된 모듈은 하나 이상의 기관에 의해 운영되는 하나 이상의 서버에 위치될 있다.

또한, 이러한 경우 중 어느 하나에서, 모듈은 특히 여기에 설명된 방법의 단계를 실행하기 위한 물리적 모듈을 가진 물리적 장치를 형성한다는 것이 인식될 것이다.

메모리(28)는 프로세서(16)에 연결된다.

예시적인 실시예에서, 위의 보정을 수행하기 위해, 로봇 팔의 형태의 기계식 액추에이터(18)는 카메라의 시야에서 에너지원을 이동하는 데 이용 된다.

예시적인 실시예에서, 기계식 액추에이터(18)는 프로세서(16)의 제어 하에 (도시되지 않은) 서보 모터에 의해 이동할 수 있다.

임의의 주어진 시간에 로봇 팔(18)의 위치는 알려져 있으며, 카메라는 에너지원 의 이미지를 캡처한다.

로봇 팔 및 에너지원의 전망(view)을 포함하는 각 이미지는 카메라에 의해 캡처되고, 프로세서(16)로 전달된다. 카메라(12)는

노출 기간이 감소되었고/되었거나, 렌즈의 조리개가 개방되어 에너지원이 배경의 대부분을 제거하면서 볼 수 있도록 구성되었을 수 있다. 아래에 상세히 설명되는 알고리즘은 이것이 행해진 것과 무관하게 작업하고, 가시적인 에너지원을 가진 단일 이미지만을 필요로 한다.

프로세서(16)는 첫째로 렌즈 왜곡을 특징으로 하고, 초점 길이를 결정하며, 최종으로 카메라의 외부 위치를 결정한다. 이러한 단계는 아래에서 더욱 상세히 정의될 것이다.

디지털 이미지가 캡처된 후, 위의 방법을 구현하기 위해 다음과 같이 이미지 처리 단계는 이미지 처리 모듈(20)에 의해 수행된다:

1) 이미지의 인접한 픽셀의 어떤 영역이 선택된 임계값보다 높은 강도를 갖는지를 판단한다. 이러한 영역, 및 픽셀의 좌표 및 강도와 함께 각 영역에 속하는 픽셀의 리스트를 생성한다.

2) 카메라, 렌즈 및 에너지원의 특성에 의해 결정되는 너무 적거나 너무 많은 구성 픽셀을 가진 임의의 영역을 이러한 리스트로부터 제거한다.

3) 이러한 리스트로부터 대칭과 같은 형상 기준을 충족하지 않는 모든 영역을 제거한다. 대칭은 발생된 최초 픽셀에서 발생된 마지막 픽셀까지의 거리의 측면에서 가장 긴 프로파일을 생성하는 영역을 통해 어떤 단면을 찾음으로써 테스트된다. 이러한 거리는 가장 긴 축에 대한 수직선을 이용할 때 획득된 것과 비교된다. 두 거리의 비율이 1에서 특정된 델타 보다 크면, 영역은 폐기된다.

4) 가장 큰 나머지 영역의 중심이 탐색된다. 이러한 중심은 타원을 영역의 픽셀에 맞추어 이의 중심을 이용하거나 영역의 픽셀의 중력 중심을 계산하는 것과 같은 수단에 의해 찾아질 수 있다.

그 다음, 렌즈 왜곡 특성화 단계는 다음과 같이 프로세서(16)의 렌즈 왜곡 특성화 모듈(22)에 의해 구현된다:

1) 에너지원을 이동하는 로봇을 방해하지 않고 관찰할 수 있는 그런 위치에 카메라를 단단히 배치한다.

2) 로봇이 일련의 직선의 에너지원을 이동하도록 한다. 선이 카메라의 전체 시야를 커버한다고 제시되어 있지만, 이것은 엄밀히 말하자면 필요하지 않다.

3) 각 선을 따른 수개의(적어도 3) 점에서, (특징되는 카메라에서) 회득하여, 상술한 바와 같이 에너지원의 이미지를 처리한다.

4) 왜곡 보정 모델을 선택하고, 관찰된 왜곡을 보정하는 이러한 모델에 대한 매개 변수의 초기 추정치를 결정한다. 이러한 작업은 브라운 렌즈 왜곡(Brown Lens Distortion) 모델의 증강 형태(augmented form)를 이용하고, 초기 시작 위치를 산출하기 위해 사전 지식 또는 유전적 알고리즘 중 하나를 이용한다.

5) 단계 2의 각 샘플링된 라인을 따라 점이 얼마나 공동 선형적인지를 측정하고 정량화하는 선의 일직선 메트릭을 선택한다. 이러한 작업은 각 라인에 대한 각각의 샘플링된 점을 통해 최적의 직선을 최소 제곱 오차에 맞춘다. 메트릭은 이때 각각의 최적 직선으로부터의 각각의 샘플링된 점의 평균 제곱근 수직 거리이다.

6) 단계 5의 메트릭을 이용한다. (왜곡 모델 및 매개 변수의 현재 세트에 의해 생성된) 왜곡 보정된 이미지의 라인까지 단계 4의 초기 추정된 매개 변수를 수치상 리파이닝한다. 이러한 작업에서, 다차원 비선형 수치 최적화 기법은 단계 5에 설명된 메트릭을 최소화하기 위해 이용된다. 특히 Leapfrog 및 Fletcher-Reeves Conjugate Gradient 방법이 이용된다.

그 후, 초점 길이 결정은 다음과 같이 프로세서(16)의 초점 길이 결정 모듈(24)에 의해 구현된다:

1) 카메라의 렌즈 왜곡 특성을 결정한다.

2) 에너지원을 이동하는 로봇 팔의 방해받지 않는 전망을 갖는 위치에 카메라를 단단히 배치한다.

3) 이산점의 시퀀스에서 일시 중지하도록 로봇을 이동한다. 점의 이러한 시퀀스는 여러 세트로 분할된다. 각 세트는 한 평면에서 적어도 3개의 점 및 다른 점에 의해 정의된 평면에서의 적어도 하나의 점을 포함한다. 이러한 점의 정확한 상대 변위는 로봇의 위치 피드백을 이용하여 알려진다. 각 세트는 동일한 상대 위치를 가진 이산점의 새로운 세트를 산출하기 위해 변환되지 않은 표준 세트점에 상이한 6 자유도의 병진 및 회전 오프셋을 적용함으로써 생성된다. 예를 들면, 프로토타입(prototype)의 실시예에서, 점의 각 세트는 사면체로 배열된 4개의 점으로 구성된다. 5개의 위치의 각각에서, 4개의 사면체는 상위 왼쪽, 상위 오른쪽, 하위 왼쪽 및 하위 오른쪽으로 각도를 이루어 생성되었다. 이것은 총 20개의 사면체를 제공한다.

4) 단계 3에서 설명된 이산점의 각각에서, 에너지원의 좌표를 찾기 위해 상술한 바와 같이 카메라 이미지를 처리한다.

5) 단계 4에 의해 산출된 각 캡처된 좌표에 대한 왜곡되지 않은 픽셀 위치를 찾기 위해 왜곡 특성을 이용한다.

6) 사전 지식 또는 제조자의 주장된 공칭 초점 길이를 이용하여 초기 초점 길이를 선택한다.

7) 추정된 초점 길이; 물리적 픽셀 크기; 시퀀스의 각 점에서 에너지원의 왜곡되지 않은 이미지 좌표; 및 점의 각 세트에 대한 카메라의 위치를 결정하기 위한 시퀀스의 각 점에서의 로봇의 정확한 위치와 조합하여 RANSAC 논문(Martin A. Fischler and Robert C. Bolles. 1981. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM 24, 6 (June 1981), 381-395. DOI=10.1145/358669.358692 http://doi.acm.org/10.1145/358669.358692), 또는 Kieper의 논문(L. Kneip, D. Scaramuzza, R. Siegwart, "A Novel Parametrization of the Perspective-Three-Point Problem for a Direct Computation of Absolute Camera Position and Orientation", Proc. of The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Colorado Springs, USA. June 2011)에 설명된 알고리즘을 이용한다.

8) 결정된 6 자유도의 카메라 위치가 얼마나 단단히 클러스터하는 지를 판단한다. 카메라가 단계 2에서 단단히 설치될 때 카메라 위치는 이론적으로 동일해야 한다. 이러한 작업은 2개의 단단한 위치로부터 점의 시퀀스를 관찰하고, 물론 일정해야 하는 카메라의 상대 위치의 표준 편차의 합을 이용함으로써 이러한 감도를 더 향상시켰다.

9) 단계 8의 메트릭에 의해 결정된 바와 같이 결정된 카메라 점이 가장 단단히 팩될 때까지 추정된 렌즈 초점 길이를 수치상 리파이닝한다. 이러한 작업은 메트릭의 비연속 특성 및 모노 차원이기 때문에 브루트 포스 탐색(brute force search)을 파인(fine)하기 위해 단순한 코스를 수행한다.

그 다음, 카메라의 외부 위치는 다음과 같이 프로세서(16)의 외부 카메라 위치 결정 모듈(26)에 의해 결정된다:

1) 카메라의 렌즈 왜곡의 특징을 묘사한다. 중요한 것으로 간주되는 적어도 방사 및 접선 왜곡(radial and tangential distortion) 매개 변수가 필요로 된다.

2) 카메라의 초점 길이를 결정한다(또는 그것을 아래에 설명되는 바와 같이 알려지지 않은 리스트에 추가한다).

3) 특정 적용을 위해 원하는 기계식 플랫폼에 카메라를 단단히 설치하고, 카메라가 에너지원을 이동하는 로봇의 방해받지 않는 전망을 갖도록 기계식 플랫폼을 단단히 설치한다.

4) 이산점의 시퀀스로 로봇을 이동한다. 각 이산점에서 이미지를 캡처 하고, 초기에 설명된 바와 같이 카메라의 이미지에서 에너지원의 중심을 찾는다. 각 점에서, 또한 로봇에 의해 반환되는 바와 같이 에너지원의 정확한 위치를 캡처한다.

5) 로봇에 대해 카메라의 초기 추정된 위치를 결정한다. 이러한 작업은 이것을 행하기 위해 물리적 설정의 사전 지식 또는 유전적 알고리즘 중 하나를 이용한다.

6) 한 다발의 이미지 기반의 벡터를 생성한다. 이것은 물리적 픽셀 크기 및 초점 길이와 함께 왜곡 특성화 매개 변수를 이용함으로써 행해진다. 이러한 초점 길이는 선험적인(apriori) 것으로 알려질 수 있거나 결정될 일곱 번째 알려지지 않은 것으로 추가될 수 있다.

7) 한 다발의 기하학적 형상 기반의 벡터를 생성한다. 이것은 카메라의 추정된 6 자유도 위치(단계 5) 및 시퀀스의 각 점에서의 에너지원의 알려진 위치를 이용함으로써 생성된다.

8) 두 다발의 벡터의 유사성을 측정하기 위해 메트릭을 선택한다. 이러한 작업은 메트릭으로 상응하는 벡터 사이의 각도의 합을 이용한다.

9) 두 다발의 벡터의 유사성을 최대화하기 위해 로봇에 대한 카메라의 추정된 6 자유도 위치(및 선험적으로 결정되지 않은 경우에는 카메라의 초점 길이) 리파이닝한다. 이러한 작업은 이것을 행하기 위해 Fletcher Reeves Conjugate Gradient (Fletcher, R. and Reeves, C., "Function minimization by conjugate gradients," Computer Journal 7, 140-054(1964)) 또는 Leapfrog multi-dimensional non-linear numerical optimisation algorithms (Snyman, J., "An improved version of the original leap-frog dynamic method for unconstrained minimization: Lfop1(b)," Applied Mathematics and Modelling 7, 216-218 (1983)) 중 하나를 이용한다.

10) 다수의 카메라가 보정되고, 원하는 경우, 하나의 카메라, 또는 카메라의 세트에 대한 참조 시스템으로 알려진 다른 점을 선택하고, 이러한 점에 대해 결정된 카메라 위치를 표현한다.

위의 프로세스 단계의 기초가 되는 수학은 아래에 더욱 상세히 설명된다.

아래에 이용되는 수학적 표기법은 다음과 같다: 3D 벡터, Vabc는 직교 좌표계 c의 축 상에서 투영의 측면에 표현되는 점 b로 지향된 점 a로부터의 벡터이다. Vabc는 벡터의 크기가 알려지지 않거나 중요하지 않을 경우에 이용된다.

Tabc는 점 a에 대한 점 b의 병진 또는 변위를 나타낸다. Rab은 직교 축 시스템 b에 대한(및 투영의 측면에서) 직교 축 시스템 a의 회전을 표현하는 3-by-3 Euler 회전 매트릭스이다. 3차원 벡터의 개개의 요소는 x, y 또는 z로 지칭되는 반면에, 2차원(2D) 벡터의 요소는 혼동을 피하기 위해 수평(h) 및 수직(v)으로 지칭된다.

프로세서(16)의 관련 모듈은 캡처된 이미지 데이터에 대해 다음과 같은 기능적 단계를 수행한다:

1.1) 선택된 임계치보다 더 밝은 모든 픽셀의 연결된 성분의 라벨링을 수행한다.

1.2) 에너지원의 타입 및 카메라 해상도에 의해 결정된 크기 기준을 충족하지 않는 모든 성분을 폐기한다.

1.3) 형상의 대칭 기준, 즉 다음과 같이 연결된 각 성분에 대한 것을 충족하지 않는 모든 성분을 폐기한다:

a) 성분의 각 픽셀을 통해 가장 적합한 직선을 맞춘다:

c) 가장 적합한 라인에 수직인 성분의 폭을 결정한다.

그 다음, 프로세서는 폭(LP)에 대한 길이(LA)의 비율을 비교하여, 그것이 특정 기준 내에 있지 않은 경우에 폐기한다.

1.4) 각 성분의 중심은 설명을 위해 아래에 리스트된 두 적절한 기술을 이용하여 결정된다:

a) 중력의 중심

b) (예를 들어) 다음과 같은 메트릭을 최소화함으로써 타원을 맞춘다:

렌즈 왜곡 특성화

렌즈 왜곡 특성화의 경우, 현실 세계에서 직선이 왜곡이 수정된 후에 이미지 공간에서 직선으로 투영해야 한다는 사실이 이용된다. 이것을 행하기 위해, 로봇(및 부착된 에너지원)은 일련의 직선으로 이동되고, 이미지가 캡처되는 각 라인을 따라 여러 점에서 중지한다. 이것은 N 라인이 캡처되게 하며, 이러한 N 라인의 각각은 Mi, i ε (0, N-1) 점을 갖는다. 이러한 점은 제 i 라인의 제 j 점의 원래의 원시(즉, 왜곡된) 이미지 위치를 나타내는 로 지칭된다.

그 후, 브라운 렌즈 왜곡 모델(Brown DC (1966). "Decentering distortion of lenses." Photogrammetric Engineering. 7: 444-462)에 대한 매개 변수의 임의의 수는 수치적으로 결정될 수 있다.

일부가 수학적 역학과 입력 데이터의 측정 시에 고유한 매개 변수 및 잔류 잡음의 높은 상관 특성으로 인해 더욱 나쁘게 수행하지만 임의의 다차원 수치 최적화 루틴이 이용될 수 있다.

본 발명의 프로토타입에서, 브라운의 모델에 대한 증강 버전이 이용되어 방사형 이득 스케일 계수가 광학 축에 대한 렌즈의 비직교성 또는 다른 제조 결함 중 하나에 의해 유도될 수 있는 변화를 촉진하기 위해 방사형 왜곡 매개 변수에 적용된다. 이것은 f(θ)=1 이 문헌에 발표된 표준 케이스에 상응할 때 이러한 작업의 일반성에 영향을 미치지 않는다. 일반성의 손실 없이, 설명을 위해 f(θ)가 형식: f(θ) = γ₁ + γ₂sin(θ-γ₃) 인 것으로 추정할 것이다.

메트릭은 라인의 세트가 얼마나 직선인지를 측정하는데 이용된다. 메트릭은 각 캡처된 직선의 점을 통해 가장 적합한 직선을 결정하여(수학식 1 참조), 이러한 직선에서 점의 RMS 거리를 결정한다. 가장 적합한 직선을 결정하는데 이용되는 절차는 수학식 1에 주어진다. 이러한 메트릭은 다음과 같다:

그 후, 다음의 단계는 매개 변수의 주어진 세트로부터 생성된 잔류 왜곡을 결정하기 위해 수행된다:

2.1) 경사도 둔감된 공간(gradient desensitized space)에서 수신된 매개 변수를 스케일링한다:

2.2) 스케일링된 매개 변수를 이용하여 비왜곡을 위해 캡처된 매 라인의 각 점을 왜곡시키지 않는다. 즉,

2.3) 수학식 1을 이용하여 입력 데이터 세트의 각 라인의 왜곡되지 않은 점을 통해 가장 적합한 라인을 결정한다.

2.4) 수학식 7을 이용하여 라인으로부터 점의 RMS 수직 거리를 결정한다.

왜곡 특성화 매개 변수의 수치 최적화를 위한 절차는 아래에 주어진다.

그 다음, 왜곡 특성화 매개 변수의 수치 최적화는 다음과 같이 프로세서(16)에 의해 계산된다:

3.1) 어떤 매개 변수가 최적화될 예정인지를 판단한다. 즉, 방사 및 접선 왜곡 매개 변수의 수; 이미지 중심이 이용되는지 최적의 왜곡 중심이 발견되는지; 및 방사 이득 함수를 선택한다.

3.2) 각 매개 변수의 시작 값을 선택한다. 이것을 행하는 3개의 일반적인 방식은 다음과 같다:

a) 모든 매개 변수를 0으로 설정한다

b) 사전 지식을 이용하여 시작 근사치를 선택한다

c) 각 매개 변수에 대한 범위를 특정하고 브루트 포스 또는 유전적 알고리즘과 같은 코스 글로벌(coarse global) 최적화를 수행한다.

3.3) 경사도가 각 차원에서 일정한 크기의 섭동(perturbation)에 동등하게 민감하도록 입력 매개 변수의 각각을 스케일링한다. 이것은 더 좋은 특성화를 생성하는 로컬 최적화 절차에 의해 보다 정확한 경사도 추정을 수행할 수 있다. 수학식 8을 참조하면, 수학식 10은 스케일링 절차를 보여준다.

3.4) 로컬 최적화 루틴을 이용하여 수학식 10에 주어진 정규화 시작 매개 변수를 수치적으로 리파이닝하며, 최소화되는 값은 알고리즘 2에 특정된다. 특히, Leapfrog 및 Fletcher-Reeves가 이러한 작업에서 최소화를 수행하는데 이용된다.

3.5) 수학식 8을 이용하여 반환된 왜곡 특성화 값을 비정규화(denormalise)한다.

초점 길이 결정

프로세서(16)는 수치적으로 리파이닝될 매개 변수의 다발에 외부 매개 변수를 추가하지 않고 초점 매개 변수를 결정한다.

외부 매개 변수와 초점 길이를 동시에 결정하는 것은 아래에 설명될 것이다. 초점 길이 결정을 수행하는 것은 독립적으로 외부 매개 변수 결정의 차원성(dimensionality)을 감소하고, 평면 패턴(또는 평면에서의 로봇 움직임의 시퀀스)을 직교하여 볼 때 초점 길이가 결정할 수 없게 하는 모호성을 제거한다.

A. 사면체 관점 문제

이러한 보정은 공식적으로 RANSAC 논문 및 KIEPER의 논문(양자 모두 위에서 언급됨)에서 언급되고 여기서 설명을 위해 단어에서 다시 언급되는 3 점 관점 문제를 이용한다. 카메라가 이들 사이의 거리를 알고 있는 3 점을 보면, 3 점에 대한 카메라의 방향 및 병진은 분석적으로 해결될 수 있다.

이것은 단위 방향 벡터를 카메라로부터의 벡터에서 각 점까지 계산하여(수학식 20 참조), (벡터 내적(vector dot product)을 통해) 이러한 방향 벡터 사이의 각도를 계산함으로써 행해진다.

수학식 11에 주어진 코사인 법칙은 직각이 아닌 삼각형에 대한 피타고라스의 정리의 일반화이다.

코사인 법칙을 이용하여 두 벡터의 내적이 이들 사이의 각도의 코사인과 동일하다는 것을 생각하면, 다음과 같이 카메라에서 점까지의 단위 벡터 및 삼각형의 점 사이의 알려진 거리의 측면에서 카메라에서 각각의 보는 점(viewing point)까지의 벡터의 3개의 알려지지 않은 길이를 표현하는 일련의 연립 방정식을 설정할 수 있다:

수학식 12은 모든 솔루션이 복잡한 평면에서 완전히 실제적이지 않지만 4세트의 솔루션을 갖는다(이의 결정은 RANSAC 논문 및 KIEPERS 논문(양자 모두 위에서 언급됨)에 주어지는 부여된다). 어떤 솔루션이 올바른 솔루션인지를 선택하기 위해, 제 1의 3점의 평면 밖이고, 다른 점에 대한 병진이 알려져 있는 제 4 점이 필요하다. 그 다음, 4점은 제 4 점이 정점에 있는 사면체를 구성한다. 각각의 실제 솔루션을 위해, 점의 삼각형(즉, 사면체의 베이스)에 대한 카메라의 위치가 계산되며, 그 후 카메라에 대한 제 4 점의 위치가 계산된다. 제 4 점의 이러한 계산된 위치에 대한 벡터는 제 4 점의 이미지 좌표로부터 계산된 벡터와 비교되며, 이러한 두 벡터 사이에서 최소 각을 가진 솔루션은 올바른 솔루션으로 선택된다.

이러한 모든 절차는 아래의 수학식 13에 요약된다.

초점 길이 결정은 위에 상세히 설명되고 수학식 13에 요약된 사면체 문제를 이용한다. 수학식 13은 알고리즘 3에 설명된 방법을 통해 이미 보정된 것으로 추정되는 렌즈의 왜곡 매개 변수, 및 이러한 특성화의 대상인 초점 길이에 따라 달라지는 아래의 식 20을 이용한다는 것을 주목한다.

로봇은 다수의 사면체가 생성되도록 다수의 위치에서의 카메라의 시야에 에너지원을 배치하는데 이용된다. 예시적인 실시예에서, 20개의 사면체는 5개의 그룹으로 생성되었다. 각 그룹은 상이한 위치에 위치되어 중심을 이루고, 그룹의 중심 위치가 '+'를 형성하는 사면체를 갖는다. 각 위치에서, 사면체는 카메라의 광학 축이 사면체의 베이스에 법선이 아니도록 각도상 오프셋되었다. 그룹의 사면체는 제각기 카메라의 관점에서 볼 때 오른쪽으로의 상향(up-to-the-right), 오른쪽으로의 하향(down-to-the-right), 왼쪽으로의 하향, 및 왼쪽으로의 상향으로 구부려져 있다.

초점 길이를 결정하기 위해, 카메라는 사면체를 보도록 두 위치에 배치되었다. 카메라는 제 1 위치에 단단히 배치되어 모든 사면체를 본 후에, 그것은 제 2 위치에 배치되고, 다시 동일한 사면체를 통해 이동하는 로봇을 보았다. 카메라는 사면체를 보면서 각각의 위치에 고정시켰다. 이것은 카메라의 상대 변위가 일정하였다는 것을 의미한다. 로봇이 각각의 사면체에 대한 각각의 다음의 위치로 에너지원을 이동하는데 사용되었으므로, 사면체 점의 병진은 알려져 있다. 왜곡 매개 변수가 이미 알려진 경우, 초점 길이는 수학식 13이 필요한 유일한 매개 변수로 된다.

추정된 초점 길이에 대해, (에너지원의 병진(즉, 수학식 13의 T_icc)이 알려진 축 시스템인) 로봇 참조에 대한 카메라의 위치 및 방향은 계산될 수 있다.

정확한 초점 길이에서, 계산된 카메라 위치의 궤적은 가장 작을 것이다. 이것은 본질적으로 이상적인 초점 길이를 결정하기 위해 메트릭으로 이용될 수 있지만, 초점 길이에 대한 이러힌 감도는 각각의 사면체에 대한 제 1 위치에서의 카메라에 비해 제 2 위치에서의 카메라의 상대 위치 및 방향을 비교함으로써 증가된다. 이것은 (예시적인 실시예 및 ABB IRB120에서) 이용되는 로봇의 높은 반복성 때문에 가능하다. 상대 위치의 변화는 최소화되는 메트릭이다. 이러한 메트릭의 계산은 아래의 알고리즘 4에 주어진다.

그 다음, 사면체 세트 및 초점 길이에 대한 6 자유도 위치에 대한 카메라의 변화는 다음과 같이 프로세서에 의해 계산된다:

4.1) 수학식 20에 설명된 바와 같이 에너지원, 왜곡 매개 변수 및 특정 초점 길이의 처리된 이미지로부터 단위 벡터를 계산한다:

4.2) 모든 사면체에 대한 각각의 위치에서 카메라의 위치를 계산한다(로봇 참조는 사면체 축으로 이용된다는 것을 주목한다

4.3) 각각의 사면체에 대해, 위치 a에서의 카메라에 대한 위치 b에서의 카메라의 위치를 계산한다

4.4) 결과를 반복하고, 두 위치에서 카메라의 상대 방향의 Euler 회전 매트릭스(즉, Rcb;ica;i)로부터 요 피치(yaw pitch) 및 롤(roll) 각도를 추출한다.

4.5) 모든 사면체를 통해 계산된 바와 같이 카메라의 상대 병진의 X 좌표의 표준 편차를 계산한다. Y 좌표, Z 좌표, 및 바로 계산된 요, 피치 및 롤 위치에 대해 반복한다.

4.6) 메트릭으로 이용하기 위해 표준 편차의 가중된 합을 계산한다:

예시적인 실시예에서, K₀ = K₁ = K₂ = 1:0 및 K₃ = K₄ = K₅ = 10:0의 수학식 17에 대한 가중치가 이용되었다.

이상적인 초점 길이를 찾기 위해, 렌즈의 주장/설계된 초점 길이에 중심을 둔 범위는 수학식 17의 최소값을 검색할 필요가 있다. 이것은 도함수의 제로 교차점(zero crossings of the derivative)을 찾기 위한 Powell 방법 및 Newton 방법과 같은 임의의 라인 검색 기술의 형태를 취할 수 있다. 메트릭이 비연속적으로 볼 수 있고, 일차원임에 따라, 예시적인 실시예는 대충-미세 브루트 포스 검색(coarse-to-fine brute force search)으로 구성된다.

외부 매개 변수 결정

로봇에 대한 카메라의 6 자유도 위치, 초점 길이(섹션 VI에서와 같이 결정되지 않을 경우) 및 광학 교차 픽셀 위치(또한 주요 점으로 알려져 있음)가 필요하다. 이것을 행하기 위해, 수학식 18 또는 수학식 19에 표현된 메트릭 중 하나는 Fletcher-Reeves 또는 Leapfrog(양자 모두 위에서 참조됨)와 같은 강인한(robust0 알고리즘을 이용하여 수치상 최적화될 수 있다. 제 1 메트릭은 느리지만 (계산 집약적) 역 코사인 함수에 의해 제공되는 거의 평행한 벡터로 증가된 감도로 인해 더 정확하다.

메트릭은 벡터의 두 다발 사이를 비교한다. 이미지가 섹션 IV에 설명된 바와 같이 처리되어, 수학식 6 및 섹션 V에서 결정된 최종 왜곡 특성화 매개 변수를 이용하여 왜곡되지 않았다면, 아래의 수학식 20은 벡터 다발 중 하나가 로봇에 설치된 에너지원의 이미지로부터 생성될 수 있는 방법을 보여준다. 따라서 픽셀 치수는 알려지지 않을 때에만 초점 길이(잠재적) 및 광학 축 교점을 두고 데이터 시트로부터 알려지는 것으로 추정된다. 수치 최적화를 위한 양호한 초기 추측은 제각기 제조자의 주장된 초점 길이 및 왜곡 중심이다.

제 2 벡터 다발은 수학식 21을 통해 계산된다. 각각의 로봇 위치에서 에너지원

의 위치는 알려져 있는 것으로 추정된다. 그 후, 로봇 참조

및 카메라 (R_rc)에 대한 로봇 참조의(또한 알려지지 않은) Euler 회전의 알려지지 않은 공간적 오프셋은 결정하여, 각각의 에너지원의 위치에 대한 벡터를 정규화하는데 이용된다. 또한 평면 광학 참조 jig가 이용되어 카메라의 광학 축에 수직으로 배치되는 경우에 두 메트릭의 특이점(singularity)이 있다는 것을 주목한다.

다음의 알고리즘은 로봇으로부터 획득된 에너지원 , 및 에너지원이 알고리즘 3에 설명된 방법에 의해 획득되는 카메라의 이미지 에 있는 픽셀 좌표의 위치의 상응하는 세트가 주어진 외부 매개 변수를 찾는 방법에 대해 설명한다. 왜곡 특성화는 상술한 바와 같이 이미 결정된 것으로 추정된다.

카메라의 외부 매개 변수의 결정은 이제 다음과 같이 프로세서에 의해 완료된다:

5.1) 최적화되는 제 9 매개 변수에 대한 시작 값을 선택한다. 초점 길이에 대해, 주장/설계된 값은 양호한 시작점이며, 주요 점에 대해, 왜곡 중심은 양호한 시작점이다. 세 병진 및 세 방향 매개 변수에 대해, 대충 물리적 측정은 시작점 역할을 할 수 있다. 대안적으로, 스파스 브루트 포스 샘플링 또는 (예시적인 실시예에서와 같이) 유전적 알고리즘과 같은 코스 글로벌(coarse global) 최적화 기술은 시작값을 생성하는데 이용될 수 있다.

5.2) 각각의 매개 변수에 대한 경사도 둔감한 스케일 계수를 선택한다. 예시적인 실시예에 이용된 값은 아래에 나열된다.

·γ_FLen 초점 길이 스케일 계수: 초점 길이(mm)가 결정되거나, 알고리즘 3을 통해 결정될 경우에 최적화 매개 변수 다발로부터 제거될 경우에는 10^-1.

·γ_PPh, γ_PPv 주요점 수평 및 수직 스케일 계수는 주요점(픽셀)이 결정되거나, 왜곡 중심이 이용될 경우에 매개 변수 다발로부터 제거될 경우에 10²로 설정된다.

·γ_Yaw 요 스케일 계수는 각도가 라디안(radian)으로 표현되는 10⁰로 설정된다.

·γ_Pitch 피치 스케일 계수는 각도가 라디안으로 표현되는 10⁰로 설정된다.

·γ_Roll 롤 스케일 계수는 각도가 라디안으로 표현되는 10⁰로 설정된다.

·γ_X X 스케일 계수는 변위가 mm으로 표현되는 10^-3로 설정된다.

·γ_Y Y 스케일 계수는 변위가 mm으로 표현되는 10^-3로 설정된다.

·γ_Z Z 스케일 계수는 변위가 mm으로 표현되는 10^-3로 설정된다.

5.3) 정규화 매개 변수(첨자 n으로 표기)를 생성하기 위해 각각의 매개 변수를 상응하는 스케일 계수로 나눈다.

5.4) 알고리즘 6에 설명된 메트릭을 이용하여 스케일링된 매개 변수를 수치상 리파이닝한다. 임의의 비선형 다차원 수치 로컬 최적화가 이용될 수 있다. 예시적인 실시예는 Leapfrog 또는 Fletcher-Reeves(양자 모두 위에서 참조됨)를 이용한다.

5.5) 카메라의 축에 표현된 카메라에 대한 로봇의 위치(R_rc)와 카메라의 축 에 표현된 카메라에 대한 로봇의 병진

을 산출하기 위해 반환된 스케일링된 매개 변수와 상응하는 스케일 계수를 곱한다.

5.6) 로봇에 대한 카메라의 위치를 계산한다

이제 외부 매개 변수 리파인먼트(refinement) 메트릭이 계산된다:

6.1) 수신된 매개 변수와 상응하는 스케일 계수를 곱한다.

6.2) 요, 피치 및 롤(Yaw, Pitch 및 Roll) 각도에서 카메라 (R_rc)에 대한 로봇의 Euler 회전 매트릭스를 계산한다.

6.3) 카메라에 대한 로봇의 병진

을 형성하기 위해 X, Y 및 Z 값을 결합한다.

6.4) 수학식 20, 초점 길이, 주요 점, 픽셀 크기, 수학식 6에 따른 왜곡 보정 매개 변수 및 에너지원 중심

의 픽셀 위치의 세트를 이용하여 단위 벡터의 이미지 기반 다발을 계산한다. (이것은 초점 길이 및 주요 점이 양자 모두 최적화된 매개 변수 다발의 부분이 아닌 경우에는 한 번만 수행되는데 필요하다).

6.5) 수학식 21을 이용한 로봇에 대한 카메라 위치, 로봇의 축

의 에너지원 위치의 세트 또는 위치, 카메라에 대한 로봇 방향 (R_rc)의 현재 추정 및 카메라에 대한 로봇의 병진

의 현재 추정에 기초하는 다발 벡터를 계산한다.

6.6) 수학식 18을 이용하여 두 벡터 다발의 유사성을 측정한다.

상술한 방법 및 시스템은 카메라를 보정하기 위한 프로세스에 관한 것이며, 그렇게 행하기 위해 예시적인 실시예를 이용한다는 것이 이해될 것이다. 예시적인 실시예는 본 특허에서 청구된 지적 재산권의 하나의 가능한 사례일 뿐이다. 특히:

1) 물체 공간의 직선이 이미지 공간의 직선으로 확실히 투영하도록 하기 위해 렌즈 왜곡 모델을 맞춤으로써 카메라의 왜곡 매개 변수를 보정하도록 직선을 따라 점을 캡처하기 위해 로봇 팔을 이용한다. 왜곡 모델은 방사 이득 함수 및 신경망을 갖거나 갖지 않고 Brown Lens Distortion Model(위에서 참조됨)을 포함할 수 있지만, 이에 제한되지 않는다.

2) 3 이상의 평면 점 및 평면 외부의 하나 이상의 점을 관찰하는 것으로부터 계산된 카메라의 (3 또는 6 차원 ) 위치의 궤적을 최소화함으로써 초점 길이를 결정한다.

3) 로봇에 의해 이동되는 에너지원의 이미지의 세트를 관찰함으로써 카메라의 (3 또는 6 차원) 위치를 결정하고, 이미지의 분석에 기초한 벡터의 다발을 카메라의 가설된 (3 또는 6 차원) 위치로부터 계산된 벡터의 제 2 다발과 비교한다.

카메라가 보정되면, 카메라는 에너지원의 정확한 위치를 찾는데 이용될 수 있다.

Claims (22)

1. 카메라 보정 시스템에 있어서,
   에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동할 수 있도록 기계식 액추에이터에 설치되는 에너지원 및 보정될 카메라;
   상기 에너지원, 상기 기계식 액추에이터 및 상기 카메라에 연결된 프로세서를 포함하는데, 상기 프로세서는:
   보정 대상 패턴 상의 복수의 이산점을 통해 상기 에너지원 및 상기 카메라 중 적어도 하나가 다른 하나에 대해 이동하도록 상기 기계식 액추에이터를 제어하고;
   각각의 상기 이산점에서, 디지털 이미지를 촬영하기 위해 상기 카메라를 제어하고;
   각각의 이미지에서 렌즈 왜곡 특성화를 수행하고;
   상기 카메라에 연결된 임의의 렌즈를 포함하는 상기 카메라의 초점 길이를 결정하며;
   각각의 이미지에 대한 외부 카메라 위치를 결정하도록 프로그램되는 것을 특징으로 하는 카메라 보정 시스템.
2. 제 1 항에 있어서,
   상기 프로세서는:
   왜곡 보정 모델을 선택하여, 상기 모델이 관찰된 왜곡을 보정하기 위해 매개 변수의 초기 추정치를 결정하고;
   샘플링된 라인을 따라 공동 선형점을 측정하고 정량화하는 선의 일직선 메트릭을 선택하며;
   상기 선의 일직선 메트릭을 이용하여 왜곡 보정된 이미지의 라인까지 초기 추정된 매개 변수를 수치상 리파이닝함으로써 상기 렌즈 왜곡 특성화를 수행하는 것을 특징으로 하는 카메라 보정 시스템.
3. 제 1 항에 있어서,
   상기 프로세서는:
   초기 초점 길이를 선택하고;
   시퀀스의 각각의 점에서 상기 에너지원의 상기 초기 초점 길이, 물리적 픽셀 크기, 왜곡되지 않은 이미지 좌표, 및 각각의 이산점에 대해 상기 카메라의 위치를 결정하기 위해 상기 시퀀스의 각각의 점에서의 상기 기계식 액추에이터의 정확한 위치와 조합하여 알고리즘을 이용하고;
   상기 카메라 위치가 얼마나 단단히 클러스터하는 지를 판단하며;
   결정된 이산점이 가장 단단히 팩될 때까지 상기 초기 초점 길이를 수치상 리파이닝함으로써 초점 길이를 결정하는 것을 특징으로 하는 카메라 보정 시스템.
4. 제 1 항에 있어서,
   상기 프로세서는:
   한 다발의 기하학적 형상 기반의 벡터를 생성하고, 한 다발의 이미지 처리 기반의 벡터를 생성하며;
   두 다발의 벡터의 유사성을 측정하기 위해 메트릭을 선택하고;
   상기 다발의 벡터의 유사성을 최대화하기 위해 상기 에너지원에 대해 상기 카메라의 추정된 위치를 리파이닝함으로써 외부의 카메라 위치를 결정하는 것을 특징으로 하는 카메라 보정 시스템.
5. 제 1 항에 있어서,
   상기 디지털 이미지가 캡처된 후, 상기 프로세서는 다음과 같은 이미징 처리 단계:
   이미지의 인접한 픽셀의 어떤 영역이 선택된 임계값보다 높은 강도를 갖는지를 판단하는 단계;
   상기 영역, 및 상기 픽셀의 좌표 및 강도와 함께 각각의 영역에 속하는 상기 픽셀의 리스트를 생성하는 단계;
   상기 카메라, 렌즈 및 에너지원의 특성에 의해 결정되는 너무 적거나 너무 많은 구성 픽셀을 가진 임의의 영역을 상기 리스트로부터 제거하는 단계;
   상기 리스트로부터 형상 기준을 충족하지 않는 모든 영역을 제거하는 단계; 및
   가장 큰 나머지 영역의 중심을 결정하는 단계를 추가로 수행하는 것을 특징으로 하는 카메라 보정 시스템.
6. 제 5 항에 있어서,
   상기 프로세서는 타원을 상기 영역의 픽셀에 맞추어 상기 영역의 중심을 이용하거나 상기 영역의 상기 픽셀의 중력의 중심을 계산함으로써 중심을 결정하는 것을 특징으로 하는 카메라 보정 시스템.
7. 제 5 항에 있어서,
   상기 형상 기준은 대칭인 것을 특징으로 하는 카메라 보정 시스템.
8. 제 7 항에 있어서,
   상기 대칭은 발생된 최초 픽셀에서 발생된 마지막 픽셀까지의 거리의 측면에서 가장 긴 프로파일을 생성하는 영역을 통해 단면을 찾아, 상기 거리를 가장 긴 축에 수직인 선을 이용할 때 획득된 것과 비교함으로써 테스트되는 것을 특징으로 하는 카메라 보정 시스템.
9. 제 1 항에 있어서,
   상기 프로세서는 점의 시퀀스가 수개의 세트로 분할되도록 상기 기계식 액추에이터를 이동하기 위해 기계식 액추에이터를 제어하는데, 각 세트는 평면에서의 적어도 3 점, 및 다른 점에 의해 정의된 평면에서 적어도 하나의 점을 포함하는 것을 특징으로 하는 카메라 보정 시스템.
10. 제 9 항에 있어서,
    상기 점의 정확한 상대 변위는 상기 기계식 액추에이터로부터의 위치 피드백을 이용하여 상기 프로세서에 의해 알려지는 것을 특징으로 하는 카메라 보정 시스템.
11. 제 9 항에 있어서,
    각각의 세트는 동일한 상대 위치를 가진 이산점의 새로운 세트를 산출하기 위해 변환되지 않은 표준 세트점에 상이한 6 자유도의 병진 및 회전 오프셋을 적용함으로써 생성되는 것을 특징으로 하는 카메라 보정 시스템.
12. 카메라 보정 방법에 있어서,
    보정 대상 패턴 상의 복수의 이산점을 통해 에너지원 및 카메라 중 적어도 하나가 다른 하나에 대해 이동하도록 기계식 액추에이터를 제어하는 단계;
    각각의 상기 이산점에서, 상기 카메라로 디지털 이미지를 촬영하는 단계;
    각각의 이미지에서 렌즈 왜곡 특성화를 수행하는 단계;
    상기 카메라에 연결된 임의의 렌즈를 포함하는 상기 카메라의 초점 길이를 결정하는 단계; 및
    각각의 이미지에 대한 외부 카메라 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 카메라 보정 방법.
13. 제 12 항에 있어서,
    상기 렌즈 왜곡 특성화는:
    왜곡 보정 모델을 선택하여, 상기 모델이 관찰된 왜곡을 보정하기 위해 매개 변수의 초기 추정치를 결정하고;
    샘플링된 라인을 따라 공동 선형점을 측정하고 정량화하는 선의 일직선 메트릭을 선택하며;
    상기 선의 일직선 메트릭을 이용하여 왜곡 보정된 이미지의 라인까지 초기 추정된 매개 변수를 수치상 리파이닝함으로써 수행되는 것을 특징으로 하는 카메라 보정 방법.
14. 제 12 항에 있어서,
    상기 초점 길이는:
    초기 초점 길이를 선택하고;
    시퀀스의 각각의 점에서 상기 에너지원의 상기 초기 초점 길이, 물리적 픽셀 크기, 왜곡되지 않은 이미지 좌표, 및 각각의 이산점에 대해 상기 카메라의 위치를 결정하기 위해 상기 시퀀스의 각각의 점에서의 상기 기계식 액추에이터의 정확한 위치와 조합하여 알고리즘을 이용하고;
    상기 카메라 위치가 얼마나 단단히 클러스터하는 지를 판단하며;
    결정된 이산점이 가장 단단히 팩될 때까지 상기 초기 초점 길이를 수치상 리파이닝함으로써 결정되는 것을 특징으로 하는 카메라 보정 방법.
15. 제 12 항에 있어서,
    상기 외부 카메라 위치는:
    한 다발의 기하학적 형상 기반의 벡터를 생성하고;
    한 다발의 이미지 처리 기반의 벡터를 생성하고;
    두 다발의 벡터의 유사성을 측정하기 위해 메트릭을 선택하고;
    상기 다발의 벡터의 유사성을 최대화하기 위해 상기 에너지원에 대해 상기 카메라의 추정된 위치를 리파이닝함으로써 결정되는 것을 특징으로 하는 카메라 보정 방법.
16. 제 15 항에 있어서,
    상기 디지털 이미지가 캡처된 후, 상기 방법은 다음과 같은 이미징 처리 단계:
    이미지의 인접한 픽셀의 어떤 영역이 선택된 임계값보다 높은 강도를 갖는지를 판단하는 단계;
    상기 영역, 및 상기 픽셀의 좌표 및 강도와 함께 각각의 영역에 속하는 상기 픽셀의 리스트를 생성하는 단계;
    상기 카메라, 렌즈 및 에너지원의 특성에 의해 결정되는 너무 적거나 너무 많은 구성 픽셀을 가진 임의의 영역을 상기 리스트로부터 제거하는 단계;
    상기 리스트로부터 형상 기준을 충족하지 않는 모든 영역을 제거하는 단계; 및
    가장 큰 나머지 영역의 중심을 결정하는 단계를 수행하는 것을 추가로 포함하는 것을 특징으로 하는 카메라 보정 방법.
17. 제 16 항에 있어서,
    상기 중심은 타원을 상기 영역의 픽셀에 맞추어 상기 영역의 중심을 이용하거나 상기 영역의 상기 픽셀의 중력의 중심을 계산함으로써 결정되는 것을 특징으로 하는 카메라 보정 방법.
18. 제 16 항에 있어서,
    상기 형상 기준은 대칭인 것을 특징으로 하는 카메라 보정 방법.
19. 제 18 항에 있어서,
    상기 대칭은 발생된 최초 픽셀에서 발생된 마지막 픽셀까지의 거리의 측면에서 가장 긴 프로파일을 생성하는 영역을 통해 단면을 찾아, 상기 거리를 가장 긴 축에 수직인 선을 이용할 때 획득된 것과 비교함으로써 테스트되는 것을 특징으로 하는 카메라 보정 방법.
20. 제 12 항에 있어서,
    상기 기계식 액추에이터는 점의 시퀀스가 수개의 세트로 분할되도록 이동하는데, 각 세트는 평면에서의 적어도 3 점, 및 다른 점에 의해 정의된 평면에서 적어도 하나의 점을 포함하는 것을 특징으로 하는 카메라 보정 방법.
21. 제 20 항에 있어서,
    상기 점의 정확한 상대 변위는 상기 기계식 액추에이터로부터의 위치 피드백을 이용하여 알려지는 것을 특징으로 하는 카메라 보정 방법.
22. 제 20 항에 있어서,
    각각의 세트는 동일한 상대 위치를 가진 이산점의 새로운 세트를 산출하기 위해 변환되지 않은 표준 세트점에 상이한 6 자유도의 병진 및 회전 오프셋을 적용함으로써 생성되는 것을 특징으로 하는 카메라 보정 방법.

Images