KR20180105875A

KR20180105875A - 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치

Info

Publication number: KR20180105875A
Application number: KR1020170033137A
Authority: KR
Inventors: 이재영
Original assignee: 한국전자통신연구원
Priority date: 2017-03-16
Filing date: 2017-03-16
Publication date: 2018-10-01
Also published as: KR102354299B1

Abstract

단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가, 단일 입력영상으로부터 캘리브레이션 마커를 인식하는 단계; 상기 카메라 캘리브레이션 장치가, 상기 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출하는 단계; 상기 카메라 캘리브레이션 장치가, 상기 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출하는 단계; 및 상기 카메라 캘리브레이션 장치가, 상기 영상좌표, 상기 물리좌표 및 상기 내부 파라미터 중 적어도 하나를 기반으로 상기 카메라의 외부 파라미터를 산출하는 단계를 포함한다.

Description

단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치 {CAMERA CALIBRATION METHOD USING SINGLE IMAGE AND APPARATUS THEREFOR}

본 발명은 카메라 캘리브레이션 기술에 관한 것으로, 특히 캘리브레이션 마커를 이용해서 단 한번의 영상 획득만으로 카메라의 내부 및 외부 파라미터를 동시에 파악할 수 있는 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치에 관한 것이다.

카메라 캘리브레이션은 카메라의 초점거리와 위치 및 방향각 등의 자세정보를 파악하기 위한 절차로서 대부분의 영상인식 응용에서 공통적으로 선행되는 절차 중 하나이다. 특히, 카메라를 통해 얻은 영상을 분석하여 침입자를 감지하고 위험 및 사고상황을 자동으로 감지하는 지능형영상감시시스템에서, 카메라 영상에 잡힌 물체의 기하학적 정보(물리적인 크기 및 위치)를 해석하고 오인식을 최소화하기 위해서는 카메라 캘리브레이션 정보가 필수적으로 요구된다.

하지만 기존의 체커보드를 이용한 카메라 캘리브레이션 방법은 복잡한 영상획득 과정으로 인해 번거롭고 시간이 많이 걸리는 문제점이 있다. 특히 CCTV 카메라 등과 같이 기존에 이미 설치되어 있는 카메라를 대상으로 카메라 캘리브레이션을 수행할 경우에는 카메라 캘리브레이션을 위한 영상 획득 과정이 매우 힘들거나 불가능할 수 있다.

카메라 캘리브레이션은 크게 카메라 자체의 기구적 특성을 파악하는 내부 파라미터 캘리브레이션 과정과 카메라의 설치 위치 및 자세정보(방향각) 등의 기구 외적인 특성을 파악하는 외부 파라미터 캘리브레이션 과정으로 구분된다. 카메라의 내부 파라미터에는 초점거리(focal length), 카메라 주점(principal point), 렌즈 왜곡계수 등이 있으며 카메라의 외부 파라미터에는 기준 좌표계(월드 좌표계)를 기준으로 한 카메라의 3차원 위치정보(x, y, z 등 카메라의 설치위치)와 자세정보(pan, tilt, roll 등의 방향각)가 있다.

기존의 카메라 캘리브레이션 방법은 내부 파라미터 캘리브레이션과 외부 파라미터 캘리브레이션을 별도로 구분하여 진행하는 것이 통상적이었다. 그 이유는 카메라를 천장이나 벽 등에 고정한 상태에서는 카메라의 내부 파라미터 추정을 위한 영상 획득 과정이 번거롭고 힘들기 때문이다.

카메라의 내부 파라미터 추정을 위해서는 아래 도 1에 도시된 것과 같이 커다란 캘리브레이션용 체커보드를 들고 최대한 다양한 각도에서 20개 내외에 해당하는 다수의 영상을 획득해야 한다. 이 때, 체커보드가 카메라의 시야 내에서 벗어나지 않도록 확인하면서 최대한 다양한 시점에서 영상획득이 필요하기 때문에, 이러한 영상획득 과정은 시간이 많이 걸리고 혼자서는 작업이 힘들다는 문제점이 있다.

따라서 보통의 경우에는 카메라를 설치하기 전에 먼저 내부 파라미터 캘리브레이션을 수행하여 초점거리, 주점 등의 카메라의 기구적 파라미터를 측정한 이후에 카메라를 부착하는 것이 일반적이다. 이후 카메라를 부착한 후에는 외부 파라미터 캘리브레이션을 별도로 수행하여 카메라의 설치 위치 및 설치된 방향각을 측정해야 한다.

이와 같이 전술한 카메라 캘리브레이션 방법은 번거롭고 시간이 오래 걸리는 문제점이 있다. 특히 CCTV 카메라 등과 같이 이미 설치되어 시점이 고정되어 있는 카메라에 대해서는 종래의 캘리브레이션을 위한 영상획득 과정이 매우 힘들거나 불가능할 수 있다.

한국 공개 특허 제10-2015-0096128호, 2015년 8월 24일 공개(명칭: 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법)

본 발명의 목적은 한 번의 영상획득만으로도 간단하게 카메라의 내부 파라미터와 외부 파라미터를 동시에 구할 수 있는 카메라 캘리브레이션 기술을 제공하는 것이다.

또한, 본 발명의 목적은 카메라 캘리브레이션을 위해 소요되는 시간을 단축하는 것이다.

또한, 본 발명의 목적은 사용자 혼자서도 용이하게 캘리브레이션을 수행할 수 있는 방법을 제공하는 것이다.

또한, 본 발명의 목적은 이미 설치되어 그 시점이 고정되어 있는 카메라의 경우에도 수월하게 캘리브레이션을 수행할 수 있는 방법을 제공하는 것이다.

또한, 본 발명의 목적은 다양한 형태의 캘리브레이션 마커를 활용할 수 있는 카메라 캘리브레이션 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가, 단일 입력영상으로부터 캘리브레이션 마커를 인식하는 단계; 상기 카메라 캘리브레이션 장치가, 상기 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출하는 단계; 상기 카메라 캘리브레이션 장치가, 상기 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출하는 단계; 및 상기 카메라 캘리브레이션 장치가, 상기 영상좌표, 상기 물리좌표 및 상기 내부 파라미터 중 적어도 하나를 기반으로 상기 카메라의 외부 파라미터를 산출하는 단계를 포함한다.

이 때, 추출된 특징점들 중 어느 세 개의 특징점도 일직선 상에 위치하지 않아야 한다.

이 때, 특징점들을 추출하는 단계는 특징점들 사이의 거리가 최대가 되도록 상기 캘리브레이션 마커의 가장자리에서부터 특징점들을 추출할 수 있다.

이 때, 상기 특징점들의 캘리브레이션 마커 내의 위치는 마커 패턴의 형태에 따라 사전에 미리 정의될 수 있다.

이 때, 내부 파라미터를 산출하는 단계는 상기 특징점들의 물리좌표를 상기 영상좌표로 변환하기 위한 호모그래피 행렬을 계산하는 단계; 및 상기 호모그래피 행렬을 이용하여 상기 캘리브레이션 마커에 상응하는 두 개의 영상 소실점들의 좌표를 획득하고, 상기 두 개의 영상 소실점들의 좌표를 이용하여 카메라 초점거리를 산출하는 단계를 포함할 수 있다.

이 때, 물리좌표는 상기 추출된 특징점들 중 어느 하나의 특징점을 원점으로 하는 상대 좌표계 및 별도의 외부 원점을 기준으로 하는 월드 좌표계 중 어느 하나의 좌표계에 상응하는 좌표일 수 있다.

이 때, 외부 파라미터는 상기 상대 좌표계 및 상기 월드 좌표계 중 어느 하나를 기반으로 나타낸 상기 카메라의 3차원 위치 및 상기 카메라의 방향 중 적어도 하나에 상응할 수 있다.

이 때, 외부 파라미터를 산출하는 단계는 PnP(Perspective n Point) 알고리즘을 기반으로 상기 외부 파라미터를 산출할 수 있다.

이 때, 캘리브레이션 마커는 2차원 평면 형태에 상응하고, 임의의 패턴을 포함할 수 있다.

이 때, 단일 입력영상은 상기 캘리브레이션 마커 전체를 촬영한 영상에 해당할 수 있다.

이 때, 인식하는 단계는 상기 패턴의 형태 및 종류 중 적어도 하나를 고려하여 영상인식 알고리즘을 선택하고, 선택된 영상인식 알고리즘을 이용하여 상기 캘리브레이션 마커를 인식할 수 있다.

또한, 본 발명의 일실시예에 따른 카메라 캘리브레이션 장치는, 단일 입력영상으로부터 캘리브레이션 마커를 인식하는 인식부; 상기 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출하는 추출부; 상기 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출하는 내부 파라미터 산출부; 및 상기 영상좌표, 상기 물리좌표 및 상기 내부 파라미터 중 적어도 하나를 기반으로 상기 카메라의 외부 파라미터를 산출하는 외부 파라미터 산출부를 포함한다.

이 때, 추출부는 특징점들 사이의 거리가 최대가 되도록 상기 캘리브레이션 마커의 가장자리에서부터 특징점들을 추출할 수 있다.

이 때, 추출된 특징점들의 캘리브레이션 마커 내의 위치는 마터 패턴의 형태에 따라 사전에 미리 정의될 수 있다.

이 때, 내부 파라미터 산출부는 상기 추출된 특징점들의 물리좌표를 상기 영상좌표로 변환하기 위한 호모그래피 행렬을 계산하는 단계; 및 상기 호모그래피 행렬을 이용하여 상기 캘리브레이션 마커에 상응하는 두 개의 영상 소실점들의 좌표를 획득하고, 상기 두 개의 영상 소실점들의 좌표를 이용하여 카메라 초점거리를 산출하는 단계를 포함할 수 있다.

이 때, 외부 파라미터 산출부는 PnP(Perspective n Point) 알고리즘을 기반으로 상기 외부 파라미터를 산출할 수 있다.

이 때, 인식부는 상기 패턴의 형태 및 종류 중 적어도 하나를 고려하여 영상인식 알고리즘을 선택하고, 선택된 영상인식 알고리즘을 이용하여 상기 캘리브레이션 마커를 인식할 수 있다.

본 발명에 따르면, 한 번의 영상획득만으로도 간단하게 카메라의 내부 파라미터와 외부 파라미터를 동시에 구할 수 있는 카메라 캘리브레이션 기술을 제공할 수 있다.

또한, 본 발명은 카메라 캘리브레이션을 위해 소요되는 시간을 단축할 수 있다.

또한, 본 발명은 사용자 혼자서도 용이하게 캘리브레이션을 수행할 수 있는 방법을 제공할 수 있다.

또한, 본 발명은 이미 설치되어 그 시점이 고정되어 있는 카메라의 경우에도 수월하게 캘리브레이션을 수행할 수 있는 방법을 제공할 수 있다.

또한, 본 발명은 다양한 형태의 캘리브레이션 마커를 활용할 수 있는 카메라 캘리브레이션 방법을 제공할 수 있다.

도 1은 종래의 카메라 캘리브레이션을 위한 마커 촬영 과정을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 5는 본 발명에 따른 캘리브레이션 마커의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 체커보드 마커의 특징점과 상대 좌표계 설정의 일 예를 나타낸 도면이다.
도 7은 영상 소실점을 영상에서 직접 계산하는 과정의 일 예를 나타낸 도면이다.
도 8 내지 도 12는 본 발명에 따라 체커보드 형태의 마커를 이용하여 카메라 캘리브레이션을 수행하는 일 예를 나타낸 도면이다.
도 13 내지 도 16은 본 발명의 따라 체커보드가 아닌 형태의 마커를 이용하여 카메라 캘리브레이션을 수행하는 일 예를 나타낸 도면이다.
도 17 내지 도18은 본 발명에 따른 카메라 캘리브레이션 방법의 유효성을 확인하기 위한 시뮬레이터 프로그램의 인터페이스의 일 예를 나타낸 도면이다.
도 19는 본 발명의 일실시예에 따른 카메라 캘리브레이션 장치를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 2는 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법을 나타낸 동작 흐름도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가 단일 입력영상으로부터 캘리브레이션 마커를 인식한다(S210).

이 때, 캘리브레이션을 수행할 카메라로부터 캘리브레이션 마커를 촬영한 단일 입력영상을 입력 받을 수 있다. 예를 들어, 카메라를 통해 촬영된 영상은 이미지 파일 형태로 입력 받을 수도 있고, 비디오 파일 또는 카메라 API를 통해 카메라로부터 영상신호를 직접 입력 받을 수도 있다. 이 때, 구체적인 영상의 포맷 및 입력 인터페이스의 형태는 한정되지 않을 수 있다.

이 때, 단일 입력영상은 캘리브레이션 마커의 전체를 촬영한 영상에 해당할 수 있다.

이 때, 캘리브레이션 마커는 2차원 평면 형태에 상응하고, 임의의 패턴을 포함할 수 있다. 예를 들어, 캘리브레이션 마커는 영상에서 인식이 용이하고, 적어도 네 개 이상의 서로 다른 특징점들을 유일하게 결정할 수 있는 2차원 평면 형태의 임의의 패턴이면 모두 가능할 수 있다.

이 때, 패턴의 형태 및 종류 중 적어도 하나를 고려하여 영상인식 알고리즘을 선택하고, 선택된 영상인식 알고리즘을 이용하여 캘리브레이션 마커를 인식할 수 있다. 즉, 단일 입력영상으로부터 캘리브레이션 마커를 검출하기 위한 영상인식 과정은 사용된 캘리브레이션 마커의 형태에 따라 검출 알고리즘이 상이할 수 있기 때문에 여기서는 특정 알고리즘을 한정하지 않는다.

하지만 통상적인 캘리브레이션 마커 인식 과정은, 먼저 단일 입력영상을 이진화(binarization)하여 동일한 색상 및 밝기를 가진 영역들을 서로 구분하고, 구분된 각 영역에 대해 형태 분석을 수행하여, 분석된 형태가 캘리브레이션 마커의 형태와 일치하는지 여부를 판단하는 방식으로 수행될 수 있다.

또한, 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출한다(S220).

이 때, 추출된 특징점들 중 어느 세 개의 특징점도 일직선 상에 위치하지 않을 수 있다.

이 때, 캘리브레이션 마커의 가장자리에서부터 특징점들을 추출할 수 있다.

예를 들어, 캘리브레이션 마커에서 특징점들의 위치는 마커 패턴에 따라 미리 정의될 수 있으며, 가급적 캘리브레이션 마커 패턴의 가장 외곽에 위치하는 꼭지점들을 각각의 특징점으로 잡는 것이 바람직할 수 있다. 그 이유는 영상처리 과정의 오차로 인해 추출된 특징점들의 영상좌표에 오차가 발생할 수 있는데, 이러한 오차가 카메라 캘리브레이션 정확도에 미치는 영향을 최소화하기 위해서는 특징점들이 가급적 서로 멀리 떨어져 있는 것이 바람직하기 때문일 수 있다.

또한, 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출한다(S230).

이 때, 영상좌표는 추출된 특징점들에 대한 단일 입력영상 내의 위치를 표현하는 픽셀좌표로써, 캘리브레이션 마커를 촬영할 당시의 카메라 시점에 따라 달라지는 값에 해당할 수 있다.

이 때, 물리좌표는 추출된 특징점들 중 어느 하나의 특징점을 원점으로 하는 상대 좌표계 및 별도의 외부 원점을 기준으로 하는 월드 좌표계 중 어느 하나의 좌표계에 상응하는 좌표일 수 있다. 즉, 물리좌표는 캘리브레이션 마커의 형태와 크기에 따라 결정되는 값에 해당할 수 있다.

단, 상대 좌표계나 월드 좌표계 중 어떤 좌표계를 기준으로 하여 물리좌표를 설정하더라도 결과적으로 산출되는 카메라의 내부 파라미터에는 영향이 없기 때문에 사용자의 설정에 따른 좌표계를 사용할 수 있다.

이 때, 카메라의 내부 파라미터에는 크게 카메라의 초점거리 f와 카메라의 주점에 대한 영상좌표 (cx, cy)가 있을 수 있다. 카메라의 초점거리는 카메라 렌즈의 중심에서 이미지의 센서까지의 거리를 픽셀단위로 표현한 것이며, 카메라 주점은 카메라 렌즈의 광학축(optical axis)과 이미지 센서와의 교점에 대한 픽셀좌표를 의미할 수 있다.

이와 같은 카메라 내부 파라미터를 추정하기 위한 사전 단계로서 먼저 캘리브레이션 마커의 물리좌표를 영상좌표로 변환하기 위한 호모그래피 행렬을 계산할 수 있다.

이 때, 호모그래피란, 한 평면을 다른 평면에 투영(projection)시켰을 때 원래 평면의 점과 투영된 대응점들 사이에 성립하는 변환관계를 지칭할 수 있다. 호모그래피는 3 x 3 행렬로 표현될 수 있으며, 대응점들의 동차좌표(homogeneous coordinate) 표현에 대해 성립하는 변환관계일 수 있다.

예를 들어, 한 평면 위의 점들 (x1, y1), (x2, y2), ... 이 투영변환(perspective projection)으로 인해 다른 평면 위의 점들 (x1`, y1`), (x2`, y2`). ...로 각각 투영되었다면 이들 대응점들 사이에는 다음의 [수학식 1]을 만족하영 3X3 호모그래피 행렬 H가 항상 존재하고 또 유일하게 존재할 수 있다.

[수학식 1]

단, s는 동차좌표(homogeneous coordinate) 표현에 있어서, 한 쪽을 다른 쪽으로 변환하기 위해 곱하는 환산 계수(scale factor)에 상응할 수 있다.

이 때, 특징점들의 영상좌표를 (xi`, yi`), 이에 대응되는 물리좌표를 (xi, yi), i = 1, 2, ... 라고 가정한다면, 물리좌표에서 영상좌표로의 호모그래피(homography) 행렬 h는 다음 [수학식 2]의 해로 계산할 수 있다.

[수학식 2]

이 때, [수학식 2]는 [수학식 1]을 풀어서 hi에 대해 다시 정리한 것으로써, [수학식 2]의 해는, 행렬 A의 SVD(singular value decomposition)를 A = UΣVT라 할 때, V의 가장 오른쪽 열벡터 즉, A의 최소 특이값(singular value)에 대응되는 우특이벡터(right singular vector)로 주어질 수 있다.

이 때, 호모그래피 행렬 H가 유일하게 존재한다는 의미는, 캘리브레이션 마커에서 a, b, c, d에 해당하는 특징점들의 물리좌표를 이용하여 H를 구하나, b, c, d, e에 해당하는 특징점들의 물리좌표를 이용하여 H를 구하나 그 결과가 동일하다는 것을 의미할 수 있다. 즉, 임의의 네 개의 특징점들의 물리좌표를 이용하여 구한 호모그래피 행렬을 다른 모든 특징점들의 물리좌표에 대해서도 동일하게 적용할 수 있다는 의미일 수 있다.

이와 같은 방법으로 호모그래피 행렬이 구해지면, 호모그래피 행렬을 이용하여 캘리브레이션 마커에 상응하는 두 개의 영상 소실점들의 좌표를 획득하고, 두 개의 영상 소실점들의 좌표를 이용하여 카메라 초점거리를 산출할 수 있다.

이 때, 카메라의 주점(principal point)은 보다 수월하게 산출하기 위해서 단일 입력영상의 이미지 센터로 설정할 수 있다. 즉, 단일 입력영상의 이미지 해상도를 w * h라고 가정하면 카메라 주점을 cx = w/2, cy = h/2로 설정할 수 있다. 만약, 카메라 제조과정에서의 기구적 오차가 없다면 렌즈의 광학축은 이미지 센서의 중심(센터)을 지나게 되므로 대부분의 카메라에서는 카메라의 주점을 이미지의 센터로 가정해도 무방할 수 있다. 참고로 카메라 주점을 보다 정밀하게 산출하고자 할 경우에는 서로 다른 카메라 시점에서 획득한 2개 이상의 이미지가 필요한데, 이 경우 캘리브레이션 과정이 복잡해지기 때문에 본 발명에서는 이미지 센터를 주점으로 가정하여 내부 파라미터를 산출하도록 한다.

또한, 카메라의 초점거리 f는 서로 직교하는 두 직선 방향에 대한 영상 소실점 v1=(x1, y1), v2 = (x2, y2)가 주어지면 다음의 [수학식 3]에 의해 간단하게 산출할 수 있다.

[수학식 3]

이 때, 본 발명에서는 호모그래피 행렬을 이용하여 영상 소실점을 계산할 수 있다.

이 때, 호모그래피 행렬에 대해 알려진 사실 중 하나는 이상점(ideal point)을 호모그래피 행렬로 변환하면 해당 이상점 방향에 대응하는 영상 소실점의 좌표가 나온다는 점이다. 이상점(ideal point)은 동차좌표계(homogeneous coordinate system)에서 (x, y, 0)과 같이 맨 마지막 성분을 0으로 한 좌표로서, 이상점 (x, y, 0)을 호모그래피 행렬 H로 변환하면 (x, y) 벡터 방향에 대응하는 영상 소실점의 좌표가 얻어진다.

이러한 원리를 이용하면 서로 직교하는 임의의 두 이상점에 대해 호모그래피를 적용함으로써 직교 방향의 두 영상 소실점을 계산할 수 있다.

예를 들어, 서로 직교 관계에 있는 두 이상점은 p1 = (a, b, 0), p2 = (b, -a, 0)로 잡을 수 있다. 이 경우, Hp1 = (ah1+bh2, ah4+bh5, ah7+bh8), Hp2 = (bh1-ah2, bh4-ah5, bh7-ah8)이므로 두 이상점에 대응하는 영상 소실점 v1, v2는 다음의 [수학식 4]와 같이 계산할 수 있다.

[수학식 4]

v1 = ((ah1+bh2)/(ah7+bh8), (ah4+bh5)/(ah7+bh8))

v2 = ((bh1-ah2)/(bh7-ah8), (bh4-ah5)/(bh7-ah8))

이와 같이 [수학식 4]를 통해 획득한 두 영상소실점의 좌표를 앞서 [수학식 3]에 대입하면 카메라의 내부 파라미터인 초점거리를 산출할 수 있다.

또한, 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가 영상좌표, 물리좌표 및 내부 파라미터 중 적어도 하나를 기반으로 카메라의 외부 파라미터를 산출한다(S240).

이 때, 외부 파라미터는 상대 좌표계 및 월드 좌표계 중 어느 하나를 기반으로 나타내난 카메라의 3차원 위치(X, Y, Z) 및 카메라의 방향 중 적어도 하나에 상응할 수 있다. 이 때, 카메라의 방향은 일반적으로 3*3 회전행렬의 형태로 표현될 수 있다.

이러한 3차원 위치의 좌표와 카메라의 방향은 기준이 되는 좌표계가 사전에 설정되어 있어야 의미를 갖게 되는데 이러한 기준 좌표계를 월드 좌표계라 할 수 있다. 월드 좌표계는 응용의 목적에 따라 사용자가 임의로 설정한 물리 공간상의 기준 좌표계로서 통상적으로 센티미터(centimeter), 미터(meter) 등과 같은 물리 단위로 표현될 수 있다. 여기서 캘리브레이션 마커의 특징점들의 월드좌표는 기준 월드좌표계에 대해서 현재 캘리브레이션 마커가 놓여진 위치에서의 특징점들의 좌표를 측정하여 얻어질 수 있다.

또한, 응용에 따라서는 캘리브레이션 마커 자체를 기준으로 월드좌표계를 설정할 수 있다. 이 때, 마커를 기준으로 월드좌표계를 설정한 경우에는 외부 파라미터 추정을 통해 획득되는 카메라의 3차원 위치 및 방향이 캘리브레이션 마커를 기준으로 하는 상대적인 값에 상응할 수 있다.

이 때, PnP(Perspective n Point) 알고리즘을 기반으로 외부 파라미터를 산출할 수 있다.

이 때, 영상처리 분야에서 널리 알려진 사실 중의 하나는 월드 공간에서의 서로 다른 네 개 이상의 점(단, 어느 세 점도 동일 직선상에 존재하지 않아야 함)에 대한 월드좌표(world coordinate)와 이에 대응하는 영상좌표, 그리고 카메라의 내부 파라미터를 알면, 이를 통해 3차원 위치 및 회전 방향과 같은 카메라의 3차원 자세정보를 파악할 수 있다. 이러한 알고리즘을 PnP(Perspective n Point) 알고리즘이라 부르며 그 구체적인 계산 알고리즘은 다양하기 때문에 어느 알고리즘을 사용해도 무방할 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 카메라 캘리브레이션 장치가 상술한 카메라 캘리브레이션 과정에서 발생하는 다양한 정보를 저장 모듈에 저장한다.

또한, 본 발명의 일실시예에 따른 카메라 캘리브레이션 방법은 일반 컴퓨터에서 수행되는 소프트웨어 프로그램의 형태로 구현될 수도 있고, 독립된 장치 형태로 구현될 수도 있다.

이 때, 본 발명이 소프트웨어 프로그램의 형태로 구현될 경우, 캘리브레이션 마커와 컴퓨터 프로그램으로 구성될 수 있으며, 컴퓨터 프로그램은 영상입력 모듈, 마커인식 모듈, 내부 파라미터 산출 모듈, 외부 파라미터 산출 모듈을 포함하는 소프트웨어로 구성될 수 있다.

이 때, 본 발명의 독립된 장치 형태로 구현될 경우, 캘리브레이션 마커와 캘리브레이션 장치로 구성될 수 있으며, 캘리브레이션 장치는 상술한 소프트웨어 프로그램과 이 프로그램을 저장하는 메모리 및 프로그램에 따라 카메라 캘리브레이션을 수행하는 프로세서를 포함하여 구성될 수 있다.

본 발명은 이와 같이 다양한 형태로 구현될 수 있지만, 그 핵심은 캘리브레이션 알고리즘에 있기 때문에 구체적인 형태는 한정하지 않는다.

이와 같이 본 발명에 따른 카메라 캘리브레이션 방법을 이용함으로써, 한 번의 영상획득만으로도 간단하게 카메라의 내부 파라미터와 외부 파라미터를 동시에 구할 수 있는 카메라 캘리브레이션을 수행할 수 있다.

또한, 카메라 캘리브레이션을 위해 소요되는 시간을 단축할 수 있으며, 사용자 혼자서도 용이하게 캘리브레이션을 수행할 수도 있다.

도 3 내지 도 5는 본 발명에 따른 캘리브레이션 마커의 일 예를 나타낸 도면이다.

도 3 내지 도 5를 참조하면, 본 발명에 따른 캘리브레이션 마커는 어떤 특정한 형태로 한정되지 않을 수 있다.

예를 들어, 본 발명에 따른 캘리브레이션 마커는 영상에서 인식이 용이하고, 적어도 네 개 이상의 서로 다른 특징점들을 유일하게 결정할 수 있는 2차원 평면 형태의 임의의 패턴이면 모두 가능할 수 있다. 단, 적어도 네 개 이상의 특징점들 중 어느 세 개의 특징점들도 일직선 상에 위치할 수는 없다.

이 때, 캘리브레이션 마커에 상응하는 패턴의 특징점이라 함은, 다각형의 꼭지점과 같이 패턴 내에서 손쉽게 하나의 점으로 특정 지을 수 있는 지점을 의미할 수 있다.

예를 들어, 원이나 타원을 캘리브레이션 마커의 패턴으로 사용할 경우에는 이러한 특징점을 한정 지을 수 없기 때문에, 원이나 타원은 캘리브레이션 마커로서 적절하지 않을 수 있다.

또한, 특징점들이 서로 다르다는 의미는, 캘리브레이션 마커 내에서 적어도 네 개 이상의 특징점들이 서로 혼동의 여지없이 유일하게 결정될 수 있어야 함을 의미할 수 있다.

예를 들어, 정사각형을 캘리브레이션 마커의 패턴으로 사용하고 정사각형의 네 꼭지점을 각각 특징점으로 사용하는 경우, 캘리브레이션 마커가 90도 회전할 때마다 패턴의 형태가 동일해지기 때문에 네 개의 특징점들은 서로 구분 지을 수 없게 된다. 즉, 정사각형 또한 캘리브레이션 마커로서 적절하지 않을 수 있다. 또한, 정사각형과 유사한 이유로 직사각형도 180도 회전에 대해서 모호성이 있기 때문에 본 발명에 따른 캘리브레이션 마커로서는 적절하지 않을 수 있다.

따라서, 본 발명에 따른 캘리브레이션 마커의 일 예로는, 카메라 캘리브레이션 용도로 많이 사용되는 도 3과 같은 체커보드가 사용될 수 있다.

또한, 본 발명에 따른 캘리브레이션 마커는 도 4나 도 5에 도시된 것처럼 영상 인식을 통하여 용이하게 검출될 수 있는 패턴인 것을 특징으로 하며, 다양한 형태의 인공 표식으로 구현될 수 있다. 이 때, 캘리브레이션 마커의 구현 예는 도 3 내지 도 5에 도시된 패턴에 한정되지 않고 다양하게 존재할 수 있다.

도 6은 본 발명에 따른 체커보드 마커의 특징점과 상대 좌표계 설정의 일 예를 나타낸 도면이다.

도 6을 참조하면, 본 발명에 따른 물리좌표나 캘리브레이션 마커의 특징점들 간의 기하학적 위치관계는 캘리브레이션 마커의 형태와 크기에 따라서 결정되는 값으로서 캘리브레이션 마커에 대해 미리 설정된 임의의 상대 좌표계에 대한 좌표로 정의될 수 있다.

예를 들어, 도 6에 도시된 것과 같은 3*4 체커보드를 캘리브레이션 마커로 사용할 경우, 체커보드 외곽에 위치하는 네 개의 꼭지점 중 하나를 상대 좌표계의 원점, 그리고 두 변을 상대 좌표계의 x축과 y축으로 각각 설정할 수 있다.

이 때, 도 6에 도시된 체커보드의 격자 셀 크기가 1이라고 가정한다면, 도 6에 도시된 특징점들 A, B, C, D 각각의 물리좌표는 A(0,0), B(0,4), C(3,4), D(3,0)에 상응할 수 있다.

또한, 특징점들에 대한 물리좌표는 도 6에 도시된 것과 같이 캘리브레이션 마커를 기준으로 한 상대적 좌표로 정의될 수도 있고, 또는 별도로 외부에 고정되어 설정된 월드 좌표계를 기준으로 설정될 수도 있다.

단, 어떤 좌표계를 기준으로 사용하여 특징점들의 물리좌표를 설정하여도, 결과적으로 산출되는 카메라 내부 파라미터에는 영향이 없기 때문에 사용자의 선택에 따라 자유롭게 좌표계를 설정하여 사용할 수 있다.

도 7은 영상 소실점을 영상에서 직접 계산하는 과정의 일 예를 나타낸 도면이다.

도 7을 참조하면, 영상 소실점을 영상에서 직접 계산하는 과정은 인식된 캘리브레이션 마커의 두 변을 연장하고, 연장된 두 변의 교차점을 계산하는 것에 상응할 수 있다. 하지만 이와 같이 영상 소실점을 영상에서 직접 계산하는 방법에는 크게 2가지 문제점이 존재할 수 있다.

먼저, 첫 번째 문제점은 도 7에 도시된 것과 같이 캘리브레이션 마커의 변의 방향이 카메라의 광학축 방향과 수직 방향으로 위치한 경우, 영상에서도 두 변이 평행하게 되어 교차하지 않으므로 영상 소실점 계산이 불가능한 경우가 발생할 수 있다. 이 때, 카메라 내부 파라미터에 해당하는 카메라 초점거리를 산출하기 위해서는 서로 직교하는 두 방향에 대한 소실점이 필요하지만 도 7과 같은 경우가 발생한다면 영상 소실점을 한쪽 방향에 대해서만 획득하게 되므로 카메라 초점거리를 산출하지 못할 수 있다.

두 번째 문제점은 서로 직교하는 두 방향에 대한 소실점을 얻기 위해서는 캘리브레이션 마커의 형태가 직사각형 형태로 제한된다는 점이다. 캘리브레이션 마커의 형태가 직사각형 형태로 제한되면, 다양한 형태의 패턴을 캘리브레이션 마커로 활용할 없게 되는 문제점이 발생할 수 있다.

따라서, 본 발명에서는 이러한 문제점을 극복하기 위해 영상에서 직접적으로 영상 소실점을 계산하는 대신에, 호모그래피 행렬을 이용하여 영상 소실점을 계산하는 방법을 제시하였다. 이에 대한 상세한 설명은 도 2에서 기재하였으므로 생략하도록 한다.

도 8 내지 도 12는 본 발명에 따라 체커보드 형태의 마커를 이용하여 카메라 캘리브레이션을 수행하는 일 예를 나타낸 도면이다.

이하에서는, 도 8 내지 도 12를 참조하여 본 발명의 일실시예에 따른 카메라 캘리브레이션 과정을 순차적으로 설명하도록 한다.

이 때, 본 발명에 따른 카메라 캘리브레이션 방법은 특정한 형태의 캘리브레이션 마커에 종속되지 않으나, 도 8 내지 도 12에서는 설명의 편의를 위해 카메라 캘리브레이션 기술에서 많이 사용되는 체커보드를 예로써 설명하도록 한다.

먼저, 도 8을 참조하면, 본 발명의 일실시예에 따른 캘리브레이션 마커와 이를 기준으로 설정된 상대 좌표계를 확인할 수 있다.

이 때, 캘리브레이션 마커에 대한 네 개 이상의 특징점들은 도 8에 도시된 것과 같이 p1, p2, p3, p4에 해당하는 네 개의 코너점(corner point)으로 설정할 수 있다. 또한, 기준이 되는 상대 좌표계는 p1을 원점으로, p1에서 p2로의 방향을 x축, p1에서 p3로의 방향을 y축으로 설정할 수 있다. 또한, 체커보드에서 한 셀의 크기는 2.6 cm라고 가정할 수 있다.

이 후, 도 9에 도시된 것과 같이 카메라를 통해 캘리브레이션 마커를 촬영한 단일 입력영상을 획득할 수 있다.

이 후, 도 10에 도시된 것과 같이 단일 입력영상에서 캘리브레이션 마커를 인식하여 패턴을 검출할 수 있다. 예를 들어, 체커보드에 해당하는 캘리브레이션 마커의 경우에는 그 영상인식 알고리즘이 이미 공개되어 있기 때문에 공개된 코드 중 어느 하나를 패턴을 검출하는데 사용할 수 있다.

이 때, 도 10은 대표적인 컴퓨터 비전 라이브러리인 OpenCY를 이용하여 단일 영상에서 체커보드에 해당하는 캘리브레이션 마커를 인식하고, 그 코너점들을 추출한 경우에 해당할 수 있다. 예를 들어, 체커보드에 해당하는 캘리브레이션 마커 인식을 위해서는 OpenCY 라이브러리 함수들 중 cv::findChessboardCorners() 함수를 이용할 수 있다.

이 때, 도 10에 도시된 것과 같이 OpenCY 라이브러리 함수는 체커보드의 모든 코너점들을 추출할 수 있다.

이 때, 도 8을 통해 미리 정의된 네 개의 특징점들을 추출하여 도 11과 같이 나타낼 수 있다.

이 후, 도 12에 도시된 것과 같이 내부 파라미터와 외부 파라미터를 산출할 수 있다.

예를 들어, p1, p2, p3 및 p4에 해당하는 네 개의 특징점들의 영상좌표는 p1 = (201.8, 259.4), p2 = (445.4, 287.7), p3 = (234.6, 190.6), p4 = (442.2, 211.7)이고, 이에 각각 대응되는 물리좌표는 마커 셀의 크기가 2.6cm이므로 p1` = (0.00, 0.00), p2` = (15.60, 0.00), p3` = (0.00, 7.80), p4` = (15.60, 7.80)에 상응할 수 있다.

이 후, 도 2에 도시된 [수학식 3]에 의해 카메라 초점거리 f를 계산하면 f = 523.78가 산출될 수 있다.

마지막으로 도 8에 도시된 기준 좌표계를 기준으로 카메라의 외부 파라미터를 구하면, 카메라 위치는 x = 11.02, y = -23.57, z = 23.24, 카메라의 방향은 pan = 98.0 degree, tilt = -40.7 degree, roll = 1.1 degree로 산출할 수 있다.

이 때, pan은 카메라 광학축 방향이 기준 좌표계의 x축과 이루는 각이고, tilt는 카메라가 상하방향으로 얼마나 회전되어 있는지를 나타내는 것으로서 수평방향 0도를 기준으로 하여 위쪽 방향이 플러스(+), 아래쪽 방향이 마이너스(-)를 의미할 수 있다. 그리고 roll은 카메라의 광학축을 기준으로 한 회전각을 의미할 수 있다.

도 13 내지 도 16은 본 발명의 따라 체커보드가 아닌 형태의 마커를 이용하여 카메라 캘리브레이션을 수행하는 일 예를 나타낸 도면이다.

이하에서는, 도 13 내지 도 16을 참조하여 본 발명의 일실시예에 따른 카메라 캘리브레이션 과정을 순차적으로 설명하도록 한다.

이 때, 본 발명에 따른 카메라 캘리브레이션 방법은 특정한 형태의 캘리브레이션 마커에 종속되지 않으나, 도 13 내지 도 16에서는 체커보드 대신 다른 형태의 캘리브레이션 마커를 이용한 실시예를 설명하도록 한다. 단, 카메라는 도 8 내지 도 12에서와 동일한 카메라인 것으로 가정할 수 있다.

이 때, 도 13은 단일 입력영상, 도 14는 단일 입력영상을 이진화한 영상, 도 15는 이진화한 영상에서 연결성분 분석(Connected component analysis)를 통해 영역을 추출하고, 추출된 영역의 경계분석(contour)을 통해 캘리브레이션 마커 및 마커의 특징점을 추출한 결과를 나타낸다. 또한, 도 16은 특징점에 상응하는 좌표로부터 카메라와의 초점거리를 산출하고, 카메라의 3차원 자세를 산출한 결과를 이미지의 위에 출력한 결과를 나타낸다.

도 16을 확인하면, 카메라 캘리브레이션을 통해 산출된 카메라의 초점거리 f는 f = 520.6이며, 이는 도 8 내지 도 12에 도시된 실시예에서 산출된 카메라 초점거리 f = 521.96과 매우 유사한 값이 산출되었음을 확인할 수 있다. 즉, 카메라의 내부 파라미터는 카메라 고유의 기구적 파라미터로서 변하지 않는 값이기 때문에 캘리브레이션 마커에 상관없이 고유한 값에 가깝게 산출될 수 있다.

도 17 내지 도 18은 본 발명에 따른 카메라 캘리브레이션 방법의 유효성을 확인하기 위한 시뮬레이터 프로그램의 인터페이스의 일 예를 나타낸 도면이다.

도 17 내지 도 18을 참조하면, 본 발명에 따른 카메라 캘리브레이션 방법의 유효성을 확인하기 위한 시뮬레이터 프로그램의 시뮬레이션 인터페이스(1700)와 시뮬레이션 화면(1800)을 확인할 수 있다.

이 때, 본 발명에 따른 카메라 캘리브레이션 방법의 유효성을 확인하기 위해, 시뮬레이션 인터페이스(1700)를 기반으로 카메라의 내부 파라미터 및 외부 파라미터를 입력 받아 가상의 카메라 이미지를 생성한 후, 생성된 가상 이미지에 대해 마커 특징점을 추출할 수 있다. 이 후, 본 발명에 따른 카메라 캘리브레이션 방법을 적용하여 도 18과 같이 도출된 결과가 시뮬레이션 인터페이스(1700)를 통해 입력된 카메라 파라미터와 일치하는지 여부를 이용하여 본 발명의 유효성을 확인할 수 있다.

도면 18에 도시된 것과 같이 영상에서 소실점이 1개밖에 생성되지 않는 경우에도 본 발명에 따른 카메라 캘리브레이션 방법은 카메라의 파라미터를 안정적으로 산출할 수 있음을 확인할 수 있다. 반면에, 종래의 소실점을 이용한 캘리브레이션 방법들은 도 18에 도시된 것과 같은 케이스에서는 카메라의 초점거리를 산출하는데 어려움이 있을 수 있다.

도 17을 참조하면, 가상 이미지를 생성할 때 사용한 초점거리는 f = 300이었으며, 현실에서의 영상처리 오차를 반영하기 위해 검출된 특징점 좌표에 이미지 오차를 추가한 것을 확인할 수 있다.

이 때, 도 18을 참조하면, 오차가 추가된 특징점 좌표로부터 추정된 카메라의 초점거리는 f = 303.139919에 상응하므로, 본 발명에 따른 카메라 캘리브레이션 방법이 유효한 것을 확인할 수 있다.

도 19는 본 발명의 일실시예에 따른 카메라 캘리브레이션 장치를 나타낸 블록도이다.

도 19를 참조하면, 본 발명의 일실시예에 따른 카메라 캘리브레이션 장치는 인식부(1910), 추출부(1920), 내부 파라미터 산출부(1930), 외부 파라미터 산출부(1940) 및 저장부(1950)를 포함한다.

인식부(1910)는 단일 입력영상으로부터 캘리브레이션 마커를 인식한다.

추출부(1920)는 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출한다

내부 파라미터 산출부(1930)는 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출한다.

예를 들어, 한 평면 위의 점들 (x1, y1), (x2, y2), ... 이 투영변환(perspective projection)으로 인해 다른 평면 위의 점들 (x1`, y1`), (x2`, y2`), ...으로 각각 투영되었다면 이들 대응점들 사이에는 다음의 [수학식 1]을 만족하는 3x3 호모그래피 행렬 H가 항상 존재하고 또 유일하게 존재할 수 있다.

[수학식 1]

이 때, 특징점들의 영상좌표를(xi`, yi`), 이에 대응되는 물리좌표를 (xi, yi), i = 1, 2, ... 라고 가정한다면, 물리좌표에서 영상좌표로의 호모그래피(homography) 행렬 H는 다음 [수학식 2]의 해로 계산할 수 있다.

[수학식 2]

[수학식 3]

[수학식 4]

v1 = ((ah1+bh2)/(ah7+bh8), (ah4+bh5)/(ah7+bh8))

v2 = ((bh1-ah2)/(bh7-ah8), (bh4-ah5)/(bh7-ah8))

외부 파라미터 산출부(1940)는 영상좌표, 물리좌표 및 내부 파라미터 중 적어도 하나를 기반으로 카메라의 외부 파라미터를 산출한다.

저장부(1950)는 상술한 바와 같이 본 발명의 일실시예에 따른 카메라 캘리브레이션 장치에서 발생하는 다양한 정보를 저장한다.

실시예에 따라, 저장부(1950)는 카메라 캘리브레이션 장치와 독립적으로 구성되어 카메라 캘리브레이션을 위한 기능을 지원할 수 있다. 이 때, 저장부(1950)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.

한편, 카메라 캘리브레이션 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같이 본 발명에 따른 카메라 캘리브레이션 장치를 통해, 한 번의 영상획득만으로도 간단하게 카메라의 내부 파라미터와 외부 파라미터를 동시에 구할 수 있는 카메라 캘리브레이션을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

700: 캘리브레이션 마커 710: 영상 소실점
1700: 시뮬레이션 인터페이스 1800: 시뮬레이션 화면
1910: 인식부 1920: 추출부
1930: 내부 파라미터 산출부 1940: 외부 파라미터 산출부
1950: 저장부

Claims

카메라 캘리브레이션 장치를 이용한 카메라 캘리브레이션 방법에 있어서,
상기 카메라 캘리브레이션 장치가, 단일 입력영상으로부터 캘리브레이션 마커를 인식하는 단계;
상기 카메라 캘리브레이션 장치가, 상기 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출하는 단계;
상기 카메라 캘리브레이션 장치가, 상기 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출하는 단계; 및
상기 카메라 캘리브레이션 장치가, 상기 영상좌표, 상기 물리좌표 및 상기 내부 파라미터 중 적어도 하나를 기반으로 상기 카메라의 외부 파라미터를 산출하는 단계
를 포함하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 추출된 특징점들 중 어느 세 개의 특징점도 일직선 상에 위치하지 않는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 내부 파라미터를 산출하는 단계는
상기 특징점들의 물리좌표를 상기 영상좌표로 변환하기 위한 호모그래피 행렬을 계산하는 단계; 및
상기 호모그래피 행렬을 이용하여 상기 캘리브레이션 마커에 상응하는 두 개의 영상 소실점들의 좌표를 획득하고, 상기 두 개의 영상 소실점들의 좌표를 이용하여 카메라 초점거리를 산출하는 단계를 포함하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 물리좌표는
상기 추출된 특징점들 중 어느 하나의 특징점을 원점으로 하는 상대 좌표계 및 별도의 외부 원점을 기준으로 하는 월드 좌표계 중 어느 하나의 좌표계에 상응하는 좌표인 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 4에 있어서,
상기 외부 파라미터는
상기 상대 좌표계 및 상기 월드 좌표계 중 어느 하나를 기반으로 나타낸 상기 카메라의 3차원 위치 및 상기 카메라의 방향 중 적어도 하나에 상응하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 외부 파라미터를 산출하는 단계는
PnP(Perspective n Point) 알고리즘을 기반으로 상기 외부 파라미터를 산출하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 캘리브레이션 마커는
2차원 평면 형태에 상응하고, 임의의 패턴을 포함하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 단일 입력영상은
상기 캘리브레이션 마커 전체를 촬영한 영상에 해당하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
청구항 1에 있어서,
상기 인식하는 단계는
상기 패턴의 형태 및 종류 중 적어도 하나를 고려하여 영상인식 알고리즘을 선택하고, 선택된 영상인식 알고리즘을 이용하여 상기 캘리브레이션 마커를 인식하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 방법.
단일 입력영상으로부터 캘리브레이션 마커를 인식하는 인식부;
상기 캘리브레이션 마커에 상응하는 패턴으로부터 서로 다른 네 개 이상의 특징점들을 추출하는 추출부;
상기 추출된 특징점들 각각에 대한 영상좌표 및 물리좌표 중 적어도 하나를 기반으로 카메라의 내부 파라미터를 산출하는 내부 파라미터 산출부; 및
상기 영상좌표, 상기 물리좌표 및 상기 내부 파라미터 중 적어도 하나를 기반으로 상기 카메라의 외부 파라미터를 산출하는 외부 파라미터 산출부
를 포함하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 추출된 특징점들 중 어느 세 개의 특징점도 일직선 상에 위치하지 않는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 내부 파라미터 산출부는
상기 특징점들의 물리좌표를 상기 영상좌표로 변환하기 위한 호모그래피 행렬을 계산하고, 상기 호모그래피 행렬을 이용하여 상기 캘리브레이션 마커에 상응하는 두 개의 영상 소실점들의 좌표를 획득하고, 상기 두 개의 영상 소실점들의 좌표를 이용하여 카메라 초점거리를 산출하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 물리좌표는
상기 추출된 특징점들 중 어느 하나의 특징점을 원점으로 하는 상대 좌표계 및 별도의 외부 원점을 기준으로 하는 월드 좌표계 중 어느 하나의 좌표계에 상응하는 좌표인 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 13에 있어서,
상기 외부 파라미터는
상기 상대 좌표계 및 상기 월드 좌표계 중 어느 하나를 기반으로 나타낸 상기 카메라의 3차원 위치 및 상기 카메라의 방향 중 적어도 하나에 상응하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 외부 파라미터 산출부는
PnP(Perspective n Point) 알고리즘을 기반으로 상기 외부 파라미터를 산출하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 캘리브레이션 마커는
2차원 평면 형태에 상응하고, 임의의 패턴을 포함하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 단일 입력영상은
상기 캘리브레이션 마커 전체를 촬영한 영상에 해당하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.
청구항 10에 있어서,
상기 인식부는
상기 패턴의 형태 및 종류 중 적어도 하나를 고려하여 영상인식 알고리즘을 선택하고, 선택된 영상인식 알고리즘을 이용하여 상기 캘리브레이션 마커를 인식하는 것을 특징으로 하는 단일 영상을 이용한 카메라 캘리브레이션 장치.