KR101943046B1 - 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법 - Google Patents

보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법 Download PDF

Info

Publication number
KR101943046B1
KR101943046B1 KR1020170119707A KR20170119707A KR101943046B1 KR 101943046 B1 KR101943046 B1 KR 101943046B1 KR 1020170119707 A KR1020170119707 A KR 1020170119707A KR 20170119707 A KR20170119707 A KR 20170119707A KR 101943046 B1 KR101943046 B1 KR 101943046B1
Authority
KR
South Korea
Prior art keywords
camera
projector
rgb
image
point
Prior art date
Application number
KR1020170119707A
Other languages
English (en)
Inventor
김모란
김준식
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170119707A priority Critical patent/KR101943046B1/ko
Application granted granted Critical
Publication of KR101943046B1 publication Critical patent/KR101943046B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Abstract

보조 RGB-D 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법은 프로젝터로 대상물에 구조광을 투사하고 패턴이 투사된 상기 대상물을 RGB-D 카메라로 촬영하고, 상기 촬영된 RGB-D 카메라 영상에서 구조광 분석을 통해 RGB-D 프로젝터 이미지를 생성하는 단계; 상기 RGB-D 프로젝터 이미지를 활용하여, 상기 프로젝터의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출하는 단계; 상기 RGB-D 프로젝터 이미지를 활용하여, 상기 카메라의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 도출하는 단계; 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터와 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 이용하여, 상기 프로젝터 및 상기 카메라간의 외부 파라미터를 도출하는 단계를 포함한다.

Description

보조 RGB-D 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법{Calibration Method of Projector-Camera using Auxiliary RGB-D camera}
본 발명은 프로젝터-카메라 캘리브레이션 방법에 관한 것으로, 구체적으로 미리 캘리브레이션 된 RGB-D 카메라를 보조적으로 이용한 프로젝터-카메라 캘리브레이션 방법에 관한 것이다.
카메라와 프로젝터를 이용한 물체의 3차원 복원이나 투사형 증강현실은 다양한 응용분야를 가지고 있어 그와 관련된 많은 연구가 진행되고 있다. 다만, 이러한 카메라와 프로젝터를 동시에 사용하기 위해서는 카메라와 프로젝터 각각의 내부 파라미터와 외부 파라미터를 구하는 캘리브레이션이 요구된다.
카메라 캘리브레이션이란 3차원 공간에서 카메라 렌즈가 가지는 광학적 성질과 카메라의 상대적 자세를 알아내는 과정을 말한다. 현재 카메라 캘리브레이션에 많이 쓰이는 Zhang의 평면기반의 체스보드를 이용한 방식[Z. Zhang, "A Flexible New Technique for Camera Calibration," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.]은 과거 3차원 입체 모형을 이용한 캘리브레이션 방법보다는 편리한 카메라 캘리브레이션을 가능하게 하였고, 평면기반 카메라 캘리브레이션의 경우에는 짧은 시간 동안 평면패턴을 여기저기 움직여 체스보드의 3차원, 2차원 코너점 정보를 비교적 쉽게 얻을 수 있어 캘리브레이션이 다소 용이하게 진행될 수 있었다.
그러나 위와 같은 방법으로 프로젝터를 캘리브레이션 하는 경우에는 다음과 같은 문제점이 발생한다. 프로젝터는 가상의 카메라이기 때문에 광학적으로 영상을 직접 획득할 수 없으며 구조광 방식을 통해 카메라 영상으로부터 가상의 프로젝터 이미지를 만든 후 카메라와 프로젝터 이미지의 대응점을 캘리브레이션 데이터로 이용한다. 그런데 구조광 방식은 가상의 프로젝터 이미지 한 장을 만들어 내기 위해 평면패턴을 몇 초간 고정시킨 채로 여러 번 구조광을 투사해야 한다. 그리고 평면패턴을 기반으로 하는 프로젝터-카메라 캘리브레이션의 경우에 최소 세 가지의 평면패턴 분포로도 캘리브레이션이 가능해야 하지만, 현실적으로 완전히 평평한 평면패턴을 만드는 것이 어렵고 2차원 대응점 추출이 부정확하므로 여기서 발생할 수 있는 오차를 상쇄하기 위해 여러 장의 영상을 획득하여야 한다. 또한 카메라 영상에 패턴 영상을 고르게 분포시키기 위해서도 캘리브레이션 패턴의 자세를 바꿔가며 구조광을 투사하고 촬영을 반복해야 했기 때문에 캘리브레이션 데이터 추출에 많은 시간이 소요되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 보조의 RGB-D 카메라로부터 얻어진 3차원 정보와 구조광 분석을 통해 얻은 2차원 대응점을 이용해서 특정한 캘리브레이션 패턴과 물체의 이동이 필요 없는 프로젝터-카메라의 캘리브레이션 방법을 제공한다.
본 명세서의 일 실시예에 따른 보조 RGB-D 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법은 프로젝터로 대상물에 구조광을 투사하고 패턴이 투사된 상기 대상물을 RGB-D 카메라로 촬영하고, 상기 촬영된 RGB-D 카메라 영상에서 구조광 분석을 통해 RGB-D 프로젝터 이미지를 생성하는 단계; 상기 RGB-D 프로젝터 이미지를 활용하여, 상기 프로젝터의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출하는 단계; 상기 RGB-D 프로젝터 이미지를 활용하여, 상기 카메라의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 도출하는 단계; 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터와 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 이용하여, 상기 프로젝터와 상기 카메라간의 외부 파라미터를 도출하는 단계를 포함한다.
일 실시예에서 상기 프로젝터의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터는, 상기 RGB-D 프로젝터 이미지와 상기 대상물을 상기 RGB-D 카메라로 촬영한 RGB-D 카메라 이미지 사이의 대응점을 탐색하고, 상기 대응점을 활용하여 도출될 수 있다.
일 실시예에서 상기 대응점은, 상기 구조광 분석을 통해 획득한 2차원 점과 상기 RGB-D 카메라로부터 획득되는 3차원 점이 매칭되는 2D-3D 대응점일 수 있다.
일 실시예에서, 상기 프로젝터의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출하는 단계는, 상기 대응점에서 복수의 점을 랜덤 추출하여 상기 프로젝터의 파라미터를 초기화하는 단계; 상기 초기화된 파라미터로 구성된 핀 홀 카메라 모델(Pin-hole Camera model)의 관계식을 만족하는 점들을 RANSAC(RANdom Sample Consensus) 방법을 통해 inlier 대응점으로 선별하는 단계; 상기 선별된 inlier 대응점이 충분한 지 판단하는 단계; 상기 선별된 inlier 대응점을 기준으로 상기 프로젝터의 파라미터를 다시 초기화하는 단계; 및 상기 초기화된 프로젝터의 파라미터를 대상으로 재투영 오차를 최소화하는 단계를 포함할 수 있다.
일 실시예에서, 상기 RGB-D 프로젝터 이미지를 생성하는 단계는 상기 대상물을 카메라로 촬영한 카메라 영상을 구조광 분석을 통해 프로젝터 이미지를 생성하는 단계를 더 포함하고, 상기 카메라의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터는 상기 프로젝터 이미지와 상기 RGB-D 프로젝터 이미지 사이의 공통 영역에서 공통점을 추출하고, 상기 공통점과 대응되는 카메라 이미지의 2차원 점과 상기 공통점과 대응되는 RGB-D 카메라 이미지의 3차원 점을 매칭하여 탐색된 대응점을 활용하여 도출될 수 있다.
일 실시예에서, 상기 카메라의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 도출하는 단계는, 상기 대응점에서 복수의 점을 랜덤 추출하여 상기 카메라의 파라미터를 초기화하는 단계; 상기 초기화된 파라미터로 구성된 핀 홀 카메라 모델(Pin-hole Camera model)의 관계식을 만족하는 점들을 RANSAC(RANdom Sample Consensus) 방법을 통해 inlier 대응점으로 선별하는 단계; 상기 선별된 inlier 대응점이 충분한 지 판단하는 단계; 상기 선별된 inlier 대응점을 기준으로 상기 카메라의 파라미터를 다시 초기화하는 단계; 및 상기 초기화된 카메라의 파라미터를 대상으로 재투영 오차를 최소화하는 단계를 포함할 수 있다.
일 실시예에서, 상기 RGB-D 카메라의 해상도가 상기 프로젝터의 해상도보다 높은 경우, 상기 RGB-D 카메라 이미지의 다수의 점은 평균값으로 상기 RGB-D 프로젝터 이미지의 점과 상기 대응점을 형성할 수 있다.
일 실시예에서, 상기 프로젝터 및 상기 카메라간의 외부 파라미터는 하기 수학식 5와 같은 기하변환을 통해 도출될 수 있다.
[수학식 5]
Figure 112017090709243-pat00001
일 실시예에서 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예에 따른 프로젝터-카메라의 캘리브레이션 방법을 실행하기 위한 것으로서, 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
본 발명의 일 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 보조의 RGB-D 카메라로부터 얻어진 3차원 정보와 구조광 분석을 통해 얻은 2차원 대응점을 이용해서 특정한 캘리브레이션 패턴과 물체의 이동이 필요 없는 프로젝터-카메라의 캘리브레이션을 제공한다.
도 1은 본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법의 순서도이다.
도 2는 프로젝터 캘리브레이션 단계의 순서도이다.
도 3은 카메라 캘리브레이션 단계의 순서도이다.
도 4는 본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법을 개략적으로 나타낸 예시도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법의 순서도이고, 도 2는 프로젝터 캘리브레이션 단계의 순서도이며, 도 3은 카메라 캘리브레이션 단계의 순서도이고, 도 4는 본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법을 개략적으로 나타낸 예시도이다.
도 1 내지 도 4를 참조하면, 본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 프로젝터 이미지 및 RGB-D 프로젝터 이미지를 생성하는 단계(S110), 프로젝터의 내부 파라미터 및 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출하는 단계(S120), 카메라의 내부 파라미터 및 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 도출하는 단계(S130) 및 프로젝터와 카메라간의 외부 파라미터를 도출하는 단계(S140)을 포함한다.
캘리브레이션은 월드 좌표계에서의 임의 점과 2D 영상 좌표계에서의 영상 좌표 사이의 변환 관계 또는 이 변환 관계를 설명하는 파라미터를 찾는 과정이다. 프로젝터(100)와 카메라(110)는 3차원 복원과 같은 작업 이전에 각각 캘리브레이션이 정확하게 수행되어야만 복원 대상물의 직교성, 평면의 평면성이 보존될 수 있다.
본 실시예에 따른 프로젝터(100)와 카메라(110)는 값이 0인 비대칭 계수(zero-skew)를 가지며 왜곡변수를 포함하는 핀 홀 카메라 모델(Pin-hole Camera model)에 따르며, 캘리브레이션을 위한 내부 파라미터, 외부 파라미터는 하기 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure 112017090709243-pat00002
Figure 112017090709243-pat00003
여기서, m는 화상 평면에 투영된 좌표, M는 월드 좌표계의 좌표에 해당한다.
초점거리는 렌즈로부터 입사광이 한 곳에 모이는 점과 센서의 중심 사이의 거리이며, 주점은 초점에서 영상면에 수직으로 내린 점으로서 광축이 영상면을 지나는 위치를 말하고, 이러한 초점거리와 주점은 내부 파라미터에 해당한다.
회전행렬(R)은 카메라 또는 프로젝터의 회전 이동 각도이며, 이동벡터(t)는 카메라 또는 프로젝터의 병진 이동량이고, 이러한 회전행렬과 이동벡터는 외부 파라미터에 해당한다.
본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 캘리브레이션 대상인 프로젝터(100)와 카메라(110)외에 보조의 RGB-D 카메라(120)를 사용한다. 즉, RGB-D 카메라(120)를 사용하여 프로젝터(100)와 카메라(110)의 캘리브레이션에 필요한 데이터를 수집할 수 있다. 여기서, RGB-D 카메라(120)는 미리 캘리브레이션 된 상태일 수 있다. 도 4에 도시된 바와 같이, RGB-D 카메라(120), 프로젝터(100), 카메라(110)는 좌측에서 나란히 위치할 수 있으나 배치 위치는 이에 한정되는 것은 아니다.
본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 도 4(a), 도 4(b)에 도시된 바와 같이 RGB-D 카메라 좌표계를 기준으로 프로젝터(100)와 카메라(110)를 각각 캘리브레이션하고, 도 4(c)에 도시된 바와 같이 결과 값을 활용하여 프로젝터(100)와 카메라(110)의 상호 외부 파라미터를 도출하는 방법으로 구성된다.
먼저, 프로젝터 이미지 및 RGB-D 프로젝터 이미지를 생성한다(S110).
프로젝터 이미지는 프로젝터(100)로 대상물에 구조광을 투사하고 패턴이 투사된 대상물을 카메라(110)로 촬영하여 생성될 수 있다. RGB-D 프로젝터 이미지는 패턴이 투사된 대상물을 RGB-D 카메라(120)로 촬영하여 생성될 수 있다.
여기서, 대상물은 카메라(110), 프로젝터(100)의 캘리브레이션을 위해 설치된 표적일 수 있으나, 이에 한정되는 것은 아니며, 캘리브레이션 된 프로젝터-카메라 시스템을 이용해서 3차원 복원에 적용될 사물일 수 있다. 또한, 대상물은 프로젝터-카메라 캘리브레이션을 위해 여러 차례 다른 위치로 이동되지 않고, 고정된 상태를 유지할 수 있다.
카메라(110)는 대상물의 컬러(RGB: red-green-blue) 영상을 획득하여 카메라 이미지를 생성할 수 있다. RGB-D 카메라(120)는 컬러 영상 및 깊이(Depth) 영상을 촬영할 수 있으며, RGB 카메라에 깊이 센서가 일체형으로 포함되거나 별도의 깊이 카메라를 포함하여 구성될 수 있다.
여기서, 프로젝터(100)는 가상의 카메라이기 때문에 광학적으로 영상을 직접 획득할 수 없으며 구조광 방식을 통해 카메라 영상으로부터 가상의 프로젝터 이미지를 만든 후 캘리브레이션 데이터로 이용한다. 프로젝터(100)에서 투사되는 구조광은 패턴 이미지를 가질 수 있으며, 상기 패턴 이미지는 세로 무늬 패턴, 가로 무늬 패턴, 사선 무늬 패턴 또는 체크보드(checkerboard) 패턴일 수 있다. 프로젝터(100)는 패턴 이미지의 종류 또는 패턴 이미지의 폭을 조절하여 다수의 구조광 패턴을 대상물에 투사할 수 있다.
구조광이 투사된 대상물의 영상을 카메라(110) 또는 RGB-D 카메라(120)로 획득하여 해당 영상의 모든 점(pixel)에서 직광과 전역광을 분리해 프로젝터 이미지를 생성할 수 있다. 이 때, 카메라(110) 또는 RGB-D 카메라(120)는 프로젝터가 투사하는 빛을 받지 않았을 때의 영상 내 점의 밝기, 구조광이 투사된 이미지의 픽셀을 분류하기 위해 사용되는 픽셀이 받는 빛 밝기의 상계값과 하계값을 고려하여 구조광 해석을 수행할 수 있으며, 프로젝터 이미지와 RGB-D 프로젝터 이미지를 각각 생성할 수 있다.
이어서, 프로젝터의 내부 파라미터 및 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출한다(S120).
종래 특정한 보정패턴을 사용한 캘리브레이션 방법은 표적의 3D 정보가 주어지지만, 본 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 임의의 표적을 사용하므로 RGB-D 카메라(120)에서 얻은 표적의 3D 정보를 캘리브레이션 데이터로 사용하기 위해서 영상과의 대응점 탐색이 필요하다.
따라서, 본 단계(S120)는 프로젝터 영상에서의 2D-3D 대응점을 탐색하는 단계(S121)가 먼저 수행된다. 상기 단계(S121)는 RGB-D 프로젝터 이미지와 대상물을 RGB-D 카메라(120)로 촬영한 RGB-D 카메라 이미지 사이의 대응점을 탐색하는 과정일 수 있다. 여기서, RGB-D 프로젝터 이미지와 RGB-D 카메라 이미지 사이의 대응점은, 구조광 분석을 통해 획득한 2차원 점과 RGB-D 카메라로부터 획득되는 3차원 점이 매칭되는 2D-3D 대응점일 수 있다.
RGB-D 카메라(120)의 해상도가 프로젝터(100)의 해상도보다 높은 경우, 구조광 해석을 통해 생성된 RGB-D 프로젝터 이미지의 점에는 RGB-D 카메라 이미지의 다수의 점들이 대응될 수 있다. 이러한 경우, RGB-D 카메라 이미지의 다수의 점은 평균값으로 RGB-D 프로젝터 이미지의 점과 대응될 수 있다. 즉, 2D-3D 대응점은 RGB-D 프로젝터 이미지의 점에 하나 이상의 RGB-D 카메라 이미지의 점이 대응되지 않도록 결정될 수 있다.
상기 2D-3D 대응점을 활용하여 프로젝터(100)의 내부 파라미터 및 RGB-D 카메라(120)의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출할 수 있다.
먼저, 상기 2D-3D 대응점에서 복수의 점을 랜덤 추출할 수 있다. 여기서 상기 2D-3D 대응점에서 6개의 점을 추출할 수 있으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 추출된 점을 활용하여, 실제 3차원 좌표와 프로젝터의 2차원 좌표 사이의 관계를 식으로 표현한 Direct Linear Transformation(DLT) equation을 이용하여 수학식 1의 파라미터 중 K, R, t를 초기화한다(S122).
다음으로, 상기 초기화된 K, R, t로 구성된 핀 홀 카메라 모델(Pin-hole Camera model) 관계식을 만족하는 점들을 RANSAC(RANdom Sample Consensus) 방법을 통해 inlier를 선별한다(S123). 즉, 상기 초기화된 K, R, t로 구성된 핀 홀 카메라 모델(Pin-hole Camera model) 관계식을 만족하는 점들에 대해서, 하기 수학식 2와 같은 재투영 오차 식의 E가 주어진 임계값보다 작은 대응점들을 inlier로 선택할 수 있다.
[수학식 2]
Figure 112017090709243-pat00004
여기서,
Figure 112017090709243-pat00005
는
Figure 112017090709243-pat00006
가 2차원 공간으로 사영된 점.
이러한, 2D-3D 대응점들 중 6개의 점을 랜덤 추출하여 K, R, t를 초기화하는 단계(S122)와 초기화된 값으로 구성된 핀 홀 카메라 모델 관계식을 만족하는 점들을 RANSAC 방법을 통해 inlier로 선별하는 단계(S123)는 inlier 대응점이 충분한 수로 선별될 때까지 반복 수행될 수 있다. 즉, 본 실시예에 따른 프로젝터 캘리브레이션 단계(S120)는 선별된 inler 대응점이 충분한 지 여부를 검토하는 단계(S124)를 포함할 수 있다. 충분한 수로 inlier 대응점이 선별되지 않은 경우, 프로젝터 파라미터 초기화 단계(S122)로 돌아가서 2D-3D 대응점들 중 6개의 점을 랜덤 추출하여 K, R, t를 초기화하는 과정이 다시 수행될 수 있다.
충분한 수로 inlier 대응점이 선별된 경우, 선별된 inlier 대응점들에 대해 다시 DLT equation을 이용하여 수학식 1의 파라미터 중 K, R, t를 초기화할 수 있다(S125).
마지막으로, 재투영 오차를 최소화하는 프로젝터(100)의 내부 파라미터 및 외부 파라미터를 도출한다(S126). 초기화된 K, R, t와 inlier 대응점을 대상으로 재투영 오차를 최소화하는 비선형 방정식은 하기 수학식 3과 같이 표현될 수 있으며, 비선형최적화 방법을 통해 최소값이 산출될 수 있다. 예시적으로, Levenberg-Marquardt 방법을 이용하여 최소값을 산출할 수 있으나, 이에 한정되는 것은 아니다.
[수학식 3]
Figure 112017090709243-pat00007
Figure 112017090709243-pat00008
,
Figure 112017090709243-pat00009
,
i: 대응점 인덱스, n: 대응점의 개수
Figure 112017090709243-pat00010
여기서, 방사왜곡 상수는 볼록 렌즈인 카메라 렌즈에 입사되는 광이 굴절하여 센서 상에 다른 위치에 투영되는 오차를 보정하는 상수를 말하며, 접선왜곡 상수는 카메라의 제조시 발생하는 오차로, 렌즈와 센서가 평행 상태가 아닌 것을 보정하는 상수를 말한다. 이러한 방사왜곡 상수, 접선왜곡 상수는 내부 파라미터에 해당한다.
본 실시예에 따른 프로젝터 캘리브레이션 단계(S120)는 캘리브레이션 표적을 움직일 필요없이 3차원 공간상 임의의 고정된 대상물 위에 구조광을 투사해 얻은 한 자세의 이미지만 이용하여 프로젝터의 내부 파라미터(초점 거리, 주점, 방사왜곡 상수, 접선왜곡 상수)를 도출할 수 있다.
또한, 본 실시예에 따른 프로젝터 캘리브레이션 단계(S120)는 깊이 센서를 이용하여 대상물의 3차원 정보를 생성하되, 3차원 정보 생성시 발생하는 부정확한 정보(outlier)를 RANSAC 방법을 통해 제외하는 바, 캘리브레이션의 정확도를 보다 높일 수 있다.
여기서, 수학식 3으로 도출되는 외부 파라미터(R, t)는 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터일 수 있다. 이를 프로젝터와 카메라 사이의 외부 파라미터로 도출하는 과정은 후술하도록 한다.
카메라의 내부 파라미터 및 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 도출한다(S130).
본 발명의 일 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 설명의 편의상 프로젝터의 캘리브레이션 단계(S120)를 카메라의 캘리브레이션 단계(S130)보다 먼저 설명하였으나, 단계의 진행 순서가 상기 설명 순서에 따라 진행되는 것은 아니다. 즉, 카메라의 캘리브레이션 단계(S130)는 프로젝터의 캘리브레이션 단계(S120)보다 선행될 수도 있다.
카메라(110)의 캘리브레이션을 위해서도 2D-3D 대응점 탐색 과정이 필요하다. 카메라의 캘리브레이션 단계(S130)에서 카메라 영상에서의 2D-3D 대응점을 탐색하는 단계(S131)가 먼저 수행될 수 있다. 상기 단계(S131)는 대상물을 카메라로 촬영한 카메라 이미지와 RGB-D 카메라 이미지 사이의 대응점을 결정하는 것으로, 프로젝터 이미지와 RGB-D 프로젝터 이미지 사이의 공통점을 추출하고 이를 활용하여 상기 대응점을 결정할 수 있다.
카메라(110), 프로젝터(100) 및 RGB-D 카메라(120)는 대상물이 배치된 3차원 공간을 바라보고 있는 바, 카메라로부터 취득한 프로젝터 이미지와 RGB-D 카메라로부터 취득한 RGB-D 프로젝터 이미지는 공통 영역을 가질 수 있다. 프로젝터 이미지와 RGB-D 프로젝터 이미지의 공통 영역에서 대응되는 공통점을 추출하고, 상기 추출된 공통점을 활용하여 최종적인 2D-3D 대응점을 결정할 수 있다. 구체적으로, 상기 추출된 공통점과 대응되는 카메라 이미지의 점을 2차원 데이터로, 상기 추출된 공통점에 대응되는 RGB-D 카메라 이미지에 대응되는 월드 좌표계 점을 3차원 데이터로 매칭할 수 있다. 이렇게 매칭된 2D-3D 대응점을 활용하여 카메라의 캘리브레이션을 수행할 수 있다.
카메라의 내부 파라미터 및 외부 파라미터를 도출하는 과정은 상기 프로젝터 캘리브레이션 방법과 동일할 수 있다. 즉, 2D-3D 대응점들 중 복수의 점, 예시적으로 6개의 점을 랜덤 추출하여 Direct Linear Transformation(DLT) equation을 이용하여 수학식 1의 파라미터 중 K, R, t를 초기화하고(S132), 초기화된 K, R, t로 구성된 핀 홀 카메라 모델(Pin-hole Camera model) 관계식을 만족하는 점들을 RANSAC(RANdom Sample Consensus) 방법을 통해 inlier 대응점으로 선별한다(S133). 그리고, 선별된 inlier 대응점이 충분한 지 검토하며(S134), 상기 단계(S132, S133)을 inlier 대응점이 충분한 수로 선별될 때까지 반복 수행한다. 이후, 선별된 inlier 대응점들에 대해 다시 DLT equation을 이용하여 수학식 1의 파라미터 중 K, R, t를 초기화할 수 있다(S135). 마지막으로, 초기화된 K, R, t와 inlier 대응점을 대상으로 비선형 최적화 방법을 이용해 재투영 오차를 최소화하는 카메라 내부 파라미터 및 외부 파라미터를 도출한다(S136). 여기서 외부 파라미터는 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터일 수 있다.
마지막으로, 프로젝터 및 카메라간의 외부 파라미터를 도출한다(S140).
RGB-D 카메라 좌표계를 기준으로 산출된 카메라의 외부 파라미터와 RGB-D 카메라 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 이용하여 프로젝터 및 카메라간의 상호 외부 파라미터를 도출할 수 있다.
RGB-D 카메라의 기준 좌표계는 하기 수학식 4와 같이 나타낼 수 있다.
[수학식 4]
Figure 112017090709243-pat00011
RGB-D 카메라 좌표계를 기준으로 이전 단계에서 산출된 카메라의 외부 파라미터(회전행렬, 이동벡터)와 프로젝터의 외부 파라미터(회전행렬, 이동벡터)는 각각
Figure 112017090709243-pat00012
,
Figure 112017090709243-pat00013
로 나타낼 수 있다. 이러한 외부 파라미터들을 활용하여 프로젝터와 카메라간의 외부 파라미터는 하기 수학식 5과 같은 기하변환을 통해 도출될 수 있다.
[수학식 5]
Figure 112017090709243-pat00014
여기서,
Figure 112017090709243-pat00015
는 카메라 좌표계를 기준으로 변환한 프로젝터의 회전 및 이동행렬을 말하며, 상기 수학식 5에 따른 행렬식의 순서 변경으로 프로젝터 좌표계를 기준으로 변환한 카메라의 회전 및 이동행렬도 용이하게 도출될 수 있다.
본 발명의 일 실시예에 따른 프로젝터-카메라 캘리브레이션 방법은 보조의 RGB-D 카메라로부터 얻어진 3차원 정보와 구조광 분석을 통해 얻은 2차원 대응점을 이용해서 특정한 캘리브레이션 패턴과 물체의 이동이 필요 없는 프로젝터-카메라의 캘리브레이션을 제공한다.
또한, RGB-D 카메라에서 얻은 3차원 정보의 불확실성 및 구조광 분석에서 오 인식된 2차원 대응점은 RANSAC을 통해 필터링될 수 있다.
이상에서 설명한 실시예들에 따른 프로젝터-카메라 캘리브레이션 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 프로젝터-카메라 캘리브레이션 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 프로젝터
110: 카메라
120: RGB-D 카메라

Claims (9)

  1. 프로젝터로 대상물에 구조광을 투사하고 패턴이 투사된 상기 대상물을 카메라 및 RGB-D 카메라로 각각 촬영하고, 상기 촬영된 RGB-D 카메라 영상에서 구조광 분석을 통해 RGB-D 프로젝터 이미지를 생성하고, 상기 촬영된 카메라 영상에서 구조광 분석을 통해 프로젝터 이미지를 생성하는 단계;
    상기 RGB-D 프로젝터 이미지와 상기 대상물을 상기 RGB-D 카메라로 촬영한 RGB-D 카메라 이미지 사이의 대응점을 탐색하고, 상기 RGB-D 프로젝터 이미지와 상기 RGB-D 카메라 이미지 사이의 대응점을 활용하여, 상기 프로젝터의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 상기 프로젝터의 외부 파라미터를 도출하는 단계;
    상기 프로젝터 이미지와 상기 RGB-D 프로젝터 이미지 사이의 공통 영역에서 공통점을 추출하고, 상기 공통점과 대응되는 카메라 이미지의 2차원 점과 상기 공통점과 대응되는 RGB-D 카메라 이미지의 3차원 점을 매칭하여 탐색된 대응점을 활용하여, 상기 카메라의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 상기 카메라의 외부 파라미터를 도출하는 단계; 및
    상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터와 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 이용하여, 상기 프로젝터와 상기 카메라간의 외부 파라미터를 도출하는 단계를 포함하는 프로젝터-카메라의 캘리브레이션 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 대응점은, 상기 구조광 분석을 통해 획득한 2차원 점과 상기 RGB-D 카메라로부터 획득되는 3차원 점이 매칭되는 2D-3D 대응점인 프로젝터-카메라의 캘리브레이션 방법.
  4. 제3 항에 있어서,
    상기 프로젝터의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터를 도출하는 단계는,
    상기 대응점에서 복수의 점을 랜덤 추출하여 상기 프로젝터의 파라미터를 초기화하는 단계;
    상기 초기화된 파라미터로 구성된 핀 홀 카메라 모델(Pin-hole Camera model)의 관계식을 만족하는 점들을 RANSAC(RANdom Sample Consensus) 방법을 통해 inlier 대응점으로 선별하는 단계;
    상기 선별된 inlier 대응점이 충분한 지 판단하는 단계;
    상기 선별된 inlier 대응점을 기준으로 상기 프로젝터의 파라미터를 다시 초기화하는 단계; 및
    상기 초기화된 프로젝터의 파라미터를 대상으로 재투영 오차를 최소화하는 단계를 포함하는 프로젝터-카메라의 캘리브레이션 방법.
  5. 제1 항에 있어서,
    상기 RGB-D 카메라의 해상도가 상기 프로젝터의 해상도보다 높은 경우, 상기 RGB-D 카메라 이미지의 다수의 점은 평균값으로 상기 RGB-D 프로젝터 이미지의 점과 상기 대응점을 형성하는 프로젝터-카메라의 캘리브레이션 방법
  6. 삭제
  7. 제1 항에 있어서,
    상기 카메라의 내부 파라미터 및 상기 RGB-D 카메라의 좌표계를 기준으로 산출된 카메라의 외부 파라미터를 도출하는 단계는,
    상기 대응점에서 복수의 점을 랜덤 추출하여 상기 카메라의 파라미터를 초기화하는 단계;
    상기 초기화된 파라미터로 구성된 핀 홀 카메라 모델(Pin-hole Camera model)의 관계식을 만족하는 점들을 RANSAC(RANdom Sample Consensus) 방법을 통해 inlier 대응점으로 선별하는 단계;
    상기 선별된 inlier 대응점이 충분한 지 판단하는 단계;
    상기 선별된 inlier 대응점을 기준으로 상기 카메라의 파라미터를 다시 초기화하는 단계; 및
    상기 초기화된 카메라의 파라미터를 대상으로 재투영 오차를 최소화하는 단계를 포함하는 프로젝터-카메라의 캘리브레이션 방법.
  8. 제1 항에 있어서,
    상기 프로젝터와 상기 카메라간의 외부 파라미터는 하기 수학식 5와 같은 기하변환을 통해 도출되는 프로젝터-카메라의 캘리브레이션 방법.

    [수학식 5]
    Figure 112017090709243-pat00016


    Figure 112017090709243-pat00017
    : 카메라 좌표계를 기준으로 변환한 프로젝터의 외부 파라미터인 회전과 이동행렬
    Figure 112017090709243-pat00018
    : RGB-D 카메라 좌표계를 기준으로 산출된 카메라의 외부 파라미터인 회전행렬, 이동벡터
    Figure 112017090709243-pat00019
    : RGB-D 카메라 좌표계를 기준으로 산출된 프로젝터의 외부 파라미터인 회전행렬, 이동벡터.
  9. 하드웨어와 결합되어 제1항, 제3항 내지 제5항, 제7항 및 제8항 중 어느 한 항에 따른 프로젝터-카메라의 캘리브레이션 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.
KR1020170119707A 2017-09-18 2017-09-18 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법 KR101943046B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170119707A KR101943046B1 (ko) 2017-09-18 2017-09-18 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119707A KR101943046B1 (ko) 2017-09-18 2017-09-18 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법

Publications (1)

Publication Number Publication Date
KR101943046B1 true KR101943046B1 (ko) 2019-01-28

Family

ID=65269741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119707A KR101943046B1 (ko) 2017-09-18 2017-09-18 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR101943046B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091599A (zh) * 2019-11-14 2020-05-01 东南大学 一种基于球体标定物的多相机-投影仪系统标定方法
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN112991459A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 一种相机标定方法、装置、设备以及存储介质
CN116778001A (zh) * 2023-08-24 2023-09-19 华东交通大学 基于全局最优偏振图像的相机-投影仪标定方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188781A1 (en) * 2010-02-01 2011-08-04 Songxiang Gu Quick 3D-to-2D Points Matching Based on the Perspective Projection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188781A1 (en) * 2010-02-01 2011-08-04 Songxiang Gu Quick 3D-to-2D Points Matching Based on the Perspective Projection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN111091599A (zh) * 2019-11-14 2020-05-01 东南大学 一种基于球体标定物的多相机-投影仪系统标定方法
CN111091599B (zh) * 2019-11-14 2022-11-18 东南大学 一种基于球体标定物的多相机-投影仪系统标定方法
CN112991459A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 一种相机标定方法、装置、设备以及存储介质
CN112991459B (zh) * 2021-03-09 2023-12-12 阿波罗智联(北京)科技有限公司 一种相机标定方法、装置、设备以及存储介质
CN116778001A (zh) * 2023-08-24 2023-09-19 华东交通大学 基于全局最优偏振图像的相机-投影仪标定方法和系统
CN116778001B (zh) * 2023-08-24 2023-10-13 华东交通大学 基于全局最优偏振图像的相机-投影仪标定方法和系统

Similar Documents

Publication Publication Date Title
US10958892B2 (en) System and methods for calibration of an array camera
US20230300308A1 (en) Super-resolution in structured light imaging
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
KR101943046B1 (ko) 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
KR101259835B1 (ko) 깊이 정보를 생성하기 위한 장치 및 방법
JP6363863B2 (ja) 情報処理装置および情報処理方法
US8768046B2 (en) Determining model parameters based on transforming a model of an object
JP5160643B2 (ja) ２次元画像からの３次元オブジェクト認識システム及び方法
US9025862B2 (en) Range image pixel matching method
CN106875435B (zh) 获取深度图像的方法及系统
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
KR20060063558A (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP2014115109A (ja) 距離計測装置及び方法
US20220398760A1 (en) Image processing device and three-dimensional measuring system
US20170094254A1 (en) Method and apparatus for acquiring three-dimensional image, and computer readable recording medium
JP7156624B2 (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
Fong et al. Sensing deforming and moving objects with commercial off the shelf hardware
CN115830131A (zh) 一种固定相位偏差的确定方法、装置和设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant