KR20110079444A - Projector calibration system using camera and method using this - Google Patents

Projector calibration system using camera and method using this Download PDF

Info

Publication number
KR20110079444A
KR20110079444A KR1020100033551A KR20100033551A KR20110079444A KR 20110079444 A KR20110079444 A KR 20110079444A KR 1020100033551 A KR1020100033551 A KR 1020100033551A KR 20100033551 A KR20100033551 A KR 20100033551A KR 20110079444 A KR20110079444 A KR 20110079444A
Authority
KR
South Korea
Prior art keywords
projector
remind
camera
matrix
internal parameter
Prior art date
Application number
KR1020100033551A
Other languages
Korean (ko)
Other versions
KR101165340B1 (en
Inventor
이석한
김대식
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Publication of KR20110079444A publication Critical patent/KR20110079444A/en
Application granted granted Critical
Publication of KR101165340B1 publication Critical patent/KR101165340B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Projection Apparatus (AREA)

Abstract

PURPOSE: A projector correcting system using a camera and a correcting method using the same are provided to actually apply to a structured-light system using a camera with a known inner parameter. CONSTITUTION: A projector correcting system using a camera comprises a projector, a camera(200) and a calculating/processing unit. The camera obtains images projected from the projector. The camera knows an inner parameter. The calculating/processing unit obtains the pattern and corresponding point of an image projected from the projector from the image obtained from the camera. The calculating/processing unit applies epipolar geometry to the obtained corresponding point. The calculating/processing unit obtains the inner parameter of the projector.

Description

카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법{PROJECTOR CALIBRATION SYSTEM USING CAMERA AND METHOD USING THIS}Projector calibration system using camera and calibration method using same {PROJECTOR CALIBRATION SYSTEM USING CAMERA AND METHOD USING THIS}

본 발명은 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법에 대한 것으로서, 특히 기지의 내부 파라미터를 갖는 카메라와 에피폴라 기하학을 이용하여 프로젝터 내부 파라미터를 얻는 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법에 관한 것이다.The present invention relates to a projector calibration system using a camera and a calibration method using the same, and more particularly, to a projector calibration system using a camera having a known internal parameter and a camera using an epipolar geometry to obtain projector internal parameters and a calibration method using the same. It is about.

지난 수십년 동안 프로젝터-카메라 시스템이라 불리는 구조광 시스템은 물체 및 환경의 3D 씬(scene) 재구축으로부터 포터블, 유비쿼터스 디스플레이 시스템 등의 응용 분야까지 널리 사용되어 왔다. 프로젝터와 카메라의 내부 파라미터와 외부 파라미터를 추정하는 것은 씬(scene)과 시스템 사이의 관계성(예로서, 포즈(pose), 거리 등)을 필요로 하는 모든 응용 장치에 중요한 단계이며, 이에 대한 다양한 연구가 진행되고 있으나 실질적으로 적용할 수 있는 만족할 만한 결과를 얻을 수 있는 방법 및 시스템은 제시되지 못하고 있는 실정이다.For decades, structured light systems, called projector-camera systems, have been widely used in applications ranging from 3D scene reconstruction of objects and environments to portable and ubiquitous display systems. Estimating the internal and external parameters of the projector and camera is an important step for any application that requires a relationship between the scene and the system (eg, pose, distance, etc.). Although research is being conducted, methods and systems for obtaining satisfactory results that can be practically applied have not been proposed.

본 발명의 목적은 기지의 내부 파라미터를 갖는 카메라를 이용하여 구조광 시스템의 실제 적용 가능한, 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법을 제공하는 것이다.It is an object of the present invention to provide a projector calibration system using a camera and a calibration method using the same, which are practically applicable to a structured light system using a camera having known internal parameters.

상술한 목적을 달성하기 위해 본 발명은 프로젝터와, 상기 프로젝터에서 투사된 영상을 획득하며, 내부 파라미터를 알고 있는 카메라와, 상기 카메라에서 획득된 영상으로부터 상기 프로젝터에서 투사된 영상의 패턴 및 대응점을 획득하고, 획득된 대응점에 에피폴라 기하학을 적용하여 상기 프로젝터의 내부 파라미터를 획득하는 연산/처리부를 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 시스템을 제공한다. 상기 연산/처리부는 기본 매트릭스(fundamental)를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 내부 파라미터 추정 모듈과, 상기 프로젝터와 상기 카메라의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 상대 포즈 연산 모듈, 및 상기 프로젝터의 내부 파라미터를 획득하는 내부 파라미터 획득 모듈을 포함하며, 상기 내부 파라미터 획득 모듈은,

Figure pat00001
과
Figure pat00002
에 의해 상기 프로젝터의 내부 파라미터를 획득하며, 상기
Figure pat00003
는 매트릭스
Figure pat00004
의
Figure pat00005
번째 행과
Figure pat00006
번째 열이고, 상기
Figure pat00007
이며, 상기
Figure pat00008
는 상기 카메라의 내부 파라미터 매트릭스의 전치행렬이고, 상기
Figure pat00009
는 기본 매트릭스이며, 상기
Figure pat00010
는 매트릭스
Figure pat00011
의
Figure pat00012
번째 행과
Figure pat00013
번째 열이고, 상기
Figure pat00014
이며, 상기
Figure pat00015
는 상기 프로젝터의 내부 파라미터 매트릭스이고, 상기
Figure pat00016
는 상기 프로젝터의 내부 파라미터 매트릭스의 전치행렬이며, 상기
Figure pat00017
는 매트릭스
Figure pat00018
의
Figure pat00019
번째 행과
Figure pat00020
번째 열이고, 상기
Figure pat00021
이며, 상기
Figure pat00022
이고, 상기
Figure pat00023
이며, 상기
Figure pat00024
이고, 상기
Figure pat00025
는
Figure pat00026
좌표상의 초점 거리이며, 상기
Figure pat00027
는 주점이고, 상기
Figure pat00028
는 프로젝터 좌표 프레임이며, 상기
Figure pat00029
이고, 상기
Figure pat00030
는
Figure pat00031
의 기본 매트릭스에 기인한 미지의 스케일이며, 상기
Figure pat00032
는
Figure pat00033
의 병진에 기인한 미지의 스케일이고, 상기
Figure pat00034
는 필수 행렬
Figure pat00035
이며, 상기
Figure pat00036
는 스큐-대칭 매트릭스
Figure pat00037
이고, 상기
Figure pat00038
은 회전 매트릭스이다. 물론, 본 발명은 이에 한정되는 것은 아니며, 상기 연산/처리부는 기본 매트릭스(fundamental)를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 내부 파라미터 추정 모듈과, 상기 프로젝터와 상기 카메라의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 상대 포즈 연산 모듈, 및 상기 프로젝터의 내부 파라미터를 번들 조정 기법(bundle adjustment technique)을 이용하여 획득하는 내부 파라미터 획득 모듈을 포함할 수 있다. 상기 내부 파라미터 추정 모듈과 상기 상대 포즈 연산 모듈 및 상기 내부 파라미터 획득 모듈에서의 연산과정에서 발생되는 데이터를 임시 저장하거나 연산 결과를 저장하는 메모리를 포함한다. 상기 연산/처리부에서 획득된 상기 프로젝터의 내부 파라미터를 표시하는 디스플레이를 더 포함할 수 있다.In order to achieve the above object, the present invention obtains a projector, an image projected from the projector, a camera knowing internal parameters, and a pattern and a corresponding point of the image projected from the projector from the image obtained by the camera. In addition, the present invention provides a projector calibration system using a camera, comprising an operation / processing unit for acquiring internal parameters of the projector by applying an epipolar geometry to the obtained corresponding point. The calculation / processing unit includes an internal parameter estimation module for estimating internal parameters of the projector using a basic matrix, and a relative pose for calculating relative poses of the projector and the camera using epipolar geometry. A calculation module, and an internal parameter obtaining module for acquiring internal parameters of the projector, wherein the internal parameter obtaining module includes:
Figure pat00001
and
Figure pat00002
Acquiring an internal parameter of the projector by
Figure pat00003
The matrix
Figure pat00004
of
Figure pat00005
With the first row
Figure pat00006
Second column, and
Figure pat00007
And said
Figure pat00008
Is a transpose matrix of the internal parameter matrix of the camera,
Figure pat00009
Is the base matrix, and
Figure pat00010
The matrix
Figure pat00011
of
Figure pat00012
With the first row
Figure pat00013
Second column, and
Figure pat00014
And said
Figure pat00015
Is an internal parameter matrix of the projector,
Figure pat00016
Is a transpose matrix of the internal parameter matrix of the projector,
Figure pat00017
The matrix
Figure pat00018
of
Figure pat00019
With the first row
Figure pat00020
Second column, and
Figure pat00021
And said
Figure pat00022
And
Figure pat00023
And said
Figure pat00024
And
Figure pat00025
Is
Figure pat00026
Focal length in coordinates;
Figure pat00027
Is the tavern,
Figure pat00028
Is the projector coordinate frame, and
Figure pat00029
And
Figure pat00030
Is
Figure pat00031
Unknown scale due to the underlying matrix of
Figure pat00032
Is
Figure pat00033
Unknown scale due to translation of
Figure pat00034
Is a required matrix
Figure pat00035
And said
Figure pat00036
A skew-symmetric matrix
Figure pat00037
And
Figure pat00038
Is the rotation matrix. Of course, the present invention is not limited thereto, and the calculation / processing unit may include an internal parameter estimation module for estimating internal parameters of the projector using a basic matrix, and a relative pose of the projector and the camera. Relative pose calculation module for calculating the using the epipolar geometry, and an internal parameter acquisition module for obtaining the internal parameters of the projector using a bundle adjustment technique (bundle adjustment technique). And a memory configured to temporarily store data generated during a calculation process in the internal parameter estimation module, the relative pose calculation module, and the internal parameter acquisition module, or to store a calculation result. The display apparatus may further include a display configured to display internal parameters of the projector obtained by the operation / processing unit.

또한, 본 발명은 프로젝터로 패턴을 조사하는 단계와, 상기 프로젝터에서 조사된 패턴을 내부 파라미터를 이미 알고 있는 카메라로 획득하는 단계와, 상기 획득된 패턴에서 대응점을 추출하고 기본(fundamental) 매트릭스를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 단계와, 상기 프로젝터와 상기 카메라의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 단계, 및 상기 프로젝터의 내부 파라미터를 번들 조정 기법(bundle adjustment technique)을 이용하여 획득하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 방법을 제공한다. 상기 획득된 패턴에서 대응점을 추출하고 기본(fundamental) 매트릭스를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 단계에서, 상기 프로젝터의 내부 파라미터(

Figure pat00039
)는,
Figure pat00040
이고, 상기
Figure pat00041
는
Figure pat00042
좌표 상의 초점 거리이며, 상기
Figure pat00043
는 상기 프로젝터 주점 좌표이다.In addition, the present invention provides a method of irradiating a pattern with a projector, acquiring a pattern irradiated from the projector with a camera that already knows internal parameters, extracting a corresponding point from the acquired pattern, and using a fundamental matrix. Estimating internal parameters of the projector, calculating relative poses of the projector and the camera using epipolar geometry, and bundle adjustment techniques for the internal parameters of the projector. It provides a projector calibration method using a camera comprising the step of obtaining using. Extracting a corresponding point from the obtained pattern and estimating an internal parameter of the projector using a fundamental matrix, the internal parameter of the projector (
Figure pat00039
),
Figure pat00040
And
Figure pat00041
Is
Figure pat00042
Focal length in coordinates,
Figure pat00043
Is the projector main point coordinates.

본 발명은 기지의 내부 파라미터를 갖는 카메라와 프로젝터에 의해 투사된 패턴을 에피폴라 기하학을 이용하여 프로젝터의 내부 파라미터를 비교적 정확하게 추정할 수 있는 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법을 제공할 수 있다.The present invention can provide a projector calibration system using a camera capable of relatively accurately estimating the internal parameters of a projector using epipolar geometry of a pattern projected by a camera and a projector having known internal parameters, and a calibration method using the same. have.

도 1은 본 발명에 따른 카메라를 이용한 프로젝터 교정 시스템의 프로젝터 내부 파라미터 파악의 개념도.
도 2는 상방향으로 이미지를 조사하도록 설계된 프로젝터의 구성 예.
도 3은 본 발명에 따른 카메라를 이용한 프로젝터 교정 방법의 순서도.
도 4는 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수평으로 배열한 경우 초점 거리 의 변위.
도 5는 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수평으로 배열한 경우 주점의 변위.
도 6은 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수직으로 배열한 경우 초점 거리 의 변위.
도 7은 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수직으로 배열한 경우 주점의 변위.
도 8은 본 발명에 따른 일 실시예로서, 임의의 시점에서의 대응점을 이용하여 재구축한 3차원 씬(scene)의 일 례.
도 9는 본 발명에 따른 일 실시예로서, 또다른 시점에서의 대응점을 이용하여 재구축한 3차원 씬(scene)의 일 례.1 is a conceptual diagram of the projector internal parameter grasp of the projector calibration system using a camera according to the present invention.
2 is a configuration example of a projector designed to irradiate an image in an upward direction.
3 is a flowchart of a projector calibration method using a camera according to the present invention;
Figure 4 is an embodiment according to the present invention, the displacement of the focal length when the projector and the camera are arranged horizontally.
5 is a displacement of the pub when the projector and the camera are arranged horizontally as an embodiment according to the present invention.
Figure 6 is an embodiment according to the present invention, the displacement of the focal length when the projector and the camera are arranged vertically.
Figure 7 is an embodiment according to the present invention, the displacement of the pub when the projector and the camera is arranged vertically.
8 is an example of a three-dimensional scene reconstructed using a corresponding point at an arbitrary point in time according to the present invention.
9 is an example of a three-dimensional scene reconstructed using a corresponding point at another point in time according to the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.
It will be apparent to those skilled in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know. Like reference numerals refer to like elements throughout.

도 1은 본 발명에 따른 카메라를 이용한 프로젝터 교정 시스템의 프로젝터 내부 파라미터 파악의 개념도이고, 도 2는 상방향으로 이미지를 조사하도록 설계된 프로젝터의 구성 예이다.1 is a conceptual diagram of the internal parameter identification of the projector of the projector calibration system using a camera according to the present invention, Figure 2 is a configuration example of a projector designed to irradiate an image in an upward direction.

본 발명에 따른 카메라를 이용한 프로젝터 교정 시스템은 도 1 및 도 2에 도시된 바와 같이, 내부 파라미터를 알고 있는 카메라(200)와, 스크린에 영상을 투사하는 프로젝터(100)와, 상기 프로젝터의 내부 파라미터를 획득하는 연산/처리부를 포함한다.1 and 2, the projector calibration system using the camera according to the present invention includes a camera 200 that knows internal parameters, a projector 100 that projects an image on a screen, and internal parameters of the projector. It includes a calculation / processing unit to obtain.

카메라(200)는 프로젝터(100)에서 투사된 패턴의 이미지를 취득하기 위한 것으로서, 일반적인 카메라를 이용할 수 있다. 이때, 본 발명에 따른 카메라(200)는 내부 파라미터를 이미 알고 있어야 한다.The camera 200 is for acquiring an image of a pattern projected by the projector 100, and may use a general camera. At this time, the camera 200 according to the present invention should already know the internal parameters.

프로젝터(100)는 영사장치의 한 가지로 슬라이드 또는 투명지 상의 사진이나 그림, 문자 등을 렌즈를 통해서 스크린에 확대 투영하는 광학장치이다. 이때, 본 발명의 프로젝터(100)는 내부 파라미터를 알고 있는 카메라(200)를 이용하여 내부 파라미터를 알아내기 위한 대상이 된다. 또한, 본 발명은 프로젝터(100)에서 영상을 투사하기 위한 스크린을 더 포함할 수도 있다.Projector 100 is an optical device that is one of the projection device is an optical device that enlarges and projects a picture, a picture, a character, etc. on the slide or transparent paper on the screen through the lens. At this time, the projector 100 of the present invention is an object for determining the internal parameters by using the camera 200 that knows the internal parameters. In addition, the present invention may further include a screen for projecting an image from the projector (100).

연산/처리부는 카메라(200)에서 획득된 영상으로부터 프로젝터(100)에서 투사된 영상의 패턴 및 대응점을 획득하고, 획득된 대응점에 에피폴라 기하학을 적용하여 프로젝터(100)의 내부 파라미터를 획득한다. 이러한 연산/처리부는 기본 매트릭스(fundamental)를 이용하여 프로젝터(100)의 내부 파라미터를 추정하는 내부 파라미터 추정 모듈과, 프로젝터(100)와 카메라(200)의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 상대 포즈 연산 모듈, 및 프로젝터(100)의 내부 파라미터를 번들 조정 기법(bundle adjustment technique)을 이용하여 획득하는 내부 파라미터 획득 모듈을 포함한다. 연산/처리부에서 프로젝터(100)의 내부 파라미터를 획득하는 동작은 이하에서 설명될 본 발명에 따른 카메라를 이용한 프로젝터 교정 방법에서 상세히 설명하기로 한다.The calculation / processing unit obtains a pattern and a corresponding point of the image projected by the projector 100 from the image acquired by the camera 200, and obtains internal parameters of the projector 100 by applying an epipolar geometry to the obtained corresponding point. Such a calculation / processing unit includes an internal parameter estimation module for estimating internal parameters of the projector 100 using a basic matrix, and a relative pose of the projector 100 and the camera 200 in terms of epipolar geometry. And a relative pose calculation module for calculating using the internal parameter obtaining module for acquiring internal parameters of the projector 100 using a bundle adjustment technique. The operation of acquiring the internal parameters of the projector 100 in the calculation / processing unit will be described in detail in the projector calibration method using the camera according to the present invention, which will be described below.

메모리는 연산/처리부에서 연산 과정 중에 발생되는 결과를 임시 저장하거나 계산 결과를 저장한다. 이러한 메모리는 연산/처리부에 내장되거나 별도로 구비될 수 있으며, 본 발명은 연산/처리부에 메모리가 내장된 것을 예시한다.The memory temporarily stores the results generated during the calculation process in the operation / processing unit or stores the calculation results. Such a memory may be embedded in a calculation / processing unit or provided separately, and the present invention illustrates that a memory is built in the calculation / processing unit.

디스플레이 장치는 연산/처리부에서 연산된 프로젝터(100)의 내부 파라미터를 디스플레이한다. 물론, 디스플레이 장치는 생략될 수도 있으며, 이 경우, 프로젝터(100)에서 투사되는 영상은 연산/처리부에서 연산된 프로젝터의 내부 파라미터를 이용하여 자동으로 보정될 수 있다.
The display device displays internal parameters of the projector 100 calculated by the calculation / processing unit. Of course, the display device may be omitted, and in this case, the image projected by the projector 100 may be automatically corrected using internal parameters of the projector calculated by the operation / processing unit.

다음은 본 발명에 따른 카메라를 이용한 프로젝터 교정 방법에 대해 도면을 참조하여 설명하고자 한다. 후술할 내용 중 전술된 본 발명에 따른 카메라를 이용한 프로젝터 교정 시스템의 설명과 중복되는 내용은 생략하거나 간략히 설명하기로 한다.Next, a projector calibration method using a camera according to the present invention will be described with reference to the drawings. Descriptions overlapping with the description of the projector calibration system using the camera according to the present invention described above will be omitted or briefly described.

도 3은 본 발명에 따른 카메라를 이용한 프로젝터 교정 방법의 순서도이고, 도 4는 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수평으로 배열한 경우 초점 거리 의 변위이다. 도 5는 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수평으로 배열한 경우 주점의 변위이고, 도 6은 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수직으로 배열한 경우 초점 거리 의 변위이다. 도 7은 본 발명에 따른 일 실시예로서, 프로젝터와 카메라를 수직으로 배열한 경우 주점의 변위이고, 도 8은 본 발명에 따른 일 실시예로서, 임의의 시점에서의 대응점을 이용하여 재구축한 3차원 씬(scene)의 일 례이다. 도 9는 본 발명에 따른 일 실시예로서, 또다른 시점에서의 대응점을 이용하여 재구축한 3차원 씬(scene)의 일 례이다.3 is a flow chart of a projector calibration method using a camera according to the present invention, Figure 4 is an embodiment according to the present invention, the displacement of the focal length when the projector and the camera is arranged horizontally. 5 is an embodiment according to the present invention, the displacement of the principal point when the projector and the camera is arranged horizontally, Figure 6 is an embodiment according to the present invention, when the projector and the camera is arranged vertically of the focal length Displacement. 7 is an embodiment according to the present invention, the displacement of the main point when the projector and the camera is arranged vertically, Figure 8 is an embodiment according to the present invention, reconstructed using a corresponding point at any point This is an example of a three dimensional scene. 9 is an example of a three-dimensional scene reconstructed using a corresponding point at another point in time according to the present invention.

본 발명에 따른 카메라를 이용한 프로젝터 교정 방법은 도 3에 도시된 바와 같이, 대응점을 추출하는 단계(S1)와, 프로젝터의 내부 파라미터를 추정하는 단계(S2)와, 프로젝터의 내부 파라미터를 획득하는 단계(S3)를 포함한다.Projector calibration method using a camera according to the present invention, as shown in Figure 3, the step of extracting the corresponding point (S 1 ), the step of estimating the internal parameters of the projector (S 2 ), and obtains the internal parameters of the projector Step S 3 is included.

대응점을 추출하는 단계(S1)는 내부 파라미터를 획득하고자 하는 프로젝터에서 조사된 패턴을 내부 파라미터를 알고 있는 카메라로 캡처하여 대응점을 추출한다. 이러한 대응점을 추출하는 단계(S1)는 패턴을 조사하는 단계(S1-1)와, 패턴을 획득하는 단계(S1-2)를 포함한다.Extracting the corresponding point (S 1 ) extracts the corresponding point by capturing the pattern irradiated from the projector to obtain the internal parameter with a camera that knows the internal parameter. The step (S 1 ) of extracting the corresponding point includes the step (S 1-1 ) of examining the pattern and the step (S 1-2 ) of obtaining the pattern.

패턴을 조사하는 단계(S1-1)는 내부 파라미터를 획득하고자 하는 프로젝터를 이용하여 영상을 조사한다. 이는 스크린 등과 같은 구조물 뿐만 아니라 임의의 형태의 물체가 놓인 환경에 프로젝터의 영상을 조사하여 이루어질 수 있으며, 영상을 수평으로 조사하거나, 수평을 기준으로 하부로 조사하거나 상부로 조사할 수 있다, 또한 수직을 기준으로 좌, 우로도 조사할 수 있다.In the step (S 1-1 ) of investigating the pattern, the image is irradiated by using a projector to obtain internal parameters. This can be done by irradiating an image of the projector to an environment in which an object of any form as well as a structure such as a screen is placed. The image can be irradiated horizontally, irradiated downwardly on a horizontal basis, or irradiated upwardly. Based on this, you can also investigate left and right.

패턴을 획득하는 단계(S1-2)는 내부 파라미터를 알고 있는 카메라를 이용하여 프로젝터에서 조사된 패턴을 이미지로 캡처한다. 이는, 프로젝터에서 조사된 영상을 카메라로 촬영하여 수행될 수 있다.Acquiring a pattern (S 1-2 ) captures the pattern irradiated from the projector as an image using a camera that knows internal parameters. This may be performed by photographing an image irradiated from a projector with a camera.

프로젝터의 내부 파라미터를 추정하는 단계(S2)는 기본(fundamental) 매트릭스를 이용하여 프로젝터의 내부 파라미터를 추정한다.Estimating the internal parameters of the projector (S 2 ) estimates the internal parameters of the projector using a fundamental matrix.

3차원 공간상의 좌표점

Figure pat00044
과 카메라 이미지 평면상의 2차원 좌표점으로의 투영
Figure pat00045
은 수학식1과 같다.Coordinate points in three-dimensional space
Figure pat00044
To two-dimensional coordinate points on the camera and camera image planes
Figure pat00045
Is the same as Equation 1.

Figure pat00046
Figure pat00046

여기서,

Figure pat00047
투시 투영 매트릭스
Figure pat00048
는
Figure pat00049
내부 파라미터 매트릭스
Figure pat00050
와,
Figure pat00051
로테이션 매트릭스
Figure pat00052
및
Figure pat00053
병진벡터
Figure pat00054
로 이루어진다. 이때, 매트릭스
Figure pat00055
의 내부 파라미터는 아래의 수학식2와 같이,
Figure pat00056
좌표상의 초점 거리
Figure pat00057
와, 초점 거리
Figure pat00058
, 주점
Figure pat00059
,
Figure pat00060
및 스큐 펙터
Figure pat00061
로 나타낼 수 있다.here,
Figure pat00047
Perspective Projection Matrix
Figure pat00048
Is
Figure pat00049
Internal parameter matrix
Figure pat00050
Wow,
Figure pat00051
Rotation matrix
Figure pat00052
And
Figure pat00053
Vector translation
Figure pat00054
. At this time, the matrix
Figure pat00055
The internal parameters of are as shown in Equation 2 below.
Figure pat00056
Focal length in coordinates
Figure pat00057
With focal length
Figure pat00058
, Pub
Figure pat00059
,
Figure pat00060
And skew factor
Figure pat00061
It can be represented as.

Figure pat00062
Figure pat00062

프로젝터의 경우, 내부 파라미터와 외부 파라미터는 카메라와 동일하게 표현될 수 있다. 세계 좌표 프레임(world coordinate frame)이 프로젝터 좌표 프레임과 일치한다고 가정하면,

Figure pat00063
및 이의 투사
Figure pat00064
및
Figure pat00065
는 수학식3과 같다.In the case of a projector, internal parameters and external parameters may be expressed in the same way as a camera. Assuming that the world coordinate frame matches the projector coordinate frame,
Figure pat00063
And its projection
Figure pat00064
And
Figure pat00065
Is the same as Equation 3.

Figure pat00066
Figure pat00066

Figure pat00067
Figure pat00067

여기서,

Figure pat00068
는 프로젝터 좌표 프레임이며,
Figure pat00069
는 카메라 좌표 프레임이다.here,
Figure pat00068
Is the projector coordinate frame,
Figure pat00069
Is the camera coordinate frame.

두 이미지 사이에서 8개 이상의 좌표점이 주어지면, 기본(fundamental) 매트릭스

Figure pat00070
는 미지의 스케일 펙터를 가진 상태로 수학식 4와 같이 추정할 수 있다.Given more than eight coordinate points between two images, a fundamental matrix
Figure pat00070
Can be estimated as in Equation 4 with an unknown scale factor.

Figure pat00071
Figure pat00071

기본 매트릭스

Figure pat00072
는 두 카메라 사이의 에피폴라 기학학을 대수적으로 나타낸다. 프로젝터는 카메라의 반전으로 여겨질 수 있으므로 에피폴라 기하학은 구조광 시스템(structured light system)에 적용될 수 있으며, 필수 행렬(essential matrix)
Figure pat00073
는 수학식5와 같다.Basic matrix
Figure pat00072
Algebraically represents the epipolar geometry between two cameras. Since the projector can be thought of as the inversion of the camera, epipolar geometry can be applied to structured light systems, and an essential matrix
Figure pat00073
Is the same as Equation 5.

Figure pat00074
Figure pat00074

필수 행렬

Figure pat00075
는 회전 매트릭스
Figure pat00076
과 병진 벡터
Figure pat00077
로 수학식6과 같이 분해된다.Required matrix
Figure pat00075
Rotation matrix
Figure pat00076
And translation vector
Figure pat00077
It is decomposed as shown in Equation 6.

Figure pat00078
Figure pat00078

여기서

Figure pat00079
는 스큐-대칭 매트릭스로서, 아래의 수학식7과 같이 나타낼 수 있다.here
Figure pat00079
Is a skew-symmetric matrix, which can be expressed by Equation 7 below.

Figure pat00080
Figure pat00080

세계 좌표 프레임이 프로젝터 좌표 프레임과 정렬되었을 때 에피폴

Figure pat00081
는 프로젝터의 중심이 카메라 영상면으로 프로젝션된 점, 모든 에피폴라 선들은 에피폴을 가로지른다.Epipole when the world coordinate frame is aligned with the projector coordinate frame
Figure pat00081
Where the center of the projector is projected onto the camera image plane, all epipolar lines cross the epipole.

Figure pat00082
Figure pat00082

기본(fundamental) 매트릭스

Figure pat00083
와 그것의 전치 행렬
Figure pat00084
는 카메라-프로젝터 사이의 8개 이상의 대응점으로부터 추정되므로, 에피폴
Figure pat00085
는 수학식 8에 의해 계산될 수 있다.Fundamental matrix
Figure pat00083
And its transpose
Figure pat00084
Is estimated from eight or more correspondence points between the camera and the projector, so Epipol
Figure pat00085
May be calculated by Equation 8.

이하에서는 전술된 기본 매트릭스로부터 프로젝터의 내부 파라미터를 유도한다.The following derives internal parameters of the projector from the basic matrix described above.

Figure pat00086
Figure pat00086

카메라

Figure pat00087
의 내부 파라미터가 기지의 값이라면, 병진 벡터
Figure pat00088
는 수학식10과 같이 미지의 스케일 팩터를 가진 상태로 얻어질 수 있다.camera
Figure pat00087
If the internal parameter of is a known value, then the translation vector
Figure pat00088
Can be obtained with an unknown scale factor as in Equation 10.

Figure pat00089
Figure pat00089

미지의 스케일 팩터를 추정하기 위해서는 유크리드 좌표에 표시되는 적어도 두 지점이 관찰되어야 한다. In order to estimate the unknown scale factor, at least two points indicated in the Euclidean coordinates must be observed.

수학식11과 같이

Figure pat00090
매트릭스
Figure pat00091
를 카메라 내부 파라미터 매트릭스의 전치행렬
Figure pat00092
과 기본 매트릭스
Figure pat00093
의 곱으로 표시한다.As shown in Equation 11
Figure pat00090
matrix
Figure pat00091
Transpose of camera internal parameter matrix
Figure pat00092
And base matrix
Figure pat00093
The product of.

Figure pat00094
Figure pat00094

수학식11을 수학식5에 대입하면 아래의 수학식12가 유도된다.Substituting Equation 11 into Equation 5 leads to Equation 12 below.

Figure pat00095
Figure pat00095

또한, 수학식5와 수학식6 및 수학식12로부터 수학식13이 유도된다.In addition, equation (13) is derived from equations (5), (6) and (12).

Figure pat00096
Figure pat00096

여기서,

Figure pat00097
는 수학식5 기본 매트릭스에 기인한 미지의 스케일이며,
Figure pat00098
는 수학식10의 병진에 기인한 또 다른 미지의 스케일이다. 수학식13에서
Figure pat00099
및
Figure pat00100
으로 치환하면 수학식14가 된다.here,
Figure pat00097
Is an unknown scale due to Equation 5 basic matrix,
Figure pat00098
Is another unknown scale due to the translation of equation (10). In equation (13)
Figure pat00099
And
Figure pat00100
If replaced with Eq. (14).

Figure pat00101
Figure pat00101

여기서,

Figure pat00102
이다. 또한, 수학식14는 수학식15로 다시 배열할 수 있다.here,
Figure pat00102
to be. Equation 14 may be rearranged to Equation 15.

Figure pat00103
Figure pat00103

여기서,

Figure pat00104
,
Figure pat00105
및
Figure pat00106
는 각각 매트릭스
Figure pat00107
,
Figure pat00108
,
Figure pat00109
의
Figure pat00110
번째 행과
Figure pat00111
번째 열을 의미한다. 비록 수학식15에서 6개(
Figure pat00112
,
Figure pat00113
,
Figure pat00114
,
Figure pat00115
,
Figure pat00116
,
Figure pat00117
)가 미지의 값이나, 랭크3을 갖는 식이므로 직접적으로 풀이할 수는 없다. 그러므로 미지의 값의 개수를 줄여야 한다.here,
Figure pat00104
,
Figure pat00105
And
Figure pat00106
Are each matrix
Figure pat00107
,
Figure pat00108
,
Figure pat00109
of
Figure pat00110
With the first row
Figure pat00111
The second column. Although 6 in Equation 15 (
Figure pat00112
,
Figure pat00113
,
Figure pat00114
,
Figure pat00115
,
Figure pat00116
,
Figure pat00117
) Is unknown, but cannot be solved directly. Therefore, the number of unknown values should be reduced.

일반적인 카메라에서, 주점은 영상 중심과 가까이 있으나 프로젝터는 도2와 같은 수직 오프셋을 가진다. 만약, 프로젝터의 주점의 하나의 좌표

Figure pat00118
가 기지(旣知, known)의 값이고, 프로젝터 영상면의 가로-세로 비례율은 1이고, 스큐는 0이며, 프로젝터의 내부 파라미터는 수학식16과 같이 단순화된 형태를 가진다.In a typical camera, the principal point is close to the center of the image but the projector has a vertical offset as shown in FIG. If, one coordinate of the projector's pub
Figure pat00118
Is a known value, the horizontal-to-vertical proportion of the projector image surface is 1, the skew is 0, and the internal parameters of the projector have a simplified form as shown in Equation 16 below.

Figure pat00119
Figure pat00119

또한, 단순화된 프로젝터의 내부 파라미터인 수학식16을 이용하면 수학식15는 아래의 수학식17과 같이 유도될 수 있다.In addition, using Equation 16, which is an internal parameter of the simplified projector, Equation 15 may be derived as in Equation 17 below.

Figure pat00120
Figure pat00120

여기서,

Figure pat00121
이고,
Figure pat00122
이며,
Figure pat00123
이다.here,
Figure pat00121
ego,
Figure pat00122
Is,
Figure pat00123
to be.

수학식 17은 3개의 방정식으로 구성되나 4개의 미지수

Figure pat00124
, ,
Figure pat00126
,
Figure pat00127
를 풀이하기 위해서는 하나의 방정식이 더 필요하다. 이때, 구속조건
Figure pat00128
가 하나의 방정식을 제공하므로 이를 이용하여 문제를 풀이할 수 있다.Equation 17 consists of three equations but four unknowns
Figure pat00124
, ,
Figure pat00126
,
Figure pat00127
To solve this problem, we need one more equation. Where constraint
Figure pat00128
Provides one equation, which can be used to solve the problem.

기본 매트릭스

Figure pat00129
와 카메라 내부 파라미터 매트릭스
Figure pat00130
, 및 단순화된 프로젝터 내부 파라미터 매트릭스
Figure pat00131
을 알 수 있으므로, 이를 이용하여 수학식5에서 필수 매트릭스
Figure pat00132
를 계산할 수 있다. 또한, 프로젝터와 카메라 사이의 회전 및 병진인 상대 포즈는 필수 매트릭스로부터 구해질 수 있다.Basic matrix
Figure pat00129
And camera internal parameter matrix
Figure pat00130
, And simplified projector internal parameter matrix
Figure pat00131
Since it can be seen, it is necessary to use the matrix in Equation 5
Figure pat00132
Can be calculated. In addition, relative poses that are rotational and translational between the projector and the camera can be obtained from the required matrix.

비록 롱구에트-히긴스(longuet-higgins)가 필수 매트릭스

Figure pat00133
를 가지고 포즈 복원(pose recovery)법을 소개하였지만, 필수 매트릭스
Figure pat00134
의 정확도에 따라 계산의 정확도를 보장할 수 없었다. 하트리 등이 특이치 분해법을 사용하여 다른 방법을 제안하였다. 이는
Figure pat00135
의
Figure pat00136
가
Figure pat00137
라고 가정하면 가능한 상대 포즈는 아래의 수학식18과 같다.Although longguet-higgins are an essential matrix
Figure pat00133
Introduced pose recovery with the
Figure pat00134
According to the accuracy of the calculation could not be guaranteed. Hartley et al. Proposed another method using outlier decomposition. this is
Figure pat00135
of
Figure pat00136
end
Figure pat00137
Assuming that the possible relative poses are as shown in Equation 18 below.

Figure pat00138
Figure pat00138

여기서,

Figure pat00139
이다.here,
Figure pat00139
to be.

재구축된 지점이 프로젝터 및 카메라 좌표 프레임에서 가시성이 있는 정(+)의 깊이를 가지면 물리적으로 정확한 해법이 주어질 수 있다. 즉, 정(+)의 깊이를 갖는다는 것은

Figure pat00140
및
Figure pat00141
에서 각각의
Figure pat00142
성분이 정의 값이어야 됨을 의미한다. 프로젝터 매트릭스
Figure pat00143
및
Figure pat00144
및 매칭 대응점
Figure pat00145
및
Figure pat00146
가 주어지면 3차원 씬 포인트(3D scene point)를 재구축할 수 있다. 또한, 이에 따라 수학식3은 수학식19와 같이 다시 쓰여질 수 있다.If the rebuilt point has a positive depth of visibility in the projector and camera coordinate frames, a physically accurate solution can be given. In other words, having a positive depth
Figure pat00140
And
Figure pat00141
In each
Figure pat00142
This means that the component must be a positive value. Projector matrix
Figure pat00143
And
Figure pat00144
And matching correspondence points
Figure pat00145
And
Figure pat00146
If is given, the 3D scene point can be reconstructed. Also, according to this equation (3) can be rewritten as shown in equation (19).

Figure pat00147
Figure pat00147

또한, 수학식19는 수학식20에 결합될 수 있다.Equation 19 may also be combined with Equation 20.

Figure pat00148
Figure pat00148

여기서,

Figure pat00149
이고,
Figure pat00150
는
Figure pat00151
의
Figure pat00152
번째 행이다. 이것은 최소 좌승기법을 사용하여 풀 수 있다.here,
Figure pat00149
ego,
Figure pat00150
Is
Figure pat00151
of
Figure pat00152
Second row. This can be solved using the least-left method.

프로젝터의 내부 파라미터를 획득하는 단계(S3)는 카메라에서 캡처된 이미지로부터 프로젝터에 의해 투사된 영상 이미지의 패턴 및 대응점을 획득하고, 획득한 대응점에 에피폴라 기하학을 적용하여 프로젝터의 내부 파라미터를 획득한다.Acquiring an internal parameter of the projector (S 3 ) obtains a pattern and a corresponding point of the image image projected by the projector from the image captured by the camera, and acquires the internal parameter of the projector by applying epipolar geometry to the acquired corresponding point. do.

단순화된 프로젝터 모델 및 부정확한 기본 매트릭스로 인해서 프로젝터의 추정된 초기 내부 파라미터와, 프로젝터와 카메라 사이의 외적 파라미터(extrinsic parameter)는 충분히 정확하지 않을 수 있다. 따라서, 본 발명은 번들 조정(bundle adjustment) 기법을 이용하여 파라미터를 조정한다. 프로젝터의 내부 파라미터

Figure pat00153
, 외부 파라미터
Figure pat00154
,
Figure pat00155
및 구조광 시스템에서 재구축된 3차원 좌표점들은 재투사된 지점 및 검출(측정)된 이미지 지점 사이의 이미지 거리를 최소화하여 재조정된다.Due to the simplified projector model and incorrect base matrix, the estimated initial internal parameters of the projector and the extrinsic parameters between the projector and the camera may not be sufficiently accurate. Thus, the present invention adjusts the parameters using a bundle adjustment technique. Internal Parameters of the Projector
Figure pat00153
, External parameters
Figure pat00154
,
Figure pat00155
And the three-dimensional coordinate points reconstructed in the structured light system are readjusted to minimize the image distance between the reprojected point and the detected (measured) image point.

이하, 상술한 본 발명에 따른 카메라를 이용한 프로젝터 교정 방법의 실험결과에 대해 설명한다.Hereinafter, the experimental results of the projector calibration method using the camera according to the present invention described above will be described.

시뮬레이션에서 3차원 포인트의 범위를 x축에서

Figure pat00156
, y축에서
Figure pat00157
, z축에서
Figure pat00158
로 지정한다. 그리고 프로젝터 및 카메라의 내부 파라미터를 수학식 21로 지정한다.In the simulation, the range of three-dimensional points
Figure pat00156
, on the y axis
Figure pat00157
, on the z axis
Figure pat00158
Specify with. In addition, internal parameters of the projector and the camera are designated by Equation 21.

Figure pat00159
Figure pat00159

그리고, 프로젝터와 카메라 사이의 회전을 수학식22와 같이 지정한다.Then, the rotation between the projector and the camera is specified as shown in equation (22).

Figure pat00160
Figure pat00160

또한, 프로젝터가 카메라의 왼쪽 측면에 놓여지는 것으로 가정하고, 병진(translation)의 범위는 아래의 수학식23과 같이 지정한다.In addition, it is assumed that the projector is placed on the left side of the camera, and the range of translation is specified as in Equation 23 below.

Figure pat00161
Figure pat00161

반면에, 프로젝터가 카메라 아래쪽에 놓여진다고 가정할 경우, 병진의 범위를 수학식24와 같이 지정한다.On the other hand, assuming that the projector is placed under the camera, the translation range is specified as in Equation (24).

Figure pat00162
Figure pat00162

하지만, 값을 유추해 낼 수 없는 경우(degenerate case)가 나오는 것을 피하기 위해서

Figure pat00163
및
Figure pat00164
인 경우는 제외한다.However, to avoid having a degenerate case
Figure pat00163
And
Figure pat00164
Is excluded.

노이즈 레벨에 대한 민감도는 우선 위의 조건을 만족하는

Figure pat00165
,
Figure pat00166
,
Figure pat00167
,
Figure pat00168
,
Figure pat00169
,
Figure pat00170
및 300 3차원 3D 포인터를 랜덤하게 생성하고, 이미지 노이즈의 표준 편차
Figure pat00171
를 0에서 부터 1까지 증가시키면서 수평적으로 또는 수직적으로 위치하는 카메라 및 프로젝터의 두 개의 시스템을 비교한다. 도 4와 도 5를 참조하면, 프로젝터 및 카메라가 수평적으로 놓여질 때, 본 발명에 따라 추정된
Figure pat00172
의 변위 및
Figure pat00173
는 이미지 노이즈 레벨에 따라 증가되는 반면, 도 6과 도 7을 참조하면, 프로젝터 및 카메라가 수직적으로 놓여질 때, 본 발명에 따라 추정된
Figure pat00174
의 변위 및
Figure pat00175
의 추정은 훨씬 덜 안정화되고 노이즈에 민감하게 된다. 이것은 시스템이 수직으로 구성될 경우 좋지 않은 결과를 내는 경우로 해석되어 질 수 있다.Sensitivity to noise level first meets the above conditions
Figure pat00165
,
Figure pat00166
,
Figure pat00167
,
Figure pat00168
,
Figure pat00169
,
Figure pat00170
And randomly generate 300 three-dimensional 3D pointers, and standard deviation of image noise
Figure pat00171
Compare two systems of cameras and projectors located horizontally or vertically in increments from 0 to 1. 4 and 5, when the projector and the camera are placed horizontally, estimated according to the present invention
Figure pat00172
Displacement and
Figure pat00173
Is increased according to the image noise level, while referring to FIGS. 6 and 7, when the projector and the camera are placed vertically,
Figure pat00174
Displacement and
Figure pat00175
The estimate of is much less stable and noise sensitive. This can be interpreted as a bad result if the system is configured vertically.

실제 데이터에 따른 실험의 경우, 우선 패턴을 씬(scnen)에 조명하고, 동시에 프로젝터와 카메라 각각에 의해 동시 캡쳐링 함으로써 프로젝터와 카메라 사이의 해당하는 대응점를 추출한 다음, 정규화된 8-포인트 알고리듬을 갖는 기본 매트릭스를 추정한다. 둘째, 기본 매트릭스와 기지의 내부 파라미터를 갖는 카메라를 이용하여 프로젝터의 내부 파라미터를 추정한다. 셋째, 프로젝터와 카메라의 상대 포즈를 에피폴라 기하학 제한조건으로 계산한다. 마지막으로 번들 조정 기법을 이용하여 모든 시스템 파라미터와 재구축된 3D 씬 포인터를 재조정한다. 도 8 및 도 9는 본 발명에 따라 서로 다른 시점에서 측정하여 재구축한 실험 결과를 도시한 것이다. 실험에서 프로젝터와 카메라가 수평으로 배열될 경우에는 매우 만족한 결과를 도출할 수 있었는데 비해, 수직으로 배열할 경우에는 매우 불안한 결과가 나옴을 알 수 있었다. 표 1은 세 방식의 비교를 나타낸 것으로서, 하나는 교정판을 사용한 경우이며, 다른 하나는 본 발명의 대수학적 방법을 이용한 유일해(closed-form solution), 마지막은 번들 조정법을 이용하여 얻어낸 결과이다.For experiments based on real data, we first extract the corresponding correspondence between the projector and the camera by illuminating the pattern in the scene, and simultaneously capturing by each of the projector and the camera, and then the basic with a normalized 8-point algorithm. Estimate the matrix. Second, the internal parameters of the projector are estimated using a camera having a base matrix and known internal parameters. Third, the relative poses of the projector and the camera are calculated as epipolar geometry constraints. Finally, the bundle adjustment technique is used to readjust all system parameters and the rebuilt 3D scene pointer. 8 and 9 show the experimental results of the measurement and reconstruction at different time points in accordance with the present invention. In the experiment, when the projector and the camera are arranged horizontally, very satisfactory results can be obtained, whereas when the projectors are arranged vertically, the results are very unstable. Table 1 shows a comparison of the three methods, one using the calibration plate, the other using the closed-form solution using the algebraic method of the present invention, and finally using the bundle adjustment method. .

Figure pat00176
Figure pat00176
Figure pat00177
Figure pat00177
Figure pat00178
Figure pat00178
Figure pat00179
Figure pat00179
 교정판Proof edition 2006.35 2006.35 2003.162003.16 551.19551.19 813.41813.41 초기 유일해Early only 2041.47 2041.47 2041.472041.47 512.00512.00 826.08826.08 번들 조정법Bundle Adjustment 2044.112044.11 2054.54 2054.54 530.73 530.73 818.75818.75

상술한 바와 같이 본 발명은 기지의 내부 파라미터를 갖는 카메라와 프로젝터에 의해 투사된 패턴을 에피폴라 기하학을 이용하여 프로젝터의 내부 파라미터를 비교적 정확하게 추정할 수 있는 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법을 제공할 수 있다.As described above, the present invention provides a projector calibration system using a camera capable of relatively accurately estimating internal parameters of a projector using epipolar geometry of a pattern projected by a camera and a projector having known internal parameters, and a calibration method using the same. Can be provided.

이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the drawings and embodiments, those skilled in the art can be variously modified and changed within the scope of the invention without departing from the spirit of the invention described in the claims below. I can understand.

200: 카메라 100: 프로젝터200: camera 100: projector

Claims (7)

프로젝터와,
상기 프로젝터에서 투사된 영상을 획득하며, 내부 파라미터를 알고 있는 카메라와,
상기 카메라에서 획득된 영상으로부터 상기 프로젝터에서 투사된 영상의 패턴 및 대응점을 획득하고, 획득된 대응점에 에피폴라 기하학을 적용하여 상기 프로젝터의 내부 파라미터를 획득하는 연산/처리부를 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 시스템.With a projector,
A camera which acquires an image projected by the projector and knows internal parameters;
And a calculation / processing unit for acquiring a pattern and a corresponding point of the image projected by the projector from the image acquired by the camera, and obtaining an internal parameter of the projector by applying an epipolar geometry to the obtained corresponding point. Projector Calibration System. 청구항 1에 있어서,
상기 연산/처리부는 기본 매트릭스(fundamental)를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 내부 파라미터 추정 모듈과,
상기 프로젝터와 상기 카메라의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 상대 포즈 연산 모듈, 및
상기 프로젝터의 내부 파라미터를 획득하는 내부 파라미터 획득 모듈을 포함하며,
상기 내부 파라미터 획득 모듈은,
Figure pat00180
과
Figure pat00181
에 의해 상기 프로젝터의 내부 파라미터를 획득하며,
상기
Figure pat00182
는 매트릭스
Figure pat00183
의
Figure pat00184
번째 행과
Figure pat00185
번째 열이고,
상기
Figure pat00186
이며,
상기
Figure pat00187
는 상기 카메라의 내부 파라미터 매트릭스의 전치행렬이고,
상기
Figure pat00188
는 기본 매트릭스이며,
상기
Figure pat00189
는 매트릭스
Figure pat00190
의
Figure pat00191
번째 행과
Figure pat00192
번째 열이고,
상기
Figure pat00193
이며,
상기
Figure pat00194
는 상기 프로젝터의 내부 파라미터 매트릭스이고,
상기
Figure pat00195
는 상기 프로젝터의 내부 파라미터 매트릭스의 전치행렬이며,
상기
Figure pat00196
는 매트릭스
Figure pat00197
의
Figure pat00198
번째 행과
Figure pat00199
번째 열이고,
상기
Figure pat00200
이며,
상기
Figure pat00201
이고,
상기
Figure pat00202
이며,
상기
Figure pat00203
이고,
상기
Figure pat00204
는
Figure pat00205
좌표상의 초점 거리이며,
상기
Figure pat00206
는 주점이고,
상기
Figure pat00207
는 프로젝터 좌표 프레임이며,
상기
Figure pat00208
이고,
상기
Figure pat00209
는
Figure pat00210
의 기본 매트릭스에 기인한 미지의 스케일이며,
상기
Figure pat00211
는
Figure pat00212
의 병진에 기인한 미지의 스케일이고,
상기
Figure pat00213
는 필수 행렬
Figure pat00214
이며,
상기
Figure pat00215
는 스큐-대칭 매트릭스
Figure pat00216
이고,
상기
Figure pat00217
은 회전 매트릭스인 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 시스템.The method according to claim 1,
The calculation / processing unit may include an internal parameter estimating module configured to estimate an internal parameter of the projector by using a fundamental matrix;
A relative pose calculation module for calculating relative poses of the projector and the camera using epipolar geometry; and
An internal parameter obtaining module for obtaining internal parameters of the projector,
The internal parameter acquisition module,
Figure pat00180
and
Figure pat00181
Obtaining internal parameters of the projector by
remind
Figure pat00182
The matrix
Figure pat00183
of
Figure pat00184
With the first row
Figure pat00185
Second column,
remind
Figure pat00186
Is,
remind
Figure pat00187
Is a transpose matrix of the internal parameter matrix of the camera,
remind
Figure pat00188
Is the base matrix,
remind
Figure pat00189
The matrix
Figure pat00190
of
Figure pat00191
With the first row
Figure pat00192
Second column,
remind
Figure pat00193
Is,
remind
Figure pat00194
Is an internal parameter matrix of the projector,
remind
Figure pat00195
Is a transpose matrix of the internal parameter matrix of the projector,
remind
Figure pat00196
The matrix
Figure pat00197
of
Figure pat00198
With the first row
Figure pat00199
Second column,
remind
Figure pat00200
Is,
remind
Figure pat00201
ego,
remind
Figure pat00202
Is,
remind
Figure pat00203
ego,
remind
Figure pat00204
Is
Figure pat00205
Focal length in coordinates,
remind
Figure pat00206
Is the tavern,
remind
Figure pat00207
Is the projector coordinate frame,
remind
Figure pat00208
ego,
remind
Figure pat00209
Is
Figure pat00210
Unknown scale due to the underlying matrix of,
remind
Figure pat00211
Is
Figure pat00212
Unknown scale due to translation of
remind
Figure pat00213
Is a required matrix
Figure pat00214
Is,
remind
Figure pat00215
A skew-symmetric matrix
Figure pat00216
ego,
remind
Figure pat00217
Projector calibration system using a camera, characterized in that the rotation matrix. 청구항 1에 있어서,
상기 연산/처리부는 기본 매트릭스(fundamental)를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 내부 파라미터 추정 모듈과,
상기 프로젝터와 상기 카메라의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 상대 포즈 연산 모듈, 및
상기 프로젝터의 내부 파라미터를 번들 조정 기법(bundle adjustment technique)을 이용하여 획득하는 내부 파라미터 획득 모듈을 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 시스템.The method according to claim 1,
The calculation / processing unit may include an internal parameter estimating module configured to estimate an internal parameter of the projector by using a fundamental matrix;
A relative pose calculation module for calculating relative poses of the projector and the camera using epipolar geometry; and
And an internal parameter acquisition module for acquiring internal parameters of the projector using a bundle adjustment technique. 청구항 3에 있어서,
상기 내부 파라미터 추정 모듈과 상기 상대 포즈 연산 모듈 및 상기 내부 파라미터 획득 모듈에서의 연산과정에서 발생되는 데이터를 임시 저장하거나 연산 결과를 저장하는 메모리를 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 시스템.The method according to claim 3,
And a memory configured to temporarily store data generated during a calculation process in the internal parameter estimation module, the relative pose calculation module, and the internal parameter acquisition module, or to store a calculation result. 청구항 3에 있어서,
상기 연산/처리부에서 획득된 상기 프로젝터의 내부 파라미터를 표시하는 디스플레이를 더 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 시스템.The method according to claim 3,
And a display for displaying internal parameters of the projector obtained by the computing / processing unit. 프로젝터로 패턴을 조사하는 단계와,
상기 프로젝터에서 조사된 패턴을 내부 파라미터를 이미 알고 있는 카메라로 획득하는 단계와,
상기 획득된 패턴의 대응점를 추출하고 기본(fundamental) 매트릭스를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 단계와,
상기 프로젝터와 상기 카메라의 상대 포즈(relative pose)를 에피폴라 기하학을 이용하여 계산하는 단계, 및
상기 프로젝터의 내부 파라미터를 번들 조정 기법(bundle adjustment technique)을 이용하여 획득하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 방법.Illuminating the pattern with the projector,
Acquiring a pattern irradiated by the projector with a camera that already knows internal parameters;
Extracting corresponding points of the obtained pattern and estimating internal parameters of the projector using a fundamental matrix;
Calculating relative poses of the projector and the camera using epipolar geometry; and
Obtaining an internal parameter of the projector using a bundle adjustment technique. 청구항 6에 있어서,
상기 획득된 패턴의 대응점를 추출하고 기본(fundamental) 매트릭스를 이용하여 상기 프로젝터의 내부 파라미터를 추정하는 단계에서,
상기 프로젝터의 내부 파라미터(
Figure pat00218
)는,
Figure pat00219

이고,
상기
Figure pat00220
는
Figure pat00221
좌표 상의 초점 거리이며,
상기
Figure pat00222
는 상기 카메라의 주점 좌표인 것을 특징으로 하는 카메라를 이용한 프로젝터 교정 방법.The method of claim 6,
Extracting a corresponding point of the obtained pattern and estimating an internal parameter of the projector using a fundamental matrix;
Internal parameters of the projector (
Figure pat00218
),
Figure pat00219

ego,
remind
Figure pat00220
Is
Figure pat00221
Focal length in coordinates,
remind
Figure pat00222
The projector calibration method using a camera, characterized in that the coordinates of the principal point of the camera.
KR1020100033551A 2009-12-31 2010-04-12 Projector calibration system using camera and method using this KR101165340B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090136117 2009-12-31
KR20090136117 2009-12-31

Publications (2)

Publication Number Publication Date
KR20110079444A true KR20110079444A (en) 2011-07-07
KR101165340B1 KR101165340B1 (en) 2012-07-18

Family

ID=44918819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100033551A KR101165340B1 (en) 2009-12-31 2010-04-12 Projector calibration system using camera and method using this

Country Status (1)

Country Link
KR (1) KR101165340B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030553B2 (en) 2011-12-26 2015-05-12 Electronics And Telecommunications Research Institute Projector image correction device and method
CN110084860A (en) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 A kind of projector lens distortion correction system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030553B2 (en) 2011-12-26 2015-05-12 Electronics And Telecommunications Research Institute Projector image correction device and method
CN110084860A (en) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 A kind of projector lens distortion correction system and method

Also Published As

Publication number Publication date
KR101165340B1 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
KR101604037B1 (en) method of making three dimension model and defect analysis using camera and laser scanning
JP6041513B2 (en) Image processing apparatus, image processing method, and program
JP6465789B2 (en) Program, apparatus and method for calculating internal parameters of depth camera
US10373337B2 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
JP2011253376A (en) Image processing device, image processing method and program
JP2017538116A (en) How to update the calibration of a 3D measurement system
KR20150112362A (en) Imaging processing method and apparatus for calibrating depth of depth sensor
JP5633058B1 (en) 3D measuring apparatus and 3D measuring method
JP2003130621A (en) Method and system for measuring three-dimensional shape
KR20120058828A (en) System for extracting 3-dimensional coordinate and method thereof
KR20110059631A (en) Three-dimensional measurement apparatus and method thereof
US10552984B2 (en) Capture device calibration methods and systems
CN113538589A (en) System and method for efficient 3D reconstruction of objects using a telecentric line scan camera
CN109697736B (en) Calibration method and device of measurement system, electronic equipment and readable storage medium
JP2019530059A (en) Method for independently processing multiple target areas
WO2018081967A1 (en) Real-time three-dimensional camera calibration
WO2020075252A1 (en) Information processing device, program, and information processing method
KR102160340B1 (en) Method and apparatus for generating 3-dimensional data of moving object
JP2008275366A (en) Stereoscopic 3-d measurement system
JP5336325B2 (en) Image processing method
KR101165340B1 (en) Projector calibration system using camera and method using this
Mery Explicit geometric model of a radioscopic imaging system
CN111462331B (en) Lookup table method for expanding epipolar geometry and calculating three-dimensional point cloud in real time
WO2019087253A1 (en) Stereo camera calibration method
Draréni et al. Geometric video projector auto-calibration

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee